CN112629520A - 一种机器人导航与定位方法、***、设备及存储介质 - Google Patents

一种机器人导航与定位方法、***、设备及存储介质 Download PDF

Info

Publication number
CN112629520A
CN112629520A CN202011344552.6A CN202011344552A CN112629520A CN 112629520 A CN112629520 A CN 112629520A CN 202011344552 A CN202011344552 A CN 202011344552A CN 112629520 A CN112629520 A CN 112629520A
Authority
CN
China
Prior art keywords
robot
map
position information
navigation
acquiring
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011344552.6A
Other languages
English (en)
Inventor
石碰
杜佳佳
周成成
蒋涛
左昉
林福宏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jiguang Tongda Technology Co ltd
Original Assignee
Beijing Jiguang Tongda Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jiguang Tongda Technology Co ltd filed Critical Beijing Jiguang Tongda Technology Co ltd
Priority to CN202011344552.6A priority Critical patent/CN112629520A/zh
Publication of CN112629520A publication Critical patent/CN112629520A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/005—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 with correlation of navigation data from several sources, e.g. map or contour matching
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29—Geographical information databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K17/00—Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations
    • G06K17/0022—Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations arrangements or provisious for transferring data to distant stations, e.g. from a sensing device
    • G06K17/0029—Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations arrangements or provisious for transferring data to distant stations, e.g. from a sensing device the arrangement being specially adapted for wireless interrogation of grouped or bundled articles tagged with wireless record carriers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Electromagnetism (AREA)
  • Automation & Control Theory (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

本申请涉及一种机器人导航与定位方法、***、设备及存储介质,涉及机器人导航技术领域。所述方法采用RFID定位技术获取机器人的绝对位置信息，通过视觉定位获取相对位置信息，将绝对定位信息和相对定位信息这两种不同信息源的数据融合在一起，达到了优势互补的效果，实现了机器人的高精度定位。采集机器人周围的环境图像，并结合所述机器人的精确位置信息得到导航地图和障碍物地图；将导航地图和障碍物地图进行融合，获得标注有障碍物高度信息的地形测绘图。将地形测绘图中的障碍物高度信息和预先设置的障碍物阈值进行比较，从而输出控制指令，机器人通过地形测绘图实现精确导航和有效回避障碍物，准确率高，鲁棒性好，且易于实现。

Description

一种机器人导航与定位方法、***、设备及存储介质
技术领域
本申请涉及机器人导航技术领域，尤其是涉及一种机器人导航与定位方法、***、设备及存储介质。
背景技术
随着机器人技术高速发展，越来越多的智能机器人出现在我们的日常生活中。近年来，智能机器人已成为高技术领域内具有代表性的战略目标。机器人技术的出现和发展，不但使传统的工业生产面貌发生根本性的变化，而且将对人类的社会生活产生深远的影响。
自主定位导航是机器人实现智能化的前提之一，是赋予机器人感知和行动能力的关键因素。机器人在进行任务操作时，当工作环境发生变化时机器人需要在变换的环境中获知自己在当前环境的位置，从而能够准确地执行任务。但是由于生活环境的复杂性，环境随时改变，受外界影响、干扰较多，而人们对位置服务又有迫切的需求，所以机器人的精准导航与定位成为了一大难点。
发明内容
为了便于实现移动机器人的精准导航与定位，本申请提供了一种机器人导航与定位方法、***、设备及存储介质。
第一方面，本申请提供的一种机器人导航与定位方法，采用如下的技术方案。
一种机器人导航与定位方法，包括：
获取机器人的绝对位置信息和相对位置信息；
将所述机器人的绝对位置信息和相对位置信息融合，得到机器人的精确位置信息；
采集机器人的工作环境图像，并结合所述机器人的精确位置信息得到导航地图和障碍物地图；
将所述导航地图和障碍物地图进行融合，获得标注有障碍物高度信息的地形测绘图；
根据所述地形测绘图中的障碍物高度信息判断机器人是否进行翻越或转向回避。
通过采用上述技术方案，获取机器人的绝对位置信息和相对位置信息，将绝对定位信息和相对定位信息这两种不同信息源的数据融合在一起，达到了优势互补的效果，实现了机器人的高精度定位。根据导航地图和障碍物地图得到地形测绘图，地形测绘图中标注有所有障碍物的高度信息，导航过程中将地形测绘图中的障碍物高度信息和预先设置的障碍物阈值进行比较，判断机器人进行翻转或者避让障碍物，从而输出控制指令实现机器人的精确导航。
可选的，所述机器人的绝对位置信息的获取过程为：
建立初始粒子集，设定每个粒子的初始位姿，其中一个粒子位姿对应一个机器人位姿；
对于每个粒子t-1时刻的位姿，预测每个粒子t时刻的位姿；
构建t时刻粒子总权重与可读性权重和相位差权重的关系式，获得t时刻每个粒子的总权重；
利用t时刻每个粒子的总权重和粒子位姿计算机器人t时刻的位姿，得到所述机器人的绝对位置信息。
通过采用上述技术方案，本申请使用的RFID技术将灵敏度高的相位差信息和可读性相结合，结合粒子滤波定位算法和基于相位差的观测模型实现所述机器人的绝对定位，从而获得机器人的聚堆位置信息，由此解决高精度、稀疏标签分布情况下的机器人定位的技术问题。
可选的，所述机器人的相对位置信息的获取过程为：
获取目标物体图像和期望的目标物体图像，通过活动轮廓得到实时获取的目标物体边缘轮廓和期望的目标物体边缘轮廓；
根据期望的目标物体边缘轮廓与实时获取的目标物体边缘轮廓的差值实时控制机器人的运动，直到所述差值最小；
根据机器人的运动速度计算目标物体图像边缘运动与图像获取设备边缘运动之间的关系，从而得到机器人的相对位置信息。
通过采用上述技术方案，基于活动轮廓分析控制机器人运动，使其到达正确位置，根据机器人的运动情况得到机器人相对于目标物体的相对位置信息，便于结合机器人的绝对位置信息得到机器人的精确位置信息。
可选的，所述采集机器人周围的环境图像，并结合所述机器人的精确位置信息得到导航地图和障碍物地图，具体包括：
采集所述机器人脚部的环境图像得到窄基线图像，采集所述机器人脚部以外的环境图像得到宽基线图像，将所述宽基线图像和窄基线图像进行匹配，根据匹配结果并结合所述机器人的精确位置信息，获得以当前所述机器人的精确位置信息为导航起始点的导航地图；
获取全景图像，同时通过激光雷达对周围环境中的障碍物进行扫描，得到包含若干障碍物的扫描地图；对周围环境中的障碍物进行测量获得障碍物高度信息，并将障碍物高度信息标注到扫描地图中得到障碍物地图。
通过采用上述技术方案，分别获取机器人脚部周围的环境图像和脚部以外的环境图像，然后将两图像进行匹配，从而得到以为导航起始点的导航地图。导航地图中可以清楚地显示出机器人的整体工作环境。通过对全景和障碍物进行扫描测量，得到标有障碍物高度信息的障碍物地图。障碍物地图中可以显示机器人整体工作环境中的所有障碍物及其障碍物高度信息。
可选的，所述将所述导航地图和障碍物地图进行融合，获得标注有障碍物高度信息的地形测绘图，具体过程为：
对所述导航地图和障碍物地图进行特征点提取，然后对提取的特征点进行匹配，得到匹配点对；
利用仿射变换方法，根据所述匹配点对获取导航地图和障碍物地图之间的旋转矩阵、尺度变量和平移矢量，计算相应地仿射变换矩阵；
利用所述旋转矩阵、尺度变量、平移矢量和仿射变换矩阵，对导航地图和障碍物地图进行融合，从而获得标注有障碍物高度信息的地形测绘图。
通过采用上述技术方案，通过对导航地图和障碍物地图进行融合，得到的地形测绘图中可以显示机器人的整体工作环境以及该环境中的所有障碍物高度信息，便于后续将地形测绘图中的障碍物高度信息和预先设置的障碍物阈值进行比较，从而输出控制指令控制机器人的移动。
第二方面，本申请提供的一种机器人导航与定位***，采用如下的技术方案。
一种机器人导航与定位***，包括：
定位模块，用于获取机器人的绝对位置信息和相对位置信息；
数据融合模块，用于将所述机器人的绝对位置信息和相对位置信息融合，得到机器人的精确位置信息；
环境感知模块，用于采集机器人的工作环境图像，并结合所述机器人的精确位置信息得到导航地图和障碍物地图；
地图融合模块，用于将所述导航地图和障碍物地图进行融合，获得标注有障碍物高度信息的地形测绘图；
避障导航模块，用于根据所述地形测绘图中的障碍物高度信息判断机器人是否进行翻越或转向回避；
控制器，用于根据所述避障导航模块的判断结果输出控制指令；以及，
驱动器，用于根据所述控制器输出的控制指令驱动机器人移动。
通过采用上述技术方案，通过将定位模块获取的机器人绝对位置信息和相对位置信息相结合，达到了优势互补的效果，实现了高精度定位。通过环境感知模块获取导航地图和障碍物地图，并将导航地图和障碍物地图进行融合，得到了标注有障碍物高度信息的地形测绘图。将地形测绘图中的障碍物高度信息与预先设置的障碍物阈值进行比较，判断机器人是否进行翻越或转向回避，从而控制机器人移动。
可选的，所述定位模块包括：
RFID子模块，用于通过读取RFID标签获取机器人的绝对位置信息；
视觉定位子模块，用于获取机器人的相对位置信息。
通过采用上述技术方案，RFID定位技术是一种绝对定位方式，可以获得精确地三维空间的坐标信息，视觉定位是一种相对定位方式，可以获得精确地相对位置信息。因此，将两种不同信息源的数据融合在一起，可以实现优势互补。
可选的，所述环境感知模块包括：
窄基线图像采集子模块，用于实时获取对机器人脚部的环境进行采集得到的窄基线图像；
宽基线图像采集子模块，用于实时获取对机器人脚部以外的环境进行采集得到的宽基线图像；
图像融合子模块，用于将宽基线图像和窄基线图像进行匹配，根据匹配结果并结合机器人的精确位置信息，获得以所述精确位置信息为导航起始点的导航地图；
全景扫描子模块，用于获取全景图像；
障碍物扫描子模块，用于扫描机器人工作环境中的障碍物，及障碍物高度信息；以及，
障碍物标记子模块，用于将所述障碍物及其高度信息标注到所述全景图像中，得到障碍物地图。
通过采用上述技术方案，通过窄基线图像采集子模块和宽基线图像采集子模块分别获取机器人脚部环境及脚部以外的环境图像，通过图像融合子模块得到导航地图。通过全景扫描子模块和障碍物扫描子模块获取全景图像及所有障碍物高度信息，从而得到能够显示机器人整体工作环境和该环境中的所有障碍物高度信息。
第三方面，本申请提供的用于机器人导航与定位的设备，采用如下的技术方案。
一种计算机设备，包括存储器和处理器，所述存储器上存储有能够被处理器加载并执行的计算机程序，所述处理器执行所述计算机程序时实现：
获取机器人的绝对位置信息和相对位置信息；
将所述机器人的绝对位置信息和相对位置信息融合，得到机器人的精确位置信息；
采集机器人的工作环境图像，并结合所述机器人的精确位置信息得到导航地图和障碍物地图；
将所述导航地图和障碍物地图进行融合，获得标注有障碍物高度信息的地形测绘图；
根据所述地形测绘图中的障碍物高度信息判断机器人是否进行翻越或转向回避的步骤。
通过采用上述技术方案，所述计算机设备中的处理器可以根据存储器中存储的相关计算机程序，实现所述机器人导航与定位方法，从而实现机器人的精准导航与定位。
第四方面，本申请提供的用于机器人导航与定位的存储介质，采用如下的技术方案。
一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行：
获取机器人的绝对位置信息和相对位置信息；
将所述机器人的绝对位置信息和相对位置信息融合，得到机器人的精确位置信息；
采集机器人的工作环境图像，并结合所述机器人的精确位置信息得到导航地图和障碍物地图；
将所述导航地图和障碍物地图进行融合，获得标注有障碍物高度信息的地形测绘图；
根据所述地形测绘图中的障碍物高度信息判断机器人是否进行翻越或转向回避的步骤。
通过采用上述技术方案，所述机器人导航与定位方法可以被存储到计算机可读存储介质中，以便于计算机可读存储介质内存储的机器人导航与定位方法的计算机程序可以被处理器执行，从而实现机器人的精准导航与定位。
综上所述，本申请包括以下有益技术效果：
1. RFID定位技术是一种绝对定位方式，可以获得三维空间的坐标信息，视觉定位是一种相对定位方式。本申请通过采用RFID定位技术与视觉融合的方式，将绝对定位信息和相对定位信息这两种不同信息源的数据融合在一起，达到了优势互补的效果，实现了机器人的高精度定位。
2. 通过宽基线立体相机、窄基线立体相机和全景雷达进行处理建立地形测绘图，同时在导航过程中将地形测绘图中的障碍物高度信息和预先设置的障碍物阈值进行比较，从而输出控制指令，机器人通过地形测绘图实现精确导航和有效回避障碍物，准确率高，鲁棒性好，且易于实现。
附图说明
图1是本申请其中一实施例的机器人导航与定位方法流程图。
图2是本申请其中一实施例的机器人导航与定位逻辑示意图。
图3是本申请其中一实施例的获取机器人的绝对位置信息流程图。
图4是本申请其中一实施例的机器人导航与定位***的结构框图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。
本具体实施例仅仅是对本申请的解释，其并不是对本申请的限制，本领域技术人员在阅读完本说明书后可以根据需要对本实施例做出没有创造性贡献的修改，但只要在本申请的权利要求范围内都受到专利法的保护。
本申请实施例公开一种机器人导航与定位方法，如图1和图2所示，所述方法的包括以下步骤。
S100，获取机器人的绝对位置信息和相对位置信息。
（1）通过RFID定位技术获取机器人的绝对位置信息。
在机器人上安装读写器及读写器天线，在地面安装无源超高频RFID标签作为参考标签。所有的参考标签的EPC及其所对应的世界坐标系下的位置作为已知的信息保存在机器人内，机器人在连续运动的过程中，控制RFID***不断的读取参考标签，并通过从RFID***中所提取的参考标签的可读性和相位相关信息进行定位。
如图3所示，所述方法的具体步骤包括：
S101，建立初始粒子集，其中，粒子对应所述机器人，一个粒子位姿对应一个机器人位姿。
设定所述粒子初始位姿，如公式（1）所示：
Figure DEST_PATH_IMAGE001
（1）
其中，Xi 0是在初始时刻粒子集中第i个粒子的初始位姿；R 1，R 2，R 3是0到1之间的随机数；T j = T 1，T 2，…，T m ，T j 是在初始时刻读到的参考标签，x Tj 是在初始时刻读到的参考标签的横坐标，y Tj 是在初始时刻读到的参考标签的纵坐标，r是参考标签的最大读取范围。
S102，对于每个粒子t-1时刻的位姿，采用航迹推算法预测每个粒子t时刻的位姿。
所述航迹推算（Dead Reckoning，DR）定位技术的关键是能测量出机器人单位时间间隔走过的距离，以及在这段时间间隔内机器人航向的变化。利用拖轮和加速度计分别测量出旋转率和加速率，再对测量结果进行积分，从而求解出机器人移动的距离以及航向的变化，再根据航迹推算法求得机器人的位姿。
S103，构建t时刻粒子总权重与可读性权重和相位差权重的关系式，获得t时刻的每个粒子的总权重。
首先对粒子可读性权重评估：设定粒子位姿判断条件，利用粒子位姿判断条件判定粒子集中每个粒子所代表的机器人位姿的合理性，通过合理性检验的粒子可读性权重设为ω 1,i,t =1，未通过合理性检验的粒子可读性权重设为ω 1,i,t =0。
计算粒子的相位差权重，具体公式如下：
Figure 546230DEST_PATH_IMAGE002
（2）
Figure DEST_PATH_IMAGE003
（3）
Figure 804649DEST_PATH_IMAGE004
（4）
其中，ω 2,i,t 第i个粒子在t时刻的相位差权重，△θ t 是所述天线分别在t-1时刻和在t时刻测量的同一个RFID参考标签的观测相位的差值。△θ i,t 是第i个粒子的预测相位差，σ是 相 位 测 量 噪 声 的 标 准 差，△d t 是 t 时 刻 的 距 离 差，d1是在t-1时刻所述天线到RFID参考标签的距离，d2是在t时刻所述天线到RFID参考标签的距离，λ代表无线电信号的波长。
所述粒子总权重ω i,t 表示为：
Figure DEST_PATH_IMAGE005
（5）
其中，ω i,t-1是第i个粒子在t-1时刻的总权重，ω 1,i,t 是第i个粒子在t时刻的可读性权重，ω 2,i,t 是第i个粒子在t时刻的相位差权重。
S104，利用每个粒子的总权重和粒子位姿计算机器人t时刻的位姿，以此实现所述机器人的绝对定位。
通过估计粒子集的加权几何中心，计算出机器人的位姿，实现机器人定位：
Figure 787648DEST_PATH_IMAGE006
（6）
其中，x j 是预测位姿的横坐标，y j 是预测位姿的纵坐标，th j 是预测位姿的姿态角，x i,t 是t时刻第i个粒子在世界坐标系下的横坐标，y i,t 是t时刻第i个粒子在世界坐标系下的纵坐标，th i,t 是t时刻第i个粒子在世界坐标系下的姿态角，N是粒子集中粒子的个数。
（2）通过相机获取机器人的相对位置信息。
本实施例中将安装在机器人的末端操纵器上，此时RGB相机获取的目标物体图像直接反映目标物体与机器人末端操纵器之间的相对位置和姿态关系。在跟踪目标物体前，先进行离线学习，将机器人控制到正确位置，以获取期望的目标物体图像，利用活动轮廓得到期望的目标物体边缘轮廓v *：
Figure DEST_PATH_IMAGE007
（7）
其中，x* j,y* j分别表示期望的目标物体边缘轮廓上j点的横坐标和纵坐标，n为期望的目标物体边缘轮廓上点的数量。
在线工作时，RGB相机实时采集目标物体图像，通过活动轮廓得到实时获取的目标物体边缘轮廓v：
Figure 261486DEST_PATH_IMAGE008
（8）
其中，x* j,y* j分别表示实时获取的目标物体边缘轮廓上j点的横坐标和纵坐标。
由期望的目标物体边缘轮廓与实时获取的目标物体边缘轮廓的差值e=v-v *实时控制机器人的运动，直到消除该差值，或使该差值最小，此时机器人已到达正确位置。
图像边缘运动和RGB相机边缘运动之间的关系：
Figure DEST_PATH_IMAGE009
（9）
其中，τ c 是RGB相机的运动速度：τ c =(T c ,W c )，T c =(T cx ,T cy ,T cz )是平动速度，W c =(W cx ,W cy ,W cz )是转动速度，L是反映目标物体三维坐标(X j ,Y j ,Z j )与图像坐标中对应点的坐标(x j ,y j )关系的矩阵，考虑透视投影，x j =X j /Z j ，y j =Y j /Z j ，则 L 由下式决定：
Figure 154487DEST_PATH_IMAGE010
（10）
为了计算更加方便，在实际工作中Z j 可取Z* j（即期望值）。
通过关系矩阵L得到目标物体的三维坐标(X j ,Y j ,Z j )，从而得到机器人的相对位置信息。
S200，将所述机器人的绝对位置信息和相对位置信息融合，得到机器人的精确位置信息。
本实施例采取两种定位技术融合的方式来进行精确定位，采用视觉相对位置信息进行辅助定位。
具体的融合方式为：
将RFID定位过程中所使用的世界坐标系作为全局坐标系，将视觉解算出的相对位置信息经过空间变换，转换到世界坐标系下。构建一个层次型神经网络，将两个位置坐标输入到该神经网络中进行数据融合。
本实施例中采用基于BP算法的三层前馈网络模型，首先对建立的该三层前馈网络模型进行离线训练。训练算法以二进制矢量表示的感知信息作为输入矢量，对应的决策命令二进制矢量作为目标矢量，其中样本数据为先验知识范围内的感知信息类别。模型训练完成后将绝对位置信息和经过空间变换后的相对位置信息作为该三层前馈网络模型的输入，根据预先设置的融合参数，产生融合策略，从而完成机器人的绝对位置信息和相对位置信息融合，得到机器人的精确位置信息。
本实施例采用的神经网络具有较强的容错性和自组织、自学习及自适应能力，能够实现复杂的映射；神经网络还具有强大的非线性处理能力，能够很好的满足数据融合技术的要求。
S300，采集机器人的工作环境图像，并结合所述机器人的精确位置信息得到导航地图和障碍物地图。
（1）将机器人的当前精确位置信息作为导航的起始位置。采用窄基线立体相机对机器人脚部附近的环境进行实时摄像，得到的窄基线图像。采用宽基线立体相机对机器人脚部以外的远方环境进行实时摄像，得到的宽基线图像。
根据宽基线图像和窄基线图像所表示出来的光学特性信息（灰度值、颜色值等）、几何特性信息（外形、大小等）、空间位置信息（图像中的位置、方向等）及特征信息（边缘、角点的位置信息）等信息，将这些信息中的结构性特征予以组合形成稳定的特征向量，将对于图像的几何变形、光照变化等因素保持一定稳定性的特征向量作为不变量，将宽基线图像数据和窄基线图像数据进行匹配，根据近邻欧式距离比值准则提取两图像中匹配最稳定的极值特征区域对，利用顺序抽样一致性算法剔除误匹配特征区域对，估计两图像数据的外极几何关系，得到匹配结果。根据匹配结果并结合机器人的当前精确位置信息，获得以当前精确位置信息为导航起始点的导航地图。
（2）采用全景相机对周围环境进行拍摄得到全景图像，同时通过若干个激光雷达对周围环境中的障碍物进行扫描，得到包含若干障碍物的扫描地图。再通过对周围环境中的障碍物进行测量获得障碍物高度信息，并将障碍物高度信息标注到扫描地图中得到障碍物地图。
通过激光雷达测量障碍物高度信息的过程为：设地面为一个平面，障碍物的高低角α能够测出，根据无线电波的传播速度及其来回所用的时间，能够计算出雷达与障碍物顶点之间的倾斜距离d，这时障碍物的高度h为：
Figure DEST_PATH_IMAGE011
（11）
将计算得到的障碍物高度信息标注到所述全景扫描地图中，得到障碍物地图。
S400，将所述导航地图和障碍物地图进行融合，获得标注有障碍物高度信息的地形测绘图。
步骤401，对导航地图和障碍物地图进行特征点提取，然后对提取的特征点进行匹配，得到匹配点对。
步骤402，利用仿射变换方法，根据匹配点对获取导航地图和障碍物地图之间的旋转矩阵、尺度变量和平移矢量，计算相应地仿射变换矩阵T。
Figure 304846DEST_PATH_IMAGE012
（12）
其中，Φ表示障碍物地图相较于导航地图旋转的角度，s表示融合比例，δ x ,δ y 分别表示障碍物地图相较于导航地图在x方向和y方向上的偏移量。
步骤403，利用旋转矩阵、尺度变量、平移矢量和仿射变换矩阵，对导航地图和障碍物地图进行融合，从而获得标注有障碍物高度信息的地形测绘图。
S500，根据所述地形测绘图中的障碍物高度信息判断机器人是否进行翻越或转向回避。
将地形测绘图中的障碍物高度信息与预先设置的障碍物阈值进行对比，以供机器人导航判断是否进行翻越或者转向回避。当障碍物高度信息小于预先设置的障碍物阈值时，说明机器人可以翻越障碍物的高度，则执行机器人翻越障碍物。当障碍物高度信息不小于预先设置的障碍物阈值时，说明机器人翻越不了障碍物的高度，则执行机器人进行转向避让，回避障碍物的阻挡。
本申请实施例还公开一种机器人导航与定位***，如图2和图4所示，所述***包括：
（1）定位模块，用于获取机器人的绝对位置信息和相对位置信息。
本实施例中，所述定位模块包括：
RFID子模块，用于通过读取RFID标签获取机器人的绝对位置信息。所述RFID子模块包括：RFID标签、读写器和读写天线。在机器人上安装读写器和读写器天线，在地面安装无源超高频RFID标签作为参考标签。读写器读取/写入RFID标签中的信息。读写器天线通过通信基站在所述RFID标签和读写器之间传递射频信号。
视觉定位子模块，用于获取机器人的相对位置信息。本实施例中的视觉定位子模块采用的是RGB相机，将该相机安装在机器人的末端操纵杆上，这样获取的物体图像直接反映目标物体与机器人末端操纵器之间的相对位置和姿态关系，从而得到机器人的相对位置信息。
（2）数据融合模块，用于将所述机器人的绝对位置信息和相对位置信息融合，得到机器人的精确位置信息。
（3）环境感知模块，用于采集机器人的工作环境图像，并结合所述机器人的精确位置信息得到导航地图和障碍物地图。
本实施例中，所述环境感知模块具体包括：
窄基线立体相机，用于实时获取对机器人脚部的环境进行采集得到的窄基线图像。
宽基线立体相机，用于实时获取对机器人脚部以外的远方环境进行采集得到的宽基线图像。
图像融合子模块，用于将宽基线图像和窄基线图像进行匹配，根据匹配结果并结合机器人的精确位置信息，获得以所述精确位置信息为导航起始点的导航地图。
全景扫描子模块，用于获取全景图像。所述全景扫描子模块可以是全景相机。
障碍物扫描子模块，用于扫描机器人工作环境中的障碍物，及障碍物高度信息。所述障碍物扫描子模块可以是激光扫描雷达。
障碍物标记子模块，用于将测量得到的障碍物高度信息标注到所述全景扫描地图中，得到障碍物地图。
（4）地图融合模块，用于将所述导航地图和障碍物地图进行融合，获得标注有障碍物高度信息的地形测绘图。
（5）避障导航模块，用于根据所述地形测绘图中的障碍物高度信息判断机器人是否进行翻越或转向回避。
（6）控制器，用于根据所述避障导航模块的判断结果输出控制指令。
（7）驱动器，用于根据所述控制器输出的控制指令驱动机器人移动。
本申请实施例还公开一种机器人导航与定位的存储介质，采用如下的技术方案：
一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行：
获取机器人的绝对位置信息和相对位置信息；
将所述机器人的绝对位置信息和相对位置信息融合，得到机器人的精确位置信息；
采集机器人的工作环境图像，并结合所述机器人的精确位置信息得到导航地图和障碍物地图；
将所述导航地图和障碍物地图进行融合，获得标注有障碍物高度信息的地形测绘图；
根据所述地形测绘图中的障碍物高度信息判断机器人是否进行翻越或转向回避的步骤。
本申请实施例还公开一种机器人导航与定位的设备，采用如下的技术方案：
一种计算机设备，包括存储器和处理器，所述存储器上存储有能够被处理器加载并执行的计算机程序，所述处理器执行所述计算机程序时实现：
获取机器人的绝对位置信息和相对位置信息；
将所述机器人的绝对位置信息和相对位置信息融合，得到机器人的精确位置信息；
采集机器人的工作环境图像，并结合所述机器人的精确位置信息得到导航地图和障碍物地图；
将所述导航地图和障碍物地图进行融合，获得标注有障碍物高度信息的地形测绘图；
根据所述地形测绘图中的障碍物高度信息判断机器人是否进行翻越或转向回避的步骤。
以上均为本申请的较佳实施例，并非依此限制本申请的保护范围，故：凡依本申请的结构、形状、原理所做的等效变化，均应涵盖于本申请的保护范围之内。

Claims (10)

1.一种机器人导航与定位方法，其特征在于，包括：
获取机器人的绝对位置信息和相对位置信息；
将所述机器人的绝对位置信息和相对位置信息融合，得到机器人的精确位置信息；
采集机器人的工作环境图像，并结合所述机器人的精确位置信息得到导航地图和障碍物地图；
将所述导航地图和障碍物地图进行融合，获得标注有障碍物高度信息的地形测绘图；
根据所述地形测绘图中的障碍物高度信息判断机器人是否进行翻越或转向回避。
2.根据权利要求1所述的机器人导航与定位方法，其特征在于，所述机器人的绝对位置信息的获取过程为：
建立初始粒子集，设定每个粒子的初始位姿，其中一个粒子位姿对应一个机器人位姿；
对于每个粒子t-1时刻的位姿，预测每个粒子t时刻的位姿；
构建t时刻粒子总权重与可读性权重和相位差权重的关系式，获得t时刻每个粒子的总权重；
利用t时刻每个粒子的总权重和粒子位姿计算机器人t时刻的位姿，得到所述机器人的绝对位置信息。
3.根据权利要求1所述的机器人导航与定位方法，其特征在于，所述机器人的相对位置信息的获取过程为：
获取目标物体图像和期望的目标物体图像，通过活动轮廓得到实时获取的目标物体边缘轮廓和期望的目标物体边缘轮廓；
根据期望的目标物体边缘轮廓与实时获取的目标物体边缘轮廓的差值实时控制机器人的运动，直到所述差值最小；
根据机器人的运动速度计算目标物体图像边缘运动与图像获取设备边缘运动之间的关系，从而得到机器人的相对位置信息。
4.根据权利要求1所述的机器人导航与定位方法，其特征在于，所述采集机器人的工作环境图像，并结合所述机器人的精确位置信息得到导航地图和障碍物地图，具体包括：
采集所述机器人脚部的环境图像得到窄基线图像，采集所述机器人脚部以外的环境图像得到宽基线图像，将所述宽基线图像和窄基线图像进行匹配，根据匹配结果并结合所述机器人的精确位置信息，获得以当前所述机器人的精确位置信息为导航起始点的导航地图；
获取全景图像，同时通过激光雷达对周围环境中的障碍物进行扫描，得到包含若干障碍物的扫描地图；对周围环境中的障碍物进行测量获得障碍物高度信息，并将障碍物高度信息标注到扫描地图中得到障碍物地图。
5.根据权利要求1所述的机器人导航与定位方法，其特征在于，所述将所述导航地图和障碍物地图进行融合，获得标注有障碍物高度信息的地形测绘图，具体过程为：
对所述导航地图和障碍物地图进行特征点提取，然后对提取的特征点进行匹配，得到匹配点对；
利用仿射变换方法，根据所述匹配点对获取导航地图和障碍物地图之间的旋转矩阵、尺度变量和平移矢量，计算相应地仿射变换矩阵；
利用所述旋转矩阵、尺度变量、平移矢量和仿射变换矩阵，对导航地图和障碍物地图进行融合，从而获得标注有障碍物高度信息的地形测绘图。
6.一种机器人导航与定位***，其特征在于，包括：
定位模块，用于获取机器人的绝对位置信息和相对位置信息；
数据融合模块，用于将所述机器人的绝对位置信息和相对位置信息融合，得到机器人的精确位置信息；
环境感知模块，用于采集机器人的工作环境图像，并结合所述机器人的精确位置信息得到导航地图和障碍物地图；
地图融合模块，用于将所述导航地图和障碍物地图进行融合，获得标注有障碍物高度信息的地形测绘图；
避障导航模块，用于根据所述地形测绘图中的障碍物高度信息判断机器人是否进行翻越或转向回避；
控制器，用于根据所述避障导航模块的判断结果输出控制指令；以及，
驱动器，用于根据所述控制器输出的控制指令驱动机器人移动。
7.根据权利要求6所述的机器人导航与定位***，其特征在于，所述定位模块包括：
RFID子模块，用于通过读取RFID标签获取机器人的绝对位置信息；
视觉定位子模块，用于获取机器人的相对位置信息。
8.根据权利要求6所述的机器人导航与定位***，其特征在于，所述环境感知模块包括：
窄基线图像采集子模块，用于实时获取对机器人脚部的环境进行采集得到的窄基线图像；
宽基线图像采集子模块，用于实时获取对机器人脚部以外的环境进行采集得到的宽基线图像；
图像融合子模块，用于将所述宽基线图像和窄基线图像进行匹配，根据匹配结果并结合机器人的精确位置信息，获得以所述精确位置信息为导航起始点的导航地图；
全景扫描子模块，用于获取全景图像；
障碍物扫描子模块，用于扫描机器人工作环境中的障碍物，及障碍物高度信息；以及，
障碍物标记子模块，用于将所述障碍物及其高度信息标注到所述全景图像中，得到障碍物地图。
9.一种计算机设备，包括存储器和处理器，所述存储器上存储有能够被处理器加载并执行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述权利要求1-5中任一项所述的方法的步骤。
10.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述权利要求1-5任一项所述的方法的步骤。
CN202011344552.6A 2020-11-25 2020-11-25 一种机器人导航与定位方法、***、设备及存储介质 Pending CN112629520A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011344552.6A CN112629520A (zh) 2020-11-25 2020-11-25 一种机器人导航与定位方法、***、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011344552.6A CN112629520A (zh) 2020-11-25 2020-11-25 一种机器人导航与定位方法、***、设备及存储介质

Publications (1)

Publication Number Publication Date
CN112629520A true CN112629520A (zh) 2021-04-09

Family

ID=75303994

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011344552.6A Pending CN112629520A (zh) 2020-11-25 2020-11-25 一种机器人导航与定位方法、***、设备及存储介质

Country Status (1)

Country Link
CN (1) CN112629520A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113390433A (zh) * 2021-07-20 2021-09-14 上海擎朗智能科技有限公司 一种机器人定位方法、装置、机器人和存储介质
CN113465605A (zh) * 2021-06-09 2021-10-01 西安交通大学 一种基于光电传感测量网络的移动机器人定位***及方法
CN113532441A (zh) * 2021-08-20 2021-10-22 河南牧原智能科技有限公司 用于对猪舍内载具进行组合导航的方法、装置及存储介质
CN114001743A (zh) * 2021-10-29 2022-02-01 京东方科技集团股份有限公司 地图绘制方法，装置，***，存储介质及电子设备
CN114236553A (zh) * 2022-02-23 2022-03-25 杭州蓝芯科技有限公司 一种基于深度学习的自主移动机器人定位方法
CN114415659A (zh) * 2021-12-13 2022-04-29 烟台杰瑞石油服务集团股份有限公司 一种机器人安全避障方法、装置、机器人及存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105699985A (zh) * 2016-03-23 2016-06-22 北京信息科技大学 一种单线激光雷达装置
CN106680832A (zh) * 2016-12-30 2017-05-17 深圳优地科技有限公司 一种移动机器人的障碍物检测方法、装置和移动机器人
CN107167141A (zh) * 2017-06-15 2017-09-15 同济大学 基于双一线激光雷达的机器人自主导航***
CN107901041A (zh) * 2017-12-15 2018-04-13 中南大学 一种基于图像混合矩的机器人视觉伺服控制方法
CN108621167A (zh) * 2018-07-23 2018-10-09 中南大学 一种基于轮廓边及内包圆特征的视觉伺服解耦控制方法
CN109716160A (zh) * 2017-08-25 2019-05-03 北京嘀嘀无限科技发展有限公司 用于检测车辆环境信息的方法和***
CN110554353A (zh) * 2019-08-29 2019-12-10 华中科技大学 一种基于rfid***中移动机器人绝对定位方法
CN111413970A (zh) * 2020-03-18 2020-07-14 天津大学 超宽带与视觉融合的室内机器人定位与自主导航方法
CN111427363A (zh) * 2020-04-24 2020-07-17 深圳国信泰富科技有限公司 一种机器人导航控制方法及***

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105699985A (zh) * 2016-03-23 2016-06-22 北京信息科技大学 一种单线激光雷达装置
CN106680832A (zh) * 2016-12-30 2017-05-17 深圳优地科技有限公司 一种移动机器人的障碍物检测方法、装置和移动机器人
CN107167141A (zh) * 2017-06-15 2017-09-15 同济大学 基于双一线激光雷达的机器人自主导航***
CN109716160A (zh) * 2017-08-25 2019-05-03 北京嘀嘀无限科技发展有限公司 用于检测车辆环境信息的方法和***
CN107901041A (zh) * 2017-12-15 2018-04-13 中南大学 一种基于图像混合矩的机器人视觉伺服控制方法
CN108621167A (zh) * 2018-07-23 2018-10-09 中南大学 一种基于轮廓边及内包圆特征的视觉伺服解耦控制方法
CN110554353A (zh) * 2019-08-29 2019-12-10 华中科技大学 一种基于rfid***中移动机器人绝对定位方法
CN111413970A (zh) * 2020-03-18 2020-07-14 天津大学 超宽带与视觉融合的室内机器人定位与自主导航方法
CN111427363A (zh) * 2020-04-24 2020-07-17 深圳国信泰富科技有限公司 一种机器人导航控制方法及***

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
夏春蕊;王瑞;李晓娟;关永;张杰;魏洪兴;: "动态环境下基于概率模型检测的路径规划方法", 计算机工程与应用, no. 12, pages 5 - 11 *
陈云涛 等: "雷达技术基础", vol. 2014, 31 July 2014, 国防工业出版社, pages: 16 - 17 *
陈冰: "一种新的宽基线图像匹配方法", 西安电子科技大学学报（自然科学版）, vol. 38, no. 2, 30 April 2011 (2011-04-30), pages 116 - 122 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113465605A (zh) * 2021-06-09 2021-10-01 西安交通大学 一种基于光电传感测量网络的移动机器人定位***及方法
CN113465605B (zh) * 2021-06-09 2022-10-25 西安交通大学 一种基于光电传感测量网络的移动机器人定位***及方法
CN113390433A (zh) * 2021-07-20 2021-09-14 上海擎朗智能科技有限公司 一种机器人定位方法、装置、机器人和存储介质
CN113532441A (zh) * 2021-08-20 2021-10-22 河南牧原智能科技有限公司 用于对猪舍内载具进行组合导航的方法、装置及存储介质
CN114001743A (zh) * 2021-10-29 2022-02-01 京东方科技集团股份有限公司 地图绘制方法，装置，***，存储介质及电子设备
CN114415659A (zh) * 2021-12-13 2022-04-29 烟台杰瑞石油服务集团股份有限公司 一种机器人安全避障方法、装置、机器人及存储介质
CN114415659B (zh) * 2021-12-13 2024-05-28 烟台杰瑞石油服务集团股份有限公司 一种机器人安全避障方法、装置、机器人及存储介质
CN114236553A (zh) * 2022-02-23 2022-03-25 杭州蓝芯科技有限公司 一种基于深度学习的自主移动机器人定位方法
CN114236553B (zh) * 2022-02-23 2022-06-10 杭州蓝芯科技有限公司 一种基于深度学习的自主移动机器人定位方法

Similar Documents

Publication Publication Date Title
Alatise et al. A review on challenges of autonomous mobile robot and sensor fusion methods
CN112629520A (zh) 一种机器人导航与定位方法、***、设备及存储介质
Li et al. Openstreetmap-based autonomous navigation for the four wheel-legged robot via 3d-lidar and ccd camera
CN105043396B (zh) 一种移动机器人室内自建地图的方法和***
JP6855524B2 (ja) 低速特徴からのメトリック表現の教師なし学習
CN112740274A (zh) 在机器人设备上使用光流传感器进行vslam比例估计的***和方法
Chen et al. Robot navigation with map-based deep reinforcement learning
CN114998276B (zh) 一种基于三维点云的机器人动态障碍物实时检测方法
CN111474932B (zh) 一种集成情景经验的移动机器人建图与导航方法
CN113034584B (zh) 一种基于物体语义路标的移动机器人视觉定位方法
CN114067210A (zh) 一种基于单目视觉导引的移动机器人智能抓取方法
de Oliveira et al. A robot architecture for outdoor competitions
Jensen et al. Laser range imaging using mobile robots: From pose estimation to 3d-models
Lang et al. Mobile robot localization and object pose estimation using optical encoder, vision and laser sensors
Giordano et al. 3D structure identification from image moments
Bikmaev et al. Visual Localization of a Ground Vehicle Using a Monocamera and Geodesic-Bound Road Signs
CN115690343A (zh) 一种基于视觉跟随的机器人激光雷达扫描建图方法
Alkhawaja et al. Low-cost depth/IMU intelligent sensor fusion for indoor robot navigation
Yildiz et al. CNN based sensor fusion method for real-time autonomous robotics systems
CN115836262A (zh) 基于图像的轨迹规划方法和运动控制方法以及使用该些方法的移动机器
Van Toan et al. A Single 2D LiDAR Extrinsic Calibration for Autonomous Mobile Robots
Tanveer et al. An ipm approach to multi-robot cooperative localization: Pepper humanoid and wheeled robots in a shared space
Canh et al. Multisensor data fusion for reliable obstacle avoidance
Song et al. Docking to a Specific Person of an Autonomous Mobile Manipulator Using UWB Positioning and RGB-D Camera
Derbas et al. SLAM Algorithm for Omni-Directional Robots based on ANN and EKF

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination