CN112129282B - 一种不同导航方式之间定位结果的转换方法、转换装置 - Google Patents

一种不同导航方式之间定位结果的转换方法、转换装置 Download PDF

Info

Publication number
CN112129282B
CN112129282B CN202011062611.0A CN202011062611A CN112129282B CN 112129282 B CN112129282 B CN 112129282B CN 202011062611 A CN202011062611 A CN 202011062611A CN 112129282 B CN112129282 B CN 112129282B
Authority
CN
China
Prior art keywords
pose
key frame
sample
beacon
keyframe
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011062611.0A
Other languages
English (en)
Other versions
CN112129282A (zh
Inventor
党志强
易雨亭
李建禹
贾永华
吴永海
李必勇
白寒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikrobot Co Ltd
Original Assignee
Hangzhou Hikrobot Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikrobot Technology Co Ltd filed Critical Hangzhou Hikrobot Technology Co Ltd
Priority to CN202011062611.0A priority Critical patent/CN112129282B/zh
Publication of CN112129282A publication Critical patent/CN112129282A/zh
Application granted granted Critical
Publication of CN112129282B publication Critical patent/CN112129282B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/005Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 with correlation of navigation data from several sources, e.g. map or contour matching
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20Instruments for performing navigational calculations

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Manipulator (AREA)

Abstract

本申请公开了一种不同导航方式之间定位结果的转换方法、转换装置。本发明利用预先创建的用于第一导航方式的第一坐标系与用于第二导航方式的第二坐标系之间的位姿映射关系,来补偿不同导航方式下由于地图的建图尺度差异和位形畸变等因素导致的利用二维平面位姿变换直接对齐地图带来的偏差,提高了位姿映射定位结果的准确性。相比于依靠信标作为映射参考点的方式,以用于创建位姿映射关系的样本关键帧为参考可以避免因信标布置距离过大和分布不均而导致映射输出的定位结果产生跳变的问题。

Description

一种不同导航方式之间定位结果的转换方法、转换装置
技术领域
本发明涉及机器人导航领域,特别地,涉及一种不同导航方式之间定位结果的转换方法、转换装置。
背景技术
随着导航技术的发展,越来越成熟的导航方式被应用于机器人定位中。例如,按照导航方式的不同,可以有激光导航、视觉纹理导航、信标导航等。
实际应用中,机器人侧所采用的导航方式常会因为环境的变化而需要更新导航方式,例如,基于信标的导航方式常会因信标的磨损而不得不采用更先进的导航方式,而调度***侧既有规划调度拓扑图、以及定位方式并不需要频繁更换导航方式,或者,同一调度***下不同区域的机器人需要采用不同导航方式,而调度***侧为便于规划调度通常采用一种导航方式。
由于即使是在同一空间环境下,不同导航方式的定位结果也具有较大差异。例如,从既有的二维码导航过渡到视觉纹理导航的使用场景下,视觉纹理导航输出的定位结果需要通过一定的变换,方能达到与既有的二维码地图坐标系相匹配。这使得不同导航方式之间转换定位结果成为需求。
发明内容
本发明提供了一种不同导航方式之间定位结果的转换方法、转换装置,以解决不同导航方式下坐标空间的位姿映射。
本发明提供的一种不同导航方式之间定位结果的转换方法,是这样实现的:
获得移动机器人在用于第一导航方式的第一坐标系下的第一定位结果、以及预先创建的所述第一坐标系与用于第二导航方式的第二坐标系之间的位姿映射关系,其中,所述位姿映射关系包含预先采样得到的样本关键帧集合中的每个样本关键帧在所述第一坐标系下的第一关键帧位姿和所述第二坐标系下的第二关键帧位姿,
从所述样本关键帧集合中选定一个所述样本关键帧作为参考关键帧,其中,所述参考关键帧与所述第一定位结果的关联度,比,所述样本关键帧集合中其他的所述样本关键帧与所述第一定位结果的关联度更高;
基于所述参考关键帧在所述位姿映射关系中的所述第一关键帧位姿和所述第二关键帧位姿之间的位姿偏差,将所述第一定位结果转换为所述第二坐标系下的第二定位结果。
较佳地,获得移动机器人在用于第一导航方式的第一坐标系下的第一定位结果,包括:获取所述移动机器人的相机采集到的采样图像数据包含的采样关键帧;利用所述采样关键帧确定所述第一定位结果。
较佳地,从所述样本关键帧集合中选定一个所述样本关键帧作为参考关键帧,包括:确定所述样本关键帧集合中的所述样本关键帧的所述第一关键帧位姿相对于所述第一定位结果之间的空间距离;将所述空间距离最小的一个所述样本关键帧确定为所述参考关键帧。
较佳地,从所述样本关键帧集合中选定一个所述样本关键帧作为参考关键帧,包括:筛选出所述第一关键帧位姿落入在所述第一定位结果的预设邻域范围内的所述样本关键帧;确定筛选出的所述样本关键帧与确定所述第一定位结果的采样关键帧的相似度,其中,所述采样关键帧从所述移动机器人采集到的采样图像数据中获取得到,将所述相似度最高的一个所述样本关键帧,确定为所述参考关键帧。
较佳地,所述位姿映射关系通过以下方式创建:从样本图像数据中获得包含所述样本关键帧的所述样本关键帧集合,确定所述样本关键帧集合中的每个所述样本关键帧的所述第一关键帧位姿,从所述样本关键帧集合的所述样本关键帧中提取出包括有信标的信标关键帧,基于所述信标关键帧中的信标的位置信息,确定信标对所述信标关键帧的约束,至少通过信标对所述信标关键帧的约束,对每个所述样本关键帧的所述第一关键帧位姿进行图优化,利用每个所述样本关键帧的所述第一关键帧位姿与图优化后得到的所述第二关键帧位姿,创建得到所述位姿映射关系。
本发明还提供一种构建不同导航方式之间位姿映射关系的方法,该方法包括,
从样本图像数据中获得包含样本关键帧的样本关键帧集合,
确定所述样本关键帧集合中的每个所述样本关键帧在用于第一导航方式的第一坐标系下的第一关键帧位姿,
从所述样本关键帧集合的所述样本关键帧中提取出包括有信标的信标关键帧,
基于所述信标关键帧中的信标的位置信息,确定信标对所述信标关键帧的约束,
至少通过信标对所述信标关键帧的约束,对每个所述样本关键帧的所述第一关键帧位姿进行图优化,得到在用于第二导航方式的第二坐标系下的第二关键帧位姿,
利用每个所述样本关键帧的所述第一关键帧位姿与所述第二关键帧位姿,创建得到位姿映射关系。
较佳地,基于所述信标关键帧中的信标的位置信息,确定信标对所述信标关键帧的约束,包括:对于每个所述信标关键帧中的每个信标,确定该信标相对于所述第一坐标系下的该所述信标关键帧的相机的第一位移测量值,与,该信标相对于所述第二坐标系下的该所述信标关键帧的相机的第二位移测量值之间的差异,其中,所述第二坐标系下的信标关键帧由所述第一坐标系下的信标关键帧映射得到,累计所有信标关键帧中的所有信标的所述差异,得到信标对所述信标关键帧的约束。
较佳地,所述第一位移测量值,根据所述信标关键帧中的特征点与三维空间点的相机模型关系确定;所述第二位移测量值,根据信标在所述第二坐标系中的位置信息、所述第二坐标系下的关键帧的位姿、以及相机外参获得。
较佳地,至少通过信标对所述信标关键帧的约束,对每个所述样本关键帧的所述第一关键帧位姿进行图优化,包括:通过信标对所述信标关键帧的约束、每个所述样本关键帧的里程计帧间约束、以及每个所述样本关键帧的闭环约束,对该所述样本关键帧的所述第一关键帧位姿进行图优化,其中,所述里程计帧间约束包括视觉里程计帧间约束和/或惯性里程计帧间约束,所述里程计帧间约束从采集的里程计数据中获得。
较佳地,通过信标对所述信标关键帧的约束、每个所述样本关键帧的里程计帧间约束、以及每个所述样本关键帧的闭环约束,对该所述样本关键帧的所述第一关键帧位姿进行图优化,包括:构建目标函数,该目标函数为信标对所述信标关键帧的约束、所有所述样本关键帧的里程计帧间约束、所有所述样本关键帧的闭环约束之和,通过非线性优化求解,将使得所述目标函数取得最小值的位姿确定为图优化后得到的所述第二关键帧位姿。
本发明还提供一种不同导航方式之间定位结果的转换装置,该装置包括:
信息获取模块,用于获得移动机器人在用于第一导航方式的第一坐标系下的第一定位结果、以及预先创建的所述第一坐标系与用于第二导航方式的第二坐标系之间的位姿映射关系,其中,所述位姿映射关系包含预先采样得到的样本关键帧集合中的每个样本关键帧在所述第一坐标系下的第一关键帧位姿和所述第二坐标系下的第二关键帧位姿,
参考选定模块,用于从所述样本关键帧集合中选定一个所述样本关键帧作为参考关键帧,其中,所述参考关键帧与所述第一定位结果的关联度,比,所述样本关键帧集合中其他的所述样本关键帧与所述第一定位结果的关联度更高;
转换执行模块,用于基于所述参考关键帧在所述位姿映射关系中的所述第一关键帧位姿和所述第二关键帧位姿之间的位姿偏差,将所述第一定位结果转换为所述第二坐标系下的第二定位结果。
本发明还提供一种移动机器人,该移动机器人包括处理器,所述处理器被配置为执行:
获得移动机器人在用于第一导航方式的第一坐标系下的第一定位结果、以及预先创建的所述第一坐标系与用于第二导航方式的第二坐标系之间的位姿映射关系,其中,所述位姿映射关系包含预先采样得到的样本关键帧集合中的每个样本关键帧在所述第一坐标系下的第一关键帧位姿和所述第二坐标系下的第二关键帧位姿,
从所述样本关键帧集合中选定一个所述样本关键帧作为参考关键帧,其中,所述参考关键帧与所述第一定位结果的关联度,比,所述样本关键帧集合中其他的所述样本关键帧与所述第一定位结果的关联度更高;
基于所述参考关键帧在所述位姿映射关系中的所述第一关键帧位姿和所述第二关键帧位姿之间的位姿偏差,将所述第一定位结果转换为所述第二坐标系下的第二定位结果。
本发明还提供一种数据处理设备,该数据处理设备包括处理器,所述处理器被配置为执行:
获得移动机器人在用于第一导航方式的第一坐标系下的第一定位结果、以及预先创建的所述第一坐标系与用于第二导航方式的第二坐标系之间的位姿映射关系,其中,所述位姿映射关系包含预先采样得到的样本关键帧集合中的每个样本关键帧在所述第一坐标系下的第一关键帧位姿和所述第二坐标系下的第二关键帧位姿,
从所述样本关键帧集合中选定一个所述样本关键帧作为参考关键帧,其中,所述参考关键帧与所述第一定位结果的关联度,比,所述样本关键帧集合中其他的所述样本关键帧与所述第一定位结果的关联度更高;
基于所述参考关键帧在所述位姿映射关系中的所述第一关键帧位姿和所述第二关键帧位姿之间的位姿偏差,将所述第一定位结果转换为所述第二坐标系下的第二定位结果。
本发明还提供一种构建不同导航方式之间位姿映射关系的装置,该装置包括,
信息收集模块,从样本图像数据中获得包含样本关键帧的样本关键帧集合,
位姿确定模块,确定所述样本关键帧集合中的每个所述样本关键帧在用于第一导航方式的第一坐标系下的第一关键帧位姿,
信标提取模块,从所述样本关键帧集合的所述样本关键帧中提取出包括有信标的信标关键帧,
约束确定模块,基于所述信标关键帧中的信标的位置信息,确定信标对所述信标关键帧的约束,
位姿优化模块,至少通过信标对所述信标关键帧的约束,对每个所述样本关键帧的所述第一关键帧位姿进行图优化,得到在用于第二导航方式的第二坐标系下的第二关键帧位姿,
映射创建模块,利用每个所述样本关键帧的所述第一关键帧位姿与所述第二关键帧位姿,创建得到位姿映射关系。
本发明还提供另一种数据处理设备,该数据处理设备包括处理器,所述处理器被配置为执行:
从样本图像数据中获得包含样本关键帧的样本关键帧集合,
确定所述样本关键帧集合中的每个所述样本关键帧在用于第一导航方式的第一坐标系下的第一关键帧位姿,
从所述样本关键帧集合的所述样本关键帧中提取出包括有信标的信标关键帧,
基于所述信标关键帧中的信标的位置信息,确定信标对所述信标关键帧的约束,
至少通过信标对所述信标关键帧的约束,对每个所述样本关键帧的所述第一关键帧位姿进行图优化,得到在用于第二导航方式的第二坐标系下的第二关键帧位姿,
利用每个所述样本关键帧的所述第一关键帧位姿与所述第二关键帧位姿,创建得到位姿映射关系。
本发明利用预先创建的用于第一导航方式的第一坐标系与用于第二导航方式的第二坐标系之间的位姿映射关系,来补偿不同导航方式下的定位结果由于地图的建图尺度差异和位形畸变等因素导致的利用二维平面位姿变换直接对齐地图带来的偏差,提高了位姿映射定位结果的准确性。相比于依靠信标作为映射参考点的方式,以用于创建位姿映射关系的样本关键帧为参考可以避免因信标布置距离过大和分布不均而导致映射输出的定位结果产生跳变的问题。另外,在创建位姿映射关系时,本发明利用信标对信标关键帧的约束来对样本关键帧的位姿进行图优化,故而可以不要求不同坐标系下地图物理空间具有从属包含关系,能适应更多的使用场景。通过对机器人的平面运动的位姿整体进行了映射变换,具有更高的实用价值。
附图说明
图1为本发明实施例中的一种构建不同导航方式之间位姿映射关系的方法的示例性流程示意图。
图2为基于如图1所示的示例性流程构建二维码导航方式与视觉纹理导航方式之间位姿映射关系的一种实例流程示意图。
图3为第一关键帧添加信标约束的位姿图优化的一种示意图。
图4为构建位姿映射关系的各物理量的相关关系的一种示意图。
图5为本发明实施例中的一种不同导航方式之间定位结果的转换方法的示例性流程示意图。
图6为移动机器人定位过程中基于如图5所示流程在不同导航方式之间进行定位结果转换的一种流程示意图。
图7为进行转换时的各物理量的相关关系的一种示意图。
图8为本发明实施例的一种不同导航方式之间定位结果转换装置的一种示意图。
图9为本发明实施例的移动机器人的一种示意图。
图10为本发明实施例用于构建不同导航方式之间位姿映射关系装置的一种示意图。
具体实施方式
为了使本申请的目的、技术手段和优点更加清楚明白,以下结合附图对本申请做进一步详细说明。
申请人发现,即使在同一空间环境,不同导航方式之间定位结果存在较大差异,是因为用于不同导航方式的定位地图之间整体存在畸变,例如,二维码导航定位地图中A点与B点的距离为L1,视觉纹理导航地图中A点与B点的距离为L2,两者的尺寸差异是非线性关系,因此,仅依靠单一的刚***姿变换将不同导行方式的定位结果进行全局对齐的强前提条件并不成立,这也使得不同导航方式之间定位结果的转换成为技术障碍。
为解决上述技术问题,本申请实施例寻求不同导航方式下的定位地图所满足的刚***姿变换约束,并基于此来构建不同导航方式下的位姿映射关系,从而基于位姿映射关系来进行定位结果的转换。
以下将说明本发明所涉及的参数如下:
TCK:相机外参,
Figure GDA0003056135770000061
信标Mj在第二坐标系W'的坐标位置,
Figure GDA0003056135770000062
信标Mj对视觉纹理导航方式下信标关键帧Ki的位姿约束;
Figure GDA0003056135770000071
采集信标关键帧时的相机与信标之间的位移测量值;
Figure GDA0003056135770000072
相邻样本关键帧之间里程计相对位姿测量值;
TWK:样本关键帧在第一坐标系下的全局位姿;
Figure GDA0003056135770000073
第i帧样本关键帧在第一坐标系下的第一关键帧全局位姿,
Figure GDA0003056135770000074
第i+1帧样本关键帧在第一坐标系下的第一关键帧全局位姿,
Figure GDA0003056135770000075
Figure GDA0003056135770000076
形成回环的两样本关键帧的第一关键帧位姿,
Figure GDA0003056135770000077
回环检测得到的两样本关键帧之间相对位姿测量值;
Figure GDA0003056135770000078
样本关键帧i的里程计帧间约束;
Figure GDA0003056135770000079
回环检测得到的两样本关键帧i和j的闭环约束;
Kmin:参考关键帧;
TWA:移动机器人在第一坐标系下的全局位姿;
Tw′A′:移动机器人在第二坐标系下的第二定位结果,
Figure GDA00030561357700000710
参考关键帧在第二坐标系下的第二关键帧位姿,
Figure GDA00030561357700000711
参考关键帧在第一坐标系下的第一关键帧位姿。
图1为本发明实施例中的一种构建不同导航方式之间位姿映射关系的方法的示例性流程示意图。请参见图1,在该实施例中,构建不同导航方式之间位姿映射关系的方法可以包括如下步骤(例如由例如能够与移动机器人通讯的数据处理设备执行):
步骤101,从样本图像数据中获得包含样本关键帧的样本关键帧集合。
其中,本步骤中的样本图像数据可以是在第一导航方式采集得到的,例如,由移动机器人在第一导航方式采集得到、并提供给数据处理设备。
步骤102,确定样本关键帧集合中的每个样本关键帧在用于第一导航方式的第一坐标系下的第一关键帧位姿。
步骤103,从样本关键帧集合的样本关键帧中提取出包括有信标的信标关键帧。
步骤104,基于信标关键帧中的信标的位置信息,确定信标对信标关键帧的约束。
步骤105,至少通过信标对信标关键帧的约束,对每个样本关键帧的第一关键帧位姿进行图优化,得到在用于第二导航方式的第二坐标系下的第二关键帧位姿。
步骤106,利用每个样本关键帧的第一关键帧位姿与第二关键帧位姿,创建得到位姿映射关系。
本步骤创建的位姿映射关系,可以保存在数据处理设备中,以便于由数据处理设备能够将移动机器人提供的第一坐标系下的定位结果映射转换至第二坐标系;或者,本步骤创建的位姿映射关系也可以发送给移动机器人,以供移动机器人能够自行将其在第一坐标系下的定位结果映射转换至第二坐标系。
如上述流程可见,在创建位姿映射关系时,该实施例可以利用信标对信标关键帧的约束来对样本关键帧的位姿进行图优化,故而可以不要求不同坐标系下地图物理空间具有从属包含关系,能适应更多的使用场景。通过对机器人的平面运动的位姿整体进行了映射变换,具有更高的实用价值。
为便于理解上述位姿映射关系的创建过程,以下以视觉纹理导航方式(第一导航方式)下的定位结果转换为二维码导航方式(第二导航方式)下的定位结果为例来进行说明,所应理解的是,本发明不限于视觉纹理导航方式转换为二维码导航方式的转换,同理,也可以是二维码导航方式下的定位结果转换视觉纹理导航方式下的定位结果;进一步地,可以不限于上述两种具体导航方式之间的转换,其他不同导航方式的转换也可基于本申请的原理进行调整而适用,例如信标导航方式和视觉导航方式之间定位结果的转换,其中,视觉导航方式包括,激光导航方式、SLAM(Simultaneous localization and mapping,同步定位与地图构建)导航方式等。
鉴于定位结果是通过导航定位过程中实时获得的,为提高转换的效率,可以预先构建不同导航方式下的位姿映射关系,即采取离线方式来进行。
图2为基于如图1所示的示例性流程构建二维码导航方式与视觉纹理导航方式之间位姿映射关系的一种实例流程示意图。请参见图2,在该实施例中,机器人侧的导航方式为视觉纹理导航,该构建方法可以包括如下步骤(例如由数据处理设备执行):
步骤201,从视觉纹理导航方式下的样本图像数据中获得包含样本关键帧的样本关键帧集合。
其中,本步骤中提及的样本图像数据可以是纹理图像数据,并且,本步骤还可以进一步获取视觉纹理导航方式下的里程计数据(视觉里程计和惯性里程计)。
为了提高位姿映射关系的映***度,较佳地,所采集的纹理图像数据和里程计数据可以包括移动机器人的所有可能任务路径上的纹理图像数据和里程计数据。其中,所有可能任务路径,可以是移动机器人理论上可能移动经过的路径。
从所采集的样本图像数据(纹理图像数据)中选择出的样本关键帧,可以是基于预先设定的采样规则而选取的关键帧。例如基于时间间隔的采样规则、或者针对定位地图的畸变程度较高区域的位置采样规则等。
步骤202,基于样本图像数据,解算出样本关键帧集合中每个样本关键帧在用于视觉纹理导航方式的第一坐标系下的第一关键帧位姿。
可选地,本步骤结算得到第一关键帧位姿的过程,可以进一步结合里程计数据。
样本关键帧集合中的各样本关键帧的第一关键帧位姿可以构成第一关键帧位姿集合,记第一关键帧位姿集合为S,该纹理地图下的全局坐标系(世界坐标系)称为第一坐标系{W}。
通过图像数据估计该第一关键帧位姿,后续步骤中,以惯性里程计(例如编码器里程计)和/或视觉里程计提供的帧间约束、以及视觉特征产生的闭环约束对第一关键帧位姿进行位姿图优化,可以得到第二关键帧位姿。
步骤203,对于样本关键帧集合中的每个样本关键帧,对该样本关键帧中的二维码形式的信标进行识别,将识别出包含信标的样本关键帧确定为信标关键帧。
在该步骤中,解析样本关键帧的图像数据,以提取到包含有二维码标识信息的信标。
步骤204,建立信标对信标关键帧的约束。
在该步骤中,对于包含有效信标Mj的信标关键帧Ki,可以通过信标关键帧中的特征点与三维空间点的相机模型关系获得,例如,利用PnP法求解,得到信标Mj相对于信标关键帧Ki相机的位置,该位置也可以理解为信标Mj在该帧的相机坐标系下的位置,记为
Figure GDA0003056135770000091
用于表征信标关键帧的相机与信标之间的位移观测,即采集信标关键帧时的相机与信标之间的位移测量值。此处的信标关键帧是第一坐标系下的。
由于所有信标的全局坐标(世界坐标系下)是已知的,这样,二维码导航方式下的坐标是已确定的,记为第二坐标系{W'},由此可以形成二维码对信标关键帧位姿的约束,即,对于由视觉纹理导航方式下的信标关键帧Ki所映射的二维码导航方式下的信标关键帧K′i,其在第二坐标系下的位姿
Figure GDA0003056135770000101
的约束可以表征:信标相对于视觉导航方式下(第一坐标系下)的信标关键帧的相机的第一位移测量值,与,信标相对于二维码导航方式下(第二坐标系下)所采集信标关键帧的相机的第二位移测量值之间的差异,用数学式表达为:
Figure GDA0003056135770000102
上式中TCK为相机外参,
Figure GDA0003056135770000103
为信标Mj在第二坐标系W'的坐标位置,
Figure GDA0003056135770000104
表示信标Mj对视觉纹理导航方式下信标关键帧Ki的位姿约束。
按照步骤203遍历步骤201所获得的所有样本关键帧的图像数据集,从而可以得到每个有效的信标对具有该信标的信标关键帧的位姿约束,由此,所有的信标对具有信标的信标关键帧的位姿约束可记为rM,数学表达为:
Figure GDA0003056135770000105
其中,i为包含信标的信标关键帧的数量,j为所有信标关键帧中的信标的数量。
步骤205,利用信标对信标关键帧位姿的约束,结合里程计帧间约束rO(视觉里程计帧间约束和/或惯性里程计帧间约束)、和视觉特征产生的闭环约束rC,通过图优化方法对第一关键帧位姿进行优化,优化后得到的关键帧位姿可以作为第二坐标系下的第二关键帧位姿。其中,第二关键帧位姿的集合可以记为S’。
参见图3所示,图3为样本关键帧添加信标约束的位姿图优化的一种示意图。在约束中,二维码约束是建立二维码导航方式和视觉纹理导航方式关联的纽带,故而是进行优化时的必要约束;作为可选实施方式,二维码约束中相机外参、以及信标在第二坐标系下的坐标位置固定不变;视觉特征产生的闭环约束用于消除里程计误差;里程计帧间约束中的惯性里程计帧间约束(例如编码器里程计帧间约束)、视觉里程计帧间约束可以择一地作为约束。
较佳地,为了提高优化的精度,可以同时选择惯性里程计帧间约束(例如编码器里程计帧间约束)和视觉里程计帧间约束。
基于上述约束,构建累计上述约束的目标函数:
Figure GDA0003056135770000111
其中,TWK为第一关键帧位姿,即,样本关键帧在第一坐标系下的全局位姿,
Figure GDA0003056135770000112
可以通过下式得到:
Figure GDA0003056135770000113
式中
Figure GDA0003056135770000114
为相邻的第i帧和i+1帧的样本关键帧之间的里程计相对位姿观测,即相邻关键帧之间的里程计相对位姿测量值,
Figure GDA0003056135770000115
为第i帧样本关键帧在第一坐标系下的第一关键帧位姿(全局位姿),
Figure GDA0003056135770000116
为第i+1帧样本关键帧在第一坐标系下的第一关键帧位姿(全局位姿)。
Figure GDA0003056135770000117
可以通过下式得到:
Figure GDA0003056135770000118
式中
Figure GDA0003056135770000119
Figure GDA00030561357700001110
分别为形成回环的第i和第j帧样本关键帧的第一关键帧位姿,
Figure GDA00030561357700001111
为回环检测得到的两样本关键帧之间的相对位姿观测,即回环检测得到的两样本关键帧之间的相对位姿测量值。
则,所有帧间约束rO为各帧间约束之和,数学式表达为:
Figure GDA00030561357700001112
所有闭环约束rC为各回环关键帧约束之和,数学式表达为:
Figure GDA00030561357700001113
将第一关键帧位姿代入目标函数,通过非线性优化,例如最小二乘法,求解使得目标函数达到最小值时的第一关键帧位姿,作为第二坐标系下的第一关键帧位姿。
通过提取样本关键帧中的信标信息,构建了信标和信标关键帧之间的位置约束,以样本关键帧在第一坐标系下全局位姿作为节点,和里程计观测和信标观测为约束边,利用非线性图优化算法对第一关键帧位姿进行迭代优化,输出第二坐标系下的关键帧位姿的最优解,优化算法保证了整个***对传感器噪声的容忍度,提高了第一关键帧位姿图精度和一致性。
步骤206,利用每个样本关键帧在用于视觉纹理导航方式的第一坐标系下的第一关键帧位姿与用于二维码导航模式的第二坐标系下的第二关键帧位姿,创建得到位姿映射关系。
即,鉴于在关键帧所处位置的一定邻域范围内,局部的二维码坐标地图和纹理地图满足刚***姿变换约束,故而以此来构建第一坐标系下第一关键帧位姿与第二坐标系下第一关键帧位姿的映射关系。
可选的实施方式,为便于查找,按照第一关键帧的帧标识,建立第一坐标系下第一关键帧位姿集合S到第二坐标系下的第二关键帧位姿集合S’的映射关系,并保存。例如,映射关系可以如下表所示:
Figure GDA0003056135770000121
通过上述步骤,可以建立第一坐标系下的第一关键帧位姿与第二坐标系下的第二关键帧位姿的映射关系,从而可以在定位过程中,以这些第一关键帧位姿和第二关键帧位姿为参考位姿,将纹理地图下的移动机器人位姿转换为二维码坐标地图下的移动机器人位姿。
为便于理解上述构建映射关系的过程,参见图4所示,图4为构建位姿映射关系的各物理量的相关关系的一种示意图。在第一坐标系下,从图像数据和里程计数据中得到第一关键帧位姿,在第一关键帧位姿中提取包含有信标的信标关键帧,基于信标关键帧,得到信标相对于所采集信标关键帧相机的位置
Figure GDA0003056135770000122
基于信标在第二坐标系下的全局位置信息,得到
Figure GDA0003056135770000123
Figure GDA0003056135770000124
Figure GDA0003056135770000125
得到信标对信标关键帧的约束,再结合里程计帧间约束、视觉特征产生的闭环约束,优化第一关键帧位姿,将优化后的第一关键帧位姿作为第二坐标系下的第二关键帧位姿。
图5为本发明实施例中的一种不同导航方式之间定位结果的转换方法的示例性流程示意图。请参见图5,该实施例中,不同导航方式之间定位结果的转换方法可以包括如下步骤(例如由移动机器人或者数据处理设备执行):
步骤501,获得移动机器人在用于第一导航方式的第一坐标系下的第一定位结果、以及预先创建的第一坐标系与用于第二导航方式的第二坐标系之间的位姿映射关系,其中,位姿映射关系包含预先采样得到的样本关键帧集合中的每个样本关键帧在第一坐标系下的第一关键帧位姿和第二坐标系下的第二关键帧位姿。
若本流程由移动机器人执行,则,本步骤可以获取的第一定位结果可以由移动机器人确定,例如,获取移动机器人的相机采集到的采样图像数据包含的采样关键帧,并且,利用采样关键帧确定第一定位结果。
若本流程由例如服务器等数据处理设备执行,则,本步骤可以直接从移动机器人获取由移动机器人自行确定的第一定位结果。
步骤502,从样本关键帧集合中选定一个样本关键帧作为参考关键帧,其中,参考关键帧与第一定位结果的关联度,比,样本关键帧集合中其他的样本关键帧与第一定位结果的关联度更高。
优选地,可以基于空间位置来确定关联度,例如:确定样本关键帧集合中的样本关键帧的第一关键帧位姿相对于第一定位结果之间的空间距离,并且,将空间距离最小的一个样本关键帧确定为参考关键帧,即,第一关键帧位姿与第一定位结果之间的空间距离最小,可以表示与第一定位结果的关联度最高。
作为另一种优选方案,本步骤还可以基于局部区域的图像相似度来确定关联度,例如:筛选出第一关键帧位姿落入在第一定位结果的预设邻域范围内的样本关键帧,确定筛选出的样本关键帧与确定第一定位结果的采样关键帧的相似度(采样关键帧从移动机器人采集到的采样图像数据中获取得到),并且,将相似度最高的一个样本关键帧,确定为参考关键帧,即,样本关键帧与确定第一定位结果的采样关键帧的相似度最高,也可以表示与第一定位结果的关联度最高。
步骤503,基于参考关键帧在位姿映射关系中的第一关键帧位姿和第二关键帧位姿之间的位姿偏差,将第一定位结果转换为第二坐标系下的第二定位结果。
此后,可以发布移动机器人的位置信息,其中,位置信息中包含第二定位结果。例如,移动机器人的位置信息可以向机器人调度***发布,以便于机器人调度***能够根据第二定位结果实施第二导航模式的位置监控和调度。
即,表征移动机器人在第一导航方式下的机器人位姿的第一定位结果,被转换为表征移动机器人在第二导航方式下的机器人位姿的第二定位结果后发布。
如上可见,上述流程可以利用预先创建的用于第一导航方式的第一坐标系与用于第二导航方式的第二坐标系之间的位姿映射关系(如图1所示流程创建的位姿映射关系),来补偿不同导航方式下的定位结果由于地图的建图尺度差异和位形畸变等因素导致的利用二维平面位姿变换直接对齐地图带来的偏差,提高了位姿映射定位结果的准确性。
基于上述流程,能够以用于创建位姿映射关系的样本关键帧为参考,相比于依靠信标作为映射参考点的方式,以样本关键帧为参考可以避免因信标布置距离过大和分布不均而导致映射输出的定位结果产生跳变的问题。
参见图6所示,图6为移动机器人定位过程中基于如图5所示流程在不同导航方式之间进行定位结果转换的一种流程示意图。以第一导航方式为视觉纹理导航方式、第二导航方式为二维码导航方式为例,在读取纹理地图和关键帧位姿映射关系等初始化之后,执行(例如由移动机器人或者数据处理设备执行)如下步骤:
步骤600,获取当前纹理图像数据和里程计数据,通过视觉纹理导航定位算法对所获取的纹理图像数据和里程计数据进行处理,得到视觉纹理导航方式的第一坐标系下的第一定位结果,即,移动机器人在第一坐标系下的全局位姿,记为TWA
步骤601,获得移动机器人在用于视觉纹理导航方式的第一坐标系下的第一定位结果、以及预先创建的位姿映射关系。
步骤602,基于移动机器人的第一定位结果,搜索第一坐标系下的样本关键帧集合S中距离移动机器人的第一定位结果最近的样本关键帧,得到参考关键帧Kmin
作为另一种替代,本步骤可以先在样本关键帧集合中搜索第一关键帧位姿落入在第一定位结果的邻域范围内的样本关键帧,然后确定搜索出的样本关键帧与确定第一定位结果的采样关键帧的相似度,再将相似度最高的一个样本关键帧,确定为参考关键帧Kmin。其中,邻域范围的形状和大小可以根据具体情况而设定。
步骤603,基于参考关键帧,在位姿映射关系中查找该参考关键帧在第一坐标系下的第一关键帧位姿
Figure GDA0003056135770000151
以及在第二坐标系下的第二关键帧位姿
Figure GDA0003056135770000152
步骤604,以搜索到的参考关键帧位姿作为参考位姿,将用于视觉纹理导航方式的第一坐标系(纹理地图坐标系)下的第一定位结果映射为二维码导航方式下的第二坐标系(二维码坐标系)下的第二定位结果。
在该步骤中,鉴于特定位置(例如关键帧位置)的一定邻域范围内不同导航方式下的局部地图满足刚***姿变换,即,在关键帧的一定邻域范围内不同导航方式下的局部地图之间符合线性关系;这意味着在第一坐标系下所搜索到的参考关键帧的第一关键帧位姿可以对应为第二坐标系下的第二关键帧位姿;故而,可以以参考关键帧为参照,一种实施方式是:当前移动机器人的定位结果与参考关键帧的关键帧位姿之间的相对位姿在第一坐标系和第二坐标系相同,也就是说,在第一定位结果的一定邻域范围内,二维码地图中的移动机器人的定位结果相对于参考关键帧的第二关键帧位姿的相对位姿,与纹理地图中的移动机器人的定位结果相对于与参考关键帧的第一关键帧位姿的相对位姿保持一致。数学式表达为:
Figure GDA0003056135770000153
其中,
Figure GDA0003056135770000154
为移动机器人在第二坐标系中的机器人定位结果相对于参考关键帧的第二关键帧位姿的相对位姿,
Figure GDA0003056135770000155
为移动机器人在第一坐标系中的定位结果相对于参考关键帧的第一关键帧位姿的相对位姿;
又由于第一坐标系中的机器人位姿与参考关键帧的第一关键帧位姿的相对位姿可以根据参考关键帧在第一坐标系下的全局位姿、以及移动机器人在第一坐标系下的第一定位结果(机器人位姿)而得到,数学式表达为:
Figure GDA0003056135770000156
则,移动机器人在第二坐标系下的第二定位结果可以根据参考关键帧在第一坐标系下的第一关键帧位姿、通过映射关系所获的参考关键帧在第二坐标系下的第二关键帧位姿、以及移动机器人在第一坐标系下的第一定位结果(机器人全局位姿)进行坐标变换而获得,数学式表达为:
Figure GDA0003056135770000157
其中,Tw′A′为第二坐标系下的第二定位结果,
Figure GDA0003056135770000161
为通过位姿映射关系所获的参考关键帧在第二坐标系下的第二关键帧位姿,
Figure GDA0003056135770000162
为参考关键帧在第一坐标系下的第一关键帧位姿。
由此将视觉纹理导航的第一定位结果转换为二维码地图下的第二定位结果,从而得到了移动机器人在第二坐标系下的机器人位姿。
此后,可以向机器人调度***发布移动机器人的位置信息,其中,位置信息中包含第二定位结果。
为便于理解定位结果转换的各个物理量的关系,参见图7所示,图7为进行转换时的各物理量的相关关系的一种示意图。当机器人得到第一坐标系下的定位结果后,搜索距离该定位结果最近的参考关键帧,按照帧标识查询该参考关键帧对应的第二坐标系下参考关键帧位姿,根据第一坐标系下的第一定位结果、参考关键帧在第一坐标系下的全局位姿(第一关键帧位姿)、参考关键帧在第二坐标系下的全局位姿(第二关键帧位姿),得到转换的结果,即第二坐标系下的第二定位结果。
上述将视觉纹理导航的定位结果转换为二维码地图下的定位结果的实施例,可以在定位过程中实时进行转换,解决了机器人侧所采用的导航方式和机器人调度***侧所采用的导航方式不同时定位结果转换问题。对于从既有的二维码导航过渡到视觉纹理导航的使用场景下,通过位姿映射后,可以适应既有机器人调度***的规划调度拓扑图,以及与二维码定位方式的混合对接,避免了因导航方式改变而重新制定调度拓扑图的需求。
参见图8所示,图8为本发明实施例的一种不同导航方式之间定位结果转换装置的一种示意图。该转换装置包括,
信息获取模块801,用于获得移动机器人在用于第一导航方式的第一坐标系下的第一定位结果、以及预先创建的第一坐标系与用于第二导航方式的第二坐标系之间的位姿映射关系,其中,位姿映射关系包含预先采样得到的样本关键帧集合中的每个样本关键帧在第一坐标系下的第一关键帧位姿和第二坐标系下的第二关键帧位姿,
参考选定模块802,用于从样本关键帧集合中选定一个样本关键帧作为参考关键帧,其中,参考关键帧与第一定位结果的关联度,比,样本关键帧集合中其他的样本关键帧与第一定位结果的关联度更高;
转换执行模块803,用于基于参考关键帧在位姿映射关系中的第一关键帧位姿和第二关键帧位姿之间的位姿偏差,将第一定位结果转换为第二坐标系下的第二定位结果。
另外,该转换装置还可以包括信息发布模块804(虚线表示),用于发布移动机器人的位置信息,其中,位置信息中包含第二定位结果。
优选地,参考选定模块802可以被配置为基于空间位置来确定关联度,例如:确定样本关键帧集合中的样本关键帧的第一关键帧位姿相对于第一定位结果之间的空间距离,并且,将空间距离最小的一个样本关键帧确定为参考关键帧,即,第一关键帧位姿与第一定位结果之间的空间距离最小,可以表示与第一定位结果的关联度最高。
作为另一种优选方案,参考选定模块802也可以被配置为基于局部区域的图像相似度来确定关联度,例如:筛选出第一关键帧位姿落入在第一定位结果的预设邻域范围内的样本关键帧,确定筛选出的样本关键帧与确定第一定位结果的采样关键帧的相似度(采样关键帧从移动机器人采集到的采样图像数据中获取得到),并且,将相似度最高的一个样本关键帧,确定为参考关键帧,即,样本关键帧与确定第一定位结果的采样关键帧的相似度最高,也可以表示与第一定位结果的关联度最高。
在实际应用中,转换装置可以在移动机器人侧,也可以在例如服务器等数据处理设备侧。
参见图9所示,图9为本发明实施例的移动机器人的一种示意图,该移动机器人包括相机900和处理器901,该处理器901可以被配置为执行:
获得移动机器人在用于第一导航方式的第一坐标系下的第一定位结果、以及预先创建的第一坐标系与用于第二导航方式的第二坐标系之间的位姿映射关系,其中,第一定位结果可以是根据相机900采集到的采样图像数据包含的采样关键帧确定的,并且,位姿映射关系包含预先采样得到的样本关键帧集合中的每个样本关键帧在第一坐标系下的第一关键帧位姿和第二坐标系下的第二关键帧位姿,
从样本关键帧集合中选定一个样本关键帧作为参考关键帧,其中,参考关键帧与第一定位结果的关联度,比,样本关键帧集合中其他的样本关键帧与第一定位结果的关联度更高;
基于参考关键帧在位姿映射关系中的第一关键帧位姿和第二关键帧位姿之间的位姿偏差,将第一定位结果转换为第二坐标系下的第二定位结果。
另外,该移动机器人可以发布其位置信息,该位置信息中包含第二定位结果。
如图9所示的移动机器人还可以包括非瞬时计算机可读存储介质902,该非瞬时计算机可读存储介质902可以存储指令,其中一部分指令在由处理器901执行时使得处理器901执行如上所列出的步骤。
在另一个实施例中,还提供了一种数据处理设备,其可以包含与如图9所示移动机器人的处理器901功能基本相同的另一处理器,并且也可以包括与非瞬时计算机可读存储介质902存储由类似指令的存储介质。
参见图10所示,图10为本发明实施例用于构建不同导航方式之间位姿映射关系装置的一种示意图。该装置包括,
信息收集模块1001,从样本图像数据中获得包含样本关键帧的样本关键帧集合,
位姿确定模块1002,确定样本关键帧集合中的每个样本关键帧在用于第一导航方式的第一坐标系下的第一关键帧位姿,
信标提取模块1003,从样本关键帧集合的样本关键帧中提取出包括有信标的信标关键帧,
约束确定模块1004,基于信标关键帧中的信标的位置信息,确定信标对信标关键帧的约束,
位姿优化模块1005,至少通过信标对信标关键帧的约束,对每个样本关键帧的第一关键帧位姿进行图优化,得到在用于第二导航方式的第二坐标系下的第二关键帧位姿,
映射创建模块1006,利用每个样本关键帧的第一关键帧位姿与第二关键帧位姿,创建得到位姿映射关系。
在另一个实施例中,还提供了另外一种数据处理设备,其可以包含用于执行如图1所示流程中的各步骤的处理器,并且也可以包括存储有供处理器执行这些步骤的相关指令的非瞬时计算机可读存储介质。
前文提及的各处理器可以是通用处理器,包括中央处理器(Central ProcessingUnit,CPU)、网络处理器(Network Processor,NP)等;还可以是数字信号处理器(DigitalSignal Processing,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
本发明实施例还提供了一种计算机可读存储介质,该存储介质内存储有计算机程序,计算机程序被处理器执行时实现本发明所述不同导航方式之间定位结果的转换方法步骤。
本发明实施例还提供了一种计算机可读存储介质,所述存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现本发明所述构建不同导航方式之间位姿映射关系的步骤。
对于装置/网络侧设备/存储介质实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明保护的范围之内。

Claims (15)

1.一种不同导航方式之间定位结果的转换方法,其特征在于,该转换方法包括:
获得移动机器人在用于第一导航方式的第一坐标系下的第一定位结果、以及预先创建的所述第一坐标系与用于第二导航方式的第二坐标系之间的位姿映射关系,其中,所述位姿映射关系包含预先采样得到的样本关键帧集合中的每个样本关键帧在所述第一坐标系下的第一关键帧位姿和所述第二坐标系下的第二关键帧位姿,
从所述样本关键帧集合中选定一个所述样本关键帧作为参考关键帧,其中,所述参考关键帧与所述第一定位结果的关联度比所述样本关键帧集合中其他的所述样本关键帧与所述第一定位结果的关联度更高;
基于所述参考关键帧在所述位姿映射关系中的所述第一关键帧位姿和所述第二关键帧位姿之间的位姿偏差,将所述第一定位结果转换为所述第二坐标系下的第二定位结果。
2.如权利要求1所述的转换方法,其特征在于,获得移动机器人在用于第一导航方式的第一坐标系下的第一定位结果,包括:
获取所述移动机器人的相机采集到的采样图像数据包含的采样关键帧;
利用所述采样关键帧确定所述第一定位结果。
3.如权利要求1所述的转换方法,其特征在于,从所述样本关键帧集合中选定一个所述样本关键帧作为参考关键帧,包括:
确定所述样本关键帧集合中的所述样本关键帧的所述第一关键帧位姿相对于所述第一定位结果之间的空间距离;
将所述空间距离最小的一个所述样本关键帧确定为所述参考关键帧。
4.如权利要求1所述的转换方法,其特征在于,从所述样本关键帧集合中选定一个所述样本关键帧作为参考关键帧,包括:
筛选出所述第一关键帧位姿落入在所述第一定位结果的预设邻域范围内的所述样本关键帧;
确定筛选出的所述样本关键帧与确定所述第一定位结果的采样关键帧的相似度,其中,所述采样关键帧从所述移动机器人采集到的采样图像数据中获取得到,
将所述相似度最高的一个所述样本关键帧,确定为所述参考关键帧。
5.如权利要求1所述的转换方法,其特征在于,所述位姿映射关系通过以下方式创建:
从样本图像数据中获得包含所述样本关键帧的所述样本关键帧集合,
确定所述样本关键帧集合中的每个所述样本关键帧的所述第一关键帧位姿,
从所述样本关键帧集合的所述样本关键帧中提取出包括有信标的信标关键帧,
基于所述信标关键帧中的信标的位置信息,确定信标对所述信标关键帧的约束,
至少通过信标对所述信标关键帧的约束,对每个所述样本关键帧的所述第一关键帧位姿进行图优化,
利用每个所述样本关键帧的所述第一关键帧位姿与图优化后得到的所述第二关键帧位姿,创建得到所述位姿映射关系。
6.一种构建不同导航方式之间位姿映射关系的方法,其特征在于,该方法包括:
从样本图像数据中获得包含样本关键帧的样本关键帧集合,
确定所述样本关键帧集合中的每个所述样本关键帧在用于第一导航方式的第一坐标系下的第一关键帧位姿,
从所述样本关键帧集合的所述样本关键帧中提取出包括有信标的信标关键帧,
基于所述信标关键帧中的信标的位置信息,确定信标对所述信标关键帧的约束,
至少通过信标对所述信标关键帧的约束,对每个所述样本关键帧的所述第一关键帧位姿进行图优化,得到在用于第二导航方式的第二坐标系下的第二关键帧位姿,
利用每个所述样本关键帧的所述第一关键帧位姿与所述第二关键帧位姿,创建得到位姿映射关系。
7.如权利要求6所述的方法,其特征在于,基于所述信标关键帧中的信标的位置信息,确定信标对所述信标关键帧的约束,包括:
对于每个所述信标关键帧中的每个信标,
确定该信标相对于所述第一坐标系下的该所述信标关键帧的相机的第一位移测量值,与,该信标相对于所述第二坐标系下的该所述信标关键帧的相机的第二位移测量值之间的差异,其中,所述第二坐标系下的信标关键帧由所述第一坐标系下的信标关键帧映射得到,
累计所有信标关键帧中的所有信标的所述差异,得到信标对所述信标关键帧的约束。
8.如权利要求7所述的方法,其特征在于,
所述第一位移测量值,根据所述信标关键帧中的特征点与三维空间点的相机模型关系确定;
所述第二位移测量值,根据信标在所述第二坐标系中的位置信息、所述第二坐标系下的信标关键帧的位姿、以及相机外参获得。
9.如权利要求6所述的方法,其特征在于,至少通过信标对所述信标关键帧的约束,对每个所述样本关键帧的所述第一关键帧位姿进行图优化,包括:
通过信标对所述信标关键帧的约束、每个所述样本关键帧的里程计帧间约束、以及每个所述样本关键帧的闭环约束,对该所述样本关键帧的所述第一关键帧位姿进行图优化,
其中,所述里程计帧间约束包括视觉里程计帧间约束和/或惯性里程计帧间约束,所述里程计帧间约束从采集的里程计数据中获得。
10.如权利要求9所述的方法,其特征在于,通过信标对所述信标关键帧的约束、每个所述样本关键帧的里程计帧间约束、以及每个所述样本关键帧的闭环约束,对该所述样本关键帧的所述第一关键帧位姿进行图优化,包括:
构建目标函数,该目标函数为信标对所述信标关键帧的约束、所有所述样本关键帧的里程计帧间约束、所有所述样本关键帧的闭环约束之和,
通过非线性优化求解,将使得所述目标函数取得最小值的位姿确定为图优化后得到的所述第二关键帧位姿。
11.一种不同导航方式之间定位结果的转换装置,其特征在于,该转换装置包括:
信息获取模块,用于获得移动机器人在用于第一导航方式的第一坐标系下的第一定位结果、以及预先创建的所述第一坐标系与用于第二导航方式的第二坐标系之间的位姿映射关系,其中,所述位姿映射关系包含预先采样得到的样本关键帧集合中的每个样本关键帧在所述第一坐标系下的第一关键帧位姿和所述第二坐标系下的第二关键帧位姿,
参考选定模块,用于从所述样本关键帧集合中选定一个所述样本关键帧作为参考关键帧,其中,所述参考关键帧与所述第一定位结果的关联度比所述样本关键帧集合中其他的所述样本关键帧与所述第一定位结果的关联度更高;
转换执行模块,用于基于所述参考关键帧在所述位姿映射关系中的所述第一关键帧位姿和所述第二关键帧位姿之间的位姿偏差,将所述第一定位结果转换为所述第二坐标系下的第二定位结果。
12.一种移动机器人,其特征在于,该移动机器人包括处理器,所述处理器被配置为执行:
获得移动机器人在用于第一导航方式的第一坐标系下的第一定位结果、以及预先创建的所述第一坐标系与用于第二导航方式的第二坐标系之间的位姿映射关系,其中,所述位姿映射关系包含预先采样得到的样本关键帧集合中的每个样本关键帧在所述第一坐标系下的第一关键帧位姿和所述第二坐标系下的第二关键帧位姿,
从所述样本关键帧集合中选定一个所述样本关键帧作为参考关键帧,其中,所述参考关键帧与所述第一定位结果的关联度比所述样本关键帧集合中其他的所述样本关键帧与所述第一定位结果的关联度更高;
基于所述参考关键帧在所述位姿映射关系中的所述第一关键帧位姿和所述第二关键帧位姿之间的位姿偏差,将所述第一定位结果转换为所述第二坐标系下的第二定位结果。
13.一种数据处理设备,其特征在于,该数据处理设备包括处理器,所述处理器被配置为执行:
获得移动机器人在用于第一导航方式的第一坐标系下的第一定位结果、以及预先创建的所述第一坐标系与用于第二导航方式的第二坐标系之间的位姿映射关系,其中,所述位姿映射关系包含预先采样得到的样本关键帧集合中的每个样本关键帧在所述第一坐标系下的第一关键帧位姿和所述第二坐标系下的第二关键帧位姿,
从所述样本关键帧集合中选定一个所述样本关键帧作为参考关键帧,其中,所述参考关键帧与所述第一定位结果的关联度比所述样本关键帧集合中其他的所述样本关键帧与所述第一定位结果的关联度更高;
基于所述参考关键帧在所述位姿映射关系中的所述第一关键帧位姿和所述第二关键帧位姿之间的位姿偏差,将所述第一定位结果转换为所述第二坐标系下的第二定位结果。
14.一种构建不同导航方式之间位姿映射关系的装置,其特征在于,该装置包括,
信息收集模块,从样本图像数据中获得包含样本关键帧的样本关键帧集合,
位姿确定模块,确定所述样本关键帧集合中的每个所述样本关键帧在用于第一导航方式的第一坐标系下的第一关键帧位姿,
信标提取模块,从所述样本关键帧集合的所述样本关键帧中提取出包括有信标的信标关键帧,
约束确定模块,基于所述信标关键帧中的信标的位置信息,确定信标对所述信标关键帧的约束,
位姿优化模块,至少通过信标对所述信标关键帧的约束,对每个所述样本关键帧的所述第一关键帧位姿进行图优化,得到在用于第二导航方式的第二坐标系下的第二关键帧位姿,
映射创建模块,利用每个所述样本关键帧的所述第一关键帧位姿与所述第二关键帧位姿,创建得到位姿映射关系。
15.一种数据处理设备,其特征在于,该数据处理设备包括处理器,所述处理器被配置为执行:
从样本图像数据中获得包含样本关键帧的样本关键帧集合,
确定所述样本关键帧集合中的每个所述样本关键帧在用于第一导航方式的第一坐标系下的第一关键帧位姿,
从所述样本关键帧集合的所述样本关键帧中提取出包括有信标的信标关键帧,
基于所述信标关键帧中的信标的位置信息,确定信标对所述信标关键帧的约束,
至少通过信标对所述信标关键帧的约束,对每个所述样本关键帧的所述第一关键帧位姿进行图优化,得到在用于第二导航方式的第二坐标系下的第二关键帧位姿,
利用每个所述样本关键帧的所述第一关键帧位姿与所述第二关键帧位姿,创建得到位姿映射关系。
CN202011062611.0A 2020-09-30 2020-09-30 一种不同导航方式之间定位结果的转换方法、转换装置 Active CN112129282B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011062611.0A CN112129282B (zh) 2020-09-30 2020-09-30 一种不同导航方式之间定位结果的转换方法、转换装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011062611.0A CN112129282B (zh) 2020-09-30 2020-09-30 一种不同导航方式之间定位结果的转换方法、转换装置

Publications (2)

Publication Number Publication Date
CN112129282A CN112129282A (zh) 2020-12-25
CN112129282B true CN112129282B (zh) 2021-06-18

Family

ID=73843565

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011062611.0A Active CN112129282B (zh) 2020-09-30 2020-09-30 一种不同导航方式之间定位结果的转换方法、转换装置

Country Status (1)

Country Link
CN (1) CN112129282B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113483755B (zh) * 2021-07-09 2023-11-07 北京易航远智科技有限公司 一种基于非全局一致地图的多传感器组合定位方法及***
CN115502971B (zh) * 2022-09-15 2023-06-27 杭州蓝芯科技有限公司 一种应对定位切换跳变的导航对接方法、***以及设备

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107063258A (zh) * 2017-03-07 2017-08-18 重庆邮电大学 一种基于语义信息的移动机器人室内导航方法
CN107705333A (zh) * 2017-09-21 2018-02-16 歌尔股份有限公司 基于双目相机的空间定位方法及装置
CN108717710A (zh) * 2018-05-18 2018-10-30 京东方科技集团股份有限公司 室内环境下的定位方法、装置及***
CN109974712A (zh) * 2019-04-22 2019-07-05 广东亿嘉和科技有限公司 一种基于图优化的变电站巡检机器人建图方法
CN110345944A (zh) * 2019-05-27 2019-10-18 浙江工业大学 融合视觉特征和imu信息的机器人定位方法
CN110501017A (zh) * 2019-08-12 2019-11-26 华南理工大学 一种基于orb_slam2的移动机器人导航地图生成方法
CN111462207A (zh) * 2020-03-30 2020-07-28 重庆邮电大学 一种融合直接法与特征法的rgb-d同时定位与地图创建方法
CN111561923A (zh) * 2020-05-19 2020-08-21 北京数字绿土科技有限公司 基于多传感器融合的slam制图方法、***

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107063258A (zh) * 2017-03-07 2017-08-18 重庆邮电大学 一种基于语义信息的移动机器人室内导航方法
CN107705333A (zh) * 2017-09-21 2018-02-16 歌尔股份有限公司 基于双目相机的空间定位方法及装置
CN108717710A (zh) * 2018-05-18 2018-10-30 京东方科技集团股份有限公司 室内环境下的定位方法、装置及***
CN109974712A (zh) * 2019-04-22 2019-07-05 广东亿嘉和科技有限公司 一种基于图优化的变电站巡检机器人建图方法
CN110345944A (zh) * 2019-05-27 2019-10-18 浙江工业大学 融合视觉特征和imu信息的机器人定位方法
CN110501017A (zh) * 2019-08-12 2019-11-26 华南理工大学 一种基于orb_slam2的移动机器人导航地图生成方法
CN111462207A (zh) * 2020-03-30 2020-07-28 重庆邮电大学 一种融合直接法与特征法的rgb-d同时定位与地图创建方法
CN111561923A (zh) * 2020-05-19 2020-08-21 北京数字绿土科技有限公司 基于多传感器融合的slam制图方法、***

Also Published As

Publication number Publication date
CN112129282A (zh) 2020-12-25

Similar Documents

Publication Publication Date Title
Muñoz-Salinas et al. Mapping and localization from planar markers
AU2016202515B2 (en) Adaptive mapping with spatial summaries of sensor data
Agarwal et al. Metric localization using *** street view
JP2019120927A (ja) グリッドマップを作成する方法及び装置
CN112129282B (zh) 一种不同导航方式之间定位结果的转换方法、转换装置
Andreasson et al. 6D scan registration using depth-interpolated local image features
Raza et al. Comparing and evaluating indoor positioning techniques
CN114413909A (zh) 一种室内移动机器人定位方法及***
CN111383205A (zh) 一种基于特征点和三维模型的图像融合定位方法
Feng et al. Visual Map Construction Using RGB‐D Sensors for Image‐Based Localization in Indoor Environments
CN115962773A (zh) 一种移动机器人同步定位与地图构建方法、装置和设备
Shu et al. 3D point cloud-based indoor mobile robot in 6-DoF pose localization using a Wi-Fi-aided localization system
Fischer et al. Stickylocalization: Robust end-to-end relocalization on point clouds using graph neural networks
CN114187418A (zh) 回环检测方法、点云地图构建方法、电子设备及存储介质
Feng et al. Marker-assisted structure from motion for 3D environment modeling and object pose estimation
Arth et al. Full 6dof pose estimation from geo-located images
Frosi et al. Osm-slam: Aiding slam with openstreetmaps priors
CN116907477A (zh) 一种基于视觉路标辅助的高精度激光slam方法及装置
Lee et al. Development of indoor localization system using a mobile data acquisition platform and BoW image matching
Aggarwal Machine vision based SelfPosition estimation of mobile robots
CN115239902A (zh) 移动设备的周边地图建立方法、装置、设备及存储介质
JP2018194366A (ja) 位置推定装置、方法、及びプログラム
Ito et al. Global localization from a single image in known indoor environments
JP2023538946A (ja) マルチエージェント地図生成
Musa et al. Feasibility of Video-based Sub-meter Localization on Resource-constrained Platforms

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder
CP01 Change in the name or title of a patent holder

Address after: 310051 room 304, B / F, building 2, 399 Danfeng Road, Binjiang District, Hangzhou City, Zhejiang Province

Patentee after: Hangzhou Hikvision Robot Co.,Ltd.

Address before: 310051 room 304, B / F, building 2, 399 Danfeng Road, Binjiang District, Hangzhou City, Zhejiang Province

Patentee before: HANGZHOU HIKROBOT TECHNOLOGY Co.,Ltd.