CN111932675B - 建立地图的方法、装置、自移动设备和存储介质 - Google Patents
建立地图的方法、装置、自移动设备和存储介质 Download PDFInfo
- Publication number
- CN111932675B CN111932675B CN202011106961.2A CN202011106961A CN111932675B CN 111932675 B CN111932675 B CN 111932675B CN 202011106961 A CN202011106961 A CN 202011106961A CN 111932675 B CN111932675 B CN 111932675B
- Authority
- CN
- China
- Prior art keywords
- coordinate system
- coordinate
- map
- image
- pose
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/05—Geographic models
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/005—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 with correlation of navigation data from several sources, e.g. map or contour matching
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/29—Geographical information databases
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Remote Sensing (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- Geometry (AREA)
- Computer Graphics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Automation & Control Theory (AREA)
- Computer Networks & Wireless Communication (AREA)
- Electromagnetism (AREA)
- Navigation (AREA)
- Instructional Devices (AREA)
Abstract
本申请提出一种建立地图的方法、装置、自移动设备和存储介质,涉及自动导航领域,其中,方法包括:获取自移动设备在移动过程中采集的图像,以及采集图像时自移动设备在地图坐标系中的设备位姿;根据图像中的位置标识中的坐标系部分,对位置标识中的编码部分解码得到目标编码;根据目标编码,查询得到编码部分在位置标识所在的标准坐标系中的标准坐标位置;根据标准坐标位置和参考坐标位置,确定标准坐标系与采集图像时自移动设备的坐标系之间的坐标变换关系;根据坐标变换关系,和自移动设备在地图坐标系中的设备位姿,在地图坐标系中标注位置标识的预测位姿。由此,可以保证建立的地图的有效性,从而可以有效定位自移动设备的位置,提升适用性。
Description
技术领域
本申请涉及自动导航技术领域,尤其涉及一种建立地图的方法、装置、自移动设备和存储介质。
背景技术
随着人工智能技术的不断发展,人工智能产品,比如自移动设备不断普及。当控制自移动设备移动时,首先需要对自移动设备进行定位,即识别自移动设备在所处空间内的位置,之后才能对该自移动设备进行导航。
相关技术中,采用地图导航方式,确定自移动设备在室内空间中所处的位置。具体地,预先建立地图,通过在自移动设备上搭载激光雷达,在自移动设备移动的过程中,采用激光雷达扫描周围环境,获取激光点云图,根据激光雷达采集的点云图,以及采集该点云图时自移动设备所处的位置建立地图。进而在导航定位时,可将激光雷达实时采集的点云图与预先建立的地图进行匹配的方式,来确定自移动设备在地图中的实时位置,从而实现对自移动设备进行定位。
然而上述方式中,无法适用于室内环境经常发生变化的场景。比如,当室内家具等室内陈设位置发生变化时,或者,当人员移动干扰激光雷达扫描周围环境时,预先建立的地图会失效,自移动设备在移动过程中所采集到的激光点云图,与预先建立的地图将无法匹配,从而无法定位自移动设备的位置。
发明内容
本申请旨在至少在一定程度上解决相关技术中的技术问题之一。
本申请提出一种建立地图的方法、装置、自移动设备和存储介质,以实现根据位置标识来建立地图,即使自移动设备所处空间内的陈设位置发生变化,或者人员移动干扰激光雷达扫描周围环境,建立的地图也不会失效,从而可以有效定位自移动设备的位置,提升该方法的适用性。
本申请第一方面实施例提出了一种建立地图的方法,包括:
获取自移动设备在移动过程中采集的图像,以及采集所述图像时所述自移动设备在地图坐标系中的设备位姿;其中,所述图像中展示有位置标识;
根据所述位置标识中的坐标系部分,对所述位置标识中的编码部分解码得到目标编码;
根据所述目标编码,查询得到所述编码部分在所述位置标识所在的标准坐标系中的标准坐标位置;
根据所述标准坐标位置和参考坐标位置,确定所述标准坐标系与采集所述图像时所述自移动设备的坐标系之间的坐标变换关系;其中,所述参考坐标位置,是所述编码部分在所述坐标系部分确定的候选坐标系中的坐标位置;
根据所述坐标变换关系,和所述自移动设备在地图坐标系中的设备位姿,在所述地图坐标系中标注所述位置标识的预测位姿。
在本申请实施例的第一种可能的实现方式中,展示有同一所述位置标识的所述图像为至少两帧,采集各帧图像时所述自移动设备在地图坐标系中具有对应的设备位姿;
其中,所述根据所述坐标变换关系,和所述自移动设备在地图坐标系中的设备位姿,在所述地图坐标系中标注所述位置标识的预测位姿,包括:
根据所述标准坐标系与采集各帧所述图像时所述自移动设备的坐标系之间的坐标变换关系,以及根据采集各帧图像时所述自移动设备在地图坐标系中的设备位姿,在所述地图坐标系中确定各帧所述图像对应的所述位置标识的观测位姿;
融合各帧所述图像对应的观测位姿,得到所述预测位姿;
在所述地图坐标系中标注所述位置标识的所述预测位姿。
在本申请实施例的第二种可能的实现方式中,所述预测位姿与各所述观测位姿之间的观测差异之和最小化。
在本申请实施例的第三种可能的实现方式中,各帧所述图像中均展示有至少两个所述位置标识;
其中,所述融合各帧所述图像对应的观测位姿,得到所述预测位姿,包括:
根据同一帧所述图像对应的每一所述位置标识的观测位姿,确定相对观测位姿;
根据各帧所述图像对应的相对观测位姿,确定所述至少两个所述位置标识的预测位姿;其中,所述至少两个位置标识的预测位姿之间的相对位姿与各帧所述图像对应的相对观测位姿之间的观测差异之和最小化。
在本申请实施例的第四种可能的实现方式中,所述观测差异是根据所述预测位姿与各所述观测位姿之间的误差距离确定的。
在本申请实施例的第五种可能的实现方式中,所述根据所述位置标识中的坐标系部分,对所述位置标识中的编码部分解码得到目标编码,包括:
根据所述位置标识中的坐标系部分,确定候选坐标系;
根据所述位置标识中的编码部分在所述候选坐标系中的参考坐标位置,解码得到所述目标编码。
在本申请实施例的第六种可能的实现方式中,所述编码部分包括多个第一标记点;所述根据所述位置标识中的编码部分在所述候选坐标系中的参考坐标位置,解码得到所述目标编码,包括:
将所述候选坐标系,与所述标准坐标系进行坐标系变换,得到所述候选坐标系与所述标准坐标系之间的仿射变换矩阵;
采用所述仿射变换矩阵,将各所述第一标记点在所述候选坐标系中的坐标位置变换至所述标准坐标系下,以得到各所述第一标记点在所述标准坐标系中的坐标位置;
根据各所述第一标记点在所述标准坐标系中的坐标位置,确定对应的目标编码。
在本申请实施例的第七种可能的实现方式中,所述坐标系部分包括至少五个第二标记点;
其中,所述根据所述位置标识中的坐标系部分,确定候选坐标系,包括:
在所述图像中,连接共线的至少三个所述第二标记点,得到两条连线;
将处于所述两条连线交点的第二标记点,确定为所述候选坐标系的原点,将所述两条连线,确定为所述候选坐标系的坐标轴;其中,所述坐标轴的方向,是根据处于所述坐标轴上的所述第二标记点与所述原点的距离确定的。
在本申请实施例的第八种可能的实现方式中,所述坐标系部分包括非对称图案;
其中,所述根据所述位置标识中的坐标系部分,确定候选坐标系,包括:
根据所述非对称图案中的设定参考线,确定所述候选坐标系的坐标轴;其中,所述坐标轴的方向,是根据所述非对称图案中设定局部图案所在位置确定的;
和/或,根据所述非对称图案中设定关键点所在位置,确定所述候选坐标系中设定的坐标点。
本申请实施例的建立地图的方法,通过获取自移动设备在移动过程中采集的图像,以及采集图像时自移动设备在地图坐标系中的设备位姿;根据图像中的位置标识中的坐标系部分,对位置标识中的编码部分解码得到目标编码;根据目标编码,查询得到编码部分在位置标识所在的标准坐标系中的标准坐标位置;根据标准坐标位置和参考坐标位置,确定标准坐标系与采集图像时自移动设备的坐标系之间的坐标变换关系;其中,参考坐标位置,是编码部分在坐标系部分确定的候选坐标系中的坐标位置;根据坐标变换关系,和自移动设备在地图坐标系中的设备位姿,在地图坐标系中标注位置标识的预测位姿。本申请中,根据位置标识来建立地图,即使自移动设备所处空间内的陈设位置发生变化,或者人员移动干扰激光雷达扫描周围环境,建立的地图也不会失效,从而可以有效定位自移动设备的位置,即该方法不易受到周围环境的干扰,可以提升该方法的适用性。
本申请第二方面实施例提出了一种建立地图的装置,包括:
获取模块,用于获取自移动设备在移动过程中采集的图像,以及采集所述图像时所述自移动设备在地图坐标系中的设备位姿;其中,所述图像中展示有位置标识;
解码模块,用于根据所述位置标识中的坐标系部分,对所述位置标识中的编码部分解码得到目标编码;
查询模块,用于根据所述目标编码,查询得到所述编码部分在所述位置标识所在的标准坐标系中的标准坐标位置;
确定模块,用于根据所述标准坐标位置和参考坐标位置,确定所述标准坐标系与采集所述图像时所述自移动设备的坐标系之间的坐标变换关系;其中,所述参考坐标位置,是所述编码部分在所述坐标系部分确定的候选坐标系中的坐标位置;
标注模块,用于根据所述坐标变换关系,和所述自移动设备在地图坐标系中的设备位姿,在所述地图坐标系中标注所述位置标识的预测位姿。
在本申请实施例的第一种可能的实现方式中,展示有同一所述位置标识的所述图像为至少两帧,采集各帧图像时所述自移动设备在地图坐标系中具有对应的设备位姿;
其中,所述标注模块,包括:
确定单元,用于根据所述标准坐标系与采集各帧所述图像时所述自移动设备的坐标系之间的坐标变换关系,以及根据采集各帧图像时所述自移动设备在地图坐标系中的设备位姿,在所述地图坐标系中确定各帧所述图像对应的所述位置标识的观测位姿;
融合单元,用于融合各帧所述图像对应的观测位姿,得到所述预测位姿;
标注单元,用于在所述地图坐标系中标注所述位置标识的所述预测位姿。
在本申请实施例的第二种可能的实现方式中,所述预测位姿与各所述观测位姿之间的观测差异之和最小化。
在本申请实施例的第三种可能的实现方式中,各帧所述图像中均展示有至少两个所述位置标识;
其中,所述融合单元,具体用于:
根据同一帧所述图像对应的每一所述位置标识的观测位姿,确定相对观测位姿;
根据各帧所述图像对应的相对观测位姿,确定所述至少两个所述位置标识的预测位姿;其中,所述至少两个位置标识的预测位姿之间的相对位姿与各帧所述图像对应的相对观测位姿之间的观测差异之和最小化。
在本申请实施例的第四种可能的实现方式中,所述观测差异是根据所述预测位姿与各所述观测位姿之间的误差距离确定的。
在本申请实施例的第五种可能的实现方式中,所述解码模块,包括:
处理单元,用于根据所述位置标识中的坐标系部分,确定候选坐标系;
解码单元,用于根据所述位置标识中的编码部分在所述候选坐标系中的参考坐标位置,解码得到所述目标编码。
在本申请实施例的第六种可能的实现方式中,所述编码部分包括多个第一标记点;所述解码单元,具体用于:
将所述候选坐标系,与所述标准坐标系进行坐标系变换,得到所述候选坐标系与所述标准坐标系之间的仿射变换矩阵;
采用所述仿射变换矩阵,将各所述第一标记点在所述候选坐标系中的坐标位置变换至所述标准坐标系下,以得到各所述第一标记点在所述标准坐标系中的坐标位置;
根据各所述第一标记点在所述标准坐标系中的坐标位置,确定对应的目标编码。
在本申请实施例的第七种可能的实现方式中,所述坐标系部分包括至少五个第二标记点;
其中,所述处理单元,具体用于:
在所述图像中,连接共线的至少三个所述第二标记点,得到两条连线;
将处于所述两条连线交点的第二标记点,确定为所述候选坐标系的原点,将所述两条连线,确定为所述候选坐标系的坐标轴;其中,所述坐标轴的方向,是根据处于所述坐标轴上的所述第二标记点与所述原点的距离确定的。
在本申请实施例的第八种可能的实现方式中,所述坐标系部分包括非对称图案;
其中,所述处理单元,具体用于:
根据所述非对称图案中的设定参考线,确定所述候选坐标系的坐标轴;其中,所述坐标轴的方向,是根据所述非对称图案中设定局部图案所在位置确定的;
和/或,根据所述非对称图案中设定关键点所在位置,确定所述候选坐标系中设定的坐标点。
本申请实施例的建立地图的装置,通过获取自移动设备在移动过程中采集的图像,以及采集图像时自移动设备在地图坐标系中的设备位姿;根据图像中的位置标识中的坐标系部分,对位置标识中的编码部分解码得到目标编码;根据目标编码,查询得到编码部分在位置标识所在的标准坐标系中的标准坐标位置;根据标准坐标位置和参考坐标位置,确定标准坐标系与采集图像时自移动设备的坐标系之间的坐标变换关系;其中,参考坐标位置,是编码部分在坐标系部分确定的候选坐标系中的坐标位置;根据坐标变换关系,和自移动设备在地图坐标系中的设备位姿,在地图坐标系中标注位置标识的预测位姿。本申请中,根据位置标识来建立地图,即使自移动设备所处空间内的陈设位置发生变化,或者人员移动干扰激光雷达扫描周围环境,建立的地图也不会失效,从而可以有效定位自移动设备的位置,提升该装置的适用性。
本申请第三方面实施例提出了一种自移动设备,包括:存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时,实现如本申请第一方面实施例提出的建立地图的方法。
本申请第四方面实施例提出了一种非临时性计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如本申请第一方面实施例提出的建立地图的方法。
本申请第五方面实施例提出了一种计算机程序产品,当所述计算机程序产品中的指令被处理器执行时,实现如本申请第一方面实施例提出的建立地图的方法。
本申请附加的方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本申请的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解,其中:
图1为本申请实施例一所提供的建立地图的方法的流程示意图;
图2为本申请实施例二所提供的建立地图的方法的流程示意图;
图3为本申请实施例中的位置标识示意图一;
图4为本申请实施例中的位置标识示意图二;
图5为本申请实施例三所提供的建立地图的方法的流程示意图;
图6为本申请实施例四所提供的建立地图的方法的流程示意图;
图7为本申请实施例五所提供的建立地图的装置的结构示意图;
图8为本申请实施例六所提供的建立地图的装置的结构示意图。
具体实施方式
下面详细描述本申请的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,旨在用于解释本申请,而不能理解为对本申请的限制。
下面参考附图描述本申请实施例的建立地图的方法、装置、自移动设备和存储介质。
图1为本申请实施例一所提供的建立地图的方法的流程示意图。
本申请实施例的执行主体可以为本申请提供的建立地图的装置,该建立地图的装置可以被配置在自移动设备中,比如该建立地图的装置可以为自移动设备的本地控制器,从而可以实现由自移动设备执行建立地图的功能;或者,该建立地图的装置也可以被配置在服务器中,比如建立地图的装置可以为与自移动设备通信的云端服务器,从而可以实现由服务器执行建立地图的功能。
其中,自移动设备可以为智能机器人等具备导航避障功能、可自主移动的设备。
如图1所示,该建立地图的方法可以包括以下步骤:
步骤101,获取自移动设备在移动过程中采集的图像,以及采集图像时自移动设备在地图坐标系中的设备位姿;其中,图像中展示有位置标识。
本申请实施例中,地图坐标系即世界坐标系,是指自移动设备或服务器在建立地图时生成的坐标系。例如,当建立地图时,可以以自移动设备启动时所在位置作为地图坐标系的原点位置,自移动设备的前进方向可作为X轴的正方向,与X轴垂直的方向可作为Y轴,与X轴和Y轴垂直的方向可作为Z轴,或者,可将自移动设备的前进方向作为Y轴的正方向,与Y轴垂直的方向可作为X轴,与X轴和Y轴垂直的方向可作为Z轴。即,地图坐标系的原点为自移动设备启动时所在位置,而各坐标轴,以及各坐标轴的方向可预先定义。
本申请实施例中,自移动设备上可以设置有图像传感器,在自移动设备移动过程中,可以通过该图像传感器采集图像。其中,采集的图像中展示有位置标识。其中,图像传感器可以为电荷耦合器件(Charge Coupled Device,简称CCD)、互补金属氧化物半导体(Complementary Metal Oxide Semiconductor,简称CMOS)、薄膜晶体管(Thin FilmTransistor,简称TFT)等图像传感器。
本申请实施例中,当建立地图的装置被配置在自移动设备中时,建立地图的装置可直接获取图像传感器采集的图像,而当建立地图的装置被配置在服务器中时,可由自移动设备在接收到图像传感器采集的图像后,将该图像发送至服务器,从而建立地图的装置可以获取该图像。
本申请实施例中,可以在自移动设备所处的空间内,设置二维的位置标识(或称为路标),比如,可以在室内墙壁或屋顶贴附位置标识。其中,该位置标识上可以展示有坐标系部分和编码部分,坐标系部分用于确定坐标系,编码部分用于解码得到位置标识对应的编码以及定位观测位置。
可以理解的是,位置标识中的坐标系部分和编码部分的形状、大小、颜色等特征是已知的,因此,在本申请实施例的一种可能的实现方式中,当建立地图的装置在获取到图像传感器采集到的图像后,可以基于目标检测算法,识别图像中的坐标系部分和编码部分。
例如,可以基于单发多框检测(Single Shot MultiBox Detector,简称SSD)、你只看一眼(You Only Look Once,简称YOLO)、Faster-RCNN 等目标检测算法,对图像传感器采集到的图像进行识别,确定坐标系部分和编码部分,本申请对此并不做限制。
在本申请实施例的另一种可能的实现方式中,当建立地图的装置在获取到图像传感器采集到的图像后,可以对图像传感器采集到的图像进行连通域检测以获取多个连通区域,根据每个连通区域的几何特征,确定坐标系部分和编码部分。其中,几何特征,可以为连通区域的尺寸大小、长宽比例、颜色分布等特征信息。
应当理解的是,为了提升识别结果的准确性,以及提升图像的处理效率,还可以先识别得到图像中的位置标识,比如,可以基于感兴趣区域(Region of Interest,简称ROI)提取算法、目标检测算法等,识别得到图像中位置标识所在的区域,而后在位置标识所在的区域,识别坐标系部分和编码部分。
在本申请实施例的又一种可能的实现方式中,当建立地图的装置在获取到图像传感器采集到的图像后,可以对图像传感器采集到的图像进行预处理,比如高斯模糊、二值化、边缘提取等处理,根据预处理后的图像中各像素点的取值,确定坐标系部分和编码部分。或者,还可以直接根据图像传感器采集到的图像中各像素点的取值,确定坐标系部分和编码部分。
比如,可以确定图像中像素点的取值超过预设阈值的各像素点,并根据取值超过预设阈值的各像素点,确定连通域,之后可以根据各连通域的几何特征,识别坐标系部分和编码部分。也就是说,可以根据连通域内的亮度情况,来实现对坐标系部分和编码部分进行识别,可以排除形状与坐标系部分和编码部分相似,但亮度不满足条件的连通域,以提升坐标系部分和编码部分检测结果的准确性。
本申请实施例中,设备位姿可以包括自移动设备的坐标位置和/或姿态。自移动设备的设备位姿可以通过相关传感器检测得到,例如,可以通过激光雷达、里程计、惯性测量装置(Inertial Measurement Unit,简称IMU)等传感器,测量自移动设备的设备位姿。例如,当自移动设备启动后,可以确定地图坐标系,根据自移动设备的移动方向,以及移动距离,可以确定该自移动设备在地图坐标系中的坐标位置,并且,根据自移动设备在移动过程中每一次的移动方向、移动角度和移动距离,可以确定该自移动设备相对初始启动时的位姿,该位姿即为自移动设备的设备位姿。其中,移动角度可以为移动方向相对IMU标定的参考方向之间的角度。
本申请实施例中,当该建立地图的装置被配置于自移动设备中时,自移动设备可以直接获取上述图像以及采集图像时自移动设备在地图坐标系中的设备位姿,而当该建立地图的装置被配置于服务器中时,自移动设备在移动过程中采集图像后,可以将采集的图像,以及采集图像时自移动设备在地图坐标系中的设备位姿,发送至服务器,相应的,服务器可以接收上述图像,以及采集图像时自移动设备在地图坐标系中的设备位姿。
步骤102,根据位置标识中的坐标系部分,对位置标识中的编码部分解码得到目标编码。
本申请实施例中,可以根据位置标识中的坐标系部分,建立候选坐标系,根据位置标识中的编码部分在候选坐标系中的坐标位置,本申请中记为参考坐标位置,解码得到目标编码。
其中,候选坐标系是二维坐标系,该候选坐标系是在采集的图像上建立的坐标系,具体由坐标系部分构建的坐标系。其中,候选坐标系中的单位可以为像素,或者,还可以根据实际需求进行设置,比如,候选坐标系中的单位可设置为设定长度,该设定长度例如可为0.001cm、0.01cm等,本申请对此并不作限制
本申请实施例中,根据坐标系部分在图像中建立得到候选坐标系后,可以确定位置标识中的编码部分在候选坐标系中的参考坐标位置,之后,可以根据位置标识中的编码部分在候选坐标系中的参考坐标位置,解码得到目标编码。
在本申请实施例的一种可能的实现方式中,编码部分可以包括多个第一标记点,可以确定每个第一标记点在候选坐标系中的坐标位置,根据各第一标记点在候选坐标系中的坐标位置,可以解码得到目标编码。
可以理解的是,第一标记点中可以包含多个像素点,针对每个第一标记点,该第一标记点在候选坐标系中的坐标位置,可以根据该第一标记点中包含的多个像素点的坐标位置来确定。
作为一种示例,针对每个第一标记点,可以确定该第一标记点中包含的多个像素点在候选坐标系中的坐标位置,将该第一标记点中包含的多个像素点在候选坐标系中的坐标位置求取均值,来确定该第一标记点在候选坐标系中的坐标位置。
作为另一种示例,针对每个第一标记点,可以确定该第一标记点中包含的多个像素点在候选坐标系中的坐标位置,根据该第一标记点中包含的多个像素点在候选坐标系中的坐标位置,对该第一标记点的形状进行数学方程的拟合,根据拟合的数学方程,确定该第一标记点的形心,将形心的坐标位置,作为该第一标记点在候选坐标系中的坐标位置。
在本申请实施例的一种可能的实现方式中,当编码部分包括多个第一标记点时,在确定各个第一标记点在候选坐标系中的坐标位置后,可以将各第一标记点映射到标准坐标系中,得到各第一标记点在标准坐标系中的坐标位置,根据各第一标记点在标准坐标系中的坐标位置,确定对应的目标编码。
举例而言,第一标记点的个数为3个,3个第一标记点在标准坐标系中的坐标位置分别为(1,1)、(2,2)和(3,3),则目标编码例如可以为112233、11-22-33、11 22 33、1-1-2-2-3-3等。
步骤103,根据目标编码,查询得到编码部分在位置标识所在的标准坐标系中的标准坐标位置。
本申请实施例中,标准坐标系为位置标识所在的坐标系,标准坐标系是根据自移动设备所处空间内的位置标识上的坐标系部分,在位置标识上预先建立的坐标系。应当理解的是,图像传感器采集到的图像可能存在畸变,候选坐标系可能存在畸变或扭曲,为观测到的坐标系,随着观测位置的改变而改变,坐标轴可能并非为直的。而标准坐标系是与候选坐标系相对应的,未存在畸变的坐标系,即该标准坐标系不随观测位置的改变而改变。
本申请实施例中,由于候选坐标系可能存在畸变,而目标编码是根据编码部分在候选坐标系中的坐标位置确定的,因此,该目标编码可能与实际编码存在偏差。因此,本申请中,为了提升定位结果的准确性,可以根据目标编码,查询得到编码部分在位置标识所在的标准坐标系中的标准坐标位置。
应当理解的是,每个位置标识是已知的,位置标识中的编码部分和坐标系部分也是已知的,在自移动设备所处空间中设置位置标识后,标准坐标系可以确定,编码部分在标准坐标系中的标准坐标位置也是可确定的,例如,当编码部分包括多个第一标记点时,编码部分中的每个第一标记点在标准坐标系中的标准坐标位置是可以计算得到的。因此,本申请中,针对每个位置标识,可以预先计算该位置标识中编码部分在位置标识所在的标准坐标系中的标准坐标位置,并对应存储各位置标识,与该位置标识中编码部分在位置标识所在的标准坐标系中的标准坐标位置。
从而本申请中,可以根据目标编码,查询存储的数据,获取与目标编码匹配的标准坐标位置,作为编码部分在位置标识所在的标准坐标系中的标准坐标位置。
举例而言,当编码部分包括多个第一标记点,且第一标记点的个数为3个时,假设目标编码为1-1-2-2-3.1-3.1,可以查询与该目标编码匹配度最高的属于同一位置标识中的三个第一标记点的标准坐标位置,比如为(1,1)、(2,2)和(3,3),则可以将查询得到的标准坐标位置,作为编码部分中三个第一标记点在位置标识所在的标准坐标系中的标准坐标位置。
步骤104,根据标准坐标位置和参考坐标位置,确定标准坐标系与采集图像时自移动设备的坐标系之间的坐标变换关系;其中,参考坐标位置,是编码部分在坐标系部分确定的候选坐标系中的坐标位置。
本申请实施例中,自移动设备的坐标系为预先标定的坐标系,比如,该自移动设备的坐标系可以为预先在自移动设备上标定的坐标系,比如该自移动设备的坐标系的原点可以为自移动设备的质心,Y轴竖直向上,X轴水平向右或向左。
本申请实施例中,在图像中建立得到候选坐标系后,可以确定位置标识中的编码部分在候选坐标系中的参考坐标位置。例如,当编码部分包括多个第一标记点时,根据步骤102记载的内容,可以确定每个第一标记点在候选坐标系中的坐标位置,将各个第一标记点在候选坐标系中的坐标位置,作为参考坐标位置。
本申请实施例中,可以根据编码部分对应的标准坐标位置和参考坐标位置,采用PnP算法确定标准坐标系与采集图像时自移动设备的坐标系之间的坐标变换关系。例如,当编码部分包括多个第一标记点时,可以根据多个标记点对应的标准坐标位置和参考坐标位置,采用PnP算法确定标准坐标系与采集图像时自移动设备的坐标系之间的坐标变换关系。该坐标变换关系可以包括标准坐标系与采集图像时自移动设备的坐标系之间的旋转矩阵R和位移矢量t(或称为平移向量),例如该坐标变换关系可以为由旋转矩阵R和位移矢量t组成的变换矩阵T_t。
其中,PnP(pespective-n-point)算法可以包括P3P、EPnP、UPnP、DLT(DirectLinear Transform)、优化求解等算法。
步骤105,根据坐标变换关系,和自移动设备在地图坐标系中的设备位姿,在地图坐标系中标注位置标识的预测位姿。
本申请实施例中,可以根据标准坐标系与采集图像时自移动设备的坐标系之间的坐标变换关系,和自移动设备在地图坐标系中的设备位姿,确定位置标识在地图坐标系中的预测位姿,并在地图坐标系中标注位置标识的预测位姿。
例如,标记位置标识的预测位姿为Target_id_P,自移动设备在地图坐标系中的设备位姿为P,则预测位姿Target_id_P可以为:
Target_id_P=P⊕T_t;(1)
本申请中,在建立地图后,即可根据建立的地图对自移动设备进行导航定位。具体地,在定位时,可以获取图像传感器采集的图像;其中,图像中展示有坐标系部分和编码部分;根据坐标系部分,确定候选坐标系;根据编码部分在候选坐标系中的参考坐标位置,解码得到目标编码;根据目标编码,查询得到编码部分在世界坐标系中的坐标位置;根据编码部分在世界坐标系中的坐标位置,以及在图像中的坐标位置,确定搭载图像传感器的自移动设备在世界坐标系下的位姿。
作为一种可能的实现方式,当编码部分包括多个第一标记点时,可以根据编码部分中的各第一标记点在候选坐标系中的坐标位置,解码得到目标编码;根据目标编码,查询得到各第一标记点在世界坐标系中的坐标位置;根据各第一标记点在世界坐标系中的坐标位置,以及在图像中的坐标位置,确定搭载图像传感器的自移动设备在世界坐标系下的位姿。例如,可以根据各第一标记点在世界坐标系中的坐标位置,以及在图像中的坐标位置,采用PnP算法确定搭载图像传感器的自移动设备在世界坐标系下的位姿。
其中,各第一标记点在图像中的坐标位置,可以为各第一标记点在图像坐标系中的坐标位置,或者,也可以为各第一标记点在像素坐标系中的坐标位置,本申请对此并不作限制。其中,图像坐标系的坐标原点,为图像的中心点,X轴水平向右,Y轴水平向下,单位是像素。像素坐标系的坐标原点,为图像左上角,X轴水平向右,Y轴水平向下,单位是像素。
其中,查询的具体过程为:根据目标编码查询建立的地图,得到目标编码所属位置标识在世界坐标系中的位姿,根据位置标识在世界坐标系中的位姿,以及各第一标记点在位置标识所在的标准坐标系中的坐标位置,确定每个第一标记点在世界坐标系中的坐标位置。其中,上述位姿可以包括坐标位置和/或姿态。
需要说明的是,当由自移动设备建立地图时,自移动设备在建立地图后,可以在本地存储该地图,从而可以依据该地图进行导航定位;或者,当由服务器对自移动设备进行定位时,自移动设备在建立地图后,可以将建立的地图发送至服务器,服务器在接收到地图后,可以在数据库中存储该自移动设备的标识与地图之间的对应关系,从而当由服务器对该自移动设备进行导航定位时,服务器可以根据自移动设备的标识,查询上述对应关系,确定该自移动设备对应的地图,并依据查询到的地图对自移动设备进行导航定位。
而当由服务器建立地图时,服务器在建立地图后,可以在数据库中存储各自移动设备的标识与地图之间的对应关系。从而当由服务器对自移动设备进行导航定位时,服务器可以根据自移动设备的标识,查询上述对应关系,确定该自移动设备对应的地图,并依据查询到的地图对自移动设备进行导航定位;或者,当由自移动设备对自身进行定位时,可以由服务器根据自移动设备的标识,查询上述对应关系,确定该自移动设备对应的地图,并将对应的地图发送至自移动设备,或者该自移动设备可以主动从服务器侧查询自身对应的地图,从而自移动设备可以依据获取到的地图进行导航定位。
需要说明的是,PnP算法的解可能不止一个,为了提升自移动设备在世界坐标系下的位姿计算结果的准确性,可以在位置标识所在的标准坐标系中设定一个校验点,根据候选坐标系与标准坐标系之间的仿射变换矩阵,确定该校验点在候选坐标系中的坐标位置,使用该校验点在候选坐标系中的坐标位置来对多个解进行校验,以排除错误的位姿。
需要说明的是,定位和建立地图(即建图)的执行时序可以先后执行,即先执行建图,后执行定位,或者,还可以同时执行建图和定位,本申请上述仅以先执行建图,后执行定位进行示例。
本申请实施例的建立地图的方法,通过获取自移动设备在移动过程中采集的图像,以及采集图像时自移动设备在地图坐标系中的设备位姿;根据图像中的位置标识中的坐标系部分,对位置标识中的编码部分解码得到目标编码;根据目标编码,查询得到编码部分在位置标识所在的标准坐标系中的标准坐标位置;根据标准坐标位置和参考坐标位置,确定标准坐标系与采集图像时自移动设备的坐标系之间的坐标变换关系;其中,参考坐标位置,是编码部分在坐标系部分确定的候选坐标系中的坐标位置;根据坐标变换关系,和自移动设备在地图坐标系中的设备位姿,在地图坐标系中标注位置标识的预测位姿。本申请中,根据位置标识来建立地图,即使自移动设备所处空间内的陈设位置发生变化,或者人员移动干扰激光雷达扫描周围环境,建立的地图也不会失效,从而可以有效定位自移动设备的位置,即该方法不易受到周围环境的干扰,可以提升该方法的适用性。
需要说明的是,为了便于图像识别,对于位置标识的设计,可以采用高对比设计,例如,位置标识的底色可以为黑色,坐标系部分和编码部分的颜色可以为白色,或者,位置标识的底色可以为白色,坐标系部分和编码部分的颜色可以为黑色,或者,还可以将位置标识设计为高反光的形式,等等,本申请对此并不作限制。其中,坐标系部分和编码部分的颜色可以相同,也可以不同。
在本申请实施例的一种可能的实现方式中,位置标识可能受到照明和光照的影响,当环境亮度较高或者较低时,均影响图像识别结果的准确性,因此,本申请中,为了提升采集的图像中坐标系部分和编码部分识别结果的准确性,从而提升位姿计算结果的准确性,当在自移动设备所处的空间内设置二维的位置标识时,位置标识中的坐标系部分和编码部分所处的位置可以设置红外LED光源,用于向外发射红外光,图像传感器可以为红外相机,从而可拍摄包含位置标识的图像,可以不受自移动设备所处空间内的环境亮度影响,可以提升识别结果的准确性。此外,红外光的波段可为940纳米,以使用户肉眼不可见,从而避免干扰用户。
在本申请实施例的另一种可能的实现方式中,位置标识可设计为高反光的形式,自移动设备可以携带光发射器,用于向外发射光线,发射的光线投射到位置标识进行反光,从而根据位置标识上反射的光线,可以捕捉到位置标识。
例如,光发射器可以包括发光二极管,该发光二极管发射的可以为可见光,或者,也可以为非可见光,比如为红外光。
作为一种可能的实现方式,当编码部分包括多个第一标记点时,可以将候选坐标系中的第一标记点的坐标位置,映射到位置标识所在的标准坐标系中,得到第一标记点在标准坐标系中的坐标位置,根据各第一标记点在标准坐标系中的坐标位置,确定目标编码。下面结合实施例二,对上述过程进行详细说明。
图2为本申请实施例二所提供的建立地图的方法的流程示意图。
如图2所示,该建立地图的方法可以包括以下步骤:
步骤201,获取自移动设备在移动过程中采集的图像,以及采集图像时自移动设备在地图坐标系中的设备位姿;其中,图像中展示有位置标识,位置标识包括坐标系部分和编码部分,编码部分包括多个第一标记点。
步骤201的执行过程可以参见上述实施例中步骤101的执行过程,在此不做赘述。
步骤202,根据坐标系部分,确定候选坐标系。
在本申请实施例的一种可能的实现方式中,坐标系部分可以包括非对称图像,可以根据非对称图像中的设定参考线,确定候选坐标系的坐标轴;其中,坐标轴的方向,是根据非对称图案中设定局部图案所在位置确定的。
举例而言,非对称图案中可以具有两条连接线,可以分别将这两条连接线作为候选坐标系的X轴和Y轴,X轴和Y轴的方向可以根据非对称图案中设定局部图案所在位置确定,例如,可以将设定局部图案所处的象限,作为第一象限,从而可确定X轴和Y轴的方向。当然,也可以将设定局部图案所处的象限,作为第二象限、第三象限或第四象限,本申请对此并不作限制。
需要说明的是,上述仅以根据非对称图案中设定局部图案所在位置确定坐标轴的方向进行示例,实际应用时,还可以直接根据设定局部图案的图像特征,来确定坐标轴的方向,比如,设定局部图案为箭头图案,则可以根据设定局部图案的箭头方向确定坐标轴的正方向。
在本申请实施例的另一种可能的实现方式中,坐标系部分可以包括非对称图像,可以根据非对称图案中设定关键点所在位置,确定候选坐标系中设定的坐标点。例如,已知非对称图案中设定关键点在候选坐标系中设定的坐标点为(-1,1),此时,可以直接根据该设定的坐标点为(-1,1)建立候选坐标系。
在本申请实施例的又一种可能的实现方式中,坐标系部分可以包括非对称图像,可以根据非对称图案中的设定参考线,确定候选坐标系的坐标轴,以及根据非对称图案中设定关键点所在位置,确定候选坐标系中设定的坐标点。其中,坐标轴的方向,是根据非对称图案中设定局部图案所在位置确定的。
作为一种示例,参见图3,图3为本申请实施例中的位置标识示意图一。其中,该位置标识包括设定局部图案21和由多个标记点(本申请中记为第一标记点)组成的编码部分22。设定参考线可以为设定局部图案21的对称轴,可以将该设定参考线作为候选坐标系中的X轴,将设定局部图案21的箭头方向,作为X轴的正方向,非对称图案中设置有至少一个设定关键点,该设定关键点可以为候选坐标系的原点,或者是处于Y轴正方向或负方向中的点,根据该设定关键点,以及X轴,可以建立候选坐标系。
在本申请实施例的再一种可能的实现方式中,坐标系部分可以包括至少五个第二标记点,可以在图像中,连接共线的至少三个第二标记点,得到两条连线,将处于两条连线交点的第二标记点,确定为候选坐标系的原点,将两条连线,确定为候选坐标系的坐标轴;其中,坐标轴的方向,是根据处于坐标轴上的第二标记点与原点的距离确定的。
作为一种示例,参见图4,图4为本申请实施例中的位置标识示意图二,其中,字母A表示第二标记点,字母B表示第一标记点。可以确定各第二标记点与原点的距离,根据距离长的一侧,确定坐标轴的正方向,根据距离短的一侧,确定坐标轴的负方向。需要说明的是,图4仅以根据距离长的一侧确定坐标轴的正方向,根据距离短的一侧确定坐标轴的负方向进行示例,实际应用时,也可以根据距离长的一侧,确定坐标轴的负方向,根据距离短的一侧,确定坐标轴的正方向,本申请对此并不做限制。为了便于说明,本申请以根据距离长的一侧,确定坐标轴的正方向,根据距离短的一侧,确定坐标轴的负方向进行示例。
需要说明的是,当坐标系部分中的多个第二标记点与编码部分中多个第一标记点的形状、大小、颜色等特征完全相同时,基于步骤101中的图像识别技术,仅可以识别得到图像中的各个标记点,此时,需要进一步从各个标记点中确定多个第一标记点和多个第二标记点。例如,参见图4,多个第一标记点B和多个第二标记点A的图像特征相同。
作为本申请实施例的一种可能的实现方式,为了提升识别结果的准确性,可以首先从图像中识别得到各标记点,再从各标记点中识别出各第二标记点;其中,第二标记点的位置分布符合设定的几何约束条件,从而可以将处第二标记点之外的各标记点,作为第一标记点。
例如,上述设定的几何约束条件可以为非对称的几何约束条件,当第二标记点的位置分布符合非对称的几何约束条件时,可以基于该几何约束条件,确定图像中的候选坐标系的坐标轴以及坐标轴的方向。
需要说明的是,上述步骤101和202仅是示例性实施例,但本申请不限于此,还可以包括本领域已知的其他的图像识别方法,只要能够识别得到图像中的各标记点即可。例如,还可以对图像传感器采集到的图像进行预处理,比如高斯模糊、二值化、边缘提取等处理,根据预处理后的图像中各像素点的取值,确定各标记点,或者,还可以直接根据图像传感器采集到的图像中各像素点的取值,确定各标记点。比如,可以确定图像中像素点的取值超过预设阈值的各像素点,并根据取值超过预设阈值的各像素点,确定连通域,将各连通域作为各标记点。或者,可以直接将图像中像素点的取值超过预设阈值的各像素点作为各标记点,本申请对此并不作限制。
也就是说,可以根据连通域内的亮度情况,来实现对各标记点进行识别,可以排除形状与标记点相似,但亮度不满足条件的连通域,以提升标记点检测结果的准确性。
应当理解的是,上述实施例中,当第二标记点的位置分布符合非对称的几何约束条件时,可以确定候选坐标系中坐标轴的方向,当坐标轴有方向时,编码在不同象限内具有不同的含义,这种方式还可以增加编码容量。
步骤203,将候选坐标系,与标准坐标系进行坐标系变换,得到候选坐标系与标准坐标系之间的仿射变换矩阵。
其中,标准坐标系为位置标识所在的坐标系,即标准坐标系是根据自移动设备所处空间内的位置标识上的坐标系部分,在位置标识上预先建立的坐标系。应当理解的是,图像传感器采集到的图像可能存在畸变,候选坐标系可能存在畸变或扭曲,为观测到的坐标系,随着观测位置的改变而改变,坐标轴可能并非为直的。而标准坐标系是与候选坐标系相对应的,未存在畸变的坐标系,即该标准坐标系不随观测位置的改变而改变。
本申请实施例中,仿射变换可以理解为对原坐标轴进行放缩、旋转、平移后形成的新坐标轴。在确定候选坐标系和标准坐标系后,可以根据二维几何变换,确定候选坐标系与标准坐标系之间的仿射变换矩阵。
步骤204,采用仿射变换矩阵,将各第一标记点在候选坐标系中的坐标位置变换至标准坐标系下,以得到各第一标记点在标准坐标系中的坐标位置。
本申请实施例中,针对候选坐标系中的每个第一标记点,可以采用仿射变换矩阵,将该第一标记点的坐标位置变换至标准坐标系下,得到该第一标记点在标准坐标系中的坐标位置。
步骤205,根据各第一标记点在标准坐标系中的坐标位置,确定对应的目标编码。
本申请实施例中,可以根据各第一标记点在标准坐标系中的坐标位置,确定对应的目标编码。例如,可以将各第一标记点在标准坐标系中的坐标位置进行组合,得到对应的目标编码。举例而言,当第一标记点的个数为3个时,假设3个第一标记点在标准坐标系中的坐标位置分别为(1,1)、(2,2)和(3,3),则目标编码例如可以为112233、11-22- 33、11 2233、1-1-2-2-3-3等。
步骤206,根据目标编码,查询得到编码部分中各第一标记点在位置标识所在的标准坐标系中的坐标位置,本申请中记为标准坐标位置。
应当理解的是,每个位置标识是已知的,位置标识中的编码部分和坐标系部分也是已知的,在自移动设备所处空间中设置位置标识后,标准坐标系可以确定,编码部分中各第一标记点在标准坐标系中的标准坐标位置也是可确定的,例如,参见图4,编码部分中的每个第一标记点在标准坐标系中的标准坐标位置是可以计算得到的。因此,本申请中,针对每个位置标识,可以预先计算该位置标识中编码部分中各第一标记点在位置标识所在的标准坐标系中的标准坐标位置,并对应存储各位置标识,与该位置标识中编码部分中第一标记点在该位置标识所在的标准坐标系中的标准坐标位置。
从而本申请中,可以根据目标编码,查询存储的数据,获取与目标编码匹配的标准坐标位置,作为编码部分中各第一标记点在位置标识所在的标准坐标系中的标准坐标位置。
举例而言,当第一标记点的个数为3个时,假设目标编码为1-1-2-2-3.1-3.1,可以查询与该目标编码匹配度最高的属于同一位置标识中的3个第一标记点的标准坐标位置,比如为(1,1)、(2,2)和(3,3),则可以将查询得到的标准坐标位置,作为编码部分中3个第一标记点在位置标识所在的标准坐标系中的标准坐标位置。
步骤207,根据标准坐标位置和参考坐标位置,确定标准坐标系与采集图像时自移动设备的坐标系之间的坐标变换关系;其中,参考坐标位置,是编码部分中各第一标记点在候选坐标系中的坐标位置。
本申请实施例中,可以根据多个第一标记点对应的标准坐标位置和参考坐标位置,采用PnP算法确定标准坐标系与采集图像时自移动设备的坐标系之间的坐标变换关系,该坐标变换关系可以包括标准坐标系与采集图像时自移动设备的坐标系之间的旋转矩阵R和位移矢量t(或称为平移向量),例如该坐标变换关系可以为由旋转矩阵R和位移矢量t组成的变换矩阵T_t。
步骤208,根据坐标变换关系,和自移动设备在地图坐标系中的设备位姿,在地图坐标系中标注位置标识的预测位姿。
步骤208的执行过程可以参见上述实施例的执行过程,在此不做赘述。
需要说明的是,在自移动设备移动过程中,图像传感器可以连续采集图像,采集不同帧图像时,自移动设备在地图坐标系中的设备位姿可以不同,从而根据步骤105计算得到的位姿可以不同,因此,作为本申请实施例的一种可能的实现方式,为了提升计算结果的可靠性,可以对计算得到的各帧图像对应的位姿进行融合,以得到位置标识的预测位姿,并在地图坐标系中标注该位置标识的预测位置。下面结合实施例三,对上述过程进行详细说明。
图5为本申请实施例三所提供的建立地图的方法的流程示意图。
如图5所示,当展示有同一位置标识的图像为至少两帧,并且采集各帧图像时自移动设备在地图坐标系中具有对应的设备位姿时,在图1或图2所示实施例的基础上,步骤105或208具体可以包括以下步骤:
步骤301,根据标准坐标系与采集各帧图像时自移动设备的坐标系之间的坐标变换关系,以及根据采集各帧图像时自移动设备在地图坐标系中的设备位姿,在地图坐标系中确定各帧图像对应的位置标识的观测位姿。
本申请实施例中,针对采集的每帧图像,可以根据公式(1)计算该帧图像对应的位置标识的观测位姿。
例如,标记在t0时刻采集的图像为M0,自移动设备在地图坐标系中采集M0时的设备位姿为P0,根据M0中的位置标识,计算得到标准坐标系与采集M0时自移动设备的坐标系之间的坐标变换关系为T_t0,根据公式(1),可以计算得到M0对应的位置标识的观测位姿为P0⊕T_t0。同理,标记在t1时刻采集的图像为M1,自移动设备在地图坐标系中采集M1时的设备位姿为P1,根据M1中的位置标识,计算得到标准坐标系与采集M1时自移动设备的坐标系之间的坐标变换关系为T_t1,根据公式(1),可以计算得到M1对应的位置标识的观测位姿为P1⊕T_t1。
步骤302,融合各帧图像对应的观测位姿,得到预测位姿。
本申请实施例中,在计算得到各帧图像对应的位置标识的观测位姿后,可以融合各帧图像对应的观测位姿,得到预测位姿。
在本申请实施例的一种可能的实现方式中,为了提升融合后得到的预测位姿的可靠性,预测位姿与各观测位姿之间的观测差异之和最小化。
例如,预测位姿为Target_id_P,各帧图像对应的观测位姿为Pn⊕T_tn,则在融合各帧图像对应的观测位姿,得到预测位姿时,需要满足下述公式(2):
SUM(argmin|| Target_id_P – Pn⊕T_tn||2 2);(2)
其中,argmin为使得泛函数取最小值的函数,“–”表示用于表征观测差异的算法,不限于直接相减,||后的上标2表示平方,下标2表示范数2。
需要说明的是,位姿可以包括坐标位置和姿态,为多个维度值,上述公式(2)仅以观测差异为预测位姿与各所述观测位姿之间的多维的位姿差异进行示例,实际应用时,还可以根据重投影、点点间距等算法,计算观测差异,本申请对此并不作限制。比如,可以将预测位姿投影到某一个平面,确定投影后的预测值,并将各观测位姿投影到该平面,确定投影后的各观测值,根据投影后的预测值与各观测值之间的差值,确定观测差异。
即,本申请中,观测差异是根据预测位姿与各帧图像对应的观测位姿之间的误差距离确定的,其中,误差距离可以为欧式距离、马氏距离等。
步骤303,在地图坐标系中标注位置标识的预测位姿。
本申请实施例中,在确定位置标识在地图坐标系中的预测位姿,并在地图坐标系中标注位置标识的预测位姿。
本申请实施例的建立地图的方法,通过在展示有同一位置标识的图像为至少两帧,采集各帧图像时自移动设备在地图坐标系中具有对应的设备位姿时,对根据标准坐标系与采集各帧图像时自移动设备的坐标系之间的坐标变换关系,以及根据采集各帧图像时自移动设备在地图坐标系中的设备位姿,在地图坐标系中确定各帧图像对应的位置标识的观测位姿;融合各帧图像对应的观测位姿,得到预测位姿,并在地图坐标系中标注位置标识的预测位姿。由此,可以提升预测位姿计算结果的可靠性,从而提升后续定位的准确性。
需要说明的是,每帧图像中可以展示至少一个位置标识,当每帧图像中展示一个位置标识时,可以根据上述实施例中步骤301计算得到各帧图像中该位置标识的观测位姿,并对观测位姿进行融合,得到预测位姿,该预测位姿满足公式(2)的约束条件,而当每帧图像中展示有多个位置标识时,可以根据步骤301计算得到各帧图像中每个位置标识的观测位姿,并根据同一帧图像对应的每一位置标识的观测位姿,确定相对观测位姿,之后,可以根据各帧图像对应的相对观测位姿,确定至少两个位置标识的预测位姿;其中,至少两个位置标识的预测位姿之间的相对位姿与各帧图像对应的相对观测位姿之间的观测差异之和最小化,以提升预测位姿计算结果的可靠性,从而提升后续定位的准确性。
下面结合实施例四,对上述过程进行详细说明。
图6为本申请实施例四所提供的建立地图的方法的流程示意图。
如图6所示,当各帧图像中均展示有至少两个位置标识时,在图5所示实施例的基础上,步骤302具体可以包括以下步骤:
步骤401,根据同一帧图像对应的每一位置标识的观测位姿,确定相对观测位姿。
本申请实施例中,针对同一帧图像中的各个位置标识,不同位置标识对应的候选坐标系和标准坐标系是不同的,解码得到的目标编码也是不同的,计算得到的坐标变换关系也是不同的,从而计算得到的观测位姿也是不同的,即,同一帧图像中每个位置标识均具有对应的观测位姿,可以根据同一帧图像对应的每一位置标识的观测位姿,确定相对观测位姿。
举例而言,当同一帧图像中具有两个位置标识时,分别为位置标识1和位置标识2。标记在t0时刻采集的图像为M0,自移动设备在地图坐标系中采集M0时的设备位姿为P0,根据M0中的位置标识1,计算得到标准坐标系与采集M0时自移动设备的坐标系之间的坐标变换关系为T_t01,根据公式(1),可以计算得到M0对应的位置标识1的观测位姿为P0⊕T_t01,令Target_1_t0= P0⊕T_t01。根据M0中的位置标识2,计算得到标准坐标系与采集M0时自移动设备的坐标系之间的坐标变换关系为T_t02,根据公式(1),可以计算得到M0对应的位置标识2的观测位姿为P0⊕T_t02,令Target_2_t0= P0⊕T_t02。则位置标识1和位置标识2之间的相对观测位姿为Target_1_t0 – Target_2_t0。
再例如,标记在t1时刻采集的图像为M1,自移动设备在地图坐标系中采集M1时的设备位姿为P1,根据M1中的位置标识1,计算得到标准坐标系与采集M1时自移动设备的坐标系之间的坐标变换关系为T_t11,根据公式(1),可以计算得到M1对应的位置标识1的观测位姿为P1⊕T_t11,令Target_1_t1= P1⊕T_t11。根据M1中的位置标识2,计算得到标准坐标系与采集M1时自移动设备的坐标系之间的坐标变换关系为T_t12,根据公式(1),可以计算得到M1对应的位置标识2的观测位姿为P1⊕T_t12,令Target_2_t1= P1⊕T_t12。则位置标识1和位置标识2之间的相对观测位姿为Target_1_t1 – Target_2_t1。
因此,本申请中,可以标记各帧图像对应的位置标识1对应的观测位姿为Target_1_tn,位置标识2对应的观测位姿为Target_2_tn,则各帧图像对应的位置标识1和位置标识2之间的相对观测位姿为Target_1_tn – Target_2_tn。
步骤402,根据各帧图像对应的相对观测位姿,确定至少两个位置标识的预测位姿;其中,至少两个位置标识的预测位姿之间的相对位姿与各帧图像对应的相对观测位姿之间的观测差异之和最小化。
仍以上述例子示例,标记位置标识1对应的预测位姿为Target_1,位置标识2对应的预测位姿为Target_2,则两个位置标识的预测位姿之间的相对位姿为Target_1–Target_2,则相对位姿与相对观测位姿之间的观测差异可以满足下述公式(3):
SUM(argmin||(Target_1 – Target_2) – (Target_1_tn – Target_2_tn)||2 2);(3)
其中,观测差异是根据预测位姿与各观测位姿之间的误差距离确定的。
本申请实施例中,通过对根据各帧图像对应的相对观测位姿,确定至少两个位置标识的预测位姿;其中,至少两个位置标识的预测位姿之间的相对位姿与各帧图像对应的相对观测位姿之间的观测差异之和最小化,可以得到较为可靠的预测位姿,从而提升后续定位结果的准确性。
为了实现上述实施例,本申请还提出一种建立地图的装置。
图7为本申请实施例五所提供的建立地图的装置的结构示意图。
如图7所示,该建立地图的装置100可以包括:获取模块110、解码模块120、查询模块130、确定模块140以及标注模块150。
其中,获取模块110,用于获取自移动设备在移动过程中采集的图像,以及采集图像时自移动设备在地图坐标系中的设备位姿;其中,图像中展示有位置标识。
解码模块120,用于根据位置标识中的坐标系部分,对位置标识中的编码部分解码得到目标编码。
查询模块130,用于根据目标编码,查询得到编码部分在位置标识所在的标准坐标系中的标准坐标位置。
确定模块140,用于根据标准坐标位置和参考坐标位置,确定标准坐标系与采集图像时自移动设备的坐标系之间的坐标变换关系;其中,参考坐标位置,是编码部分在坐标系部分确定的候选坐标系中的坐标位置。
标注模块150,用于根据坐标变换关系,和自移动设备在地图坐标系中的设备位姿,在地图坐标系中标注位置标识的预测位姿。
进一步地,在本申请实施例的一种可能的实现方式中,展示有同一位置标识的图像为至少两帧,采集各帧图像时自移动设备在地图坐标系中具有对应的设备位姿,则参见图8,在图7所示实施例的基础上,标注模块150,可以包括:
确定单元151,用于根据标准坐标系与采集各帧图像时自移动设备的坐标系之间的坐标变换关系,以及根据采集各帧图像时自移动设备在地图坐标系中的设备位姿,在地图坐标系中确定各帧图像对应的位置标识的观测位姿;
融合单元152,用于融合各帧图像对应的观测位姿,得到预测位姿;
标注单元153,用于在地图坐标系中标注位置标识的预测位姿。
作为一种可能的实现方式,预测位姿与各观测位姿之间的观测差异之和最小化。
进一步地,在本申请实施例的一种可能的实现方式中,各帧图像中均展示有至少两个位置标识;其中,融合单元152,具体用于:根据同一帧图像对应的每一位置标识的观测位姿,确定相对观测位姿;根据各帧图像对应的相对观测位姿,确定至少两个位置标识的预测位姿;其中,至少两个位置标识的预测位姿之间的相对位姿与各帧图像对应的相对观测位姿之间的观测差异之和最小化。
作为一种可能的实现方式,观测差异是根据预测位姿与各观测位姿之间的误差距离确定的。
进一步地,在本申请实施例的一种可能的实现方式中,参见图8,在图7所示实施例的基础上,解码模块120,可以包括:
处理单元121,用于根据位置标识中的坐标系部分,确定候选坐标系。
解码单元122,用于根据位置标识中的编码部分在候选坐标系中的参考坐标位置,解码得到目标编码。
在本申请实施例的一种可能的实现方式中,编码部分包括多个第一标记点;解码单元122,具体用于:将候选坐标系,与标准坐标系进行坐标系变换,得到候选坐标系与标准坐标系之间的仿射变换矩阵;采用仿射变换矩阵,将各第一标记点在候选坐标系中的坐标位置变换至标准坐标系下,以得到各第一标记点在标准坐标系中的坐标位置;根据各第一标记点在标准坐标系中的坐标位置,确定对应的目标编码。
在本申请实施例的一种可能的实现方式中,坐标系部分包括至少五个第二标记点;其中,处理单元121,具体用于:在图像中,连接共线的至少三个第二标记点,得到两条连线;将处于两条连线交点的第二标记点,确定为候选坐标系的原点,将两条连线,确定为候选坐标系的坐标轴;其中,坐标轴的方向,是根据处于坐标轴上的第二标记点与原点的距离确定的。
在本申请实施例的另一种可能的实现方式中,坐标系部分包括非对称图案;其中,处理单元121,具体用于:根据非对称图案中的设定参考线,确定候选坐标系的坐标轴;其中,坐标轴的方向,是根据非对称图案中设定局部图案所在位置确定的;和/或,根据非对称图案中设定关键点所在位置,确定候选坐标系中设定的坐标点。
需要说明的是,前述对建立地图的方法实施例的解释说明也适用于该实施例的建立地图的装置,此处不再赘述。
本申请实施例的建立地图的装置,通过获取自移动设备在移动过程中采集的图像,以及采集图像时自移动设备在地图坐标系中的设备位姿;根据图像中的位置标识中的坐标系部分,对位置标识中的编码部分解码得到目标编码;根据目标编码,查询得到编码部分在位置标识所在的标准坐标系中的标准坐标位置;根据标准坐标位置和参考坐标位置,确定标准坐标系与采集图像时自移动设备的坐标系之间的坐标变换关系;其中,参考坐标位置,是编码部分在坐标系部分确定的候选坐标系中的坐标位置;根据坐标变换关系,和自移动设备在地图坐标系中的设备位姿,在地图坐标系中标注位置标识的预测位姿。本申请中,根据位置标识来建立地图,即使自移动设备所处空间内的陈设位置发生变化,或者人员移动干扰激光雷达扫描周围环境,建立的地图也不会失效,从而可以有效定位自移动设备的位置,提升该装置的适用性。
为了实现上述实施例,本申请还提出一种自移动设备,包括:存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时,实现如本申请前述实施例提出的建立地图的方法。
本申请第四方面实施例提出了一种非临时性计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如本申请前述实施例提出的建立地图的方法。
本申请第五方面实施例提出了一种计算机程序产品,当所述计算机程序产品中的指令被处理器执行时,实现如本申请前述实施例提出的建立地图的方法。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、 “示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中,“多个”的含义是至少两个,例如两个,三个等,除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本申请的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本申请的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤,例如,可以被认为是用于实现逻辑功能的可执行指令的定序列表,可以具体实现在任何计算机可读介质中,以供指令执行***、装置或设备(如基于计算机的***、包括处理器的***或其他可以从指令执行***、装置或设备取指令并执行指令的***)使用,或结合这些指令执行***、装置或设备而使用。就本说明书而言,"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行***、装置或设备或结合这些指令执行***、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下:具有一个或多个布线的电连接部(电子装置),便携式计算机盘盒(磁装置),随机存取存储器(RAM),只读存储器(ROM),可擦除可编辑只读存储器(EPROM或闪速存储器),光纤装置,以及便携式光盘只读存储器(CDROM)。另外,计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质,因为可以例如通过对纸或其他介质进行光学扫描,接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序,然后将其存储在计算机存储器中。
应当理解,本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行***执行的软件或固件来实现。如,如果用硬件来实现和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,该程序在执行时,包括方法实施例的步骤之一或其组合。
此外,在本申请各个实施例中的各功能单元可以集成在一个处理模块中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器,磁盘或光盘等。尽管上面已经示出和描述了本申请的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本申请的限制,本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (20)
1.一种建立地图的方法,其特征在于,所述方法包括:
获取自移动设备在移动过程中采集的图像,以及采集所述图像时所述自移动设备在地图坐标系中的设备位姿;其中,所述图像中展示有位置标识;
根据所述位置标识中的坐标系部分,对所述位置标识中的编码部分解码得到目标编码;
根据所述目标编码,查询得到所述编码部分在所述位置标识所在的标准坐标系中的标准坐标位置;
根据所述标准坐标位置和参考坐标位置,确定所述标准坐标系与采集所述图像时所述自移动设备的坐标系之间的坐标变换关系;其中,所述参考坐标位置,是所述编码部分在所述坐标系部分确定的候选坐标系中的坐标位置;其中,所述自移动设备的坐标系为预先标定的坐标系;
根据所述坐标变换关系,和所述自移动设备在地图坐标系中的设备位姿,在所述地图坐标系中标注所述位置标识的预测位姿。
2.根据权利要求1所述的建立地图的方法,其特征在于,展示有同一所述位置标识的所述图像为至少两帧,采集各帧图像时所述自移动设备在地图坐标系中具有对应的设备位姿;
其中,所述根据所述坐标变换关系,和所述自移动设备在地图坐标系中的设备位姿,在所述地图坐标系中标注所述位置标识的预测位姿,包括:
根据所述标准坐标系与采集各帧所述图像时所述自移动设备的坐标系之间的坐标变换关系,以及根据采集各帧图像时所述自移动设备在地图坐标系中的设备位姿,在所述地图坐标系中确定各帧所述图像对应的所述位置标识的观测位姿;
融合各帧所述图像对应的观测位姿,得到所述预测位姿;
在所述地图坐标系中标注所述位置标识的所述预测位姿。
3.根据权利要求2所述的建立地图的方法,其特征在于,所述预测位姿与各所述观测位姿之间的观测差异之和最小化。
4.根据权利要求2所述的建立地图的方法,其特征在于,各帧所述图像中均展示有至少两个所述位置标识;
其中,所述融合各帧所述图像对应的观测位姿,得到所述预测位姿,包括:
根据同一帧所述图像对应的每一所述位置标识的观测位姿,确定相对观测位姿;
根据各帧所述图像对应的相对观测位姿,确定所述至少两个所述位置标识的预测位姿;其中,所述至少两个位置标识的预测位姿之间的相对位姿与各帧所述图像对应的相对观测位姿之间的观测差异之和最小化。
5.根据权利要求3或4所述的建立地图的方法,其特征在于,所述观测差异是根据所述预测位姿与各所述观测位姿之间的误差距离确定的。
6.根据权利要求1-4任一项所述的建立地图的方法,其特征在于,所述根据所述位置标识中的坐标系部分,对所述位置标识中的编码部分解码得到目标编码,包括:
根据所述位置标识中的坐标系部分,确定候选坐标系;
根据所述位置标识中的编码部分在所述候选坐标系中的参考坐标位置,解码得到所述目标编码。
7.根据权利要求6所述的建立地图的方法,其特征在于,所述编码部分包括多个第一标记点;所述根据所述位置标识中的编码部分在所述候选坐标系中的参考坐标位置,解码得到所述目标编码,包括:
将所述候选坐标系,与所述标准坐标系进行坐标系变换,得到所述候选坐标系与所述标准坐标系之间的仿射变换矩阵;
采用所述仿射变换矩阵,将各所述第一标记点在所述候选坐标系中的坐标位置变换至所述标准坐标系下,以得到各所述第一标记点在所述标准坐标系中的坐标位置;
根据各所述第一标记点在所述标准坐标系中的坐标位置,确定对应的目标编码。
8.根据权利要求6所述的建立地图的方法,其特征在于,所述坐标系部分包括至少五个第二标记点;
其中,所述根据所述位置标识中的坐标系部分,确定候选坐标系,包括:
在所述图像中,连接共线的至少三个所述第二标记点,得到两条连线;
将处于所述两条连线交点的第二标记点,确定为所述候选坐标系的原点,将所述两条连线,确定为所述候选坐标系的坐标轴;其中,所述坐标轴的方向,是根据处于所述坐标轴上的所述第二标记点与所述原点的距离确定的。
9.根据权利要求6所述的建立地图的方法,其特征在于,所述坐标系部分包括非对称图案;
其中,所述根据所述位置标识中的坐标系部分,确定候选坐标系,包括:
根据所述非对称图案中的设定参考线,确定所述候选坐标系的坐标轴;其中,所述坐标轴的方向,是根据所述非对称图案中设定局部图案所在位置确定的;
和/或,根据所述非对称图案中设定关键点所在位置,确定所述候选坐标系中设定的坐标点。
10.一种建立地图的装置,其特征在于,包括:
获取模块,用于获取自移动设备在移动过程中采集的图像,以及采集所述图像时所述自移动设备在地图坐标系中的设备位姿;其中,所述图像中展示有位置标识;
解码模块,用于根据所述位置标识中的坐标系部分,对所述位置标识中的编码部分解码得到目标编码;
查询模块,用于根据所述目标编码,查询得到所述编码部分在所述位置标识所在的标准坐标系中的标准坐标位置;
确定模块,用于根据所述标准坐标位置和参考坐标位置,确定所述标准坐标系与采集所述图像时所述自移动设备的坐标系之间的坐标变换关系;其中,所述参考坐标位置,是所述编码部分在所述坐标系部分确定的候选坐标系中的坐标位置;其中,所述自移动设备的坐标系为预先标定的坐标系;
标注模块,用于根据所述坐标变换关系,和所述自移动设备在地图坐标系中的设备位姿,在所述地图坐标系中标注所述位置标识的预测位姿。
11.根据权利要求10所述的建立地图的装置,其特征在于,展示有同一所述位置标识的所述图像为至少两帧,采集各帧图像时所述自移动设备在地图坐标系中具有对应的设备位姿;
其中,所述标注模块,包括:
确定单元,用于根据所述标准坐标系与采集各帧所述图像时所述自移动设备的坐标系之间的坐标变换关系,以及根据采集各帧图像时所述自移动设备在地图坐标系中的设备位姿,在所述地图坐标系中确定各帧所述图像对应的所述位置标识的观测位姿;
融合单元,用于融合各帧所述图像对应的观测位姿,得到所述预测位姿;
标注单元,用于在所述地图坐标系中标注所述位置标识的所述预测位姿。
12.根据权利要求11所述的建立地图的装置,其特征在于,所述预测位姿与各所述观测位姿之间的观测差异之和最小化。
13.根据权利要求11所述的建立地图的装置,其特征在于,各帧所述图像中均展示有至少两个所述位置标识;
其中,所述融合单元,具体用于:
根据同一帧所述图像对应的每一所述位置标识的观测位姿,确定相对观测位姿;
根据各帧所述图像对应的相对观测位姿,确定所述至少两个所述位置标识的预测位姿;其中,所述至少两个位置标识的预测位姿之间的相对位姿与各帧所述图像对应的相对观测位姿之间的观测差异之和最小化。
14.根据权利要求12或13所述的建立地图的装置,其特征在于,所述观测差异是根据所述预测位姿与各所述观测位姿之间的误差距离确定的。
15.根据权利要求10-13任一项所述的建立地图的装置,其特征在于,所述解码模块,包括:
处理单元,用于根据所述位置标识中的坐标系部分,确定候选坐标系;
解码单元,用于根据所述位置标识中的编码部分在所述候选坐标系中的参考坐标位置,解码得到所述目标编码。
16.根据权利要求15所述的建立地图的装置,其特征在于,所述编码部分包括多个第一标记点;所述解码单元,具体用于:
将所述候选坐标系,与所述标准坐标系进行坐标系变换,得到所述候选坐标系与所述标准坐标系之间的仿射变换矩阵;
采用所述仿射变换矩阵,将各所述第一标记点在所述候选坐标系中的坐标位置变换至所述标准坐标系下,以得到各所述第一标记点在所述标准坐标系中的坐标位置;
根据各所述第一标记点在所述标准坐标系中的坐标位置,确定对应的目标编码。
17.根据权利要求15所述的建立地图的装置,其特征在于,所述坐标系部分包括至少五个第二标记点;
其中,所述处理单元,具体用于:
在所述图像中,连接共线的至少三个所述第二标记点,得到两条连线;
将处于所述两条连线交点的第二标记点,确定为所述候选坐标系的原点,将所述两条连线,确定为所述候选坐标系的坐标轴;其中,所述坐标轴的方向,是根据处于所述坐标轴上的所述第二标记点与所述原点的距离确定的。
18.根据权利要求15所述的建立地图的装置,其特征在于,所述坐标系部分包括非对称图案;
其中,所述处理单元,具体用于:
根据所述非对称图案中的设定参考线,确定所述候选坐标系的坐标轴;其中,所述坐标轴的方向,是根据所述非对称图案中设定局部图案所在位置确定的;
和/或,根据所述非对称图案中设定关键点所在位置,确定所述候选坐标系中设定的坐标点。
19.一种自移动设备,其特征在于,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时,实现如权利要求1-9中任一所述的建立地图的方法。
20.一种非临时性计算机可读存储介质,其上存储有计算机程序,其特征在于,所述程序被处理器执行时实现如权利要求1-9中任一所述的建立地图的方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011106961.2A CN111932675B (zh) | 2020-10-16 | 2020-10-16 | 建立地图的方法、装置、自移动设备和存储介质 |
PCT/CN2021/124196 WO2022078512A1 (zh) | 2020-10-16 | 2021-10-15 | 建立地图的方法、装置、自移动设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011106961.2A CN111932675B (zh) | 2020-10-16 | 2020-10-16 | 建立地图的方法、装置、自移动设备和存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111932675A CN111932675A (zh) | 2020-11-13 |
CN111932675B true CN111932675B (zh) | 2020-12-29 |
Family
ID=73334528
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011106961.2A Active CN111932675B (zh) | 2020-10-16 | 2020-10-16 | 建立地图的方法、装置、自移动设备和存储介质 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN111932675B (zh) |
WO (1) | WO2022078512A1 (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111932675B (zh) * | 2020-10-16 | 2020-12-29 | 北京猎户星空科技有限公司 | 建立地图的方法、装置、自移动设备和存储介质 |
CN113470143B (zh) * | 2021-06-29 | 2024-04-05 | 阿波罗智能技术(北京)有限公司 | 电子地图绘制方法、装置、设备以及自动驾驶车辆 |
CN113639639A (zh) * | 2021-08-31 | 2021-11-12 | 追觅创新科技(苏州)有限公司 | 位置数据的数据处理方法、装置及存储介质 |
CN115379562B (zh) * | 2022-10-25 | 2023-02-28 | 杭州华橙软件技术有限公司 | 供网位置的确定方法、装置、存储介质及电子装置 |
CN115797585B (zh) * | 2022-12-19 | 2023-08-08 | 北京百度网讯科技有限公司 | 一种停车场地图生成方法及装置 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107091643A (zh) * | 2017-06-07 | 2017-08-25 | 旗瀚科技有限公司 | 一种基于多台3d结构光相机拼接的室内导航方法 |
CN108332752A (zh) * | 2018-01-09 | 2018-07-27 | 深圳市沃特沃德股份有限公司 | 机器人室内定位的方法及装置 |
CN109724603A (zh) * | 2019-01-08 | 2019-05-07 | 北京航空航天大学 | 一种基于环境特征检测的室内机器人导航方法 |
CN111679291A (zh) * | 2020-06-17 | 2020-09-18 | 四川智动木牛智能科技有限公司 | 基于三维激光雷达的巡检机器人目标定位配置方法 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101798041B1 (ko) * | 2016-06-29 | 2017-11-17 | 성균관대학교산학협력단 | 3차원 물체 인식 및 자세 추정 장치 및 그 방법 |
CN111354042B (zh) * | 2018-12-24 | 2023-12-01 | 深圳市优必选科技有限公司 | 机器人视觉图像的特征提取方法、装置、机器人及介质 |
CN110411464B (zh) * | 2019-07-12 | 2023-04-07 | 中南大学 | 三维点云地图生成方法、装置、设备及存储介质 |
CN111179427A (zh) * | 2019-12-24 | 2020-05-19 | 深圳市优必选科技股份有限公司 | 自主移动设备及其控制方法、计算机可读存储介质 |
CN111442722B (zh) * | 2020-03-26 | 2022-05-17 | 达闼机器人股份有限公司 | 定位方法、装置、存储介质及电子设备 |
CN111932675B (zh) * | 2020-10-16 | 2020-12-29 | 北京猎户星空科技有限公司 | 建立地图的方法、装置、自移动设备和存储介质 |
-
2020
- 2020-10-16 CN CN202011106961.2A patent/CN111932675B/zh active Active
-
2021
- 2021-10-15 WO PCT/CN2021/124196 patent/WO2022078512A1/zh active Application Filing
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107091643A (zh) * | 2017-06-07 | 2017-08-25 | 旗瀚科技有限公司 | 一种基于多台3d结构光相机拼接的室内导航方法 |
CN108332752A (zh) * | 2018-01-09 | 2018-07-27 | 深圳市沃特沃德股份有限公司 | 机器人室内定位的方法及装置 |
CN109724603A (zh) * | 2019-01-08 | 2019-05-07 | 北京航空航天大学 | 一种基于环境特征检测的室内机器人导航方法 |
CN111679291A (zh) * | 2020-06-17 | 2020-09-18 | 四川智动木牛智能科技有限公司 | 基于三维激光雷达的巡检机器人目标定位配置方法 |
Also Published As
Publication number | Publication date |
---|---|
CN111932675A (zh) | 2020-11-13 |
WO2022078512A1 (zh) | 2022-04-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111932675B (zh) | 建立地图的方法、装置、自移动设备和存储介质 | |
CN112013858B (zh) | 定位方法、装置、自移动设备和存储介质 | |
CN112013850B (zh) | 定位方法、装置、自移动设备和存储介质 | |
US10740920B1 (en) | Method and apparatus for combining data to construct a floor plan | |
CN108406731B (zh) | 一种基于深度视觉的定位装置、方法及机器人 | |
Mishra et al. | Extrinsic Calibration of a 3D-LIDAR and a Camera | |
Alismail et al. | Automatic calibration of a range sensor and camera system | |
CN112265463B (zh) | 自移动设备的控制方法、装置、自移动设备和介质 | |
US20210374978A1 (en) | Capturing environmental scans using anchor objects for registration | |
Fiala et al. | Robot navigation using panoramic tracking | |
Schneider et al. | On the accuracy of dense fisheye stereo | |
Munguía et al. | Monocular SLAM for visual odometry: A full approach to the delayed inverse‐depth feature initialization method | |
CN113643380A (zh) | 一种基于单目相机视觉标靶定位的机械臂引导方法 | |
Chang et al. | GhostPose: Multi-view pose estimation of transparent objects for robot hand grasping | |
Canovas et al. | Onboard dynamic RGB‐D simultaneous localization and mapping for mobile robot navigation | |
KR100906991B1 (ko) | 로봇의 비시인성 장애물 탐지방법 | |
Li et al. | Indoor layout estimation by 2d lidar and camera fusion | |
Gamallo et al. | A FastSLAM-based algorithm for omnidirectional cameras | |
CN111380535A (zh) | 基于视觉标签的导航方法、装置、移动式机器及可读介质 | |
Pauls et al. | Automatic mapping of tailored landmark representations for automated driving and map learning | |
Cucchiara et al. | Efficient Stereo Vision for Obstacle Detection and AGV Navigation. | |
Cupec et al. | Global localization based on 3d planar surface segments | |
Lin et al. | A monocular target pose estimation system based on an infrared camera | |
Rostkowska et al. | Improving self-localization efficiency in a small mobile robot by using a hybrid field of view vision system | |
Makabe et al. | Shape-coded aruco: Fiducial marker for bridging 2d and 3d modalities |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |