CN110060343B - 地图构建方法及***、服务器、计算机可读介质 - Google Patents
地图构建方法及***、服务器、计算机可读介质 Download PDFInfo
- Publication number
- CN110060343B CN110060343B CN201910334825.XA CN201910334825A CN110060343B CN 110060343 B CN110060343 B CN 110060343B CN 201910334825 A CN201910334825 A CN 201910334825A CN 110060343 B CN110060343 B CN 110060343B
- Authority
- CN
- China
- Prior art keywords
- crowdsourcing
- images
- image data
- crowd
- sourced
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/05—Geographic models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/757—Matching configurations of points or features
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Geometry (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Bioinformatics & Computational Biology (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Graphics (AREA)
- Evolutionary Biology (AREA)
- Remote Sensing (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本公开提供了一种地图构建方法,包括:获取各众包源采集的众包图像数据,每个众包源的众包图像数据包括至少两个众包图像;针对每个众包源采集的众包图像数据,基于第一预设算法进行局部地图构建,得到该众包源的众包图像数据对应的局部地图;针对任意两个众包源采集的众包图像数据,基于第二预设算法进行相似帧检测,确定出该任意两个众包源的众包图像数据之间的至少一组相似的众包图像;针对每组相似的众包图像,计算出该组相似的众包图像之间的相对位姿;基于每组相似的众包图像之间的相对位姿和每个众包源的众包图像数据对应的局部地图,采用第三预设算法进行地图构建。本公开还提供了地图构建***、服务器及计算机可读介质。
Description
技术领域
本公开实施例涉及地图构建技术领域,特别涉及地图构建方法及***、服务器、计算机可读介质。
背景技术
智能驾驶行业已形成共识,面向L3/L4甚至更高级别的自动驾驶汽车,高精度地图是重要支撑,而高精度地图的刚需是快速更新,传统的部署采集车的方式无法满足高精度地图的更新频率。而且目前的高精度地图的构建方法,精度和鲁棒性较低,应用场景也有一定的局限性。
发明内容
本公开实施例提供一种地图构建方法及***、服务器、计算机可读介质。
第一方面,本公开实施例提供一种地图构建方法,该地图构建方法包括:
获取各众包源采集的众包图像数据,每个众包源的所述众包图像数据包括至少两个众包图像;
针对每个众包源采集的众包图像数据,基于第一预设算法进行局部地图构建,得到该众包源的众包图像数据对应的局部地图;
针对任意两个众包源采集的众包图像数据,基于第二预设算法进行相似帧检测,确定出该任意两个众包源的众包图像数据之间的至少一组相似的众包图像,每组相似的众包图像包括至少两个众包图像;
针对每组相似的众包图像,计算出该组相似的众包图像之间的相对位姿;
基于每组相似的众包图像之间的相对位姿和每个众包源的众包图像数据对应的局部地图,采用第三预设算法进行地图构建。
在一些实施例中,针对每个众包源采集的众包图像数据,该众包图像数据中,任意相邻的两个众包图像的采集时间的差值在预定范围内。
在一些实施例中,所述针对每个众包源采集的众包图像数据,基于第一预设算法进行局部地图构建,得到该众包源的众包图像数据对应的局部地图包括:
针对每个众包源采集的众包图像数据,从该众包图像数据中任意选取出两个相邻的众包图像;
针对每个众包源采集的众包图像数据,根据所选取出的该两个相邻的众包图像,构建该众包图像数据对应的初始化局部地图;
针对每个众包源采集的众包图像数据,根据该众包图像数据对应的初始化局部地图和除该两个相邻的众包图像数据以外的其余众包图像,构建该众包源的众包图像数据对应的局部地图。
在一些实施例中,所述针对每个众包源采集的众包图像数据,根据选取出的该两个相邻的众包图像,构建该众包图像数据对应的初始化局部地图包括:
针对每个众包源采集的众包图像数据,提取所选取出的两个相邻的众包图像分别对应的特征点;
针对每个众包源采集的众包图像数据,将选取出的两个相邻的众包图像分别对应的特征点进行匹配,确定出该选取出的两个相邻的众包图像之间的特征点匹配对;
针对每个众包源采集的众包图像数据,根据选取出的两个相邻的众包图像之间的特征点匹配对,计算出该众包图像数据对应的初始化局部地图。
在一些实施例中,所述针对每个众包源采集的众包图像数据,根据该众包图像数据对应的初始化局部地图和除该两个相邻的众包图像数据以外的其余众包图像,构建该众包源的众包图像数据对应的局部地图包括:
针对每个众包源采集的众包图像数据,对于除该两个相邻的众包图像数据以外的其余众包图像中的每个众包图像,将所述初始化局部地图投影在该众包图像上,得到该众包图像与初始化局部地图之间的特征匹配对;
针对每个众包源采集的众包图像数据,对于除该两个相邻的众包图像数据以外的其余众包图像中的每个众包图像,根据该众包图像与初始化局部地图之间的特征匹配对,计算出该众包图像对应的相对位姿;
针对每个众包源采集的众包图像数据,对于除该两个相邻的众包图像数据以外的其余众包图像,根据所述初始化局部地图和该其余众包图像分别对应的相对位姿,生成该众包源的众包图像数据对应的局部地图。
在一些实施例中,每组相似的众包图像包括两个众包图像,该两个众包图像对应的众包源不同,所述针对任意两个众包源采集的众包图像数据,基于第二预设算法进行相似帧检测,确定出该任意两个众包源的众包图像数据之间的至少一组相似的众包图像包括:
针对每个众包图像,获取该众包图像对应的图像向量;
针对对应不同众包源的任意两个众包图像,计算出该任意两个众包图像分别对应图像向量之间的距离;
针对对应不同众包源的任意两个众包图像,判断所述距离是否小于或等于预设阈值;
针对对应不同众包源的任意两个众包图像,若判断出所述距离小于或等于预设阈值,则确定出该任意两个众包图像为相似的众包图像。
在一些实施例中,所述针对任意两个众包源采集的众包图像数据,基于第二预设算法进行相似帧检测,确定出该任意两个众包源的众包图像数据之间的至少一组相似的众包图像包括:
针对每个众包图像,获取每个众包图像对应的图像向量;
根据各众包图像对应的图像向量和预设聚类算法,确定出任意两个众包源的众包图像数据之间的至少一组相似的众包图像。
在一些实施例中,每组相似的众包图像包括两个众包图像,所述针对每组相似的众包图像,计算出该组相似的众包图像之间的相对位姿包括:
针对每组相似的众包图像,提取该组相似的众包图像中每个众包图像对应的特征点;
针对每组相似的众包图像,将该组相似的众包图像中的一个众包图像对应的特征点与该组相似的众包图像中的另一个众包图像对应的特征点进行匹配,得到该组相似的众包图像的特征点匹配对;
针对每组相似的众包图像,根据该组相似的众包图像的特征点匹配对,计算出该组相似的众包图像之间的相对位姿。
在一些实施例中,所述基于每组相似的众包图像之间的相对位姿和每个众包源的众包图像数据对应的局部地图,采用第三预设算法进行地图构建包括:
以每组相似的众包图像之间的相对位姿和每个众包源的众包图像数据对应的局部地图作为优化变量,以最小化重投影误差为目标函数进行迭代优化,生成点云地图。
第二方面,本公开实施例提供一种地图构建***,所述地图构建***包括:
多个众包源;
每个众包源对应的局部地图构建模块,用于获取各众包源采集的众包图像数据,每个众包源的所述众包图像数据包括至少两个众包图像;针对应的众包源采集的众包图像数据,基于第一预设算法进行局部地图构建,得到该众包源的众包图像数据对应的局部地图;
相似帧检测模块,用于获取每个众包源采集的众包图像数据;针对任意两个众包源采集的众包图像数据,基于第二预设算法进行相似帧检测,确定出该任意两个众包源的众包图像数据之间的至少一组相似的众包图像,每组相似的众包图像包括至少两个众包图像;
位姿计算模块,用于针对每组相似的众包图像,计算出该组相似的众包图像之间的相对位姿;
地图生成模块,用于基于每组相似的众包图像之间的相对位姿和每个众包源的众包图像数据对应的局部地图,采用第三预设算法进行地图构建。
在一些实施例中,针对每个众包源采集的众包图像数据,该众包图像数据中,任意相邻的两个众包图像的采集时间的差值在预定范围内。
在一些实施例中,每个众包源对应的局部地图构建模块具体用于:
针对对应的众包源采集的众包图像数据,从该众包图像数据中任意选取出两个相邻的众包图像;
针对对应的众包源采集的众包图像数据,根据选取出的该相邻的两个众包图像,构建该众包图像数据对应的初始化局部地图;
针对对应的众包源采集的众包图像数据,根据该众包图像数据对应的初始化局部地图和除该相邻的两个众包图像数据以外的其余众包图像,构建该众包源的众包图像数据对应的局部地图。
在一些实施例中,每个众包源对应的局部地图构建模块具体用于:
针对对应的众包源采集的众包图像数据,提取选取出的两个相邻的众包图像分别对应的特征点;
针对对应的众包源采集的众包图像数据,将选取出的两个相邻的众包图像分别对应的特征点进行匹配,确定出该选取出的两个相邻的众包图像之间的特征点匹配对;
针对对应的众包源采集的众包图像数据,根据选取出的两个相邻的众包图像之间的特征点匹配对,计算出该众包图像数据对应的初始化局部地图。
在一些实施例中,每个众包源对应的局部地图构建模块具体用于:
针对对应的众包源采集的众包图像数据,对于除该相邻的两个众包图像数据以外的其余众包图像中的每个众包图像,将所述初始化局部地图投影在该众包图像上,得到该众包图像与初始化局部地图之间的特征匹配对;
针对对应的众包源采集的众包图像数据,对于除该相邻的两个众包图像数据以外的其余众包图像中的每个众包图像,根据该众包图像与初始化局部地图之间的特征匹配对,计算出该众包图像对应的相对位姿;
针对对应的众包源采集的众包图像数据,对于除该相邻的两个众包图像数据以外的其余众包图像,根据所述初始化局部地图和该其余众包图像分别对应的相对位姿,生成该众包源的众包图像数据对应的局部地图。
在一些实施例中,每组相似的众包图像包括两个众包图像,该两个众包图像对应的众包源不同,所述相似帧检测模块具体用于:
针对每个众包图像,获取该众包图像对应的图像向量;
针对对应不同众包源的任意两个众包图像,计算出该任意两个众包图像分别对应图像向量之间的距离;
针对对应不同众包源的任意两个众包图像,判断所述距离是否小于或等于预设阈值;
针对对应不同众包源的任意两个众包图像,若判断出所述距离小于或等于预设阈值,则确定出该任意两个众包图像为相似的众包图像。
在一些实施例中,所述相似帧检测模块具体用于:
针对每个众包图像,获取每个众包图像对应的图像向量;
根据各众包图像对应的图像向量和预设聚类算法,确定出任意两个众包源的众包图像数据之间的至少一组相似的众包图像。
在一些实施例中,每组相似的众包图像包括两个众包图像,所述位姿计算模块具体用于:
针对每组相似的众包图像,提取该组相似的众包图像中每个众包图像对应的特征点;
针对每组相似的众包图像,将该组相似的众包图像中的一个众包图像对应的特征点与该组相似的众包图像中的另一个众包图像对应的特征点进行匹配,得到该组相似的众包图像的特征点匹配对;
针对每组相似的众包图像,根据该组相似的众包图像的特征点匹配对,计算出该组相似的众包图像之间的相对位姿。
在一些实施例中,所述地图生成模块具体用于:
以每组相似的众包图像之间的相对位姿和每个众包源的众包图像数据对应的局部地图作为优化变量,以最小化重投影误差为目标函数进行迭代优化,生成点云地图。
第三方面,本公开实施例提供一种服务器,该服务器包括:
一个或多个处理器;
存储装置,其上存储有一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器实现如上述的地图构建方法。
第四方面,本公开实施例提供一种计算机可读介质,其上存储有计算机程序,其中,所述程序被执行时实现如上述的地图构建方法。
本公开实施例提供的地图构建方法及***、服务器、计算机可读介质,采用众包方式获取众包源的众包图像数据,能够满足地图的更新频率;针对每个众包源采集的众包图像数据,均采用第一预设算法进行局部地图构建,使得地图构建的应用场景更加广泛;针对不同的众包源的众包图像数据,采用第二预设算法进行相似帧检测,从而快速发现不同众包源的众包图像数据之间的相似帧,实现不同众包源的众包图像数据之间的信息共享;最后,基于每组相似的众包图像之间的相对位姿和每个众包源的众包图像数据对应的局部地图进行地图构建,通过异步更新的方式更高效地构建更准确的点云地图。本公开实施例所提供的地图构建方法,应用场景较广,精度和鲁棒性较好。
附图说明
附图用来提供对本公开实施例的进一步理解,并且构成说明书的一部分,与本公开的实施例一起用于解释本公开,并不构成对本公开的限制。通过参考附图对详细示例实施例进行描述,以上和其他特征和优点对本领域技术人员将变得更加显而易见,在附图中:
图1为本公开实施例提供的一种地图构建方法的流程图;
图2为本公开实施例中步骤12的一种具体实施方式的流程图;
图3为本公开实施例中步骤122的一种具体实施方式的流程图;
图4为本公开实施例中步骤123的一种具体实施方式的流程图;
图5为本公开实施例中步骤13的一种具体实施方式的流程图;
图6为本公开实施例中步骤13的另一种具体实施方式的流程图;
图7为本公开实施例中步骤14的一种具体实施方式的流程图;
图8为本公开实施例提供的一种地图构建***的结构示意图。
具体实施方式
为使本领域的技术人员更好地理解本公开的技术方案,下面结合附图对本公开提供的地图构建方法及***、服务器、计算机可读介质进行详细描述。
在下文中将参考附图更充分地描述示例实施例,但是所述示例实施例可以以不同形式来体现且不应当被解释为限于本文阐述的实施例。反之,提供这些实施例的目的在于使本公开透彻和完整,并将使本领域技术人员充分理解本公开的范围。
如本文所使用的,术语“和/或”包括一个或多个相关列举条目的任何和所有组合。
本文所使用的术语仅用于描述特定实施例,且不意欲限制本公开。如本文所使用的,单数形式“一个”和“该”也意欲包括复数形式,除非上下文另外清楚指出。还将理解的是,当本说明书中使用术语“包括”和/或“由……制成”时,指定存在所述特征、整体、步骤、操作、元件和/或组件,但不排除存在或添加一个或多个其他特征、整体、步骤、操作、元件、组件和/或其群组。
本文所述实施例可借助本公开的理想示意图而参考平面图和/或截面图进行描述。因此,可根据制造技术和/或容限来修改示例图示。因此,实施例不限于附图中所示的实施例,而是包括基于制造工艺而形成的配置的修改。因此,附图中例示的区具有示意性属性,并且图中所示区的形状例示了元件的区的具体形状,但并不旨在是限制性的。
除非另外限定,否则本文所用的所有术语(包括技术和科学术语)的含义与本领域普通技术人员通常理解的含义相同。还将理解,诸如那些在常用字典中限定的那些术语应当被解释为具有与其在相关技术以及本公开的背景下的含义一致的含义,且将不解释为具有理想化或过度形式上的含义,除非本文明确如此限定。
图1为本公开实施例提供的一种地图构建方法的流程图,如图1所示,该方法可以由地图构建***来执行,该***可以通过软件和/或硬件的方式实现,该***可以集成在服务器中。该地图构建方法包括:
步骤11、获取各众包源采集的众包图像数据,每个众包源的众包图像数据包括至少两个众包图像。
在本公开实施例中,按照采集相机划分,每个众包源对应一个采集相机。
在一些实施例中,还可以按照空间区域划分,每个众包源对应一个空间区域内的至少一个采集相机。其中,空间区域可以根据实际需要确定。
需要说明的是,本公开实施例对于众包图像数据的获取方式不作限制,可以通过采集相机采集众包图像数据后主动上传的方式获取该采集相机的众包图像数据,也可以通过其他方式(例如定期询问采集相机)获取采集相机采集的众包图像数据。其中,采集相机可以是车载相机、数码相机、摄像机、智能手机相机等。
需要了解的是,众包图像是指由大众经过一定方法(如使用采集相机拍摄)获取后通过互联网向公众或相关机构提供的一种开放式图像数据。其中,大众可以自愿提供众包图像或者通过参与相关机构下发的众包任务的方式提供众包图像。
在一些实施例中,在步骤11中,针对每个众包源采集的众包图像数据,该众包图像数据中,任意相邻的两个众包图像的采集时间的差值在预定范围内。例如,预定范围为5秒,预定范围可以根据实际需要进行设置,本公开实施例对此不作限制。
在一些实施例中,在步骤11中,获取各众包源在预设时间段内采集的众包图像数据,每个众包源在预设时间段内采集的众包图像数据包括至少一个众包图像。例如,预设时间段可以根据实际需要进行设置,本公开实施例对此不作限制。
在一些实施例中,在步骤11中,各众包源实时上传其采集的众包图像。
在本公开实施例中,各众包源的众包图像数据中众包图像的数量可以相同也可以不同,具体根据实际情况而确定。
步骤12、针对每个众包源采集的众包图像数据,基于第一预设算法进行局部地图构建,得到该众包源的众包图像数据对应的局部地图。
在一些实施例中,第一预设算法包括增量式运动恢复结构(Structure fromMotion,简称:SfM)算法。本公开实施例中,对于局部地图构建所采用的算法不作限制,只要能够根据众包图像数据生成对应的局部地图即可。
图2为本公开实施例中步骤12的一种具体实施方式的流程图,在一些实施例中,如图2所示,步骤12包括:
步骤121、针对每个众包源采集的众包图像数据,从该众包图像数据中任意选取出两个相邻的众包图像。
例如,某个众包源采集的众包图像数据包括4个众包图像,则从该4个众包图像中,任意选取出2个相邻的众包图像,所述“相邻”可以理解为在采集时间上相邻。
步骤122、针对每个众包源采集的众包图像数据,根据所选取出的该两个相邻的众包图像,构建该众包图像数据对应的初始化局部地图。
在一些实施例中,针对每个众包源采集的众包图像数据,所选取出的两个相邻的众包图像为该众包源拍摄的拍摄时间最早的两张图像。
图3为本公开实施例中步骤122的一种具体实施方式的流程图,在一些实施例中,如图3所示,步骤122包括:
步骤1221、针对每个众包源采集的众包图像数据,提取所选取出的两个相邻的众包图像分别对应的特征点。
在一些实施例中,众包图像的特征点的提取可以采用SIFT、SURF或者ORB方法。本公开实施例对于众包图像的特征点的提取方法不作限制,只要能够提取出众包图像的特征点即可。其中,特征点为地图要素,例如,特征点可以为车道线、杆、路牌、建筑物等。
步骤1222、针对每个众包源采集的众包图像数据,将选取出的两个相邻的众包图像分别对应的特征点进行匹配,确定出该选取出的两个相邻的众包图像之间的特征点匹配对。
例如,可以采用RANSAC方法确定出该选取出的两个相邻的众包图像之间的特征点匹配对。
步骤1223、针对每个众包源采集的众包图像数据,根据选取出的两个相邻的众包图像之间的特征点匹配对,计算出该众包图像数据对应的初始化局部地图。
具体地,步骤1223包括:针对每个众包源采集的众包图像数据,根据选取出的两个相邻的众包图像之间的特征点匹配对,计算出该选取出的两个相邻的众包图像之间的相对位姿;针对每个众包源采集的众包图像数据,根据该选取出的两个相邻的众包图像之间的相对位姿,生成该众包图像数据对应的初始化局部地图。
其中,计算该选取出的两个相邻的众包图像之间的相对位姿时,可以先根据该选取出的两个相邻的众包图像之间的特征点匹配对,求解出该选取出的两个相邻的众包图像之间的本质矩阵,然后根据本质矩阵求解出该选取出的两个相邻的众包图像之间的相对位姿。
其中,初始化局部地图可根据三角化的方法生成,根据该选取出的两个相邻的众包图像的相对位姿,以及对应的特征点匹配对,可以计算出特征点的三维坐标。例如,该选取出的两个相邻的众包图像分别为图A和图B,p1是图A的特征点,p2是图B的特征点,p1和p2是特征点匹配对,三角化后即可得到p1和p2的特征点匹配对对应的三维坐标P,从而生成初始化局部地图。
步骤123、针对每个众包源采集的众包图像数据,根据该众包图像数据对应的初始化局部地图和除该两个相邻的众包图像数据以外的其余众包图像,构建该众包源的众包图像数据对应的局部地图。
例如,某个众包源采集的众包图像数据包括4个众包图像,分别为众包图像1、众包图像2、众包图像3和众包图像4,针对该众包源采集的众包图像数据,在步骤122中,根据众包图像1和众包图像2生成初始化局部地图,那么在步骤123中,根据众包图像3和众包图像4以及初始化局部地图,构建该众包源采集的众包图像数据对应的局部地图。
图4为本公开实施例中步骤123的一种具体实施方式的流程图,在一些实施例中,如图4所示,步骤123包括:
步骤1231、针对每个众包源采集的众包图像数据,对于除该相邻的两个众包图像数据以外的其余众包图像中的每个众包图像,将初始化局部地图投影在该众包图像上,得到该众包图像与初始化局部地图之间的特征匹配对。
例如,某个众包源采集的众包图像数据包括4个众包图像,分别为众包图像1、众包图像2、众包图像3和众包图像4,针对该众包源采集的众包图像数据,在步骤122中,根据众包图像1和众包图像2生成初始化局部地图。那么在步骤1231中,针对其余众包图像中的众包图像3,将初始化局部地图投影到众包图像3上,从而确定出众包图像3与初始化局部地图之间的特征匹配对;针对其余众包图像中的众包图像4,将初始化局部地图投影到众包图像4上,从而确定出众包图像4与初始化局部地图之间的特征匹配对。
步骤1232、针对每个众包源采集的众包图像数据,对于除该相邻的两个众包图像数据以外的其余众包图像中的每个众包图像,根据该众包图像与初始化局部地图之间的特征匹配对,计算出该众包图像对应的相对位姿。
例如,某个众包源采集的众包图像数据包括4个众包图像,分别为众包图像1、众包图像2、众包图像3和众包图像4,针对该众包源采集的众包图像数据,在步骤122中,根据众包图像1和众包图像2生成初始化局部地图,在步骤1231中,确定出众包图像3与初始化局部地图之间的特征匹配对,以及众包图像4与初始化局部地图之间的特征匹配对;那么在步骤1232中,根据众包图像3与初始化局部地图之间的特征匹配对,计算出该众包图像3对应的相对位姿,根据众包图像4与初始化局部地图之间的特征匹配对,计算出该众包图像4对应的相对位姿。
在一些实施例中,在步骤1232中,根据该众包图像与初始化局部地图之间的特征匹配对,可以采用PNP算法,计算出该众包图像对应的相对位姿。
步骤1233、针对每个众包源采集的众包图像数据,对于除该相邻的两个众包图像数据以外的其余众包图像,根据所述初始化局部地图和该其余众包图像分别对应的相对位姿,生成该众包源的众包图像数据对应的局部地图。
步骤13、针对任意两个众包源采集的众包图像数据,基于第二预设算法进行相似帧检测,确定出该任意两个众包源的众包图像数据之间的至少一组相似的众包图像,每组相似的众包图像包括至少两个众包图像。
在本公开实施例中,相似帧检测采用的第一预设算法是基于深度卷积神经网络学习的算法,其中,基于深度学习的方法可以为一切合适的能够进行相似帧的检测方法,本公开实施例对于第一预设算法不作限制。
图5为本公开实施例中步骤13的一种具体实施方式的流程图,在一些实施例中,每组相似的众包图像包括两个众包图像,该两个众包图像对应的众包源不同,如图5所示,步骤13包括:
步骤1311、针对每个众包图像,获取该众包图像对应的图像向量。
在一些实施例中,针对每个众包图像,采用NetVLAD网络,获取该众包图像对应的图像向量,该图像向量的维度可以根据实际情况确定。
步骤1312、针对对应不同众包源的任意两个众包图像,计算出该任意两个众包图像分别对应图像向量之间的距离。
步骤1313、针对对应不同众包源的任意两个众包图像,判断所述距离是否小于或等于预设阈值。
其中,预设距离可以根据实际情况确定,本公开实施例对此不作限制。
步骤1314、针对对应不同众包源的任意两个众包图像,若判断出所述距离小于或等于预设阈值,则确定出该任意两个众包图像为相似的众包图像。
针对对应不同众包源的任意两个众包图像,若判断出所述距离大于预设阈值,表明该任意两个众包图像为不相似的众包图像,因此对该任意两个众包图像不做任何处理。
在一些实施例中,每组相似的众包图像包括多个众包图像,例如3个,该多个众包图像至少对应两个众包源(多个众包图像至少来自于两个众包源),例如,每组相似的众包图像包括3个众包图像,其中,假设其中一个众包图像对应于众包源1,则剩余两个众包图像可以均对应于众包源2,也可以分别对应于众包源2和众包源3。
在一些实施例中,针对任意两个众包源采集的众包图像数据,例如,任意两个众包源分别为众包源A和众包源B,假设众包源A中的众包图像数据包括众包图像A1,众包源B的众包图像数据包括众包图像B1和众包图像B2,针对众包源A的众包图像数据和众包源B的众包图像数据,基于第二预设算法进行相似帧检测,当检测出众包图像A1与众包图像B1为相似的众包图像,众包图像A1与众包图像B2也为相似的众包图像时,则众包图像A1、众包图像B1和众包图像B2构成一组相似的众包图像,此种情况下,该组相似的众包图像包括三个众包图像,依此类推,从而确定出任意两个众包源的众包图像数据之间的至少一组相似的众包图像。
图6为本公开实施例中步骤13的另一种具体实施方式的流程图,在一些实施例中,如图6所示,步骤13包括:
步骤1321、针对每个众包图像,获取每个众包图像对应的图像向量。
在一些实施例中,针对每个众包图像,采用NetVLAD网络,获取该众包图像对应的图像向量,该图像向量的维度可以根据实际情况确定。
步骤1322、根据各众包图像对应的图像向量和预设聚类算法,确定出任意两个众包源的众包图像数据之间的至少一组相似的众包图像。
在步骤1322中,预设聚类算法采用K-Means聚类算法。具体地,设置聚类簇数K=众包源的数量;随机设置K个当前聚类中心(当前均值向量);将簇划分初始化为 表示空集,i=1,2,…,K;针对任意两个众包源的众包图像数据,计算该任意两个众包源的众包图像数据中的每个众包图像对应的图像向量与各个当前聚类中心的距离;针对该任意两个众包源的众包图像数据中的每个众包图像对应的图像向量,确定距离众包图像对应的图像向量最近的当前聚类中心;针对该任意两个众包源的众包图像数据中的每个众包图像对应的图像向量,将该众包图像对应的图像向量划入距离最近的当前聚类中心对应的簇,更新簇划分C={Ci};针对每个当前簇Ci,更新其对应的聚类中心;以新的聚类中心作为当前聚类中心对任意两个众包源的众包图像数据中的每个众包图像对应的图像向量重新进行聚类,依此类推,直至新的聚类中心不再发生变化时,输出最终的簇划分C={Ci}。其中,每一个簇为一组相似的众包图像。在本公开实施例中,为了提高相似帧检测的效率,需要动态调整各当前聚类中心。
本公开实施例中,针对不同众包源的众包图像数据之间的相似帧检测,基于深度卷积神经网络学习的算法,直接以众包图像对应的图像向量作为输入;而传统的方法,首先需要提取图像局部特征,然后根据视觉词典组织成向量的形式输入。本公开实施例所采用的深度卷积神经网络学习的算法能够挖掘更深层次的图像特征,其准确性和鲁棒性优于传统的基于视觉词典的方法。
需要说明的是,在本公开实施例中,不同组相似的众包图像中众包图像的数量可以相同也可以不同,例如,众包源1的众包图像数据和众包源2的众包图像数据之间,有两组相似的众包图像,其中一组相似的众包图像包括2个众包图像,另一组相似的众包图像包括3个众包图像。本公开实施例中,不同组的相似的众包图像中众包图像的数量具体可以根据相似帧的检测而定。
在本公开实施例中,可以采用上述步骤1311至步骤1314的方法将每组相似的众包图像中众包图像的数量固定在两个,即仅对比两个众包图像,如果相似则归为一组。也可以采用上述步骤1321至步骤1322的方法确定出任意两个众包源的众包图像数据之间的至少一组相似的众包图像。
步骤14、针对每组相似的众包图像,计算出该组相似的众包图像之间的相对位姿。
图7为本公开实施例中步骤14的一种具体实施方式的流程图,在一些实施例中,每组相似的众包图像包括两个众包图像,如图7所示,步骤14包括:
步骤1411、针对每组相似的众包图像,提取该组相似的众包图像中每个众包图像对应的特征点。
在一些实施例中,众包图像的特征点的提取可以采用SIFT、SURF或者ORB方法。本公开实施例对于众包图像的特征点的提取方法不作限制,只要能够提取出众包图像的特征点即可。其中,特征点为地图要素,例如,特征点可以为车道线、杆、路牌、建筑物等。
步骤1412、针对每组相似的众包图像,将该组相似的众包图像中的一个众包图像对应的特征点与该组相似的众包图像中的另一个众包图像对应的特征点进行匹配,得到该组相似的众包图像的特征点匹配对。
例如,可以采用如RANSAC的方法确定出该组相似的众包图像中的一个众包图像对应的特征点与该组相似的众包图像中的另一个众包图像之间的特征点匹配对。
步骤1413、针对每组相似的众包图像,根据该组相似的众包图像的特征点匹配对,计算出该组相似的众包图像之间的相对位姿。
在一些实施例中,步骤14包括:
步骤1421、针对每组相似的众包图像,提取该组相似的众包图像中每个众包图像对应的特征点。
步骤1422、针对每组相似的众包图像中的任意两个众包图像,将其中一个众包图像与另一个众包图像进行特征点匹配,得到该任意两个众包图像之间的特征点匹配对。
步骤1423、针对每组相似的众包图像中的任意两个众包图像,根据该任意两个众包图像之间的特征点匹配对,计算出该任意两个众包图像之间的相对位姿。
步骤1424、针对每组相似的众包图像,根据任意两个众包图像之间的相对位姿,生成该组相似的众包图像之间的相对位姿。
步骤15、基于每组相似的众包图像之间的相对位姿和每个众包源的众包图像数据对应的局部地图,采用第三预设算法进行地图构建。
在本公开实施例中,基于每组相似的众包图像之间的相对位姿和每个众包源的众包图像数据对应的局部地图,采用第三预设算法进行地图构建,将众包源的众包图像数据对应的局部地图进行融合,生成点云地图。
在一些实施例中,例如分布式光束平差法(Bundle Adjustment,简称:BA),根据每组相似的众包图像之间的相对位姿和每个众包源的众包图像数据对应的局部地图,生成全局一致性的点云地图。
在一些实施例中,第三预设算法可以为ADMM算法,也可以为DGS算法。
在一些实施例中,步骤15包括:以每组相似的众包图像之间的相对位姿和每个众包源的众包图像数据对应的局部地图作为优化变量,以最小化重投影误差为目标函数进行迭代优化,生成点云地图。
在步骤15中,采用ADMM优化框架,以最小化重投影误差为目标函数,以每组相似的众包图像之间的相对位姿和每个众包源的众包图像数据对应的局部地图为约束条件,进行分布式优化。所谓的分布式优化是指,在不同时刻发生变化的局部地图是未知的,只有当局部地图发生变化时,才会触发分布式优化过程。
在一些实施例中,针对每一个众包源,当该众包源的众包图像数据更新(该众包源拍摄上传新的众包图像,众包图像数据中加入新的众包图像)时,可以将该众包源的众包图像数据对应的当前的局部地图投影到新的众包图像上,以寻找新的特征匹配对,生成新的相对位姿,从而更新该众包源对应的局部地图,最终更新点云地图。
本公开实施例所提供的地图构建方法,采用众包方式获取众包源的众包图像数据,能够满足地图的更新频率;针对每个众包源采集的众包图像数据,均采用第一预设算法进行局部地图构建,使得地图构建的应用场景更加广泛;针对不同的众包源的众包图像数据,采用第二预设算法进行相似帧检测,从而快速发现不同众包源的众包图像数据之间的相似帧,实现不同众包源的众包图像数据之间的信息共享;最后,基于每组相似的众包图像之间的相对位姿和每个众包源的众包图像数据对应的局部地图进行地图构建,通过异步更新的方式更高效地构建更准确的点云地图。本公开实施例所提供的地图构建方法,应用场景较广,精度和鲁棒性较好。
图8为本公开实施例提供的一种地图构建***的结构示意图,如图8所示,该地图构建***用于实现上述的地图构建方法,该地图构建***包括:
多个众包源21,用于采集众包图像数据。
每个众包源21对应的局部地图构建模块22,用于获取各众包源采集的众包图像数据,每个众包源21的众包图像数据包括至少两个众包图像;针对应的众包源采集的众包图像数据,基于第一预设算法进行局部地图构建,得到该众包源21的众包图像数据对应的局部地图。
相似帧检测模块23,用于获取每个众包源采集的众包图像数据;针对任意两个众包源采集的众包图像数据,基于第二预设算法进行相似帧检测,确定出该任意两个众包源的众包图像数据之间的至少一组相似的众包图像,每组相似的众包图像包括至少两个众包图像。
位姿计算模块24,用于针对每组相似的众包图像,计算出该组相似的众包图像之间的相对位姿。
地图生成模块25,用于基于每组相似的众包图像之间的相对位姿和每个众包源的众包图像数据对应的局部地图,采用第三预设算法进行地图构建。
在一些实施例中,针对每个众包源21采集的众包图像数据,该众包图像数据中,任意相邻的两个众包图像的采集时间的差值在预定范围内。
在一些实施例中,每个众包源21对应的局部地图构建模块22具体用于:针对对应的众包源采集的众包图像数据,从该众包图像数据中任意选取出两个相邻的众包图像;针对对应的众包源采集的众包图像数据,根据选取出的该相邻的两个众包图像,构建该众包图像数据对应的初始化局部地图;针对对应的众包源采集的众包图像数据,根据该众包图像数据对应的初始化局部地图和除该相邻的两个众包图像数据以外的其余众包图像,构建该众包源的众包图像数据对应的局部地图。
在一些实施例中,每个众包源21对应的局部地图构建模块22具体用于:针对对应的众包源采集的众包图像数据,提取选取出的两个相邻的众包图像分别对应的特征点;针对对应的众包源采集的众包图像数据,将选取出的两个相邻的众包图像分别对应的特征点进行匹配,确定出该选取出的两个相邻的众包图像之间的特征点匹配对;针对对应的众包源采集的众包图像数据,根据选取出的两个相邻的众包图像之间的特征点匹配对,计算出该众包图像数据对应的初始化局部地图。
在一些实施例中,每个众包源21对应的局部地图构建模块22具体用于:针对对应的众包源采集的众包图像数据,对于除该相邻的两个众包图像数据以外的其余众包图像中的每个众包图像,将所述初始化局部地图投影在该众包图像上,得到该众包图像与初始化局部地图之间的特征匹配对;针对对应的众包源采集的众包图像数据,对于除该相邻的两个众包图像数据以外的其余众包图像中的每个众包图像,根据该众包图像与初始化局部地图之间的特征匹配对,计算出该众包图像对应的相对位姿;针对对应的众包源采集的众包图像数据,对于除该相邻的两个众包图像数据以外的其余众包图像,根据所述初始化局部地图和该其余众包图像分别对应的相对位姿,生成该众包源的众包图像数据对应的局部地图。
在一些实施例中,每组相似的众包图像包括两个众包图像,该两个众包图像对应的众包源不同,所述相似帧检测模块23具体用于:针对每个众包图像,获取该众包图像对应的图像向量;针对对应不同众包源的任意两个众包图像,计算出该任意两个众包图像分别对应图像向量之间的距离;针对对应不同众包源的任意两个众包图像,判断所述距离是否小于或等于预设阈值;针对对应不同众包源的任意两个众包图像,若判断出所述距离小于或等于预设阈值,则确定出该任意两个众包图像为相似的众包图像。
在一些实施例中,所述相似帧检测模块23具体用于:针对每个众包图像,获取每个众包图像对应的图像向量;根据各众包图像对应的图像向量和预设聚类算法,确定出任意两个众包源的众包图像数据之间的至少一组相似的众包图像。
在一些实施例中,每组相似的众包图像包括两个众包图像,所述位姿计算模块24具体用于:针对每组相似的众包图像,提取该组相似的众包图像中每个众包图像对应的特征点;针对每组相似的众包图像,将该组相似的众包图像中的一个众包图像对应的特征点与该组相似的众包图像中的另一个众包图像对应的特征点进行匹配,得到该组相似的众包图像的特征点匹配对;针对每组相似的众包图像,根据该组相似的众包图像的特征点匹配对,计算出该组相似的众包图像之间的相对位姿。
在一些实施例中,所述地图生成模块25具体用于:以每组相似的众包图像之间的相对位姿和每个众包源的众包图像数据对应的局部地图作为优化变量,以最小化重投影误差为目标函数进行迭代优化,生成点云地图。
此外,本公开实施例所提供的地图构建***具体用于实现前述地图构建方法,具体可参见前述地图构建方法的描述,此处不再赘述。
本公开实施例还提供了一种服务器,该服务器包括:一个或多个处理器以及存储装置;其中,存储装置上存储有一个或多个程序,当上述一个或多个程序被上述一个或多个处理器执行时,使得上述一个或多个处理器实现前述的地图构建方法。
本公开实施例还提供了一计算机可读存储介质,其上存储有计算机程序,其中,该计算机程序被执行时实现前述的地图构建方法。
本领域普通技术人员可以理解,上文中所公开方法中的全部或某些步骤、***、装置中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。在硬件实施方式中,在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分;例如,一个物理组件可以具有多个功能,或者一个功能或步骤可以由若干物理组件合作执行。某些物理组件或所有物理组件可以被实施为由处理器,如中央处理器、数字信号处理器或微处理器执行的软件,或者被实施为硬件,或者被实施为集成电路,如专用集成电路。这样的软件可以分布在计算机可读介质上,计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的,术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外,本领域普通技术人员公知的是,通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据,并且可包括任何信息递送介质。
本文已经公开了示例实施例,并且虽然采用了具体术语,但它们仅用于并仅应当被解释为一般说明性含义,并且不用于限制的目的。在一些实例中,对本领域技术人员显而易见的是,除非另外明确指出,否则可单独使用与特定实施例相结合描述的特征、特性和/或元素,或可与其他实施例相结合描述的特征、特性和/或元件组合使用。因此,本领域技术人员将理解,在不脱离由所附的权利要求阐明的本公开的范围的情况下,可进行各种形式和细节上的改变。
Claims (20)
1.一种地图构建方法,包括:
获取各众包源采集的众包图像数据,每个众包源的所述众包图像数据包括至少两个众包图像;
针对每个众包源采集的众包图像数据,基于第一预设算法进行局部地图构建,得到该众包源的众包图像数据对应的局部地图;其中,第一预设算法包括增量式运动恢复结构算法;
针对任意两个众包源采集的众包图像数据,基于第二预设算法进行相似帧检测,确定出该任意两个众包源的众包图像数据之间的至少一组相似的众包图像,每组相似的众包图像包括至少两个众包图像;其中,第二预设算法包括聚类算法,聚类算法中每个众包源对应一个聚类中心,各众包源对应的聚类中心在聚类过程中动态更新;
针对每组相似的众包图像,计算出该组相似的众包图像之间的相对位姿;其中,该组相似的众包图像之间的相对位姿是根据该组相似的众包图像中任意两个众包图像之间的相对位姿确定的,任意两个众包图像之间的相对位姿是通过对任意两个众包图像进行特征点匹配确定的;
基于每组相似的众包图像之间的相对位姿和每个众包源的众包图像数据对应的局部地图,采用第三预设算法进行地图构建。
2.根据权利要求1所述的地图构建方法,其中,针对每个众包源采集的众包图像数据,该众包图像数据中,任意相邻的两个众包图像的采集时间的差值在预定范围内。
3.根据权利要求1所述的地图构建方法,其中,所述针对每个众包源采集的众包图像数据,基于第一预设算法进行局部地图构建,得到该众包源的众包图像数据对应的局部地图包括:
针对每个众包源采集的众包图像数据,从该众包图像数据中任意选取出两个相邻的众包图像;
针对每个众包源采集的众包图像数据,根据所选取出的该两个相邻的众包图像,构建该众包图像数据对应的初始化局部地图;
针对每个众包源采集的众包图像数据,根据该众包图像数据对应的初始化局部地图和除该两个相邻的众包图像数据以外的其余众包图像,构建该众包源的众包图像数据对应的局部地图。
4.根据权利要求3所述的地图构建方法,其中,所述针对每个众包源采集的众包图像数据,根据选取出的该两个相邻的众包图像,构建该众包图像数据对应的初始化局部地图包括:
针对每个众包源采集的众包图像数据,提取所选取出的两个相邻的众包图像分别对应的特征点;
针对每个众包源采集的众包图像数据,将选取出的两个相邻的众包图像分别对应的特征点进行匹配,确定出该选取出的两个相邻的众包图像之间的特征点匹配对;
针对每个众包源采集的众包图像数据,根据选取出的两个相邻的众包图像之间的特征点匹配对,计算出该众包图像数据对应的初始化局部地图。
5.根据权利要求4所述的地图构建方法,其中,所述针对每个众包源采集的众包图像数据,根据该众包图像数据对应的初始化局部地图和除该两个相邻的众包图像数据以外的其余众包图像,构建该众包源的众包图像数据对应的局部地图包括:
针对每个众包源采集的众包图像数据,对于除该两个相邻的众包图像数据以外的其余众包图像中的每个众包图像,将所述初始化局部地图投影在该众包图像上,得到该众包图像与初始化局部地图之间的特征匹配对;
针对每个众包源采集的众包图像数据,对于除该两个相邻的众包图像数据以外的其余众包图像中的每个众包图像,根据该众包图像与初始化局部地图之间的特征匹配对,计算出该众包图像对应的相对位姿;
针对每个众包源采集的众包图像数据,对于除该两个相邻的众包图像数据以外的其余众包图像,根据所述初始化局部地图和该其余众包图像分别对应的相对位姿,生成该众包源的众包图像数据对应的局部地图。
6.根据权利要求1所述的地图构建方法,其中,每组相似的众包图像包括两个众包图像,该两个众包图像对应的众包源不同,所述针对任意两个众包源采集的众包图像数据,基于第二预设算法进行相似帧检测,确定出该任意两个众包源的众包图像数据之间的至少一组相似的众包图像包括:
针对每个众包图像,获取该众包图像对应的图像向量;
针对对应不同众包源的任意两个众包图像,计算出该任意两个众包图像分别对应图像向量之间的距离;
针对对应不同众包源的任意两个众包图像,判断所述距离是否小于或等于预设阈值;
针对对应不同众包源的任意两个众包图像,若判断出所述距离小于或等于预设阈值,则确定出该任意两个众包图像为相似的众包图像。
7.根据权利要求1所述的地图构建方法,其中,所述针对任意两个众包源采集的众包图像数据,基于第二预设算法进行相似帧检测,确定出该任意两个众包源的众包图像数据之间的至少一组相似的众包图像包括:
针对每个众包图像,获取每个众包图像对应的图像向量;
根据各众包图像对应的图像向量和预设聚类算法,确定出任意两个众包源的众包图像数据之间的至少一组相似的众包图像。
8.根据权利要求1所述的地图构建方法,其中,每组相似的众包图像包括两个众包图像,所述针对每组相似的众包图像,计算出该组相似的众包图像之间的相对位姿包括:
针对每组相似的众包图像,提取该组相似的众包图像中每个众包图像对应的特征点;
针对每组相似的众包图像,将该组相似的众包图像中的一个众包图像对应的特征点与该组相似的众包图像中的另一个众包图像对应的特征点进行匹配,得到该组相似的众包图像的特征点匹配对;
针对每组相似的众包图像,根据该组相似的众包图像的特征点匹配对,计算出该组相似的众包图像之间的相对位姿。
9.根据权利要求1所述的地图构建方法,其中,所述基于每组相似的众包图像之间的相对位姿和每个众包源的众包图像数据对应的局部地图,采用第三预设算法进行地图构建包括:
以每组相似的众包图像之间的相对位姿和每个众包源的众包图像数据对应的局部地图作为优化变量,以最小化重投影误差为目标函数进行迭代优化,生成点云地图。
10.一种地图构建***,包括:
多个众包源;
每个众包源对应的局部地图构建模块,用于获取各众包源采集的众包图像数据,每个众包源的所述众包图像数据包括至少两个众包图像;针对应的众包源采集的众包图像数据,基于第一预设算法进行局部地图构建,得到该众包源的众包图像数据对应的局部地图;其中,第一预设算法包括增量式运动恢复结构算法
相似帧检测模块,用于获取每个众包源采集的众包图像数据;针对任意两个众包源采集的众包图像数据,基于第二预设算法进行相似帧检测,确定出该任意两个众包源的众包图像数据之间的至少一组相似的众包图像,每组相似的众包图像包括至少两个众包图像;其中,第二预设算法包括聚类算法,聚类算法中每个众包源对应一个聚类中心,各众包源对应的聚类中心在聚类过程中动态更新;
位姿计算模块,用于针对每组相似的众包图像,计算出该组相似的众包图像之间的相对位姿;其中,该组相似的众包图像之间的相对位姿是根据该组相似的众包图像中任意两个众包图像之间的相对位姿确定的,任意两个众包图像之间的相对位姿是通过对任意两个众包图像进行特征点匹配确定的;
地图生成模块,用于基于每组相似的众包图像之间的相对位姿和每个众包源的众包图像数据对应的局部地图,采用第三预设算法进行地图构建。
11.根据权利要求10所述的地图构建***,其中,针对每个众包源采集的众包图像数据,该众包图像数据中,任意相邻的两个众包图像的采集时间的差值在预定范围内。
12.根据权利要求10所述的地图构建***,其中,每个众包源对应的局部地图构建模块具体用于:
针对对应的众包源采集的众包图像数据,从该众包图像数据中任意选取出两个相邻的众包图像;
针对对应的众包源采集的众包图像数据,根据选取出的该相邻的两个众包图像,构建该众包图像数据对应的初始化局部地图;
针对对应的众包源采集的众包图像数据,根据该众包图像数据对应的初始化局部地图和除该相邻的两个众包图像数据以外的其余众包图像,构建该众包源的众包图像数据对应的局部地图。
13.根据权利要求12所述的地图构建***,其中,每个众包源对应的局部地图构建模块具体用于:
针对对应的众包源采集的众包图像数据,提取选取出的两个相邻的众包图像分别对应的特征点;
针对对应的众包源采集的众包图像数据,将选取出的两个相邻的众包图像分别对应的特征点进行匹配,确定出该选取出的两个相邻的众包图像之间的特征点匹配对;
针对对应的众包源采集的众包图像数据,根据选取出的两个相邻的众包图像之间的特征点匹配对,计算出该众包图像数据对应的初始化局部地图。
14.根据权利要求13所述的地图构建***,其中,每个众包源对应的局部地图构建模块具体用于:
针对对应的众包源采集的众包图像数据,对于除该相邻的两个众包图像数据以外的其余众包图像中的每个众包图像,将所述初始化局部地图投影在该众包图像上,得到该众包图像与初始化局部地图之间的特征匹配对;
针对对应的众包源采集的众包图像数据,对于除该相邻的两个众包图像数据以外的其余众包图像中的每个众包图像,根据该众包图像与初始化局部地图之间的特征匹配对,计算出该众包图像对应的相对位姿;
针对对应的众包源采集的众包图像数据,对于除该相邻的两个众包图像数据以外的其余众包图像,根据所述初始化局部地图和该其余众包图像分别对应的相对位姿,生成该众包源的众包图像数据对应的局部地图。
15.根据权利要求10所述的地图构建***,其中,每组相似的众包图像包括两个众包图像,该两个众包图像对应的众包源不同,所述相似帧检测模块具体用于:
针对每个众包图像,获取该众包图像对应的图像向量;
针对对应不同众包源的任意两个众包图像,计算出该任意两个众包图像分别对应图像向量之间的距离;
针对对应不同众包源的任意两个众包图像,判断所述距离是否小于或等于预设阈值;
针对对应不同众包源的任意两个众包图像,若判断出所述距离小于或等于预设阈值,则确定出该任意两个众包图像为相似的众包图像。
16.根据权利要求10所述的地图构建***,其中,所述相似帧检测模块具体用于:
针对每个众包图像,获取每个众包图像对应的图像向量;
根据各众包图像对应的图像向量和预设聚类算法,确定出任意两个众包源的众包图像数据之间的至少一组相似的众包图像。
17.根据权利要求10所述的地图构建***,其中,每组相似的众包图像包括两个众包图像,所述位姿计算模块具体用于:
针对每组相似的众包图像,提取该组相似的众包图像中每个众包图像对应的特征点;
针对每组相似的众包图像,将该组相似的众包图像中的一个众包图像对应的特征点与该组相似的众包图像中的另一个众包图像对应的特征点进行匹配,得到该组相似的众包图像的特征点匹配对;
针对每组相似的众包图像,根据该组相似的众包图像的特征点匹配对,计算出该组相似的众包图像之间的相对位姿。
18.根据权利要求10所述的地图构建***,其中,所述地图生成模块具体用于:
以每组相似的众包图像之间的相对位姿和每个众包源的众包图像数据对应的局部地图作为优化变量,以最小化重投影误差为目标函数进行迭代优化,生成点云地图。
19.一种服务器,包括:
一个或多个处理器;
存储装置,其上存储有一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器实现如权利要求1-9中任一所述的地图构建方法。
20.一种计算机可读介质,其上存储有计算机程序,其中,所述程序被执行时实现如权利要求1-9中任一所述的地图构建方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910334825.XA CN110060343B (zh) | 2019-04-24 | 2019-04-24 | 地图构建方法及***、服务器、计算机可读介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910334825.XA CN110060343B (zh) | 2019-04-24 | 2019-04-24 | 地图构建方法及***、服务器、计算机可读介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110060343A CN110060343A (zh) | 2019-07-26 |
CN110060343B true CN110060343B (zh) | 2023-06-20 |
Family
ID=67320552
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910334825.XA Active CN110060343B (zh) | 2019-04-24 | 2019-04-24 | 地图构建方法及***、服务器、计算机可读介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110060343B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114036253B (zh) * | 2021-11-29 | 2023-09-22 | 北京百度网讯科技有限公司 | 高精地图数据处理方法、装置、电子设备和介质 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018019272A1 (zh) * | 2016-07-29 | 2018-02-01 | 成都理想境界科技有限公司 | 基于平面检测实现增强现实的方法及装置 |
CN107958451A (zh) * | 2017-12-27 | 2018-04-24 | 深圳普思英察科技有限公司 | 视觉高精度地图制作方法和装置 |
US10042038B1 (en) * | 2015-09-01 | 2018-08-07 | Digimarc Corporation | Mobile devices and methods employing acoustic vector sensors |
CN108416044A (zh) * | 2018-03-15 | 2018-08-17 | 斑马网络技术有限公司 | 场景缩略图的生成方法、装置、电子设备及存储介质 |
CN108413975A (zh) * | 2018-03-15 | 2018-08-17 | 斑马网络技术有限公司 | 地图获取方法、***、云处理器及车辆 |
CN109059941A (zh) * | 2018-07-06 | 2018-12-21 | 禾多科技(北京)有限公司 | 特征地图构建方法、视觉定位方法及对应装置 |
CN109461208A (zh) * | 2018-11-15 | 2019-03-12 | 网易(杭州)网络有限公司 | 三维地图处理方法、装置、介质和计算设备 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018061010A1 (en) * | 2016-09-28 | 2018-04-05 | Pixtier Maps Ltd. | Point cloud transforming in large-scale urban modelling |
CN107144285B (zh) * | 2017-05-08 | 2020-06-26 | 深圳地平线机器人科技有限公司 | 位姿信息确定方法、装置和可移动设备 |
CN108428254A (zh) * | 2018-03-15 | 2018-08-21 | 斑马网络技术有限公司 | 三维地图的构建方法及装置 |
CN108449709B (zh) * | 2018-03-16 | 2019-06-18 | 华中科技大学 | 一种基于众包样本的室内无线电地图构建方法 |
CN108648240B (zh) * | 2018-05-11 | 2022-09-23 | 东南大学 | 基于点云特征地图配准的无重叠视场相机姿态标定方法 |
CN109064506B (zh) * | 2018-07-04 | 2020-03-13 | 百度在线网络技术(北京)有限公司 | 高精度地图生成方法、装置及存储介质 |
CN109141446B (zh) * | 2018-07-04 | 2021-11-12 | 阿波罗智能技术(北京)有限公司 | 用于获得地图的方法、装置、设备和计算机可读存储介质 |
CN109579856A (zh) * | 2018-10-31 | 2019-04-05 | 百度在线网络技术(北京)有限公司 | 高精度地图生成方法、装置、设备及计算机可读存储介质 |
CN109523499A (zh) * | 2018-11-16 | 2019-03-26 | 济南浪潮高新科技投资发展有限公司 | 一种基于众包的多源融合全景建模方法 |
-
2019
- 2019-04-24 CN CN201910334825.XA patent/CN110060343B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10042038B1 (en) * | 2015-09-01 | 2018-08-07 | Digimarc Corporation | Mobile devices and methods employing acoustic vector sensors |
WO2018019272A1 (zh) * | 2016-07-29 | 2018-02-01 | 成都理想境界科技有限公司 | 基于平面检测实现增强现实的方法及装置 |
CN107958451A (zh) * | 2017-12-27 | 2018-04-24 | 深圳普思英察科技有限公司 | 视觉高精度地图制作方法和装置 |
CN108416044A (zh) * | 2018-03-15 | 2018-08-17 | 斑马网络技术有限公司 | 场景缩略图的生成方法、装置、电子设备及存储介质 |
CN108413975A (zh) * | 2018-03-15 | 2018-08-17 | 斑马网络技术有限公司 | 地图获取方法、***、云处理器及车辆 |
CN109059941A (zh) * | 2018-07-06 | 2018-12-21 | 禾多科技(北京)有限公司 | 特征地图构建方法、视觉定位方法及对应装置 |
CN109461208A (zh) * | 2018-11-15 | 2019-03-12 | 网易(杭州)网络有限公司 | 三维地图处理方法、装置、介质和计算设备 |
Non-Patent Citations (1)
Title |
---|
基于Kinect传感器的三维点云地图构建与优化;张毅;陈起;罗元;;半导体光电;第37卷(第05期);754-757+762 * |
Also Published As
Publication number | Publication date |
---|---|
CN110060343A (zh) | 2019-07-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108717710B (zh) | 室内环境下的定位方法、装置及*** | |
Chen et al. | Crowd map: Accurate reconstruction of indoor floor plans from crowdsourced sensor-rich videos | |
KR101532864B1 (ko) | 모바일 디바이스들에 대한 평면 맵핑 및 트래킹 | |
CN110705574B (zh) | 定位方法及装置、设备、存储介质 | |
US20180315221A1 (en) | Real-time camera position estimation with drift mitigation in incremental structure from motion | |
US10311595B2 (en) | Image processing device and its control method, imaging apparatus, and storage medium | |
US20180315232A1 (en) | Real-time incremental 3d reconstruction of sensor data | |
US20180315222A1 (en) | Real-time image undistortion for incremental 3d reconstruction | |
US9558424B2 (en) | On-road stereo visual odometry without explicit pose determinations | |
CN110738143A (zh) | 定位方法及装置、设备、存储介质 | |
CN111291768B (zh) | 图像特征匹配方法及装置、设备、存储介质 | |
WO2014022036A1 (en) | Fast 3-d point cloud generation on mobile devices | |
CN109063549B (zh) | 基于深度神经网络的高分辨率航拍视频运动目标检测方法 | |
US10096123B2 (en) | Method and device for establishing correspondence between objects in a multi-image source environment | |
CN112200851B (zh) | 一种基于点云的目标检测方法、装置及其电子设备 | |
CN110930453A (zh) | 目标物体定位方法、装置及可读存储介质 | |
CN112449152A (zh) | 多路视频同步的方法、***及设备 | |
CN113052880A (zh) | 一种sfm稀疏重建方法、***及应用 | |
WO2023015938A1 (zh) | 三维点检测的方法、装置、电子设备及存储介质 | |
CN111311651A (zh) | 点云配准方法和装置 | |
CN110060343B (zh) | 地图构建方法及***、服务器、计算机可读介质 | |
CN112270748B (zh) | 基于图像的三维重建方法及装置 | |
CN112258647B (zh) | 地图重建方法及装置、计算机可读介质和电子设备 | |
CN110647609B (zh) | 视觉地图定位方法及*** | |
WO2023072269A1 (zh) | 对象跟踪 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
TA01 | Transfer of patent application right | ||
TA01 | Transfer of patent application right |
Effective date of registration: 20211012 Address after: 105 / F, building 1, No. 10, Shangdi 10th Street, Haidian District, Beijing 100085 Applicant after: Apollo Intelligent Technology (Beijing) Co.,Ltd. Address before: 100085 Baidu Building, 10 Shangdi Tenth Street, Haidian District, Beijing Applicant before: BAIDU ONLINE NETWORK TECHNOLOGY (BEIJING) Co.,Ltd. |
|
GR01 | Patent grant | ||
GR01 | Patent grant |