CN112424568A - 构建高清地图的***和方法 - Google Patents
构建高清地图的***和方法 Download PDFInfo
- Publication number
- CN112424568A CN112424568A CN201880095637.XA CN201880095637A CN112424568A CN 112424568 A CN112424568 A CN 112424568A CN 201880095637 A CN201880095637 A CN 201880095637A CN 112424568 A CN112424568 A CN 112424568A
- Authority
- CN
- China
- Prior art keywords
- landmark
- data
- vehicle
- processor
- parameters
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 65
- 238000004891 communication Methods 0.000 claims abstract description 20
- 238000004590 computer program Methods 0.000 claims description 2
- 239000000463 material Substances 0.000 claims description 2
- 230000000875 corresponding effect Effects 0.000 description 12
- 238000000605 extraction Methods 0.000 description 12
- 238000005457 optimization Methods 0.000 description 12
- 239000003550 marker Substances 0.000 description 10
- 239000000523 sample Substances 0.000 description 8
- 238000010276 construction Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000001413 cellular effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000000513 principal component analysis Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 239000000853 adhesive Substances 0.000 description 1
- 230000001070 adhesive effect Effects 0.000 description 1
- 230000004931 aggregating effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000002485 combustion reaction Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012847 principal component analysis method Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
- G01C21/3804—Creation or updating of map data
- G01C21/3859—Differential updating map data
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
- G01C21/3804—Creation or updating of map data
- G01C21/3833—Creation or updating of map data characterised by the source of data
- G01C21/3848—Data obtained from both position sensors and additional sensors
Landscapes
- Engineering & Computer Science (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Automation & Control Theory (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Navigation (AREA)
- Traffic Control Systems (AREA)
Abstract
更新高清地图的***和方法。所述***包括通信接口(202),被配置用于通过网络接收装配在车辆(100)上的至少一个传感器(140/150)在车辆(100)沿着轨迹行进时获取的目标区域的传感器(140/150)数据(203)。所述***还包括存储器,被配置用于存储高清地图。所述***还包括至少一个处理器(204)。至少一个处理器(204)被配置用于识别与地标相关联的至少两个数据帧,每个数据帧对应车辆(100)在轨迹中位姿。至少一个处理器(204)还被配置用于在每个被识别的数据帧中确定地标参数组。至少一个处理器(204)还被配置用于将所述参数组与对应每个数据帧的车辆(100)的位姿相关联。至少一个处理器(204)还被配置用于基于参数组和被关联的位姿构建高清地图。
Description
技术领域
本申请涉及用于构建高清(HD)地图的***和方法,更具体地,涉及用于基于整合从不同位姿获取的相同地标的点云数据构建高清地图的***和方法。
背景技术
自动驾驶技术在很大程度上依赖于精确的地图。例如,导航地图的准确性对于自动驾驶车辆的功能是至关重要的,诸如定位、环境识别、决策和控制。高清地图可以通过聚合各种传感器、探测器和装备在车辆上的其他设备获取的图像和信息来获取。例如,车辆可以配备多个集成传感器,诸如LiDAR、全球定位***(GPS)接收器、一个或以上惯性测量单元(IMU)传感器以及一个或以上相机,以捕捉车辆行驶的道路或周围物体的特征。捕获的数据可以包括,例如,车道的中心线或扩展边线坐标、物体的坐标和图像,诸如建筑物、其他车辆、地标、行人或交通标志。由集成传感器获取的点云数据可能受到来自传感器自身的误差(例如,激光测距误差、GPS定位误差、IMU姿态测量误差等)的影响。例如,当GPS信号较弱时,位姿信息的误差显着增加。
已经开发了一些解决方案来提高点云数据采集的准确性。例如,基于卡尔曼滤波的一种解决方案集成了LiDAR单元和导航单元(例如,GPS/IMU单元)以估计车辆的位姿。另一种解决方案是通过一组约束(诸如点云匹配)迭代地优化位姿信息,诸如使用高斯-牛顿方法。虽然这些解决方案可以在一定程度上减轻准确的误差,但是它们不够稳健并仍然容易受到图像坐标中的噪声的影响。因此,需要一种基于优化技术更新高清地图的改进***和方法。
本申请的实施例通过用于通过整合从不同位姿获取的相同地标的点云数据构建高清地图的方法和***来解决上述问题。
发明内容
本申请的实施例提供了一种构建高清地图的方法。所述方法可以包括通过通信接口,接收由装配在车辆上的至少一个传感器当车辆沿着轨迹行进时,获取的目标区域的传感器数据。所述方法可以进一步包括通过至少一个处理器,识别与地标相关联的至少两个数据帧,每个数据帧对应于车辆在轨迹中的位姿。所述方法可以进一步包括通过至少一个处理器,在每个被识别的数据帧内确定地标的参数组,并且将所述参数组与对应于每个数据帧的车辆的位姿相关联。所述方法还可以包括通过至少一个处理器,基于所述参数组和被关联的位姿构建高清地图。
本申请的实施例还提供了一种用于构建高清地图的***。所述***可以包括通信接口,被配置用于通过网络接收由装配在车辆上的至少一个传感器当车辆沿着轨迹行进时,获取的目标区域的传感器数据。所述***可以进一步包括存储器,被配置用于存储高清地图。所述***还可以包括至少一个处理器。所述至少一个处理器可以被配置用于识别与地标相关联的至少两个数据帧,每个数据帧对应于车辆在轨迹中的位姿。至少一个处理器可以进一步被配置用于在每个被识别的数据帧内确定地标的参数组,并且将所述参数组与对应于每个数据帧的车辆的位姿相关联。至少一个处理器也可以被配置用于基于所述参数组和被关联的位姿构建高清地图。
本申请的实施例还提供了一种存储有指令的非暂时性计算机可读介质,当由一个或以上处理器执行时,使得一个或以上处理器执行用于更新高清地图的方法。所述方法可以包括接收由装配在车辆上的至少一个传感器当车辆沿着轨迹行进时获取的目标区域的传感器数据。所述方法可以进一步包括识别与地标相关联的至少两个数据帧,每个数据帧对应于车辆在轨迹中的位姿。所述方法可以进一步包括在每个被识别的数据帧内确定地标的参数组,并且将所述参数组与对应于每个数据帧的车辆的位姿相关联。所述方法还可以包括由至少一个处理器,基于所述参数组和被关联的位姿,构建高清地图。
应当理解,前面的一般性描述和下面的详细描述都只是示例性和说明性的,并不是对要求保护的本发明的限制。
附图说明
图1是根据本申请的实施例所示的配备有传感器的示例性车辆的示意图。
图2是根据本申请的实施例所示的用于构建高清地图的***的示例性框图。
图3是根据本申请的实施例所示的用于优化地标的参数组和车辆的位姿的示例性方法。
图4是根据本申请的实施例所示的用于构建高清地图的示例性方法的流程图。
图5是根据本申请的实施例所示的在使用RANSAC算法之前和之后的示例性点云帧。
具体实施方式
现在将参考在附图中示出的示例在实施例中详细描述。只要有可能,在整个附图中将使用相同的附图标记来表示相同或相似的部分。
图1是根据本申请的实施例所示的具有至少两个传感器140和150的示例性车辆100的示意图。与一些实施例一致,车辆100可以是调查车辆,被配置用于获取用于构建高清地图或三维(3D)城市建模的数据。可以设想车辆100可以是电动车辆、燃料电池车辆、混合动力车辆或传统的内燃机车辆。车辆100可以具有车身110和至少一个车轮120。车身110可以是任何车身类型,诸如运动车辆、轿跑车、轿车、皮卡车、旅行车、运动型多功能车(SUV)、小型货车或改装旅行车。在一些实施例中,车辆100可以如图1所示包括一对前轮和一对后轮。然而,可以设想车辆100可以具有较少的车轮或等效结构,使车辆100能够四处移动。车辆100可以被配置用于全轮驱动(AWD)、前轮驱动(FWR)或后轮驱动(RWD)。在一些实施例中,车辆100可以被配置用于由占用车辆操作员远程控制和/或自主的操作。
如图1所示,车辆100可以配备有各种传感器140和150。传感器140可以通过安装结构130安装到车身110上。安装结构130可以是安装或以其他方式附接到车辆100的车身110的机电设备。在一些实施例中,安装结构130可以使用螺钉、粘合剂或其他安装机构。车辆100可以使用任何合适的安装机制在车身110内部或外部另外配备传感器150。可以设想,传感器140或150可以装配在车辆100上的方式不受图1所示的示例的限制,并且可以根据传感器140/150和/或车辆100的类型进行修改,以实现期望的感测性能。
与一些实施例一致,当车辆100沿轨迹行进时,传感器140和150可以被配置用于捕获数据。例如,传感器140可以是配置用于扫描周围并获取点云的LiDAR扫描仪。通过用脉冲激光照射目标并用传感器测量反射脉冲,LiDAR测量到目标的距离。然后可以使用激光返回时间和波长的差异构建目标的数字3D表示。用于LiDAR扫描的光可以是紫外线、可见光或近红外线。由于窄的激光束可以以非常高的分辨率绘制物理特征,因此LiDAR扫描仪特别适用于高清地图测量。在一些实施例中,LiDAR扫描仪可以捕获点云。
当车辆100沿轨迹行进时,传感器140可以连续地捕获数据。在特定时间范围内捕获的每组场景数据被称为数据帧。例如,由LiDAR捕获的点云数据可以包括对应于不同时间范围的多个点云数据帧。每个数据帧还对应于车辆沿着轨迹的位姿。在一些实施例中,场景可以包括地标,因此捕获的场景的多个数据帧可以包括与地标相关联的数据。由于数据帧是在不同的车辆位姿下捕获的,因此每个帧中的数据包含从不同角度和距离观察到的地标特征。然而,这些特征可以在不同的数据帧之间匹配和关联,以便于构建高清地图。
如图1所示,车辆100可以另外配备有传感器150,其可以包括导航单元中使用的传感器,诸如GPS接收器和一个或以上IMU传感器。GPS是一种全球导航卫星***,为GPS接收器提供地理定位和时间信息。IMU是一种电子设备,使用各种惯性传感器(诸如加速度计和陀螺仪,有时还有磁力计)测量并提供车辆的特定力、角速率,有时还包括车辆周围的磁场。通过组合GPS接收器和IMU传感器,传感器150可以在车辆100行进时提供车辆100的实时位姿信息,包括车辆100在每个时间点的位置和方向(例如,欧拉角)。
在一些实施例中,由传感器140的LiDAR单元获取的点云数据可以最初在LiDAR单元的局部坐标系中,并且可能需要被转换为全局坐标系(例如,经度/纬度坐标)以供稍后处理。由导航单元的传感器150收集的车辆100的实时位姿信息可以用于通过点云数据配准将点云数据从局部坐标系变换为全局坐标系,例如,基于车辆100在获取每个点云数据帧时的位姿。为了将点云数据与匹配的实时位姿信息一起配准,传感器140和150可以集成为集成传感***,使得当收集数据时,可以通过与位姿信息的配准来对准点云数据。可以相对于校准目标校准集成传感***以减少积分误差,包括但不限于传感器140和150的安装角度误差和安装矢量误差。
与本申请一致,传感器140和150可以与服务器160通信。在一些实施例中,服务器160可以是本地物理服务器、云服务器(如图1所示)、虚拟服务器、分布式服务器或任何其他合适的计算设备。与本申请一致,服务器160可以构建高清地图。在一些实施例中,高清地图可以使用由LiDAR获取的点云数据构建。通过用脉冲激光照射目标并用传感器测量反射脉冲,LiDAR测量到目标的距离。然后可以使用激光返回时间和波长的差异构建目标的数字3D表示。用于LiDAR扫描的光可以是紫外线、可见光或近红外线。由于窄的激光束可以以非常高的分辨率绘制物理特征,因此LiDAR特别适用于高清地图调查。
与本申请一致,服务器160可以基于包含从不同车辆位姿获取的一个或以上地标的多个数据帧的点云数据构建高清地图。服务器160可以接收点云数据,识别点云数据的多个帧内的地标,将参数组与地标相关联并且基于参数组构建高清地图。服务器160可以经由网络与传感器140、150和/或车辆100的其他组件通信,例如无线局部区域网络(WLAN)、广域网(WAN)、诸如无线电波的无线网络、蜂窝网络、卫星通信网络和/或本地或短程无线网络(例如,BluetoothTM)。
例如,图2是根据本申请的实施例所示的用于构建高清地图的示例***器160的框图。与本申请一致,服务器160可以从传感器140接收传感器数据203并从传感器150接收车辆位姿信息205。基于传感器数据203,服务器160可以识别与地标相关联的数据帧,确定数据帧内的参数组,在获取相应的数据帧时将它们与车辆的位姿相关联,并且基于所述参数组构建高清地图。
在一些实施例中,如图2所示,服务器160可以包括通信接口202、处理器204、内存206和存储器208。在一些实施例中,服务器160可以在单个设备中具有不同的模块,诸如集成电路(IC)芯片(实现为专用集成电路(ASIC)或现场可编程门阵列(FPGA)),或具有专用功能的单独设备。在一些实施例中,服务器160的一个或以上组件可以位于云盘中,或者可以替代地位于单个位置(诸如车辆100内或移动设备内)或分布式位置。服务器160的组件可以在集成设备中,或分布在不同位置,但是通过网络(未示出)彼此通信。
通信接口202可以通过通信电缆、无线局部区域网络(WLAN)、广域网(WAN)、诸如无线电波的无线网络、蜂窝网络和/或本地或短程无线网络(例如,蓝牙TM)或其他通信方法向组件(例如传感器140和150)发送数据和从组件接收数据。在一些实施例中,通信接口202可以是综合业务数字网(ISDN)卡、电缆调制解调器、卫星调制解调器或调制解调器,以提供数据通信连接。又例如,通信接口202可以是局部区域网络(LAN)卡,以提供与兼容LAN的数据通信连接。无线链路也可以通过通信接口202实现。在这种实现中,通信接口202可以经由网络发送和接收携带表示各种类型信息的数字数据流的电信号、电磁信号或光信号。
与一些实施例一致,通信接口202可以接收传感器数据203,例如由传感器140捕获的点云数据,以及由传感器150捕获的位姿信息205。通信接口还可以将所接收的数据提供给存储器208以便存储或提供给处理器204以进行处理。通信接口202还可以接收由处理器204生成的点云,并通过网络将点云提供给车辆100中的任何本地组件或任何远程设备。
处理器204可以包括任何适当类型的通用或专用微处理器、数字信号处理器或微控制器。处理器204可以被配置作为专用于构建高清地图的单独处理器模块。或者,处理器204可以被配置作为共享处理器模块,用于执行与颜色点云生成无关的其他功能。
如图2所示,处理器204可以包括多个模块,诸如地标特征提取单元210、地标特征匹配单元212、地标参数确定单元214和高清地图构建单元216等。这些模块(以及任何相应的子模块或子单元)可以是处理器204的硬件单元(例如,集成电路的部分),其被设计为与由处理器204通过执行程序的至少一部分而实现的其他组件或软件单元一起使用。程序可以存储在计算机可读介质上,并且当由处理器204执行时,它可以执行一个或以上的功能。尽管图2示出了在一个处理器204内的所有单元210-216,但是可以预期这些单元可以分布在彼此靠近或远离的多个处理器之间。例如,与地标特征提取相关的模块,诸如地标特征提取单元210、地标特征匹配单元212、地标参数确定单元214等可以在车辆100上的处理器内。与构建高清地图相关的模块,诸如高清地图构建单元216可以在远程服务器上的处理器内。
地标特征提取单元210可以被配置用于从传感器数据203中提取地标特征。在一些实施例中,地标特征可以是地标的几何特征。可以使用不同的方法基于地标的类型提取地标特征。例如,地标可以是道路标记(例如,行车道或行人标记)或站立物体(例如,树木或路面板)。
处理器204可以确定地标的类型。在一些实施例中,如果地标被确定为道路标记,则地标特征提取单元210可以基于地标的点云强度识别地标。例如,地标特征提取单元210可以使用随机样本共识(RANSAC)方法来分割与车辆行驶的路面相关联的点云数据。因为道路标记通常使用对应于高强度点云的特殊标记材料制作,所以地标特征提取单元210可以基于强度提取道路标记的特征。例如,地标特征提取单元210可以使用区域生长或聚类方法。在一些其他实施例中,如果地标被确定为站立对象,则地标特征提取单元210可以基于主成分分析方法提取地标特征。例如,地标特征提取单元210,可以使用主成分分析(PCA)方法来识别地标的相邻区域,从而可以识别地标的几何特征,并且地标特征提取单元210可以使用几何特征的组合来确定地标特征。
地标特征匹配单元212可以被配置用于将传感器数据203分成子集。例如,地标特征匹配单元212可以基于捕获传感器数据的时间点将传感器数据203划分为数据帧。数据帧包含与沿着轨迹在不同车辆位姿处捕获的相同地标相关联的点云数据。地标特征匹配单元212可以进一步被配置用于匹配子集中的地标特征,并且识别与地标相关联的数据帧。
在一些实施例中,可以使用基于与相同地标相关联的已知样本地标特征训练的学习模型匹配地标特征。例如,地标特征匹配单元212可以使用地标特征诸如地标的类型、集合属性和/或几何特征作为样本地标特征,并且将特征与相关联的车辆位姿组合以识别不同子集内的地标。然后,地标特征匹配单元212可以基于与同一地标相关联的样本地标特征训练学习模型(例如,基于规则的机器学习方法)。然后训练好的模型可以应用于找到匹配的地标特征。
地标参数确定单元214可以被配置用于基于匹配的地标特征确定地标的一组参数。在一些实施例中,基于地标的类型可以确定地标的参数组。例如,如果地标是线段类型对象(例如,路灯灯杆),它可以用4或6个自由度表示,其包括线方向(2个自由度)、切线位置(2个自由度)和端点(0或2个自由度)。又例如,如果地标是对称型对象(例如,树木或路牌广告),它可以用5个自由度表示,其包括法向量(2个自由度)和地标的空间位置(3个自由度)。对于不是上述两种类型的物体的地标,它们可以用6个自由度表示,其包括欧拉角(3个自由度)和地标的空间位置(3个自由度)。
高清地图构建单元216可以被配置用于基于一组参数构建高清地图。在一些实施例中,可以使用优化方法构建高清地图。由地标特征匹配单元212得到的匹配的地标特征和由地标参数确定单元214确定的参数组提供了可以在高清地图构建的优化期间使用的附加约束。在一些实施例中,可以添加束调整作为优化的辅助成分,以提高地图构建的鲁棒性。例如,除了传统的地图优化方法(例如,添加约束)之外,可以应用束调整方法。扩展的传统地图优化方法(例如,添加了束调整约束)在优化车辆位姿信息和地标的参数组方面更加稳健,因此可以提高高清地图构建的准确性(例如,当GPS定位精度处于分米级时,高清地图仍然可以以厘米级精度构建)。
在一些实施例中,处理器204可以另外包括传感器校准单元(未示出),被配置用于确定与传感器140或150相关联的一个或以上校准参数。在一些实施例中,传感器校准单元可以替代地在车辆100内、在移动设备中或其他方式远离处理器204的位置。例如,传感器校准可以用于校准LiDAR扫描仪和定位传感器。
内存206和存储器208可以包括任何适当类型的大容量存储器,其被提供以存储处理器204可能需要操作的任何类型的信息。内存206和存储器208可以是易失性或非易失性、磁性、半导体、磁带、光学、可移动、不可移动或其他类型的存储设备或有形(即,非暂时性)计算机可读介质,包括但不限于ROM、闪存、动态RAM和静态RAM。内存206和/或存储器208可以被配置用于存储一个或以上计算机程序,其可以由处理器204执行以执行本文披露的颜色点云生成功能。例如,内存206和/或存储器208可以被配置用于存储程序,其可以由处理器204执行以基于由传感器140和150捕获的传感器数据构建高清地图。
内存206和/或存储器208可以进一步被配置用于存储处理器204使用的信息和数据。例如,内存206和/或存储器208可以被配置用于存储由传感器140、150以及高清地图捕获的各种类型的传感器数据(例如,点云数据帧、位姿信息等)。内存206和/或存储器208还可以存储中间数据,诸如机器学习模型、地标特征和与地标相关联的一组参数等。各种类型的数据可以永久存储、周期性地移除或者在处理每个数据帧之后立即被忽略。
图3是根据本申请的实施例所示的在获取地标的数据帧时优化地标的一组参数和车辆的位姿的示例性方法。如图3所示,Pi表示在获取传感器数据Fi和Vi的时间点i处的车辆100的位姿信息。在一些实施例中,Pi可以包括[SiTiRi],其代表在获取传感器数据Fi和Vi时的车辆位姿。例如,[SiTiRi]可以是表示车辆100在全局坐标中的位姿的参数。传感器数据Fi是观察到的地标的一组参数(例如,线段方向的线方向、切线位置和端点),并且传感器数据Vi是车辆位姿信息Pi与观察到的一组参数Fi之间的差。例如,P1是在获取传感器数据F1和V1的时间点的车辆100的位姿信息,F1是观察到的地标的一组参数。V1是从P1到F1的向量。
在一些实施例中,{F1,F2,…,Fn}和{V1,V2,…,Vn}可以基于传感器数据被收集的时间点被划分为传感器数据的子集(例如,{F1,F2,…,Fn}可以分为{F1,F2,…,Fk}和{Fk+1,Fk+2,…,Fn};{V1,V2,…,Vn}可以分为{V1,V2,…,Vk}和{Vk+1,Vk+2,…,Vn})。[CC Tc Rc]表示全局坐标中地标的一组参数(例如,如果地标是线段类型对象,则CC、Tc、Rc可分别代表地标的线方向、切线位置和端点)。di表示观测误差,其等于由传感器140和150获取的传感器数据Fi与全局坐标中的地标[CC Tc Rc]的所述参数组之间的差。
在一些实施例中,所披露的方法包括首先,从传感器数据{F1,F2,…,Fi}和{V1,V2,…,Vi}中提取地标特征。所述方法然后包括将传感器数据分成子集。例如,传感器数据{F1,F2,…,Fi}和{V1,V2,…,Vi}可以被分成子集{F1,F2,…,Fm}、{Fm+1,Fm+2,…,Fi}和{V1,V2,…,Vm}、{Vm+1,Vm+2,…,Vi}。所述方法还可以包括匹配子集中的地标特征并识别与地标相关联的至少两个数据帧。所述方法然后包括在每个识别的数据帧内确定地标的一组参数,并且将所述参数组与对应于每个数据帧Pi的车辆的位姿相关联。最后,同时优化位姿和所述参数组。例如,可以使用优化方法来找到最优{Ti,Ri,Pi}以最小化观测误差的总和。
图4示出了根据本申请的实施例的用于构建高清地图的示例性方法的流程图。在一些实施例中,方法400可以由高清地图构建***实现,该***包括服务器160和传感器140和150等。然而,方法400不限于该示例性实施例。方法400可以包括如下所述的步骤S402-S416。应当理解,一些步骤可以是可选的,以执行本文提供的本申请。此外,一些步骤可以同时执行,或者以与图4中所示不同的顺序执行。
在步骤S402,可以校准一个或以上的传感器140和150。在一些实施例中,可以派遣车辆100进行校准行程以收集用于校准传感器参数的数据。在进行实际调查以构建和/或更新地图之前,可以进行校准。由LiDAR(作为传感器140的示例)捕获的点云数据和由诸如GPS接收器和一个或以上IMU传感器的定位设备获取的位姿信息可以被校准。
在步骤S404,当车辆100沿轨迹行进时,传感器140可以捕获传感器数据203和位姿信息205。在一些实施例中,目标区域的传感器数据203可以是点云数据。车辆100可以配备有传感器140,例如LiDAR激光扫描仪。当车辆100沿轨迹行进时,传感器140可以以点云数据帧的形式在不同时间点连续捕获传感器数据203的帧。车辆100还可以配备有传感器150,诸如GPS接收器和一个或以上IMU传感器。传感器140和150可以形成集成传感***。在一些实施例中,当车辆100沿自然场景中的轨迹行进并当传感器140捕获代表目标区域的点云数据集时,传感器150可以捕获车辆100的实时位姿信息。
在一些实施例中,捕获的数据(包括例如,传感器数据203和位姿信息205)可以实时地从传感器140/150发送到服务器160。例如,数据可以在可得到时进行流式传输。数据的实时传输使服务器160能够在捕获后续帧的同时实时地处理数据帧。或者,可以在完成一部分或整个勘测之后批量传输数据。
在步骤S406,处理器204可以从传感器数据中提取地标特征。在一些实施例中,可以基于地标的类型提取地标。例如,处理器204可以确定地标是道路标记(例如,交通车道)还是站立对象(例如,树木或路牌广告)。在一些实施例中,如果地标被确定为道路标记,则处理器204可以基于地标的点云强度识别地标。例如,地标特征提取单元210可以使用RANASC算法对传感器数据进行分段。基于所述段,处理器204可以进一步基于地标的点云强度识别地标。
例如,图5是根据本申请的实施例所示的分别在地标的点云强度识别之前和之后的相同对象(例如,道路标记)的示例性点云510和520。道路标记的点云510是在点云强度识别之前由传感器140和150收集的数据。相反,相同道路标记的点云520是在点云强度识别之后重新生成的数据(例如,使用RANSAC算法来对传感器数据进行分段)。例如,传感器140和150收集的传感器数据以RANSAC方法被过滤以减少噪点之后,地标(道路标记)在点云520中比点云510中所示的相同地标(道路标记)更加可区分。
在一些其他实施例中,如果地标被确定为站立对象,则处理器204可以基于主成分分析方法识别地标。例如,处理器204可以使用正交变换来将一组可能相关变量的观测值(例如,地标的附近区域的点云数据)转换为一组地标的线性不相关变量值。
在步骤S408,处理器204可以将传感器数据划分为子集。例如,处理器204可以基于捕获传感器数据的时间点将传感器数据203划分为数据帧。数据帧包含与沿着轨迹在不同车辆位姿处捕获的相同地标相关联的点云数据。处理器204可以进一步被配置用于匹配子集中的地标特征,并且识别与地标相关联的数据帧。
在一些实施例中,可以使用基于与相同地标相关联的已知样本地标特征训练的学习模型匹配地标特征。例如,处理器204可以使用诸如类型、集合属性和/或几何特征的地标特征作为样本地标特征,并且将特征与相关联的车辆位姿组合以识别不同子集内的地标。然后,处理器204可以基于匹配的地标的样本地标特征训练学习模型(例如,使用基于规则的机器学习方法)。训练的模型可以应用于匹配与同一地标相关联的地标特征。
基于匹配结果,在步骤S410,处理器204可以识别与地标相关联的至少两个数据帧。例如,如果不同子集中的至少两个数据帧的匹配结果高于对应于足够匹配水平的预定阈值水平,则处理器204可以将至少两个数据帧与地标相关联。
在步骤S412,处理器204可以确定与地标相关联的一组参数。在一些实施例中,地标的一组参数可以基于地标的类型确定。
例如,如果地标是线段类型物体(例如,路灯灯杆),它可以用4或6个自由度表示,其包括线方向(2个自由度)、切线位置(2个自由度)和端点(0或2个自由度)。又例如,如果地标是对称型物体(例如树木或路牌广告),它可以用5个自由度表示,其包括法向量(2个自由度)和地标的空间位置(3个自由度)。对于不是上述两种类型的物体的地标,它们可以用6个自由度表示,其包括欧拉角(3个自由度)和地标的空间位置(3个自由度)。
在步骤S414,处理器204可以将所述参数组与对应于每个数据帧的车辆的位姿相关联。例如,每组参数可以在获取数据帧的时间点与车辆100的位姿信息205相关联。
在步骤S416,处理器204可以基于所述参数组和相关联的位姿信息构建高清地图。在一些实施例中,可以使用优化方法构建高清地图。在步骤S410中获取的匹配的地标特征和在步骤S412中确定的所述参数组可以提供在高清地图构建的优化期间使用的附加约束。在一些实施例中,可以添加束调整作为优化的辅助成分,以提高地图构建的鲁棒性。例如,除了传统的地图优化方法(例如,添加约束)之外,还可以应用束调整方法。扩展的传统地图优化方法(例如,添加了束调整约束)在优化地标的车辆位姿和所述参数组方面更加稳健,因此可以提高高清地图构建的准确性。
本申请的另一方面涉及一种存储指令的非暂时性计算机可读介质,所述指令在被执行时使得一个或以上处理器执行如上所述的方法。所述计算机可读介质包括易失性或非易失性、磁性、半导体、磁带、光学、可移动、不可移动或其他类型的计算机可读介质或计算机可读存储设备。例如,如本申请的计算机可读介质可以是存储设备或其上存储有计算机指令的存储模块。在一些实施例中,计算机可读介质可以是其上存储有计算机指令的盘或闪存驱动器。
显而易见,本领域普通技术人员可以对本申请的***和相关方法进行各种修改和变化。考虑到本申请的***和相关方法的说明书和实践,其他实施例对于本领域普通技术人员是显而易见的。
本申请中的说明书和示例的目的仅被认为是示例性的,真正的范围由权利要求及其等同物限定。
Claims (20)
1.一种构建高清地图的方法,包括:
通过通信接口接收由装配在车辆上的至少一个传感器在车辆沿着轨迹行进时获取的目标区域的传感器数据;
通过至少一个处理器识别与地标相关联的至少两个数据帧,每个所述数据帧对应于所述车辆在所述轨迹中的位姿;
通过所述至少一个处理器在每个被识别的数据帧中确定所述地标的参数组;
将所述参数组与对应于每个数据帧的所述车辆的所述位姿相关联;以及
通过所述至少一个处理器,基于所述参数组和被关联的位姿构建高清地图。
2.根据权利要求1所述的方法,其特征在于,识别与所述地标相关联的至少两个数据帧进一步包括:
从所述传感器数据提取地标特征;
将所述传感器数据划分为子集;以及
在所述子集中匹配所述地标特征,以识别与所述地标相关联的所述至少两个数据帧。
3.根据权利要求2所述的方法,其特征在于,提取所述地标特征进一步包括:
分割所述传感器数据;以及
基于分割的传感器数据识别所述地标。
4.根据权利要求3所述的方法,其特征在于,基于RANSAC算法分割所述传感器数据。
5.根据权利要求4所述的方法,其特征在于,所述识别所述地标进一步包括:基于强度带确定所述地标的材料特征。
6.根据权利要求3所述的方法,其特征在于,所述识别所述地标进一步包括基于PCA方法确定所述地标的几何特征。
7.根据权利要求1所述的方法,其特征在于,所述至少一个传感器包括LiDAR,以及所述传感器数据包括点云数据。
8.根据权利要求2所述的方法,其特征在于,在所述子集中匹配所述地标特征进一步包括计算两个所述子集之间所述地标特征的匹配等级。
9.根据权利要求1所述的方法,其特征在于,所述地标的所述参数组包括所述地标的方向、切线和端点。
10.根据权利要求1所述的方法,其特征在于,所述地标的所述参数组包括所述地标在所述目标区域内的欧拉角和空间位置。
11.根据权利要求1所述的方法,其特征在于,所述地标的所述参数组包括所述地标的法向量和空间位置。
12.根据权利要求1所述的方法,其特征在于,构建高清地图进一步包括同时优化所述位姿和所述参数组。
13.一种构建高清地图的***,包括:
通信接口,被配置用于通过网络接收由装配在车辆上的至少一个传感器在车辆沿着轨迹行进时获取的目标区域的传感器数据;
存储器,被配置用于存储高清地图;以及
至少一个处理器,被配置用于:
识别与地标相关联的至少两个数据帧,每个所述数据帧对应于所述车辆在所述轨迹中的位姿;
在每个被识别的数据帧中确定所述地标的参数组;
将所述参数组与对应于每个数据帧的所述车辆的所述位姿相关联;以及
基于所述参数组和被关联的位姿构建高清地图。
14.根据权利要求13所述的***,其特征在于,为了识别与地标相关联的至少两个数据帧,所述至少一个处理器进一步被配置用于:
从所述传感器数据提取地标特征;
将所述传感器数据划分为子集;以及
在所述子集中匹配所述地标特征,以识别与所述地标相关联的所述至少两个数据帧。
15.根据权利要求14所述的***,其特征在于,为了在所述子集中匹配所述地标特征,所述至少一个处理器进一步被配置用于计算两个所述子集之间的所述地标特征的匹配等级。
16.根据权利要求13所述的***,其特征在于,为了提取所述地标特征,所述至少一个处理器被进一步配置用于:
分割所述传感器数据;以及
基于分割的传感器数据识别所述地标。
17.根据权利要求15所述的***,其特征在于,所述至少一个处理器进一步被配置用于基于RANSAC算法分割所述传感器数据。
18.根据权利要求13所述的***,其特征在于,所述至少一个处理器进一步被配置用于基于PCA方法确定所述地标的几何特征。
19.根据权利要求13所述的***,其特征在于,所述至少一个处理器进一步被配置用于同时优化所述位姿和所述参数组。
20.一种存储有计算机程序的非暂时性计算机可读介质,其特征在于,当由至少一个处理器执行时,所述计算机程序用于执行构建高清地图的方法,所述方法包括:
接收由装配在车辆上的至少一个传感器在车辆沿着轨迹行进时获取的目标区域的传感器数据;
识别与地标相关联的至少两个数据帧,每个所述数据帧对应于所述车辆在所述轨迹中的位姿;
在每个被识别的数据帧中确定所述地标的参数组;
将所述参数组与对应于每个数据帧的所述车辆的所述位姿相关联;以及
基于所述参数组和被关联的位姿构建高清地图。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/CN2018/119199 WO2020113425A1 (en) | 2018-12-04 | 2018-12-04 | Systems and methods for constructing high-definition map |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112424568A true CN112424568A (zh) | 2021-02-26 |
Family
ID=70973697
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201880095637.XA Pending CN112424568A (zh) | 2018-12-04 | 2018-12-04 | 构建高清地图的***和方法 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN112424568A (zh) |
WO (1) | WO2020113425A1 (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112712561A (zh) * | 2021-01-05 | 2021-04-27 | 北京三快在线科技有限公司 | 一种建图方法、装置、存储介质及电子设备 |
US20240212204A1 (en) * | 2021-08-31 | 2024-06-27 | Intel Corporation | Hierarchical segment-based map optimization for localization and mapping system |
CN113984071B (zh) * | 2021-09-29 | 2023-10-13 | 云鲸智能(深圳)有限公司 | 地图匹配方法、装置、机器人和计算机可读存储介质 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103782247A (zh) * | 2011-09-07 | 2014-05-07 | 克朗设备有限公司 | 用于使用预先安置的物体定位工业车辆的方法和装置 |
CN104833370A (zh) * | 2014-02-08 | 2015-08-12 | 本田技研工业株式会社 | 用于映射、定位和位姿校正的***和方法 |
US20150269734A1 (en) * | 2014-03-20 | 2015-09-24 | Electronics And Telecommunications Research Institute | Apparatus and method for recognizing location of object |
CN107438754A (zh) * | 2015-02-10 | 2017-12-05 | 御眼视觉技术有限公司 | 用于自主车辆导航的稀疏地图 |
CN107607107A (zh) * | 2017-09-14 | 2018-01-19 | 斯坦德机器人(深圳)有限公司 | 一种基于先验信息的Slam方法和装置 |
US20180023960A1 (en) * | 2016-07-21 | 2018-01-25 | Mobileye Vision Technologies Ltd. | Distributing a crowdsourced sparse map for autonomous vehicle navigation |
US20180045519A1 (en) * | 2016-08-09 | 2018-02-15 | Nauto, Inc. | System and method for precision localization and mapping |
US20180188041A1 (en) * | 2016-12-30 | 2018-07-05 | DeepMap Inc. | Detection of misalignment hotspots for high definition maps for navigating autonomous vehicles |
CN108280866A (zh) * | 2016-12-30 | 2018-07-13 | 乐视汽车(北京)有限公司 | 道路点云数据处理方法及*** |
CN108351218A (zh) * | 2015-11-25 | 2018-07-31 | 大众汽车有限公司 | 用于生成数字地图的方法和*** |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3032221B1 (en) * | 2014-12-09 | 2022-03-30 | Volvo Car Corporation | Method and system for improving accuracy of digital map data utilized by a vehicle |
DE102016210495A1 (de) * | 2016-06-14 | 2017-12-14 | Robert Bosch Gmbh | Verfahren und Vorrichtung zum Erstellen einer optimierten Lokalisierungskarte und Verfahren zum Erstellen einer Lokalisierungskarte für ein Fahrzeug |
DE102017207257A1 (de) * | 2017-04-28 | 2018-10-31 | Robert Bosch Gmbh | Verfahren und Vorrichtung zum Erstellen und Bereitstellen einer hochgenauen Karte |
-
2018
- 2018-12-04 CN CN201880095637.XA patent/CN112424568A/zh active Pending
- 2018-12-04 WO PCT/CN2018/119199 patent/WO2020113425A1/en active Application Filing
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103782247A (zh) * | 2011-09-07 | 2014-05-07 | 克朗设备有限公司 | 用于使用预先安置的物体定位工业车辆的方法和装置 |
CN104833370A (zh) * | 2014-02-08 | 2015-08-12 | 本田技研工业株式会社 | 用于映射、定位和位姿校正的***和方法 |
US20150269734A1 (en) * | 2014-03-20 | 2015-09-24 | Electronics And Telecommunications Research Institute | Apparatus and method for recognizing location of object |
CN107438754A (zh) * | 2015-02-10 | 2017-12-05 | 御眼视觉技术有限公司 | 用于自主车辆导航的稀疏地图 |
CN108351218A (zh) * | 2015-11-25 | 2018-07-31 | 大众汽车有限公司 | 用于生成数字地图的方法和*** |
US20180023960A1 (en) * | 2016-07-21 | 2018-01-25 | Mobileye Vision Technologies Ltd. | Distributing a crowdsourced sparse map for autonomous vehicle navigation |
US20180045519A1 (en) * | 2016-08-09 | 2018-02-15 | Nauto, Inc. | System and method for precision localization and mapping |
US20180188041A1 (en) * | 2016-12-30 | 2018-07-05 | DeepMap Inc. | Detection of misalignment hotspots for high definition maps for navigating autonomous vehicles |
CN108280866A (zh) * | 2016-12-30 | 2018-07-13 | 乐视汽车(北京)有限公司 | 道路点云数据处理方法及*** |
CN107607107A (zh) * | 2017-09-14 | 2018-01-19 | 斯坦德机器人(深圳)有限公司 | 一种基于先验信息的Slam方法和装置 |
Non-Patent Citations (3)
Title |
---|
QIHUI SHEN; HANXU SUN; PING YE: "Research of large-scale offline map management in visual SLAM", 2017 4TH INTERNATIONAL CONFERENCE ON SYSTEMS AND INFORMATICS (ICSAI), 8 January 2018 (2018-01-08) * |
艾青林;余杰;胡克用;陈琦;: "基于ORB关键帧匹配算法的机器人SLAM实现", 机电工程, vol. 33, no. 05, 31 May 2016 (2016-05-31) * |
许泽宁, 高晓路: "基于电子地图兴趣点的城市建成区边界识别方法", 地理学报, vol. 71, no. 6, 30 June 2016 (2016-06-30) * |
Also Published As
Publication number | Publication date |
---|---|
WO2020113425A1 (en) | 2020-06-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110859044B (zh) | 自然场景中的集成传感器校准 | |
CN111436216B (zh) | 用于彩色点云生成的方法和*** | |
CN110832275B (zh) | 基于双目图像更新高分辨率地图的***和方法 | |
CN111448478B (zh) | 用于基于障碍物检测校正高清地图的***和方法 | |
CN112005079B (zh) | 用于更新高清地图的***和方法 | |
JP2021508814A (ja) | LiDARを用いた車両測位システム | |
US10996337B2 (en) | Systems and methods for constructing a high-definition map based on landmarks | |
JP6278791B2 (ja) | 車両位置検出装置、車両位置検出方法及び車両位置検出用コンピュータプログラムならびに車両位置検出システム | |
CN112424568A (zh) | 构建高清地图的***和方法 | |
CN113874681B (zh) | 点云地图质量的评估方法和*** | |
AU2018102199A4 (en) | Methods and systems for color point cloud generation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |