CN118225078A - 交通工具的定位方法、装置、交通工具及存储介质 - Google Patents
交通工具的定位方法、装置、交通工具及存储介质 Download PDFInfo
- Publication number
- CN118225078A CN118225078A CN202211610048.5A CN202211610048A CN118225078A CN 118225078 A CN118225078 A CN 118225078A CN 202211610048 A CN202211610048 A CN 202211610048A CN 118225078 A CN118225078 A CN 118225078A
- Authority
- CN
- China
- Prior art keywords
- predicted
- image
- target
- pose
- vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 69
- 230000000875 corresponding effect Effects 0.000 claims description 198
- 238000012545 processing Methods 0.000 claims description 21
- 238000004590 computer program Methods 0.000 claims description 15
- 230000002596 correlated effect Effects 0.000 claims description 5
- 230000007774 longterm Effects 0.000 abstract description 5
- 239000002245 particle Substances 0.000 description 57
- 230000011218 segmentation Effects 0.000 description 31
- 230000000007 visual effect Effects 0.000 description 12
- 238000006243 chemical reaction Methods 0.000 description 7
- 230000010354 integration Effects 0.000 description 6
- 238000005457 optimization Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 230000007613 environmental effect Effects 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 5
- 238000005259 measurement Methods 0.000 description 5
- 238000013519 translation Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000012937 correction Methods 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 3
- 230000004927 fusion Effects 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 230000001186 cumulative effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000035515 penetration Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Landscapes
- Navigation (AREA)
Abstract
本申请实施例公开一种交通工具的定位方法、装置、交通工具及存储介质,该交通工具的定位方法通过确定对象类型相同的点云图像的第一特征点与各预测位姿对应的各预测图像的目标特征点之间的距离确定图像匹配程度,由于预测图像与预测位姿对应,而点云图像与交通工具当前位姿对应,因此图像匹配程度可以用于指示预测位姿与当前位姿的匹配程度,从而实现根据图像匹配程度确定交通工具的目标位姿。上述定位方法利用了卫星地图中的定位信息,减小了交通工具长期定位的累积误差,提高定位准确性。
Description
技术领域
本申请涉及定位技术领域,具体涉及一种交通工具的定位方法、装置、交通工具及存储介质。
背景技术
目前,无人车定位通常基于惯性导航、激光/视觉导航和卫星导航,惯性导航是仅利用***内部陀螺仪和加速度计等惯性测量单元(Inertial Measurement Unit,IMU)根据运动学模型求出无人车的三维姿态、速度、位置等导航信息,不受外界信息干扰,但惯性导航定位主要靠积分,运行时间长累积误差大;融合激光或者视觉能够在一定程度上提高定位精度,但在大范围场景下长时间运行仍会存在较大的累积误差;而卫星导航用于提供实时的绝对定位,可以用来减小累积误差,但是卫星信号穿透能力较弱,在一些特殊场景,如高楼林立的城市、高山峡谷等,容易失效,且卫星导航容易受到恶意干扰,导致卫星失效,无法提供准确的卫星定位信息。而在很多上述场景下,无人车仍有较大需求去完成任务,需要准确的定位信息。
根据上述描述可知,虽然惯性导航和激光视觉导航可以用于推算无人车的三维姿态、速度、位置等导航信息,但是累积误差较大,在卫星导航失效的情况下,会导致无人车在长期运行的情况下,定位不准确。
发明内容
本申请实施例公开了一种交通工具的定位方法、装置、交通工具及存储介质,使得交通工具即使在卫星导航失效时,也能避免出现长期运行导致定位误差大的现象,提高了定位的准确性。
本申请实施例公开一种交通工具的定位方法,所述方法包括:
获取交通工具所处环境的点云图像以及所述交通工具的N个预测位姿分别对应的预测图像,所述点云图像包括至少一个第一特征点,所述预测图像包括多个第二特征点,所述预测图像包括卫星地图中与所述预测位姿对应的部分地图,其中,N为2以上的自然数;
将各所述第一特征点分别与N个所述预测图像的第二特征点进行类型匹配,得到各所述第一特征点在各所述预测图像对应的目标特征点,所述目标特征点的对象类型与对应的所述第一特征点的对象类型一致,所述目标特征点为多个所述第二特征点中的一个;
确定所述点云图像与各所述预测图像的图像匹配程度,其中,所述图像匹配程度与所述预测图像对应的特征点距离有关,所述特征点距离包括所述预测图像的目标特征点与对应的第一特征点之间的距离;
根据各所述预测图像对应的图像匹配程度以及所述预测位姿确定所述交通工具的目标位姿。
作为一种可选的实施方式,所述将各所述第一特征点分别与N个预测图像的第二特征点进行类型匹配,得到各所述第一特征点在各所述预测图像对应的目标特征点,包括:
确定各所述第一特征点对应的第一语义标签以及各所述预测图像的各所述第二特征点对应的第二语义标签,所述第一语义标签用于指示所述第一特征点的对象类型,所述第二语义标签用于指示所述第二特征点的对象类型;
针对各所述预测图像进行语义匹配处理,得到各所述第一特征点在各所述预测图像对应的目标特征点;
所述进行语义匹配处理,包括:
针对各所述第一特征点,确定所述预测图像中与所述第一特征点相匹配的所述第二特征点,并将与所述第一特征点相匹配的所述第二特征点作为所述第一特征点在所述预测图像对应的所述目标特征点,其中,所述第一特征点的第一语义标签与相匹配的第二特征点的第二语义标签相同。
作为一种可选的实施方式,若与所述第一特征点相匹配的所述第二特征点包括多个,则将与所述第一特征点相匹配的多个所述第二特征点中,与所述第一特征点距离最近的所述第二特征点作为所述第一特征点在所述预测图像对应的所述目标特征点。
作为一种可选的实施方式,若所述点云图像包括多个所述第一特征点,则所述确定所述点云图像与各所述预测图像的图像匹配程度,包括:
确定各所述预测图像对应的目标距离,所述目标距离与各所述第一特征点和所述预测图像对应的所述目标特征点之间的距离正相关;
根据各所述预测图像对应的目标距离确定所述点云图像与各所述预测图像的图像匹配程度,其中,所述预测图像对应的目标距离越小则所述预测图像与所述点云图像越匹配。
作为一种可选的实施方式,所述根据各所述预测图像对应的图像匹配程度以及所述预测位姿确定所述交通工具的目标位姿,包括:
根据各所述预测图像对应的图像匹配程度,确定N个所述预测位姿中的至少一个目标预测位姿;
根据至少一个所述目标预测位姿确定所述交通工具的目标位姿。
作为一种可选的实施方式,所述根据各所述预测图像对应的图像匹配程度,确定N个所述预测位姿中的至少一个目标预测位姿,包括:
根据各所述预测图像对应的图像匹配程度,确定各所述预测图像对应的预测位姿的位姿概率,其中,所述预测图像与所述点云图像越匹配则所述预测图像对应的预测位姿的位姿概率越大,多个所述预测位姿的位姿概率之和为1;
在N个所述预测位姿满足收敛条件的情况下,将所述N个预测位姿确定为所述至少一个目标预测位姿。
作为一种可选的实施方式,根据至少一个所述目标预测位姿确定所述交通工具的目标位姿,包括:
根据所述至少一个所述目标预测位姿确定所述交通工具的第一位姿;
根据所述第一位姿构建第一因子,并根据所述交通工具的激光里程计构建第二因子;
根据所述第一因子以及所述第二因子构建因子图,确定所述交通工具的目标位姿。
本申请实施例公开一种交通工具的定位装置,所述装置包括:
图像获取模块,用于获取交通工具所处环境的点云图像以及所述交通工具的N个预测位姿分别对应的预测图像,所述点云图像包括至少一个第一特征点,,所述预测图像包括多个第二特征点,所述预测图像包括卫星地图中与所述预测位姿对应的部分地图,其中,N为2以上的自然数;
类型匹配模块,用于将各所述第一特征点分别与N个所述预测图像的第二特征点进行类型匹配,得到各所述第一特征点在各所述预测图像对应的目标特征点,所述目标特征点的对象类型与对应的所述第一特征点的对象类型一致,所述目标特征点为多个所述第二特征点中的一个;
图像匹配模块,用于确定所述点云图像与各所述预测图像的图像匹配程度,其中,所述图像匹配程度与所述预测图像对应的特征点距离有关,所述特征点距离包括所述预测图像的目标特征点与对应的第一特征点之间的距离;
位姿识别模块,用于根据各所述预测图像对应的图像匹配程度以及所述预测位姿确定所述交通工具的目标位姿。
本申请实施例公开一种交通工具,包括存储器及处理器,所述存储器中存储有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器实现本申请实施例公开的任意一种交通工具的定位方法。
本申请实施例公开一种计算机可读存储介质,其存储计算机程序,,其中,所述计算机程序使得计算机执行本申请实施例公开的任意一种交通工具的定位方法。
与相关技术相比,本申请实施例具有以下有益效果:
本申请实施例提供的交通工具的定位方法,通过获取交通工具的多个预测位姿,以及在卫星地图中与N个预测位姿分别对应的部分图像(也即预测图像),通过将交通工具所处环境的点云图像的各第一特征点分别与N个预测图像的第二特征点进行类型匹配,得到各预测图像中与各第一特征点类型匹配的目标特征点,根据目标特征点与对应的第一特征点之间的距离确定各预测图像与点云图像的图像匹配程度,并根据各图像匹配程度以及预测位姿确定交通工具的目标位姿。本申请实施例通过确定对象类型相同的第一特征点与目标特征点之间的距离确定图像匹配程度,由于预测图像与预测位姿对应,而点云图像与交通工具当前位姿对应,因此图像匹配程度可以用于指示预测位姿与当前位姿的匹配程度,从而实现根据图像匹配程度确定交通工具的目标位姿。上述定位方法通过利用卫星地图中的定位信息,减小了交通工具长期定位的累积误差,提高了交通工具的定位的准确性。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是点云运动畸变的示意图;
图2是本申请实施例公开的一种交通工具的定位方法的流程示意图;
图3是本申请实施例公开的一种目标特征点确定方法的流程示意图;
图4是本申请实施例公开的一种匹配程度确定方法的流程示意图;
图5是本申请实施例公开的一种目标位姿确定方法的流程示意图;
图6是本申请实施例公开的一种目标位姿选择方法的流程示意图;
图7是本申请实施例公开的一种包括第一因子和第二因子的因子图;
图8是本申请实施例公开的一种交通工具的定位装置的结构示意图;
图9是本申请实施例公开的一种交通工具的结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
诚如背景技术所述,目前无人车定位通常基于惯性导航和卫星导航,当前无人车执行任务时通常需要高精度定位信息,一般通过卫星定位提供,但在某些复杂场景下,卫星信号不可用,也即卫星导航失效。在卫星导航失效的情况下,无人车仅依靠惯性导航推算无人车的三维姿态、速度、位置等导航信息,虽然不受外界信息干扰,但是无法长时间运行,累积误差较大。
在卫星导航失效的情况下(也即卫星拒止环境下)的无人车定位有陆基无线电导航、超宽带导航、激光导航、视觉导航、惯性导航等。针对于陆基无线电导航***需要在全球部署信号发射站,属于战略级导航***,不适合无人车的自主定位。而超宽带导航常用于室内环境,需要布置室内信号站,自主性较差,因此超宽带导航亦不适合无人车自主定位。
因此在卫星导航失效的情况下,常用的无人车定位方法有激光导航、视觉导航以及惯性导航,其中,激光导航以及视觉导航均是主要利用同时建图和定位(SimultaneousLocalization and Mapping,SLAM)的方法构建地图辅助定位的导航方法。激光导航通过激光雷达采集环境数据,相对于视觉导航通过相机采集环境数据,属于主动发光型传感器,不易受光照的环境变量的影响,性能稳定,且能够直接获取三维信息,更适合无人车定位。而惯性导航仅利用***内部陀螺仪和加速度计等惯性测量单元根据运动学模型求出无人车的三维姿态、速度、位置等导航信息,虽然不受外界信息干扰,但是无法长时间运行,累积误差较大。通过将激光雷达和IMU结合实现融合定位,得到激光惯导里程计,能够实现更稳定的定位。
接下来对基于激光雷达和IMU结合实现融合定位,得到激光惯导里程计的方案进行简要说明。
激光雷达主要作用是通过帧到帧的匹配或帧到地图的匹配估计运动,而IMU的主要作用是通过预积分的方式获取短时间内的运动预测,用于点云去畸变、估计初始运动等。该定位方法主要流程包括IMU预积分、点云处理(包括点云去畸变和特征提取)、运动估计。
1、IMU预积分
首先将第k关键帧和第k+1关键帧之间的所有IMU测量值进行积分,可以得到第k+1关键帧的位置、速度以及旋转,作为运动估计的初始值。
其中,第k关键帧对应的时刻为tk,第k+1关键帧对应的时刻为tk+1,分别表示tk时刻在world(世界)坐标系下的位置,速度和旋转,分别表示tk+1时刻在world坐标系下的位置,速度和旋转,/>和/>表示IMU测量的加速度和角速度,/>表示零偏误差,坐标系为body(本体)坐标系,其中,world坐标系是IMU所在的惯导坐标系,/>表示旋转矩阵,gw表示重力加速度,Ω表示四元数左乘矩阵,Δtk表示第k关键帧和第k+1关键帧之间的时间间隔,/>表示body坐标系下,t时刻到bk时刻位姿的变换矩阵。
IMU的积分是需要依赖于第k关键帧的v和R,当进行优化时需要迭代更新第k关键帧的v和R,导致算法耗时较多,因此将优化变量从第k关键帧和第k+1关键帧的IMU积分项中分离,等号两边左乘从世界坐标系转到本体坐标系,得到预积分公式,
其中,
这样就得到了连续时刻的IMU的预积分模型,
采用中值法转为离散形式,
其中,
i表示的是在[tk,tk+1]中IMU测量值对应的离散时刻,δt是IMU测量值i和i+1之间的时间间隔。
IMU预积分可以提供每一个IMU时刻的位置、速度和旋转,用于后续点云畸变矫正和作为运动估计的初始值。
2.点云处理
(1)点云去畸变
对于机械式的激光雷达,一帧点云中的点不是在同一时刻采集的,如果采集过程中雷达随着无人车运动,而雷达点测量的是物体和雷达之间的距离,因此会导致不同激光点的坐标系不一致,如图1所示,图1(a)表示理想状态采集的激光点,图1(b)表示由于平移导致的畸变,图1(c)表示由于旋转导致的畸变。
采用IMU辅助的方法进行畸变校正。基于当前激光帧起止时刻间的IMU数据计算旋转增量R,IMU里程计数据计算平移增量t,利用相对于激光帧起始时刻的位姿增量,变换当前激光点到该帧末尾时刻激光点的坐标系下,从而对该帧激光每一时刻的激光点进行运动畸变校正。
(2)特征点提取
对经过运动畸变校正之后的当前帧激光点云,计算每个点的曲率,进而提取角点、平面点特征。特征点选取角点和平面点,首先获取点i周围连续几个点集合S用于求曲率。曲率计算公式如下,
其中,||表示集合S中点的数量,表示在时刻k时雷达坐标系下第i个特征点的位置,/>表示在时刻k时雷达坐标系下第j个特征点的位置,/>表示该点的模二范数(到原点的欧式距离)。
按上面公式可以求出每个点的曲率c。通过比较曲率选出曲率大的角点和曲率小的平面点。为了避免特征点过于集中,将每帧点云分为四份,从每份中选取两个曲率最大的点作为角点,四个曲率最小的点作为平面点。
3.运动估计
提取局部关键帧地图的特征点,与当前帧特征点执行匹配,即点云帧和局部点云关键帧地图的配准,更新当前帧的位姿。
当从前端传递过来当前雷达的特征点时,通过IMU预积分估计的雷达位姿,将特征点转换到世界坐标系下,
表示在时刻k+1时雷达坐标系下第i个特征点的位置。
表示在时刻k+1时世界坐标系下第i个特征点的位置,是通过估计的雷达位姿转换得到的。
表示在时刻k+1时雷达坐标系相对于世界坐标系的变换,即需要求解的目标。
t=[tx,ty,z]T,R是通过欧拉角转换成的旋转矩阵,转换关系如下:
其中,
式中,旋转部分r=[rx,y,rz]T,[rx,ry,rz]分别表示在XYZ参考坐标系中的分量式。
然后通过最近邻搜索查找到转换后的特征点在局部地图中对应的特征点集Y,计算特征点集Y相对于当前帧点云特征的距离,并将此距离作为残差项进行优化。
构建残差方程,
式中Y为提取的局部关键帧地图的特征点集合,为当前帧特征点集合。然后基于常用的优化库(如g2o)采用高斯牛顿迭代法进行残差方程的优化求解,得到无人车的位姿。
发明人研究发现,上述的激光惯导里程计,在短时间内精度较高,但累积误差无法消除,长时间长距离情况下会产生较大误差,无法满足无人车的长时间定位需求。而依赖于高精度地图的地图信息匹配定位方法虽然能够避免累积误差,但是高精度地图通常难以获取,特别是在非结构化环境下,且需要定期更新,受环境变化影响大,使用成本较高。
此外,对于利用车载相机获取的图像信息和卫星地图进行视觉特征匹配,以获取无人车在卫星地图中的定位信息的定位方法,由于无人车相机视角和卫星地图的俯视视角相差较大,尺度也难以确定,并且图像配准受光照环境等影响大,匹配成功率和精度较低,难以提供稳定的定位。
有鉴于此,本申请实施例提供了一种交通工具的定位方法,可以应用于交通工具(如车辆)中。该定位方法利用了卫星地图的信息实现交通工具的定位,不会出现激光惯导里程计长期运行累积误差大的问题,提高了交通工具的定位的准确性。同时,通过交通工具采集的点云图像的点云和卫星地图的像素点的类型匹配,而非进行传统视觉特性匹配,可以避免由于点云图像和卫星地图视角差异大,导致特征差异大难以匹配的问题,进一步提高了交通工具的定位的准确性。
请参考图2,其示出了本申请实施例提供的一种交通工具的定位方法,该方法可以包括步骤S100至步骤S400。
S100,获取交通工具所处环境的点云图像以及交通工具的N个预测位姿分别对应的预测图像,点云图像包括至少一个第一特征点,预测图像包括多个第二特征点,预测图像包括卫星地图中与预测位姿对应的部分地图,其中,N为2以上的自然数。
应说明的,点云图像为大量点构成的点集合,本实施例的点云图像可以用于反映交通工具所处环境的信息,第一特征点为构成点云图像的点中的至少一个,卫星地图由多个像素点组成,第二特征点为构成部分地图的像素点中的多个像素点,预测位姿为对交通工具的实际位姿的一个预测,本申请实施例所述的位姿可以包括位置以及姿态(如交通工具的朝向角),通过该多个预测位姿与交通工具的实际位姿的匹配程度,可以确定交通工具的实际位姿,也即获取交通工具的定位信息。
可选的,交通工具搭载有激光雷达和/或深度相机,该激光雷达和深度相机可以用于感知交通工具的环境,也即可以用于获取交通工具所处环境的信息。可选的,本实施例的点云图像可以是基于激光雷达采集的交通工具所处环境的信息所形成的点云图像,也可以是基于深度相机采集的交通工具所处环境的信息所形成的点云图像。可选的,交通工具可以为无人车。
可选的,预测位姿可以包含预测的交通工具在世界坐标系下的预测位置,则预测图像包括卫星地图中与预测位置对应的部分地图。可以理解的,卫星地图的像素坐标系与世界坐标系为不同的坐标系,通过坐标系转换,可以得到在像素坐标系下的与预测位置对应的预测像素位置,也即预测图像包括卫星地图中与预测位置对应的部分地图,可以理解为预测图像包括在预测像素位置上截取的预设尺寸的部分地图。
S200,将各第一特征点分别与N个预测图像的第二特征点进行类型匹配,得到各第一特征点在预测图像对应的目标特征点,目标特征点的对象类型与对应的第一特征点的对象类型一致,目标特征点为多个第二特征点中的一个。
应说明的,各特征点的对象类型可以用于表征该特征点所属的对象,如特征点a为点云图像中构成某一建筑物的点(也即特征点a与其他邻近的点云图像的特征点组合显示出建筑物),则该特征点a的对象类型则为建筑物,又如,特征点b为卫星地图中构成某一道路的像素点(也即特征点b与邻近的卫星地图上的特征点组合显示出道路),则特征点b的对象类型则为道路。N个预测图像中均具有对象类型为第一特征点的对象类型的第二特征点,该对象类型与第一特征点的对象类型一致的第二特征点,可以作为第一特征点在对应的预测图像的目标特征点。
S300,确定点云图像与各预测图像的图像匹配程度,其中,图像匹配程度与预测图像对应的特征点距离有关,特征点距离包括预测图像的目标特征点与对应的第一特征点距离。
应说明的,在步骤S200中,确定出预测图像的目标特征点,具体的,各预测图像均确定出至少一个目标特征点,通过该目标特征点以及第一特征点的距离可以确定点云图像与各预测图像的图像匹配程度。
S400,根据各预测图像对应的图像匹配程度以及预测位姿确定交通工具的目标位姿。
应说明的,确定出来的目标位姿即为本申请实施例中所需确定的定位信息,该目标位姿可以包括但不限于为交通工具的位置以及朝向角。根据上述描述可知,本实施例的点云图像与交通工具的实际位姿对应,预测图像与预测位姿对应,因此点云图像与各预测图像的图像匹配程度,可以用于表征交通工具的实际位姿与各预测位姿的匹配程度,从而可以根据各预测图像对应的图像匹配程度以及预测位姿确定交通工具的目标位姿。可以理解的,交通工具的目标位姿是根据图像匹配程度确定的,因此确定出的目标位姿与点云图像对应的时刻的交通工具的实际位姿对应,也即确定出的目标位姿可以用于表示交通工具在与点云图像对应时刻的实际位姿。
在一个可选的实施例中,根据各预测图像对应的图像匹配程度以及预测位姿确定交通工具的目标位姿,包括:根据各预测图像对应的图像匹配程度,从各预测图像中确定出与点云图像最匹配的目标预测图像,将该目标预测图像对应的目标预测位姿确定为交通工具的目标位姿。
在又一个可选的实施例中,根据各预测图像对应的图像匹配程度以及预测位姿确定交通工具的目标位姿,包括:根据各预测图像对应的图像匹配程度,按照图像匹配程度从大到小选中c个预测图像,计算该c个预测图像分别对应的预测位姿的均值,将该c个预测位姿的均值作为交通工具的目标位姿。其中,预测图像对应的图像匹配程度越大反映预测图像与点云图像越匹配。
本申请实施例提供的交通工具的定位方法,获取交通工具所处环境的点云图像、交通工具的多个预测位姿以及在卫星地图中获取与该预测位姿对应的预测图像,将该点云图像的各第一特征点分别与N个预测图像的第二特征点进行类型匹配,得到各预测图像中与各第一特征点类型匹配的目标特征点,然后根据目标特征点与对应的第一特征点之间的距离确定该点云图像与各预测图像的图像匹配程度,并根据各预测图像对应的图像匹配程度以及预测位姿,确定交通工具在与点云图像对应的时刻的目标位姿。
本申请实施例,在卫星导航失效的情况下,利用了卫星地图的信息实现了对交通工具的位姿进行识别,不会出现累积误差,提高了交通工具的定位的准确性。同时,由于本申请实施例是通过语义类型匹配而非传统的视觉特征匹配确定交通工具的目标位姿,克服了点云图像和卫星地图视角差异大导致匹配定位不准的问题,提高了交通工具的定位的准确性。从而实现在卫星导航失效的情况下,仍能保证高精度的定位。
上述实施例描述了需要确定出预测图像的目标特征点,从而根据目标特征点,确定点云图像与各预测图像的图像匹配程度,下述实施例提供了一种目标特征点确定方法。应说明的,下述实施例仅提供了其中一种目标特征点确定方法,目标特征点还可以采用其他方式进行确定。
请参考图3,其示出了本申请实施例提供的一种目标特征点确定方法,如图3所示,将各第一特征点分别与N个预测图像的第二特征点进行类型匹配,得到各第一特征点在各预测图像对应的目标特征点的步骤,可以包括步骤S210至步骤S220。
S210,确定各第一特征点对应的第一语义标签以及各预测图像的各第二特征点对应的第二语义标签,第一语义标签用于指示第一特征点的对象类型,第二语义标签用于指示第二特征点的对象类型。
应说明的,关于特征点的对象类型的描述详见上文实施例,在此不再赘述。
在一个可选的实施例中,确定各第一特征点对应的第一语义标签,包括:基于训练好的第一语义分割模型对点云图像进行第一语义分割处理,得到包含第一语义分割信息的点云图像,以确定各第一特征点对应的第一语义标签。可选的,训练好的第一语义模型可以实现按照对象类型对点云图像进行语义分割。可选的,第一语义模型可以包括3D-mininet的卷积神经网络,该第一语义模型是一种结合三维和二维学***面,按照第一语义标签分类保存,以便后续进行语义匹配处理。
在一个可选的实施例中,确定各预测图像的各第二特征点对应的第二语义标签,包括:基于训练好的第二语义分割模型对各预测图像进行第二语义分割处理,得到包含第二语义分割信息的预测图像,以确定各预测图像的第二特征点对应的第二语义标签。可选的,训练好的第二语义分割模型可以实现按照对象类型对预测图像进行语义分割。可选的,第二语义分割模型可以包括基于全卷积神经网络(FCN)模型改进的UNET。该第二语义分割模型简单轻量,在训练速度上也比较快,可以在小数据集上也能训练出一个好的模型,能在精度和复杂度间达到比较好的平衡,适合用于预测图像的语义分割。
在又一个可选的实施例中,确定各预测图像的各第二特征点对应的第二语义标签,包括:基于训练好的第二语义分割模型对卫星地图进行第二语义分割处理,得到包含第二语义分割信息的卫星地图,根据包含第二语义分割信息的卫星地图确定各预测图像的第二特征点对应的第二语义标签。应说明的,本实施例通过第二语义分割模型对整个卫星地图进行,可以获得卫星地图的各像素点的语义标签,从而可以确定各预测图像的第二特征点的第二语义标签,同时,由于直接对卫星地图进行语义分割处理而非对各预测图像进行语义分割处理,可以提高确定第二特征点的第二语义标签的效率。在一个可选的实施中,在得到包含第二语义分割信息的卫星地图之后,包括:将包含第二语义分割信息的卫星地图按照各像素点的语义标签分类保存,以便后续进行语义匹配处理。
可选的,对象类型可以包括可行驶区域、建筑物、植被三类。应说明的,在高楼林立的城市中,卫星地图和点云图像一般均会包括上述三类对象,从而将对象类型定义为以上三类,可以提高图像匹配程度的准确度。示例性,将人归类为可行驶区域,由于卫星地图中不包含与人对应的像素点,但是激光雷达和/或相机在获取环境信息时,可能会获取到与人对应的信息,训练好的第一语义分割模型会将人归类到可行驶区域,而不是将人归类到人这一对象类型,以保证语义标签的有效性(不会出现在预测图像中找不到与第一特征点对应的目标特征点)。
S220,针对各预测图像进行语义匹配处理,得到各第一特征点在预测图像对应的目标特征点。
应说明的,进行语义匹配处理包括:针对各第一特征点,确定预测图像中与第一特征点相匹配的第二特征点,并将与第一特征点相匹配的第二特征点作为第一特征点在预测图像对应的目标特征点,其中,第一特征点的第一语义标签与相匹配的第二特征点的第二语义标签相同。应说明的,在点云图像以及各预测图像执行了步骤S210后,可以确定各第一特征点的第一语义标签以及各预测图像的各第二特征点的第二语义标签,将第一语义标签作为索引在各预测图像中找寻与第一特征点的第一语义标签一致第二语义标签,从而确定该第二语义标签对应的第二特征点,即找到第一特征点在预测图像中对应的目标特征点。示例性的,点云图像中的第一特征点d的第一语义标签指示第一特征点d的对象类型为植被,则在各预测图像中找寻对象类型为植被的第二特征点,则对象类型为植被的第二特征点即为第一特征点d在预测图像对应的目标特征点。
在一个可选的实施例中,若与第一特征点相匹配的第二特征点包括多个,则将与第一特征点相匹配的第二特征点作为第一特征点在预测图像对应的目标特征点,包括:将与第一特征点相匹配的多个第二特征点中,与第一特征点距离最近的第二特征点作为第一特征点在预测图像对应的目标特征点。
应说明的,针对于各第一特征点,需要在各预测图像中均确定出目标特征点,可以按照一定顺序,依次对各预测图像进行语义匹配处理得到各第一特征点在各预测图像对应的目标特征点,也可以同时对各预测图像进行语义处理,以得到各第一特征点在各预测图像对应的目标特征点。本实施例不限定步骤的执行顺序,只要能得到各第一特征点在各预测图像对应的目标特征点即可。
请参考图4,其示出了本申请实施例提供的一种匹配程度确定方法,如图4所示,确定点云图像与各预测图像的图像匹配程度的步骤,可以包括步骤S310至步骤S320。
S310,确定各预测图像对应的目标距离,目标距离与各第一特征点和预测图像对应的目标特征点之间的距离正相关。
应说明的,目标距离与第一距离正相关,也即第一距离越大,目标距离也越大,第一距离越小,目标距离也越小,第一距离为第一特征点与该第一特征点在该预测图像对应的目标特征点之间的距离。点云图像中包括d个第一特征点,各预测图像中包括e个目标特征点,d≥e≥1,d≥2,且d和e为整数。针对于某个预测图像,可以确定出d个第一距离,该预测图像与各第一距离均为正相关关系。在d大于e的情况下,说明点云图像中至少有两个第一特征点在预测图像对应的目标特征点为同一个第二特征点。可选的,d与组成点云图像的所有点数量一致。也即确定点云图像中所有点在预测图像对应的目标特征点,并计算出与点云图像中各点对应的第一距离,进而确定该预测图像的目标距离。下述实施例提供了两个实施例,以对如何确定预测图像对应的目标距离进行说明。
在一个可选的实施例中,确定各预测图像的目标距离,包括:针对各预测图像,执行第一求和处理,得到各第一距离之和,将该第一距离之和作为各预测图像对应的目标距离。其中,执行第一求和处理包括:计算各第一特征点与预测图像对应的目标特征点的之间的第一距离,并计算各第一距离之和。
在又一个可选的实施例中,确定各预测图像的目标距离,包括:针对各预测图像,执行第二求和处理,得到各第二距离之和,将该第二距离之和作为各预测图像对应的目标距离。其中,执行第一求和处理包括:计算各第一特征点与预测图像对应的目标特征点的之间的第一距离,计算与各第一特征点对应的第二距离,并计算各第二距离之和。其中,与第一特征点对应的第二距离包括第一距离与第一权重的乘积,第一权重用于表征第一特征点的对象类型的可信度,对象类型的可信度越高,则第一权重越小,通过第一权重调整各第一距离在第二距离之和中的比例,通过第一权重将不可信的对象类型对应距离增大,从而提高点云图像与各预测图像的图像匹配程度的计算准确性。
S320,根据各预测图像对应的目标距离确定点云图像与各预测图像的图像匹配程度,其中,预测图像对应的目标距离越小则预测图像与点云图像越匹配。
应说明的,由于目标距离越小,则证明点云图像与预测图像的同一对象类型的点的距离越小,也即点云图像与预测图像越匹配,因此根据各预测图像对应的目标距离可以确定预测图像对应的目标距离越小则该预测图像与点云图像越匹配,也即该预测图像对应的预测位姿越能反映交通工具的实际位姿,预测图像对应的目标距离越大则该预测图像与点云图像越不匹配,也即该预测图像对应的预测位姿越不能反映交通工具的实际位姿。
请参考图5,其示出了本申请实施例提供的一种目标位姿确定方法,如图5所示,根据各预测图像对应的图像匹配程度以及预测位姿确定交通工具的目标位姿,包括步骤S410至步骤S420。
S410,根据各预测图像对应的图像匹配程度,确定N个预测位姿中的至少一个目标预测位姿。
请参考图6,其示出了本申请实施例提供的一种目标位姿选择方法,根据各预测图像对应的图像匹配程度,确定N个预测位姿中的至少一个目标预测位姿的步骤,包括步骤S411至步骤S412。
S411,根据各预测图像对应的图像匹配程度,确定各预测图像对应的预测位姿的位姿概率,其中,预测图像与点云图像越匹配则预测图像对应的预测位姿的位姿概率越大,多个预测位姿的位姿概率之和为1。S412,在N个预测位姿满足收敛条件的情况下,将N个预测位姿确定为至少一个目标预测位姿。
可选的,在N个预测位姿满足收敛条件的情况下,将N个预测位姿确定为至少一个目标预测位姿,包括:利用高斯混合模型对N个预测位姿进行聚类和计算方差;在该方差小于预设阈值的情况下认为N个预测位姿满足收敛条件,将N个预测位姿确定为至少一个目标预测位姿。可以理解的,预设阈值可以根据需要进行设定。
S420,根据至少一个目标预测位姿确定交通工具的目标位姿。
在一个可选的实施例中,在N个预测位姿满足收敛条件的情况下,根据至少一个目标预测位姿确定交通工具的目标位姿的步骤,可以包括计算N个预测位姿的平均位姿,将该平均位姿确定为交通工具的目标位姿,从而可以获取交通工具的定位信息。
在又一个可选的实施例中,在N个预测位姿满足收敛条件的情况下,根据至少一个目标预测位姿确定交通工具的目标位姿的步骤,可以包括根据N个预测位姿对应的位姿概率,计算N个预测位姿的加权位姿,将该加权位姿确定为交通工具的目标位姿。
在一个可选的实施例中,根据至少一个目标预测位姿确定交通工具的目标位姿可以包括以下步骤:根据至少一个目标预测位姿确定交通工具的第一位姿,根据第一位姿构建第一因子,并根据交通工具的激光里程计构建第二因子,根据第一因子以及第二因子构建因子图,确定交通工具的目标位姿。可选的,在N个预测位姿满足收敛条件的情况下,根据至少一个目标预测位姿确定交通工具的第一位姿,可以包括计算N个预测位姿的平均位姿(或加权位姿),将该平均位姿(或加权位姿)确定为第一位姿。本实施例将得到的第一位姿和激光里程计采用因子图优化的方式进行融合,从而得到更为准确的交通工具的位姿信息。
可以理解的,因子图由因子和变量组成,变量表示待估计的量,因子表示变量之间的约束,请参考图7,其示出了本申请实施例提供的一种包括第一因子和第二因子的因子图。如图7所示,该因子图由交通工具的目标位姿(如图7所示的X1、X2、X3)、第一因子701和第二因子702构成,交通工具对应于关键点云图像(关键帧)(如图7所示的F1、F2、F3)的目标位姿受第一因子701以及第二因子702共同约束,图7中虚线部分代表普通点云图像(普通帧)。第一因子701由第一位姿获得,当确定出第一位姿时,将其转换至世界坐标系,根据坐标转换后的第一位姿构建第一因子701,当产生一帧新关键帧时,该帧与上一时刻关键帧之间存在位姿变换关系,根据连续两针关键帧位姿变换关系构建第二因子702,如图7所示,因子图还包括先验因子703,该先验因子703为交通工具的初始位姿,调用GTSAM优化库,实现因子图的优化,更新关键帧位姿,确定交通工具的目标位姿,完成交通工具的定位。
下述实施例提供了又一种交通工具的定位方法,该定位方法利用了粒子滤波定位算法,该定位方法可以包括步骤S801至步骤S803。
S801,确定交通工具的N个预测位姿。
具体的,基于训练好的第二语义分割模型对卫星地图进行第二语义分割处理,得到包含第二语义分割信息的卫星地图,用N个粒子模拟交通工具,粒子状态模拟交通工具的位姿,使N个粒子在卫星地图中交通工具可行驶区域随机均匀分布(如对于交通工具为无人车的情况下,可行使区域则为道路、停车场等),第i个粒子的粒子状态为pi={px,pw,θ},其中,1≤i≤N,且i为正整数,px=(x0,y0)表示粒子在卫星地图中的像素坐标,pw=(xw,yw)表示与粒子像素坐标对应的世界坐标,θ表示粒子朝向角。
根据运动模型和状态转移方程,基于激光里程计提供的交通工具位姿变换,对各粒子施加交通工具的控制输入(平移和旋转),以更新所有粒子的粒子状态(该更新后的粒子状态即为上述实施例所述的预测位姿),更新后的粒子状态为p′i={p′x,p′w,θ′},其中,p′w以及θ′如下式所示。
p′w=pw+R(θ)*T+δT (2.1)
θ′=θ+Δθ+δθ (2.2)
其中,R(θ)表示粒子朝向旋转向量,T表示平移矩阵,Δθ表示角度变化,δT,δθ表示随机噪声,p′x可以根据p′w与像素坐标系与世界坐标系的转换关系获得。
S802,获取交通工具所处环境的点云图像以及N个预测位姿分别对应的预测图像,将各第一特征点分别与N个预测图像的第二特征点进行类型匹配,得到各第一特征点在各预测图像对应的目标特征点,确定点云图像与各预测图像的图像匹配程度。
具体的,根据上述实施例描述可得更新后的粒子状态(也即预测位姿),也即得到了与N个粒子对应的更新后的像素坐标,根据各粒子的更新后的像素坐标从卫星地图中截取固定大小的局部地图作为预测图像,从而获取N个预测图像。
基于训练好的第一语义分割模型对点云图像进行第一语义分割处理,得到包含第一语义分割信息的点云图像,点云图像每个第一特征点对应于一个对象类型,将该点云图像(包括M个点)记为点云集z={(d1,l1),(d2,l2),…(dM,lM)},dm表示第m个第一特征点,lm表示该第m个第一特征点的第一语义标签,1≤m≤M,且m为正整数,针对各预测图像进行语义匹配处理,得到各第一特征点在各预测图像对应的目标特征点,第一特征点在各预测图像对应的目标特征点为在预测图像中与第一特征点的对象类型相同且距离最近的第二特征点。然后确定各预测图像对应的目标距离,其中各粒子对应的预测图像对应的目标距离可以根据式(2.3)确定。
Ci表示第i个粒子的目标距离,pg表示与第i个粒子对应的预测图像的第二特征点集,{p|L(pg)=lm}表示在该预测图像中与第一特征点dm同对象类型的第二特征点点集合,min||p-dm||则表示第一特征点dm与目标特征点的距离,其中,l表示第一特征点dm的对象类型的第一权重。
S803,根据各所述预测图像对应的图像匹配程度以及所述预测位姿确定所述交通工具的目标位姿。
根据第i个粒子对应的预测图像对应的目标距离确定点云图像与第i个粒子对应的预测图像的图像匹配程度wi。
进行归一化处理,得到第i个粒子对应的预测位姿的位姿概率wi ′。
其中,
采用高斯混合模型对上述N个粒子进行聚类和计算方差,当N个粒子方差小于一定阈值,则认为满足收敛条件,将选出N个粒子对应的预测位姿作为至少一个目标预测位姿。
当N个粒子方差大于等于一定阈值,则认为不满足收敛条件,此时就认为与当前点云图像对应的时刻的实际位姿未被识别出来。
按照各个粒子的位姿概率,确定与第i个粒子对应的预测位姿的累积概率si,
/>
随机生成一个L个元素的数组A,元素取值范围在0到1之间,对数组A中第k个元素A[k],按照粒子顺序进行选择,若累积概率si≥A[k],则第i个粒子被选中(相当于选中第i个粒子的粒子状态,也即与第i个粒子对应的预测位姿);若s(pi)<m[i],,则将比较第i+1个粒子的累积概率直到选出一个粒子。遍历完A数组中的元素,选出L个粒子。
将选中的L个粒子的粒子状态作为下一点云图像对应的时刻的初始预测位姿,同时根据当前L个粒子的粒子状态采样N-L个粒子,组成N个粒子,以保证粒子数不会持续衰减,将该N个粒子的粒子状态用于模拟下一点云图像对应的时刻的交通工具的位姿。
根据运动模型和状态转移方程,基于激光里程计提供的交通工具与下一点云图像对应的位姿变换,对各粒子施加交通工具的控制输入(平移和旋转),以更新N个粒子的粒子状态,从而获得与下一帧点云图像对应的预测位姿,重新按照上述方法执行,直至N个粒子方差小于一定阈值,将N个粒子对应的预测位姿作为至少一个目标预测位姿,根据至少一个所述目标预测位姿确定所述交通工具的目标位姿,可以理解的,该确定出的目标位姿与目标预测位姿对应的粒子所模拟的时刻对应,也即在粒子模拟的为第t时刻的交通工具,则通过该粒子对应的预测位姿确定出来的目标位姿与交通工具在第t时刻的交通工具的位姿对应。
在一个可选的实施例中,在N个预测位姿满足收敛条件的情况下,根据至少一个所述目标预测位姿确定所述交通工具的目标位姿,包括:计算N个粒子对应的预测位姿的加权位姿,将上述加权位姿作为对应时刻的目标位姿。
在又一个可选的实施例中,在N个预测位姿满足收敛条件的情况下,根据至少一个所述目标预测位姿确定所述交通工具的目标位姿,包括:计算N个粒子对应的预测位姿的加权位姿,根据上述加权位姿构建第一因子,根据交通工具的激光里程计构建第二因子,根据第一因子以及第二因子构建因子图,确定交通工具的目标位姿。本实施例利用因子图实现激光里程计以及上述平均定位融合定位,得到对应时刻的定位信息。其中,对于利用因子图实现定位的方法详见上文实施例,在此不再赘述。
表1示出了三种方法的定位误差,该三种方法分别为激光惯导里程计(表1中的第一方法)、将加权位姿确定为目标位姿(未构建因子图)(表1中的第二方法)、以及根据因子图确定的定位信息(表1中的第三方法)。
表1三种方法的定位误差
其中,APE(Absolute Pose Error,绝对位姿误差),是指估计位姿和真实位姿的直误差值,采用均方根误差反映APE。
根据实验数据显示,随着时间距离增加,激光惯导里程计定位误差逐渐增加到近16米,此时距离起点约2.2km,总轨迹长度约为5km。而将加权位姿确定确定为目标位姿以及根据因子图确定的定位信息,随着时间距离增加,误差不会随着时间有明显的累积,且定位误差均小于激光惯导里程计定位误差。
应该理解的是,虽然图2-6的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,,图2-6中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个可选的实施例中,如图8所示,提供了一种交通工具的定位装置800,该定位装置800可以包括图像获取模块801、类型匹配模块802、图像匹配模块803以及位姿识别模块804。其中,图像获取模块801用于获取交通工具所处环境的点云图像以及所述交通工具的N个预测位姿分别对应的预测图像,所述点云图像包括至少一个第一特征点,所述预测图像包括多个第二特征点,所述预测图像包括卫星地图中与所述预测位姿对应的部分地图,其中,N为2以上的自然数。类型匹配模块802用于将各所述第一特征点分别与N个所述预测图像的第二特征点进行类型匹配,得到各所述第一特征点在各所述预测图像对应的目标特征点,所述目标特征点的对象类型与对应的所述第一特征点的对象类型一致,所述目标特征点为多个所述第二特征点中的一个。图像匹配模块803用于确定所述点云图像与各所述预测图像的图像匹配程度,其中,所述图像匹配程度与所述预测图像对应的特征点距离有关,所述特征点距离包括所述预测图像的目标特征点与对应的第一特征点之间的距离。位姿识别模块804用于根据各所述预测图像对应的图像匹配程度以及所述预测位姿确定所述交通工具的目标位姿。
在一个可选的实施例中,类型匹配模块可以包括标签确定单元以及语义匹配单元。其中,标签确定单元用于确定各所述第一特征点对应的第一语义标签以及各所述预测图像的各所述第二特征点对应的第二语义标签,所述第一语义标签用于指示所述第一特征点的对象类型,所述第二语义标签用于指示所述第二特征点的对象类型。语义匹配单元用于针对各所述预测图像进行语义匹配处理,得到各所述第一特征点在各所述预测图像对应的目标特征点。其中,进行语义匹配处理,包括:针对各所述第一特征点,确定所述预测图像中与所述第一特征点相匹配的所述第二特征点,并将与所述第一特征点相匹配的所述第二特征点作为所述第一特征点在所述预测图像对应的所述目标特征点,其中,所述第一特征点的第一语义标签与相匹配的第二特征点的第二语义标签相同。
在一个可选的实施例中,与所述第一特征点相匹配的所述第二特征点包括多个,语义匹配单元可以包括特征点确定子单元。其中,特征点确定子单元用于将与所述第一特征点相匹配的多个所述第二特征点中,与所述第一特征点距离最近的所述第二特征点作为所述第一特征点在所述预测图像对应的所述目标特征点。
在一个可选的实施例中,所述点云图像包括多个所述第一特征点,,图像匹配模块可以包括距离确定单元以及程度确定单元。其中,距离确定单元用于确定各所述预测图像对应的目标距离,所述目标距离与各所述第一特征点和所述预测图像对应的所述目标特征点之间的距离正相关。程度确定单元用于根据各所述预测图像对应的目标距离确定所述点云图像与各所述预测图像的图像匹配程度,其中,所述预测图像对应的目标距离越小则所述预测图像与所述点云图像越匹配。
在一个可选的实施例中,位姿识别模块可以包括位姿预测单元以及位姿确定单元。其中,位姿预测单元用于根据各所述预测图像对应的图像匹配程度,确定N个所述预测位姿中的至少一个目标预测位姿。位姿确定单元用于根据至少一个所述目标预测位姿确定所述交通工具的目标位姿。
在一个可选的实施例中,位姿预测单元可以包括概率确定子单元以及位姿预测子单元。其中,概率确定子单元用于根据各所述预测图像对应的图像匹配程度,,确定各所述预测图像对应的预测位姿的位姿概率,其中,所述预测图像与所述点云图像越匹配则所述预测图像对应的预测位姿的位姿概率越大,多个所述预测位姿的位姿概率之和为1。位姿预测子单元用于在N个所述预测位姿满足收敛条件的情况下,将所述N个预测位姿确定为所述至少一个目标预测位姿。
在一个可选的实施例中,位姿确定单元可以包括第一位姿确定子单元、因子构建子单元以及位姿确定子单元。其中,第一位姿确定子单元用于根据所述至少一个所述目标预测位姿确定交通工具的第一位姿。因子构建子单元用于根据所述第一位姿构建第一因子,并根据所述交通工具的激光里程计构建第二因子。位姿确定子单元用于根据所述第一因子以及所述第二因子构建因子图,确定所述交通工具的目标位姿。
关于交通工具的定位装置的具体限定可以参见上文中对于交通工具的定位方法的限定,在此不再赘述。上述交通工具的定位装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种交通工具,该交通工具可以是无人车,其内部结构图可以如图9所示。该交通工具包括通过***总线连接的处理器、存储器、通信接口。其中,该交通工具的处理器用于提供计算和控制能力。该交通工具的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作***和计算机程序。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该交通工具的通信接口用于与外部的终端进行有线或无线方式的通信,无线方式可通过WIFI、运营商网络、近场通信(NFC)或其他技术实现。该计算机程序被处理器执行时以实现一种交通工具的定位方法。
本领域技术人员可以理解,图9中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的交通工具的限定,具体的交通工具可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个可选的实施例中,本申请提供的交通工具的定位装置可以实现为一种计算机程序的形式,计算机程序可在如图9所示的交通工具上运行。交通工具的存储器中可存储组成该交通工具的定位装置的各个程序模块,比如,图8所示的图像获取模块801、类型匹配模块802、图像匹配模块803以及定位模块804。各个程序模块构成的计算机程序使得处理器执行本说明书中描述的本申请各个实施例的通工具的定位方法中的步骤。
例如,图9所示的交通工具可以通过如图8所示的通工具的定位识别装置中的图像获取模块执行获取交通工具所处环境的点云图像以及所述交通工具的N个预测位姿分别对应的预测图像,所述点云图像包括至少一个第一特征点,所述预测图像包括多个第二特征点,所述预测图像包括卫星地图中与所述预测位姿对应的部分地图,其中,,N为2以上的自然数。交通工具可通过类型匹配模块执行将各所述第一特征点分别与N个所述预测图像的第二特征点进行类型匹配,得到各所述第一特征点在各所述预测图像对应的目标特征点,所述目标特征点的对象类型与对应的所述第一特征点的对象类型一致,所述目标特征点为多个所述第二特征点中的一个。交通工具可通过图像匹配模块执行确定所述点云图像与各所述预测图像的图像匹配程度,其中,所述图像匹配程度与所述预测图像对应的特征点距离有关,所述特征点距离包括所述预测图像的目标特征点与对应的第一特征点之间的距离。交通工具可通过定位模块执行根据各所述预测图像对应的图像匹配程度以及所述预测位姿确定所述交通工具的目标位姿。
在一个实施例中,还提供了一种交通工具,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现上述各方法实施例中的步骤。
在一个实施例中,还提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现上述各方法实施例中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory,ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory,RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,比如静态随机存取存储器(Static Random Access Memory,SRAM)和动态随机存取存储器(Dynamic Random Access Memory,DRAM)等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种交通工具的定位方法,其特征在于,所述方法包括:
获取交通工具所处环境的点云图像以及所述交通工具的N个预测位姿分别对应的预测图像,所述点云图像包括至少一个第一特征点,所述预测图像包括多个第二特征点,所述预测图像包括卫星地图中与所述预测位姿对应的部分地图,其中,N为2以上的自然数;
将各所述第一特征点分别与N个所述预测图像的第二特征点进行类型匹配,得到各所述第一特征点在各所述预测图像对应的目标特征点,所述目标特征点的对象类型与对应的所述第一特征点的对象类型一致,所述目标特征点为多个所述第二特征点中的一个;
确定所述点云图像与各所述预测图像的图像匹配程度,其中,所述图像匹配程度与所述预测图像对应的特征点距离有关,所述特征点距离包括所述预测图像的目标特征点与对应的第一特征点之间的距离;
根据各所述预测图像对应的图像匹配程度以及所述预测位姿确定所述交通工具的目标位姿。
2.根据权利要求1所述的方法,其特征在于,所述将各所述第一特征点分别与N个预测图像的第二特征点进行类型匹配,得到各所述第一特征点在各所述预测图像对应的目标特征点,包括:
确定各所述第一特征点对应的第一语义标签以及各所述预测图像的各所述第二特征点对应的第二语义标签,所述第一语义标签用于指示所述第一特征点的对象类型,所述第二语义标签用于指示所述第二特征点的对象类型;
针对各所述预测图像进行语义匹配处理,得到各所述第一特征点在各所述预测图像对应的目标特征点;
所述进行语义匹配处理,包括:
针对各所述第一特征点,确定所述预测图像中与所述第一特征点相匹配的所述第二特征点,并将与所述第一特征点相匹配的所述第二特征点作为所述第一特征点在所述预测图像对应的所述目标特征点,其中,所述第一特征点的第一语义标签与相匹配的第二特征点的第二语义标签相同。
3.根据权利要求2所述的方法,其特征在于,若与所述第一特征点相匹配的所述第二特征点包括多个,则将与所述第一特征点相匹配的多个所述第二特征点中,与所述第一特征点距离最近的所述第二特征点作为所述第一特征点在所述预测图像对应的所述目标特征点。
4.根据权利要求1所述的方法,其特征在于,若所述点云图像包括多个所述第一特征点,则所述确定所述点云图像与各所述预测图像的图像匹配程度,包括:
确定各所述预测图像对应的目标距离,所述目标距离与各所述第一特征点和所述预测图像对应的所述目标特征点之间的距离正相关;
根据各所述预测图像对应的目标距离确定所述点云图像与各所述预测图像的图像匹配程度,其中,所述预测图像对应的目标距离越小则所述预测图像与所述点云图像越匹配。
5.根据权利要求1所述的方法,其特征在于,所述根据各所述预测图像对应的图像匹配程度以及所述预测位姿确定所述交通工具的目标位姿,包括:
根据各所述预测图像对应的图像匹配程度,确定N个所述预测位姿中的至少一个目标预测位姿;
根据至少一个所述目标预测位姿确定所述交通工具的目标位姿。
6.根据权利要求5所述的方法,其特征在于,所述根据各所述预测图像对应的图像匹配程度,确定N个所述预测位姿中的至少一个目标预测位姿,包括:
根据各所述预测图像对应的图像匹配程度,确定各所述预测图像对应的预测位姿的位姿概率,其中,所述预测图像与所述点云图像越匹配则所述预测图像对应的预测位姿的位姿概率越大,多个所述预测位姿的位姿概率之和为1;
在N个所述预测位姿满足收敛条件的情况下,将所述N个预测位姿确定为所述至少一个目标预测位姿。
7.根据权利要求5所述的方法,其特征在于,根据至少一个所述目标预测位姿确定所述交通工具的目标位姿,包括:
根据所述至少一个所述目标预测位姿确定所述交通工具的第一位姿;
根据所述第一位姿构建第一因子,并根据所述交通工具的激光里程计构建第二因子;
根据所述第一因子以及所述第二因子构建因子图,确定所述交通工具的目标位姿。
8.一种交通工具的定位装置,其特征在于,所述装置包括:
图像获取模块,用于获取交通工具所处环境的点云图像以及所述交通工具的N个预测位姿分别对应的预测图像,所述点云图像包括至少一个第一特征点,,所述预测图像包括多个第二特征点,所述预测图像包括卫星地图中与所述预测位姿对应的部分地图,其中,N为2以上的自然数;
类型匹配模块,用于将各所述第一特征点分别与N个所述预测图像的第二特征点进行类型匹配,得到各所述第一特征点在各所述预测图像对应的目标特征点,所述目标特征点的对象类型与对应的所述第一特征点的对象类型一致,所述目标特征点为多个所述第二特征点中的一个;
图像匹配模块,用于确定所述点云图像与各所述预测图像的图像匹配程度,其中,所述图像匹配程度与所述预测图像对应的特征点距离有关,所述特征点距离包括所述预测图像的目标特征点与对应的第一特征点之间的距离;
位姿识别模块,用于根据各所述预测图像对应的图像匹配程度以及所述预测位姿确定所述交通工具的目标位姿。
9.一种交通工具,其特征在于,包括存储器及处理器,所述存储器中存储有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器实现如权利要求1至7任一所述的方法。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至7任一所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211610048.5A CN118225078A (zh) | 2022-12-13 | 2022-12-13 | 交通工具的定位方法、装置、交通工具及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211610048.5A CN118225078A (zh) | 2022-12-13 | 2022-12-13 | 交通工具的定位方法、装置、交通工具及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN118225078A true CN118225078A (zh) | 2024-06-21 |
Family
ID=91496664
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211610048.5A Pending CN118225078A (zh) | 2022-12-13 | 2022-12-13 | 交通工具的定位方法、装置、交通工具及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN118225078A (zh) |
-
2022
- 2022-12-13 CN CN202211610048.5A patent/CN118225078A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11393216B2 (en) | Method of computer vision based localisation and navigation and system for performing the same | |
CN110675307B (zh) | 基于vslam的3d稀疏点云到2d栅格图的实现方法 | |
CN110163930B (zh) | 车道线生成方法、装置、设备、***及可读存储介质 | |
CN109211251B (zh) | 一种基于激光和二维码融合的即时定位与地图构建方法 | |
JP7326720B2 (ja) | 移動***置推定システムおよび移動***置推定方法 | |
CN113916243B (zh) | 目标场景区域的车辆定位方法、装置、设备和存储介质 | |
WO2022062480A1 (zh) | 移动设备的定位方法和定位装置 | |
CN114325634A (zh) | 一种基于激光雷达的高鲁棒性野外环境下可通行区域提取方法 | |
CN111812978B (zh) | 一种多无人机协作slam方法与*** | |
CN116295412A (zh) | 一种基于深度相机的室内移动机器人稠密建图与自主导航一体化方法 | |
Zhang et al. | Online ground multitarget geolocation based on 3-D map construction using a UAV platform | |
US20220164595A1 (en) | Method, electronic device and storage medium for vehicle localization | |
KR102249381B1 (ko) | 3차원 영상 정보를 이용한 모바일 디바이스의 공간 정보 생성 시스템 및 방법 | |
CN113838129A (zh) | 一种获得位姿信息的方法、装置以及*** | |
KR102130687B1 (ko) | 다중 센서 플랫폼 간 정보 융합을 위한 시스템 | |
CN112651991A (zh) | 视觉定位方法、装置及计算机*** | |
CN113379915B (zh) | 一种基于点云融合的行车场景构建方法 | |
CN113034538B (zh) | 一种视觉惯导设备的位姿跟踪方法、装置及视觉惯导设备 | |
CN115345944A (zh) | 外参标定参数确定方法、装置、计算机设备和存储介质 | |
CN118225078A (zh) | 交通工具的定位方法、装置、交通工具及存储介质 | |
CN116762094A (zh) | 数据处理方法和设备 | |
KR20220062709A (ko) | 모바일 디바이스 영상에 기반한 공간 정보 클러스터링에 의한 재난 상황 인지 시스템 및 방법 | |
CN113433566A (zh) | 地图建构***以及地图建构方法 | |
Sun et al. | Accurate deep direct geo-localization from ground imagery and phone-grade gps | |
CN115752476B (zh) | 一种基于语义信息的车辆地库重定位方法、装置、设备和介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination |