CN117308972A - 车辆定位方法、装置和存储介质及电子设备 - Google Patents
车辆定位方法、装置和存储介质及电子设备 Download PDFInfo
- Publication number
- CN117308972A CN117308972A CN202311285607.4A CN202311285607A CN117308972A CN 117308972 A CN117308972 A CN 117308972A CN 202311285607 A CN202311285607 A CN 202311285607A CN 117308972 A CN117308972 A CN 117308972A
- Authority
- CN
- China
- Prior art keywords
- lane line
- key point
- line key
- information
- inertial
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 80
- 238000005457 optimization Methods 0.000 claims abstract description 127
- 238000005070 sampling Methods 0.000 claims description 30
- 230000033001 locomotion Effects 0.000 claims description 27
- 230000008569 process Effects 0.000 claims description 27
- 230000001133 acceleration Effects 0.000 claims description 18
- 238000005315 distribution function Methods 0.000 claims description 16
- 238000004590 computer program Methods 0.000 claims description 15
- 230000010354 integration Effects 0.000 claims description 13
- 238000012545 processing Methods 0.000 claims description 8
- 230000009466 transformation Effects 0.000 claims description 5
- 238000004891 communication Methods 0.000 description 10
- 239000011159 matrix material Substances 0.000 description 10
- 238000012544 monitoring process Methods 0.000 description 9
- 230000004927 fusion Effects 0.000 description 8
- 238000004422 calculation algorithm Methods 0.000 description 7
- 230000008859 change Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 238000000605 extraction Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 230000008878 coupling Effects 0.000 description 4
- 238000010168 coupling process Methods 0.000 description 4
- 238000005859 coupling reaction Methods 0.000 description 4
- 238000006073 displacement reaction Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000011478 gradient descent method Methods 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
- G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
- G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
- G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
- G01C21/1656—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments with passive imaging devices, e.g. cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
Abstract
本申请公开了一种车辆定位方法、装置和存储介质及电子设备。其中,该方法包括:获取与连续的多个时间帧分别对应的多个车道线关键点集合,车道线关键点集合用于指示道路图像中的车道线所在的图像区域;获取与多个时间帧对应的惯性信息序列;基于惯性信息序列对多个车道线关键点集合分别进行重投影操作,得到多个参考车道线关键点集合;将参考车道线关键点集合中的车道线关键点与车道线关键点集合中的参考车道线关键点进行关键点匹配,并基于匹配的车道线关键点以及参考车道线关键点之间的位置残差建立优化目标;根据优化目标获取优化结果,并根据优化结果对目标车辆进行车辆定位。本申请解决了定位误差较大的技术问题。
Description
技术领域
本申请涉及智能驾驶领域,具体而言,涉及一种车辆定位方法、装置和存储介质及电子设备。
背景技术
作为自动驾驶的重要组成部分,高精度定位技术是自动驾驶汽车安全行驶不可或缺的核心技术之一。
当前主流定位技术主要在多传感器融合方面做探索,主要依赖于GNSS(GlobalNavigation Satellite System,全球导航卫星***)、Lidar(激光雷达)点云匹配、高精地图等多传感器融合来提高定位精度和可靠性。由于现在的高精定位技术通常非常依赖于GNSS,但GNSS在有遮挡或多径效应下,随着时间推移,里程计递推累计误差增大,定位将不可用。也就是说,现有的高精度定位技术存在定位误差较大的技术问题。
针对上述的问题,目前尚未提出有效的解决方案。
发明内容
本申请实施例提供了一种车辆定位方法、装置和存储介质及电子设备,以至少解决相关技术定位误差较大的技术问题。
根据本申请实施例的一个方面,提供了一种车辆定位方法,包括:获取与连续的多个时间帧分别对应的多个车道线关键点集合,其中,上述车道线关键点集合用于指示目标车辆在行驶过程中采集的道路图像中的车道线所在的图像区域;获取与上述多个时间帧对应的惯性信息序列,其中,上述惯性信息序列中的惯性信息分别对应于上述多个时间帧中的一个时间帧,上述惯性信息用于指示上述目标车辆与上述时间帧匹配的运动状态;基于上述惯性信息序列对多个上述车道线关键点集合分别进行重投影操作,得到多个参考车道线关键点集合,其中,多个上述参考车道线关键点集合与多个上述车道线关键点集合分别对应,上述参考车道线关键点集合中的参考车道线关键点用于指示上述道路图像中的参考车道线所在的图像区域,上述参考车道线为根据上述目标车辆的上述运动状态推算确定的车道线;将上述参考车道线关键点集合中的车道线关键点与上述车道线关键点集合中的参考车道线关键点进行关键点匹配,并基于匹配的上述车道线关键点以及上述参考车道线关键点之间的位置残差建立优化目标;根据上述优化目标获取优化结果,并根据上述优化结果对上述目标车辆进行车辆定位。
根据本申请实施例的另一方面,还提供了一种车辆定位装置,包括:第一获取单元,用于获取与连续的多个时间帧分别对应的多个车道线关键点集合,其中,上述车道线关键点集合用于指示目标车辆在行驶过程中采集的道路图像中的车道线所在的图像区域;第二获取单元,用于获取与上述多个时间帧对应的惯性信息序列,其中,上述惯性信息序列中的惯性信息分别对应于上述多个时间帧中的一个时间帧,上述惯性信息用于指示上述目标车辆与上述时间帧匹配的运动状态;重投影单元,用于基于上述惯性信息序列对多个上述车道线关键点集合分别进行重投影操作,得到多个参考车道线关键点集合,其中,多个上述参考车道线关键点集合与多个上述车道线关键点集合分别对应,上述参考车道线关键点集合中的参考车道线关键点用于指示上述道路图像中的参考车道线所在的图像区域,上述参考车道线为根据上述目标车辆的上述运动状态推算确定的车道线;优化单元,用于将上述参考车道线关键点集合中的车道线关键点与上述车道线关键点集合中的参考车道线关键点进行关键点匹配,并基于匹配的上述车道线关键点以及上述参考车道线关键点之间的位置残差建立优化目标;定位单元,用于根据上述优化目标获取优化结果,并根据上述优化结果对上述目标车辆进行车辆定位。
可选地,上述重投影单元包括:遍历模块,用于重复如下步骤,直至遍历多个上述车道线关键点集合:从多个上述车道线关键点集合中获取第一车道线关键点集合和第二车道线关键点集合,其中,上述第一车道线关键点集合与第一时间帧对应,上述第二车道线关键点集合与第二时间帧对应,上述第一时间帧和上述第二时间帧为两个相邻时间帧,上述第一时间帧为在上述第二时间帧之前的时间帧;获取上述第一车道线关键点集合在惯性坐标系的第一投影结果,将上述第一投影结果确定为第一惯性关键点集合,并根据上述第一惯性关键点集合,以及上述目标车辆在上述第一时间帧和上述第二时间帧之间的相对位姿,确定与上述第二时间帧对应的第二惯性关键点集合,其中,上述相对位姿为根据上述惯性信息序列中包括的上述惯性信息确定的位姿信息;获取上述第二惯性关键点集合在图像坐标系的第二投影结果,将上述第二投影结果确定为第二参考车道线关键点集合,其中,上述第二参考车道线关键点集合用于与上述第二车道线关键点进行关键点匹配。
可选地,上述遍历模块用于:从上述惯性信息序列中获取的与上述第一时间帧对应的第一惯性信息,以及与上述第二时间帧对应的第二惯性信息;分别获取上述第一惯性信息和上述第二惯性信息中携带的速度值和加速度值;根据上述速度值和上述加速度值获取在上述第一时间帧和上述第二时间帧指示的运动时间上的积分结果,并根据上述积分结果确定上述目标车辆的上述相对位姿;在上述惯性坐标系中根据上述相对位姿和上述第一惯性关键点集合确定上述第二惯性关键点集合。
可选地,上述第二获取单元包括:第一获取模块,用于获取上述目标车辆在多个参考时间帧分别采集的原始惯性信息;插值模块,用于在上述多个参考时间帧与上述多个时间帧不匹配的情况下,根据上述多个时间帧对多个上述原始惯性信息进行线性插值处理,得到与上述多个时间帧对应的惯性信息序列。
可选地,上述优化单元用于:重复执行如下操作,直至遍历多个上述车道线关键点集合:从多个上述车道线关键点集合中获取一个上述车道线关键点集合作为当前车道线关键点集合,并从多个上述参考车道线关键点集合中获取与上述当前车道线关键点集合匹配的当前参考关键点集合,其中,上述当前车道线关键点集合与上述当前参考关键点集合对应于同一个上述时间帧;依次获取上述当前车道线关键点集合中的每一个当前车道线关键点,并遍历获取上述当前参考关键点集合中的当前参考车道线关键点,在获取的上述当前车道线关键点和上述当前参考车道线关键点满足目标距离条件的情况下,确定上述当前车道线关键点和上述当前参考车道线关键点互相匹配。
可选地,上述第一获取单元包括:获取模块,用于获取上述目标车辆在行驶过程中通过智能摄像头在连续的上述多个时间帧分别采集的车道线信息,其中,上述车道线信息用于指示上述车道线在车辆坐标系下的对象位置;特征提取模块,用于分别根据每个上述时间帧对应的上述车道线信息进行特征点提取,得到多个上述车道线关键点集合。
可选地,上述特征提取模块,用于:获取当前时间帧对应的第一车道线信息;对上述第一车道线信息进行坐标转化,得到图像坐标系下的第二车道线信息,其中,上述第二车道线信息用于指示上述道路图像中上述车道线所在的图像位置;根据上述第二车道线信息从上述道路图像中确定出多个关键区域,并根据多个上述关键区域确定出与上述当前时间帧对应的上述车道线关键点集合,其中,上述关键区域为包括了上述车道线的图像区域。
可选地,上述优化单元包括:第一优化模块,用于基于匹配的上述车道线关键点以及上述参考车道线关键点之间的位置残差确定第一优化目标;第二优化模块,用于根据上述惯性信息序列中每两个相邻惯性信息所指示的相对位姿确定第二优化目标;第三优化模块,用于根据高精地图数据中携带的指示车道线位置的第一车道线位置信息,与智能摄像头数据中携带的指示车道线位置的第二车道线位置信息确定第三优化目标;建立模块,用于根据上述第一优化目标、第二优化目标以及上述第三优化目标建立上述优化目标。
可选地,上述第二优化模块用于:重复如下步骤,直至遍历上述惯性信息序列:从上述惯性信息序列中获取第三惯性信息和第四惯性信息,其中,上述第三惯性信息和上述第四惯性信息为分别对应于两个相邻时间帧的惯性信息,上述第三惯性信息对应的时间帧早于上述第四惯性信息对应的时间帧;根据上述三惯性信息和第四惯性信息确定出上述目标车辆的相对位姿;根据上述第三惯性信息和上述相对位姿确定第五惯性信息;根据上述第四惯性信息和上述第五惯性信息分别指示的车辆位姿确定上述第二优化目标。
可选地,上述第三优化模块用于:获取上述目标车辆在行驶过程根据上述高精地图数据获取的用于指示上述车道线的对象位置的采样点概率分布函数;获取上述目标车辆在行驶过程中通过智能摄像头采集的车道线信息,其中,上述车道线信息用于指示上述车道线在车辆坐标系下的对象位置;根据上述采样点概率分布函数和上述车道线信息确定上述第三优化目标。
根据本申请实施例的又一个方面,提供一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行如以上车辆定位方法。
根据本申请实施例的又一方面,还提供了一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其中,上述处理器通过计算机程序执行上述的车辆定位方法。
在本申请的上述实施例中,获取与连续的多个时间帧分别对应的多个车道线关键点集合,其中,上述车道线关键点集合用于指示目标车辆在行驶过程中采集的道路图像中的车道线所在的图像区域;
获取与上述多个时间帧对应的惯性信息序列,其中,上述惯性信息序列中的惯性信息分别对应于上述多个时间帧中的一个时间帧,上述惯性信息用于指示上述目标车辆与上述时间帧匹配的运动状态;
基于上述惯性信息序列对多个上述车道线关键点集合分别进行重投影操作,得到多个参考车道线关键点集合,其中,多个上述参考车道线关键点集合与多个上述车道线关键点集合分别对应,上述参考车道线关键点集合中的参考车道线关键点用于指示上述道路图像中的参考车道线所在的图像区域,上述参考车道线为根据上述目标车辆的上述运动状态推算确定的车道线;将上述参考车道线关键点集合中的车道线关键点与上述车道线关键点集合中的参考车道线关键点进行关键点匹配,并基于匹配的上述车道线关键点以及上述参考车道线关键点之间的位置残差建立优化目标;根据上述优化目标获取优化结果,并根据上述优化结果对上述目标车辆进行车辆定位,从而实现了通过对图像中的车道线关键点的识别以及惯性信息对车辆的高精度定位。
通过本申请的上述实施方式,通过获取在多个时间帧分别采集的车道线关键点集合,并结合车辆行驶过程中采集的惯性信息对车道线关键点进行重投影,进而根据重投影结果与采集到的车道线关键点之间的位置损失确定优化目标,进而对根据优化结果实现对车辆的高精度定位,避免采用GNSS数据进行融合定位,进而解决了GNSS数据所带来的的定位误差加大的技术问题;此外,根据车辆采集的车道线关键点数据和惯性数据实现高精度定位,显著降低了利用多数据源进行融合定位的算法复杂度,提升了定位效率。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1是根据本申请实施例的一种可选的车辆定位方法的应用环境的示意图;
图2是根据本申请实施例的一种可选的车辆定位方法的流程图;
图3是根据本申请实施例的一种可选的坐标转换过程的示意图;
图4是根据本申请实施例的另一种可选的坐标转换过程的示意图;
图5是根据本申请实施例的一种可选的车道线采样点的示意图;
图6是根据本申请实施例的一种可选的车道线区域的示意图;
图7是根据本申请实施例的一种可选的车道线关键点的示意图;
图8是根据本申请实施例的一种可选的非线性优化器的示意图;
图9是根据本申请实施例的一种可选的车辆定位优化方法的流程图;
图10是根据本申请实施例的一种车辆定位装置的结构示意图;
图11是根据本申请实施例的一种可选的电子设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分的实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本申请保护的范围。
需要说明的是,本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
根据本申请实施例的一个方面,提供了一种车辆定位方法,可选地,上述车辆定位方法可以但不限于应用于如图1所示的硬件环境中。可选地,本申请提供的上述车辆定位方法可以应用于一种车辆终端中。图1示出了车辆终端101的侧视图,车辆终端101可以在行进表面113上行驶。车辆终端101包括存储有机载导航***103、数字化道路地图104的存储器102、空间监测***117、交通工具控制器109、GPS(全球定位***)传感器110、HMI(人/机交互界面)装置111,还包括自主控制器112和远程信息处理控制器114。
在一个实施例中,空间监测***117包括一个或多个空间传感器和***,空间传感器和***用于监测车辆终端101前方的可视区域105,空间监测***117中还包括空间监测控制器118;用于监测可视区域105的空间传感器包括激光雷达传感器106、雷达传感器107、摄像头108等。空间监测控制器118可以用于基于来自空间传感器的数据输入生成与可视区域105相关的数据。空间监测控制器118可以根据来自空间传感器的输入,确定车辆终端101的线性范围、相对速度和轨迹,例如,确定自车的当前速度以及相较于前车的相对速度。车辆终端空间监测***117的空间传感器可包括对象定位感测装置,对象定位感测装置可以包括范围传感器,范围传感器可以用于定位前方对象例如前车对象。在一种实施方式中,上述空间检测控制器118可以通过如下步骤实现对车辆终端101的高精度定位:
S1,获取与连续的多个时间帧分别对应的多个车道线关键点集合,其中,车道线关键点集合用于指示目标车辆在行驶过程中采集的道路图像中的车道线所在的图像区域;
S2,获取与多个时间帧对应的惯性信息序列,其中,惯性信息序列中的惯性信息分别对应于多个时间帧中的一个时间帧,惯性信息用于指示目标车辆与时间帧匹配的运动状态;
S3,基于惯性信息序列对多个车道线关键点集合分别进行重投影操作,得到多个参考车道线关键点集合,其中,多个参考车道线关键点集合与多个车道线关键点集合分别对应,参考车道线关键点集合中的参考车道线关键点用于指示道路图像中的参考车道线所在的图像区域,参考车道线为根据目标车辆的运动状态推算确定的车道线;
S4,将参考车道线关键点集合中的车道线关键点与车道线关键点集合中的参考车道线关键点进行关键点匹配,并基于匹配的车道线关键点以及参考车道线关键点之间的位置残差建立优化目标;
根据所述优化目标获取优化结果,并根据所述优化结果对所述目标车辆进行车辆定位。
摄像头108有利地被安装和定位在车辆终端101上处于允许捕获可视区域105的图像的位置中,其中,可视区域105的至少部分包括在车辆终端101前方并且包括车辆终端101的轨迹的行进表面113的部分。可视区域105还可包括周围环境。还可采用其它摄像头,例如,包括被设置在车辆终端101的后部分或侧部分上的第二摄像头,以监测车辆终端101的后方以及车辆终端101的右侧或左侧中的一个。
自主控制器112被配置成实施自主驾驶或高级驾驶员辅助***(ADAS)车辆终端功能性。此类功能性可包括能够提供一定驾驶自动化水平的车辆终端机载控制***。驾驶自动化可包括一系列动态驾驶和车辆终端操作。驾驶自动化可包括涉及单个车辆终端功能(例如,转向、加速和/或制动)的某种水平的自动控制或干预。
HMI装置111提供人机交互,用于指导信息娱乐***、GPS(全球定位***)传感器110、机载导航***103和类似的操作的目的,并且包括控制器。HMI装置111监测操作者请求,并且向操作者提供车辆终端***的状态、服务和维护信息。HMI装置111与多个操作者界面装置通信,和/或控制多个操作者界面装置的操作。HMI装置111还可与一个或多个装置通信,所述一个或多个装置监测与车辆终端操作者相关联的生物特征数据。为了描述的简单性,HMI装置111被描绘为单一装置,但是在本文描述的***的实施例中,可被配置为多个控制器和相关联的感测装置。
操作者控制件可被包括在车辆终端101的乘客舱中,并且通过非限制性示例的方式可包括方向盘、加速器踏板、制动踏板和操作者输入装置,所述操作者输入装置是HMI装置111的元件。操作者控制件使得车辆终端操作者能够与运行的车辆终端101交互,并且指导车辆终端101的操作,以提供乘客运输。
机载导航***103采用数字化道路地图104,用于向车辆终端操作者提供导航支持和信息的目的。自主控制器112采用数字化道路地图104,用于控制自主车辆终端操作或ADAS车辆终端功能的目的。
车辆终端101可包括远程信息处理控制器114,远程信息处理控制器114包括能够进行车辆终端外通信(包括与具有无线和有线通信能力的通信网络115通信)的无线远程信息处理通信***。无线远程信息处理通信***中包括非机载服务器116,能够与移动终端短程无线通信。
通过本申请的上述实施方式,基于用于指示自车和前车之间的相对运动的相关参数以及指示自车在历史周期内的行驶状态的相关参数,量化分析前方障碍物与自车相对关系对意图生成的影响,实现对行驶场景的准确理解,从而对当前行驶环境中进行换道操作的安全性,以及行驶状态进行量化评估,从而将评估标准与复杂的道路行驶场景高度适配,实现生成换道意图的技术效果,从而解决了现有方式生成的换道意图无法准确适配复杂的道路场景,进而导致生成的换道意图存在的不准确的技术问题。
作为一种可选的实施方式,如图2所示,车辆定位方法可以由如图1所示的车辆终端中包括的电子设备,具体步骤包括:
S202,获取与连续的多个时间帧分别对应的多个车道线关键点集合,其中,车道线关键点集合用于指示目标车辆在行驶过程中采集的道路图像中的车道线所在的图像区域;
S204,获取与多个时间帧对应的惯性信息序列,其中,惯性信息序列中的惯性信息分别对应于多个时间帧中的一个时间帧,惯性信息用于指示目标车辆与时间帧匹配的运动状态;
S206,基于惯性信息序列对多个车道线关键点集合分别进行重投影操作,得到多个参考车道线关键点集合,其中,多个参考车道线关键点集合与多个车道线关键点集合分别对应,参考车道线关键点集合中的参考车道线关键点用于指示道路图像中的参考车道线所在的图像区域,参考车道线为根据目标车辆的运动状态推算确定的车道线;
S208,将参考车道线关键点集合中的车道线关键点与车道线关键点集合中的参考车道线关键点进行关键点匹配,并基于匹配的车道线关键点以及参考车道线关键点之间的位置残差建立优化目标;
S210,根据优化目标获取优化结果,并根据优化结果对目标车辆进行车辆定位。
在上述步骤S202中,上述车道线关键点集合可以是用于指示道路图像中的车道线所在的图像区域。在一种可选的方式中,上述道路图像可以是车载摄像头采集的道路图像,还可以是一种车载智能摄像头采集的道路图像。需要说明的是,上述车载摄像头可以直接获取目标车辆前方的道路图像,接着通过对道路图像的进行图像识别,确定出车道线所在的图像位置;上述车载智能摄像头可以直接获取图像中的图像对象基于车辆坐标系的对象坐标,进而基于获取的车道线坐标确定出对应的车道线关键点。在一种优选的方式中,上述车道线关键点还可以是基于上述智能摄像头采集到车道线在车辆坐标系下的坐标后,转化至平面图像坐标系后,再对平面图像坐标系中的图像对象进行关键点采集得到的车道线关键点集合。在本实施方式中,不对上述获取与连续的多个时间帧分别对应的多个车道线关键点集合的具体方式进行限定。
在上述步骤S204中所获取的惯性信息序列与上述步骤S202中获取的多个车道线关键点集合所对应于相同的多个时间帧。例如,在采集的车道线关键点集合为10个的情况下,10个车道线关键点集合分别对应于第一时间帧,第二时间帧、第三时间帧……第十时间帧;对应地,上述步骤S204中的惯性信息序列中包括的多个惯性信息序列,同样分别对应于上述第一时间帧,第二时间帧、第三时间帧……第十时间帧。
上述惯性信息可以包括但不限于是目标车辆上搭载的惯性传感器获取的用于表征车辆运动状态的惯性数据,包括但不限于是目标车辆的实时加速度、速度、重力加速度等数值。在本实施方式中,不对上述惯性信息所包括的具体数值类型进行限定。
可以理解的是,上述惯性信息可以用于确定出目标车辆在各个时间点的运动状态或特定周期内的相对位移;而目标车辆获取的道路图像中所包括的车道线会根据车辆的相对位移对应发生位置变化,进而可以通过惯性信息和用于表征车道线位置的车道线关键点对车辆当前定位的进行校正。
具体而言,可以通过如上述步骤S206和S208中的重投影的方式联合惯性信息和车道线关键点进行位置校正。上述重投影的方式可以包括但不限于如下方式中的一种:
方式一、在车道线关键点所对应的点空间为图像空间(即关键点的位置坐标是基于图像坐标系确定的)的情况下,将车道线关键点从图像空间投影至车辆惯性空间,并基于惯性数据确定出各个车道线关键点的相对位移,确定出处于新的位置上的车道线关键点,再将新的位置上的车道线关键点重投影至图像空间,与图像空间中的原车道线关键点进行匹配,基于匹配结果确定出惯性空间中关键点位置与图像空间中关键点位置的残差;
方式二、在车道线关键点所对应的点空间为车辆空间(即关键点的位置坐标是基于车辆坐标系确定的)的情况下,将车道线关键点从车辆空间投影至惯性空间,并基于惯性数据确定出各个车道线关键点的相对位移,确定出惯性空间中处于新的位置上的车道线关键点,再将新的位置上的车道线关键点重投影至车辆空间,与车辆空间中的原车道线关键点进行匹配,基于匹配结果确定出惯性空间中关键点位置与车辆空间中关键点位置的残差。
可以理解的是,在通过上述方式确定出车道线残差的情况下,即可根据车道线位置残差建立优化目标,例如,优化目标可以是使得各个车道线残差的加权平均值最小,进而确定出满足上述优化目标的目标车辆的定位信息。
可选地,建立上述优化目标的过程还可以是在利用上述车道线关键点位置残差的基础上,结合其他参考优化目标确定最终的优化目标,进而根据多个优化目标提升定位的准确性。
基于上述惯性信息序列对多个上述车道线关键点集合分别进行重投影操作,得到多个参考车道线关键点集合,其中,多个上述参考车道线关键点集合与多个上述车道线关键点集合分别对应,上述参考车道线关键点集合中的参考车道线关键点用于指示上述道路图像中的参考车道线所在的图像区域,上述参考车道线为根据上述目标车辆的上述运动状态推算确定的车道线;将上述参考车道线关键点集合中的车道线关键点与上述车道线关键点集合中的参考车道线关键点进行关键点匹配,并基于匹配的上述车道线关键点以及上述参考车道线关键点之间的位置残差建立优化目标;根据上述优化目标获取优化结果,并根据上述优化结果对上述目标车辆进行车辆定位,从而实现了通过对图像中的车道线关键点的识别以及惯性信息对车辆的高精度定位。
通过本申请的上述实施方式,通过获取在多个时间帧分别采集的车道线关键点集合,并结合车辆行驶过程中采集的惯性信息对车道线关键点进行重投影,进而根据重投影结果与采集到的车道线关键点之间的位置损失确定优化目标,进而对根据优化结果实现对车辆的高精度定位,避免采用GNSS数据进行融合定位,进而解决了GNSS数据所带来的的定位误差加大的技术问题;此外,根据车辆采集的车道线关键点数据和惯性数据实现高精度定位,显著降低了利用多数据源进行融合定位的算法复杂度,提升了定位效率。
在一种可选的实施方式中,上述基于惯性信息序列对多个车道线关键点集合分别进行重投影操作,得到多个参考车道线关键点集合包括:
S1,重复如下步骤,直至遍历多个车道线关键点集合:
S1-1,从多个车道线关键点集合中获取第一车道线关键点集合和第二车道线关键点集合,其中,第一车道线关键点集合与第一时间帧对应,第二车道线关键点集合与第二时间帧对应,第一时间帧和第二时间帧为两个相邻时间帧,第一时间帧为在第二时间帧之前的时间帧;
S1-2,获取第一车道线关键点集合在惯性坐标系的第一投影结果,将第一投影结果确定为第一惯性关键点集合,并根据第一惯性关键点集合,以及目标车辆在第一时间帧和第二时间帧之间的相对位姿,确定与第二时间帧对应的第二惯性关键点集合,其中,相对位姿为根据惯性信息序列中包括的惯性信息确定的位姿信息;
S1-3,获取第二惯性关键点集合在图像坐标系的第二投影结果,将第二投影结果确定为第二参考车道线关键点集合,其中,第二参考车道线关键点集合用于与第二车道线关键点进行关键点匹配。
可以理解的是,上述遍历步骤可以是依次获取对应于两个相邻时间帧的车道线关键点集合并进行重投影操作。具体而言可以将第一时间帧的车道线关键点基于惯性系中的投影结果(即上述第一惯性关键点集合),结合惯性信息确定出第一车道线关键点集合中的车道线关键点在惯性系中移动后的第二惯性关键点集合,再将第二惯性关键点集合投影至图像空间,得到第二参考车道线关键点集合。由于分别对应于相邻时间帧的上述第一车道线关键点集合以及第二车道线关键点集合可以用于表征在图像空间中车道线的相对位姿,而经过上述投影得到的第一惯性关键点集合和第二惯性关键点集合可以用以表征惯性空间中车道线的相对位姿,进而可以结合上述关键点集合可以用于对目标车辆的位置进行优化和矫正。
在一种可选的实施方式中,上述根据第一惯性关键点集合,以及目标车辆在第一时间帧和第二时间帧之间的相对位姿,确定与第二时间帧对应的第二惯性关键点集合包括:
S1,从惯性信息序列中获取的与第一时间帧对应的第一惯性信息,以及与第二时间帧对应的第二惯性信息;
S2,分别获取第一惯性信息和第二惯性信息中携带的速度值和加速度值;
S3,根据速度值和加速度值获取在第一时间帧和第二时间帧指示的运动时间上的积分结果,并根据积分结果确定目标车辆的相对位姿;
S4,在惯性坐标系中根据相对位姿和第一惯性关键点集合确定第二惯性关键点集合。
可以理解的是,上述实施方式给出了一种根据惯性信息确定出关键点的相对位姿的计算方法。以下对一种具体地根据惯性信息确定出相对位姿的方法进行说明。
首先,可以通过如下积分公式计算时间帧ti与时间帧tj之间车辆对象的相对旋转Rij:
其中,wt为与上述时间帧对应的惯性信息中所包括的车辆角速度,上述相对旋转Rij为一个3*3的矩阵。
接着,通过对加速度at进行积分得到相对位姿Tij:
其中,vi为目标车辆在时间帧ti的速度,g为重力加速度在imu系下的投影,为一个3*1的矩阵。
通过本申请的上述实施方式,从惯性信息序列中获取的与第一时间帧对应的第一惯性信息,以及与第二时间帧对应的第二惯性信息;分别获取第一惯性信息和第二惯性信息中携带的速度值和加速度值;根据速度值和加速度值获取在第一时间帧和第二时间帧指示的运动时间上的积分结果,并根据积分结果确定目标车辆的相对位姿;在惯性坐标系中根据相对位姿和第一惯性关键点集合确定第二惯性关键点集合,从而根据惯性信息精确确定出在与第一车道线关键点集合和第二车道线关键点集合匹配的相对位姿。
在一种可选的实施方式中,上述将参考车道线关键点集合中的车道线关键点与车道线关键点集合中的参考车道线关键点进行关键点匹配包括:
S1,重复执行如下操作,直至遍历多个车道线关键点集合:
S1-1,从多个车道线关键点集合中获取一个车道线关键点集合作为当前车道线关键点集合,并从多个参考车道线关键点集合中获取与当前车道线关键点集合匹配的当前参考关键点集合,其中,当前车道线关键点集合与当前参考关键点集合对应于同一个时间帧;
S1-2,依次获取当前车道线关键点集合中的每一个当前车道线关键点,并遍历获取当前参考关键点集合中的当前参考车道线关键点,在获取的当前车道线关键点和当前参考车道线关键点满足目标距离条件的情况下,确定当前车道线关键点和当前参考车道线关键点互相匹配。
继续以前文中的第一车道线关键点集合和第二车道线关键点集合、第一惯性关键点集合和第二惯性关键点集合以及第二参考车道线关键点集合对上述实施方式进行说明。
在本实施方式中,可以将前一帧图像中的关键点Pi(即上述第一车道线关键点集合中的第一车道线关键点)通过投影矩阵M投影到imu坐标系下(得到上述第一惯性关键点集合中的第一惯性关键点),再通过Tij得到imu坐标系下根据相对位姿更新得到的参考关键点(即上述第二惯性关键点集合中的第二惯性关键点),进而将参考关键点投影到当前图像中重投影关键点P(得到第二参考车道线关键点集合中的第二参考车道线关键点),离投影点P距离最近并且描述子汉明距离小于一定阈值的点Pj(即第二车道线关键点集合中的第二车道线关键点)认为匹配成功。
需要说明的是,上描述子为上述关键点的周围像素点的分布特征。上述各个关键点各自对应的关键点描述子的获取可以是在确定出上述第一车道线关键点集合和第二车道线关键点集合的同时通过相关图像描述子算法进行获取。
上述投影过程可以通过如下公式进行描述:
其中,M为相机投影矩阵乘外参矩阵,λj为第i帧(时间戳为i)中的特征点的逆深度。
基于上述投影结果确定出匹配的特征点之后,可以通过如下方式确定出匹配的特征点之间的位置残差:
其中,m为为第i帧包含的特征点的数量,Pik为第i帧的第k个车道线关键点,Pjk为第j帧中与上述第i帧的第k个车道线关键点匹配的关键点,∑代表范数计算结果。
通过本申请的上述实施方式,即可通过获取在多个时间帧分别采集的车道线关键点集合,并结合车辆行驶过程中采集的惯性信息对车道线关键点进行重投影,进而根据重投影结果与采集到的车道线关键点之间的位置损失确定优化目标,进而对根据优化结果实现对车辆的高精度定位,避免采用GNSS数据进行融合定位,进而解决了GNSS数据所带来的定位误差加大的技术问题;此外,根据车辆采集的车道线关键点数据和惯性数据实现高精度定位,显著降低了利用多数据源进行融合定位的算法复杂度,提升了定位效率。
在一种可选的实施方式中,上述获取与多个时间帧对应的惯性信息序列包括:
S1,获取目标车辆在多个参考时间帧分别采集的原始惯性信息;
S2,在多个参考时间帧与多个时间帧不匹配的情况下,根据多个时间帧对多个原始惯性信息进行线性插值处理,得到与多个时间帧对应的惯性信息序列。
可以理解的是,在目标车辆的不同传感器的信号采集周期不匹配的情况下,可以通过上述线性插值的方式获取与相同时间帧匹配的传感器信号。具体地,在上述实施方式中,目标车辆基于图像传感器采集道路图像的第一采集周期,与目标车辆基于惯性传感器采集车辆惯性信息的第二采集周期相比,第一采集周期短于第二采集周期的情况下,可以通过上述线性插值的方式得到与第一采集周期相同的惯性信息。
具体方式可以是根据图像时间帧对惯性传感器数据进行线性插值:
其中,ti为图像传感器对应的时间戳,t1、t2分别为ti前后的惯性传感器数据时间戳,I1、I2为惯性传感器数据,Ii为线性插值得到的时间戳为ti的惯性数据。
在一种可选的实施方式中,上述获取与连续的多个时间帧分别对应的多个车道线关键点集合包括:
S1,获取目标车辆在行驶过程中通过智能摄像头在连续的多个时间帧分别采集的车道线信息,其中,车道线信息用于指示车道线在车辆坐标系下的对象位置;
S2,分别根据每个时间帧对应的车道线信息进行特征点提取,得到多个车道线关键点集合。
在一种可选的实施方式中,上述分别根据每个时间帧对应的车道线信息进行特征点提取,得到多个车道线关键点集合包括:
S1,获取当前时间帧对应的第一车道线信息;
S2,对第一车道线信息进行坐标转化,得到图像坐标系下的第二车道线信息,其中,第二车道线信息用于指示道路图像中车道线所在的图像位置;
S3,根据第二车道线信息从道路图像中确定出多个关键区域,并根据多个关键区域确定出与当前时间帧对应的车道线关键点集合,其中,关键区域为包括了车道线的图像区域。
以下对获取上述车道线关键点的过程进行具体说明。
首先获取车载智能摄像头在多个连续时间帧采集的智能摄像头数据,上述智能摄像头数据包括图像信息以及语义信息。其中,语义信息包含目标语义以及目标在车体系下的三维位置,以及目标语义在图像中的像素范围。上述目标语义可以用于指示图像中的目标对象,例如车道线对象、道行树对象、红绿灯对象等。
需要说明的是,由于智能摄像头输出的是世界系下车道线的采样点,为了得到图像上的车道线采样点来选取ROI(关键点),需要将世界系下车道线的采样点重投影到图像上。
具体地,如图3所示,可以结合上述车载智能摄像头的外参[R,T]将世界系下的车道线采样点Pw转换到相机系下得到Pc:
Pc=R*Pw+T
如图4所示,接着通过相机内参fx,fy,cx,cy将Pc投影至像平面,得到像平面的采样点(px,py):
px=fx*Xc/Zc+cx
py=fy*Yc/Zc+cy
通过对智能摄像头采集的车道线采样点进行上述处理后,即可在像平面中将车道线采样点进行标识如图5所示。
接着,选取图5中各个采样点p附近30*30像素区域,将多个采样点各自对应的像素区域的连接区域确定为图像中车道线所在的关键区域,如图6所示。
最后,如图7所示,从采样点中将各个关键区域的角点确定为当前图像帧中包括的车道线关键点。
在一种可选的实施方式中,上述基于匹配的车道线关键点以及参考车道线关键点之间的位置残差建立优化目标包括:
S1,基于匹配的车道线关键点以及参考车道线关键点之间的位置残差确定第一优化目标;
S2,根据惯性信息序列中每两个相邻惯性信息所指示的相对位姿确定第二优化目标;
S3,根据高精地图数据中携带的指示车道线位置的第一车道线位置信息,与智能摄像头数据中携带的指示车道线位置的第二车道线位置信息确定第三优化目标;
S4,根据第一优化目标、第二优化目标以及第三优化目标建立优化目标。
可以理解的是,在本实施方式中,可以进一步结合惯性数据、高精地图数据确定出多个优化目标,根据多个优化目标的优化结果确定出目标车辆的定位信息。
可选地,上述根据惯性信息序列中每两个相邻惯性信息所指示的相对位姿确定第二优化目标包括:
S1,重复如下步骤,直至遍历惯性信息序列:
S1-1,从惯性信息序列中获取第三惯性信息和第四惯性信息,其中,第三惯性信息和第四惯性信息为分别对应于两个相邻时间帧的惯性信息,第三惯性信息对应的时间帧早于第四惯性信息对应的时间帧;
S1-2,根据三惯性信息和第四惯性信息确定出目标车辆的相对位姿;
S1-3,根据第三惯性信息和相对位姿确定第五惯性信息;
S1-4,根据第四惯性信息和第五惯性信息分别指示的车辆位姿确定第二优化目标。
在本实施方式中,可以根据各个时间帧对应的惯性数据确定出目标车辆的位姿残差,即IMU残差:
其中,Ti为窗口中第i帧的位姿,Tij为imu积分得到的i和j帧间相对位姿。
可选地,上述根据高精地图数据中携带的指示车道线位置的第一车道线位置信息,与智能摄像头数据中携带的指示车道线位置的第二车道线位置信息确定第三优化目标包括:
S1,获取目标车辆在行驶过程根据高精地图数据获取的用于指示车道线的对象位置的采样点概率分布函数;
S2,获取目标车辆在行驶过程中通过智能摄像头采集的车道线信息,其中,车道线信息用于指示车道线在车辆坐标系下的对象位置;
S2,根据采样点概率分布函数和车道线信息确定第三优化目标。
在本实施方式中,可以通过计算对应地图车道线采样点的概率分布函数,取滑动窗口中车道线在概率分布函数上的概率的负对数作为车道线误差,加入非线性优化器,具体计算公式如下:
车道线残差=-log(p(Tj*lanej))
其中,lanej为第j帧的车道线采样点,p为附近高精地图车道线采样点概率分布函数,在本实施方式中,通过取负对数使得概率越大误差越小。
如图8所示,最终结合上述车道线残差、IMU残差以及重投影残差建立的优化目标如下:
可以理解的是,基于上述优化目标为一种非线性优化器,可以通过包括但不限于是最小二乘法、最速梯度下降法、牛顿法、高斯牛顿法、LM(Levenberg-Marquadt)算法得到优化结果,将得到的优化结果反馈给车载地图***以及imu模块即可更新得到更准确的车辆定位结果。
以下结合图9对本申请的一个完整实施例进行说明。
如图9所示,在本实施方式中,主要通过车道线关键点重投影残差、车辆IMU残差以及车道线残差建立紧耦合优化。
S1,由智能摄像头得到图像和车道线在车体系下的采样点,再由内外参将采样点投影到图片上,取投影点附近区域为感兴趣区域,在此区域中提取车道线角点作为特征点,特征点和特征点地图中的特征点匹配,没有匹配到的加入特征点地图。特征点地图为一定帧数量形成的滑动窗口包含的所有特征点。所有匹配到的特征点计算重投影误差,加入非线性优化器。
具体地,S1-1,首先获取智能摄像头数据,其中,智能摄像头数据中包括了三维车道线的识别结果;
S1-2,根据三维车道线的识别结果进行坐标转化和投影,确定出车道线在图像中对应的关键区域(即2D车道线区域)。需要说明的是,由于智能摄像头输出的是世界系下车道线的采样点,因此需要投影到图像得到图像上的车道线区域。
S1-3,如图7所示,对关键区域中的像素点提取角点作为车道线关键点,然后对每个车道线关键点计算描述子,描述子用于表征上述车道线关键点所在的图像像素区域的区域特征。通过上述方式即可确定出对应于每个时间帧的车道线关键点集合。
S1-4,获取惯性传感器数据,惯性传感器数据包括角速度以及加速度,根据分线程分别进行图像特征提取以及惯性传感器数据预积分,得到目标车辆的在连续两个时间帧之间的相对位姿。
具体地,在目标车辆基于图像传感器采集道路图像的第一采集周期,与目标车辆基于惯性传感器采集车辆惯性信息的第二采集周期相比,第一采集周期短于第二采集周期的情况下,可以通过线性插值的方式得到与第一采集周期相同的惯性信息。
具体方式可以是根据图像时间帧对惯性传感器数据进行线性插值:
其中,ti为图像传感器对应的时间戳,t1、t2分别为ti前后的惯性传感器数据时间戳,I1、I2为惯性传感器数据,Ii为线性插值得到的时间戳为ti的惯性数据。
接着,通过预积分获取两帧图像之间的惯性数据积分得到两帧图像的相对位姿关系:
首先,可以通过如下积分公式计算时间帧ti与时间帧tj之间车辆对象的相对旋转Rij:
其中,wt为与上述时间帧对应的惯性信息中所包括的车辆角速度,上述相对旋转Rij为一个3*3的矩阵。
接着,通过对加速度at进行积分得到相对位姿Tij:
其中,vi为目标车辆在时间帧ti的速度,g为重力加速度在imu系下的投影,为一个3*1的矩阵。
S1-5,进行关键点匹配。以前文中的第一车道线关键点集合和第二车道线关键点集合、第一惯性关键点集合和第二惯性关键点集合以及第二参考车道线关键点集合对上述实施方式进行说明。
在本实施方式中,可以将前一帧图像中的关键点Pi(即上述第一车道线关键点集合中的第一车道线关键点)通过投影矩阵M投影到imu坐标系下(得到上述第一惯性关键点集合中的第一惯性关键点),再通过Tij得到imu坐标系下根据相对位姿更新得到的参考关键点(即上述第二惯性关键点集合中的第二惯性关键点),进而将参考关键点投影到当前图像中重投影关键点P(得到第二参考车道线关键点集合中的第二参考车道线关键点),离投影点P距离最近并且描述子汉明距离小于一定阈值的点Pj(即第二车道线关键点集合中的第二车道线关键点)认为匹配成功。
需要说明的是,上描述子为上述关键点的周围像素点的分布特征。上述各个关键点各自对应的关键点描述子的获取可以是在确定出上述第一车道线关键点集合和第二车道线关键点集合的同时通过相关图像描述子算法进行获取。
上述投影过程可以通过如下公式进行描述:
其中,M为相机投影矩阵乘外参矩阵,λj为第i帧(时间戳为i)中的特征点的逆深度。
基于上述投影结果确定出匹配的特征点之后,可以通过如下方式确定出匹配的特征点之间的位置残差:
其中,m为为第i帧包含的特征点的数量,Pik为第i帧的第k个车道线关键点,Pjk为第j帧中与上述第i帧的第k个车道线关键点匹配的关键点,∑代表范数计算结果。
S2,对于滑动窗口中对应的车道线,计算对应地图车道线采样点的概率分布函数,取滑动窗口中车道线在概率分布函数上的概率的负对数作为车道线误差,加入非线性优化器。
在本步骤中,可以通过计算对应地图车道线采样点的概率分布函数,取滑动窗口中车道线在概率分布函数上的概率的负对数作为车道线误差,加入非线性优化器,具体计算公式如下:
车道线残差=-log(p(Tj*lanej))
其中,lanej为第j帧的车道线采样点,p为附近高精地图车道线采样点概率分布函数,在本实施方式中,通过取负对数使得概率越大误差越小。
S3,根据各个时间帧对应的惯性数据确定出目标车辆的位姿残差,即IMU残差:
其中,Ti为窗口中第i帧的位姿,Tij为imu积分得到的i和j帧间相对位姿。
S4,将预积分结果,特征点匹配结果以及车道线数据加入非线性优化器,优化因子图如图8所示,结合上述车道线残差、IMU残差以及重投影残差建立的优化目标如下:
可以理解的是,基于上述优化目标为一种非线性优化器,可以通过包括但不限于是最小二乘法、最速梯度下降法、牛顿法、高斯牛顿法、LM(Levenberg-Marquadt)算法得到优化结果,将得到的优化结果反馈给车载地图***以及imu模块即可更新得到更准确的车辆定位结果。
S5,通过上述优化目标进行优化得到当前帧位姿作为观测结果。
通过本申请的上述实施方式,使用智能摄像头的车道线别结果,在识别框范围内提取车道线角点作为特征点,提取范围减小,特征点数量减少大大减小了计算量,车道线上的特征点作为局部纵向约束减小累积误差,提高定位精度;此外,将高精地图以及连续帧的3d车道线采样点加入紧耦合优化,进一步增加航向角约束,提高定位精度。
需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本申请并不受所描述的动作顺序的限制,因为依据本申请,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本申请所必须的。
根据本申请实施例的另一个方面,还提供了一种用于实施上述车辆定位方法的车辆定位装置。如图10所示,该装置包括:
第一获取单元1002,用于获取与连续的多个时间帧分别对应的多个车道线关键点集合,其中,上述车道线关键点集合用于指示目标车辆在行驶过程中采集的道路图像中的车道线所在的图像区域;
第二获取单元1004,用于获取与上述多个时间帧对应的惯性信息序列,其中,上述惯性信息序列中的惯性信息分别对应于上述多个时间帧中的一个时间帧,上述惯性信息用于指示上述目标车辆与上述时间帧匹配的运动状态;
重投影单元1006,用于基于上述惯性信息序列对多个上述车道线关键点集合分别进行重投影操作,得到多个参考车道线关键点集合,其中,多个上述参考车道线关键点集合与多个上述车道线关键点集合分别对应,上述参考车道线关键点集合中的参考车道线关键点用于指示上述道路图像中的参考车道线所在的图像区域,上述参考车道线为根据上述目标车辆的上述运动状态推算确定的车道线;
优化单元1008,用于将上述参考车道线关键点集合中的车道线关键点与上述车道线关键点集合中的参考车道线关键点进行关键点匹配,并基于匹配的上述车道线关键点以及上述参考车道线关键点之间的位置残差建立优化目标;
定位单元1010,用于根据上述优化目标获取优化结果,并根据上述优化结果对上述目标车辆进行车辆定位。
可选地,上述重投影单元1006包括:遍历模块,用于重复如下步骤,直至遍历多个上述车道线关键点集合:从多个上述车道线关键点集合中获取第一车道线关键点集合和第二车道线关键点集合,其中,上述第一车道线关键点集合与第一时间帧对应,上述第二车道线关键点集合与第二时间帧对应,上述第一时间帧和上述第二时间帧为两个相邻时间帧,上述第一时间帧为在上述第二时间帧之前的时间帧;获取上述第一车道线关键点集合在惯性坐标系的第一投影结果,将上述第一投影结果确定为第一惯性关键点集合,并根据上述第一惯性关键点集合,以及上述目标车辆在上述第一时间帧和上述第二时间帧之间的相对位姿,确定与上述第二时间帧对应的第二惯性关键点集合,其中,上述相对位姿为根据上述惯性信息序列中包括的上述惯性信息确定的位姿信息;获取上述第二惯性关键点集合在图像坐标系的第二投影结果,将上述第二投影结果确定为第二参考车道线关键点集合,其中,上述第二参考车道线关键点集合用于与上述第二车道线关键点进行关键点匹配。
可选地,上述遍历模块用于:从上述惯性信息序列中获取的与上述第一时间帧对应的第一惯性信息,以及与上述第二时间帧对应的第二惯性信息;分别获取上述第一惯性信息和上述第二惯性信息中携带的速度值和加速度值;根据上述速度值和上述加速度值获取在上述第一时间帧和上述第二时间帧指示的运动时间上的积分结果,并根据上述积分结果确定上述目标车辆的上述相对位姿;在上述惯性坐标系中根据上述相对位姿和上述第一惯性关键点集合确定上述第二惯性关键点集合。
可选地,上述第二获取单元1004包括:第一获取模块,用于获取上述目标车辆在多个参考时间帧分别采集的原始惯性信息;插值模块,用于在上述多个参考时间帧与上述多个时间帧不匹配的情况下,根据上述多个时间帧对多个上述原始惯性信息进行线性插值处理,得到与上述多个时间帧对应的惯性信息序列。
可选地,上述优化单元1008用于:重复执行如下操作,直至遍历多个上述车道线关键点集合:从多个上述车道线关键点集合中获取一个上述车道线关键点集合作为当前车道线关键点集合,并从多个上述参考车道线关键点集合中获取与上述当前车道线关键点集合匹配的当前参考关键点集合,其中,上述当前车道线关键点集合与上述当前参考关键点集合对应于同一个上述时间帧;依次获取上述当前车道线关键点集合中的每一个当前车道线关键点,并遍历获取上述当前参考关键点集合中的当前参考车道线关键点,在获取的上述当前车道线关键点和上述当前参考车道线关键点满足目标距离条件的情况下,确定上述当前车道线关键点和上述当前参考车道线关键点互相匹配。
可选地,上述第一获取单元1002包括:获取模块,用于获取上述目标车辆在行驶过程中通过智能摄像头在连续的上述多个时间帧分别采集的车道线信息,其中,上述车道线信息用于指示上述车道线在车辆坐标系下的对象位置;特征提取模块,用于分别根据每个上述时间帧对应的上述车道线信息进行特征点提取,得到多个上述车道线关键点集合。
可选地,上述特征提取模块,用于:获取当前时间帧对应的第一车道线信息;对上述第一车道线信息进行坐标转化,得到图像坐标系下的第二车道线信息,其中,上述第二车道线信息用于指示上述道路图像中上述车道线所在的图像位置;根据上述第二车道线信息从上述道路图像中确定出多个关键区域,并根据多个上述关键区域确定出与上述当前时间帧对应的上述车道线关键点集合,其中,上述关键区域为包括了上述车道线的图像区域。
可选地,上述优化单元1008包括:第一优化模块,用于基于匹配的上述车道线关键点以及上述参考车道线关键点之间的位置残差确定第一优化目标;第二优化模块,用于根据上述惯性信息序列中每两个相邻惯性信息所指示的相对位姿确定第二优化目标;第三优化模块,用于根据高精地图数据中携带的指示车道线位置的第一车道线位置信息,与智能摄像头数据中携带的指示车道线位置的第二车道线位置信息确定第三优化目标;建立模块,用于根据上述第一优化目标、第二优化目标以及上述第三优化目标建立上述优化目标。
可选地,上述第二优化模块用于:重复如下步骤,直至遍历上述惯性信息序列:从上述惯性信息序列中获取第三惯性信息和第四惯性信息,其中,上述第三惯性信息和上述第四惯性信息为分别对应于两个相邻时间帧的惯性信息,上述第三惯性信息对应的时间帧早于上述第四惯性信息对应的时间帧;根据上述三惯性信息和第四惯性信息确定出上述目标车辆的相对位姿;根据上述第三惯性信息和上述相对位姿确定第五惯性信息;根据上述第四惯性信息和上述第五惯性信息分别指示的车辆位姿确定上述第二优化目标。
可选地,上述第三优化模块用于:获取上述目标车辆在行驶过程根据上述高精地图数据获取的用于指示上述车道线的对象位置的采样点概率分布函数;获取上述目标车辆在行驶过程中通过智能摄像头采集的车道线信息,其中,上述车道线信息用于指示上述车道线在车辆坐标系下的对象位置;根据上述采样点概率分布函数和上述车道线信息确定上述第三优化目标。
具体实施例可以参考上述车辆定位方法中所示示例,本示例中在此不再赘述。
其中,存储器1102可用于存储软件程序以及模块,如本发明实施例中的车辆定位方法和装置对应的程序指令/模块,处理器1104通过运行存储在存储器1102内的软件程序以及模块,从而执行各种功能应用以及数据处理,即实现上述的车辆定位方法。存储器1102可包括高速随机存储器,还可以包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中,存储器1102可进一步包括相对于处理器1104远程设置的存储器,这些远程存储器可以通过网络连接至终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。其中,存储器1102具体可以但不限于用于存储目标逻辑文件等文件信息。作为一种示例,如图11所示,上述存储器1102中可以但不限于包括上述换道意图生成装置中的第一获取单元1002、第二获取单元1004、重投影单元1006、优化单元1008和定位单元1010。此外,还可以包括但不限于上述车辆定位装置中的其他模块单元,本示例中不再赘述。
可选地,上述的传输装置1106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括有线网络及无线网络。在一个实例中,传输装置1106包括一个网络适配器(Network Interface Controller,NIC),其可通过网线与其他网络设备与路由器相连从而可与互联网或局域网进行通讯。在一个实例中,传输装置1106为射频(Radio Frequency,RF)模块,其用于通过无线方式与互联网进行通讯。
此外,上述电子设备还包括:显示器1108,和连接总线1110,用于连接上述电子设备中的各个模块部件。
根据本申请的一个方面,提供了一种计算机程序产品,该计算机程序产品包括计算机程序/指令,该计算机程序/指令包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分从网络上被下载和安装,和/或从可拆卸介质被安装。在该计算机程序被中央处理器执行时,执行本申请实施例提供的各种功能。
上述本申请实施例序号仅仅为了描述,不代表实施例的优劣。
需要说明的是,电子设备的计算机***仅是一个示例,不应对本申请实施例的功能和使用范围带来任何限制。
特别地,根据本申请的实施例,各个方法流程图中所描述的过程可以被实现为计算机软件程序。例如,本申请的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分从网络上被下载和安装,和/或从可拆卸介质被安装。在该计算机程序被中央处理器执行时,执行本申请的***中限定的各种功能。
根据本申请的一个方面,提供了一种计算机可读存储介质,计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述各种可选实现方式中提供的方法。
可选地,在本实施例中,上述计算机可读的存储介质可以被设置为存储用于执行以下步骤的计算机程序:
S1,获取与连续的多个时间帧分别对应的多个车道线关键点集合,其中,上述车道线关键点集合用于指示目标车辆在行驶过程中采集的道路图像中的车道线所在的图像区域;
S2,获取与上述多个时间帧对应的惯性信息序列,其中,上述惯性信息序列中的惯性信息分别对应于上述多个时间帧中的一个时间帧,上述惯性信息用于指示上述目标车辆与上述时间帧匹配的运动状态;
S3,基于上述惯性信息序列对多个上述车道线关键点集合分别进行重投影操作,得到多个参考车道线关键点集合,其中,多个上述参考车道线关键点集合与多个上述车道线关键点集合分别对应,上述参考车道线关键点集合中的参考车道线关键点用于指示上述道路图像中的参考车道线所在的图像区域,上述参考车道线为根据上述目标车辆的上述运动状态推算确定的车道线;
S4,将上述参考车道线关键点集合中的车道线关键点与上述车道线关键点集合中的参考车道线关键点进行关键点匹配,并基于匹配的上述车道线关键点以及上述参考车道线关键点之间的位置残差建立优化目标;
S5,根据上述优化目标获取优化结果,并根据上述优化结果对上述目标车辆进行车辆定位。
可选地,在本实施例中,本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令电子设备相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质可以包括:闪存盘、只读存储器(Read-Only Memory,ROM)、随机存取器(RandomAccess Memory,RAM)、磁盘或光盘等。
上述本申请实施例序号仅仅为了描述,不代表实施例的优劣。
上述实施例中的集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在上述计算机可读取的存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在存储介质中,包括若干指令用以使得一台或多台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例方法的全部或部分步骤。
在本申请的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的用户设备,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个***,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
以上所述仅是本申请的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本申请原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本申请的保护范围。
Claims (13)
1.一种车辆定位方法,其特征在于,包括:
获取与连续的多个时间帧分别对应的多个车道线关键点集合,其中,所述车道线关键点集合用于指示目标车辆在行驶过程中采集的道路图像中的车道线所在的图像区域;
获取与所述多个时间帧对应的惯性信息序列,其中,所述惯性信息序列中的惯性信息分别对应于所述多个时间帧中的一个时间帧,所述惯性信息用于指示所述目标车辆与所述时间帧匹配的运动状态;
基于所述惯性信息序列对多个所述车道线关键点集合分别进行重投影操作,得到多个参考车道线关键点集合,其中,多个所述参考车道线关键点集合与多个所述车道线关键点集合分别对应,所述参考车道线关键点集合中的参考车道线关键点用于指示所述道路图像中的参考车道线所在的图像区域,所述参考车道线为根据所述目标车辆的所述运动状态推算确定的车道线;
将所述参考车道线关键点集合中的车道线关键点与所述车道线关键点集合中的参考车道线关键点进行关键点匹配,并基于匹配的所述车道线关键点以及所述参考车道线关键点之间的位置残差建立优化目标;
根据所述优化目标获取优化结果,并根据所述优化结果对所述目标车辆进行车辆定位。
2.根据权利要求1所述的方法,其特征在于,所述基于所述惯性信息序列对多个所述车道线关键点集合分别进行重投影操作,得到多个参考车道线关键点集合包括:
重复如下步骤,直至遍历多个所述车道线关键点集合:
从多个所述车道线关键点集合中获取第一车道线关键点集合和第二车道线关键点集合,其中,所述第一车道线关键点集合与第一时间帧对应,所述第二车道线关键点集合与第二时间帧对应,所述第一时间帧和所述第二时间帧为两个相邻时间帧,所述第一时间帧为在所述第二时间帧之前的时间帧;
获取所述第一车道线关键点集合在惯性坐标系的第一投影结果,将所述第一投影结果确定为第一惯性关键点集合,并根据所述第一惯性关键点集合,以及所述目标车辆在所述第一时间帧和所述第二时间帧之间的相对位姿,确定与所述第二时间帧对应的第二惯性关键点集合,其中,所述相对位姿为根据所述惯性信息序列中包括的所述惯性信息确定的位姿信息;
获取所述第二惯性关键点集合在图像坐标系的第二投影结果,将所述第二投影结果确定为第二参考车道线关键点集合,其中,所述第二参考车道线关键点集合用于与所述第二车道线关键点进行关键点匹配。
3.根据权利要求2所述的方法,其特征在于,所述根据所述第一惯性关键点集合,以及所述目标车辆在所述第一时间帧和所述第二时间帧之间的相对位姿,确定与所述第二时间帧对应的第二惯性关键点集合包括:
从所述惯性信息序列中获取的与所述第一时间帧对应的第一惯性信息,以及与所述第二时间帧对应的第二惯性信息;
分别获取所述第一惯性信息和所述第二惯性信息中携带的速度值和加速度值;
根据所述速度值和所述加速度值获取在所述第一时间帧和所述第二时间帧指示的运动时间上的积分结果,并根据所述积分结果确定所述目标车辆的所述相对位姿;
在所述惯性坐标系中根据所述相对位姿和所述第一惯性关键点集合确定所述第二惯性关键点集合。
4.根据权利要求2所述的方法,其特征在于,所述获取与所述多个时间帧对应的惯性信息序列包括:
获取所述目标车辆在多个参考时间帧分别采集的原始惯性信息;
在所述多个参考时间帧与所述多个时间帧不匹配的情况下,根据所述多个时间帧对多个所述原始惯性信息进行线性插值处理,得到与所述多个时间帧对应的惯性信息序列。
5.根据权利要求2所述的方法,其特征在于,所述将所述参考车道线关键点集合中的车道线关键点与所述车道线关键点集合中的参考车道线关键点进行关键点匹配包括:
重复执行如下操作,直至遍历多个所述车道线关键点集合:
从多个所述车道线关键点集合中获取一个所述车道线关键点集合作为当前车道线关键点集合,并从多个所述参考车道线关键点集合中获取与所述当前车道线关键点集合匹配的当前参考关键点集合,其中,所述当前车道线关键点集合与所述当前参考关键点集合对应于同一个所述时间帧;
依次获取所述当前车道线关键点集合中的每一个当前车道线关键点,并遍历获取所述当前参考关键点集合中的当前参考车道线关键点,在获取的所述当前车道线关键点和所述当前参考车道线关键点满足目标距离条件的情况下,确定所述当前车道线关键点和所述当前参考车道线关键点互相匹配。
6.根据权利要求1所述的方法,其特征在于,所述获取与连续的多个时间帧分别对应的多个车道线关键点集合包括:
获取所述目标车辆在行驶过程中通过智能摄像头在连续的所述多个时间帧分别采集的车道线信息,其中,所述车道线信息用于指示所述车道线在车辆坐标系下的对象位置;
分别根据每个所述时间帧对应的所述车道线信息进行特征点提取,得到多个所述车道线关键点集合。
7.根据权利要求6所述的方法,其特征在于,所述分别根据每个所述时间帧对应的所述车道线信息进行特征点提取,得到多个所述车道线关键点集合包括:
获取当前时间帧对应的第一车道线信息;
对所述第一车道线信息进行坐标转化,得到图像坐标系下的第二车道线信息,其中,所述第二车道线信息用于指示所述道路图像中所述车道线所在的图像位置;
根据所述第二车道线信息从所述道路图像中确定出多个关键区域,并根据多个所述关键区域确定出与所述当前时间帧对应的所述车道线关键点集合,其中,所述关键区域为包括了所述车道线的图像区域。
8.根据权利要求1所述的方法,其特征在于,所述基于匹配的所述车道线关键点以及所述参考车道线关键点之间的位置残差建立优化目标包括:
基于匹配的所述车道线关键点以及所述参考车道线关键点之间的位置残差确定第一优化目标;
根据所述惯性信息序列中每两个相邻惯性信息所指示的相对位姿确定第二优化目标;
根据高精地图数据中携带的指示车道线位置的第一车道线位置信息,与智能摄像头数据中携带的指示车道线位置的第二车道线位置信息确定第三优化目标;
根据所述第一优化目标、第二优化目标以及所述第三优化目标建立所述优化目标。
9.根据权利要求8所述的方法,其特征在于,所述根据所述惯性信息序列中每两个相邻惯性信息所指示的相对位姿确定第二优化目标包括:
重复如下步骤,直至遍历所述惯性信息序列:
从所述惯性信息序列中获取第三惯性信息和第四惯性信息,其中,所述第三惯性信息和所述第四惯性信息为分别对应于两个相邻时间帧的惯性信息,所述第三惯性信息对应的时间帧早于所述第四惯性信息对应的时间帧;
根据所述三惯性信息和第四惯性信息确定出所述目标车辆的相对位姿;
根据所述第三惯性信息和所述相对位姿确定第五惯性信息;
根据所述第四惯性信息和所述第五惯性信息分别指示的车辆位姿确定所述第二优化目标。
10.根据权利要求8所述的方法,其特征在于,所述根据高精地图数据中携带的指示车道线位置的第一车道线位置信息,与智能摄像头数据中携带的指示车道线位置的第二车道线位置信息确定第三优化目标包括:
获取所述目标车辆在行驶过程根据所述高精地图数据获取的用于指示所述车道线的对象位置的采样点概率分布函数;
获取所述目标车辆在行驶过程中通过智能摄像头采集的车道线信息,其中,所述车道线信息用于指示所述车道线在车辆坐标系下的对象位置;
根据所述采样点概率分布函数和所述车道线信息确定所述第三优化目标。
11.一种车辆定位装置,其特征在于,包括:
第一获取单元,用于获取与连续的多个时间帧分别对应的多个车道线关键点集合,其中,所述车道线关键点集合用于指示目标车辆在行驶过程中采集的道路图像中的车道线所在的图像区域;
第二获取单元,用于获取与所述多个时间帧对应的惯性信息序列,其中,所述惯性信息序列中的惯性信息分别对应于所述多个时间帧中的一个时间帧,所述惯性信息用于指示所述目标车辆与所述时间帧匹配的运动状态;
重投影单元,用于基于所述惯性信息序列对多个所述车道线关键点集合分别进行重投影操作,得到多个参考车道线关键点集合,其中,多个所述参考车道线关键点集合与多个所述车道线关键点集合分别对应,所述参考车道线关键点集合中的参考车道线关键点用于指示所述道路图像中的参考车道线所在的图像区域,所述参考车道线为根据所述目标车辆的所述运动状态推算确定的车道线;
优化单元,用于将所述参考车道线关键点集合中的车道线关键点与所述车道线关键点集合中的参考车道线关键点进行关键点匹配,并基于匹配的所述车道线关键点以及所述参考车道线关键点之间的位置残差建立优化目标;
定位单元,用于根据所述优化目标获取优化结果,并根据所述优化结果对所述目标车辆进行车辆定位。
12.一种计算机可读的存储介质,其特征在于,所述计算机可读的存储介质包括存储的程序,其中,所述程序被电子设备运行时执行所述权利要求1至10任一项中所述的方法。
13.一种电子设备,包括存储器和处理器,其特征在于,所述存储器中存储有计算机程序,所述处理器被设置为通过所述计算机程序执行所述权利要求1至10任一项中所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311285607.4A CN117308972A (zh) | 2023-09-28 | 2023-09-28 | 车辆定位方法、装置和存储介质及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311285607.4A CN117308972A (zh) | 2023-09-28 | 2023-09-28 | 车辆定位方法、装置和存储介质及电子设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117308972A true CN117308972A (zh) | 2023-12-29 |
Family
ID=89245957
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311285607.4A Pending CN117308972A (zh) | 2023-09-28 | 2023-09-28 | 车辆定位方法、装置和存储介质及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117308972A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117576652A (zh) * | 2024-01-19 | 2024-02-20 | 福思(杭州)智能科技有限公司 | 道路对象的识别方法、装置和存储介质及电子设备 |
-
2023
- 2023-09-28 CN CN202311285607.4A patent/CN117308972A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117576652A (zh) * | 2024-01-19 | 2024-02-20 | 福思(杭州)智能科技有限公司 | 道路对象的识别方法、装置和存储介质及电子设备 |
CN117576652B (zh) * | 2024-01-19 | 2024-04-26 | 福思(杭州)智能科技有限公司 | 道路对象的识别方法、装置和存储介质及电子设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111532257B (zh) | 用于补偿交通工具校准误差的方法和*** | |
EP3598874B1 (en) | Systems and methods for updating a high-resolution map based on binocular images | |
CN112640417B (zh) | 匹配关系确定方法及相关装置 | |
EP3644294B1 (en) | Vehicle information storage method, vehicle travel control method, and vehicle information storage device | |
WO2019098353A1 (ja) | 車両位置推定装置および車両制御装置 | |
CN111301425B (zh) | 用于自动驾驶车辆的利用动态模型的有效最优控制 | |
CN111860493A (zh) | 一种基于点云数据的目标检测方法及装置 | |
DE102008026397A1 (de) | Radar-, Lidar- und Kamera-unterstützte Verfahren zur Schätzung der Fahrzeugdynamik | |
CN110901656B (zh) | 用于自动驾驶车辆控制的实验设计方法和*** | |
CN111627054A (zh) | 用于预测高置信度密集点云的深度补全误差地图的方法和装置 | |
US10974730B2 (en) | Vehicle perception system on-line diangostics and prognostics | |
CN117308972A (zh) | 车辆定位方法、装置和存储介质及电子设备 | |
DE102018103473A1 (de) | Wirksamer rollradius | |
CN117576652B (zh) | 道路对象的识别方法、装置和存储介质及电子设备 | |
CN111208814A (zh) | 用于自动车辆的、利用动态模型的、基于记忆的最优运动规划 | |
CN114648743A (zh) | 三维交通标志检测 | |
US11645364B2 (en) | Systems and methods for object detection using stereovision information | |
CN110827337B (zh) | 确定车载相机的姿态的方法、装置和电子设备 | |
US20230145561A1 (en) | Systems and methods for validating camera calibration in real-time | |
CN116762094A (zh) | 数据处理方法和设备 | |
CN115235526A (zh) | 用于传感器的自动校准的方法和*** | |
CN113469045A (zh) | 无人集卡的视觉定位方法、***、电子设备和存储介质 | |
CN113034538A (zh) | 一种视觉惯导设备的位姿跟踪方法、装置及视觉惯导设备 | |
CN116331225B (zh) | 车辆驾驶状态确定方法、装置、车辆及存储介质 | |
US12050661B2 (en) | Systems and methods for object detection using stereovision information |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |