CN116091556A - 一种路沿跟踪方法、装置、设备和存储介质 - Google Patents
一种路沿跟踪方法、装置、设备和存储介质 Download PDFInfo
- Publication number
- CN116091556A CN116091556A CN202211637326.6A CN202211637326A CN116091556A CN 116091556 A CN116091556 A CN 116091556A CN 202211637326 A CN202211637326 A CN 202211637326A CN 116091556 A CN116091556 A CN 116091556A
- Authority
- CN
- China
- Prior art keywords
- point set
- road edge
- road
- edge point
- edge
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Traffic Control Systems (AREA)
Abstract
本申请公开了一种路沿跟踪方法、装置、设备和存储介质。路沿跟踪方法包括获取当前时刻的预测路沿点集和检测路沿点集;基于预测路沿点集对检测路沿点集进行分组处理,得到检测路沿点集的分组结果;获取当前时刻车辆所行使的道路是否存在路沿不全的路沿识别结果;基于路沿识别结果和检测路沿点集的分组结果,对预测路沿点集和检测路沿点集进行融合处理,得到融合路沿点集;对融合路沿点集进行曲线拟合,得到当前时刻的路沿拟合结果。通过上述实施方式,可以根据识别出的检测路沿点变换与否,以及路沿是否被遮挡和缺失来融合预测路沿点集和检测路沿点集,使得复杂路况中的路沿也能稳定、准确地被跟踪出来,鲁棒性好。
Description
技术领域
本申请涉及交通技术领域,特别是涉及一种路沿跟踪方法、装置、设备和存储介质。
背景技术
车辆行驶过程中对周围环境的感知是实现车辆智能辅助驾驶与无人驾驶的基础,路沿检测技术是实现车辆智能路径规划和决策控制的重要环节,也是实现车道保持辅助(Lane Keeping Assist,LKA)和车道偏离预警(Lane Departure Warning,LDW)等辅助驾驶的基础。
现有路沿检测技术通常是获取车辆所在道路的当前道路场景照片,并从当前道路场景照片中检测出路沿。然而,采用此种路沿检测策略,不能根据实时的路沿状况做出调整,导致路沿检测的准确性较低。
发明内容
为了解决现有技术中存在的上述技术问题,本申请提供一种路沿跟踪方法、装置、设备和存储介质。
为解决上述问题,本申请提供了一种路沿跟踪方法,路沿跟踪方法包括:获取当前时刻的预测路沿点集和检测路沿点集;基于所述预测路沿点集对所述检测路沿点集进行分组处理,得到所述检测路沿点集的分组结果;获取当前时刻车辆所行使的道路是否存在路沿不全的路沿识别结果;基于所述路沿识别结果和所述检测路沿点集的分组结果,对所述预测路沿点集和所述检测路沿点集进行融合处理,得到融合路沿点集;对所述融合路沿点集进行曲线拟合,得到当前时刻的路沿拟合结果。
为解决上述问题,本申请提供了一种路沿拟合装置,路沿拟合装置包括:获取模块、分组模块、融合模块以及拟合模块;所述获取模块用于获取当前时刻的预测路沿点集和检测路沿点集;所述分组模块用于基于所述预测路沿点集对所述检测路沿点集进行分组处理,得到所述检测路沿点集的分组结果;所述获取模块用于获取当前时刻车辆所行使的道路是否存在路沿不全的路沿识别结果;所述融合模块用于基于所述路沿识别结果和所述检测路沿点集的分组结果,对所述预测路沿点集和所述检测路沿点集进行融合处理,得到融合路沿点集;所述拟合模块用于对所述融合路沿点集进行曲线拟合,得到当前时刻的路沿拟合结果。
为解决上述问题,本申请提供了一种路沿拟合设备,路沿拟合设备包括:处理器和存储器,所述存储器中存储有计算机程序,所述处理器用于执行所述计算机程序以实现上述的方法。
为解决上述问题,本申请提供了一种计算机可读存储介质,其上存储有程序指令,所述程序指令被处理器执行时实现上述的方法。
与现有技术相比,本申请的路沿跟踪方法包括:获取当前时刻的预测路沿点集和检测路沿点集;基于预测路沿点集对检测路沿点集进行分组处理,得到检测路沿点集的分组结果;获取当前时刻车辆所行使的道路是否存在路沿不全的路沿识别结果;基于路沿识别结果和检测路沿点集的分组结果,对预测路沿点集和检测路沿点集进行融合处理,得到融合路沿点集;对融合路沿点集进行曲线拟合,得到当前时刻的路沿拟合结果。通过上述实施方式,同时参考路沿识别结果和检测路沿点集的分组结果,以对预测路沿点集和检测路沿点集进行融合处理,然后再对融合路沿点进行曲线拟合,从而可以根据识别出的检测路沿点变换与否,以及路沿是否被遮挡和缺失来融合预测路沿点集和检测路沿点集,使得复杂路况中的路沿也能稳定、准确地被跟踪出来,鲁棒性好。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,而非限制本申请。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请提供的路沿跟踪方法的一实施例的流程示意图;
图2是图1中步骤S102的一实施例流程示意图;
图3是本申请提供的获取当前时刻的预测路沿点集的一实施例流程示意图;
图4是本申请提供的路沿拟合装置一实施例结构示意图;
图5是本申请提供的路沿拟合设备一实施例的结构示意图;
图6是本申请提供的计算机存储介质一实施例的结构示意图。
具体实施方式
下面结合附图和实施例,对本申请作进一步的详细描述。特别指出的是,以下实施例仅用于说明本申请,但不对本申请的范围进行限定。同样的,以下实施例仅为本申请的部分实施例而非全部实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例,都属于本申请保护的范围。
在本文中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其他实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本文所描述的实施例可以与其他实施例相结合。
本申请的描述中,需要说明的是,除非另外明确的规定和限定,术语“安装”、“设置”、“相连”、“连接”应做广义理解,例如,可以是固定连接,可以是可拆卸连接,或一体地连接;可以是机械来能接,也可以是电连接;可以是直接相连,也可以通过中间媒介间隔相连。对于本领域的普通技术人员而言,可以具体情况连接上述属于在本申请的具体含义。
车辆行驶过程中对周围环境的感知是实现车辆智能辅助驾驶与无人驾驶的基础,路沿检测技术是实现车辆智能路径规划和决策控制的重要环节,也是实现车道保持辅助(Lane Keeping Assist,LKA)和车道偏离预警(Lane Departure Warning,LDW)等辅助驾驶的基础。
现有的复杂路况的路沿跟踪方法可能多采用单一的融合检测结果与预测结果的策略,当道路出现遮挡或缺失的情况,难以准确地跟踪出路沿形态和位置。示例性地,一些道路中会存在车辆拥堵、车辆遮挡住路沿的情况,激光雷达无法检测到被遮挡部分的路沿点,而传统路沿跟踪方法采用单一的融合检测结果与预测结果的策略,不能根据实时的路沿状况做出调整,难以准确地跟踪出路沿形态和位置;一些道路中会出现缺失部分路沿的情况,比如十字路口、三岔路口等,同样的,缺失部分路沿点会给路沿拟合造成误差,传统的路沿跟踪方法采用单一融合检测与预测的策略,不能根据实时的路沿状况调整跟踪策略,难以准确地跟踪出路沿形态和位置;一些道路中会包含多条路沿线,比如匝道、高架桥进出口等,传统的路沿跟踪方法没有针对路沿点的匹配规则,会出现跟踪结果跳变的问题,影响实际路沿的输出。
为了解决现有技术中存在的一系列技术问题,本申请提供了一种路沿跟踪方法,参见图1,图1是本申请提供的路沿跟踪方法的一实施例的流程示意图,具体而言包括如下步骤S101~步骤S105。
步骤S101:获取当前时刻的预测路沿点集和检测路沿点集。
车辆在具有路沿的道路上正常行驶的过程中,为了准确识别出路沿的实际状况,可获取当前时刻的预测路沿点集和检测路沿点集,以通过对预测路沿点集和检测路沿点集处理输出路沿状况。预测路沿点集可为根据特定算法对相关数据进行计算,以预测车辆在当前时刻所处的路沿状况,示例性地,预测路沿点集可以是根据车辆的行驶状态对前一时刻的所输出的路沿状况进行处理得到。检测路沿点集可以是车辆在行驶的过程中实时获取路沿的信息,然后对路沿的信息进行分析处理得到,例如,可通过图像采集装置实时采集路沿的图片信息,然后对图片信息进行处理得到检测路沿点集;或者可通过激光雷达技术检测出原始点云,然后对原始点云进行处理之后得到检测路沿点集,示例性地,车辆上可搭载激光器,激光器发射出的脉冲激光,打到周边树木、道路、汽车、行人等,引起散射,一部分光波会反射到激光雷达的接收器上。根据激光测距原理计算,就能得到激光雷达到目标点的距离,脉冲激光不断地扫描目标物,就可以得到目标物体上全部目标点的数据,用此数据进行成像处理后,就可得到精确的三维立体图像,然后对图像进行分析,最终的得到检测路沿点集。
步骤S102:基于预测路沿点集对检测路沿点集进行分组处理,得到检测路沿点集的分组结果。
检测路沿点通常为不具有路沿属性特征的散乱点,当前时刻的预测路沿点集为根据相关算法计算得到,由此在路沿不发生较大变化的情况下,预测路沿点集较为准确,此时可利用预测路沿点集对检测路沿点集进行分组划分,示例性地,预测路沿点集通常包括左路沿预测点集和右路沿预测点集,可将检测路沿点和预测路沿点进行比较,然后将检测路沿点集划分为左路沿检测点集、右路沿检测点集、新生路沿检测点集,最终得到检测路沿点集的分组结果包括是否存在新生路沿点集。
步骤S103:获取当前时刻车辆所行使的道路是否存在路沿不全的路沿识别结果。
车辆在道路上正常行驶的过程中,可通过获取车辆外周的图像,然后对图像进行分析,最终确定在当前时刻车辆所行使的道路是否存在路沿不全的路沿识别结果。示例性地,车辆可配置有摄像头传感器,摄像头传感器可实时获取车辆两侧的路沿图像,然后将路沿图像输入已经完成训练的神经网络模型中,神经网络模型输出路沿是否被遮挡或是否缺失的路沿识别结果,当路沿被遮挡或缺失时,输出路沿不全的识别结果,反之输出不存在路沿不全的识别结果。其中,神经网络模型可采用Efficientnet或者Resnet网络模型,在其他实施例中,神经网络模型也可以是其他的网络模型,只要能够输出道路是否存在路沿不全的路沿识别结果即可。
步骤S104:基于路沿识别结果和检测路沿点集的分组结果,对预测路沿点集和检测路沿点集进行融合处理,得到融合路沿点集。
路沿识别结果包括道路存在路沿不全的识别结果和不存在路沿不全的识别结果,检测路沿点集的分组结果包括存在新生路沿点集和不存在新生路沿点集两种分组结果。当确定当前时刻的路沿识别结果和检测路沿点集的分组结果即可对预测路沿点集和检测路沿点集进行融合处理,得到融合路沿点集。其中,预测路沿点集和检测路沿点集进行融合处理可以包括只输出预测路沿点集或只输出检测路沿点集以作为融合路沿点,也可设定预测路沿点集和检测路沿点集的各自权重,然后利用融合算法对预测路沿点集合检测路沿点集进行融合处理,最终得到融合路沿点集。
步骤S105:对融合路沿点集进行曲线拟合,得到当前时刻的路沿拟合结果。
在得到融合路沿点之后,即可基于曲线拟合算法对融合路沿点进行曲线拟合,最终得到当前时刻的路沿拟合结果。示例性地,可通过RANSAC算法、最小二乘法或者其他曲线拟合算法对融合路沿点进行曲线拟合,在拟合的曲线模型不符合要求时,可采用相同的方式对融合路沿点集进行多次拟合最终得到路沿拟合结果。
通过上述实施方式,同时参考路沿识别结果和检测路沿点集的分组结果,以对预测路沿点集和检测路沿点集进行融合处理,然后再对融合路沿点进行曲线拟合,从而可以根据识别出的检测路沿点变换与否,以及路沿是否被遮挡和缺失来融合预测路沿点集和检测路沿点集,使得复杂路况中的路沿也能稳定、准确地被跟踪出来,鲁棒性好。
在一实施例中,基于路沿识别结果和检测路沿点集的分组结果,对预测路沿点集和检测路沿点集进行融合处理(步骤S104)包括:基于路沿识别结果和检测路沿点集的分组结果,确定预测路沿点集和检测路沿点集各自的融合权重;按照各自的融合权重对预测路沿点集和检测路沿点集进行融合处理。
具体地,可按照以下计算方式来对预测路沿点集和检测路沿点集进行融合处理:
f(x)=Eg(x)+Fc(x)
其中,g(x)代表预测路沿点集的预测结果,c(x)代表检测路沿点集的检测结果,E代表预测路沿点集的预测权重系数,F代表检测路沿点集的检测权重系数,f(x)代表融合预测路沿点集和检测路沿点集的融合结果。
预测路沿点集的权重系数和检测路沿点集的权重系数均通过分组结果和路沿识别结果进行确定,使融合结果更加符合实际情况,示例性地,当从路沿识别结果和检测路沿点集的分组结果中确定预测路沿点集更符合真实情况,则可将预测权重系数的数值设置成大于检测权重系数的数值;反之则将预测权重系数的数值设置成小于检测权重系数的数值。具体地,可参见如下实施例:
在一实施例中,基于路沿识别结果和检测路沿点集的分组结果,确定预测路沿点集和检测路沿点集各自的融合权重,包括:若检测路沿点集的分组结果中不存在新生路沿点集以及路沿识别结果中不存在路沿不全,则确定预测路沿点集的融合权重与检测路沿点集的融合权重的差值小于或等于预设阈值。
表明当前路沿没有出现遮挡或者缺失的情况,同时还检测到车辆会继续在当前道路行驶,不会进入新生道路。在本实施例中,在确定重要性函数时判断到可同时相信预测的结果和检测的结果,由此可设置预测路沿点集的融合权重与检测路沿点集的融合权重的差值小于或等于预设阈值,从而同时融合预测路沿点集和检测路沿点集。例如预测路沿点集的权重系数和检测路沿点集的权重系数设定为0.5,使两者之间的差值为0,从而融合预测路沿点集和检测路沿点集作为最终的融合结果。
在一实施例中,基于路沿识别结果和检测路沿点集的分组结果,确定预测路沿点集和检测路沿点集各自的融合权重,包括:若检测路沿点集的分组结果中不存在新生路沿点集以及路沿识别结果中存在路沿不全,则确定预测路沿点集的融合权重大于检测路沿点集的融合权重。
表明当前路沿出现至少部分遮挡或者至少部分缺失的情况,被遮挡或缺失的部分路沿无法被检测到,同时还检测到车辆会继续在当前道路行驶,不会进入新生道路。针对此种情况,传统的跟踪算法会融合检测和预测的结果,但输出的路沿会偏离实际路沿。而在本实施例中,由于道路出现缺失或遮挡,被遮挡或缺失的部分路沿无法被检测到,导致检测路沿点集与实际情况不符,在确定重要性函数时判断到应更相信预测的结果,由此可设置预测路沿点集的融合权重大于检测路沿点集的融合权重,例如预测路沿点集的权重系数设定为1,检测路沿点集的权重系数设定为0,从而直接将预测路沿点集当作最终的融合结果。
在一实施例中,基于路沿识别结果和检测路沿点集的分组结果,确定预测路沿点集和检测路沿点集各自的融合权重,包括:若检测路沿点集的分组结果中存在新生路沿点集以及路沿识别结果中不存在路沿不全,则确定预测路沿点集的融合权重小于检测路沿点集的融合权重。
表明当前路沿没有出现遮挡或者缺失的情况,同时检测到车辆不会继续在当前道路行驶,而是进入新生道路。在本实施例中,由于预测路沿点集通常为预测车辆继续在原道路行驶时的路沿点,当车辆需要进入新生道路时,预测路沿点集所预测路沿点集与实际情况不符,那么在确定重要性函数时判断到应更相信检测的结果,由此可设置检测路沿点集的融合权重大于预测路沿点集的融合权重,例如检测路沿点集的权重系数设定为1,预测路沿点集的权重系数设定为0,从而直接将检测路沿点集当作最终的融合结果。
在一实施例中,基于路沿识别结果和检测路沿点集的分组结果,确定预测路沿点集和检测路沿点集各自的融合权重,包括:若检测路沿点集的分组结果中存在新生路沿点集以及路沿识别结果中存在路沿不全,则确定预测路沿点集的融合权重小于检测路沿点集的融合权重。
表明当前路沿出现至少部分遮挡或者至少部分缺失的情况,被遮挡或缺失的部分路沿无法被检测到,同时还检测到存在新生路沿点集。在本实施例中,由于道路出现缺失或遮挡,被遮挡或缺失的部分路沿无法被检测到,导致检测路沿点集与实际情况不符,在确定重要性函数时判断到可更相信检测的结果,由此可设置预测路沿点集的融合权重小于检测路沿点集的融合权重,例如预测路沿点集的权重系数设定为0,检测路沿点集的权重系数设定为1,从而直接将检测路沿点集当作最终的融合结果。
上述实施例中,主要介绍了将预测路沿点集和检测路沿点集可根据检测路沿点集的分组结果进行融合,由此,如何对检测路沿点集进行分组至关重要,参见图2,图2是图1中步骤S102的一实施例流程示意图,具体而言,包括如下步骤S201~步骤S203。
步骤S201:从检测路沿点集中选取一个未计算过距离值的目标路沿点与预测路沿点集中的左路沿预测点集计算距离得到左路沿距离值,以及与预测路沿点集中的右路沿点集计算距离得到右路沿距离值,重复当前步骤直至遍历所有检测路沿点。
检测路沿点集中存在较多检测路沿点,需要将较多的检测路沿点进行分组处理,以明确某些检测路沿点为当前道路的左路沿点,某些检测路沿点为当前道路的右路沿点,某些检测路沿点为新生路沿点。在本实施例中,可先从若干检测路沿点中选取一个未计算过距离值的点作为目标路沿点,将目标路沿点与左路沿预测点计算距离从而得到左路沿距离值,并同时与右路沿点集计算距离得到右路沿距离值,以便于后续根据距离值的大小确定目标路沿点是属于左路沿上的点还是右路沿上的点。在得到一个检测路沿点的左路沿距离值和右路沿距离值之后,即可按照相同方式计算另一个检测路沿点的左路沿距离值和右路沿距离值,以最终得到每个检测路沿点的左路沿距离值和右路沿距离值。
具体地,计算检测路沿点的距离值具体可包括:将选择的目标路沿点与左路沿预测点集中的所有左路沿预测点计算距离值,并将所有的距离值求取平均值作为左路沿距离值;将选择的目标路沿点与右路沿预测点集中的所有右路沿预测点计算距离值,并将所有的距离值求取平均值作为右路沿距离值。也即先将目标路沿点分别与每一个左路沿预测点计算欧氏距离,然后将计算的欧氏距离进行求和后求取平均值,并将平均值作为左路沿距离值,同理采用相同的方式,求取得到右路沿距离值。重复执行相同的步骤,直至遍历所有检测路沿点,得到每个检测路沿点的左路沿距离值和右路沿距离值。
步骤S202:从检测路沿点的左路沿距离值和右路沿距离值中选择数值较小的一者与预设距离阈值进行比较。
在得到每个检测路沿点的左路沿距离值和右路沿距离值之后,需要根据距离值对检测路沿点进行分组处理。在本实施例中,需要从所有检测路沿点的左路沿距离值和右路沿距离值中选择数值较小的一者与预设距离阈值进行比较,其中,预设距离阈值可根据实际情况设定。示例性地,先从多个检测路沿点集中选择其中一个目标路沿点处理,例如目标路沿点的左路沿距离值的数值大于右路沿距离值的数值,则将右路沿距离值与预设距离进行比较得到比较结果,然后再从检测路沿点集中选择另外一个未与预设距离阈值进行比较过的检测路沿点,并从选择的检测路沿点的左路沿距离值和右路沿距离值中选择数值较小的一者与预设距离阈值进行比较得到比较结果,重复执行步骤以遍历所有的检测路沿点,直至得到每个检测路沿点与预设距离阈值的比较结果。
步骤S203:基于距离比较结果确定检测路沿点集的分组结果中是否存在新生路沿点集。
在得到每个检测路沿点与预设距离阈值的比较结果后,即可对每个检测路沿点进行分组,具体地,当比较结果为小于等于预设距离阈值,则可将该检测路沿点定义为原道路的路沿点,具体还可将该检测路沿点确定为该道路的左路沿点或右路沿点,示例性地,以选择检测路沿点的右路沿距离值与预设距离阈值进行比较时,该检测路沿点为右路沿上的点;以选择检测路沿点的左路沿距离值与预设距离阈值进行比较时,该检测路沿点为左路沿上的点。当比较结果为大于预设距离阈值,则可将该检测路沿点定义为待定路沿点,当待定路沿点的数量较多,且足以构成一条道路的时,即可确定存在新生路沿点集。
具体地,基于距离比较结果确定检测路沿点集的分组结果中是否存在新生路沿点集的步骤(步骤S203),包括:
若检测路沿点中距离值大于预设距离阈值的待定路沿点的数量大于预设数量阈值,则将所有待定路沿点在车辆坐标系下的纵坐标值的最小值与预设纵坐标阈值进行比较,若所有待定路沿点的纵坐标值的最小值小于预设纵坐标阈值,则确定检测路沿点集的分组结果中存在新生路沿点集,否则确定检测路沿点集的分组结果中不存在新生路沿点集。
预设数量阈值可根据实际情况设定,在此不做限定。在本实施例中,车辆坐标系可以车辆为原点所建立坐标系,具体地,可以车辆所前进的方向定义为车辆坐标系下的x轴的正方向,车辆的左方定义为车辆坐标系下的y轴的正方向。当检测路沿点中距离值大于预设距离阈值的待定路沿点的数量大于预设数量阈值,则可记录所有待定路沿点在车辆坐标系下的坐标值,当所有的待定路沿点中的纵坐标值均小于预设的纵坐标阈值时,则将所有的待定路沿点定义为新生路沿点集,且可将新生路沿点集定义为新生路沿的左路沿点集或右路沿点集,然后将原路沿点集中位于车辆另一侧的路沿定义为新生路沿的左路沿或右路沿,示例性地,当新生路沿位于车辆行驶的左侧,则可将新生路沿点集作为新生路沿的左路沿,并将原道路的右路沿点集作为新生路沿的右路沿点集,最后利用该新生路沿点集和原道路的右路沿点集拟合形成新生路沿。当不满足所有的待定路沿点中的纵坐标值的最小值均小于预设的纵坐标阈值时,则认定不存在新生路沿点集。
需要说明的是,上述实施例中,步骤:将所有待定路沿点在车辆坐标系下的纵坐标值的最小值与预设纵坐标阈值进行比较,是建立在车辆坐标系以车辆为原点、以车辆所前进的方向定义为车辆坐标系下的x轴的正方向、车辆的左方定义为车辆坐标系下的y轴的正方向的基础上进行。在其他实施例中,当车辆坐标系定义不同时,步骤中:将所有待定路沿点在车辆坐标系下的纵坐标值的最小值与预设纵坐标阈值进行比较,也会发生变化,示例性地,当以车辆为原点所建立坐标系,以车辆所前进的方向定义为车辆坐标系下的y轴的正方向,车辆的左方定义为车辆坐标系下的x轴的正方向,此时上述步骤即可变化为:则将所有待定路沿点在车辆坐标系下的横坐标值的最小值与预设横坐标阈值进行比较,若所有待定路沿点的横坐标值的最小值小于预设纵坐标阈值,则确定检测路沿点集的分组结果中存在新生路沿点集,否则确定检测路沿点集的分组结果中不存在新生路沿点集。
上述实施例中,主要介绍了检测路沿点集的分组可根据预测路沿点集确定得到,由此,如何确定预测路沿点集至关重要,参见图3,图3是本申请提供的获取当前时刻的预测路沿点集的一实施例流程示意图,具体而言,包括如下步骤S301~步骤S302。
步骤S301:基于前一时刻的车辆运动信息确定车辆从前一时刻到当前时刻的横向位移、纵向位移和旋转角度。
前一时刻和当前时刻的连续的两个时刻,每个时刻可以秒为单位间隔,示例性地,前一时刻为19点30分29秒,则当前时刻可以为19点30分30秒,当然前一时刻和当前时刻之间的具体时间间隔也可为其他数值,在此可不做限定。车辆运动信息可包括车辆的运动速度和车辆的旋转角信息等,从而可根据如下公式计算车辆从前一时刻到当前时刻的横向位移和纵向位移:
其中,Δx、Δy分别表示车辆从k-1时刻到k时刻的纵向位移和横向位移(在车辆前方为x轴正方向,左方为y轴正方向的前提下),v表示k-1时刻的自车速度,T(k-1,k)表示从k-1时刻到k时刻经过的时间,θ表示车辆绕垂直方向的旋转角。
步骤S302:基于横向位移、纵向位移、旋转角度、车辆坐标系的平移变换矩阵、车辆坐标系的旋转变换矩阵和前一时刻的融合路沿点在车辆坐标系下的坐标值,确定当前时刻的预测路沿点集。
在执行该步骤之前可先获取车辆的车辆坐标系的平移变换矩阵和车辆坐标系的旋转变换矩阵,前一时刻的融合路沿点在车辆坐标系下的坐标值为可采用上述任意一项实施例相同的方式,求取计算得到的融合路沿点集。然后综合前一时刻的融合路沿点在车辆坐标系下的坐标值,以及在上一步骤得到的旋转角度、横向位移和纵向位移,,计算得到当前时刻的预测路沿点集。具体地,可根据如下公式计算当前时刻的预测路沿点集:
其中,xk、yk分别表示k时刻路沿点在车辆坐标系下的纵坐标和横坐标;A表示自车坐标系旋转变换矩阵;B表示自车坐标系平移变换矩阵;Δx、Δy分别表示车辆从k-1时刻到k时刻的纵向位移和横向位移,θ表示车辆绕垂直方向的旋转角。
在一实施例中,对融合路沿点集进行曲线拟合,得到当前时刻的路沿拟合结果的步骤(步骤S105)包括:从融合路沿点中选取若干拟合路沿点;将若干拟合路沿点进行曲线拟合,得到拟合曲线模型;将其他融合路沿点与拟合曲线模型进行匹配;若匹配程度在预设范围内的融合路沿点个数大于等于预设个数阈值,则将拟合曲线模型作为路沿拟合结果;若匹配程度在预设范围内的融合路沿点个数小于预设个数阈值,则返回步骤从融合路沿点中选取若干拟合路沿点。
融合路沿点集中可包括融合左路沿点集和融合右路沿点集,可分别对融合左路沿点集进行曲线拟合,然后再对融合右路沿点集进行曲线拟合。示例性地,以拟合融合左路沿点集为例,从融合左路沿点集中选取若干需要进行曲线拟合的路沿点,然后将其他融合左路沿点集与拟合曲线模型进行匹配,来验证拟合曲线模型是否符合要求,具体地,当其他融合左路沿点与拟合曲线模型的匹配程度在预设范围内的数量较多时,可认为该拟合曲线模型符合要求,只需要将拟合曲线模型作为路沿拟合结果输出即可;当其他融合左路沿点与拟合曲线模型的匹配程度在预设范围内的数量较少时,可认为该拟合曲线模型不符合要求,此时可从融合左路沿点集中重新选取若干路沿点,以拟合出新的拟合曲线模型,可重复执行该步骤直至得到符合要求的拟合曲线模型。
通过上述实施方式,同时参考路沿识别结果和检测路沿点集的分组结果,以对预测路沿点集和检测路沿点集进行融合处理,然后再对融合路沿点进行曲线拟合,从而可以根据识别出的检测路沿点变换与否,以及路沿是否被遮挡和缺失来融合预测路沿点集和检测路沿点集,使得复杂路况中的路沿也能稳定、准确地被跟踪出来,鲁棒性好。
本实施例中的路沿跟踪方法可以应用于路沿拟合装置,本申请的路沿拟合装置可以为服务器,也可以为移动设备,还可以为由服务器和移动设备相互配合的***。相应地,移动设备包括的各个部分,例如各个单元、子单元、模块、子模块可以全部设置于服务器中,也可以全部设置于移动设备中,还可以分别设置于服务器和移动设备中。
进一步地,上述服务器可以是硬件,也可以是软件。当服务器为硬件时,可以实现成多个服务器组成的分布式服务器集群,也可以实现成单个服务器。当服务器为软件时,可以实现成多个软件或软件模块,例如用来提供分布式服务器的软件或软件模块,也可以实现成单个软件或软件模块,在此不做具体限定。
为实现上述实施例的路沿跟踪方法,本申请提供了一种路沿拟合装置。参见图4,图4是本申请提供的路沿拟合装置一实施例结构示意图。
具体地,路沿拟合装置40可以包括获取模块41、分组模块42、融合模块43以及拟合模块44。
获取模块41用于获取当前时刻的预测路沿点集和检测路沿点集。
分组模块42用于基于预测路沿点集对检测路沿点集进行分组处理,得到检测路沿点集的分组结果。
获取模块41用于获取当前时刻车辆所行使的道路是否存在路沿不全的路沿识别结果。
融合模块43用于基于路沿识别结果和检测路沿点集的分组结果,对预测路沿点集和检测路沿点集进行融合处理,得到融合路沿点集。
拟合模块44用于对融合路沿点集进行曲线拟合,得到当前时刻的路沿拟合结果。
其中,在本申请的一个实施例,图4所示的路沿拟合装置40中的各个模块可以分别或全部合并为一个或若干个单元来构成,或者其中的某个(些)单元还可以再拆分为功能上更小的多个子单元,可以实现同样的操作,而不影响本申请的实施例的技术效果的实现。上述模块是基于逻辑功能划分的,在实际应用中,一个模块的功能也可以由多个单元来实现,或者多个模块的功能由一个单元实现。在本申请的其它实施例中,路沿拟合装置40也可以包括其它单元,在实际应用中,这些功能也可以由其它单元协助实现,并且可以由多个单元协作实现。
上述方法应用于路沿拟合设备中。具体请参阅图5,图5是本申请提供的路沿拟合设备一实施例的结构示意图,本实施例路沿拟合设备50包括处理器51和存储器52。其中,存储器52中存储有计算机程序,处理器51用于执行计算机程序以实现上述路沿跟踪方法。
其中,处理器51可以是一种集成电路芯片,具有信号的处理能力。处理器51还可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
对于上述实施例的路沿跟踪方法,其可以计算机程序的形式呈现,本申请提出一种承载计算机程序的计算机存储介质,请参阅图6,图6是本申请提供的计算机存储介质一实施例的结构示意图,本实施例计算机存储介质60包括计算机程序61,其可被执行以实现上述路沿跟踪方法。
本实施例计算机存储介质60可以是U盘、移动硬盘、只读存储器(ROM,Read-OnlyMemory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等可以存储程序指令的介质,或者也可以为存储有该程序指令的服务器,该服务器可将存储的程序指令发送给其他设备运行,或者也可以自运行该存储的程序指令。
另外,上述功能如果以软件功能的形式实现并作为独立产品销售或使用时,可存储在一个移动终端可读取存储介质中,即,本申请还提供一种存储有程序数据的存储装置,所述程序数据能够被执行以实现上述实施例的方法,该存储装置可以为如U盘、光盘、服务器等。也就是说,本申请可以以软件产品的形式体现出来,其包括若干指令用以使得一台智能终端执行各个实施例所述方法的全部或部分步骤。
在本申请的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中,“多个”的含义是至少两个,例如两个,三个等,除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本申请的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本申请的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤,例如,可以被认为是用于实现逻辑功能的可执行指令的定序列表,可以具体实现在任何计算机可读介质中,以供指令执行***、装置或设备(可以是个人计算机,服务器,网络设备或其他可以从指令执行***、装置或设备取指令并执行指令的***)使用,或结合这些指令执行***、装置或设备而使用。就本说明书而言,"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行***、装置或设备或结合这些指令执行***、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下:具有一个或多个布线的电连接部(电子装置),便携式计算机盘盒(磁装置),随机存取存储器(RAM),只读存储器(ROM),可擦除可编辑只读存储器(EPROM或闪速存储器),光纤装置,以及便携式光盘只读存储器(CDROM)。另外,计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质,因为可以例如通过对纸或其他介质进行光学扫描,接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序,然后将其存储在计算机存储器中。
以上所述仅为本申请的实施方式,并非因此限制本申请的专利范围,凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本申请的专利保护范围内。
Claims (14)
1.一种路沿跟踪方法,其特征在于,所述路沿跟踪方法包括:
获取当前时刻的预测路沿点集和检测路沿点集;
基于所述预测路沿点集对所述检测路沿点集进行分组处理,得到所述检测路沿点集的分组结果;
获取当前时刻车辆所行使的道路是否存在路沿不全的路沿识别结果;
基于所述路沿识别结果和所述检测路沿点集的分组结果,对所述预测路沿点集和所述检测路沿点集进行融合处理,得到融合路沿点集;
对所述融合路沿点集进行曲线拟合,得到当前时刻的路沿拟合结果。
2.根据权利要求1所述的路沿跟踪方法,其特征在于,所述基于所述路沿识别结果和所述检测路沿点集的分组结果,对所述预测路沿点集和所述检测路沿点集进行融合处理,包括:
基于所述路沿识别结果和所述检测路沿点集的分组结果,确定所述预测路沿点集和所述检测路沿点集各自的融合权重;
按照所述各自的融合权重对所述预测路沿点集和所述检测路沿点集进行融合处理。
3.根据权利要求2所述的路沿跟踪方法,其特征在于,所述基于所述路沿识别结果和所述检测路沿点集的分组结果,确定所述预测路沿点集和所述检测路沿点集各自的融合权重,包括:
若所述检测路沿点集的分组结果中不存在新生路沿点集以及所述路沿识别结果中不存在路沿不全,则确定所述预测路沿点集的融合权重与所述检测路沿点集的融合权重的差值小于或等于预设阈值。
4.根据权利要求2所述的路沿跟踪方法,其特征在于,所述基于所述路沿识别结果和所述检测路沿点集的分组结果,确定所述预测路沿点集和所述检测路沿点集各自的融合权重,包括:
若所述检测路沿点集的分组结果中不存在新生路沿点集以及所述路沿识别结果中存在路沿不全,则确定所述预测路沿点集的融合权重大于所述检测路沿点集的融合权重。
5.根据权利要求2所述的路沿跟踪方法,其特征在于,所述基于所述路沿识别结果和所述检测路沿点集的分组结果,确定所述预测路沿点集和所述检测路沿点集各自的融合权重,包括:
若所述检测路沿点集的分组结果中存在新生路沿点集以及所述路沿识别结果中不存在路沿不全,则确定所述预测路沿点集的融合权重小于所述检测路沿点集的融合权重。
6.根据权利要求2所述的路沿跟踪方法,其特征在于,所述基于所述路沿识别结果和所述检测路沿点集的分组结果,确定所述预测路沿点集和所述检测路沿点集各自的融合权重,包括:
若所述检测路沿点集的分组结果中存在新生路沿点集以及所述路沿识别结果中存在路沿不全,则确定所述预测路沿点集的融合权重小于所述检测路沿点集的融合权重。
7.根据权利要求1-6任意一项所述的路沿跟踪方法,其特征在于,所述基于所述预测路沿点集对所述检测路沿点集进行分组处理,得到所述检测路沿点集的分组结果,包括:
从所述检测路沿点集中选取一个未计算过距离值的目标路沿点与所述预测路沿点集中的左路沿预测点集计算距离得到左路沿距离值,以及与所述预测路沿点集中的右路沿点集计算距离得到右路沿距离值,重复当前步骤直至遍历所有检测路沿点;
从检测路沿点的所述左路沿距离值和所述右路沿距离值中选择数值较小的一者与预设距离阈值进行比较;
基于距离比较结果确定所述检测路沿点集的分组结果中是否存在新生路沿点集。
8.根据权利要求7所述的路沿跟踪方法,其特征在于,所述基于距离比较结果确定所述检测路沿点集的分组结果中是否存在新生路沿点集,包括:
若所述检测路沿点中距离值大于预设距离阈值的待定路沿点的数量大于预设数量阈值,则将所有待定路沿点在车辆坐标系下的纵坐标值的最小值与预设纵坐标阈值进行比较;
若所有待定路沿点的纵坐标值的最小值小于预设纵坐标阈值,则确定所述检测路沿点集的分组结果中存在新生路沿点集,否则确定所述检测路沿点集的分组结果中不存在新生路沿点集。
9.根据权利要求7所述的路沿跟踪方法,其特征在于,所述从所述检测路沿点集中选取一个未计算过距离值的目标路沿点与所述预测路沿点集中的左路沿预测点集计算距离得到左路沿距离值,以及与所述预测路沿点集中的右路沿点集计算距离得到右路沿距离值,包括:
将选择的所述目标路沿点与所述左路沿预测点集中的所有左路沿预测点计算距离值,并将所有的距离值求取平均值作为所述左路沿距离值;
将选择的所述目标路沿点与所述右路沿预测点集中的所有右路沿预测点计算距离值,并将所有的距离值求取平均值作为所述右路沿距离值。
10.根据权利要求1-6任意一项所述的路沿跟踪方法,其特征在于,所述获取当前时刻的预测路沿点集,包括:
基于前一时刻的车辆运动信息确定车辆从前一时刻到当前时刻的横向位移、纵向位移和旋转角度;
基于所述横向位移、所述纵向位移、所述旋转角度、车辆坐标系的平移变换矩阵、车辆坐标系的旋转变换矩阵和前一时刻的融合路沿点在车辆坐标系下的坐标值,确定当前时刻的预测路沿点集。
11.根据权利要求1-6任意一项所述的路沿跟踪方法,其特征在于,所述对所述融合路沿点集进行曲线拟合,得到当前时刻的路沿拟合结果,包括:
从所述融合路沿点集中选取若干拟合路沿点;
将所述若干拟合路沿点进行曲线拟合,得到拟合曲线模型;
将其他融合路沿点与所述拟合曲线模型进行匹配;
若匹配程度在预设范围内的融合路沿点个数大于等于预设个数阈值,则将拟合曲线模型作为所述路沿拟合结果;
若匹配程度在预设范围内的融合路沿点个数小于预设个数阈值,则返回步骤从所述融合路沿点中选取若干拟合路沿点。
12.一种路沿拟合装置,其特征在于,包括:获取模块、分组模块、融合模块以及拟合模块;
所述获取模块用于获取当前时刻的预测路沿点集和检测路沿点集;
所述分组模块用于基于所述预测路沿点集对所述检测路沿点集进行分组处理,得到所述检测路沿点集的分组结果;
所述获取模块用于获取当前时刻车辆所行使的道路是否存在路沿不全的路沿识别结果;
所述融合模块用于基于所述路沿识别结果和所述检测路沿点集的分组结果,对所述预测路沿点集和所述检测路沿点集进行融合处理,得到融合路沿点集;
所述拟合模块用于对所述融合路沿点集进行曲线拟合,得到当前时刻的路沿拟合结果。
13.一种路沿拟合设备,其特征在于,包括:处理器和存储器,所述存储器中存储有计算机程序,所述处理器用于执行所述计算机程序以实现权利要求1至11中任一项所述的方法。
14.一种计算机可读存储介质,其上存储有程序指令,其特征在于,所述程序指令被处理器执行时实现权利要求1至11任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211637326.6A CN116091556A (zh) | 2022-12-19 | 2022-12-19 | 一种路沿跟踪方法、装置、设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211637326.6A CN116091556A (zh) | 2022-12-19 | 2022-12-19 | 一种路沿跟踪方法、装置、设备和存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116091556A true CN116091556A (zh) | 2023-05-09 |
Family
ID=86187747
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211637326.6A Pending CN116091556A (zh) | 2022-12-19 | 2022-12-19 | 一种路沿跟踪方法、装置、设备和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116091556A (zh) |
-
2022
- 2022-12-19 CN CN202211637326.6A patent/CN116091556A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Zhao et al. | Detection and tracking of pedestrians and vehicles using roadside LiDAR sensors | |
Zhang et al. | Road-segmentation-based curb detection method for self-driving via a 3D-LiDAR sensor | |
Fernández Llorca et al. | Vision‐based vehicle speed estimation: A survey | |
JP2020052694A (ja) | 物体検出装置、物体検出方法及び物体検出用コンピュータプログラム | |
Shunsuke et al. | GNSS/INS/on-board camera integration for vehicle self-localization in urban canyon | |
US11403947B2 (en) | Systems and methods for identifying available parking spaces using connected vehicles | |
JP6038422B1 (ja) | 車両判定装置、車両判定方法及び車両判定プログラム | |
CN112753038B (zh) | 识别车辆变道趋势的方法和装置 | |
JP4937844B2 (ja) | 歩行者検出装置 | |
JP2020067698A (ja) | 区画線検出装置及び区画線検出方法 | |
CN111213153A (zh) | 目标物体运动状态检测方法、设备及存储介质 | |
CN114419098A (zh) | 基于视觉变换的运动目标轨迹预测方法及装置 | |
Lee et al. | Accurate ego-lane recognition utilizing multiple road characteristics in a Bayesian network framework | |
Liu et al. | Vehicle detection and ranging using two different focal length cameras | |
Li et al. | Lane marking quality assessment for autonomous driving | |
Choi et al. | Methods to detect road features for video-based in-vehicle navigation systems | |
CN116734828A (zh) | 道路拓扑信息的确定、电子地图数据处理方法、电子设备 | |
CN112447060A (zh) | 识别车道的方法、装置及计算设备 | |
CN113177976A (zh) | 一种深度估计方法、装置、电子设备及存储介质 | |
CN111971725B (zh) | 用于确定车辆的变道说明的方法、可读存储介质以及车辆 | |
CN116434156A (zh) | 目标检测方法、存储介质、路侧设备及自动驾驶*** | |
CN114563007B (zh) | 障碍物的运动状态预测方法、装置、电子设备及存储介质 | |
Ballardini et al. | Ego-lane estimation by modeling lanes and sensor failures | |
Xiong et al. | Fast and robust approaches for lane detection using multi‐camera fusion in complex scenes | |
CN116091556A (zh) | 一种路沿跟踪方法、装置、设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |