CN115661394A - 车道线地图的构建方法、计算机设备及存储介质 - Google Patents

车道线地图的构建方法、计算机设备及存储介质 Download PDF

Info

Publication number
CN115661394A
CN115661394A CN202211670682.8A CN202211670682A CN115661394A CN 115661394 A CN115661394 A CN 115661394A CN 202211670682 A CN202211670682 A CN 202211670682A CN 115661394 A CN115661394 A CN 115661394A
Authority
CN
China
Prior art keywords
point cloud
lane line
map
image
line vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211670682.8A
Other languages
English (en)
Inventor
请求不公布姓名
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui Weilai Zhijia Technology Co Ltd
Original Assignee
Anhui Weilai Zhijia Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui Weilai Zhijia Technology Co Ltd filed Critical Anhui Weilai Zhijia Technology Co Ltd
Priority to CN202211670682.8A priority Critical patent/CN115661394A/zh
Publication of CN115661394A publication Critical patent/CN115661394A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Image Processing (AREA)

Abstract

本发明涉及自动驾驶技术领域,具体提供一种车道线地图的构建方法、计算机设备及存储介质,旨在解决提高车道线地图准确性的问题。为此目的,本发明提供的方法包括获取车辆上激光雷达和相机分别采集到的点云帧和图像帧,根据图像帧的颜色信息对点云帧进行染色处理,对染色处理后的点云帧进行拼接,以获取全局点云地图;通过车道线矢量识别模型并根据全局点云地图上点云的颜色信息、激光反射强度和高度进行车道线矢量识别,得到车道线矢量信息;最后根据车道线矢量信息,建立车道线地图。通过上述方法,能够提高车道线矢量识别的准确性,克服现有技术中利用激光雷达或相机无法准确得到车道线矢量信息的缺陷。

Description

车道线地图的构建方法、计算机设备及存储介质
技术领域
本发明涉及自动驾驶技术领域,具体涉及一种车道线地图的构建方法、计算机设备及存储介质。
背景技术
为了保证车辆自动驾驶的安全性与可靠性,通常需要利用标注了车道线矢量信息的车道线地图进行自动驾驶控制,而在建立该车道线地图时需要检测出准确的车道线矢量信息,才能保证车道线地图的准确性。
当利用相机进行车道线检测时,由于相机主要是利用RGB等颜色信息进行检测,在车道线的线型复杂且多有遮挡的情况下(比如停车场和高速服务区等需要车辆低速行驶的环境),会存在大量的噪声,降低车道线的检测准确性,无法得到准确的车道线矢量信息。当利用激光雷达进行车道线检测时,由于激光雷达主要是利用周围环境的激光反射强度等信息进行检测,在车道线与其周围地面的激光反射强度差别不大的情况下(比如车道线磨损或地面是水泥地面),将无法根据激光反射强度准确地检测出车道线,进而也就无法得到准确的车道线矢量信息。
相应地,本领域需要一种新的技术方案来解决上述问题。
发明内容
为了克服上述缺陷,提出了本发明,以提供解决或至少部分地解决提高车道线地图准确性的技术问题的车道线地图的构建方法、计算机设备及存储介质。
在第一方面,提供一种车道线地图的构建方法,所述方法包括:
获取车辆上激光雷达和相机分别采集到的点云帧和图像帧;
根据所述图像帧的颜色信息,对所述点云帧进行染色处理;
对染色处理后的点云帧进行拼接,以获取全局点云地图;
通过车道线矢量识别模型并根据所述全局点云地图上点云的颜色信息、激光反射强度和高度进行车道线矢量识别,得到车道线矢量信息;
根据所述车道线矢量信息,建立车道线地图。
在上述车道线地图的构建方法的一个技术方案中,“通过车道线矢量识别模型并根据所述全局点云地图上点云的颜色信息、激光反射强度和高度进行车道线矢量识别,得到车道线矢量信息”的步骤具体包括:
根据所述全局点云地图上点云的颜色信息、激光反射强度和高度,分别生成颜色BEV图像、强度BEV图像和高度BEV图像;
通过车道线矢量识别模型,对所述颜色BEV图像、强度BEV图像和高度BEV图像进行车道线矢量识别,得到车道线矢量信息。
在上述车道线地图的构建方法的一个技术方案中,“根据所述全局点云地图上点云的颜色信息、激光反射强度和高度,分别生成颜色BEV图像、强度BEV图像和高度BEV图像”的步骤具体包括:
将所述全局点云地图切分成多个连续的地图块;
根据每个地图块上点云的颜色信息、激光反射强度和高度,分别生成每个地图块的颜色BEV图像、强度BEV图像和高度BEV图像。
在上述车道线地图的构建方法的一个技术方案中,“将所述全局点云地图切分成多个连续的地图块”的步骤具体包括:
获取车辆在所述全局点云地图上的行驶轨迹;
沿着所述行驶轨迹,将所述全局点云地图切分成多个连续的地图块。
在上述车道线地图的构建方法的一个技术方案中,“沿着所述行驶轨迹,将所述全局点云地图切分成多个连续的地图块”的步骤具体包括:
按照预设间距从所述行驶轨迹上获取多个轨迹点;
在平行于所述行驶轨迹的切线方向上,以每个轨迹点为中心点,分别划定一个矩形切分区域;
根据划定得到的每个矩形切分区域,分别对所述全局点云地图进行切分,得到多个连续的地图块。
在上述车道线地图的构建方法的一个技术方案中,在“按照预设间距从所述行驶轨迹上获取多个轨迹点”的步骤之前,所述方法还包括通过下列方式确定所述预设间距的间距值与所述矩形切分区域的尺寸:
获取预设的地图块的约束条件;
根据所述预设的地图块的约束条件,分别确定所述预设间距的间距值与所述矩形切分区域的尺寸;
其中,所述预设的地图块的约束条件包括:
相邻地图块之间存在重叠区域且重叠区域的区域范围大于预设的范围阈值,以及根据所述地图块生成的颜色BEV图像、强度BEV图像和高度BEV图像上像素对应的米制距离小于预设的距离阈值。
在上述车道线地图的构建方法的一个技术方案中,“通过车道线矢量识别模型,对所述颜色BEV图像、强度BEV图像和高度BEV图像进行车道线矢量识别,得到车道线矢量信息”的步骤具体包括:
获取每个地图块的颜色BEV图像、强度BEV图像和高度BEV图像;
通过车道线矢量识别模型,分别对每个地图块的颜色BEV图像、强度BEV图像和高度BEV图像进行车道线矢量识别,得到每个地图块的车道线矢量信息。
在上述车道线地图的构建方法的一个技术方案中,“根据所述车道线矢量信息,建立车道线地图”的步骤具体包括:
分别将每个地图块的车道线矢量信息转换至全局坐标系;
对每个地图块在全局坐标系的车道线矢量信息进行融合,得到最终的车道线矢量信息;
根据所述最终的车道线矢量信息,建立车道线地图。
在上述车道线地图的构建方法的一个技术方案中,“通过车道线矢量识别模型,对所述颜色BEV图像、强度BEV图像和高度BEV图像进行车道线矢量识别,得到车道线矢量信息”的步骤还包括:
通过车道线矢量识别模型中的第一图像特征提取网络,分别提取所述强度BEV图像与所述高度BEV图像的第一图像特征;
通过车道线矢量识别模型中的第二图像特征提取网络,提取所述颜色BEV图像的第二图像特征;
通过车道线矢量识别模型中的特征融合网络,对所述第一图像特征与所述第二图像特征进行特征融合,得到融合特征;
通过车道线识别矢量模型中的识别网络对所述融合特征进行车道线矢量识别,得到车道线矢量信息。
在上述车道线地图的构建方法的一个技术方案中,“根据所述图像帧的颜色信息,对所述点云帧进行染色处理”的步骤具体包括通过下列方式分别对每个点云帧进行染色处理:
根据每个图像帧的时间戳与当前点云帧的时间戳,获取与当前点云帧时间距离最近的最近邻图像帧;
将当前点云帧上的点云投影至所述最近邻图像帧上,以获取当前点云帧上每个点云在所述最近邻图像帧上的投影点;
根据所述投影点的颜色信息,分别对当前点云帧上每个投影点各自对应的点云进行染色处理。
在上述车道线地图的构建方法的一个技术方案中,“将当前点云帧上的点云投影至所述最近邻图像帧上,以获取当前点云帧上每个点云在所述最近邻图像帧上的投影点”的步骤具体包括:
根据所述最近邻图像帧的时间戳,获取所述最近邻图像帧的曝光时刻并分别获取在所述曝光时刻之前和之后,与所述最近邻图像帧时间距离最近的两个目标点云帧;
根据所述两个目标点云帧的激光雷达位姿,获取在所述曝光时刻的激光雷达位姿;
基于激光雷达与相机之间的外参并根据在所述曝光时刻的激光雷达位姿,获取在所述曝光时刻的相机位姿;
利用所述相机位姿,将当前点云帧上的点云投影至所述最近邻图像帧上,以获取当前点云帧上每个点云在所述最近邻图像帧上的投影点。
在上述车道线地图的构建方法的一个技术方案中,“根据所述两个目标点云帧的激光雷达位姿,获取在所述曝光时刻的激光雷达位姿”的步骤具体包括:
分别获取每个目标点云帧的时间戳与所述曝光时刻之间的时间距离;
根据所述时间距离,分别确定每个目标点云帧的位姿权重;
根据每个目标点云帧的位姿权重,对两个目标点云帧的激光雷达位姿进行加权和计算;
根据加权和计算的结果,获取在所述曝光时刻的激光雷达位姿。
在上述车道线地图的构建方法的一个技术方案中,“根据所述时间距离,分别确定每个目标点云帧的位姿权重”的步骤具体包括:
计算所述时间距离的反比例值;
根据所述反比例值,确定所述位姿权重。
在上述车道线地图的构建方法的一个技术方案中,在“利用所述相机位姿,将当前点云帧上的点云投影至所述最近邻图像帧上,以获取当前点云帧上每个点云在所述最近邻图像帧上的投影点”的步骤之前,所述方法还包括:
对当前点云帧上的点云进行去畸变处理。
在上述车道线地图的构建方法的一个技术方案中,“对染色处理后的点云帧进行拼接,以获取全局点云地图”的步骤具体包括:
对染色处理后的点云帧进行拼接,以获取初始的全局点云地图;
去除所述初始的全局点云地图上属于动态物体的点云以及属于非地面要素的点云,得到最终的全局点云地图。
在第二方面,提供一种计算机设备,该计算机设备包括处理器和存储装置,所述存储装置适于存储多条程序代码,所述程序代码适于由所述处理器加载并运行以执行上述车道线地图的构建方法的技术方案中任一项技术方案所述的车道线地图的构建方法。
在第三方面,提供一种计算机可读存储介质,该计算机可读存储介质其中存储有多条程序代码,所述程序代码适于由处理器加载并运行以执行上述车道线地图的构建方法的技术方案中任一项技术方案所述的车道线地图的构建方法。
本发明上述一个或多个技术方案,至少具有如下一种或多种有益效果:
在实施本发明提供的方法技术方案中,可以获取车辆上激光雷达和相机分别采集到的点云帧和图像帧,根据图像帧的颜色信息对点云帧进行染色处理,在进行染色处理之后对染色处理后的点云帧进行拼接,以获取全局点云地图;进而通过车道线矢量识别模型并根据全局点云地图上点云的颜色信息、激光反射强度和高度进行车道线矢量识别,得到车道线矢量信息;最后根据车道线矢量信息,建立车道线地图。
通过染色处理可以将图像帧上的颜色特征融合到点云帧上,使得点云帧同时具备自身的点云特征和图像帧的颜色特征,通过车道线矢量识别模型可以自动识别出全局点云地图上的车道线矢量信息;此外点云的颜色信息、激光反射强度和高度可以分别表示点云的颜色特征、激光反射强度特征和几何结构特征,利用这三种特征信息进行车道线矢量识别,能够显著提高车道线矢量识别的准确性,克服了现有技术中利用激光雷达或相机无法准确检测得到车道线矢量信息的缺陷。
进一步,在实施本发明提供的方法技术方案中,在通过车道线矢量识别模型进行车道线矢量识别时可以根据全局点云地图上点云的颜色信息、激光反射强度和高度,分别生成颜色BEV图像、强度BEV图像和高度BEV图像,然后对颜色BEV图像、强度BEV图像和高度BEV图像进行车道线矢量识别,得到车道线矢量信息。
全局点云地图的地图坐标系是三维坐标系,上述各个BEV图像是的图像坐标系是二维坐标系,将对三维全局点云地图进行车道线矢量识别转换成对二维的BEV图像进行车道线矢量识别,可以提高识别效率;此外,基于上述实施方式,可以直接利用图像识别技术领域中的图像识别模型来搭建车道线矢量识别模型,降低了车道线矢量识别模型的搭建难度和成本。
附图说明
参照附图,本发明的公开内容将变得更易理解。本领域技术人员容易理解的是:这些附图仅仅用于说明的目的,而并非意在对本发明的保护范围组成限制。其中:
图1是根据本发明的一个实施例的车道线地图的构建方法的主要步骤流程示意图;
图2是根据本发明的一个实施例的对点云帧进行染色处理的方法的主要步骤流程示意图;
图3是根据本发明的一个实施例的获取全局点云地图的方法的主要步骤流程示意图;
图4是根据本发明的一个实施例的获取车道线矢量信息的方法的主要步骤流程示意图;
图5是根据本发明的另一个实施例的获取车道线矢量信息的方法的主要步骤流程示意图;
图6是根据本发明的一个实施例的矩形切分区域的示意图;
图7是根据本发明的一个实施例的根据车道线矢量信息建立车道线地图的方法的主要步骤流程示意图;
图8是根据本发明的一个实施例的计算机设备的主要结构示意图。
具体实施方式
下面参照附图来描述本发明的一些实施方式。本领域技术人员应当理解的是,这些实施方式仅仅用于解释本发明的技术原理,并非旨在限制本发明的保护范围。
在本发明的描述中,“处理器”可以包括硬件、软件或者两者的组合。处理器可以是中央处理器、微处理器、图像处理器、数字信号处理器或者其他任何合适的处理器。处理器具有数据和/或信号处理功能。处理器可以以软件方式实现、硬件方式实现或者二者结合方式实现。计算机可读存储介质包括任何合适的可存储程序代码的介质,比如磁碟、硬盘、光碟、闪存、只读存储器、随机存取存储器等等。
下面对车道线地图的构建方法实施例进行说明。
参阅附图1,图1是根据本发明的一个实施例的车道线地图的构建方法的主要步骤流程示意图。如图1所示,本发明实施例中的车道线地图的构建方法主要包括下列步骤S101至步骤S105。
步骤S101:获取车辆上激光雷达和相机分别采集到的点云帧和图像帧。具体地,可以在车辆沿着地图采集路径行驶的过程中,利用车辆上的相机采集得到图像帧,同时利用车辆上的激光雷达采集得到点云帧。
步骤S102:根据图像帧的颜色信息,对点云帧进行染色处理。
颜色信息包括但不限于RGB信息。
通过对点云帧进行染色处理,可以将图像帧的颜色信息融合到点云帧上,使得点云帧上的点云不仅包含在激光雷达坐标系的三维坐标和激光反射强度等信息,还可以包括颜色信息,即使其同时具备激光雷达点云的点云特征和图像帧的图像特征。
步骤S103:对染色处理后的点云帧进行拼接,以获取全局点云地图。具体地,可以获取每个点云帧的位姿,根据该位姿可以得到每两个相邻点云帧之间的相对位姿(位姿变化量),根据该相对位姿可以将这两个相邻点云帧拼接起来。通过上述方式,将所有点云帧拼接起来,就可以得到全局点云地图。其中,全局点云地图的地图坐标系的全局坐标系,比如东北天坐标系。
步骤S104:通过车道线矢量识别模型并根据全局点云地图上点云的颜色信息、激光反射强度和高度进行车道线矢量识别,得到车道线矢量信息。
点云的颜色信息是通过前述步骤中染色处理得到的颜色信息。
点云的激光反射强度是点云位置处的环境点在接收到激光雷达发送的电磁波之后向激光雷达反射回去的回波信号的强度。
点云的高度是点云在激光雷达坐标系中Z轴的坐标。
车道线矢量识别模型是采用机器学习算法比如深度学习算法,预先训练好的一个模型,该模型具备从点云的颜色信息、激光反射强度和高度上识别车道线矢量信息的能力。在需要获取车道线矢量信息时,可以将全局点云地图上点云的颜色信息、激光反射强度和高度输入至车道线矢量识别模型,通过该模型对上述信息进行识别,就可以得到车道线矢量信息。需要说明的是,在本发明实施例中可以采用常规的模型训练方法训练得到车道线矢量识别模型,只要能够使训练好的车道线矢量识别模型具备上述识别车道线矢量信息的能力即可,本发明实施例不对模型训练方法的具体方法原理进行赘述。
步骤S105:根据车道线矢量信息,建立车道线地图。
在得到车道线矢量信息之后,可以将车道线矢量信息标注在全局点云地图上,从而得到车道线地图。
在上述步骤S101至步骤S105所述的方法中,点云的颜色信息、激光反射强度和高度可以分别表示点云的颜色特征、激光反射强度特征和几何结构特征,利用这三种特征信息进行车道线矢量识别,能够显著提高车道线矢量识别的准确性。此外,通过上述方法可以通过车道线矢量识别模型可以自动识别出全局点云地图上的车道线矢量信息,进而就可以自动地建立得到车道线地图。
下面分别对上述步骤S102至步骤S105作进一步说明。
一、对步骤S102进行说明。
由于激光雷达和相机的数据采集频率不同,无法保证点云帧的时间戳和图像帧的时间戳完全一致,因此,为了提高对点云帧染色处理的准确性,可以根据时间戳选取与点云帧时间距离最近的最近邻图像帧,进行染色处理。具体而言,参阅附图2,在上述步骤S102的一些实施方式中可以通过下列步骤S1021至步骤S1023,分别对每个点云帧进行染色处理。
步骤S1021:根据每个图像帧的时间戳与当前点云帧的时间戳,获取与当前点云帧时间距离最近的最近邻图像帧。
时间距离是指两个时间戳之间的时间差值。
步骤S1022:将当前点云帧上的点云投影至最近邻图像帧上,以获取当前点云帧上每个点云在最近邻图像帧上的投影点。
步骤S1023:根据投影点的颜色信息,分别对当前点云帧上每个投影点各自对应的点云进行染色处理。具体地,将投影点的颜色信息,作为点云的颜色信息,存储到点云包含的信息中。
基于上述步骤S1021至步骤S1023所述的方法,可以在激光雷达和相机的数据采集频率不同的情况下,尽可能地提高染色处理的准确性。
下面对上述步骤S1022和步骤S1023作进一步说明。
(一)对步骤S1022进行说明。
为了尽可能地降低由于激光雷达和相机的数据采集频率不同,对点云投影带来的误差,可以获取图像帧曝光时刻的相机位姿,利用该相机位姿对点云进行投影。具体而言,在上述步骤S1022的一些实施方式中,可以通过下列步骤11至步骤14,将点云帧上的点云投影至最近邻图像帧上。
步骤11:根据最近邻图像帧的时间戳,获取最近邻图像帧的曝光时刻并分别获取在曝光时刻之前和之后,与最近邻图像帧时间距离最近的两个目标点云帧。
图像帧从曝光到被相机输出的时长d0通常是比较固定的,可以通过相机的属性参数直接获取得到。图像帧的时间戳表示图像帧被相机输出时的时刻,将该时间戳减去上述时长d0就可以得到图像帧的曝光时刻。
步骤12:根据两个目标点云帧的激光雷达位姿,获取在曝光时刻的激光雷达位姿。
目标点云帧是距离曝光时刻最近的两个点云帧,这两个点云帧的激光雷达位姿与在曝光时刻的激光雷达位姿会比较接近,因此,利用这两个点云帧可以推算得到在曝光时刻的激光雷达位姿。
在一些实施方式中,可以采用插值计算的方法,根据目标点云帧的激光雷达位姿和时间戳,对曝光时刻的激光雷达位姿进行插值计算,插值计算的结果就是曝光时刻的激光雷达位姿。
在另一些实施方式中,可以采用加权和计算的方法,对两个目标点云帧的激光雷达位姿进行加权和计算,将加权和计算的结果作为曝光时刻的激光雷达位姿。具体地,在本实施方式中可以通过下列步骤121至步骤124,获取在曝光时刻的激光雷达位姿。
步骤121:分别获取每个目标点云帧的时间戳与曝光时刻之间的时间距离。时间距离是指上述时间戳与曝光时刻之间的时间差值。
步骤122:根据时间距离,分别确定每个目标点云帧的位姿权重。时间距离越小,表明目标点云帧的激光雷达位姿与曝光时刻的激光雷达位姿约接近,因此,可以设置一个较大的位姿权重,反之则可以设置一个较小的位姿权重。为了便于设定位姿权重,在一些优选实施方式中可以计算时间距离的反比例值,根据反比例值确定位姿权重。例如,直接将反比例值作为位姿权重,或者对反比例值进行归一化处理,将归一化处理的结果作为位姿权重等。
步骤123:根据每个目标点云帧的位姿权重,对两个目标点云帧的激光雷达位姿进行加权和计算。
具体地,对两个目标点云帧的激光雷达位姿进行加权和计算的计算公式可以如下式(1)所示。
Figure DEST_PATH_IMAGE001
(1)
公式(1)中各参数含义分别如下:
Figure 871757DEST_PATH_IMAGE002
表示曝光时刻,
Figure DEST_PATH_IMAGE003
表示曝光时刻的激光雷达位姿,
Figure 818853DEST_PATH_IMAGE004
表示激光雷达坐标系,
Figure DEST_PATH_IMAGE005
表示全局坐标系,即激光雷达位姿是由激光雷达坐标系向全局坐标系转换的位姿;
Figure 617045DEST_PATH_IMAGE006
表示在 曝光时刻之前与最近邻图像帧时间距离最近的目标点云帧,
Figure DEST_PATH_IMAGE007
表示该目标点云帧的激光 雷达位姿,
Figure 878262DEST_PATH_IMAGE008
表示该目标点云帧的位姿权重;
Figure DEST_PATH_IMAGE009
表示在曝光时刻之后与最近邻图像帧时间距 离最近的目标点云帧,
Figure 609458DEST_PATH_IMAGE010
表示该目标点云帧的激光雷达位姿,
Figure DEST_PATH_IMAGE011
表示该目标点云帧的位 姿权重。
步骤124:根据加权和计算的结果,获取在曝光时刻的激光雷达位姿。
基于上述步骤121至步骤124,可以通过对两个目标点云帧的激光雷达位姿进行加权和计算,得到曝光时刻的激光雷达位姿。
以上是对步骤12的说明,下面继续对步骤13和14说明。
步骤13:基于激光雷达与相机之间的外参并根据在曝光时刻的激光雷达位姿,获取在曝光时刻的相机位姿。
具体地,根据上述外参与激光雷达位姿,获取曝光时刻的相机位姿的计算公式可以如下式(2)所示。
Figure 393700DEST_PATH_IMAGE012
(2)
公式(2)中各参数含义分别如下:
Figure DEST_PATH_IMAGE013
表示曝光时刻的相机位姿,
Figure 69401DEST_PATH_IMAGE003
表示曝光时刻的激光雷达位姿,
Figure 275254DEST_PATH_IMAGE014
表示激 光雷达与相机之间的外参,
Figure 392115DEST_PATH_IMAGE004
表示激光雷达坐标系,
Figure DEST_PATH_IMAGE015
表示相机坐标系。
步骤14:利用相机位姿,将当前点云帧上的点云投影至最近邻图像帧上,以获取当前点云帧上每个点云在最近邻图像帧上的投影点。
假设,当前点云帧的时间戳是时刻
Figure 884276DEST_PATH_IMAGE016
,当前点云帧上的一个点云在激光雷达坐标 系的坐标是
Figure DEST_PATH_IMAGE017
。在得到相机位姿
Figure 188218DEST_PATH_IMAGE013
之后,通过下列公式(3)将这个点云由激光雷达 坐标系投影(转换)到全局坐标系,再通过下列公式(4)将这个点云由全局坐标系投影(转 换)到曝光时刻的相机坐标系,最后将这个点云由相机坐标系投影(转换)到像素坐标系,将 投影到像素坐标系的投影点作为点云在最近邻图像帧上的投影点。
Figure 666604DEST_PATH_IMAGE018
(3)
Figure DEST_PATH_IMAGE019
(4)
公式(3)和(4)中各参数含义分别如下:
Figure 434709DEST_PATH_IMAGE020
表示将点云由激光雷达坐标系投影到全局坐标系之后的坐标,
Figure DEST_PATH_IMAGE021
表示 将
Figure 691247DEST_PATH_IMAGE020
由全局坐标系投影到相机坐标系之后的坐标。
基于上述步骤11至步骤14所述的方法,可以获取到更加准确的图像帧曝光时刻的相机位姿,从而降低由于激光雷达和相机的数据采集频率不同,对点云投影带来的误差。
(二)对步骤S1023进行说明。
为了进一步提高染色处理的准确性,在上述步骤S1023的一些实施方式中,可以先对当前点云帧上的点云进行去畸变处理,再利用相机位姿,将当前点云帧上的点云投影至最近邻图像帧上,以获取到更加准确的投影点,从而进一步提高染色处理的准确性。
具体地,在本实施方式中可以根据IMU(Inertial Measurement Unit)的数据采集频率分别获取IMU的每个数据采集时刻,即IMU采集时刻,并获取每个IMU采集时刻的IMU位姿,进一步根据IMU与激光雷达之间的外参对IMU位姿进行坐标系转换,可以得到每个IMU采集时刻的激光雷达位姿。对于当前点云帧上的每个点云,分别获取每个点云的采集时刻,然后利用上述IMU采集时刻的激光雷达位姿,对每个点云的采集时刻进行时间插值计算,得到每个点云的采集时刻的激光雷达位姿。最后,根据每个点云的采集时刻的激光雷达位姿,将所有点云都转换至当前点云帧起始时刻的激光雷达坐标系下,从而得到无运动畸变的点云帧。
二、对步骤S103进行说明。
本发明提供的车道线地图的构建方法主要是获取全局点云地图上车道线的矢量信息,因此,为了提高建图效率,可以去除与车道线无关的物体和地图要素。具体地,在上述步骤S103的一些实施方式中,可以通过图3所示的下列步骤S1031至步骤S1032,获取全局点云地图。
步骤S1031:对染色处理后的点云帧进行拼接,以获取初始的全局点云地图。
步骤S1032:去除初始的全局点云地图上属于动态物体的点云以及属于非地面要素的点云,得到最终的全局点云地图。
具体地,可以采用点云技术领域中常规动态物体识别方法,识别全局点云地图上属于动态物体的点云。此外,也可以采用点云技术领域中常规的地面点云获取方法,获取全局点云地图上的地面点云,根据地面点云可以拟合得到全局点云地图的地平面,进而根据地平面可以确定出属于非地面要素(比如建筑物)的点云。
基于上述步骤S1031至步骤S1032所述的方法,可以在全局点云地图上仅保留与车道线建图任务相关的点云,从而提高建图效率。
三、对步骤S104进行说明。
在本发明实施例中可以基于图像识别的方法,使用车道线矢量识别模型进行车道线矢量识别,得到车道线矢量信息。具体地,参阅附图4,可以通过下列步骤S1041至步骤S1042,获取车道线矢量信息。
步骤S1041:根据全局点云地图上点云的颜色信息、激光反射强度和高度,分别生成颜色BEV(Bird's Eye View)图像、强度BEV图像和高度BEV图像。
具体地,将全局点云地图上的点云投影到垂直于点云高度的平面上,得到一个平面图像,根据预设的BEV图像的分辨率,将这个平面图像划分成多个网格;然后,分别统计投影至每个网格内的点云的颜色信息平均值、激光反射强度平均值和高度平均值。最后,基于上述平面图像并根据每个网格的颜色信息平均值,生成颜色BEV图像;基于上述平面图像并根据每个网格的激光反射强度平均值,生成强度BEV图像;基于上述平面图像并根据每个网格的高度平均值,生成高度BEV图像。
需要说明的是,颜色信息可以用数字大小进行量化,比如颜色信息可以是RGB值,因此,可以根据点云的颜色信息计算得到每个网格内的点云的颜色信息平均值。
步骤S1042:通过车道线矢量识别模型,对颜色BEV图像、强度BEV图像和高度BEV图像进行车道线矢量识别,得到车道线矢量信息。
车道线矢量识别模型可以是采用机器学习算法比如深度学习算法,预先训练好的一个图像识别模型,该模型具备从颜色BEV图像、强度BEV图像和高度BEV图像上识别车道线矢量信息的能力。在需要获取车道线矢量信息时,可以将颜色BEV图像、强度BEV图像和高度BEV图像输入至车道线矢量识别模型,通过该模型对上述信息进行识别,就可以得到车道线矢量信息。
在本发明实施例中车道线矢量识别模型可以包括图像特征提取网络和识别网络,图像特征提取网络可以用于提取颜色BEV图像、强度BEV图像和高度BEV图像的图像特征,识别网络可以用于对该图像特征进行车道线矢量识别,得到车道线矢量信息。由于激光雷达和相机的数据采集频率不同,会导致颜色BEV图像的图像特征与其他两个BEV图像的图像特征无法完全对齐,如果通过同一个特征提取网络对这三个BEV图像进行图像特征提取,可能会降低图像特征的准确性。
对此,在一些优选实施方式中可以设置两个图像特征提取网络(第一、第二图像特征提取网络)和一个特征融合网络,第一图像特征提取网络可以用于提取强度BEV图像与高度BEV图像的图像特征,第二图像特征提取网络可以用于提取颜色BEV图像的图像特征,特征融合网络可以对上述两个图像特征提取网络得到的图像特征进行融合并得到的融合特征输入至识别网络进行识别。此外,参阅附图5,在本实施方式中可以利用车道线矢量识别模型并通过下列步骤S201至步骤S204,对颜色BEV图像、强度BEV图像和高度BEV图像进行车道线矢量识别。
步骤S201:通过车道线矢量识别模型中的第一图像特征提取网络,分别提取强度BEV图像与高度BEV图像的第一图像特征。
步骤S202:通过车道线矢量识别模型中的第二图像特征提取网络,提取颜色BEV图像的第二图像特征。
步骤S203:通过车道线矢量识别模型中的特征融合网络,对第一图像特征与第二图像特征进行特征融合,得到融合特征。
步骤S204:通过车道线识别矢量模型中的识别网络对融合特征进行车道线矢量识别,得到车道线矢量信息。
基于上述步骤S201至步骤S204所述的方法,可以避免由于激光雷达和相机的数据采集频率不同,导致无法准确提取颜色BEV图像、强度BEV图像和高度BEV图像的图像特征的问题。
基于上述步骤S1041至步骤S1042所述的方法,不需要对三维的全局点云地图进行识别,对二维的BEV图像进行识别,即可得到车道线矢量信息,相比于三维的全局点云地图,对二维的BEV图像进行识别可以减少对计算资源的消耗,提高识别效率。此外,可以直接利用图像识别技术领域中的图像识别模型来搭建车道线矢量识别模型,降低了车道线矢量识别模型的搭建难度和成本。
下面对上述步骤S1041和步骤S1042作进一步说明。
(一)对步骤S1041进行说明。
由于全局点云地图的覆盖范围通常比较大,因而车道线会比较长,如果将全局点云地图整体转换成颜色、强度和高度BEV图像,将这个BEV图像输入至车道线矢量识别模型进行识别,对车道线矢量识别模型的性能要求比较高,还可能会影响识别效率。对此,在一些实施方式中,可以通过下列步骤21至步骤22,来获取颜色、强度和高度BEV图像。
步骤21:将全局点云地图切分成多个连续的地图块。
步骤22:根据每个地图块上点云的颜色信息、激光反射强度和高度,分别生成每个地图块的颜色BEV图像、强度BEV图像和高度BEV图像。
地图块的BEV图像生成方法,与前述步骤S1041中描述的BEV图像生成方法类似,区别主要在于,前述步骤S1041是根据整个全局点云地图的颜色等信息生成各个BEV图像,而本实施方式是根据一个地图块的颜色等信息生成属于这个地图块的各个BEV图像。
基于上述步骤21至步骤22所述的方法,可以得到多个地图块的颜色、强度和高度BEV图像,相比于由全局点云地图整体转换而成的颜色、强度和高度BEV图像,地图块的各个BEV图像的尺寸会小很多,包含的特征也会少很多,这样再通过车道线矢量识别模型进行识别时可以降低对车道线矢量识别模型的性能要求比较高,并提高识别效率。
下面对上述步骤21作进一步说明。
车辆在车道上行驶时产生的行驶轨迹与车道轨迹通常是一致的或相似的,因此,可以获取车辆在全局点云地图上的行驶轨迹,沿着行驶轨迹,将全局点云地图切分成多个连续的地图块,这样可以保证每个地图块都会包含车道线。在一些优选实施方式中,可以通过下列步骤211至步骤213,对全局点云地图进行切分,以形成多个连续的地图块。
步骤211:按照预设间距从行驶轨迹上获取多个轨迹点。
轨迹点的数量与地图块的数量一致。
步骤212:在平行于行驶轨迹的切线方向上,以每个轨迹点为中心点,分别划定一个矩形切分区域。
如图6所示,按照预设间距从行驶轨迹上获取了5个轨迹点tp1、tp2、tp3、tp4和tp5。对于每个轨迹点而言,先确定行驶轨迹在轨迹点位置处的切线方向,然后以轨迹点为中心点且平行于该切线方向的方向上,设定一个矩形切分区域。其中,矩形切分区域的两条矩形边与切线方向平行,另外两条矩形边与切线方向垂直。
为了提高对地图块进行车道线矢量识别的准确性,在一些实施方式中可以通过下列方式确定预设间距的间距值与矩形切分区域的尺寸。
首先,获取预设的地图块的约束条件,该约束条件包括相邻地图块之间存在重叠区域且重叠区域的区域范围大于预设的范围阈值,以及根据地图块生成的颜色BEV图像、强度BEV图像和高度BEV图像上像素对应的米制距离小于预设的距离阈值。然后,根据上述约束条件,分别确定预设间距的间距值与矩形切分区域的尺寸。
下面对获取颜色、强度和高度BEV图像上像素对应的米制距离的方法进行说明。
根据前述步骤S1041可知,在生成颜色、强度和高度BEV图像时会将全局点云地图上的点云投影到垂直于点云高度的平面上,得到一个平面图像,然后根据预设的BEV图像的分辨率,将这个平面图像划分成多个网格,每个网格就是上述各个BEV图像的一个像素。在已知各个BEV图像的分辨率之后,利用各个BEV图像的尺寸就可以计算得到每个像素对应的米制距离。
通过上述重叠区域的约束条件,可以保证相邻地图块具有较大的重叠区域,有利于对多个图像块的车道线矢量信息进行融合,提高融合的准确性,得到较为准确的整个全局点云地图的车道线矢量信息。
通过上述米制距离的约束条件,可以保证对图像块识别到的车道线矢量信息具有较高的精度。这样,在根据车道线矢量信息,建立车道线地图时就可以得到高精度的车道线地图。
需要说明的是,本领域技术人员可以根据实际需求灵活设置预设的范围阈值和预设的距离阈值,例如预设的距离阈值可以是高精地图上每个地图点对应的米制距离。其中,高精地图是指地图元素的精度大于设定值的地图,高精地图至少能够提供车道级导航路线。高精地图中地图元素的精度可以是厘米级别,非高精地图中地图元素的精度可以是米级别。基于高精地图对车辆进行自动驾驶控制,能够显著提高导航路径规划的准确性,同时也能够显著提高车辆行驶过程中的安全性和可靠性。
步骤213:根据划定得到的每个矩形切分区域,分别对全局点云地图进行切分,得到多个连续的地图块。
由于矩形切分区域是连续的,且一个矩形切分区域就是一个地图块,因此,按照矩形切分区域对全局点云地图进行切分,可以得到多个连续的地图块。
基于上述步骤211至步骤213所述的方法,可以得到准确覆盖车道线且连续的地图块,有利于提高对地图块进行车道线矢量识别的准确性。
(二)对步骤S1042进行说明。
根据上述步骤S1041的实施方式可知,可以获取多个不同地图块的BEV图像,在此情况下,可以通过下列步骤31至步骤32,对各个BEV图像进行车道线矢量识别,得到车道线矢量信息。
步骤31:获取每个地图块的颜色BEV图像、强度BEV图像和高度BEV图像。
步骤32:通过车道线矢量识别模型,分别对每个地图块的颜色BEV图像、强度BEV图像和高度BEV图像进行车道线矢量识别,得到每个地图块的车道线矢量信息。
基于上述步骤31至步骤32所述的方法,可以分别对每个地图块进行车道线矢量识别,准确得到每个地图块的车道线矢量信息。
四、对步骤S105进行说明。
根据上述步骤S1042的实施方式可知,可以通过车道线矢量识别模型,分别得到每个地图块的车道线矢量信息,在此情况下,可以通过图7所示的步骤S1051至步骤S1053,建立车道线地图。
步骤S1051:分别将每个地图块的车道线矢量信息转换至全局坐标系。
车道线矢量信息是对地图块的各个BEV图像识别得到的,这个车道线矢量信息实际上是在图像坐标系的车道线矢量信息,而全局点云地图的地图坐标系是全局坐标系,因此,需要先将车道线矢量信息转换至全局坐标系,再利用全局点云地图和车道线矢量信息建立车道线地图。
具体地,高度BEV图像包含点云的高度信息,即点云在激光雷达坐标系中Z轴的坐标,这个Z轴的坐标可以作为车道线矢量信息在地图块的局部三维坐标系中Z轴的坐标,而车道线矢量信息在任一个BEV图像上的X轴和Y轴的坐标可以分别作为车道线矢量信息在该局部三维坐标系中X轴和Y轴的坐标,从而可以得到车道线矢量信息在该局部三维坐标系的三维坐标。在得到这个三维坐标之后,先将其转换至激光雷达坐标系,再由激光雷达坐标系转换至全局坐标系。
步骤S1052:对每个地图块在全局坐标系的车道线矢量信息进行融合,得到最终的车道线矢量信息。
在对车道线矢量信息进行融合时可以直接将多个地图块的车道线矢量信息组合在一起形成最终的车道线矢量信息,还可以先通过因子图优化或卡尔曼(KalmanFiltering)滤波等方式对每个地图块的车道线矢量信息进行优化,得到较为准确的车道线矢量信息,然后再将这些车道线矢量信息组合在一起形成最终的车道线矢量信息。
下面对因子图优化和卡尔曼滤波的方法进行简单说明。
1、因子图优化
在本发明实施例中可以根据地图块建立因子图,因子图上的因子节点分别与每个地图块一一对应,因子图上还设定有约束项,通过约束项对相邻两个地图块的车道线矢量信息进行约束,或者对形成回环关系的两个地图块的车道线矢量信息进行约束等等。本领域技术人员可以根据实际需求灵活设置约束项的具体内容,本发明实施例对此不进行具体限定。此外,在本发明实施例中可以采用自动驾驶技术领域中常规的基于因子图进行数据优化的方法,基于上述因子图对每个地图块的车道线矢量信息进行优化,本发明实施例同样对此不进行具体限定。
2、卡尔曼滤波
在本发明实施例中可以基于卡尔曼滤波理论建立车道线矢量信息估计模型,将通过车道线矢量识别模型得到的每个地图块的车道线矢量信息作为观测量,基于上述车道线矢量信息估计模型并根据该观测量,估计得到最优的车道线矢量信息。本领域技术人员可以采用自动驾驶技术领域中常规的卡尔曼滤波方法,建立车道线矢量信息估计模型以及基于上述车道线矢量信息估计模型并根据观测量,估计得到最优的车道线矢量信息,本发明实施例对此不进行具体限定。
步骤S1053:根据最终的车道线矢量信息,建立车道线地图。
在得到最终的车道线矢量信息之后,可以在全局点云地图上标注好这些车道线矢量信息,从而得到车道线地图。
基于上述步骤S1051至步骤S1053所述的方法,可以对多个地图块的车道线矢量信息进行融合,得到准确的车道线矢量信息,有利于得到更加准确的车道线地图。
需要指出的是,尽管上述实施例中将各个步骤按照特定的先后顺序进行了描述,但是本领域技术人员可以理解,为了实现本发明的效果,不同的步骤之间并非必须按照这样的顺序执行,其可以同时(并行)执行或以其他顺序执行,调整之后的方案与本发明中描述的技术方案属于等同技术方案,因此也将落入本发明的保护范围之内。
本领域技术人员能够理解的是,本发明实现上述一实施例的方法中的全部或部分流程,也可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述各个方法实施例的步骤。其中,所述计算机程序包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读存储介质可以包括:能够携带所述计算机程序代码的任何实体或装置、介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器、随机存取存储器、电载波信号、电信信号以及软件分发介质等。需要说明的是,所述计算机可读存储介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减,例如在某些司法管辖区,根据立法和专利实践,计算机可读存储介质不包括电载波信号和电信信号。
进一步,本发明还提供了一种计算机设备。
参阅附图8,图8是根据本发明的一个计算机设备实施例的主要结构示意图。如图8所示,本发明实施例中的计算机设备主要包括存储装置和处理器,存储装置可以被配置成存储执行上述方法实施例的车道线地图的构建方法的程序,处理器可以被配置成用于执行存储装置中的程序,该程序包括但不限于执行上述方法实施例的车道线地图的构建方法的程序。为了便于说明,仅示出了与本发明实施例相关的部分,具体技术细节未揭示的,请参照本发明实施例方法部分。
在本发明实施例中计算机设备可以是包括各种电子设备形成的控制装置设备。在一些可能的实施方式中,计算机设备可以包括多个存储装置和多个处理器。而执行上述方法实施例的车道线地图的构建方法的程序可以被分割成多段子程序,每段子程序分别可以由处理器加载并运行以执行上述方法实施例的车道线地图的构建方法的不同步骤。具体地,每段子程序可以分别存储在不同的存储装置中,每个处理器可以被配置成用于执行一个或多个存储装置中的程序,以共同实现上述方法实施例的车道线地图的构建方法,即每个处理器分别执行上述方法实施例的车道线地图的构建方法的不同步骤,来共同实现上述方法实施例的车道线地图的构建方法。
上述多个处理器可以是部署于同一个设备上的处理器,例如上述计算机设备可以是由多个处理器组成的高性能设备,上述多个处理器可以是该高性能设备上配置的处理器。此外,上述多个处理器也可以是部署于不同设备上的处理器,例如上述计算机设备可以是服务器集群,上述多个处理器可以是服务器集群中不同服务器上的处理器。
进一步,本发明还提供了一种计算机可读存储介质。
在根据本发明的一个计算机可读存储介质的实施例中,计算机可读存储介质可以被配置成存储执行上述方法实施例的车道线地图的构建方法的程序,该程序可以由处理器加载并运行以实现上述车道线地图的构建方法。为了便于说明,仅示出了与本发明实施例相关的部分,具体技术细节未揭示的,请参照本发明实施例方法部分。该计算机可读存储介质可以是包括各种电子设备形成的存储装置设备,可选的,本发明实施例中计算机可读存储介质是非暂时性的计算机可读存储介质。
至此,已经结合附图所示的一个实施方式描述了本发明的技术方案,但是,本领域技术人员容易理解的是,本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下,本领域技术人员可以对相关技术特征作出等同的更改或替换,这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

Claims (17)

1.一种车道线地图的构建方法,其特征在于,所述方法包括:
获取车辆上激光雷达和相机分别采集到的点云帧和图像帧;
根据所述图像帧的颜色信息,对所述点云帧进行染色处理;
对染色处理后的点云帧进行拼接,以获取全局点云地图;
通过车道线矢量识别模型并根据所述全局点云地图上点云的颜色信息、激光反射强度和高度进行车道线矢量识别,得到车道线矢量信息;
根据所述车道线矢量信息,建立车道线地图。
2.根据权利要求1所述的方法,其特征在于,“通过车道线矢量识别模型并根据所述全局点云地图上点云的颜色信息、激光反射强度和高度进行车道线矢量识别,得到车道线矢量信息”的步骤具体包括:
根据所述全局点云地图上点云的颜色信息、激光反射强度和高度,分别生成颜色BEV图像、强度BEV图像和高度BEV图像;
通过车道线矢量识别模型,对所述颜色BEV图像、强度BEV图像和高度BEV图像进行车道线矢量识别,得到车道线矢量信息。
3.根据权利要求2所述的方法,其特征在于,“根据所述全局点云地图上点云的颜色信息、激光反射强度和高度,分别生成颜色BEV图像、强度BEV图像和高度BEV图像”的步骤具体包括:
将所述全局点云地图切分成多个连续的地图块;
根据每个地图块上点云的颜色信息、激光反射强度和高度,分别生成每个地图块的颜色BEV图像、强度BEV图像和高度BEV图像。
4.根据权利要求3所述的方法,其特征在于,“将所述全局点云地图切分成多个连续的地图块”的步骤具体包括:
获取车辆在所述全局点云地图上的行驶轨迹;
沿着所述行驶轨迹,将所述全局点云地图切分成多个连续的地图块。
5.根据权利要求4所述的方法,其特征在于,“沿着所述行驶轨迹,将所述全局点云地图切分成多个连续的地图块”的步骤具体包括:
按照预设间距从所述行驶轨迹上获取多个轨迹点;
在平行于所述行驶轨迹的切线方向上,以每个轨迹点为中心点,分别划定一个矩形切分区域;
根据划定得到的每个矩形切分区域,分别对所述全局点云地图进行切分,得到多个连续的地图块。
6.根据权利要求5所述的方法,其特征在于,在“按照预设间距从所述行驶轨迹上获取多个轨迹点”的步骤之前,所述方法还包括通过下列方式确定所述预设间距的间距值与所述矩形切分区域的尺寸:
获取预设的地图块的约束条件;
根据所述预设的地图块的约束条件,分别确定所述预设间距的间距值与所述矩形切分区域的尺寸;
其中,所述预设的地图块的约束条件包括:
相邻地图块之间存在重叠区域且重叠区域的区域范围大于预设的范围阈值,以及根据所述地图块生成的颜色BEV图像、强度BEV图像和高度BEV图像上像素对应的米制距离小于预设的距离阈值。
7.根据权利要求3所述的方法,其特征在于,“通过车道线矢量识别模型,对所述颜色BEV图像、强度BEV图像和高度BEV图像进行车道线矢量识别,得到车道线矢量信息”的步骤具体包括:
获取每个地图块的颜色BEV图像、强度BEV图像和高度BEV图像;
通过车道线矢量识别模型,分别对每个地图块的颜色BEV图像、强度BEV图像和高度BEV图像进行车道线矢量识别,得到每个地图块的车道线矢量信息。
8.根据权利要求7所述的方法,其特征在于,“根据所述车道线矢量信息,建立车道线地图”的步骤具体包括:
分别将每个地图块的车道线矢量信息转换至全局坐标系;
对每个地图块在全局坐标系的车道线矢量信息进行融合,得到最终的车道线矢量信息;
根据所述最终的车道线矢量信息,建立车道线地图。
9.根据权利要求2至7中任一项所述的方法,其特征在于,“通过车道线矢量识别模型,对所述颜色BEV图像、强度BEV图像和高度BEV图像进行车道线矢量识别,得到车道线矢量信息”的步骤还包括:
通过车道线矢量识别模型中的第一图像特征提取网络,分别提取所述强度BEV图像与所述高度BEV图像的第一图像特征;
通过车道线矢量识别模型中的第二图像特征提取网络,提取所述颜色BEV图像的第二图像特征;
通过车道线矢量识别模型中的特征融合网络,对所述第一图像特征与所述第二图像特征进行特征融合,得到融合特征;
通过车道线识别矢量模型中的识别网络对所述融合特征进行车道线矢量识别,得到车道线矢量信息。
10.根据权利要求1所述的方法,其特征在于,“根据所述图像帧的颜色信息,对所述点云帧进行染色处理”的步骤具体包括通过下列方式分别对每个点云帧进行染色处理:
根据每个图像帧的时间戳与当前点云帧的时间戳,获取与当前点云帧时间距离最近的最近邻图像帧;
将当前点云帧上的点云投影至所述最近邻图像帧上,以获取当前点云帧上每个点云在所述最近邻图像帧上的投影点;
根据所述投影点的颜色信息,分别对当前点云帧上每个投影点各自对应的点云进行染色处理。
11.根据权利要求10所述的方法,其特征在于,“将当前点云帧上的点云投影至所述最近邻图像帧上,以获取当前点云帧上每个点云在所述最近邻图像帧上的投影点”的步骤具体包括:
根据所述最近邻图像帧的时间戳,获取所述最近邻图像帧的曝光时刻并分别获取在所述曝光时刻之前和之后,与所述最近邻图像帧时间距离最近的两个目标点云帧;
根据所述两个目标点云帧的激光雷达位姿,获取在所述曝光时刻的激光雷达位姿;
基于激光雷达与相机之间的外参并根据在所述曝光时刻的激光雷达位姿,获取在所述曝光时刻的相机位姿;
利用所述相机位姿,将当前点云帧上的点云投影至所述最近邻图像帧上,以获取当前点云帧上每个点云在所述最近邻图像帧上的投影点。
12.根据权利要求11所述的方法,其特征在于,“根据所述两个目标点云帧的激光雷达位姿,获取在所述曝光时刻的激光雷达位姿”的步骤具体包括:
分别获取每个目标点云帧的时间戳与所述曝光时刻之间的时间距离;
根据所述时间距离,分别确定每个目标点云帧的位姿权重;
根据每个目标点云帧的位姿权重,对两个目标点云帧的激光雷达位姿进行加权和计算;
根据加权和计算的结果,获取在所述曝光时刻的激光雷达位姿。
13.根据权利要求12所述的方法,其特征在于,“根据所述时间距离,分别确定每个目标点云帧的位姿权重”的步骤具体包括:
计算所述时间距离的反比例值;
根据所述反比例值,确定所述位姿权重。
14.根据权利要求11所述的方法,其特征在于,在“利用所述相机位姿,将当前点云帧上的点云投影至所述最近邻图像帧上,以获取当前点云帧上每个点云在所述最近邻图像帧上的投影点”的步骤之前,所述方法还包括:
对当前点云帧上的点云进行去畸变处理。
15.根据权利要求1所述的方法,其特征在于,“对染色处理后的点云帧进行拼接,以获取全局点云地图”的步骤具体包括:
对染色处理后的点云帧进行拼接,以获取初始的全局点云地图;
去除所述初始的全局点云地图上属于动态物体的点云以及属于非地面要素的点云,得到最终的全局点云地图。
16.一种计算机设备,包括处理器和存储装置,所述存储装置适于存储多条程序代码,其特征在于,所述程序代码适于由所述处理器加载并运行以执行权利要求1至15中任一项所述的车道线地图的构建方法。
17.一种计算机可读存储介质,其中存储有多条程序代码,其特征在于,所述程序代码适于由处理器加载并运行以执行权利要求1至15中任一项所述的车道线地图的构建方法。
CN202211670682.8A 2022-12-26 2022-12-26 车道线地图的构建方法、计算机设备及存储介质 Pending CN115661394A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211670682.8A CN115661394A (zh) 2022-12-26 2022-12-26 车道线地图的构建方法、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211670682.8A CN115661394A (zh) 2022-12-26 2022-12-26 车道线地图的构建方法、计算机设备及存储介质

Publications (1)

Publication Number Publication Date
CN115661394A true CN115661394A (zh) 2023-01-31

Family

ID=85022225

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211670682.8A Pending CN115661394A (zh) 2022-12-26 2022-12-26 车道线地图的构建方法、计算机设备及存储介质

Country Status (1)

Country Link
CN (1) CN115661394A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115965756A (zh) * 2023-03-13 2023-04-14 安徽蔚来智驾科技有限公司 地图构建方法、设备、驾驶设备和介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180181817A1 (en) * 2015-09-10 2018-06-28 Baidu Online Network Technology (Beijing) Co., Ltd. Vehicular lane line data processing method, apparatus, storage medium, and device
WO2021129788A1 (zh) * 2019-12-26 2021-07-01 广州文远知行科技有限公司 地图的渲染方法、装置、计算机设备和存储介质
CN113593026A (zh) * 2021-07-30 2021-11-02 深圳元戎启行科技有限公司 车道线标注辅助地图生成方法、装置和计算机设备
CN114076956A (zh) * 2021-11-12 2022-02-22 北京斯年智驾科技有限公司 一种基于激光雷达点云辅助的车道线标定方法
CN114445593A (zh) * 2022-01-30 2022-05-06 重庆长安汽车股份有限公司 基于多帧语义点云拼接的鸟瞰图语义分割标签生成方法
CN115372987A (zh) * 2022-08-04 2022-11-22 广州高新兴机器人有限公司 基于激光雷达的车道线提取方法、装置、介质及设备
CN115407364A (zh) * 2022-09-06 2022-11-29 安徽蔚来智驾科技有限公司 点云地图处理方法、车道标注数据获取方法、设备及介质
CN115451977A (zh) * 2022-09-06 2022-12-09 安徽蔚来智驾科技有限公司 车道标注数据的获取方法、计算机设备及存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180181817A1 (en) * 2015-09-10 2018-06-28 Baidu Online Network Technology (Beijing) Co., Ltd. Vehicular lane line data processing method, apparatus, storage medium, and device
WO2021129788A1 (zh) * 2019-12-26 2021-07-01 广州文远知行科技有限公司 地图的渲染方法、装置、计算机设备和存储介质
CN113593026A (zh) * 2021-07-30 2021-11-02 深圳元戎启行科技有限公司 车道线标注辅助地图生成方法、装置和计算机设备
CN114076956A (zh) * 2021-11-12 2022-02-22 北京斯年智驾科技有限公司 一种基于激光雷达点云辅助的车道线标定方法
CN114445593A (zh) * 2022-01-30 2022-05-06 重庆长安汽车股份有限公司 基于多帧语义点云拼接的鸟瞰图语义分割标签生成方法
CN115372987A (zh) * 2022-08-04 2022-11-22 广州高新兴机器人有限公司 基于激光雷达的车道线提取方法、装置、介质及设备
CN115407364A (zh) * 2022-09-06 2022-11-29 安徽蔚来智驾科技有限公司 点云地图处理方法、车道标注数据获取方法、设备及介质
CN115451977A (zh) * 2022-09-06 2022-12-09 安徽蔚来智驾科技有限公司 车道标注数据的获取方法、计算机设备及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115965756A (zh) * 2023-03-13 2023-04-14 安徽蔚来智驾科技有限公司 地图构建方法、设备、驾驶设备和介质
CN115965756B (zh) * 2023-03-13 2023-06-06 安徽蔚来智驾科技有限公司 地图构建方法、设备、驾驶设备和介质

Similar Documents

Publication Publication Date Title
EP2858008B1 (en) Target detecting method and system
CN109919944B (zh) 一种复杂场景建筑物变化检测的联合超像素图割优化方法
US9465976B1 (en) Feature reduction based on local densities for bundle adjustment of images
CN114842450B (zh) 一种可行驶区域检测方法、装置及设备
CN109635816B (zh) 车道线生成方法、装置、设备以及存储介质
CN103814306A (zh) 深度测量质量增强
CN111611853A (zh) 一种传感信息融合方法、装置及存储介质
CN109816780B (zh) 一种双目序列影像的输电线路三维点云生成方法及装置
KR20140109790A (ko) 영상 처리 장치 및 영상 처리 방법
CN103017655A (zh) 一种多楼层房屋建筑面积的提取方法及***
Józsa et al. Towards 4D virtual city reconstruction from Lidar point cloud sequences
CN115638787B (zh) 一种数字地图生成方法、计算机可读存储介质及电子设备
CN112541938A (zh) 一种行人速度测量方法、***、介质及计算设备
KR101092250B1 (ko) 레인지 영상으로부터의 객체 분할 장치 및 방법
EP2677462B1 (en) Method and apparatus for segmenting object area
CN115661394A (zh) 车道线地图的构建方法、计算机设备及存储介质
CN112149471B (zh) 一种基于语义点云的回环检测方法及装置
CN116052100A (zh) 图像感知方法、计算机设备、计算机可读存储介质及车辆
CN107808160B (zh) 三维建筑物提取方法和装置
KR102550233B1 (ko) 수치건물지면모델 생성 방법 및 장치, 컴퓨터 판독 가능한 기록 매체 및 컴퓨터 프로그램
CN114782496A (zh) 一种对象的跟踪方法、装置、存储介质及电子装置
CN113920254A (zh) 一种基于单目rgb的室内三维重建方法及其***
Miyama Fast stereo matching with super-pixels using one-way check and score filter
CN115439484B (zh) 基于4d点云的检测方法、装置、存储介质及处理器
JP7417466B2 (ja) 情報処理装置、情報処理方法及び情報処理プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination