车道线检测方法、装置、计算机设备和存储介质
技术领域
本申请涉及自动驾驶技术领域,特别是涉及一种车道线检测方法、装置、计算机设备和存储介质。
背景技术
车道线检测在无人驾驶领域有着至关重要的作用,其检测过程通常分为两个部分。首先,利用机器学习方法从采集的二维的车辆前方图像中提取出车道线的像素点。随后,根据将提取的车道线从二维图像投影到三维空间中。
然而,在车辆前方图像的实际采集过程中,车辆前方图像中的部分车道线可能被前方车辆所遮挡,即所采集的车道线并不是完整的。因此,利用机器学习在从车辆前方图像中提取车道线时,通常会根据前后车道线的位置,对被遮挡的车道线的位置进行预估,得到完整的车道线。即,被遮挡的车道线的位置是通过估计得到的,并不是被遮挡车道线的精确位置。因此,当将车道线投影到三维空间时,将产生巨大的误差,导致提取的车道线不精确。
发明内容
基于此,有必要针对上述技术问题,提供一种能够提高提取精度的车道线检测方法、装置、计算机设备和存储介质。
一种车道线检测方法,所述方法包括:
基于双目相机采集的车辆前方图像,得到深度图;
将所述深度图对应的车辆前方图像输入车道线提取模型,提取得到对应的车道线像素点图像;
根据所述深度图,得到所述车道线像素图像中各车道线像素点在相机坐标系下的坐标信息;
根据所述双目相机安装的俯仰角,将所述车道线像素点由相机坐标系投影至车身坐标系,得到各像素点在车身坐标系下的坐标信息;
根据各所述车道线像素点在车身坐标系下的坐标信息,确定被遮挡的车道线像素点;
修正被遮挡的车道线像素点在车身坐标系下的坐标信息;
将修正后的各车道线像素点从车身坐标系投影至三维平面,对投影后的各像素点进行曲线拟合,得到车道线。
在其中一个实施例中,所述方法还包括:
对符合要求的近处车道线像素点进行下采样,得到下采样后车道线像素点;
所述根据所述深度图,得到所述车道线像素图像中各车道线像素点在相机坐标系下的坐标信息的步骤,包括:根据所述深度图,得到下采样后车道线像素点在相机坐标系下的坐标信息。
在其中一个实施例中,对符合要求的近处车道线像素点进行下采样,得到下采样后车道线像素点,包括:
根据所述车道线像素点所处的行数以及图像高度,确定符合要求的近处车道线;
对所述近处车道线进行下采样,得到下采样后车道线像素点。
在其中一个实施例中,对所述近处车道线进行下采样的采样间隔与所述车道线像素点距离车辆的距离成反比。
在其中一个实施例中,根据各所述车道线像素点在车身坐标系下的坐标信息,确定被遮挡的车道线像素点的步骤,包括:
当车道线像素点在车身坐标系的纵坐标与相机安装高度的高度差大于路面高度阈值时,确定所述车道线像素点为被遮挡的车道线像素点。
在其中一个实施例中,所述根据所述深度图,得到所述车道线像素图像中各车道线像素点在相机坐标系下的坐标信息的步骤,包括:
根据输入的所述车辆前方图像,得到对应的所述车道线像素点图像中各车道线像素点在图像坐标系下的坐标信息;
根据所述深度图和各所述车道线像素点在图像坐标系下的坐标信息,得到各车道线像素点在相机坐标系下的坐标信息。
在其中一个实施例中,根据投影关系修正被遮挡的车道线像素点在车身坐标系下的坐标信息的步骤,包括:
根据所述双目相机距离地面的高度与修正前被遮挡的车道线像素点的高度的比值,修正所述被遮挡车道线像素点在车身坐标系下的横坐标和纵坐标;
根据所述双目相机距离地面的高度,修正所述被遮挡的车道线像素点在车身坐标系下的深度值。
一种车道线检测装置,包括:
深度图获取模块,用于基于双目相机采集的车辆前方图像,得到深度图;
车道线提取模块,用于将所述深度图对应的车辆前方图像输入车道线提取模型,提取得到对应的车道线像素点图像;
第一坐标信息获取模块,用于根据所述深度图,得到所述车道线像素图像中各车道线像素点在相机坐标系下的坐标信息;
第二坐标信息获取模块,用于根据所述双目相机的安装的俯仰角,将所述车道线像素点由相机坐标系投影至车身坐标系,得到各像素点在车身坐标系下的坐标信息;
遮挡点获取模块,用于根据各所述车道线像素点在车身坐标系下的坐标信息,确定被遮挡的车道线像素点;
修正模块,用于根据投影关系修正被遮挡的车道线像素点在车身坐标系下的坐标信息;
拟合模块,用于将修正后的各车道线像素点从车身坐标系投影至三维平面,对投影后的各像素点进行曲线拟合,得到车道线。
一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述各实施例所述方法的步骤。
一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述各实施例所述的方法的步骤。
上述车道线检测方法、装置、计算机设备和存储介质,基于双目立体视觉***,对粗提取的车道线,实现了车线道由二维图像到三维空间的投影,并根据相机俯仰角和相机高度对被遮挡的车道线像素点的坐标进行修正,得到实际被车道线像素点在三维空间中的位置,减少了投影到三维空间时的误差,在此基础上对车道线各像素点进行拟合,从而提高了车道线提取的精度。
附图说明
图1为一个实施例中车道线检测方法的流程示意图;
图2为一个实施例中从相机坐标系转换至车身坐标系的示意图;
图3为一个实施例中实际被遮挡车道线像素点与相机位置关系说明示意图;
图4为一个实施例中车道线检测装置的结构框图;
图5为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
本申请提供的车道线检测方法,用于从双目相机采集的车辆前方图像中提取车道线,提取的车道线可用于制作高精度地图,或智能行驶设备行驶的行驶控制。以智能行驶设备为例,本申请的车道线检测方法可以应用于行驶控制装置,行驶控制装置用于控制智能行驶设备行驶。智能行驶设备搭载双目相机,用于同步采集智能行驶设备行驶方向的图像。双目相机与行驶控制装置连接,将采集的图像发送至行驶控制装置。行驶控制装置根据采集车辆前方图像,采用本申请提供的车道线检测方法提到车道线。其中,行驶控制装置可设置在智能行驶设备上,智能行驶设备可以为智能车辆或机器人等。
在一个实施例中,如图1所示,提供了一种车道线检测方法,以该方法应用于行驶控制装置为例进行说明,包括以下步骤:
S102,基于双目相机采集的车辆前方图像,得到深度图。
具体地,车辆搭载有双目相机,在行驶过程中,同步采集车辆前方图像。双目相机拍摄同一场景的左、右两幅车辆前方图像,根据相机内参对图像进行校正,随后对两幅校正后的图像进行立体匹配获取视差图,进而根据基线距离与焦距将视差图转换为深度图。通过深度图能得到场景中各像素点距离摄像机的距离,即相机坐标系下的深度值Z。
S104,将深度图对应的车辆前方图像输入车道线提取模型,提取得到对应的车道线像素点图像。
具体地,车道线提取模型可采用神经网络模型,如卷积神经网络模型。预先通过大量标注的训练图像,对神经网络模型进行训练,根据预测结果提取的车道线和标注结果所标注的车道线之间的差异,调整神经网络模型参数,从而得到车道线提取模型。
本实施例中,利用已训练好的车道线提取模型,将深度图对应的车辆前方图像输入车道线提取模型,提取得到与输入图像对应的由车道线像素点组成的图像。
S106,根据深度图,得到车道线像素图像中各车道线像素点在相机坐标系下的坐标信息。
由于深度图记录了各像素点在相机坐标系下的深度值Z,根据车道线像素点在图像坐标系下的横坐标、纵坐标以及从对应深度图得到在相机坐标系下的深度值,得到各车道线像素点在相机坐标系下的坐标信息(Xi,Yi,Zi),其中,Xi,为车道线像素点在相机坐标系下的横坐标,Yi,为车道线像素点在相机坐标系下的纵坐标,Zi为车道线像素点在相机坐标系下的深度值。相机坐标系如图2所示的OXYZ。
S108,根据双目相机安装的俯仰角,将车道线像素点由相机坐标系投影至车身坐标系,得到各像素点在车身坐标系下的坐标信息。
双目相机安装的俯仰角θpitch是指双目相机安装在车身上的俯仰角度,可通过对双目相机预先测量得到。通过将车道线像素点由相机坐标系投影至车身坐标系,能够使车道线与车辆行驶方向平行。车身坐标系如图2所示的OX'Y'Z',令投影后车像素点车身坐标系下的坐标为(X’i,Y’i,Z’i),由于相机坐标系相对车身坐标系偏移了俯仰角θpitch,则根据以下公式,利用相机的俯仰角和车道线像素点在相机坐标系下的坐标数据,计算投影至车身坐标系后,车道线像素点的在车身坐标系下的坐标数据,具体为:
X’i=Xi
Y’i=cos(θpitch)*Yi+sin(θpitch)*Zi
Z’i=cos(θpitch)*Zi-sin(θpitch)*Yi
S110,根据各车道线像素点在车身坐标系下的坐标信息,确定被遮挡的车道线像素点。
具体地,将车道线各像素点投影至车身坐标系下后,车道线与车辆行驶方向平行,通过车道线各像素点的纵坐标,确定被遮挡的车道线像素点。考虑到相机的安装高度,若车道线像素点与地面之间的高度差大于地面高度阈值,则该点被遮挡,如被前面正在行驶的汽车所遮挡。
具体地,根据各像素点在车身坐标系下的坐标信息,确定被遮挡的车道线像素点的步骤,包括:当车道线像素点在车身坐标系的纵坐标与相机安装高度的高度差大于路面高度阈值时,确定该车道线像素点为被遮挡的车道线像素点。
其中,设相机距离地面高度为H相,对车身坐标系下的每个车像素点(X’i,Y’i,Z’i),当Y’i<H相-H阈时,说明该点与地面之间的高度差大于地面高度阈值,则判断该处车道线像素点被遮挡,其中H阈为路面高度阈值,通常取0.1<H阈<0.3m。
S112,修正被遮挡的车道线像素点在车身坐标系下的坐标信息。
具体地,被遮挡车道线像素点、相机以及车身坐标系的原点在同一直线上,如图3所示,ADE为路面,C点为相机,B点为被遮挡的车道线像素点。车道线、路面以及实际被遮挡 车道线像素点构成的三角形ABD,与车道线、路面以及相机构成的三角形ACE为相似三角形,基于相似三角形对应边成比例的定理,可推测被遮挡的车道线像素点在车身坐标系下的坐标信息。
具体地,如图3所示,由于三角形ABD与三角形ACE为相似三角形,令被遮挡的车像线像素点距离地面高度为Y',相机距离地面高度为H相,从而得到下列公式:
从而,可以根据双目相机距离地面的高度与修正前被遮挡的车道线像素点的高度的比值,修正被遮挡车道线像素点在车身坐标系下的横坐标。
纵坐标的修正类似,根据双目相机距离地面的高度与修正前被遮挡的车道线像素点的高度的比值,修正被遮挡车道线像素点在车身坐标系下的纵坐标。
根据双目相机距离地面的高度,修正被遮挡的车道线像素点在车身坐标系下的深度值。
具体地,如下所示,
X’i'=X’i*H相/Y?
Y’i'=Y’i*H相/Y?
Z’i'=H相
其中,X’i'为修正后被遮挡车道线像素点在车身坐标系下的横坐标,Y’j'为修正后被遮挡车道线像素点在车身坐标系下的纵坐标,Z’i'为修正后被遮挡车道线像素点在车身坐标系下的深度值。
本实施例中,通过利用相机俯仰角度和相机高度对被遮挡的车道像像素点的坐标进行更新,得到实际被车道线像素点在三维空间中的位置。
S114,将修正后的各车道线像素点从车身坐标系投影至三维平面,对投影后的各像素点进行曲线拟合,得到车道线。
具体地,三维平面即路面,通过去掉车身坐标系坐标值中的纵坐标信息,即可得到三维平面,如图2所示的X’OZ’平面,投影后点的坐标为本实施例中,可对投影后的各像素点进行三次曲线拟合。三次曲线拟合是指将投影后的点拟合为三次曲线方程,使得所有点到该曲线距离之和最小。本实施例中,利用最小二乘法对投影后的点进行三次曲线拟合,最终得到车道线在三维空间道路平面的函数表达式:
X=a0+a1Z+A2Z2+a3Z3)
其中,a0、a1、a2、a3分别为方程0、1、2、3阶系数。
上述的车道线检测方法,基于双目立体视觉***,对粗提取的车道线,实现了车线道由二维图像到三维空间的投影,并根据相机俯仰角和相机高度对被遮挡的车道线像素点的坐标进行修正,得到实际被车道线像素点在三维空间中的位置,减少了投影到三维空间时的误差,在此基础上对车道线各像素点进行拟合,从而提高了车道线提取的精度。
在另一个实施例中,由于近处车道线在图像上的像素数目远远大于远处车道线的像素数目,导致拟合过程中,近处车道线像素点的影响过大,而远处车道线像素点的影响过小。为减少近处车道线像素点对车道线拟合的影响,本实施例中,对近处车道线的像素点进行下采样。具体地,车道线检测方法,还包括:对符合要求的近处车道线像素点进行下采样,得到下采样后车道线像素点,根据深度图,得到车道线像素图像中各车道线像素点在相机坐标系下的坐标信息的步骤,包括:根据深度图,得到下采样后车道线像素点在相机坐标系下的坐标信息。
其中,符合要求的近处车道线像素点,是与车身距离在一定范围内的车道线像素点。下采样又称降采样,对于一幅图像I尺寸为M*N,对其进行s倍下采样,即得到(M/s)*(N/s)尺寸的得分辨率图像。本实施例中,对符合要求的近处车道线像素点进行下采样,从而减少近处车道线的像素数目,使车道线拟合过程中,近处车道线像素点和远处车道像素点的影响平衡。
具体地,对符合要求的近处车道线像素点进行下采样,得到下采样后车道线像素点,包括:根据车道线像素点所处的行数以及图像高度,确定符合要求的近处车道线;对近处车道线进行下采样,得到下采样后车道线像素点。
设图像高度为H,以车道线像素点在图像中高度位置,确定近处车道线,如,若车道线像素点所处的行数大于阈值,则认为该车道线像素点为近处车道线,其中,阈值与图像高度相关,如一个实施例中,阈值为图像高度的1/3。即车道线像素点所处的行数u<H/3,则认为该车道线像素点为远处车道线像素点,车道线像素点所处的行数u≥H/3,则认为该车道线像素点为近处车道线像素点,本实施例中,对于车道线像素点所处的行数u≥H/3范围内的车道线像素点进行下采样。
在对近处车道线像素点进行下采样时,对近处车道线进行下采样的采样间隔与车道线像素点距离车辆的距离成反比,即车道线像素点距离车辆越近,下采样间隔越大。具体地,下采样间隔的具体计算公式如下:
其中,为向下取整符号,u为像素点所处的行数,H为图像高度。
在另一个实施例中,根据深度图,得到车道线像素图像中各车道线像素点在相机坐标系下的坐标信息的步骤,包括:根据输入的车辆前方图像,得到对应的车道线像素点图像中各车道线像素点在图像坐标系下的坐标信息;根据深度图和各车道线像素点在图像坐标系下的坐标信息,得到各车道线像素点在相机坐标系下的坐标信息。
具体地,车道线提取模型可采用神经网络模型,如卷积神经网络模型。预先通过大量标注的训练图像,对神经网络模型进行训练,根据预测结果提取的车道线和标注结果所标注的车道线之间的差异,调整神经网络模型参数,从而得到车道线提取模型。
本实施例中,利用已训练好的车道线提取模型,将车辆前方图像输入车道线提取模型,输出车道线像素点图像。其中,输入的车辆前方图像可以为双目相机采集的左车辆前方图像或是右车辆前方图像。车道线像素点图像即从原图像中提取的由像素点组成的车道线。图像坐标系在成像平面上,图像坐标系的原点为相机光轴与成像平面的交点,通常情况下是成像平面的中点。根据原图,即输入至车道线提取模型的右车辆前方图像或右车辆前方图像,能够得到每个像素点在图像坐标系下的横坐标X值和纵坐标Y值。由于深度图记录了各像素点在相机坐标系下的深度值Z,根据车道线像素点在图像坐标系下的横坐标、纵坐标以及从对应深度图得到在相机坐标系下的深度值,得到各车道线像素点在相机坐标系下的坐标信息(Xi,Yi,Zi)。
下面,结合具体的实施例,对车道线检测方法进行详细说明,该方法可包括以下步骤:
1)、基于双目相机采集的车辆前方图像,得到深度图。
2)、将深度图对应的车辆前方图像输入车道线提取模型,提取得到对应的车道线像素点图像。
3)、根据输入的车辆前方图像,得到对应的车道线像素点图像中各车道线像素点在图像坐标系下的坐标信息。
4)、根据车道线像素点所处的行数以及图像高度,确定符合要求的近处车道线。
5)、对近处车道线进行下采样,得到下采样后车道线像素点。其中,对近处车道线进行下采样的采样间隔与车道线像素点距离车辆的距离成反比。
6)、根据深度图,得到下采样后车道线像素点在相机坐标系下的坐标信息。
7)、根据双目相机安装的俯仰角,将车道线像素点由相机坐标系投影至车身坐标系,得到各像素点在车身坐标系下的坐标信息。
8)、当车道线像素点在车身坐标系的纵坐标与相机安装高度的高度差大于路面高度阈值时,确定车道线像素点为被遮挡的车道线像素点。
9)、根据双目相机距离地面的高度与修正前被遮挡的车道线像素点的高度的比值,修正被遮挡车道线像素点在车身坐标系下的横坐标和纵坐标;
10)、根据双目相机距离地面的高度,修正被遮挡的车道线像素点在车身坐标系下的深度值。
11)、将修正后的各车道线像素点从车身坐标系投影至三维平面,利用最小二乘法对投影后的各像素点进行曲线拟合,得到车道线。
该车道线检测方法将深度学习获取得到的车道线像素点与双目相机获得深度图结合,能够有效地将获取车道线像素点在三维空间中对应的坐标,同时结合了相机俯仰角与相机高度,利用投影关系,实现了被遮挡车道线像素点的坐标估计。
应该理解的是,虽然图1的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图1中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中,如图4所示,提供了一种车道线检测装置,包括:深度图获取模块、车道线提取模块、第一坐标信息获取模块、第二坐标信息获取模块、遮挡点获取模块、修正模块和拟合模块,其中:
深度图获取模块402,用于基于双目相机采集的车辆前方图像,得到深度图。
车道线提取模块404,用于将深度图对应的车辆前方图像输入车道线提取模型,提取得到对应的车道线像素点图像。
第一坐标信息获取模块406,用于根据深度图,得到车道线像素图像中各车道线像素点在相机坐标系下的坐标信息。
第二坐标信息获取模块408,用于根据双目相机的安装的俯仰角,将车道线像素点由相机坐标系投影至车身坐标系,得到各像素点在车身坐标系下的坐标信息。
遮挡点获取模块410,用于根据各车道线像素点在车身坐标系下的坐标信息,确定被遮挡的车道线像素点;
修正模块412,用于根据投影关系修正被遮挡的车道线像素点在车身坐标系下的坐标信息。
拟合模块414,用于将修正后的各车道线像素点从车身坐标系投影至三维平面,对投影后的各像素点进行曲线拟合,得到车道线。
上述的车道线检测装置,基于双目立体视觉***,对粗提取的车道线,实现了车线道由二维图像到三维空间的投影,并根据相机俯仰角和相机高度对被遮挡的车道线像素点的坐标进行修正,得到实际被车道线像素点在三维空间中的位置,在此基础上对车道线各像素点进行拟合,从而提高了车道线提取的精度。
在另一个实施例中,车道线检测装置还包括:
下采样模块,用于对符合要求的近处车道线像素点进行下采样,得到下采样后车道线像素点。
第一坐标信息获取模块,用于根据深度图,得到下采样后车道线像素点在相机坐标系下的坐标信息。
在另一个实施例中,下采样模块,包括:
近处车道线确定模块,用于根据车道线像素点所处的行数以及图像高度,确定符合要求的近处车道线。
其中,对近处车道线进行下采样的采样间隔与车道线像素点距离车辆的距离成反比。
降采样模块,用于对近处车道线进行下采样,得到下采样后车道线像素点。
在另一个实施例中,遮挡点获取模块410,用于当车道线像素点在车身坐标系的纵坐标与相机安装高度的高度差大于路面高度阈值时,确定车道线像素点为被遮挡的车道线像素点。
在另一个实施例中,第一坐标信息获取模块,包括:
图像坐标获取模块,用于根据输入的车辆前方图像,得到对应的车道线像素点图像中各车道线像素点在图像坐标系下的坐标信息;
相机坐标获取模块,用于根据深度图和各车道线像素点在图像坐标系下的坐标信息,得到各车道线像素点在相机坐标系下的坐标信息。
在另一个实施例中,修正模块,用于根据双目相机距离地面的高度与修正前被遮挡的车道线像素点的高度,修正被遮挡车道线像素点在车身坐标系下的横坐标和纵坐标,根据双目相机距离地面的高度,修正被遮挡的车道线像素点在车身坐标系下的深度值。
关于车道线检测装置的具体限定可以参见上文中对于车道线检测方法的限定,在此不再赘述。上述车道线检测装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是行驶控制装置,其内部结构图可以如图5所示。该计算机设备包括通过***总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作***和计算机程序。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种车道线检测方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏,该计算机设备的输入装置可以是显示屏上覆盖的触摸层,也可以是计算机设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解,图5中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,提供了一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行计算机程序时实现以下步骤:
基于双目相机采集的车辆前方图像,得到深度图;
将深度图对应的车辆前方图像输入车道线提取模型,提取得到对应的车道线像素点图像;
根据深度图,得到车道线像素图像中各车道线像素点在相机坐标系下的坐标信息;
根据双目相机安装的俯仰角,将车道线像素点由相机坐标系投影至车身坐标系,得到各像素点在车身坐标系下的坐标信息;
根据各车道线像素点在车身坐标系下的坐标信息,确定被遮挡的车道线像素点;
修正被遮挡的车道线像素点在车身坐标系下的坐标信息;
将修正后的各车道线像素点从车身坐标系投影至三维平面,利用最小二乘法对投影后的各像素点进行曲线拟合,得到车道线。
在另一个实施例中,处理器执行计算机程序时还实现以下步骤:
对符合要求的近处车道线像素点进行下采样,得到下采样后车道线像素点;
根据深度图,得到车道线像素图像中各车道线像素点在相机坐标系下的坐标信息的步骤,包括:根据深度图,得到下采样后车道线像素点在相机坐标系下的坐标信息
在一个实施例中,对符合要求的近处车道线像素点进行下采样,得到下采样后车道线像素点,包括:
根据车道线像素点所处的行数以及图像高度,确定符合要求的近处车道线;
对近处车道线进行下采样,得到下采样后车道线像素点。
在一个实施例中,对近处车道线进行下采样的采样间隔与车道线像素点距离车辆的距离成反比。
在另一个实施例中,根据各车道线像素点在车身坐标系下的坐标信息,确定被遮挡的车道线像素点的步骤,包括:
当车道线像素点在车身坐标系的纵坐标与相机安装高度的高度差大于路面高度阈值时,确定车道线像素点为被遮挡的车道线像素点。
在另一个实施例中,根据深度图,得到车道线像素图像中各车道线像素点在相机坐标系下的坐标信息的步骤,包括:
根据输入的车辆前方图像,得到对应的车道线像素点图像中各车道线像素点在图像坐标系下的坐标信息;
根据深度图和各车道线像素点在图像坐标系下的坐标信息,得到各车道线像素点在相机坐标系下的坐标信息。
在另一个实施例中,根据投影关系修正被遮挡的车道线像素点在车身坐标系下的坐标信息的步骤,包括:
根据双目相机距离地面的高度与修正前被遮挡的车道线像素点的高度,修正被遮挡车道线像素点在车身坐标系下的横坐标和纵坐标;
根据双目相机距离地面的高度,修正被遮挡的车道线像素点在车身坐标系下的深度值。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:
基于双目相机采集的车辆前方图像,得到深度图;
将深度图对应的车辆前方图像输入车道线提取模型,提取得到对应的车道线像素点图像;
根据深度图,得到车道线像素图像中各车道线像素点在相机坐标系下的坐标信息;
根据双目相机安装的俯仰角,将车道线像素点由相机坐标系投影至车身坐标系,得到各像素点在车身坐标系下的坐标信息;
根据各车道线像素点在车身坐标系下的坐标信息,确定被遮挡的车道线像素点;
修正被遮挡的车道线像素点在车身坐标系下的坐标信息;
将修正后的各车道线像素点从车身坐标系投影至三维平面,利用最小二乘法对投影后的各像素点进行曲线拟合,得到车道线。
在另一个实施例中,处理器执行计算机程序时还实现以下步骤:
对符合要求的近处车道线像素点进行下采样,得到下采样后车道线像素点;
根据深度图,得到车道线像素图像中各车道线像素点在相机坐标系下的坐标信息的步骤,包括:根据深度图,得到下采样后车道线像素点在相机坐标系下的坐标信息
在一个实施例中,对符合要求的近处车道线像素点进行下采样,得到下采样后车道线像素点,包括:
根据车道线像素点所处的行数以及图像高度,确定符合要求的近处车道线;
对近处车道线进行下采样,得到下采样后车道线像素点。
在一个实施例中,对近处车道线进行下采样的采样间隔与车道线像素点距离车辆的距离成反比。
在另一个实施例中,根据各车道线像素点在车身坐标系下的坐标信息,确定被遮挡的车道线像素点的步骤,包括:
当车道线像素点在车身坐标系的纵坐标与相机安装高度的高度差大于路面高度阈值时,确定车道线像素点为被遮挡的车道线像素点。
在另一个实施例中,根据深度图,得到车道线像素图像中各车道线像素点在相机坐标系下的坐标信息的步骤,包括:
根据输入的车辆前方图像,得到对应的车道线像素点图像中各车道线像素点在图像坐标系下的坐标信息;
根据深度图和各车道线像素点在图像坐标系下的坐标信息,得到各车道线像素点在相机坐标系下的坐标信息。
在另一个实施例中,根据投影关系修正被遮挡的车道线像素点在车身坐标系下的坐标信息的步骤,包括:
根据双目相机距离地面的高度与修正前被遮挡的车道线像素点的高度,修正被遮挡车道线像素点在车身坐标系下的横坐标和纵坐标;
根据双目相机距离地面的高度,修正被遮挡的车道线像素点在车身坐标系下的深度值。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。