CN117611438A - 一种基于单目图像的2d车道线到3d车道线的重构方法 - Google Patents

Abstract

本发明涉及自动驾驶中的车道线检测技术领域，具体是一种基于单目图像的2D车道线到3D车道线的重构方法，该方法应能提高二维到三维坐标映射的准确性，降低3D车道线检测的使用成本。技术方案是：一种基于单目图像的2D车道线到3D车道线的重构方法，包括以下步骤：1)建立世界坐标系和相机坐标系；2)求解水平地面上的三维映射点；3)求解考虑坡度信息的三维映射点；4)遍历法求解坡度角；5)计算3D车道线坐标。

Description

一种基于单目图像的2D车道线到3D车道线的重构方法

技术领域

本发明涉及自动驾驶中的车道线检测技术领域，具体是一种基于单目图像的2D车道线到3D车道线的重构方法。

背景技术

基于计算机视觉的车道线检测技术是自动驾驶领域的关键任务，尤其在缺乏高精地图的道路，基于纯视觉的车道线检测结果可以为车辆沿着车道线保持居中行驶提供依据。2D车道线检测技术旨在图像上准确输出二维车道线坐标点集，该技术已相对较为成熟，在很多论文和开源项目中都已实现。但是在真实驾驶场景中，路面难免存在上下坡，这使得2D车道线与真实世界的3D车道线无法对齐，车道线检测结果存在误差，危及自动驾驶行车安全。因此，正确做法是恢复2D车道线上每个点的深度信息，即完成3D车道线检测。

激光雷达可以提供物体的深度信息，使用激光雷达辅助视觉，将车道线从2D提升到3D的技术路径相对较为简单。但是激光雷达的使用成本较高，目前3D车道线检测领域的主流研究方向仍然倾向于使用单目摄像头，由于单目图像缺乏深度信息，因此从基于纯视觉的单目图像中重构3D车道线十分具有挑战性。

目前常用的方法是使用逆透视映射(IPM)将2D车道线重新映射到3D空间中，但是此方法的前提条件是严格基于平坦地面的，在面对真实驾驶场景中路面不平坦、存在上下坡的情形中鲁棒性不强。

发明内容

本发明的目的是克服上述背景技术中的不足，提供一种基于单目图像的2D车道线到3D车道线的重构方法，该方法应能提高二维到三维坐标映射的准确性，降低3D车道线检测的使用成本。

本发明的技术方案是：

一种基于单目图像的2D车道线到3D车道线的重构方法，包括以下步骤：

1)建立世界坐标系和相机坐标系；

2)求解水平地面上的三维映射点；

3)求解考虑坡度信息的三维映射点；

4)遍历法求解坡度角；

5)计算3D车道线坐标。

所述步骤1)中，世界坐标系的原点为车辆中心，相机坐标系的原点为相机的光心。

所述步骤2)包括：

选取为世界坐标系下z＝0的平面，在相机坐标系下，相机的光心坐标为(0,0,0)^T；2D车道线上的某一像素点P₀，在像素坐标系下的坐标为(u,v)，在图像坐标系下的坐标为(x,y)，在相机坐标系下的坐标为(x,y,f)^T；在相机坐标系下，P₀点对应的光线经过相机的光心，且与相机成像平面的交点为(x,y,f)^T；

光线在相机坐标系下的向量方程为：

世界坐标系的点到相机坐标系的映射关系为：

P_c＝RP_w+T (2)

式中，P_w为世界坐标系的点，P_c为P_w在相机坐标系的映射点，R为旋转矩阵，T为偏移矩阵；

改写式(2)得到：

P_w＝R^-1(P_c-T) (3)

将相机坐标系下的点(0,0,0)^T与(x,y,f)^T代入式(3)得到：

光线在世界坐标系下的向量方程为：

L_w＝O_w+(I_w-O_w)*t (5)

将光线方程与已知平面方程联立：

得到：

L_wz＝O_z+d_z*t＝0 (7)

求解x_w和y_w：

得到2D车道线上的某一像素点P₀在世界坐标系z＝0下的三维映射点P_w(x_w,y_w,0)。

所述步骤3)包括：

设光线的方向向量α为：

根据C、P_w的坐标，得到光线的方向向量：

列出光线CP_w的方程，将其写成参数方程：

设斜坡平面经过点n(n₁,n₂,n₃)，且斜坡平面由地平线绕x轴旋转θ角得到，斜坡平面的法向量为：

斜坡平面的点法式方程为：

v_p1*(x-n₁)+v_p2*(y-n₂)+v_p3*(z-n₃)＝0 (13)

将式(11)与式(13)联立，得到：

将已知量代入式(14)，得到：

将t代入式(11)得到：

得到三维映射点P(x,y,z)。

所述步骤4)包括：在2D车道线图像的同一水平线上选取两个点P_i、P_j，假设P_i、P_j在坡度角为θ的倾斜道路上对应的点分别为w_i、w_j，在一定范围内遍历所有的θ角，当|w_iw_j|-k最小时，得到倾斜坡度θ；k为道路宽度。

所述步骤5)包括：将θ代入式(16)，得到P(x,y,z)。

本发明的有益效果是：

现有的涉及单目图像的2D车道线到3D车道线重构的研究，一般都是基于理想平坦路面进行建模，所谓理想平坦路面就是不考虑道路的坡度等因素，然而在真实驾驶场景中，道路的坡度信息是不可以忽略的；本发明提出了一种考虑真实道路坡度信息的2D车道线到3D车道线的重构方法，当单目图像上获取了车道线的二维点集后，为了进一步获取到车道线的三维信息，将提取到的二维车道线像素坐标转化为真实世界的三维坐标，并将道路的坡度信息加入到坐标转换中，更加符合真实驾驶场景的需求，提高了3D车道线检测的准确性，降低了使用成本。

附图说明

图1是为本发明的流程图。

图2是世界坐标系下的车辆俯视图。

图3是世界坐标系下的车辆主视图。

图4是世界坐标系下的车辆右视图。

图5是P点在真实道路斜坡上的示意图。

图6是P₀点在2D车道线上的示意图。

图7是P_i点、P_j点在2D车道线上的示意图。

图8是图7的实施例示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用于解释本发明，并不用于限定本发明。

如图1所示，一种基于单目图像的2D车道线到3D车道线的重构方法，包括以下步骤

1)建立世界坐标系和相机坐标系。

参考图2所示，世界坐标系的定义为：点O为世界坐标系的原点，位于车辆的中心；X轴垂直于车辆前进方向并且位于水平地面；Y轴指向车辆前进方向，Y轴位于水平地面并且与车辆的中心线位于同一竖直平面；Z轴正向朝上；点C为相机，相机放置在车辆挡风玻璃正中央位置。

相机坐标系的原点为相机的光心。

2)求解水平地面上的三维映射点：求解单目图像上2D车道线像素坐标在世界坐标系z＝0(即理想平坦道路)下的三维映射点P_w(x_w,y_w,0)。

单目图像上2D车道线像素坐标在基于理想平坦道路条件下的三维映射点P_w(x_w,y_w,0)，是利用光线与已知平面的交点来获取三维信息，此交点就是图像中的像素点所对应的世界坐标。

测量平面选取世界坐标系下z＝0的平面，即为水平地面。

2D车道线上的某一像素点P₀，在像素坐标系下的坐标为(u,v)，在图像坐标系下的坐标为(x,y)，在相机坐标系下的坐标为(x,y,f)^T，其中f为相机的焦距。在相机坐标系下，P₀点对应的光线经过相机的光心，且与相机成像平面的交点为(x,y,f)^T。

光线方程可由两个点来确定，其中一个点选取相机的光心，在相机坐标系下的坐标为(0,0,0)^T，另一个点选取光线与成像平面的交点(x,y)，考虑到成像平面在光心前(距离光心f处)，则光线上第二个点的坐标为(x,y,f)^T。由于两点确定一条直线，光线穿过点(0,0,0)^T，且光线的方向向量为：

因此，光线在相机坐标系下的向量方程为：

其中，t为参数，t∈R。

由于最终求解的是世界坐标系下的交点，所以需将光线方程建立在世界坐标系中。世界坐标系的点到相机坐标系的映射关系为：

P_c＝RP_w+T (2)

式中，P_w是世界坐标系的点，P_c为P_w在相机坐标系的映射点，R为旋转矩阵，T为偏移矩阵；

改写式(2)得到：

P_w＝R^-1(P_c-T) (3)

将相机坐标系下的点(0,0,0)^T与点(x,y,f)^T代入上式中的P_C，将其转换到世界坐标系，得到：

式中：O_w、I_w分别为相机的光心、交点在世界坐标系的坐标；

同理，在世界坐标系下，两点确定一条直线，光线穿过点O_w，且光线的方向向量为：

光线在世界坐标系下的向量方程为：

L_w＝O_w+(I_w-O_w)*t (5)

将光线方程与已知平面方程联立：

得到：

L_wz＝O_z+d_z*t＝0 (7)

其中，上式为光线方程与已知平面方程联立后的中间表达式，L_wz表示空间直线L_w在z轴已知(取0)条件下的关于x、y的表达式。

求2D车道线上的某一像素点P₀在世界坐标系z＝0下，即在基于理想平坦道路条件下的三维映射点P_w(x_w,y_w,0)：

得到2D车道线上的某一像素点P₀在世界坐标系z＝0下的三维映射点P_w(x_w,y_w,0)。

综上所述，得到2D车道线上的某一像素点在世界坐标系z＝0下的映射点。因为z＝0为水平地面，所以2D车道线图像上的某一点，在不考虑道路坡度的情况时，即θ＝0时，在对应的水平地面上的三维映射点为P_w(x_w,y_w,0)。

3)求解考虑坡度信息的三维映射点P(x,y,z)。

求解考虑坡度信息的三维映射点P(x,y,z)，参考图5和图6，图6中2D车道线图像上的P₀点对应图5中道路斜坡上的P(x,y,z)，其投影到水平地面上的点为P_w(x_w,y_w,0)，而步骤2)已经得到P_w(x_w,y_w,0)。

由于透射原理，点C、P、P_w在一条直线上，所以求解斜坡上P点三维坐标的问题就转化为求直线CP_w与斜坡平面的交点的问题。

设光线的方向向量α为：

根据C、P_w的坐标可求得光线的方向向量为：

已知光线过点C(x_c,y_c,z_c)，且已知光线的方向向量为可列出光线CP_w的方程，将其写成参数方程：

设斜坡平面经过点n(n₁,n₂,n₃)，且斜坡平面由地平线绕x轴旋转θ角得到，斜坡平面的法向量为：

其中，n点位于世界坐标系中的水平地面上，可以任意选取，也可以直接取世界坐标系的原点，即车辆的中心。

将斜坡平面的点法式方程为：

v_p1*(x-n₁)+v_p2*(y-n₂)+v_p3*(z-n₃)＝0 (13)

将式(11)与式(13)联立，得到：

将已知量代入式(14)，可得t是一个关于θ的函数：

其中，已知量包括n点的世界坐标，相机C的世界坐标、v₁、v₂、v₃。

将t代入式(11)得到P(x,y,z)，此时的(x,y,z)仍然是一个有关θ的函数，

P(x,y,z)即三维映射点。

4)遍历法求解坡度角θ。

参考图7，在2D车道线图像的同一水平线上选取两个点P_i、P_j，假设P_i、P_j在坡度角为θ的倾斜道路上对应的点分别为w_i、w_j，由步骤3)可知，w_i、w_j的坐标是一个与θ相关的函数，w_i与w_j之间的距离|w_iw_j|也是一个与θ相关的函数。所以在一定范围内(例如0到45度)遍历所有的θ角，都可以得到相应的|w_iw_j|的值。已知道路的真实宽度为k，当使得|w_iw_j|-k的值取到最小时，认为此时的θ角为道路的倾斜坡度。

5)计算3D车道线坐标。

代入θ计算出P(x,y,z)的具体值，将遍历法求得的θ代入式(16)，即可得到P(x,y,z)的具体数值(考虑道路真实坡度信息的3D车道线坐标)，即实现了基于单目图像的2D车道线到3D车道线的重构。

以下对世界坐标系到相机坐标系的转换过程进行说明(与求解真实平坦道路上的三维映射点的原理相关)。

参考图5和图6，图6中2D车道线上的P₀点映射到真实平坦道路上对应的点为图5中的P_w点。

设世界坐标系为(X_w,Y_w,Z_w)，相机坐标系为(X_c,Y_c,Z_c)，图像坐标系为(x,y)，像素坐标系为(u,v)。首先是世界坐标系到相机坐标系的转换，此步骤属于刚体变换，即物体不会发生形变，只需要进行旋转和平移。

世界坐标系到相机坐标系的变换可以表示为：

式中：T为平移矩阵，R_x，R_y，R_z为世界坐标系分别绕x，y，z轴转动α，β，γ角得到的旋转矩阵；式(101)可以进一步简写成为：

式中：R为3*3的旋转矩阵，T为3*1的平移矩阵；

相机坐标系到图像坐标系转换利用针孔成像原理，转换表达式为：

式中：f为相机的焦距；

图像坐标系与像素坐标系都在同一成像平面上，只是各自的原点与度量单位不同，图像坐标系到像素坐标系的转换涉及尺度缩放与平移；

设像素坐标系的原点为(u₀,v₀)，则二者的转换关系可以表示为：

式中：dx与dy表示每列或每行的单位像素所代表的毫米数，单位为毫米/像素；

上式写成矩阵的形式为：

通过以上四个坐标系的转换可以得到世界坐标系到像素坐标系的转换关系：

式中：为相机的内参矩阵，/>为相机的外参矩阵；

内参矩阵与外参矩阵均可以通过相机的标定求得。

所以通过以上步骤，可以计算出三维世界坐标系中的某一点在二维图像上与之对应的像素点的坐标。

本发明所述的像素坐标到世界坐标的映射，是以上步骤的逆过程。但由于二维到三维的映射中，无法获知式(107)中的深度信息Z_c，所以二维到三维的映射并不是一个简单的求逆矩阵的过程。

像素坐标到世界坐标的映射通常有两种方法：第一种方法需要使用多个摄像机在不同空间上同时拍摄同一物体的两幅或者多幅图像，才可以进行测量；第二种方法只需要单个摄像机拍摄被测物体，但必须将被测物体放在一个已知的平面上。

本发明涉及的3D车道线重构是基于单目图像，所以选用第二种方法。

附图中给出了本发明的较佳实施例。但是，本发明可以以许多不同的形式来实现，并不限于本说明书所描述的实施例。相反地，提供这些实施例的目的是使对本发明的公开内容的理解更加透彻全面。

Claims (6)

1.一种基于单目图像的2D车道线到3D车道线的重构方法，包括以下步骤：

1)建立世界坐标系和相机坐标系；

2)求解水平地面上的三维映射点；

3)求解考虑坡度信息的三维映射点；

4)遍历法求解坡度角；

5)计算3D车道线坐标。

2.根据权利要求1所述的一种基于单目图像的2D车道线到3D车道线的重构方法，其特征在于：所述步骤1)中，世界坐标系的原点为车辆中心，相机坐标系的原点为相机的光心。

3.根据权利要求2所述的一种基于单目图像的2D车道线到3D车道线的重构方法，其特征在于：所述步骤2)包括：

选取为世界坐标系下z＝0的平面，在相机坐标系下，相机的光心坐标为(0,0,0)^T；2D车道线上的某一像素点P₀，在像素坐标系下的坐标为(u,v)，在图像坐标系下的坐标为(x,y)，在相机坐标系下的坐标为(x,y,f)^T；在相机坐标系下，P₀点对应的光线经过相机的光心，且与相机成像平面的交点为(x,y,f)^T；

光线在相机坐标系下的向量方程为：

世界坐标系的点到相机坐标系的映射关系为：

P_c＝RP_w+T (2)

式中，P_w为世界坐标系的点，P_c为P_w在相机坐标系的映射点，R为旋转矩阵，T为偏移矩阵；

改写式(2)得到：

P_w＝R^-1(P_c-T) (3)

将相机坐标系下的点(0,0,0)^T与(x,y,f)^T代入式(3)得到：

光线在世界坐标系下的向量方程为：

L_w＝O_w+(I_w-O_w)*t (5)

将光线方程与已知平面方程联立：

得到：

L_wz＝O_z+d_z*t＝0 (7)

求解x_w和y_w：

得到2D车道线上的某一像素点P₀在世界坐标系z＝0下的三维映射点P_w(x_w,y_w,0)。

4.根据权利要求3所述的一种基于单目图像的2D车道线到3D车道线的重构方法，其特征在于：所述步骤3)包括：

设光线的方向向量α为：

根据C、P_w的坐标，得到光线的方向向量：

列出光线CP_w的方程，将其写成参数方程：

设斜坡平面经过点n(n₁,n₂,n₃)，且斜坡平面由地平线绕x轴旋转θ角得到，斜坡平面的法向量为：

斜坡平面的点法式方程为：

v_p1*(x-n₁)+v_p2*(y-n₂)+v_p3*(z-n₃)＝0 (13)

将式(11)与式(13)联立，得到：

将已知量代入式(14)，得到：

将t代入式(11)得到：

得到三维映射点P(x,y,z)。

5.根据权利要求4所述的一种基于单目图像的2D车道线到3D车道线的重构方法，其特征在于：所述步骤4)包括：在2D车道线图像的同一水平线上选取两个点P_i、P_j，假设P_i、P_j在坡度角为θ的倾斜道路上对应的点分别为w_i、w_j，在一定范围内遍历所有的θ角，当|w_iw_j|-k最小时，得到倾斜坡度θ；k为道路宽度。

6.根据权利要求5所述的一种基于单目图像的2D车道线到3D车道线的重构方法，其特征在于：所述步骤5)包括：将θ代入式(16)，得到P(x,y,z)。