CN115937825A - 在线俯仰角估计的bev下鲁棒车道线生成方法及装置 - Google Patents

Abstract

本发明公开了在线俯仰角估计的BEV下鲁棒车道线生成方法及装置，基于车道线信息和其他信息，对前视单目图像完成像素级稠密分割，得到对应的图像掩膜信息；根据图像掩膜信息，在二维图像平面提取多组满足平行关系的车道线；结合未知俯仰角构到外参矩阵，将图像平面上平行车道线的端点反投影至鸟瞰图BEV下，根据车道线平行先验信息，构造关于未知俯仰角的代价函数；给定分辨率和尺寸信息，在鸟瞰图BEV下构造栅格兴趣区域，代入求解得到的所述未知俯仰角，结合图像掩膜信息生成鸟瞰图BEV下的车道线，从而更有效的实现了车道线的检测。

Description

在线俯仰角估计的BEV下鲁棒车道线生成方法及装置

技术领域

本发明涉及面向地面无人车的环境感知领域，尤其是涉及在线俯仰角估计的BEV下鲁棒车道线生成方法及装置。

背景技术

车道线检测作为无人驾驶和高阶辅助驾驶***最重要的感知任务之一，为无人车的实时鲁棒定位和运动规划提供了重要信息。早期传统车道线检测方法大都基于手工特征进行设计。由于车道线检测任务同时依赖于纹理特征和高级语义分析，可以受益于深度学习模型的强大表征能力，如今随着深度学习的迅猛发展，车道线检测已进入了一个更高鲁棒性和更强泛化性的新时代。这其中，为了实现有效的车道线检测任务，基于语义分割的方法作为车道检测领域最典型的方法之一，引起了领域内学者的广泛关注。

而在实际应用中，在图像空间提取得到的车道线信息无法直接用于鲁棒定位和运动规划，通常需要利用逆透视变换（Inverse Perspective Mapping，IPM）生成BEV（Bird'sEye View，鸟瞰图）图像以消除透视效果，从而为后算法提供更有效的感知信息。而IPM的有效实现依赖于精准的相机内参数以及相机和无人车之间的外参数，同时需要假定相机和地面之间存在刚体关系。然而，当无人车平台发生严重运动变化时，将导致生成的鸟瞰图BEV图像信息发生扭曲。

发明内容

为解决现有车道线检测存在的不足，实现鲁棒提取BEV下车道线信息的目的，本发明采用如下的技术方案：

一种在线俯仰角估计的BEV下鲁棒车道线生成方法，包括如下步骤：

步骤S1：基于车道线信息和其他信息，对前视单目图像完成像素级稠密分割，得到对应的图像掩膜信息；

步骤S2：根据图像掩膜信息，在二维图像平面提取多组满足平行关系的车道线；

步骤S3：结合未知俯仰角构到外参矩阵，将图像平面上平行车道线的端点反投影至鸟瞰图BEV下，根据车道线平行先验信息，构造关于未知俯仰角的代价函数；

步骤S4：给定分辨率和尺寸信息，在鸟瞰图BEV下构造栅格兴趣区域，代入求解得到的所述未知俯仰角，结合图像掩膜信息生成鸟瞰图BEV下的车道线。

进一步地，所述步骤S1包括如下步骤：

步骤S1.1：根据原始图像信息，推理得到对应的车道线类别掩膜信息，完成像素级分割；

步骤S1.2：依据单目相机标定得到的畸变参数，对图像进行去畸变，得到新的相机内参矩阵。

进一步地，所述步骤S1.1中，利用基于纯视觉transformer的深度学习框架，在线推理得到前视单目图像的分割结果，稠密级像素分割的类别包括：车道边界线、车道中心线、停止线以及其他类。

进一步地，所述步骤S1.2中，考虑到单目图像畸变对后续BEV车道线生成的影响，在步骤S1.2实施过程之前，首先利用棋盘格对单目相机进行标定，得到单目相机畸变参数：，其中表示径向畸变参数，表示切向畸变参数；结合相机畸变参数，对得到的类别掩膜信息进行去畸变，并得到新的相机内参矩阵。

进一步地，所述步骤S2包括如下步骤：

步骤S2.1：将图像掩膜信息转换，得到二值化图像信息，并进行图像细化处理；

步骤S2.2：基于图像骨架化处理结果，利用区域生长完成车道线对象提取，统计对应的像素点数量以去除小于给定数量阈值的车道线目标，同时去除图像毛刺；对多余的车道线噪声信息进行去除操作，以进一步提升后续处理效率，同时也需要克服图像细化操作带来的图像毛刺；

步骤S2.3：在后续直线段特征提取过程中，需要获取车道线对应的像素级路径信息，因此在给定车道线两侧端点，利用最短路径方法，得到车道线像素级路径信息；

步骤S2.4：利用直线特征提取算法分割车道线，将其表示为折线段，保留其中大于给定长度阈值的部分线段，并返回多组满足平行关系的直线段。

进一步地，所述步骤S2.1中，遍历车道线类别掩膜信息，将表征当前道路方向信息的中心车道线和边界车道线作为二值化图像的前景部分，考虑到图像稠密分割存在的噪声以及大量有效像素信息，通过对图像细化处理，保留车道线方向信息，进一步减少有效像素点。

进一步地，所述步骤S2.4中，将前一时刻俯仰角应用于当前车道线平行关系的判断，最终得到多组满足平行关系的直线段。

进一步地，所述步骤S3包括如下步骤：

步骤S3.1：根据未知俯仰角，构建相对于地面的外参矩阵，通过透视投影变换，分别将平行车道线的两端点分别投影至鸟瞰图BEV，获取在欧式空间下对应的点信息；

步骤S3.2：通过所述点信息，分别构造对应车道线在鸟瞰图BEV空间下的向量信息，通过两向量叉乘作为定量评价平行关系的参考信息，得到车道线平行约束，结合车道线平行约束，构造带有未知俯仰角的代价函数，通过最小化代价函数，求解得到未知俯仰角。

进一步地，所述步骤S4包括如下步骤：

步骤S4.1：在相机坐标下，给定偏移距离、分辨率和尺寸信息，构造BEV下栅格兴趣区域，以用于后续BEV车道线的生成；

步骤S4.2：根据求解得到的未知俯仰角，将兴趣区域各个栅格中心投影至图像平面，结合图像掩膜信息，赋予栅格对应的车道线语义类别，从而生成鸟瞰图BEV下车道线信息。

一种在线俯仰角估计的BEV下鲁棒车道线生成装置，包括存储器和一个或多个处理器，所述存储器中存储有可执行代码，所述一个或多个处理器执行所述可执行代码时，用于实现所述的在线俯仰角估计的BEV下鲁棒车道线生成方法。

本发明的优势和有益效果在于：

本发明的在线俯仰角估计的BEV下鲁棒车道线生成方法及装置，旨在通过在线估计相对于地面的俯仰角信息，以更有效的获取BEV下车道线信息。结合车道线平行约束构造关于代价函数以求解未知俯仰角，通过在线估计俯仰角以实现鲁棒可靠的BEV下车道线生成，达到鲁棒检测BEV下车道线信息的目的。

附图说明

图1为本发明实施例中方法的流程图。

图2为本发明实施例中方法的架构图。

图3为本发明施例中车道线折线段表示的示意图。

图4a为本发明施例中未进行俯仰角估计的BEV下鲁棒车道线生成效果图。

图4b为本发明施例中进行俯仰角估计的BEV下鲁棒车道线生成效果图。

图5为本发明实施例中多帧概率累积生成的道路信息效果图。

图6是本发明实施例中装置的结构示意图。

具体实施方式

以下结合附图对本发明的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明，并不用于限制本发明。

本发明面向无人驾驶和高阶辅助驾驶***的鲁棒车道线生成方法，首先，利用对前视单目图像进行像素级稠密分割，推理得到对应的车道线类别掩膜信息，然后，在图像平面将车道线表达为折线段，得到多组满足平行关系的直线段，最后，结合车道线平行约束构造关于未知俯仰角的代价函数以求解未知俯仰角。针对当前无人车领域克服俯仰角变化，实现BEV下鲁棒车道线生成的相关工作较少的问题，提供了性能可靠和极易开展的解决方案。

如图1、图2所示，一种在线俯仰角估计的BEV下鲁棒车道线生成方法，包括如下步骤：

步骤S1：基于车道线信息和其他信息，对前视单目图像完成像素级稠密分割，得到对应的图像掩膜信息，具体包括以下子步骤：

步骤S1.1：根据原始图像信息，推理得到对应的车道线类别掩膜信息，完成像素级分割；

近年来，transformer深度学习框架在视觉任务中发挥着越来越重要的作用，在本发明实施过程中，利用基于纯视觉transformer的深度学习框架，在线推理得到前视单目图像的分割结果，稠密级像素分割的类别包括，车道边界线、车道中心线、停止线以及其他类四类信息。

步骤S1.2：依据单目相机标定得到的畸变参数，对图像进行去畸变，得到新的相机内参矩阵；

考虑到单目图像畸变对后续BEV车道线生成的影响，在本子步骤实施过程之前，首先利用棋盘格对单目相机进行标定，得到单目相机畸变参数：，其中是径向畸变参数，是切向畸变参数；结合相机畸变参数，对得到的类别掩膜信息进行去畸变，并得到新的相机内参矩阵。

步骤S2：根据图像掩膜信息，在二维图像平面提取多组满足平行关系的车道线，具体包括如下子步骤：

步骤S2.1：将图像掩膜信息转换，得到二值化图像信息，并进行图像细化处理；

在本发明实施案例中，需要生成二值化图像，具体而言，通过遍历前一步骤得到的车道线类别掩膜信息，将表征当前道路方向信息的中心车道线和边界车道线作为二值化图像的前景部分；如对应像素为能表达车道方向的边界线和中心线，则赋值为1，反之则赋值为0。考虑到图像稠密分割存在的噪声以及大量有效像素信息，通过利用图像细化处理保留车道线方向信息，进一步减少有效像素点。

步骤S2.2：基于图像骨架化处理结果，利用区域生长完成车道线对象提取，统计对应的像素点数量以去除小于给定阈值的车道线目标，同时去除图像毛刺；

在实际应用过程中，需要对多余的车道线噪声信息进行去除操作，以进一步提升后续处理效率，同时也需要克服图像细化操作带来的图像毛刺。

步骤S2.3：给定车道线两侧端点，利用最短路径方法，得到车道线像素级路径信息；

在后续直线段特征提取过程中，需要获取车道线对应的像素级路径信息，在本发明实施过程中，通过给定车道线两侧端点，利用dijkstra最短路径算法获取由端点到端点的最短像素级路径信息。

步骤S2.4：利用直线特征提取算法分割上述步骤得到的车道线，将其表示为折线段，保留其中大于给定长度阈值的部分线段，并返回多组满足平行关系的直线段；

通过本子步骤直线段特征提取，可以将对应的车道线信息转换为折线段，如图3所示。具体而言，结合当前车道线端点，利用经典的直线段特征提取方法—分割合并（Split-and-Merge）通过多次迭代最终将车道线表示多段直线段。在实际应用，本发明将前一时刻俯仰角应用于当前车道线平行关系的判断，最终得到多组满足平行关系的直线段。

步骤S3：结合未知俯仰角构造得到外参矩阵，将图像平面上平行车道线的端点反投影至鸟瞰图（Bird's Eye View，BEV）下，根据车道线平行先验信息，构造关于未知俯仰角的代价函数；具体包括以下子步骤：

步骤S3.1：根据未知俯仰角，构建相对于地面的外参矩阵，通过透视投影变换，分别将平行车道线的两端点分别投影至鸟瞰图BEV，获取在欧式空间下对应的点信息；

根据未知俯仰角，可构建相对于地面的外参矩阵，通过透视投影变换，将具有平行关系的车道线两端点分别投影至BEV，获取在欧式空间下对应的点信息。

步骤S3.2：通过所述点信息，分别构造对应车道线在鸟瞰图BEV空间下的向量信息，通过两向量叉乘作为定量评价平行关系的参考信息，得到车道线平行约束，结合车道线平行约束，构造带有未知俯仰角的代价函数，通过最小化代价函数并求解得到未知俯仰角；

将结合上述子步骤得到的点信息，分别构造对应车道线在BEV空间下的向量信息，通过两向量叉乘作为定量评价平行关系的参考信息。最后结合多组平行车道线构造代价函数，通过最小化代价函数，求解得到对应的俯仰角信息。

步骤S4：给定分辨率和尺寸信息，在鸟瞰图BEV下构造栅格兴趣区域，代入求解得到的未知俯仰角，结合图像掩膜信息生成鸟瞰图BEV下的车道线：

步骤S4.1：在相机坐标下，给定偏移距离、分辨率和尺寸信息，构造BEV下栅格兴趣区域；

给定偏移距离，栅格分辨率和尺寸信息，在当前相机坐标系下构造栅格兴趣区域，以用于后续BEV车道线的生成。

步骤S4.2：根据求解得到的未知俯仰角，将兴趣区域各个栅格中心投影至图像平面，结合图像掩膜信息，赋予栅格对应的车道线语义类别，从而生成鸟瞰图BEV下车道线信息；

本实施例的方法首先基于纯视觉transformer深度学***面提取得到多组满足平行关系的车道线；之后，结合未知俯仰角，并根据车道线平行约束构造代价函数进行在线求解俯仰角信息；最后在BEV下构造栅格兴趣区域，代入求解得到的俯仰角信息，结合掩膜信息生成BEV下的车道线。图4a、图4b展示了本发明展示典型案例的BEV下鲁棒车道线生成对比实验图，其中左图未进行俯仰角估计，右图进行了俯仰角估计，从图中可知，经俯仰角估计的实现效果由于未进行俯仰角估计的实验效果；图5展示了多帧概率累积生成的道路信息实验图。

与前述在线俯仰角估计的BEV下鲁棒车道线生成方法的实施例相对应，本发明还提供了在线俯仰角估计的BEV下鲁棒车道线生成装置的实施例。

参见图6，本发明实施例提供的在线俯仰角估计的BEV下鲁棒车道线生成装置，包括存储器和一个或多个处理器，存储器中存储有可执行代码，所述一个或多个处理器执行所述可执行代码时，用于实现上述实施例中的在线俯仰角估计的BEV下鲁棒车道线生成方法。

本发明在线俯仰角估计的BEV下鲁棒车道线生成装置的实施例可以应用在任意具备数据处理能力的设备上，该任意具备数据处理能力的设备可以为诸如计算机等设备或装置。装置实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。以软件实现为例，作为一个逻辑意义上的装置，是通过其所在任意具备数据处理能力的设备的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言，如图6所示，为本发明在线俯仰角估计的BEV下鲁棒车道线生成装置所在任意具备数据处理能力的设备的一种硬件结构图，除了图6所示的处理器、内存、网络接口、以及非易失性存储器之外，实施例中装置所在的任意具备数据处理能力的设备通常根据该任意具备数据处理能力的设备的实际功能，还可以包括其他硬件，对此不再赘述。

上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。

对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本发明方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

本发明实施例还提供一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时，实现上述实施例中的在线俯仰角估计的BEV下鲁棒车道线生成方法。

所述计算机可读存储介质可以是前述任一实施例所述的任意具备数据处理能力的设备的内部存储单元，例如硬盘或内存。所述计算机可读存储介质也可以是任意具备数据处理能力的设备的外部存储设备，例如所述设备上配备的插接式硬盘、智能存储卡（Smart Media Card，SMC）、SD卡、闪存卡（Flash Card）等。进一步的，所述计算机可读存储介质还可以既包括任意具备数据处理能力的设备的内部存储单元也包括外部存储设备。所述计算机可读存储介质用于存储所述计算机程序以及所述任意具备数据处理能力的设备所需的其他程序和数据，还可以用于暂时地存储已经输出或者将要输出的数据。

以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的范围。

Claims (10)

1.一种在线俯仰角估计的BEV下鲁棒车道线生成方法，其特征在于包括如下步骤：

步骤S1：基于车道线信息和其他信息，对前视单目图像完成像素级稠密分割，得到对应的图像掩膜信息；

步骤S2：根据图像掩膜信息，在二维图像平面提取多组满足平行关系的车道线；

步骤S3：结合未知俯仰角构到外参矩阵，将图像平面上平行车道线的端点反投影至鸟瞰图BEV下，根据车道线平行先验信息，构造关于未知俯仰角的代价函数；

步骤S4：给定分辨率和尺寸信息，在鸟瞰图BEV下构造栅格兴趣区域，代入求解得到的所述未知俯仰角，结合图像掩膜信息生成鸟瞰图BEV下的车道线。

2.根据权利要求1所述的在线俯仰角估计的BEV下鲁棒车道线生成方法，其特征在于：所述步骤S1包括如下步骤：

步骤S1.1：根据原始图像信息，推理得到对应的车道线类别掩膜信息，完成像素级分割；

步骤S1.2：依据单目相机标定得到的畸变参数，对图像进行去畸变，得到新的相机内参矩阵。

3.根据权利要求2所述的在线俯仰角估计的BEV下鲁棒车道线生成方法，其特征在于：所述步骤S1.1中，利用基于纯视觉transformer的深度学习框架，在线推理得到前视单目图像的分割结果，稠密级像素分割的类别包括：车道边界线、车道中心线、停止线以及其他类。

4.根据权利要求2所述的在线俯仰角估计的BEV下鲁棒车道线生成方法，其特征在于：所述步骤S1.2中，首先利用棋盘格对单目相机进行标定，得到单目相机畸变参数：，其中表示径向畸变参数，表示切向畸变参数；结合相机畸变参数，对得到的类别掩膜信息进行去畸变，并得到新的相机内参矩阵。

5.根据权利要求1所述的在线俯仰角估计的BEV下鲁棒车道线生成方法，其特征在于：所述步骤S2包括如下步骤：

步骤S2.1：将图像掩膜信息转换，得到二值化图像信息；

步骤S2.2：基于图像骨架化处理结果，利用区域生长完成车道线对象提取，统计对应的像素点数量以去除小于给定数量阈值的车道线目标；

步骤S2.3：给定车道线两侧端点，利用最短路径方法，得到车道线像素级路径信息；

步骤S2.4：利用直线特征提取算法分割车道线，将其表示为折线段，保留其中大于给定长度阈值的部分线段，并返回多组满足平行关系的直线段。

6.根据权利要求5所述的在线俯仰角估计的BEV下鲁棒车道线生成方法，其特征在于：所述步骤S2.1中，遍历车道线类别掩膜信息，将表征当前道路方向信息的中心车道线和边界车道线作为二值化图像的前景部分，通过对图像细化处理，保留车道线方向信息，进一步减少有效像素点。

7.根据权利要求5所述的在线俯仰角估计的BEV下鲁棒车道线生成方法，其特征在于：所述步骤S2.4中，将前一时刻俯仰角应用于当前车道线平行关系的判断，最终得到多组满足平行关系的直线段。

8.根据权利要求5所述的在线俯仰角估计的BEV下鲁棒车道线生成方法，其特征在于：所述步骤S3包括如下步骤：

步骤S3.1：根据未知俯仰角，构建相对于地面的外参矩阵，通过透视投影变换，分别将平行车道线的两端点分别投影至鸟瞰图BEV，获取在欧式空间下对应的点信息；

步骤S3.2：通过所述点信息，分别构造对应车道线在鸟瞰图BEV空间下的向量信息，通过两向量叉乘作为定量评价平行关系的参考信息，得到车道线平行约束，结合车道线平行约束，构造带有未知俯仰角的代价函数，通过最小化代价函数，求解得到未知俯仰角。

9.根据权利要求5所述的在线俯仰角估计的BEV下鲁棒车道线生成方法，其特征在于：所述步骤S4包括如下步骤：

步骤S4.1：在相机坐标下，给定偏移距离、分辨率和尺寸信息，构造BEV下栅格兴趣区域；

步骤S4.2：根据求解得到的未知俯仰角，将兴趣区域各个栅格中心投影至图像平面，结合图像掩膜信息，赋予栅格对应的车道线语义类别，从而生成鸟瞰图BEV下车道线信息。

10.一种在线俯仰角估计的BEV下鲁棒车道线生成装置，其特征在于，包括存储器和一个或多个处理器，所述存储器中存储有可执行代码，所述一个或多个处理器执行所述可执行代码时，用于实现权利要求1-9中任一项所述的在线俯仰角估计的BEV下鲁棒车道线生成方法。

Images