CN112949398A - 车道线检测方法、测距方法及对应装置 - Google Patents

Abstract

本申请涉及图像处理技术领域，提供一种车道线检测方法、测距方法及对应装置。其中，车道线检测方法包括：从车载摄像头采集的道路图像中确定包含车道线的感兴趣区域图像；利用语义分割网络处理感兴趣区域图像，获得图像中车道线的分割掩膜，并将分割掩膜转换为对应的俯视图；确定俯视图中对应于不同车道线的车道线像素点集合，并将集合中车道线像素点的坐标从俯视图中的坐标变换为道路图像中的坐标或世界坐标系下的坐标；根据变换坐标后的车道线像素点集合拟合形成车道线方程。上述车道线检测方法有利于提高车道线检测的精度。

Description

车道线检测方法、测距方法及对应装置

技术领域

本发明涉及图像处理技术领域，具体而言，涉及一种车道线检测方法、测距方法及对应装置。

背景技术

在高级驾驶辅助***(Advanced Driving Assistance System，简称ADAS)以及自动驾驶中，从车载摄像头采集的图像中检测车道线是一项基本需求。基于检测出的车道线，可实现车道偏离预警、车道保持、变道辅助等功能。然而，现有方法对于车道线检测的准确性不高。

发明内容

本申请实施例的目的在于提供一种车道线检测方法、测距方法及对应装置，以改善上述技术问题。

为实现上述目的，本申请提供如下技术方案：

第一方面，本申请实施例提供一种车道线检测方法，包括：从车载摄像头采集的道路图像中确定包含车道线的感兴趣区域图像；利用语义分割网络处理所述感兴趣区域图像，获得图像中车道线的分割掩膜，并将所述分割掩膜转换为对应的俯视图；确定所述俯视图中对应于不同车道线的车道线像素点集合，并将集合中车道线像素点的坐标从所述俯视图中的坐标变换为所述道路图像中的坐标或世界坐标系下的坐标；根据变换坐标后的车道线像素点集合拟合形成车道线方程。

上述车道线检测方法相较于现有方法，至少具有如下优势：其一，利用深度学***行的车道线由于透视效应，很可能会在远处汇聚，导致后续步骤中某些搜索车道线像素点的算法(如，滑框算法)难以区分不同的车道线，而转换成俯视图后由于消除了分割掩膜中的透视效应，不同的车道线之间的平行关系在俯视图中得以保留，从而可以提高车道线检测的精度。

在第一方面的一种实现方式中，所述利用语义分割网络处理所述感兴趣区域图像，获得图像中车道线的分割掩膜，包括：利用所述语义分割网络中的主干网络提取所述感兴趣区域图像的多尺度特征；利用所述语义分割网络中的特征融合网络融合所述多尺度特征，输出针对不同车道线类别的分割结果；将所述分割结果转换为所述分割掩膜。

在上述实现方式中，通过语义分割网络提取并融合多尺度特征以获得分割掩膜，有利于提高车道线分割精度。

在第一方面的一种实现方式中，所述利用所述语义分割网络中的主干网络提取所述感兴趣区域图像的多尺度特征，包括：利用所述主干网络中的多个bottleneck模块提取所述多尺度特征，所述bottleneck模块为MobileNet中的卷积模块；所述利用所述语义分割网络中的特征融合网络融合所述多尺度特征，输出针对不同车道线类别的分割结果，包括：将每个尺度的特征卷积后与该尺度的融合特征相加，相加结果经反卷积上采样后，获得上一尺度的融合特征；其中，最小尺度的特征卷积后直接作为相加结果，利用最大尺度的特征计算出的上一尺度的融合特征为所述分割结果。

在上述实现方式中，主干网络采用轻量级网络MobileNet(如，MobileNetv2)中的bottleneck模块，使得在满足分割准确性的同时网络计算量较小。而在特征融合网络部分，则按照特征尺度从小到大的顺序，逐级对特征进行上采样及相加融合，由于不同尺度的特征包含不同的语义信息并对应不同的感受野，因此通过特征融合可以显著提高特征的表达能力，进而改善车道线分割精度。

在第一方面的一种实现方式中，所述将所述分割掩膜转换为对应的俯视图，包括：利用所述车载摄像头的参数确定所述分割掩膜中的待检测区域，所述待检测区域表示本车所在车道的近处区域；将所述分割掩膜位于所述待检测区域内的部分转换为所述俯视图。

在很多实际应用中，只需要关注本车所在的车道(对应两条车道线)，另外，车道线通常是有规律延伸的(例如，按直线延伸)，只搜索出一部分车道线像素点也足以拟合出车道线方程。从而，基于这两方面考虑，可以只在本车所在车道的近处区域(对应分割掩膜中的待检测区域)内进行车道线检测，以节约运算量，同时几乎不影响车道线检测效果。

在第一方面的一种实现方式中，所述俯视图为二值图像。在基于俯视图检测车道线的过程中，可以并不关注车道线的类别，从而采用二值图作为俯视图可以使后续的检测步骤(例如，统计直方图)得到简化。

在第一方面的一种实现方式中，利用语义分割网络处理所述感兴趣区域图像，获得图像中车道线的分割掩膜，并将所述分割掩膜转换为对应的俯视图，包括：从所述感兴趣区域图像中确定包含远端车道线的远端部分图像，以及，包含近端车道线的近端部分图像；利用所述语义分割网络分别处理所述远端部分图像以及所述近端部分图像，获得所述远端部分图像中车道线的分割掩膜以及所述近端部分图像中车道线的分割掩膜；将两个分割掩膜转换为二者共同对应的所述俯视图。

在感兴趣区域图像中，由于透视效应，远端的车道线所占像素点较少，近端的车道线所占像素点较多。若利用语义分割网络直接处理感兴趣区域图像，由于图像在输入时，很可能会缩放(若道路图像分辨率较高，此处多为缩小)至网络要求的尺寸，这导致在缩放后的图像中，远端的车道线只占很少的像素点，这样语义分割网络将很难对其进行有效分割，后续也难以检测这部分车道线。

上述实现方式在利用语义分割网络分割车道线之前，不会对感兴趣区域图像整体进行缩放，而是分别对其中的远端部分图像和近端部分图像进行缩放，由于远端部分图像的尺寸显然小于感兴趣区域图像的尺寸，所以远端部分图像即使被缩小，缩小的比例也不大(况且还不一定被缩小)，从而在缩放后的图像中，远端的车道线得以占据较多的像素点，这样语义分割网络可以对其进行有效分割，后续也能够有效检测这部分车道线。

在第一方面的一种实现方式中，所述确定所述俯视图中对应于不同车道线的车道线像素点集合，包括：统计所述俯视图中每个横坐标处的车道线像素点的数量，获得直方图；根据所述直方图中波峰的横坐标确定所述俯视图中车道线的定位基点；其中，所述定位基点位于所述俯视图底部，每个定位基点对应一条车道线；以所述定位基点为起始位置，沿所述俯视图的纵向进行搜索，获得所述俯视图中对应于不同车道线的车道线像素点集合。

直方图中的波峰即车道线像素点分布最为密集的位置，自然也最有可能是车道线所在的位置，从而通过直方图统计能够快速、准确地找到车道线的定位基点，进而简化后续对车道线像素点的搜索过程。

在第一方面的一种实现方式中，所述统计所述俯视图中每个横坐标处的车道线像素点的数量，获得直方图，包括：在所述俯视图底部指定高度的区域内统计每个横坐标处的车道线像素点的数量，获得所述直方图。

在统计直方图时，可以只取俯视图底部的一小块区域进行统计，一方面因为定位基点位于俯视图底部，其本来就和远处的车道线没太大关系，在该小区域内搜索已经足够，不仅有利于节约运算量，而且还可能得到更准确的定位基点的位置，另一方面因为该小区域距离摄像头较近，其中车道线的倾斜程度较小，也有利于更准确地确定定位基点的位置

在第一方面的一种实现方式中，所述根据所述直方图中波峰的横坐标确定所述俯视图中车道线的定位基点，包括：若存在已知定位基点，则在所述直方图中位于所述已知定位基点的横坐标附近的预设范围内搜索波峰，并根据找到的波峰的横坐标确定所述定位基点；若不存在已知定位基点，则在所述直方图的全部横坐标范围内搜索波峰，并根据找到的波峰的横坐标确定所述定位基点；其中，所述已知定位基点是在对所述道路图像的前序图像进行车道线检测的过程中确定的定位基点。

检测车道线很可能是一个连续的过程，在车辆行驶的过程中不断采集道路图像并进行检测。如果在当前道路图像的前序图像(例如，前一帧或前几帧)进行车道线检测时已经确定了定位基点(称为已知定位基点)的位置，考虑到车辆运动的连续性以及车道线本身的连续性，在当前的道路图像对应的俯视图中，若存在车道线的定位基点，其位置不会偏离已知定位基点的位置太远，从而在直方图中已知定位基点的横坐标附近进行搜索即可，可以确定定位基点位置的效率。但如果在当前道路图像的前序图像进行车道线检测时未能确定位基点的位置(例如，前序图像中根本没有车道线或者从当前道路图像起刚开始检测车道线)，则只能在直方图的全部横坐标范围内寻找车道线的定位基点。

在第一方面的一种实现方式中，所述在所述直方图中位于所述已知定位基点的横坐标附近的预设范围内搜索波峰，并根据找到的波峰的横坐标确定所述定位基点，包括：分别在所述直方图中位于两个已知定位基点的横坐标附近的预设范围内搜索波峰，若找到两个波峰，且其横坐标x1和x2满足条件thresh_min＜abs(x1-x2)＜thresh_max，则将x1和x2确定为两个定位基点的横坐标其中，thresh_min为预设的车道线最小宽度，thresh_max为预设的车道线最大宽度，abs表示取绝对值运算，所述两个定位基点对应本车所在车道的两条车道线。

在上述实现方式中，若两个波峰的横坐标满足条件thresh_min＜abs(x1-x2)＜thresh_max，表明x1和x2分别对应本车所在车道的两条车道线位置。

在第二方面的一种实现方式中，所述在所述直方图的全部横坐标范围内搜索波峰，并根据找到的波峰的横坐标确定所述定位基点，包括：分别在所述直方图的横坐标范围[0，L/2]和[L/2，L]内搜索波峰；其中，L为所述直方图的横坐标最大值；若找到两个波峰，且其横坐标x1和x2满足条件thresh_min＜abs(x1-x2)＜thresh_max，则将x1和x2确定为两个定位基点的横坐标；若找到两个波峰，且其横坐标x1和x2满足条件2*thresh_min＜abs(x1-x2)＜2*thresh max和abs(x1-L/2)＜abs(x2-L/2)，则将x1和(x1+x2)/2确定为两个定位基点的横坐标；若找到两个波峰，且其横坐标x1和x2满足条件2*thresh_min＜abs(x1-x2)＜2*thresh_max和abs(x1-L/2)＞abs(x2-L/2)，则将x2和(x1+x2)/2确定为两个定位基点的横坐标；其中，thresh_min为预设的车道线最小宽度，thresh max为预设的车道线最大宽度，abs表示取绝对值运算，所述两个定位基点对应本车所在车道的两条车道线。

在上述实现方式中，若两个波峰的横坐标满足条件thresh_min＜abs(x1-x2)＜thresh_max，表明此时俯视图内有两条车道线，x1和x2分别对应本车所在车道的两条车道线位置。若两个波峰的横坐标满足条件2*thresh_min＜abs(x1-x2)＜2*thresh_max，表明此时俯视图内有三条车道线(因为不同类型的车道并非是等宽的，即使转换俯视图时限定了待检测区域的大小只包含两条车道线，实际中也有可能包含进来三条车道线)，应进一步计算本车所在车道的两条车道线对应的定位基点。

此时，若abs(x1-L/2)＜abs(x2-L/2)，表明本车在靠左边的车道(三条车道线共形成两个车道)，x1和(x1+x2)/2分别对应本车所在车道的两条车道线位置(三条车道线中靠左侧的两条车道线)；若abs(x1-L/2)＞abs(x2-L/2)，表明本车在靠右边的车道，x2和(x1+x2)/2分别对应本车所在车道的两条车道线位置(三条车道线中靠右侧的两条车道线)。

在第一方面的一种实现方式中，所述以所述定位基点为起始位置，沿所述俯视图的纵向进行搜索，获得所述俯视图中对应于不同车道线的车道线像素点集合，包括：根据所述定位基点确定滑框的起始位置；从所述起始位置开始，向所述俯视图的顶部移动所述滑框以进行搜索，直至在所述滑框的位置到达所述俯视图顶部时完成搜索，并获得所述定位基点对应的所述车道线像素点集合；其中，所述滑框每移动至一个位置后，判断在该位置处所述滑框是否有效，若所述滑框有效，则将所述滑框内的车道线像素点加入到所述定位基点对应的所述车道线像素点集合中。

上述实现方式可称为滑框搜索，从每个定位基点开始，通过不断移动滑框的位置，逐步搜索属于该定位基点对应的车道线的像素点集合，其搜索过程简单，并且在搜索过程中还可以灵活地调整滑框的位置，因此其搜索结果准确。

在第一方面的一种实现方式中，所述判断在该位置处所述滑框是否有效，包括：判断在该位置处所述滑框内的车道线像素点的数量是否超过第一阈值，若超过所述第一阈值，则确定所述滑框有效，否则确定所述滑框无效。

滑框内车道线像素点的数量较多(超过第一阈值)，表明滑框的位置与车道线的位置是匹配的，否则滑框内的车道线像素点可能是误检的噪声，或者滑框已经偏离车道线的位置。

在第一方面的一种实现方式中，若所述滑框有效，所述方法还包括：计算所述滑框内的车道线像素点的横坐标均值，并根据计算结果确定所述滑框将要移动至的新位置。

根据滑框内的车道线像素点的横坐标均值计算滑框的新位置，有利于使得滑框按照车道线的延伸趋势进行移动。

在第一方面的一种实现方式中，所述方法还包括：若所述滑框无效，则直接将所述滑框移动至新位置继续进行搜索；其中，移动滑框的方式包括以下之一：保持所述滑框的横坐标不变，改变所述滑框的纵坐标以使所述滑框向所述俯视图的顶部移动；根据已搜索到的车道线像素点，确定所述定位基点对应的车道线的延伸趋势，并根据所述延伸趋势向所述俯视图的顶部移动所述滑框。

滑框无效是可能的，并且可能是一种正常现象，例如，车道线存在间断或者大幅弯曲，都有可能导致滑框未能匹配于车道线的位置。在滑框无效时，应当继续移动滑框尝试搜索新的车道线像素点，而非停止搜索。一种方式是向上继续移动滑框，例如，若车道线存在间断，此种方式会很快找到下一段车道线；另一种方式是顺着车道线的延伸趋势移动滑框，由于车道线的连续性，此种方式可以在很大程度上确保滑框始终跟随车道线移动，例如，若车道线存在大幅弯曲，此种方式会很快找到新的车道线位置。

在第一方面的一种实现方式中，所述方法还包括：在完成搜索后，判断在搜索过程中得到的有效滑框的总个数是否超过第二阈值，若超过所述第二阈值，则认可获得的所述车道线像素点集合，否则不认可获得的所述车道线像素点集合。

若有效的滑框数量较多(超过第二阈值)，表明获得的车道线像素点集合可信度较高，应当认可，反之则不应认可。通过此判断能够提高车道线检测的准确性，避免误检。

第二方面，本申请实施例提供一种测距方法，包括：获取车载摄像头采集的道路图像；利用第一方面或第一方面的任意一种可能的实现方式提供的车道线检测方法得到所述道路图像中本车所在车道的车道线方程；根据所述车道线方程计算第一像素宽度，所述第一像素宽度是指在所述道路图像中，本车所在车道位于所述车载摄像头的盲区边界处的像素宽度；根据所述车道线方程计算第二像素宽度，所述第二像素宽度是在指所述道路图像中，本车所在车道位于待测目标处的像素宽度；计算所述第一像素宽度与所述第二像素宽度之间的第一比值；将所述第一比值代入到其与距离值的测距关系方程中，计算得到所述待测目标与本车之间的距离值。

现有技术中，在基于道路图像进行测距时，一般是利用前方车辆的目标检测框下边沿的宽度计算其与本车的距离，该方法假定所有车辆都是等宽的，但该假设实际上并不成立，即目标检测框下边沿的宽度可能代表不同的实际宽度，而并非是一个固定值，这导致该方法的测距结果准确性不高。

而本申请提出的测距方法基于车道等宽的假设进行测距，其大致原理为：盲区边界处的车道和待测目标处的车道本应是等宽的，但由于透视效应，二者在道路图像中的像素宽度分别为第一像素宽度和第二像素宽度。第一像素宽度和第二像素宽度之间的第一比值是随待测目标与本车之间的距离而变化的，二值之间的变化规律满足一个方程(测距关系方程)，从而将第一比值代入该方程即可获得测距结果。

由于车道等宽的假设在绝大多数情况下都成立，因此该测距方法的基础十分可靠，其测距精度较高。并且，该方法中的测距关系方程建立在第一比值和实际距离之间，相当于消除了车道实际宽度对测距结果的影响(例如，若关系方程建立在第二像素宽度和测距结果之间，则车道实际宽度对测距结果存在影响)，使得该方法可适用于任意宽度的车道，其测距过程简单高效。

在第二方面的一种实现方式中，所述根据所述车道线方程计算第一像素宽度，包括：将所述道路图像底部的纵坐标确定为所述盲区边界的纵坐标；根据所述盲区边界的纵坐标以及所述车道线方程，计算得到所述第一像素宽度。

上述实现方式给出了计算第一像素宽度的一种可能的方式。

在第二方面的一种实现方式中，所述根据所述车道线方程计算第二像素宽度，包括：检测所述道路图像中的目标；根据目标的检测框以及所述车道线方程，将检测到的目标中位于本车所在车道内的目标确定为所述待测目标；根据所述待测目标的检测框确定所述待测目标在所述道路图像中的纵坐标；根据所述待测目标的纵坐标以及所述车道线方程，计算得到所述第二像素宽度。

上述实现方式给出了计算第二像素宽度的一种可能的方式。需要指出，虽然该测距方法对于非本车所在车道内的待测目标也可以进行测距，但受透视效应影响，测距精度会下降，对于本车所在车道内的待测目标则测距结果较为准确。

在第二方面的一种实现方式中，所述方法还包括：获取所述车载摄像头采集的标定道路图像；获取第三像素宽度，所述第三像素宽度是指在所述标定道路图像中，测量得到的本车所在车道位于所述车载摄像头的盲区边界处的像素宽度；获取多个第四像素宽度，所述第四像素宽度是指在所述标定道路图像中，测量得到的本车所在车道在与本车相距预设距离处的像素宽度；其中，每个第四像素宽度对应一个不同的预设距离；计算所述多个第四像素宽度与所述第三像素宽度之间的多个第二比值，并形成由对应的预设距离和第二比值构成的多个数据点；根据所述多个数据点求解出所述测距关系方程的参数。

上述实现方式给出了求解测距关系方程参数的过程，该过程也称为标定过程。标定所使用的数据点的个数和要求解的参数个数相关，例如二次曲线方程有三个参数，则需要使用三个数据点。

在第二方面的一种实现方式中，所述车道线方程为直线方程，所述测距关系方程为直线方程或二次曲线方程。

发明人研究发现，该测距方法对于直线车道线的场景表现较好，而测距关系方程在采用直线方程或二次曲线方程时，测距精度已经足够，并且运算量较小。

第三方面，本申请实施例提供一种车道线检测装置，包括：感兴趣区域提取模块，用于从车载摄像头采集的道路图像中确定包含车道线的感兴趣区域图像；车道线分割模块，用于利用语义分割网络处理所述感兴趣区域图像，获得图像中车道线的分割掩膜，并将所述分割掩膜转换为对应的俯视图；像素点检测模块，用于确定所述俯视图中对应于不同车道线的车道线像素点集合，并将集合中车道线像素点的坐标从所述俯视图中的坐标变换为所述道路图像中的坐标或世界坐标系下的坐标；车道线拟合模块，用于根据变换坐标后的车道线像素点集合拟合形成车道线方程

第四方面，本申请实施例提供一种测距装置，包括：图像获取模块，用于获取车载摄像头采集的道路图像；车道线检测模块，用于利用第一方面或第一方面的任意一种可能的实现方式提供的车道线检测方法得到所述道路图像中本车所在车道的车道线方程；第一宽度计算模块，用于根据所述车道线方程计算第一像素宽度，所述第一像素宽度是指在所述道路图像中，本车所在车道位于所述车载摄像头的盲区边界处的像素宽度；第二宽度计算模块，用于根据所述车道线方程计算第二像素宽度，所述第二像素宽度是在指所述道路图像中，本车所在车道位于待测目标处的像素宽度；比值计算模块，用于计算所述第一像素宽度与所述第二像素宽度之间的第一比值；距离计算模块，用于将所述第一比值代入到其与距离值的测距关系方程中，计算得到所述待测目标与本车之间的距离值。

第五方面，本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序指令，所述计算机程序指令被处理器读取并运行时，执行第一方面、第二方面或这两方面的任意一种可能的实现方式提供的方法。

第六方面，本申请实施例提供一种电子设备，包括：存储器以及处理器，所述存储器中存储有计算机程序指令，所述计算机程序指令被所述处理器读取并运行时，执行第一方面、第二方面或这两方面的任意一种可能的实现方式提供的方法。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1示出了本申请实施例提供的一种车道线检测方法的流程；

图2示出了本申请实施例提供的感兴趣区域图像；

图3示出了本申请实施例提供的分割掩膜；

图4示出了本申请实施例提供的语义分割网络；

图5示出了本申请实施例提供的分割掩膜中的待检测区域；

图6示出了本申请实施例提供的分割掩膜对应的俯视图；

图7示出了本申请实施例提供的远端部分图像和近端部分图像；

图8示出了基于远端部分图像对应的分割掩膜和近端部分图像对应的分割掩膜得到的俯视图；

图9示出了本申请实施例提供的俯视图中用于直方图统计的区域；

图10示出了本申请实施例提供的直方图；

图11示出了本申请实施例提供的滑框搜索结果；

图12示出了本申请实施例提供的车道线拟合结果；

图13示出了本申请实施例提供测距方法的工作原理；

图14示出了本申请实施例提供的一种测距方法的流程；

图15示出了本申请实施例提供的测距方法的测距过程；

图16示出了本申请实施例提供的测距方法的标定过程；

图17示出了本申请实施例提供的一种车道线检测装置的结构；

图18示出了本申请实施例提供的一种测距装置的结构；

图19示出了本申请实施例提供的一种电子设备的结构。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个......”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

图1示出了本申请实施例提供的一种车道线检测方法的流程。该方法可以但不限于由一电子设备执行，该电子设备的结构具体见后文对于图17的阐述。参照图1，该方法包括：

步骤S110：从车载摄像头采集的道路图像中确定包含车道线的感兴趣区域图像。

步骤S110中的车载摄像头即安装在车辆上的摄像头，具体安装位置不限，比如可以是车头、车尾等位置，在后文中主要以车载摄像头安装在车头的情况为例，此时道路图像为车辆前方的图像。在后文中，有时会提到“本车”的概念，“本车”和道路图像之间具有对应关系，对于某张特定的道路图像而言，“本车”就是指采集该图像的摄像头所在的车辆。

本申请实施例提供的车道线检测方法存在多种应用方式：例如，可以由车载摄像头实时采集道路图像并由车载设备实时进行检测；又例如，可以收集由车载摄像头采集的道路图像构成的数据集，在PC机或者服务器上进行检测，等等。

步骤S110中的感兴趣区域是指道路图像中包含车道线的区域，感兴趣区域图像即道路图像位于感兴趣区域内的部分，显然，感兴趣区域一旦确定以后，很容易从道路图像中截取出感兴趣区域图像。注意，这里的“包含”应该理解为若道路图像中有车道线，则车道线会出现在感兴趣区域中，而不应理解为道路图像在感兴趣区域内必然存在车道线(因为有的道路上没有车道线)。

由于在道路图像中，道路总是位于图像底部，所以在比较简单的实现方式中，可以直接将道路图像底部的某个区域(例如，底部占全图面积1/3的区域)确定为感兴趣区域。或者，由于车载摄像头的安装位置、角度等通常是固定的，因此可以计算道路图像中的消失点，并将消失点下方的区域确定为感兴趣区域，等等。

参照图2，白色横线下方的区域为感兴趣区域，该区域对应的图像为感兴趣区域图像，不难看出，感兴趣区域图像中包含了所要检测的车道线。

步骤S120：利用语义分割网络处理感兴趣区域图像，获得图像中车道线的分割掩膜，并将分割掩膜转换为对应的俯视图。

语义分割网络是一个训练好的卷积神经网络，该网络以感兴趣区域图像或者经预处理(例如，缩放、归一化等处理)后的感兴趣区域图像为输入，输出道路图像中车道线的分割掩膜。

分割掩膜可视为车道线分割结果的一种表示方式，分割掩膜中可以包含车道线的类别信息，以及，每种类别的车道线的位置信息。在本申请的方案中，分割掩膜具有像素级精度，即其分辨率和语义分割网络的输入图像相同，分割掩膜中的每个像素点都指明了输入图像中对应位置的像素点的分割结果。发明人研究发现，高精度的车道线分割，有利于提高后续步骤中的车道线检测精度。

其中，车道线的类别有多种划分方式，例如：

若划分为11类，类别可以为：

[背景(非车道线)，白实线，黄实线，双白实线，双黄实线，白实虚线，黄实虚线，白虚线，黄虚线，双白虚线，双黄虚线]

若划分是6类，类别可以为：

[背景，单实线，单虚线，双实线，双虚线，实虚线]

若划分为3类，类别可以为：

[背景，单线，双线]

若划分为2类，类别可以为：

[背景，车道线]

根据不同的设计，分割掩膜可以具有不同的形式：

例如，图3示出了一种车道线的分割掩膜，该分割掩膜是一张灰度图，图中像素点取不同的灰度值表示不同的车道线类别，比如，黑色代表背景、白色代表单虚线，灰色代表单实线，而不同灰度值的区域在分割掩膜中的位置则表示不同类别的车道线的位置。

又例如，车道线的分割掩膜可以是RGB图，图中像素点取不同的RGB值表示不同的车道线类别，比如，黑色代表背景、绿色代表单虚线，蓝色代表单实线，而不同RGB值的区域在分割掩膜中的位置则表示不同类别的车道线的位置。

又例如，车道线的分割掩膜可以是多值图，图中像素点取不同的枚举值表示不同的车道线类别，比如，0代表背景、1代表单虚线，2代表单实线，而不同枚举值的区域在分割掩膜中的位置则表示不同类别的车道线的位置。

在分割掩膜的上述三种形式中，RGB图比较适于对外展示，使得用户能够直观地看到车道线分割结果，当然即使分割掩膜采用灰度图或者多值图的形式，也可以将其转化为RGB图后再对外展示。应当理解，分割掩膜的实现形式不限于以上三种形式。

语义分割网络的具体结构不限定，例如可以采用现有技术中的FCN、SegNet、UNet等架构，本申请也提出一种新的语义分割网络架构，下面具体进行介绍，在介绍时主要以图4中的网络结构图为参考：

该语义分割网络包括主干网络以及与主干网络连接的特征融合网络，其中，主干网络用于提取感兴趣区域图像的多尺度特征，而特征融合网络则将主干网络提取出的多尺度特征进行融合，并输出针对不同车道线类别的分割结果，当然，该分割结果在形式上可能和分割掩膜存在一定的差异，需要进一步将其转换为分割掩膜。在该语义分割网络中，通过提取并融合多尺度特征以获得分割掩膜，由于融合后的特征具有较强的表达能力，从而有利于提高车道线分割精度。例如，在图4中，最左侧一列的方框表示主干网络，右侧两列的方框则表示特征融合网络。

在设计语义分割网络时，可以按照上述对主干网络和特征融合网络的功能描述分别进行网络结构的设计。

比如，在一种设计中，主干网络可以进一步包括多个bottleneck模块，可从这些bottleneck模块提取的特征中选择出一些作为上述多尺度特征。其中，bottleneck模块是MobileNet(例如，MobileNetv2)中的一种卷积模块，其内部结构可参考MobileNet，此处从略。由于MobileNet是一种轻量级网络，其中广泛使用深度可分离卷积，因此借助于MobileNet中的bottleneck模块实现主干网络，有利于在满足分割准确性的同时减小语义分割网络的计算量、提高车道线分割的实时性，考虑到该语义分割网络很有可能部署在嵌入式环境(例如，车载设备)中进行实时的车道线检测，此种实现方式具有较高的实用价值。

参照图4，图4中的主干网络包括串联的1个卷积层(Conv2d)以及7个bottleneck模块(主干网络的方框中的数字表示输入当前模块的特征尺寸，三个数字分别表示宽度、高度以及通道数)，进一步选择了第4个、第6个、第7个bottleneck模块输出的特征(尺度分别是52*28、26*14、13*7，即输入图像按照8倍、16倍、32倍下采样的结果)作为主干网络的输出，其中，要选择哪些bottleneck模块输出的特征作为主干网络的输出，可以根据实验来确定。

在一种设计中，特征融合网络将主干网络输出的每个尺度的特征卷积后与该尺度的融合特征相加，相加结果经反卷积上采样后得到上一尺度的融合特征，可用于和主干网络输出的上一尺度的特征继续融合。其中存在两个特例，主干网络输出的最小尺度的特征卷积后直接作为相加结果(因为没有最小尺度的融合特征)，而利用主干网络输出的最大尺度的特征计算得到的上一尺度的融合特征则直接作为分割结果输出。

参照图4，前文提到，主干网络的第4个、第6个、第7个bottleneck模块分别输出尺度为52*28、26*14、13*7的特征，其中，52*28是26*14的上一尺度，26*14是13*7的上一尺度，52*28是最大尺度，13*7是最小尺度。

尺度为13*7的特征经卷积层(13*7*11的conv)处理后直接作为相加结果，相加结果经反卷积层(26*14*11的Deconv)上采样后，得到的融合特征的尺度为26*14，和其上一尺度的特征相同。尺度为26*14的特征经卷积层(26*14*11的conv)处理后与尺度为26*14的融合特征逐像素点相加，相加结果经反卷积层(52*28*11的Deconv)上采样后，得到的融合特征的尺度为52*28，和其上一尺度的特征相同。尺度为52*28的特征经卷积层(52*28*11的conv)处理后与尺度为52*28的融合特征逐像素点相加，相加结果经反卷积层(416*224的Deconv)上采样后，得到的融合特征的尺度为416*224，和语义分割网络的输入图像的分辨率相同，此融合特征同时也是语义分割网络的分割结果。需要注意一点，特征融合网络的方框中的数字表示输出当前模块的特征尺寸，这与主干网络中的数字含义不同。

可见，在上述特征融合网络中，按照特征尺度从小到大的顺序，逐级对特征进行上采样及相加融合，由于不同尺度的特征包含不同的语义信息并对应不同的感受野，因此通过特征融合可以显著提高特征的表达能力，进而改善车道线分割精度。

进一步的，在图4中，分割结果有11个通道(416*224*11)，代表11个车道线类别，其中每个通道用于指示一种车道线的分割状态。例如，第k(k取1～11中的整数)个通道中的像素值可以是一个置信度，表示对应像素点属于第k个车道线类别的概率，通过设置针对第k个通道的阈值即可以判断出哪些像素点属于第k个车道线类别。然而，根据前文所述，分割掩膜可能只是单通道图像(灰度图、多值图)或者三通道图像(RGB图)，因此得到分割结果后，还需要将分割结果转化为分割掩膜。

虽然基于分割掩膜直接检测车道线是可行的，但在本申请的方案中，并非直接基于分割掩膜进行车道线检测，而是先将分割掩膜转换为对应的俯视图后，再基于俯视图进行车道线检测。

其原因在于，车道线检测过程中存在一个搜索车道线像素点的步骤(步骤S130)，其搜索结果直接决定车道线拟合(步骤S140，拟合出的车道线方程即车道线检测结果)的精确性。然而，在分割掩膜中，本来平行的车道线由于透视效应，很可能会在远处汇聚在一起，导致某些搜索车道线像素点的算法(例如，后文会提到的滑框算法)在搜索到车道线汇聚位置时难以区分属于不同车道线的像素点，进而造成车道线检测结果不准确，而转换成俯视图后，由于消除了分割掩膜中的透视效应，不同的车道线之间的平行关系在俯视图中得以保留，使得搜索车道线像素点的算法能够得到较为准确的结果，从而可以提高车道线检测的精度。其中，转换俯视图可以采用逆透视变换。

在转换俯视图时，可以将整个分割掩膜都转换为俯视图。但发明人研究发现，一方面，在很多关于车道线的应用中，只需或者主要关注本车所在的车道(对应两条车道线)，另一方面，车道线通常是有规律延伸的(例如，按直线延伸)，在步骤S130中即使只搜索出一部分车道线像素点也足以在步骤S140中拟合出车道线方程。从而，基于这两方面考虑，在一些实现方式中，可以利用车载摄像头的内外参数(已预先标定好)从分割掩膜中确定出一个待检测区域，并仅将分割掩膜位于待检测区域内的部分转换为俯视图。其中，待检测区域代表本车所在车道的近处区域，例如，摄像头左右各4米，纵向100米的矩形区域。由于无需再基于整个掩膜图像进行车道线检测，因此这种做法不仅可以节约运算量，而且几乎不影响车道线检测效果。

因为透视效应的缘故，待检测区域在分割掩膜中可能表现为一个梯形区域，如图5所示，通过待检测区域转换得到的俯视图则如图6所示，不难看出，在图6中，两条车道线近似平行。

进一步的，在一些实现方式中，将分割掩膜转换为俯视图时，还可以顺便将其转换为二值图(如果分割掩膜本来不是二值图的话)，比如，在二值图中，可以用像素值0表示背景，像素值1表示车道线(不区分是哪种车道线)。其动机在于，在基于俯视图检测车道线的过程中(详见后文步骤)，可以并不使用通过语义分割网络得到的车道线类别，从而采用二值图作为俯视图可以使后续的检测步骤(例如，统计直方图等)得到简化。参照图6，图6是二值图的可视化结果(0映射为黑色，1映射为白色)，两条车道线虽然一条是单虚线，一条是单实线，但在图6中都以白色示出，并不进行区分。

前文提到，感兴趣区域图像在输入语义分割网络前，可能会经过缩放。随着目前摄像头性能的提高，比较常见的情况是，道路图像具有较高的分辨率，而语义分割网络的输入分辨率则较低，即，感兴趣区域图像会以较大的比例缩小后再输入语义分割网络进行处理。

在这样的情况下，发明人发现如下问题：在感兴趣区域图像中，由于透视效应，远端的车道线所占像素点较少，近端的车道线所占像素点较多，这导致在其缩小后产生的输入图像中，远端的车道线只占很少的像素点，这样语义分割网络将很难对其进行有效分割，后续也难以有效检测这部分车道线。

在一些实现方式中，为改善此问题，可以采取如下做法：

首先，从感兴趣区域图像中确定出包含远端车道线的远端部分图像，以及，包含近端车道线的近端部分图像。例如，可以根据消失点的位置以及预设的比例从感兴趣区域图像中截取得到远端部分图像和近端部分图像。参照图7，图7中示出两个黑色方框，靠上的表示远端部分图像，靠下的表示近端部分图像，由于透视效应，近端部分图像的尺寸可以取得比远端部分图像更大一些，以便其包含完整的车道线。

然后，利用语义分割网络分别处理远端部分图像以及近端部分图像，获得远端部分图像中车道线的分割掩膜以及近端部分图像中车道线的分割掩膜。计算分割掩膜的方式和前文只有一个输入图像的情况是类似的，得到的两个分割掩膜也和图3类似，此处不再重复阐述。

最后，将远端部分图像中车道线的分割掩膜和近端部分图像中车道线的分割掩膜转换为二者共同对应的俯视图，转换俯视图的方法在前文已经阐述，这里的区别仅在于需要将两个分割掩膜映射到同一个俯视图中。在转换之前，也可以先从两个分割掩膜中分别确定第一待检测区域和第二待检测区域，仅将分割掩膜在这两个区域中的内容转换为俯视图，第一待检测区域和第二待检测区域合起来应对应前文提到的待检测区域(图5中的梯形框)。

其中，远端部分图像和近端部分图像在输入语义分割网络前也需要进行缩放，以便满足语义分割网络在输入分辨率方面的要求。但由于远端部分图像和近端部分图像都只是感兴趣区域图像的一部分，其尺寸小于感兴趣区域图像的尺寸，所以远端部分图像即使被缩小，缩小的比例也不及直接对感兴趣区域图像进行缩小时的比例，并且，根据语义分割网络的输入分辨率，远端部分图像还不一定会被缩小，甚至可能会被放大。这使得在缩放后的远端部分图像中，远端的车道线得以占据较多的像素点，这样语义分割网络可以对其进行有效分割，后续也能够有效检测这部分远端的车道线。

参照图8，图8示出了这些实现方式下得到的俯视图(采用了上述第一检测区域和第二检测区域)，不难看出，相较于图6，图8中车道线像素点的数量增多了，特别是位于俯视图上方的、代表远处车道线的像素点。这样后续步骤中可以从俯视图中搜索到更多的车道线像素点，从而拟合得到更精确的车道线方程。在后文中，为简单起见，仍然继续以图6中的俯视图为例进行阐述。步骤S130：确定俯视图中对应于不同车道线的车道线像素点集合，并将集合中车道线像素点的坐标从俯视图中的坐标变换为道路图像中的坐标或世界坐标系下的坐标。

在俯视图中，每条车道线都由一些像素点构成，这些像素点称为车道线像素点，这些像素点构成的集合则称为车道线像素点集合，每条车道线都对应自己的一个车道线像素点集合，步骤S130的主要任务即在俯视图中搜索出每条车道线对应的车道线像素点集合。例如，在图6中，理想情况下应搜索到两个车道线像素点集合，分别对应图中的单虚线和单实线。

为搜索车道线像素点集合，需要确定一个起始的搜索位置，从该位置出发进行进一步搜索。在一些实现方式中，可以以车道线和俯视图底边的交点为起始的搜索位置，称该交点为车道线的定位基点，显然，每条车道线对应一个定位基点，确定了定位基点的位置后，利用一定的搜索算法沿俯视图的纵向进行搜索，即可获得俯视图中对应于不同车道线的车道线像素点集合。

当然，定位基点在俯视图中的位置是未知的，需要通过计算才能得到。例如，可以统计俯视图中每个横坐标处的车道线像素点的数量，获得一个直方图，然后根据直方图中波峰的横坐标确定俯视图中车道线的定位基点。

其中，由于俯视图中表示车道线的像素点和表示背景的像素点取值不同(例如，在俯视图为二值图时，一个取1一个取0)，所以这种统计是可行的。在统计得到的直方图中，波峰必然对应车道线像素点分布最为密集的位置，自然也最有可能是车道线所在的位置，从而将波峰的横坐标作为定位基点的横坐标(由于定位基点位于俯视图底部，所以其纵坐标已知，无需计算)，就可以快速、准确地得到定位基点的位置。

可选的，在统计直方图时，可以只取俯视图底部一个指定高度的区域进行统计，不必取整个俯视图进行统计，一方面因为定位基点可以定义为车道线和俯视图底边的交点，其本来就和远处的车道线没太大关系，在该小区域内搜索已经足够，此举不仅有利于节约运算量，而且还可能得到更准确的定位基点的位置，另一方面因为该小区域距离摄像头较近，其中车道线的倾斜程度较小，也有利于更准确地确定定位基点的位置。

例如，对于图6中的俯视图，假设其分辨率为80*180，在统计每个横坐标处的车道线像素点的数量时，可以只在其底部对应于近处20米的区域(根据车载摄像头的内外参数可以将20米换算为对应的像素高度，例如50)内进行统计，在图9中该区域用白色方框标出。而图10则示出了相应的统计结果，图10中直方图的横轴x表示俯视图的横坐标，纵轴m则表示车道线像素点的数量，不难看出，直方图包含两个明显的波峰，分别对应图6中两个定位基点的横坐标。在可选的方案中，对于直接统计得到的直方图，可以先进行滤波，然后再在滤波后的直方图中搜索波峰，滤波操作使得对于每条车道线，在直方图中只产生一个波峰。

从直方图中搜索波峰可以采取不同的策略，下面继续进行介绍：

检测车道线很可能是一个连续的过程，例如，在车辆行驶的过程中车载摄像头不断采集道路图像并进行检测。将在当前道路图像之前采集的道路图像称为当前道路图像的前序图像，前序图像通常也会进行车道线检测，检测频率可以是预先设定好的(可能为一个较短的时间)，例如每帧都进行检测或者每三帧进行一次检测。对于最近一个进行车道线检测的前序图像，若在检测时已经确定了定位基点的位置(不妨称这些定位基点为已知定位基点)，考虑到车辆运动的连续性以及车道线本身的连续性，在当前的道路图像对应的俯视图中，如果也存在车道线的定位基点，其位置不会偏离已知定位基点的位置太远。从而，一种可选的波峰搜索策略是(后文称为策略A)：在直方图中位于已知定位基点的横坐标附近的预设范围内搜索波峰，这样可以显著提高确定定位基点位置的效率。其中，预设范围可以是已知定位基点左右各1米(需根据车载摄像头的内外参数将1米换算为对应的像素宽度)。

对于最近一个进行车道线检测的前序图像，若在检测时未能确定定位基点的位置(例如，该前序图像中根本没有车道线)，或者，检测车道线是从当前道路图像才开始进行的，对于前序图像未进行过车道线检测，又或者，当前道路图像是摄像头采集的第一帧图像，其根本不存在前序图像，这些因素都将导致并不存在已知定位基点。此时，只能采取另一种波峰搜索策略(后文称为策略B)：在直方图的全部横坐标范围内搜索波峰。

下面结合策略A和B，进一步说明如何确定本车所在车道对应的两个定位基点：

若存在两个已知定位基点(对应本车所在车道的两条车道线)，根据上文阐述，应采用策略A，即分别在直方图中位于两个已知定位基点的横坐标附近的预设范围内搜索波峰。若找到了两个波峰，且其横坐标x1和x2满足条件thresh_min＜abs(x1-x2)＜thresh_max，则将x1和x2确定为两个定位基点的横坐标。其中，thresh_min为预设的车道线最小宽度(例如，2.5米对应的像素宽度)，thresh_max为预设的车道线最大宽度(例如，3.75米对应的像素宽度)，abs表示取绝对值运算，该条件用于检验x1和x2的距离abs(x1-x2)是否合理，若二者相距太近或太远，都不能表示一个真实的车道。

若不存在已知定位基点，根据上文阐述，应采用策略B，此时可以分别在直方图的横坐标范围[0，L/2]和[L/2，L]内搜索波峰，其中L为直方图的横坐标最大值(例如，80)，因此该搜索方式相当于全范围搜索。

若找到两个波峰，且其横坐标x1和x2满足条件thresh_min＜abs(x1-x2)＜thresh_max，则将x1和x2确定为两个定位基点的横坐标；

若找到两个波峰，且其横坐标x1和x2满足条件2*thresh_min＜abs(x1-x2)＜2*thresh max和abs(x1-L/2)＜abs(x2-L/2)，则将x1和(x1+x2)/2确定为两个定位基点的横坐标；

若找到两个波峰，且其横坐标x1和x2满足条件2*thresh_min＜abs(x1-x2)＜2*thresh_max和abs(x1-L/2)＞abs(x2-L/2)，则将x2和(x1+x2)/2确定为两个定位基点的横坐标。

因为不同类型的车道宽度不同，所以即使转换俯视图时限定了待检测区域的大小只包含两条车道线，实际中也有可能包含进来三条车道线。例如，车道宽度可能介于2.5米至3.75米之间，若待检测区域的宽度取车载摄像头左右各4米，对于宽3.75米的车道，则基本只包含两条车道线，对于宽2.5米的车道，则很有可能包含三条车道线。

若两个波峰的横坐标满足条件thresh_min＜abs(x1-x2)＜thresh_max，表明此时俯视图内有两条车道线，x1和x2分别对应本车所在车道的两条车道线位置，从而直接根据x1和x2可确定定位基点。

若两个波峰的横坐标满足条件2*thresh min＜abs(x1-x2)＜2*thresh_max，表明此时俯视图内有三条车道线，应进一步计算本车所在车道的两条车道线对应的定位基点。

此时，若abs(x1-L/2)＜abs(x2-L/2)，表明本车在靠左边的车道(三条车道线共形成两个车道)，x1和(x1+x2)/2分别对应本车所在车道的两条车道线位置(三条车道线中靠左侧的两条车道线)，即所要确定的两个定位基点的横坐标；若abs(x1-L/2)＞abs(x2-L/2)，表明本车在靠右边的车道，x2和(x1+x2)/2分别对应本车所在车道的两条车道线位置(三条车道线中靠右侧的两条车道线)，即所要确定的两个定位基点的横坐标。

确定了车道线的定位基点后，可以从定位基点开始，沿俯视图的纵向进行搜索，获得俯视图中对应于不同车道线的车道线像素点集合，具体搜索方式不限，下面以一种滑框搜索算法为例进行说明。

针对之前步骤中得到的每个定位基点，都执行以下步骤：

(1)根据定位基点确定滑框的起始位置，滑框为具有预设大小的矩形框；

(2)从起始位置开始，向俯视图的顶部不断移动滑框以进行搜索，滑框每移动至一个位置后，根据预设的规则判断在该位置处滑框是否有效，若滑框有效，则将滑框内的车道线像素点加入到该定位基点对应的车道线像素点集合中；

(3)重复执行步骤(2)直至滑框到达俯视图顶部，此时得到的车道线像素点集合为该定位基点对应的车道线像素点集合。

滑框搜索算法实现简单，并且该算法以滑框为基本搜索单位，具有较小的搜索粒度，使得搜索结果兼顾了效率与准确性。此外，该算法还允许在搜索过程中根据搜索结果灵活地调整滑框的位置，有利于进一步提高搜索结果的准确性。图11示出了滑框搜索过程中滑框的移动轨迹(从下至上)，可见，滑框有效覆盖了车道线像素点区域(白色区域)，并且两条车道线对应的两组滑框之间也不存在交集，因此其搜索结果较为准确。

下面再对算法步骤进行进一步解释：

对于步骤(1)，若定位基点位于俯视图的底边上，则可以将定位基点作为滑框底边的中点，以此确定滑框的起始位置。

在步骤(2)中，预设的规则可以是：判断在当前位置处，滑框内的车道线像素点的数量是否超过第一阈值，若超过第一阈值，则确定滑框有效，否则确定滑框无效。设置该规则的出发点在于，若滑框内车道线像素点的数量较多(超过第一阈值)，表明滑框的位置与车道线的位置是匹配的，此时搜索到的车道线像素点应为有效的搜索结果，否则滑框内的车道线像素点可能是误检的噪声，或者滑框已经偏离车道线的位置。可以理解的，该预设的规则也可以采取其他规则。

在步骤(2)中，只要求滑框总体上是向俯视图的顶部移动，但并不强制滑框每次都必须向着俯视图的顶部移动，比如，也允许滑框的纵坐标保持不变，横向调整其位置。

在一些实现方式中，可以根据当前的搜索结果计算滑框的下一个位置。例如，在滑框有效时，计算滑框内的车道线像素点的横坐标均值，并根据计算结果确定滑框将要移动至的新位置，比如，将该横坐标均值作为新位置的横坐标，将滑框当前的纵坐标增加(或减少，取决于纵轴方向)一个滑框的高度后作为新位置的纵坐标，移动后滑框底边的中点与该新位置重合。在这些实现方式中，由于滑框的位置是根据滑框内车道线像素点的横坐标动态计算的，因此有利于滑框跟随车道线的延伸趋势进行移动，获得更好地搜索结果。

在滑框无效时，不能再采用上面计算横坐标均值的方法确定滑框的新位置，但也应当继续移动滑框尝试搜索新的车道线像素点，而非停止搜索，因为滑框无效可能是一种“正常”的情况：例如，车道线本来就是虚线，中间存在间断，导致滑框移动后其中没有或只包含了很少的车道线像素点；又例如，车道线发生剧烈变化(如大幅弯曲)，而滑框未能有效跟随车道线移动，导致其中没有或只包含了很少的车道线像素点，等等。

这里存在多种可能的处理方式。一种可能的方式是保持当前滑框的横坐标不变向俯视图顶部继续移动滑框(比如，可以移动一个滑框的高度)，例如，若车道线存在间断，此种方式会使得滑框很快匹配到下一段车道线。另一种可能的方式是根据已搜索到的车道线像素点(即当前的车道线像素点集合)，首先计算出车道线的延伸趋势。例如，可以根据已搜索到的车道线像素点拟合一个临时的车道线方程或者计算一个代表车道线延伸趋势的向量，等等。然后，再顺着车道线的延伸趋势移动滑框，由于车道线具有连续性，因此计算出的延伸趋势是对车道线位置的较好预测，从而此种方式可以在很大程度上确保滑框始终跟随车道线移动，例如，若车道线发生剧烈变化，此种方式会使得滑框很快匹配到新的车道线位置。

对于步骤(3)，在一些实现方式中，若滑框搜索已经结束，还可以进一步判断在搜索过程中得到的有效滑框的总个数是否超过第二阈值，若超过第二阈值，才会认可获得的车道线像素点集合，否则不认可获得的车道线像素点集合(即从当前的定位基点出发搜索车道线像素点集合失败)。这些实现方式的出发点在于：若有效的滑框数量较多(超过第二阈值)，表明获得的车道线像素点集合可信度较高，应当认可，反之则不应认可。通过此判断能够提高车道线检测的准确性，避免误检。

步骤S130中的搜索过程结束后，已经得到俯视图中对应于不同车道线的车道线像素点集合，但其中像素点的坐标仍是俯视图中的坐标，需要将其变换为道路图像中的坐标或世界坐标系下的坐标，即某种普通视图下的坐标。至于到底是要变换为道路图像中的坐标(道路图像也对应一个图像坐标系)还是世界坐标系下的坐标，可以根据后续对车道线方程的使用需求确定。例如，要将车道线方程用于车道偏离预警、车道保持、变道辅助等方面，则可以将其变换为世界坐标系下的坐标，在变换时可以利用透视变换，并结合俯视图中的像素距离和真实距离之间的对应关系进行坐标计算；又例如，要将车道线方程用于测距(详见图14中的步骤)，则可以将其变换为道路图像中的坐标。当然，道路图像中的坐标和世界坐标系下的坐标也是可以相互转换的。

步骤S140：根据变换坐标后的车道线像素点集合拟合形成车道线方程。

根据步骤S130中像素点所属的坐标系，步骤S140中拟合的车道线方程可以是道路图像中的车道线方程，也可以是世界坐标系下的车道线方程，而点集拟合方程的方法可采用现有技术，此处不作具体说明。例如，拟合出的车道线方程为道路图像中的车道线方程，若用x表示道路图像中的横坐标，y表示道路图像中的纵坐标，本车所在车道的两条车道线的方程可以分别表示为x＝fl(y)和x＝f2(y)。其中，fl和f2具体是几次曲线可以根据实际需求选择，多数情况下，选择直线或者二次曲线精度已经足够。图12用两条黑色直线示出了一个可能的车道线检测结果。

下面简单总结本申请实施例提供的车道线检测方法相较于现有方法的优势：

其一，利用深度学习的方法(指语义分割网络)对车道线进行像素精度的分割，有利于提高车道线分割精度，进而提高后续步骤中的车道线检测精度。在一些实现方式中，还可以对语义分割网络进行轻量化以及多尺度特征融合的设计，提高其分割性能。

其二，并非直接基于分割掩膜进行车道线检测，而是先将分割掩膜转换为对应的俯视图后，再基于俯视图进行车道线检测，此举可在俯视图中尽量保留不同的车道线之间的平行关系，同样可以提高车道线检测的精度。另外，在基于俯视图进行检测时，还进一步提出了基于直方图查找定位基点、滑框搜索车道线像素点集合等方法，同样有利于提高车道线检测精度。

对于检测出的车道线，本申请并不限定其用途，例如可将其用于车道偏离预警、车道保持、变道辅助等方面，车道线检测精度提高后，这些功能也相应得到加强。此外，本申请还提出一种基于检测得到的车道线方程进行测距的方法，该测距方法可用于测量(或者说预测)本车与道路上的待测目标之间的距离，这里所说的待测目标，可以是车辆、行人、骑行者等等，以车辆最为常见。

现有技术中已存在基于车载摄像头采集的道路图像进行测距的方法，这些方法一般是先在道路图像中进行目标检测，然后利用前方车辆的目标检测框下边沿的宽度计算其与本车的距离，其假定所有车辆都是等宽的，但该假设实际上并不成立，统计表明车辆的宽度一般在1.5米至3米之间变化，即目标检测框下边沿的宽度可能代表不同的实际宽度，而并非是一个固定值，这导致该方法的测距结果准确性不高，研究表明只有约30％左右。而本申请提出的测距方法则基车道等宽的假设进行测距，即同一车道的两条车道线总是保持平行，该假设在绝大多数情况下都成立，因此该测距方法的理论基础十分可靠，其测距精度相较于现有方法显著提高。

下面先结合图13解释一些和测距方法相关的基本概念，然后再介绍该测距方法的基本原理，最后再对方法的具体步骤进行说明。

参照图13，x轴上方的矩形区域表示道路图像(或者说x轴在道路图像的底边位置)，x轴表示道路图像中的横坐标，单位为像素。

同时，x轴也是车载摄像头的盲区边界位置，所谓盲区，即摄像头无法采集到图像的区域，例如，若摄像头安装在车头，对于距离车头很近的区域，摄像头无法进行拍摄，道路图像的画面中也不会包含该区域的画面。在图13中，x轴下方的矩形区域表示盲区，车载摄像头安装在O处。O点也表示测距原点，即待测目标与本车之间的距离都是指待测目标与O点之间的距离。

在道路图像中包含四条车道线，分别是LO’、RO’、L’O’、R’O’(在阐述原理时为简单起见，以车道线是直线的情况为例)，其中O’表示消失点，即由于透视效应，车道线发生汇聚的位置。当然，消失点可能位于道路图像中车道线的可见范围之外，因此图13中车道线的近处部分用实线示出，表示在道路图像中可见，远处部分则用虚线示出，表示在道路图像中不可见。四条车道线中，LO’和RO’属于同一车道，L’O’和R’O’属于同一车道，两个车道的宽度不同。

继续参照图13，为便于阐述测距原理，假设本车行驶于道路正中，而车载摄像头也安装于车头正中，从而连线OO’即车道中轴。在道路图像中作垂直于车道中轴且与车道线相交的线段，称这样的线段为等宽线，对于同一车道而言，位于不同位置的等宽线对应相同的实际宽度。例如，A、B、C处的等宽线可能都对应3米的车道线宽度。将等宽线在道路图像中的宽度(称为像素宽度)记为W_，由于透视效应，等宽线在道路图像中的宽度是不同的，从图13中也可以直观地看出。特别地，将盲区边界处的等宽线宽度记为W。

在图13中，s轴表示等宽线位置(可以理解为等宽线与车道中轴交点的位置，如A、B、C点)的世界坐标(坐标原点为O点)，即等宽线与本车(O点)之间的实际距离。以s轴为纵轴、x轴为横轴可形成一个坐标系。

本申请提出的测距方法其基本原理如下：

盲区边界处的车道和某个待测目标处的车道本应是等宽的，但由于透视效应，二者在道路图像中对应的等宽线的宽度却不同，分别为W和W_。将二者的比值记为r，即r＝W_/W(当然交换分子分母也可以)，r的取值随待测目标与本车之间的距离而变化，二者之间的变化规律满足一个方程s＝f(r)，该方程的参数可以通过事先标定确定下来，对于同一个摄像头而言这些参数取值在标定后保持恒定，从而直接将r代入该方程就可以求得待测目标与本车之间的距离s。其中，待测目标与本车之间的距离就是待测目标对应的等宽线位置的世界坐标。

例如，在图13的道路图像中，假设待测目标位于C处，不妨将其对应的等宽线的宽度W_记为W_C，计算W_C和W的比值r_C，然后将r_C代入方程s＝f(r)，即可以得到待测目标与本车之间的距离s_C(C的世界坐标)。

进一步的，在图13中，以A点为例，存在关系AA’/PR＝AA”/PR’，从而，对于不同宽度的车道，在同一等宽线位置处计算出的比值r＝W_/W总是相同的，即该测距方法的测距结果不受车道实际宽度的影响，或者说能够适应不同的宽度的车道。

图14示出了本申请实施例提供的一种测距方法的流程，其基本原理上面已经介绍。该方法可以但不限于由一电子设备执行，该电子设备的结构具体见后文对于图17的阐述。参照图14，该方法包括：

步骤S210：获取车载摄像头采集的道路图像。

图14中的测距方法存在多种应用方式，对应道路图像的不同获取方式：例如，可以由车载摄像头实时采集道路图像并由车载设备实时进行测距，此时道路图像的获取方式为实时采集；又例如，可以收集由车载摄像头采集的道路图像构成的数据集，在PC机或者服务器上进行测距，此时道路图像的获取方式为从数据集中读取，等等。

步骤S220：利用本申请实施例提供的车道线检测方法得到道路图像中本车所在车道的车道线方程。

步骤S220的具体实现方式前文已经阐述，此处不再重复，不妨假设本车所在车道的两条车道线的方程分别为x＝f1(y)和x＝f2(y)。

步骤S230：根据车道线方程计算第一像素宽度。

其中，第一像素宽度是指在道路图像中，本车所在车道位于车载摄像头的盲区边界处的像素宽度(即盲区边界处等宽线的宽度)，延续前文记作W。在介绍图13时已经提到，盲区边界可视为道路图像的底边，从而盲区边界的纵坐标y_W是已知的，将其代入步骤S220中的车道线方程，可以算出盲区边界处等宽线的两个端点的横坐标fl(y_W)和f2(y_W)，进而可以通过计算这两个横坐标的差值abs(fl(y_W)-f2(y_W))得到W。图15中标出了W所代表的像素宽度，黑色直线代表拟合出的车道线方程。

步骤S240：根据车道线方程计算第二像素宽度。

其中，第二像素宽度是在指道路图像中，本车所在车道位于待测目标处的像素宽度(即待测目标处等宽线的宽度)，延续前文记作W_。

为计算W_，首先需要检测道路图像中的目标，例如，可通过Mask-RCNN、YOLOv3等神经网络模型实现目标检测，检测结果中包含目标的类别信息以及检测框位置。

然后，需要从检测到的所有目标中确定待测目标，所谓待测目标，即需要进行测距的目标。例如，可以将所有检测到的目标都作为待测目标。又例如，考虑到测距的实际用途很可能是为了避免本车和周围目标产生碰撞，因此也可以从全部的目标中筛选出与本车存在碰撞风险的目标作为待测目标，比如那些检测框尺寸较大、且未被其他检测框遮挡的目标。又例如，可以从方法本身的测距特性出发选择则待测目标，对于本申请提出的测距方法，发明人研究发现，虽然该方法对于非本车所在车道内的目标也可以进行测距，但受透视效应影响，测距精度会下降，因此可仅将本车所在车道内检测到的目标作为待测目标。对于其他车道内的目标，若需要进行测距，可采用其他方式，例如雷达测距等。在已知目标的检测框和车道线方程的情况下，一个目标是否位于本车所在的车道内，是可以判断的。

以待测目标处于本车所在车道内的情况为例，根据待测目标的检测框可以确定待测目标在道路图像中的纵坐标y_W_，例如可取检测框下边沿的纵坐标作为待测目标的纵坐标。将得到的纵坐标代入步骤S220中的车道线方程，可以算出待测目标处等宽线的两个端点的横坐标f1(y_W_)和f2(y_W_)，进而可以通过计算这两个横坐标的差值abs(fl(y_W_)-f2(y_W_))得到W_。图15中标出了检测框的位置以及W所代表的像素宽度。

步骤S250：计算第一像素宽度与第二像素宽度之间的第一比值。

第一比值延续前文记作r，r＝W_/W(当然交换分子分母也可以)。

步骤S260：将第一比值代入到其与距离值的测距关系方程中，计算得到待测目标与本车之间的距离值。

测距关系方程即前文提到的s＝f(r)，代入步骤S250中的r之后，算出s即待测目标与本车之间的距离值。

简单总结一下该测距方法的优势：其一是由于车道等宽的假设在绝大多数情况下都成立，因此其理论基础十分可靠，测距精度较高。其二是该方法中的测距关系方程建立在第一比值和实际距离之间，相当于消除了车道实际宽度对测距结果的影响(因为前文已指出第一比值和车道实际宽度无关)，使得该方法可适用于任意宽度的车道，其测距过程简单高效。作为对比的，若测距关系方程建立在第二像素宽度和测距结果之间，则车道实际宽度对测距结果存在影响，使得测距过程变得复杂而不准确。

进一步的，发明人研究发现，上述测距方法对于直线车道线的场景表现较好，而测距关系方程在采用直线方程或二次曲线方程时，测距精度已经足够，并且运算量较小，其中采用二次曲线时精度较高。因此，可以只在检测到的车道线为直线的情况下，才使用上述测距方法进行测距，在车道线为曲线时，则可以采用其他方法进行测距。

下面再结合图16说明一下上述测距方法的标定过程，该标定过程的目的是为了求解测距关系方程中的参数，使得这些参数在步骤S210至步骤S260执行之前就得以固定下来。标定过程的步骤包括：

步骤a：获取车载摄像头采集的标定道路图像。

标定道路图像由要标定的车载摄像头采集，采集标定道路图像的道路环境可以如图16所示，选择空旷的道路，将本车行驶至某个等宽车道的正中(若摄像头也安装在车头正中，则此时摄像头位于本车所在车道的中轴上)，并将车头正对前方，使得摄像头的光轴与车道线平行。

步骤b：获取第三像素宽度。

其中，第三像素宽度是指在标定道路图像中，测量得到的本车所在车道位于车载摄像头的盲区边界处的像素宽度。第三像素宽度的定义和第一像素宽度类似，不再重复解释。不妨将第三像素宽度记为W_0。

由于是标定阶段，可以人工在标定道路图像中先标注出车道线方程(图16中的黑色直线)，然后人工测量(当然也可以利用坐标计算)W_0。

步骤c：获取多个第四像素宽度。

其中，第四像素宽度是指在标定道路图像中，测量得到的本车所在车道在与本车相距预设距离处的像素宽度，即预设距离处的等宽线宽度。每个第四像素宽度对应一个不同的预设距离，即一个等宽线位置。例如，在图16中示出了3个预设距离，20米、50米和100米，这些预设距离对应的等宽线位置是已知的(位置1、2、3)，例如，可以由人工在图中标注，或者，事先在这些距离处的路面上放置标志物以便确定其位置。

由于是标定阶段，可以人工在标定道路图像中先标注出车道线方程(图16中的黑色直线)，然后人工测量各预设距离处的等宽线宽度(当然也可以利用坐标计算)。例如，在图16中测量了3个等宽线宽度，分别记为W_1、W_2以及W_3。

步骤d：计算多个第四像素宽度与第三像素宽度之间的多个第二比值，并形成由对应的预设距离和第二比值构成的多个数据点。

标定所使用的数据点的个数和要求解的参数个数相关：例如，若测距关系方程为二次曲线s＝a*r2+b*r+c，则有3个参数，因此需要使用3个数据点，在步骤c中也要测量3个第四像素宽度；又例如，若测距关系方程为直线s＝a*r+b，则有2个参数，因此需要使用2个数据点，在步骤c中也要测量2个第四像素宽度。

以图16为例，可以计算出3个第二比值，分别记为：

r1＝W_1/W_0

r2＝W_2/W_0

r3＝W_3/W_0

进而可以形成3个数据点P1(20，r1)、P2(50，r2)以及P3(100，r3)。

步骤e：根据多个数据点求解出测距关系方程的参数。

利用已知的数据点求解方程参数的方法可参考现有技术，此处不作具体阐述。例如，若测距关系方程为s＝a*r2+b*r+c，代入P1、P2、P3后可以解出参数a、b、c，这样测距关系方程的形式就确定了，可以执行后续的距离计算。

图15示出了本申请实施例提供的车道线检测装置300的功能模块图。参照图15，车道线检测装置300包括：

感兴趣区域提取模块310，用于从车载摄像头采集的道路图像中确定包含车道线的感兴趣区域图像；

车道线分割模块320，用于利用语义分割网络处理所述感兴趣区域图像，获得图像中车道线的分割掩膜，并将所述分割掩膜转换为对应的俯视图；

像素点检测模块330，用于确定所述俯视图中对应于不同车道线的车道线像素点集合，并将集合中车道线像素点的坐标从所述俯视图中的坐标变换为所述道路图像中的坐标或世界坐标系下的坐标；

车道线拟合模块340，用于根据变换坐标后的车道线像素点集合拟合形成车道线方程。

在车道线检测装置300的一种实现方式中，车道线分割模块320利用语义分割网络处理所述感兴趣区域图像，获得图像中车道线的分割掩膜，包括：利用所述语义分割网络中的主干网络提取所述感兴趣区域图像的多尺度特征；利用所述语义分割网络中的特征融合网络融合所述多尺度特征，输出针对不同车道线类别的分割结果；将所述分割结果转换为所述分割掩膜。

在车道线检测装置300的一种实现方式中，车道线分割模块320利用所述语义分割网络中的主干网络提取所述感兴趣区域图像的多尺度特征，包括：利用所述主干网络中的多个bottleneck模块提取所述多尺度特征，所述bottleneck模块为MobileNet中的卷积模块；车道线分割模块320利用所述语义分割网络中的特征融合网络融合所述多尺度特征，输出针对不同车道线类别的分割结果，包括：将每个尺度的特征卷积后与该尺度的融合特征相加，相加结果经反卷积上采样后，获得上一尺度的融合特征；其中，最小尺度的特征卷积后直接作为相加结果，利用最大尺度的特征计算出的上一尺度的融合特征为所述分割结果。

在车道线检测装置300的一种实现方式中，车道线分割模块320将所述分割掩膜转换为对应的俯视图，包括：利用所述车载摄像头的参数确定所述分割掩膜中的待检测区域，所述待检测区域表示本车所在车道的近处区域；将所述分割掩膜位于所述待检测区域内的部分转换为所述俯视图。

在车道线检测装置300的一种实现方式中，所述俯视图为二值图像。

在车道线检测装置300的一种实现方式中，像素点检测模块330确定所述俯视图中对应于不同车道线的车道线像素点集合，包括：统计所述俯视图中每个横坐标处的车道线像素点的数量，获得直方图；根据所述直方图中波峰的横坐标确定所述俯视图中车道线的定位基点；其中，所述定位基点位于所述俯视图底部，每个定位基点对应一条车道线；以所述定位基点为起始位置，沿所述俯视图的纵向进行搜索，获得所述俯视图中对应于不同车道线的车道线像素点集合。

在车道线检测装置300的一种实现方式中，像素点检测模块330统计所述俯视图中每个横坐标处的车道线像素点的数量，获得直方图，包括：在所述俯视图底部指定高度的区域内统计每个横坐标处的车道线像素点的数量，获得所述直方图。

在车道线检测装置300的一种实现方式中，像素点检测模块330根据所述直方图中波峰的横坐标确定所述俯视图中车道线的定位基点，包括：若存在已知定位基点，则在所述直方图中位于所述已知定位基点的横坐标附近的预设范围内搜索波峰，并根据找到的波峰的横坐标确定所述定位基点；若不存在已知定位基点，则在所述直方图的全部横坐标范围内搜索波峰，并根据找到的波峰的横坐标确定所述定位基点；其中，所述已知定位基点是在对所述道路图像的前序图像进行车道线检测的过程中确定的定位基点。

在车道线检测装置300的一种实现方式中，像素点检测模块330在所述直方图中位于所述已知定位基点的横坐标附近的预设范围内搜索波峰，并根据找到的波峰的横坐标确定所述定位基点，包括：分别在所述直方图中位于两个已知定位基点的横坐标附近的预设范围内搜索波峰，若找到两个波峰，且其横坐标x1和x2满足条件thresh_min＜abs(x1-x2)＜thresh_max，则将x1和x2确定为两个定位基点的横坐标；其中，thresh min为预设的车道线最小宽度，thresh_max为预设的车道线最大宽度，abs表示取绝对值运算，所述两个定位基点对应本车所在车道的两条车道线。

在车道线检测装置300的一种实现方式中，像素点检测模块330在所述直方图的全部横坐标范围内搜索波峰，并根据找到的波峰的横坐标确定所述定位基点，包括：分别在所述直方图的横坐标范围[0，L/2]和[L/2，L]内搜索波峰；其中，L为所述直方图的横坐标最大值；若找到两个波峰，且其横坐标x1和x2满足条件thresh_min＜abs(x1-x2)＜thresh_max，则将x1和x2确定为两个定位基点的横坐标；若找到两个波峰，且其横坐标x1和x2满足条件2*thresh_min＜abs(x1-x2)＜2*thresh_max和abs(x1-L/2)＜abs(x2-L/2)，则将x1和(x1+x2)/2确定为两个定位基点的横坐标；若找到两个波峰，且其横坐标x1和x2满足条件2*thresh_min＜abs(x1-x2)＜2*thresh_max和abs(x1-L/2)＞abs(x2-L/2)，则将x2和(x1+x2)/2确定为两个定位基点的横坐标；其中，thresh_min为预设的车道线最小宽度，thresh_max为预设的车道线最大宽度，abs表示取绝对值运算，所述两个定位基点对应本车所在车道的两条车道线。

在车道线检测装置300的一种实现方式中，像素点检测模块330以所述定位基点为起始位置，沿所述俯视图的纵向进行搜索，获得所述俯视图中对应于不同车道线的车道线像素点集合，包括：根据所述定位基点确定滑框的起始位置；从所述起始位置开始，向所述俯视图的顶部移动所述滑框以进行搜索，直至在所述滑框的位置到达所述俯视图顶部时完成搜索，并获得所述定位基点对应的所述车道线像素点集合；其中，所述滑框每移动至一个位置后，判断在该位置处所述滑框是否有效，若所述滑框有效，则将所述滑框内的车道线像素点加入到所述定位基点对应的所述车道线像素点集合中。

在车道线检测装置300的一种实现方式中，像素点检测模块330判断在该位置处所述滑框是否有效，包括：判断在该位置处所述滑框内的车道线像素点的数量是否超过第一阈值，若超过所述第一阈值，则确定所述滑框有效，否则确定所述滑框无效。

在车道线检测装置300的一种实现方式中，像素点检测模块330还用于：在所述滑框有效时，计算所述滑框内的车道线像素点的横坐标均值，并根据计算结果确定所述滑框将要移动至的新位置。

在车道线检测装置300的一种实现方式中，像素点检测模块330还用于：在所述滑框无效时，直接将所述滑框移动至新位置继续进行搜索；其中，移动滑框的方式包括以下之一：保持所述滑框的横坐标不变，改变所述滑框的纵坐标以使所述滑框向所述俯视图的顶部移动；根据已搜索到的车道线像素点，确定所述定位基点对应的车道线的延伸趋势，并根据所述延伸趋势向所述俯视图的顶部移动所述滑框。

在车道线检测装置300的一种实现方式中，像素点检测模块330还用于：在完成搜索后，判断在搜索过程中得到的有效滑框的总个数是否超过第二阈值，若超过所述第二阈值，则认可获得的所述车道线像素点集合，否则不认可获得的所述车道线像素点集合。

本申请实施例提供的车道线检测装置300，其实现原理及产生的技术效果在前述方法实施例中已经介绍，为简要描述，装置实施例部分未提及之处，可参考方法实施例中相应内容。

图18示出了本申请实施例提供的测距装置400的功能模块图。参照图18，测距装置400包括：

图像获取模块410，用于获取车载摄像头采集的道路图像；

车道线检测模块420，用于利用本申请实施例提供的车道线检测方法得到道路图像中本车所在车道的车道线方程；

第一宽度计算模块430，用于根据所述车道线方程计算第一像素宽度，所述第一像素宽度是指在所述道路图像中，本车所在车道位于所述车载摄像头的盲区边界处的像素宽度；

第二宽度计算模块440，用于根据所述车道线方程计算第二像素宽度，所述第二像素宽度是在指所述道路图像中，本车所在车道位于待测目标处的像素宽度；

比值计算模块450，用于计算所述第一像素宽度与所述第二像素宽度之间的第一比值；

距离计算模块460，用于将所述第一比值代入到其与距离值的测距关系方程中，计算得到所述待测目标与本车之间的距离值。

在测距装置400的一种实现方式中，第一宽度计算模块430根据所述车道线方程计算第一像素宽度，包括：将所述道路图像底部的纵坐标确定为所述盲区边界的纵坐标；根据所述盲区边界的纵坐标以及所述车道线方程，计算得到所述第一像素宽度。

在测距装置400的一种实现方式中，第二宽度计算模块440根据所述车道线方程计算第二像素宽度，包括：检测所述道路图像中的目标；根据目标的检测框以及所述车道线方程，将检测到的目标中位于本车所在车道内的目标确定为所述待测目标；根据所述待测目标的检测框确定所述待测目标在所述道路图像中的纵坐标；根据所述待测目标的纵坐标以及所述车道线方程，计算得到所述第二像素宽度。

在测距装置400的一种实现方式中，所述装置还包括：

标定模块，用于：获取所述车载摄像头采集的标定道路图像；获取第三像素宽度，所述第三像素宽度是指在所述标定道路图像中，测量得到的本车所在车道位于所述车载摄像头的盲区边界处的像素宽度；获取多个第四像素宽度，所述第四像素宽度是指在所述标定道路图像中，测量得到的本车所在车道在与本车相距预设距离处的像素宽度；其中，每个第四像素宽度对应一个不同的预设距离；计算所述多个第四像素宽度与所述第三像素宽度之间的多个第二比值，并形成由对应的预设距离和第二比值构成的多个数据点；根据所述多个数据点求解出所述测距关系方程的参数。

在测距装置400的一种实现方式中，所述车道线方程为直线方程，所述测距关系方程为直线方程或二次曲线方程。

本申请实施例提供的测距装置400，其实现原理及产生的技术效果在前述方法实施例中已经介绍，为简要描述，装置实施例部分未提及之处，可参考方法实施例中相应内容。

图19示出了本申请实施例提供的电子设备500的一种可能的结构。参照图19，电子设备500包括：处理器510、存储器520以及通信接口530，这些组件通过通信总线540和/或其他形式的连接机构(未示出)互连并相互通讯。

其中，处理器510包括一个或多个(图中仅示出一个)，其可以是一种集成电路芯片，具有信号的处理能力。上述的处理器510可以是通用处理器，包括中央处理器(CentralProcessing Unit，简称CPU)、微控制单元(Micro Controller Unit，简称MCU)、网络处理器(Network Processor，简称NP)或者其他常规处理器；还可以是专用处理器，包括图形处理器(Graphics Processing Unit，GPU)、神经网络处理器(Neural-network ProcessingUnit，简称NPU)、数字信号处理器(Digital Signal Processor，简称DSP)、专用集成电路(Application Specific Integrated Circuits，简称ASIC)、现场可编程门阵列(FieldProgrammable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。并且，在处理器510为多个时，其中的一部分可以是通用处理器，另一部分可以是专用处理器。

存储器520包括一个或多个(图中仅示出一个)，其可以是，但不限于，随机存取存储器(Random Access Memory，简称RAM)，只读存储器(Read Only Memory，简称ROM)，可编程只读存储器(Programmable Read-Only Memory，简称PROM)，可擦除可编程只读存储器(Erasable Programmable Read-Only Memory，简称EPROM)，电可擦除可编程只读存储器(Electric Erasable Programmable Read-Only Memory，简称EEPROM)等。处理器510以及其他可能的组件可对存储器520进行访问，读和/或写其中的数据。例如，在存储器520中可以存储一个或多个计算机程序指令，处理器510可以读取并运行这些计算机程序指令，以实现本申请实施例提供的车道线检测方法和/或测距方法。

通信接口530包括一个或多个(图中仅示出一个)，可以用于和其他设备进行直接或间接地通信，以便进行数据的交互。通信接口530可以包括进行有线和/或无线通信的接口。

可以理解，图19所示的结构仅为示意，电子设备500还可以包括比图19中所示更多或者更少的组件，或者具有与图19所示不同的配置。图19中所示的各组件可以采用硬件、软件或其组合实现。电子设备500可能是实体设备，例如车载设备、PC机、笔记本电脑、平板电脑、手机、服务器等，也可能是虚拟设备，例如虚拟机、虚拟化容器等。并且，电子设备500也不限于单台设备，也可以是多台设备的组合或者大量设备构成的集群。

本申请实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序指令，所述计算机程序指令被计算机的处理器读取并运行时，执行本申请实施例提供的车道线检测方法和/或测距方法。例如，计算机可读存储介质可以实现为图19中电子设备500中的存储器520。

以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (16)

1.一种车道线检测方法，其特征在于，包括：

从车载摄像头采集的道路图像中确定包含车道线的感兴趣区域图像；

利用语义分割网络处理所述感兴趣区域图像，获得图像中车道线的分割掩膜，并将所述分割掩膜转换为对应的俯视图；

确定所述俯视图中对应于不同车道线的车道线像素点集合，并将集合中车道线像素点的坐标从所述俯视图中的坐标变换为所述道路图像中的坐标或世界坐标系下的坐标；

根据变换坐标后的车道线像素点集合拟合形成车道线方程。

2.根据权利要求1所述的车道线检测方法，其特征在于，所述利用语义分割网络处理所述感兴趣区域图像，获得图像中车道线的分割掩膜，包括：

利用所述语义分割网络中的主干网络提取所述感兴趣区域图像的多尺度特征；

利用所述语义分割网络中的特征融合网络融合所述多尺度特征，输出针对不同车道线类别的分割结果；

将所述分割结果转换为所述分割掩膜。

3.根据权利要求2所述的车道线检测方法，其特征在于，所述利用所述语义分割网络中的主干网络提取所述感兴趣区域图像的多尺度特征，包括：

利用所述主干网络中的多个bottleneck模块提取所述多尺度特征，所述bottleneck模块为MobileNet中的卷积模块；

所述利用所述语义分割网络中的特征融合网络融合所述多尺度特征，输出针对不同车道线类别的分割结果，包括：

将每个尺度的特征卷积后与该尺度的融合特征相加，相加结果经反卷积上采样后，获得上一尺度的融合特征；其中，最小尺度的特征卷积后直接作为相加结果，利用最大尺度的特征计算出的上一尺度的融合特征为所述分割结果。

4.根据权利要求1-3中任一项所述的车道线检测方法，其特征在于，所述将所述分割掩膜转换为对应的俯视图，包括：

利用所述车载摄像头的参数确定所述分割掩膜中的待检测区域，所述待检测区域表示本车所在车道的近处区域；

将所述分割掩膜位于所述待检测区域内的部分转换为所述俯视图。

5.根据权利要求1-3中任一项所述的车道线检测方法，其特征在于，利用语义分割网络处理所述感兴趣区域图像，获得图像中车道线的分割掩膜，并将所述分割掩膜转换为对应的俯视图，包括：

从所述感兴趣区域图像中确定包含远端车道线的远端部分图像，以及，包含近端车道线的近端部分图像；

利用所述语义分割网络分别处理所述远端部分图像以及所述近端部分图像，获得所述远端部分图像中车道线的分割掩膜以及所述近端部分图像中车道线的分割掩膜；

将两个分割掩膜转换为二者共同对应的所述俯视图。

6.根据权利要求4所述的车道线检测方法，其特征在于，所述确定所述俯视图中对应于不同车道线的车道线像素点集合，包括：

在所述俯视图底部指定高度的区域内统计每个横坐标处的车道线像素点的数量，获得直方图；

根据所述直方图中波峰的横坐标确定所述俯视图中车道线的定位基点；其中，所述定位基点位于所述俯视图底部，每个定位基点对应一条车道线；

以所述定位基点为起始位置，沿所述俯视图的纵向进行搜索，获得所述俯视图中对应于不同车道线的车道线像素点集合。

7.根据权利要求6所述的车道线检测方法，其特征在于，所述根据所述直方图中波峰的横坐标确定所述俯视图中车道线的定位基点，包括：

若存在已知定位基点，则在所述直方图中位于所述已知定位基点的横坐标附近的预设范围内搜索波峰，并根据找到的波峰的横坐标确定所述定位基点；

若不存在已知定位基点，则在所述直方图的全部横坐标范围内搜索波峰，并根据找到的波峰的横坐标确定所述定位基点；

其中，所述已知定位基点是在对所述道路图像的前序图像进行车道线检测的过程中确定的定位基点。

8.根据权利要求7所述的车道线检测方法，其特征在于，所述在所述直方图中位于所述已知定位基点的横坐标附近的预设范围内搜索波峰，并根据找到的波峰的横坐标确定所述定位基点，包括：

分别在所述直方图中位于两个已知定位基点的横坐标附近的预设范围内搜索波峰，若找到两个波峰，且其横坐标x1和x2满足条件thresh_min＜abs(x1-x2)＜thresh_max，则将x1和x2确定为两个定位基点的横坐标；-其中，thresh_min为预设的车道线最小宽度，thresh_max为预设的车道线最大宽度，abs表示取绝对值运算，所述两个定位基点对应本车所在车道的两条车道线；

所述在所述直方图的全部横坐标范围内搜索波峰，并根据找到的波峰的横坐标确定所述定位基点，包括：

分别在所述直方图的横坐标范围[0，L/2]和[L/2，L]内搜索波峰；其中，L为所述直方图的横坐标最大值；

若找到两个波峰，且其横坐标x1和x2满足条件thresh_min＜abs(x1-x2)＜thresh_max，则将x1和x2确定为两个定位基点的横坐标；

若找到两个波峰，且其横坐标x1和x2满足条件2*thresh_min＜abs(x1-x2)＜2*thresh_max和abs(x1-L/2)＜abs(x2-L/2)，则将x1和(x1+x2)/2确定为两个定位基点的横坐标；

若找到两个波峰，且其横坐标x1和x2满足条件2*thresh_min＜abs(x1-x2)＜2*thresh_max和abs(x1-L/2)＞abs(x2-L/2)，则将x2和(x1+x2)/2确定为两个定位基点的横坐标；

其中，thresh_min为预设的车道线最小宽度，thresh_max为预设的车道线最大宽度，abs-表示取绝对值运算，所述两个定位基点对应本车所在车道的两条车道线。

9.根据权利要求6所述的车道线检测方法，其特征在于，所述以所述定位基点为起始位置，沿所述俯视图的纵向进行搜索，获得所述俯视图中对应于不同车道线的车道线像素点集合，包括：

根据所述定位基点确定滑框的起始位置；

从所述起始位置开始，向所述俯视图的顶部移动所述滑框以进行搜索，直至在所述滑框的位置到达所述俯视图顶部时完成搜索，并获得所述定位基点对应的所述车道线像素点集合；

其中，所述滑框每移动至一个位置后，判断在该位置处所述滑框内的车道线像素点的数量是否超过第一阈值，若超过所述第一阈值，则确定所述滑框有效，否则确定所述滑框无效；

若所述滑框有效，则将所述滑框内的车道线像素点加入到所述定位基点对应的所述车道线像素点集合中，并计算所述滑框内的车道线像素点的横坐标均值，根据计算结果确定所述滑框将要移动至的新位置；

若所述滑框无效，则直接将所述滑框移动至新位置继续进行搜索，移动滑框的方式包括以下之一：保持所述滑框的横坐标不变，改变所述滑框的纵坐标以使所述滑框向所述俯视图的顶部移动；根据已搜索到的车道线像素点，确定所述定位基点对应的车道线的延伸趋势，并根据所述延伸趋势向所述俯视图的顶部移动所述滑框；

所述方法还包括：

在完成搜索后，判断在搜索过程中得到的有效滑框的总个数是否超过第二阈值，若超过所述第二阈值，则认可获得的所述车道线像素点集合，否则不认可获得的所述车道线像素点集合。

10.一种测距方法，其特征在于，包括：

获取车载摄像头采集的道路图像；

利用如权利要求1-9中任一项所述的车道线检测方法得到所述道路图像中本车所在车道的车道线方程；

根据所述车道线方程计算第一像素宽度，所述第一像素宽度是指在所述道路图像中，本车所在车道位于所述车载摄像头的盲区边界处的像素宽度；

根据所述车道线方程计算第二像素宽度，所述第二像素宽度是在指所述道路图像中，本车所在车道位于待测目标处的像素宽度；

计算所述第一像素宽度与所述第二像素宽度之间的第一比值；

将所述第一比值代入到其与距离值的测距关系方程中，计算得到所述待测目标与本车之间的距离值。

其中，所述根据所述车道线方程计算第一像素宽度，包括：

将所述道路图像底部的纵坐标确定为所述盲区边界的纵坐标；

根据所述盲区边界的纵坐标以及所述车道线方程，计算得到所述第一像素宽度；

所述根据所述车道线方程计算第二像素宽度，包括：

检测所述道路图像中的目标；

根据目标的检测框以及所述车道线方程，将检测到的目标中位于本车所在车道内的目标确定为所述待测目标；

根据所述待测目标的检测框确定所述待测目标在所述道路图像中的纵坐标；

根据所述待测目标的纵坐标以及所述车道线方程，计算得到所述第二像素宽度。

11.根据权利要求10所述的测距方法，其特征在于，所述方法还包括：

获取所述车载摄像头采集的标定道路图像；

获取第三像素宽度，所述第三像素宽度是指在所述标定道路图像中，测量得到的本车所在车道位于所述车载摄像头的盲区边界处的像素宽度；

获取多个第四像素宽度，所述第四像素宽度是指在所述标定道路图像中，测量得到的本车所在车道在与本车相距预设距离处的像素宽度；其中，每个第四像素宽度对应一个不同的预设距离；

计算所述多个第四像素宽度与所述第三像素宽度之间的多个第二比值，并形成由对应的预设距离和第二比值构成的多个数据点；

根据所述多个数据点求解出所述测距关系方程的参数。

12.根据权利要求10或11所述的测距方法，其特征在于，所述车道线方程为直线方程，所述测距关系方程为直线方程或二次曲线方程。

13.一种车道线检测装置，其特征在于，包括：

感兴趣区域提取模块，用于从车载摄像头采集的道路图像中确定包含车道线的感兴趣区域图像；

车道线分割模块，用于利用语义分割网络处理所述感兴趣区域图像，获得图像中车道线的分割掩膜，并将所述分割掩膜转换为对应的俯视图；

像素点检测模块，用于确定所述俯视图中对应于不同车道线的车道线像素点集合，并将集合中车道线像素点的坐标从所述俯视图中的坐标变换为所述道路图像中的坐标或世界坐标系下的坐标；

车道线拟合模块，用于根据变换坐标后的车道线像素点集合拟合形成车道线方程。

14.一种测距装置，其特征在于，包括：

图像获取模块，用于获取车载摄像头采集的道路图像；

车道线检测模块，用于利用如权利要求1-9中任一项所述的车道线检测方法得到所述道路图像中本车所在车道的车道线方程；

第一宽度计算模块，用于根据所述车道线方程计算第一像素宽度，所述第一像素宽度是指在所述道路图像中，本车所在车道位于所述车载摄像头的盲区边界处的像素宽度；

第二宽度计算模块，用于根据所述车道线方程计算第二像素宽度，所述第二像素宽度是在指所述道路图像中，本车所在车道位于待测目标处的像素宽度；

比值计算模块，用于计算所述第一像素宽度与所述第二像素宽度之间的第一比值；

距离计算模块，用于将所述第一比值代入到其与距离值的测距关系方程中，计算得到所述待测目标与本车之间的距离值；

其中，所述第一宽度计算模块根据所述车道线方程计算第一像素宽度，包括：

将所述道路图像底部的纵坐标确定为所述盲区边界的纵坐标；

根据所述盲区边界的纵坐标以及所述车道线方程，计算得到所述第一像素宽度；

所述第二宽度计算模块根据所述车道线方程计算第二像素宽度，包括：

检测所述道路图像中的目标；

根据目标的检测框以及所述车道线方程，将检测到的目标中位于本车所在车道内的目标确定为所述待测目标；

根据所述待测目标的检测框确定所述待测目标在所述道路图像中的纵坐标；

根据所述待测目标的纵坐标以及所述车道线方程，计算得到所述第二像素宽度。

15.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序指令，所述计算机程序指令被处理器读取并运行时，执行如权利要求1-12中任一项所述的方法。

16.一种电子设备，其特征在于，包括存储器以及处理器，所述存储器中存储有计算机程序指令，所述计算机程序指令被所述处理器读取并运行时，执行权利要求1-12中任一项所述的方法。

Images