CN114724119A - 车道线提取方法、检测设备及存储介质 - Google Patents

Abstract

本发明提供了一种车道线提取方法、检测设备及存储介质，该方法包括：通过预设置的神经网络模型对图像采集设备采集的多帧图像进行识别，对于每帧图像，得到该帧图像中每个像素点的类别，根据每帧图像中每个像素点的类别，确定车辆的车身与道路的分界线在图像中的位置，其中，像素点的类别包括地面像素点、车道线像素点和背景像素点，图像采集设备安装在车辆上的位置固定；对图像采集设备采集到的图像进行车道线识别，得到识别结果；根据分界线在图像中的位置，在识别结果中剔除映射在车身上的车道线。本发明能够提高车道线识别精度。

Description

车道线提取方法、检测设备及存储介质

技术领域

本发明涉及汽车盲区监测技术领域，尤其涉及一种车道线提取方法、检测设备及存储介质。

背景技术

盲区监测***（Blind Spot Detection，BSD）可以基于摄像头对车辆盲区内场景进行目标检测和分割，然后基于摄像头标定的内外参数对目标距离进行测量，距离低于设定的安全距离时即会产生报警信息。

盲区内车道线的提取对后续车辆、行人的相位位置判断、摄像头位置距离参数修正非常重要。现有技术通过神经网络进行图像识别，进行车道线提取，然而，通过这种方法进行车道线提取的过程中，往往会将一些不属于车道线的线条错误分割为车道线，导致车道线提取精度较低。

因此，如何提高车道线的提取精度，是现有技术急需解决的技术问题。

发明内容

有鉴于此，本发明提供了一种车道线提取方法、检测设备及存储介质，能够解决车道线提取精度低的问题。

第一方面，本发明实施例提供了一种车道线提取方法，包括：

通过预设置的神经网络模型对图像采集设备采集的多帧图像进行识别，对于每帧图像，得到该帧图像中每个像素点的类别，根据每帧图像中每个像素点的类别，确定车辆的车身与道路的分界线在图像中的位置，其中，像素点的类别包括地面像素点、车道线像素点和背景像素点，所述图像采集设备安装在所述车辆上的位置固定；

对所述图像采集设备采集到的图像进行车道线识别，得到识别结果；

根据所述分界线在图像中的位置，在所述识别结果中剔除映射在车身上的车道线。

在一种可能的实现方式中，所述根据每帧图像中每个像素点的类别，确定车辆的车身与道路的分界线在图像中的位置包括：

对于每个像素点，根据所述多帧图像统计该像素点的类别为地面像素点的次数；

确定目标像素点集合，对于所述目标像素点集合中的每个像素点，该像素点的类别为地面像素点的次数超过预设次数；

根据所述目标像素点集合确定地面区域；

根据所述地面区域确定所述分界线在图像中的位置。

在一种可能的实现方式中，所述根据所述地面区域确定所述分界线在图像中的位置包括：

若所述图像采集设备安装在所述车辆的左侧，且所述图像采集设备采集图像的方向与所述车辆的行驶方向相同，则根据所述地面区域的右侧边界确定所述分界线在图像中的位置；

若所述图像采集设备安装在所述车辆的左侧，且所述图像采集设备采集图像的方向与所述车辆的行驶方向相反，则根据所述地面区域的左侧边界确定所述分界线在图像中的位置；

若所述图像采集设备安装在所述车辆的右侧，且所述图像采集设备采集图像的方向与所述车辆的行驶方向相同，则根据所述地面区域的左侧边界确定所述分界线在图像中的位置；

若所述图像采集设备安装在所述车辆的右侧，且所述图像采集设备采集图像的方向与所述车辆的行驶方向相反，则根据所述地面区域的右侧边界确定所述分界线在图像中的位置。

在一种可能的实现方式中，所述根据所述分界线在图像中的位置，在所述识别结果中剔除映射在车身上的车道线：

若所述图像采集设备安装在所述车辆的左侧，且所述图像采集设备采集图像的方向与所述车辆的行驶方向相同，将图像中位于所述分界线右侧的车道线作为映射在车身上的车道线进行剔除；

若所述图像采集设备安装在所述车辆的左侧，且所述图像采集设备采集图像的方向与所述车辆的行驶方向相反，将图像中位于所述分界线左侧的车道线作为映射在车身上的车道线进行剔除；

若所述图像采集设备安装在所述车辆的右侧，且所述图像采集设备采集图像的方向与所述车辆的行驶方向相同，将图像中位于所述分界线左侧的车道线作为映射在车身上的车道线进行剔除；

若所述图像采集设备安装在所述车辆的右侧，且所述图像采集设备采集图像的方向与所述车辆的行驶方向相反，将图像中位于所述分界线右侧的车道线作为映射在车身上的车道线进行剔除。

在一种可能的实现方式中，在根据所述分界线在图像中的位置，在所述识别结果中剔除映射在车身上的车道线之后，该方法还包括：

通过验证集对所述神经网络模型进行验证，得到分割车道线精度热图，在所述分割车道线精度热图中，每个像素点对应一个分割精度值，该分割精度值用于表示所述神经网络模型在该像素点的车道线识别精度；

对于所述图像采集设备采集的每一帧图像，根据所述分割车道线精度热图，对该图像的识别结果进行精度判断，若所述识别结果中存在识别精度小于预设精度阈值的像素点，则根据所述识别结果，在该图像中通过边缘检测算法进行车道线提取，将提取得到的车道线替代所述识别结果中的车道线。

在一种可能的实现方式中，所述通过验证集对所述神经网络模型进行验证，得到分割车道线精度热图包括：

获取验证集，所述验证集包括m张包含标签的图像，对于每张包含标签的图像，包括该图像中每个像素点的类别，其中，像素点的类别包括地面像素点、车道线像素点和背景像素点；

对于每一张包含标签的图像，根据所述神经网络模型获取该图像的识别结果，对于识别结果中的每一段车道线，获取该车道线在识别结果中对应的第一分割区域，以及在该张包含标签的图像中所对应的第二分割区域，计算所述第一分割区域和所述第二分割区域的交并比，在标签图像中该车道线所对应的像素点的值设置为该交并比的值；

对于任一像素点，若该像素点在所述m张包含标签的图像中的p张图像都为车道线像素点，则该像素点对应p个交并比的值，将所述p个交并比的值求平均，得到该像素点对应的分割精度值，m为大于2的正整数，p为大于等于1的正整数，p≤m；

对于分割精度值为0的像素点，通过距离该像素点最近的至少两个分割精度值非零的像素点求平均得到该分割精度值为0的像素点的分割精度值；

根据每个像素点的分割精度值，得到所述分割车道线精度热图。

在一种可能的实现方式中，所述若所述识别结果中存在识别精度小于预设精度阈值的像素点，则根据所述识别结果，在该图像中通过边缘检测算法进行车道线提取包括：

在识别结果中获取该车道线对应的第一区域，所述第一区域包括该车道线的分割结果所对应的像素点，还包括地面像素点；

根据所述第一区域所对应的像素点，在该图像中获取所述第一区域对应的第二区域；

对所述第一区域从上到下逐行进行扫描，得到每一行像素点中车道线的中心像素点；

根据每一行像素点中车道线的中心像素点，确定第一中心像素点序列；

根据所述第一中心像素点序列，在该图像中确定所述第一中心像素点序列对应的第二中心像素点序列；

根据所述第二中心像素点序列中的每个中心像素点，在该图像中通过预设边缘检测算法获取距离该中心像素点最近的左边缘像素点和右边缘像素点；

根据所有左边缘像素点确定左边缘线，根据所有右边缘像素点确定右边缘线，将所述左边缘线和所述右边缘线之间的区域作为提取得到的车道线。

在一种可能的实现方式中，在根据所述分界线在图像中的位置，在所述识别结果中剔除映射在车身上的车道线之后，该方法还包括：

根据a张包含标签的图像获取车道线平均宽度值热图，在所述车道线平均宽度值热图中，对于每个像素点，该像素点的对应的值为0，或者，该像素点对应一个车道线平均宽度值，其中，对于每张包含标签的图像，包括该图像中每个像素点的类别，像素点的类别包括地面像素点、车道线像素点和背景像素点，a为大于2的正整数；

对于所述识别结果中的任一车道线，根据所述车道线平均宽度值热图，判断该车道线是否满足预设宽度条件，若不满足，则在所述识别结果中将该车道线作为虚假车道线剔除。

在一种可能的实现方式中，所述根据a张包含标签的图像获取车道线平均宽度值热图包括：

对于每张包含标签的图像中的每条车道线，获取该车道线的宽度值，并将该车道线所对应的每个像素点的值设置为该宽度值；

对于任一像素点，若该像素点在每一张图像中都不是车道线像素点，则该像素点对应的值为0，若该像素点在所述a张包含标签的图像中的b张图像都为车道线像素点，则该像素点对应b个宽度值，将所述b个宽度值求平均，得到该像素点对应的车道线平均宽度值，b为大于等于1的正整数，b≤a；

根据每个像素点的值，得到所述车道线平均宽度值热图。

在一种可能的实现方式中，所述对于所述识别结果中的任一车道线，根据所述车道线平均宽度值热图，判断该车道线是否满足预设宽度条件包括：

对于所述识别结果中的任一车道线所对应的区域进行逐行扫描，获取每一行像素点中车道线的中心像素点，得到第三中心像素点序列；

在所述车道线平均宽度值热图中，确定所述第三中心像素点序列中每个像素点对应的值，求和得到第一宽度值；

根据所述第三中心像素点序列，在所述识别结果中进行直线拟合得到中心直线，所述中心直线包括多个像素点；

在所述识别结果中沿与所述中心直线垂直的方向进行扫描，得到所述中心直线中每个像素点对应的宽度值，求平均后得到第二宽度值；

根据所述第一宽度值和所述第二宽度值，判断所述识别结果中的该车道线是否满足预设宽度条件。

在一种可能的实现方式中，所述预设宽度条件为满足预设公式，所述预设公式为

其中，

为预设系数，

为所述第一宽度值，

为所述第二宽度值，0＜

＜1。

第二方面，本发明实施例提供了一种检测设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上第一方面或第一方面的任一种可能的实现方式所述方法的步骤。

第三方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上第一方面或第一方面的任一种可能的实现方式所述方法的步骤。

本发明实施例与现有技术相比存在的有益效果是：

本发明通过确定车辆的车身与道路的分界线在图像中的位置，以此为依据剔除识别结果中属于由于光线原因映射在车身上的车道线，提高了车道线识别精度。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种车道线提取方法的应用场景图；

图2是本发明实施例提供的一种车道线提取方法的实现流程图；

图3是本发明实施例提供的一种世界坐标系至像素坐标系的映射关系示意图；

图4是本发明实施例提供的一种车身与道路的分界线在像素坐标系中的位置示意图；

图5是本发明实施例提供的另一种车道线提取方法的实现流程图；

图6是本发明实施例提供的又一种车道线提取方法的实现流程图；

图7是本发明实施例提供的一种车道线提取装置的结构示意图；

图8是本发明实施例提供的检测设备的示意图。

具体实施方式

以下描述中，为了说明而不是为了限定，提出了诸如特定***结构、技术之类的具体细节，以便透彻理解本发明实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中，省略对众所周知的***、装置、电路以及方法的详细说明，以免不必要的细节妨碍本发明的描述。

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图通过具体实施例来进行说明。

图1为本发明实施例提供的车道线提取方法的应用场景图。如图1所示，车辆在道路上行驶时，由于车身镜面效应、车身结构以及外部光线的变化，可能会在车身上映射出车道线来。示例性的，如图1所示，图像采集设备安装在车辆的右后方，当第二车道线或者第三车道线映射在车身上时，图像采集设备采集到的图像中可能包含映射在车身上的车道线。当对采集到的图像进行车道线识别时，会识别到映射到车身上的车道线，这部分车道线实际上不是真实的车道线，从而造成误识别，造成车道线识别精度低，这些映射在车辆上的车道线，即误识别的车道线对车辆行驶路线的规划和摄像头位姿的校正等都非常不利。

为解决这一问题，参见图2，其示出了本发明实施例提供的车道线提取方法的实现流程图，详述如下：

在步骤201中、通过预设置的神经网络模型对图像采集设备采集的多帧图像进行识别，对于每帧图像，得到该帧图像中每个像素点的类别，根据每帧图像中每个像素点的类别，确定车辆的车身与道路的分界线在图像中的位置，其中，像素点的类别包括地面像素点、车道线像素点和背景像素点，所述图像采集设备安装在所述车辆上的位置固定。

一般来说，图像分割就是根据图像本身一些特征，比如色彩、纹理等，把图像中不同位置的像素点具有相同特征的聚类成一个分类的过程。图像语义分割的本质还是图像分割，语义分割指的是在图像分割的基础上，根据图像本身的纹理和场景，来得出图像本身需要表达的信息，这里的信息可以指图像所要表达的场景，也可以指图像中某个物体的类别。

在本发明实施例中，通过神经网络模型，如卷积神经网络进行图像语义分割。语义分割是像素级别的图像分类，具体来说，语义分割就是为每个像素赋予对应的类别标签，将图像中每个像素关联到一个类别标签的过程。

本发明实施例中的神经网络模型包含主干网，即下采样结构，还包括特征融合、上采样等结构，本发明不对神经网络模型的类型及结构进行限定。

在本发明实施例中，预先获取图像采集设备采集的大量图像，并对图像进行标注，获取带标签数据的每张图像，标签数据至少包含地面、车道线及背景三个类别，也就是说，对于每个像素点，该像素点的类别为地面像素点、车道线像素点或背景像素点中的一种。

带标签数据的图像可以看作真值数据，在本发明实施例中，将真值数据划分为训练集、验证集两部分，神经网络模型的网络权重是通过训练集学习得到的，该网络的性能可以在原图像或者验证集上得到测试。

本发明实施例不对神经网络模型的训练过程进行赘述。

在本发明实施例中，图像采集设备安装在车辆上的位置固定，但是，本发明实施例不对图像采集设备在车辆上的安装位置进行限定，图像采集设备可以为相机、摄像机等，可以安装在车辆的前部，如左前方或右前方，也可以安装在车辆的后部，如左后方或者右后方，并且，图像采集设备采集图像的方向可以与车辆的行驶方向相同，也可以与车辆行驶方向相反，本发明实施例对此也不作限定。

在本发明实施例中，为便于理解，结合图1，以图像采集设备安装在车辆的右后方，且采集图像的方向与车辆行驶方向相同为例进行说明。

当图像采集设备固定在车辆上后，以图像采集设备为相机为例进行说明，相机所采集的真实世界中的一个点的位置与图像中一个像素的映射关系如下：

结合图3，可以预先定义四个坐标系，分别为世界坐标系

，相机坐标系

，图像平面坐标系

xy，像素坐标系o

。

设置世界坐标系是为了统一描述真实三维世界中物体的位置，包括相机的位置、特征目标的位置等，例如，当目标特征为车道线时，可以在世界坐标系中描述真实三维世界中车道线的位置。

在一种可能的实现方式中，相机坐标系和世界坐标系都是笛卡尔直角三维坐标系，相机坐标系是空间三维信息与二维图像信息之间的媒介。如图3所示，相机坐标系的原点

为相机的光心，即相机的聚焦中心。

轴为相机的光轴，

轴正方向沿相机光轴向外，

平面垂直于相机光轴，

平行于图像平面坐标系的x轴，

平行于图像平面坐标系的y轴。

在一种可能的实现方式中，为使计算简单，世界坐标系的设定规则为：获取经过相机的安装点且垂直于地面的垂线，将垂线与地面的交点作为世界坐标系的原点

，将垂线作为世界坐标系的

轴，

轴正方向向上，世界坐标系的

平面与

轴垂直。

如图1所示，以相机安装在车辆的右后方为例，通过上述方法确定原点

和

轴后，以垂直于车身向右为

轴正方向，以平行于车身向前为

轴正方向。

图像平面坐标系用于描述特征点在图像平面上的位置坐标，坐标单位一般为毫米。如图3所示，图像平面坐标系是在图像平面上建立二维坐标系，坐标原点

为相机坐标系中

轴与图像平面的交点，x轴、y轴分别平行于相机坐标系中的

轴、

轴。图像平面坐标系的原点

与相机坐标系的原点

之间的距离为相机的焦距f。

相机采集的图像一般为二维数字图像，以像素矩阵的形式存储，每个元素为该像素的图像灰度值。图像平面坐标系用于描述图像点在图像平面的位置坐标，像素坐标系描述该点在像素矩阵中的位置。如图3所示，像素坐标系建立在图像平面上，坐标原点o建立在图像平面的左上角，u轴平行于图像平面坐标系的x轴，v轴平行于图像平面坐标系的y轴。因此，坐标（u，v）分别表示像素点在像素矩阵中的行和列。

对于世界坐标系中的一个点到其对应在图像平面的映射点的像素坐标，这之间的变换包括三个变换过程，依次为：世界坐标系至相机坐标系的变换，相机坐标系到图像平面坐标系的变换，图像平面坐标系到像素坐标系的变换。

其中，结合图3，相机坐标系与图像平面坐标系仅存在一个比例关系，相机的焦距是其唯一的影响因素，图像平面坐标系到像素坐标系的变换仅与像素在图像平面坐标系的x轴方向的物理尺寸和像素在图像平面坐标系的y轴方向的物理尺寸相关。对于某一个确定的相机，该相机的焦距f、像素在图像平面坐标系的x轴方向的物理尺寸和像素在图像平面坐标系的y轴方向的物理尺寸是固定的。并且，当该相机安装在车辆上的位置固定，且相机本身固定时，相机的外部参数，如滚转角、偏航角、俯仰角也是固定的。

基于上述分析可知，当图像采集设备固定在车辆上后，对于每一帧图像，在像素坐标系中，车辆的车身与道路的分界线所对应的像素点的坐标是固定的。

因此，在本发明实施例中，在图像采集设备安装在车辆上之后的初始阶段，通过采集的连续的多帧图像，预先确定车辆的车身与道路的分界线在图像中的位置，也即，该分界线在像素坐标系中的位置。示例性的，该分界线在像素坐标系中的位置如图4所示。

在一种可能的实现方式中，对于每个像素点，根据多帧图像统计该像素点的类别为地面像素点的次数；确定目标像素点集合，对于目标像素点集合中的每个像素点，该像素点的类别为地面像素点的次数超过预设次数；根据目标像素点集合确定地面区域；根据地面区域确定分界线在图像中的位置。

举例来说，通过图像采集设备采集n张图像，对于每个像素点，统计该像素点为地面像素点的次数，若该像素点为地面像素点的次数超过预设次数，例如，预设次数为n/2，则该像素点为目标像素点集合中的一个像素点。

例如，n=500，对于某一个像素点，如像素点1，该像素点为地面像素点的次数为400次，也就是说，这500张图像中有400张图像，像素点1在这400张图像中的类型都为地面像素点，则像素点1为目标像素点集合中的一个像素点。

通过目标像素点集合，确定地面区域，也就是地面语义分割的真实区域，结合图像采集设备在车辆上的安装位置，以及图像采集设备采集图像的方向，确定车身与道路的分界线在图像中的位置。

在一种可能的实现方式中，若图像采集设备安装在车辆的左侧，且图像采集设备采集图像的方向与车辆的行驶方向相同，则根据地面区域的右侧边界确定分界线在图像中的位置；若图像采集设备安装在车辆的左侧，且图像采集设备采集图像的方向与车辆的行驶方向相反，则根据地面区域的左侧边界确定分界线在图像中的位置；若图像采集设备安装在车辆的右侧，且图像采集设备采集图像的方向与车辆的行驶方向相同，则根据地面区域的左侧边界确定分界线在图像中的位置；若图像采集设备安装在车辆的右侧，且图像采集设备采集图像的方向与车辆的行驶方向相反，则根据地面区域的右侧边界确定分界线在图像中的位置。

在步骤202中、对图像采集设备采集到的图像进行车道线识别，得到识别结果。

在本发明实施例中，在确定车身与道路的分界线在图像中的位置后，在一种可能的实现方式中，通过步骤201中预先训练好的神经网络模型对采集到的图像进行车道线识别，得到识别结果。

在步骤203中、根据分界线在图像中的位置，在识别结果中剔除映射在车身上的车道线。

在本发明实施例中，在确定分界线在图像中的位置后，结合图像采集设备在车辆上的安装位置，以及图像采集设备采集图像的方向，根据分界线在图像中的位置，在识别结果中剔除映射在车身上的车道线。

在一种可能的实现方式中，若图像采集设备安装在车辆的左侧，且图像采集设备采集图像的方向与车辆的行驶方向相同，将图像中位于分界线右侧的车道线作为映射在车身上的车道线进行剔除；

在一种可能的实现方式中，若图像采集设备安装在车辆的左侧，且图像采集设备采集图像的方向与车辆的行驶方向相反，将图像中位于分界线左侧的车道线作为映射在车身上的车道线进行剔除；

在一种可能的实现方式中，若图像采集设备安装在车辆的右侧，且图像采集设备采集图像的方向与车辆的行驶方向相同，将图像中位于分界线左侧的车道线作为映射在车身上的车道线进行剔除；

在一种可能的实现方式中，若图像采集设备安装在车辆的右侧，且图像采集设备采集图像的方向与车辆的行驶方向相反，将图像中位于分界线右侧的车道线作为映射在车身上的车道线进行剔除。

本发明通过确定车辆的车身与道路的分界线在图像中的位置，以此为依据剔除识别结果中属于由于光线原因映射在车身上的车道线，提高了车道线识别精度。

图5示出了本发明实施例提供的另一种车道线提取方法的实现流程图，详述如下：

在步骤501中、通过验证集对神经网络模型进行验证，得到分割车道线精度热图，在分割车道线精度热图中，每个像素点对应一个分割精度值，该分割精度值用于表示神经网络模型在该像素点的车道线识别精度。

在一种可能的实现方式中，分割车道线精度热图的获取方法包括：

获取验证集，验证集包括m张包含标签的图像，对于每张包含标签的图像，包括该图像中每个像素点的类别，其中，像素点的类别包括地面像素点、车道线像素点和背景像素点；

对于每一张包含标签的图像，根据神经网络模型获取该图像的识别结果，对于识别结果中的每一段车道线，获取该车道线在识别结果中对应的第一分割区域，以及在该张包含标签的图像中所对应的第二分割区域，计算第一分割区域和第二分割区域的交并比，在标签图像中该车道线所对应的像素点的值设置为该交并比的值；

举例来说，包含标签的图像1中包含车道线1，则图像1中车道线对应的分割区域为第二分割区域，通过神经网络模型对图像1识别得到的识别结果中也包含车道线1，则在识别结果中车道线1对应的分割区域为第一分割区域，在一种可能的实现方式中，可以第二分割区域进行区域拓展，得到第二拓展区域，第二拓展区域中除了包含第二分割区域，其他像素点均为地面像素点，根据第二拓展区域所对应的像素点，在识别结果中确定第一拓展区域，第一拓展区域中除了包含第一分割区域，其他像素点均为地面像素点。

对于任一像素点，若该像素点在m张包含标签的图像中的p张图像都为车道线像素点，则该像素点对应p个交并比的值，将p个交并比的值求平均，得到该像素点对应的分割精度值，m为大于2的正整数，p为大于等于1的正整数，p≤m；

对于分割精度值为0的像素点，通过距离该像素点最近的至少两个分割精度值非零的像素点求平均得到该分割精度值为0的像素点的分割精度值；

根据每个像素点的分割精度值，得到分割车道线精度热图。

在一种可能的实现方式中，使用k折交叉验证的方式对神经网络模型进行训练和验证。

在步骤502中、对于图像采集设备采集的每一帧图像，根据分割车道线精度热图，对该图像的识别结果进行精度判断，若识别结果中存在识别精度小于预设精度阈值的像素点，则根据识别结果，在该图像中通过边缘检测算法进行车道线提取，将提取得到的车道线替代识别结果中的车道线。

在一种可能的实现方式中，若识别结果中存在识别精度小于预设精度阈值的像素点，则根据识别结果，在该图像中通过边缘检测算法进行车道线提取包括：

在识别结果中获取该车道线对应的第一区域，第一区域包括该车道线的分割结果所对应的像素点，还包括地面像素点；

根据第一区域所对应的像素点，在该图像中获取第一区域对应的第二区域；

对第一区域从上到下逐行进行扫描，得到每一行像素点中车道线的中心像素点；

根据每一行像素点中车道线的中心像素点，确定第一中心像素点序列；

根据第一中心像素点序列，在该图像中确定第一中心像素点序列对应的第二中心像素点序列；

根据第二中心像素点序列中的每个中心像素点，在该图像中通过预设边缘检测算法获取距离该中心像素点最近的左边缘像素点和右边缘像素点；

根据所有左边缘像素点确定左边缘线，根据所有右边缘像素点确定右边缘线，将左边缘线和右边缘线之间的区域作为提取得到的车道线。

本发明通过设置分割车道线精度热图，确定识别结果中识别精度较低的车道线，通过对原图像进行边缘提取的方法获取精度更高的车道线，进而提高了车道线的识别精度。

图6示出了本发明实施例提供的又一种车道线提取方法的实现流程图，详述如下：

在步骤601中、根据a张包含标签的图像获取车道线平均宽度值热图，在车道线平均宽度值热图中，对于每个像素点，该像素点的对应的值为0，或者，该像素点对应一个车道线平均宽度值。

其中，对于每张包含标签的图像，包括该图像中每个像素点的类别，像素点的类别包括地面像素点、车道线像素点和背景像素点，a为大于2的正整数。

在一种可能的实现方式中，通过如下方式获取车道线平均宽度值热图：

对于每张包含标签的图像中的每条车道线，获取该车道线的宽度值，并将该车道线所对应的每个像素点的值设置为该宽度值；

对于任一像素点，若该像素点在每一张图像中都不是车道线像素点，则该像素点对应的值为0，若该像素点在a张包含标签的图像中的b张图像都为车道线像素点，则该像素点对应b个宽度值，将b个宽度值求平均，得到该像素点对应的车道线平均宽度值，b为大于等于1的正整数，b≤a；

根据每个像素点的值，得到车道线平均宽度值热图。

在步骤602中、对于识别结果中的任一车道线，根据车道线平均宽度值热图，判断该车道线是否满足预设宽度条件，若不满足，则在识别结果中将该车道线作为虚假车道线剔除。

在一种可能的实现方式中，对于识别结果中的任一车道线所对应的区域进行逐行扫描，获取每一行像素点中车道线的中心像素点，得到第三中心像素点序列；在车道线平均宽度值热图中，确定第三中心像素点序列中每个像素点对应的值，求和得到第一宽度值；根据第三中心像素点序列，在识别结果中进行直线拟合得到中心直线，中心直线包括多个像素点；在识别结果中沿与中心直线垂直的方向进行扫描，得到中心直线中每个像素点对应的宽度值，求平均后得到第二宽度值；根据第一宽度值和第二宽度值，判断识别结果中的该车道线是否满足预设宽度条件。

在一种可能的实现方式中，预设宽度条件为满足预设公式，预设公式为

其中，

为预设系数，

为第一宽度值，

为第二宽度值，0＜

＜1。

在一种可能的实现方式中，

0.2。

本发明通过设置车道线平均宽度值热图，以此为依据在识别结果中获取不满足预设宽度条件的车道线，将其作为虚假车道线删除，进而提高了车道线识别精度。

应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。

以下为本发明的装置实施例，对于其中未详尽描述的细节，可以参考上述对应的方法实施例。

图7示出了本发明实施例提供的一种车道线提取装置的结构示意图，为了便于说明，仅示出了与本发明实施例相关的部分，详述如下：

如图7所示，车道线提取装置7包括：分界线确定模块71、识别模块72和识别精度提升模块73；

分界线确定模块71，用于通过预设置的神经网络模型对图像采集设备采集的多帧图像进行识别，对于每帧图像，得到该帧图像中每个像素点的类别，根据每帧图像中每个像素点的类别，确定车辆的车身与道路的分界线在图像中的位置，其中，像素点的类别包括地面像素点、车道线像素点和背景像素点，所述图像采集设备安装在所述车辆上的位置固定；

识别模块72，用于对图像采集设备采集到的图像进行车道线识别，得到识别结果；

识别精度提升模块73，用于根据分界线在图像中的位置，在识别结果中剔除映射在车身上的车道线。

本发明通过确定车辆的车身与道路的分界线在图像中的位置，以此为依据剔除识别结果中属于由于光线原因映射在车身上的车道线，提高了车道线识别精度。

在一种可能的实现方式中，分界线确定模块71用于：

对于每个像素点，根据多帧图像统计该像素点的类别为地面像素点的次数；

确定目标像素点集合，对于目标像素点集合中的每个像素点，该像素点的类别为地面像素点的次数超过预设次数；

根据目标像素点集合确定地面区域；

根据地面区域确定分界线在图像中的位置。

在一种可能的实现方式中，分界线确定模块71还用于：

若图像采集设备安装在车辆的左侧，且图像采集设备采集图像的方向与车辆的行驶方向相同，则根据地面区域的右侧边界确定分界线在图像中的位置；

若图像采集设备安装在车辆的左侧，且图像采集设备采集图像的方向与车辆的行驶方向相反，则根据地面区域的左侧边界确定分界线在图像中的位置；

若图像采集设备安装在车辆的右侧，且图像采集设备采集图像的方向与车辆的行驶方向相同，则根据地面区域的左侧边界确定分界线在图像中的位置；

若图像采集设备安装在车辆的右侧，且图像采集设备采集图像的方向与车辆的行驶方向相反，则根据地面区域的右侧边界确定分界线在图像中的位置。

在一种可能的实现方式中，识别精度提升模块73还用于：

若图像采集设备安装在车辆的左侧，且图像采集设备采集图像的方向与车辆的行驶方向相同，将图像中位于分界线右侧的车道线作为映射在车身上的车道线进行剔除；

若图像采集设备安装在车辆的左侧，且图像采集设备采集图像的方向与车辆的行驶方向相反，将图像中位于分界线左侧的车道线作为映射在车身上的车道线进行剔除；

若图像采集设备安装在车辆的右侧，且图像采集设备采集图像的方向与车辆的行驶方向相同，将图像中位于分界线左侧的车道线作为映射在车身上的车道线进行剔除；

若图像采集设备安装在车辆的右侧，且图像采集设备采集图像的方向与车辆的行驶方向相反，将图像中位于分界线右侧的车道线作为映射在车身上的车道线进行剔除。

在一种可能的实现方式中，识别精度提升模块73还用于：

通过验证集对神经网络模型进行验证，得到分割车道线精度热图，在分割车道线精度热图中，每个像素点对应一个分割精度值，该分割精度值用于表示神经网络模型在该像素点的车道线识别精度；

对于图像采集设备采集的每一帧图像，根据分割车道线精度热图，对该图像的识别结果进行精度判断，若识别结果中存在识别精度小于预设精度阈值的像素点，则根据识别结果，在该图像中通过边缘检测算法进行车道线提取，将提取得到的车道线替代识别结果中的车道线。

在一种可能的实现方式中，识别精度提升模块73还用于：

获取验证集，验证集包括m张包含标签的图像，对于每张包含标签的图像，包括该图像中每个像素点的类别，其中，像素点的类别包括地面像素点、车道线像素点和背景像素点；

对于每一张包含标签的图像，根据神经网络模型获取该图像的识别结果，对于识别结果中的每一段车道线，获取该车道线在识别结果中对应的第一分割区域，以及在该张包含标签的图像中所对应的第二分割区域，计算第一分割区域和第二分割区域的交并比，在标签图像中该车道线所对应的像素点的值设置为该交并比的值；

对于任一像素点，若该像素点在m张包含标签的图像中的p张图像都为车道线像素点，则该像素点对应p个交并比的值，将p个交并比的值求平均，得到该像素点对应的分割精度值，m为大于2的正整数，p为大于等于1的正整数，p≤m；

对于分割精度值为0的像素点，通过距离该像素点最近的至少两个分割精度值非零的像素点求平均得到该分割精度值为0的像素点的分割精度值；

根据每个像素点的分割精度值，得到分割车道线精度热图。

在一种可能的实现方式中，识别精度提升模块73还用于：

在识别结果中获取该车道线对应的第一区域，第一区域包括该车道线的分割结果所对应的像素点，还包括地面像素点；

根据第一区域所对应的像素点，在该图像中获取第一区域对应的第二区域；

对第一区域从上到下逐行进行扫描，得到每一行像素点中车道线的中心像素点；

根据每一行像素点中车道线的中心像素点，确定第一中心像素点序列；

根据第一中心像素点序列，在该图像中确定第一中心像素点序列对应的第二中心像素点序列；

根据第二中心像素点序列中的每个中心像素点，在该图像中通过预设边缘检测算法获取距离该中心像素点最近的左边缘像素点和右边缘像素点；

根据所有左边缘像素点确定左边缘线，根据所有右边缘像素点确定右边缘线，将左边缘线和右边缘线之间的区域作为提取得到的车道线。

在一种可能的实现方式中，识别精度提升模块73还用于：

根据a张包含标签的图像获取车道线平均宽度值热图，在车道线平均宽度值热图中，对于每个像素点，该像素点的对应的值为0，或者，该像素点对应一个车道线平均宽度值，其中，对于每张包含标签的图像，包括该图像中每个像素点的类别，像素点的类别包括地面像素点、车道线像素点和背景像素点，a为大于2的正整数；

对于识别结果中的任一车道线，根据车道线平均宽度值热图，判断该车道线是否满足预设宽度条件，若不满足，则在识别结果中将该车道线作为虚假车道线剔除。

在一种可能的实现方式中，识别精度提升模块73还用于：

对于每张包含标签的图像中的每条车道线，获取该车道线的宽度值，并将该车道线所对应的每个像素点的值设置为该宽度值；

对于任一像素点，若该像素点在每一张图像中都不是车道线像素点，则该像素点对应的值为0，若该像素点在a张包含标签的图像中的b张图像都为车道线像素点，则该像素点对应b个宽度值，将b个宽度值求平均，得到该像素点对应的车道线平均宽度值， b为大于等于1的正整数，b≤a；

根据每个像素点的值，得到车道线平均宽度值热图。

在一种可能的实现方式中，识别精度提升模块73还用于：

对于识别结果中的任一车道线所对应的区域进行逐行扫描，获取每一行像素点中车道线的中心像素点，得到第三中心像素点序列；

在车道线平均宽度值热图中，确定第三中心像素点序列中每个像素点对应的值，求和得到第一宽度值；

根据第三中心像素点序列，在识别结果中进行直线拟合得到中心直线，中心直线包括多个像素点；

在识别结果中沿与中心直线垂直的方向进行扫描，得到中心直线中每个像素点对应的宽度值，求平均后得到第二宽度值；

根据第一宽度值和第二宽度值，判断识别结果中的该车道线是否满足预设宽度条件。

在一种可能的实现方式中，预设宽度条件为满足预设公式，预设公式为

其中，

为预设系数，

为第一宽度值，

为第二宽度值，0＜

＜1。

本实施例提供的车道线提取装置，可用于执行上述车道线提取方法实施例，其实现原理和技术效果类似，本实施例此处不再赘述。

图8是本发明一实施例提供的检测设备的示意图。如图8所示，该实施例的检测设备8包括：处理器80、存储器81以及存储在所述存储器81中并可在所述处理器80上运行的计算机程序82。所述处理器80执行所述计算机程序82时实现上述各个车道线提取方法实施例中的步骤，例如图2所示的步骤201至步骤203。或者，所述处理器80执行所述计算机程序82时实现上述各装置实施例中各模块/单元的功能，例如图7所示模块71至73的功能。

示例性的，所述计算机程序82可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器81中，并由所述处理器80执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序82在所述检测设备8中的执行过程。

所述检测设备8可以是安装于车辆上的单独的检测设备，也可以是一个检测模块，如盲区监测***中的一个处理模块。所述检测设备8可包括，但不仅限于，处理器80、存储器81。本领域技术人员可以理解，图8仅仅是检测设备8的示例，并不构成对检测设备8的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述检测设备还可以包括输入输出设备、网络接入设备、总线等。

所述处理器80可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器 (Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列 (Field-Programmable Gate Array，FPGA) 或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

所述存储器81可以是所述检测设备8的内部存储单元，例如检测设备8的硬盘或内存。所述存储器81也可以是所述检测设备8的外部存储设备，例如所述检测设备8上配备的插接式硬盘，智能存储卡（Smart Media Card，SMC），安全数字（Secure Digital，SD）卡，闪存卡（Flash Card）等。进一步地，所述存储器81还可以既包括所述检测设备8的内部存储单元也包括外部存储设备。所述存储器81用于存储所述计算机程序以及所述检测设备所需的其他程序和数据。所述存储器81还可以用于暂时地存储已经输出或者将要输出的数据。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述***中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

在本发明所提供的实施例中，应该理解到，所揭露的装置/检测设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/检测设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个车道线提取方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括是电载波信号和电信信号。

以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。

Claims (10)

1.一种车道线提取方法，其特征在于，包括：

通过预设置的神经网络模型对图像采集设备采集的多帧图像进行识别，对于每帧图像，得到该帧图像中每个像素点的类别，根据每帧图像中每个像素点的类别，确定车辆的车身与道路的分界线在图像中的位置，其中，像素点的类别包括地面像素点、车道线像素点和背景像素点，所述图像采集设备安装在所述车辆上的位置固定；

对所述图像采集设备采集到的图像进行车道线识别，得到识别结果；

根据所述分界线在图像中的位置，在所述识别结果中剔除映射在车身上的车道线。

2.根据权利要求1所述的车道线提取方法，其特征在于，所述根据每帧图像中每个像素点的类别，确定车辆的车身与道路的分界线在图像中的位置包括：

对于每个像素点，根据所述多帧图像统计该像素点的类别为地面像素点的次数；

确定目标像素点集合，对于所述目标像素点集合中的每个像素点，该像素点的类别为地面像素点的次数超过预设次数；

根据所述目标像素点集合确定地面区域；

根据所述地面区域确定所述分界线在图像中的位置。

3.根据权利要求2所述的车道线提取方法，其特征在于，所述根据所述地面区域确定所述分界线在图像中的位置包括：

若所述图像采集设备安装在所述车辆的左侧，且所述图像采集设备采集图像的方向与所述车辆的行驶方向相同，则根据所述地面区域的右侧边界确定所述分界线在图像中的位置；

若所述图像采集设备安装在所述车辆的左侧，且所述图像采集设备采集图像的方向与所述车辆的行驶方向相反，则根据所述地面区域的左侧边界确定所述分界线在图像中的位置；

若所述图像采集设备安装在所述车辆的右侧，且所述图像采集设备采集图像的方向与所述车辆的行驶方向相同，则根据所述地面区域的左侧边界确定所述分界线在图像中的位置；

若所述图像采集设备安装在所述车辆的右侧，且所述图像采集设备采集图像的方向与所述车辆的行驶方向相反，则根据所述地面区域的右侧边界确定所述分界线在图像中的位置。

4.根据权利要求1所述的车道线提取方法，其特征在于，所述根据所述分界线在图像中的位置，在所述识别结果中剔除映射在车身上的车道线：

若所述图像采集设备安装在所述车辆的左侧，且所述图像采集设备采集图像的方向与所述车辆的行驶方向相同，将图像中位于所述分界线右侧的车道线作为映射在车身上的车道线进行剔除；

若所述图像采集设备安装在所述车辆的左侧，且所述图像采集设备采集图像的方向与所述车辆的行驶方向相反，将图像中位于所述分界线左侧的车道线作为映射在车身上的车道线进行剔除；

若所述图像采集设备安装在所述车辆的右侧，且所述图像采集设备采集图像的方向与所述车辆的行驶方向相同，将图像中位于所述分界线左侧的车道线作为映射在车身上的车道线进行剔除；

若所述图像采集设备安装在所述车辆的右侧，且所述图像采集设备采集图像的方向与所述车辆的行驶方向相反，将图像中位于所述分界线右侧的车道线作为映射在车身上的车道线进行剔除。

5.根据权利要求1所述的车道线提取方法，其特征在于，在根据所述分界线在图像中的位置，在所述识别结果中剔除映射在车身上的车道线之后，该方法还包括：

通过验证集对所述神经网络模型进行验证，得到分割车道线精度热图，在所述分割车道线精度热图中，每个像素点对应一个分割精度值，该分割精度值用于表示所述神经网络模型在该像素点的车道线识别精度；

对于所述图像采集设备采集的每一帧图像，根据所述分割车道线精度热图，对该图像的识别结果进行精度判断，若所述识别结果中存在识别精度小于预设精度阈值的像素点，则根据所述识别结果，在该图像中通过边缘检测算法进行车道线提取，将提取得到的车道线替代所述识别结果中的车道线。

6.根据权利要求5所述的车道线提取方法，其特征在于，所述若所述识别结果中存在识别精度小于预设精度阈值的像素点，则根据所述识别结果，在该图像中通过边缘检测算法进行车道线提取包括：

在识别结果中获取该车道线对应的第一区域，所述第一区域包括该车道线的分割结果所对应的像素点，还包括地面像素点；

根据所述第一区域所对应的像素点，在该图像中获取所述第一区域对应的第二区域；

对所述第一区域从上到下逐行进行扫描，得到每一行像素点中车道线的中心像素点；

根据每一行像素点中车道线的中心像素点，确定第一中心像素点序列；

根据所述第一中心像素点序列，在该图像中确定所述第一中心像素点序列对应的第二中心像素点序列；

根据所述第二中心像素点序列中的每个中心像素点，在该图像中通过预设边缘检测算法获取距离该中心像素点最近的左边缘像素点和右边缘像素点；

根据所有左边缘像素点确定左边缘线，根据所有右边缘像素点确定右边缘线，将所述左边缘线和所述右边缘线之间的区域作为提取得到的车道线。

7.根据权利要求1至6任一项所述的车道线提取方法，其特征在于，在根据所述分界线在图像中的位置，在所述识别结果中剔除映射在车身上的车道线之后，该方法还包括：

根据a张包含标签的图像获取车道线平均宽度值热图，在所述车道线平均宽度值热图中，对于每个像素点，该像素点的对应的值为0，或者，该像素点对应一个车道线平均宽度值，其中，对于每张包含标签的图像，包括该图像中每个像素点的类别，像素点的类别包括地面像素点、车道线像素点和背景像素点，a为大于2的正整数；

对于所述识别结果中的任一车道线，根据所述车道线平均宽度值热图，判断该车道线是否满足预设宽度条件，若不满足，则在所述识别结果中将该车道线作为虚假车道线剔除。

8.根据权利要求7所述的车道线提取方法，其特征在于，所述对于所述识别结果中的任一车道线，根据所述车道线平均宽度值热图，判断该车道线是否满足预设宽度条件包括：

对于所述识别结果中的任一车道线所对应的区域进行逐行扫描，获取每一行像素点中车道线的中心像素点，得到第三中心像素点序列；

在所述车道线平均宽度值热图中，确定所述第三中心像素点序列中每个像素点对应的值，求和得到第一宽度值；

根据所述第三中心像素点序列，在所述识别结果中进行直线拟合得到中心直线，所述中心直线包括多个像素点；

在所述识别结果中沿与所述中心直线垂直的方向进行扫描，得到所述中心直线中每个像素点对应的宽度值，求平均后得到第二宽度值；

根据所述第一宽度值和所述第二宽度值，判断所述识别结果中的该车道线是否满足预设宽度条件。

9.一种检测设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如上的权利要求1至8中任一项所述车道线提取方法的步骤。

10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如上的权利要求1至8中任一项所述车道线提取方法的步骤。

Images