CN112488046B - 一种基于无人机高分辨率影像的车道线提取方法 - Google Patents

Abstract

本发明公开了一种基于无人机高分辨率影像的车道线提取方法，包括以下步骤：S1、构建并训练U‑Net网络模型；S2、使用训练好的U‑Net网络模型对无人机航拍影像进行分割获得ROI掩膜；S3、提取无人机航拍影像的梯度特征和颜色特征，得到提取图像，并使用ROI掩膜过滤掉提取图像的背景噪声；S4、使用Otsu算法对过滤掉背景噪声后的提取图像进行阈值分割，然后提取车道线特征，得到二值化的特征图像；S5、使用图像滤波算法对特征图像进行质量增强；S6、使用特征直方图确定特征图像中的车道线数量和车道线在特征图像中的初始位置；S7、使用滑动窗口算法对车道线进行定位检测并通过多项式拟合提取出特征图像中的各条车道线。

Description

一种基于无人机高分辨率影像的车道线提取方法

技术领域

本发明涉及图像处理领域，尤其涉及一种基于无人机高分辨率影像的车道线提取方法。

背景技术

随着自动驾驶的兴起，以及其他基于位置的新型服务和行业被提出，使得地图的服务对象不再仅仅是人类，而是慢慢向机器过渡，这对地图的精度、内容结构和计算模式等都提出了新的要求。而传统的导航地图模型一般只描绘了道路的位置和形态，并不反映道路的细节信息。为了满足这些新的需求，高精度导航地图和全息位置地图的概念由此产生。在以上地图模型中，车道线都是道路数据模型的基础数据和重要组成部分。

传统的车道线检测***主要应用于车辆智能驾驶领域，多是基于车载的单/ 多目摄像机等传感器来获取车道线信息，并进行车道线的提取和检测。目前绝大部份的车道线视觉检测算法都是基于地面影像数据的，这些算法对于单帧影像数据往往表现出较好的适应性，但是将这些算法应用到大范围制图时往往会存在效率和精度问题。无人机的应用给大范围车道线检测方法带来了新的视角，首先无人机能够获取厘米级空间分辨率的道路表面结构信息，可以高效且清晰地获取路面的标线信息，足以满足车道线的提取需求。但是相对于地面车载视觉传感器，无人机高分辨率遥感影像尺度更大，视角也不一致，更大的成像范围带来高效的同时也意味着更多的噪声，并且检测目标在图像上也往往表现的很小。若直接基于无人机遥感影像进行提取，存在样本不均衡以及背景噪声过多等问题，此外深度学习中的多次卷积操作，往往会造成细节的丢失，这使得车道线信息很容易丢失，因此目前少有研究使用高分辨率遥感影像进行车道线的提取。

发明内容

本发明目的是针对上述问题，提供一种提高大范围制图效率以及制图精度的基于无人机高分辨率影像的车道线提取方法

为了实现上述目的，本发明的技术方案是：

一种基于无人机高分辨率影像的车道线提取方法，包括以下步骤：

S1、构建并训练U-Net网络模型；

S2、使用训练好的U-Net网络模型对无人机航拍影像进行分割获得ROI掩膜；

S3、提取无人机航拍影像的梯度特征和颜色特征，得到提取图像，并使用 ROI掩膜过滤掉提取图像的背景噪声；

S4、使用Otsu算法对过滤掉背景噪声后的提取图像进行阈值分割，然后提取车道线特征，得到二值化的特征图像；

S5、使用图像滤波算法对特征图像进行质量增强；

S6、使用特征直方图确定特征图像中的车道线数量和车道线在特征图像中的初始位置；

S7、使用滑动窗口算法对车道线进行定位检测并通过多项式拟合提取出特征图像中的各条车道线。

进一步的，所述步骤S1中使用二元交叉熵损失函数进行U-Net网络模型训练；二元交叉熵损失函数定义如下：

其中：X，Y分别表示预测图像和真实标签；W和H分别为预测图像的宽和高；x_ij和y_ij分别表示预测图像和真实标签在(i，j)处的像素值。

进一步的，所述步骤S2中对于分割获得的ROI掩膜，使用膨胀算法对其进行空洞填充。

进一步的，所述步骤S3中求取无人机航拍影像的梯度特征时，分别使用两个卷积核对无人机航拍影像进行卷积处理，获得沿宽度的梯度Gx和沿高度方向的梯度Gy，梯度值G的计算公式为：

针对离散的灰度图像，梯度值G的计算公式为：

G＝|Gx|+|Gy|；

所述梯度方向的计算公式为：

进一步的，所述步骤S3中求取无人机航拍影像的颜色特征时使用HSL颜色模型进行求取；其计算公式为：

Vmax←max(R，G，B)；

Vmin←min(R，G，B)；

其中：0≤L≤1，0≤S≤1，0≤H≤360，L，S，H分别表示HSL颜色空间的各通道值。

进一步的，所述步骤S3中将梯度特征和颜色特征联合后进行同步提取；其联合公式为：

(G_x∩G_dir∩G_mag)∪HSL_l；

其中：G_x表示无人机航拍影像的横向梯度二值矩阵，G_dir表示无人机航拍影像的梯度方向阈值二值矩阵，G_mag表示无人机航拍影像的梯度阈值二值矩阵， HSL_l表示HSL颜色空间s通道的阈值二值矩阵。

进一步的，所述步骤S6中，首先统计特征直方图中每列的非零像元个数，然后根据车道线之间像素距离，求得特征直方图的局部最大值，根据特征直方图的局部最大值确定特征图像中的车道线数量和车道线在特征图像中的初始位置。

进一步的，所述步骤S7包括以下步骤：

S71、设定滑动窗口尺寸、滑动窗口内最少非零像素点个数，根据滑窗高度以及无人机航拍影像的尺寸，计算出滑动窗口个数n；

S72、分别以各车道线的位置作为初始滑动窗口的下边界中点，保存初始滑动窗口内的所有非零像素点的坐标；

S73、统计初始滑动窗口内的非零像素点个数并与阈值比较，若大于阈值则计算初始滑动窗口内所有非零像素点的横坐标均值，作为下一个滑动窗口的下边线中点，初始滑动窗口的上边界纵坐标始终作为下一个滑动窗口的下边界纵坐标，依此循环，直至滑动窗口个数达到n则完成了滑动窗口检测；

S74、完成滑动窗口检测后，根据滑动窗口中存储的非零像素点的坐标，进行多项式拟合，分别提取出特征图像中的各条车道线。

与现有技术相比，本发明具有的优点和积极效果是：

本发明首先使用经典的U-Net网络对高分辨率无人机影像进行语义分割获取ROI掩膜用以过滤大量的背景噪声；同时本发明通过联合图像的梯度和颜色特征进行提取，不需要多次卷积操作，避免了造成细节信息丢失以及大范围提取的时效较长问题，最后通过特征直方图进行局部最大值检测确定车道线的数量以及起始位置，使用滑动窗口算法实现了多条车道线的检测和提取；其操作简单，方便快捷，通过无人机航拍影像即可进行车道线提取操作，相较于地面车载视觉传感器采集车道线信息的操作来说，本发明具有大范围制图效率高、精度高的优势，给地图的道路信息采集工作指引了方向。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明的框架流程图；

图2为U-Net网络模型的架构示意图；

图3为特征直方图及局部最大值示意图；

图4为滑动窗口检测的框架流程图；

图5为车道线提取效果图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

本实施例公开了一种基于无人机高分辨率影像的车道线提取方法，其提取车道线的过程如图1所示：首先构建并训练U-Net网络模型，使用训练好的U-Net 网络分割无人机航拍影像获得道路区域作为ROI掩膜。而后，提取图像的梯度和颜色特征，借助ROI掩膜过滤掉背景噪声，并使用Otsu算法获取二值化的特征图像；综合使用图像滤波算法对特征图像进行质量增强，借助特征直方图确定车道线数量和初始位置，使用滑动窗口算法实现车道线的定位并进行多项式拟合。

U-Net网络模型构建

U-Net网络建立在FCN网络基础之上，最初用来做医学图像的处理目前也已广泛应用到遥感地物提取方面。如图2所示，与CNN等大多数网络一样，U-Net 网络也主要由输入层、隐藏层、输出层构成，U-Net网络是一种U型编码器--- 解码器结构。编码阶段(图2左侧)与VGG网络类似，主要由简单的卷积、池化下采样构成。图2中的左侧类似于VGG网络，主要由简单的卷积、池化下采样构成。本发明采用的是3*3和1*1的卷积核进行卷积操作，3*3用于提取特征， 1*1用于改变维度。另外本发明使用2*2的尺寸进行最大值池化，获得包括input的图像总计5个尺度。在解码阶段(图2右侧)进行上采样和多尺度特征融合，逐步恢复空间维度并修复物体的细节信息。

本发明通过转置卷积进行上采样，然后进行特征融合。与FCN的跳级结构不同，FCN为了给分割结果添加细节信息，直接把后面几层的输出分别与最后的输出进行简单加和，以此获得更为精细的分割结果。

本发明采用的U-Net网络，将编码阶段各个尺度的特征信息进行拷贝，分别叠加到解码阶段相对应的特征图中，在channel维度进行拼接形成更厚的高维度特征，从而减少下采样过程中的信息损失，给特征图增加细节信息提高分割的精度。

如图2所示，随着网络层数的加深，激活函数输入值的分布在训练过程中会逐渐偏移，使得反向传播时低层的神经网络梯度消失。针对梯度消失问题，使用批标准化(BatchNormalization，简称BN)，固定每层神经网络的输入分布，以此解决梯度弥散问题。

U-Net网络模型训练

为了保证在反向传播训练过程中参数能够较快的收敛，避免梯度消失的问题，正如大多数图像分割任务那样，本发明避免使用二次损失函数而采用二元交叉熵损失函数(binary cross entropy，BCE)，最小化二元交叉熵损失函数进行U-Net网络训练，二元交叉熵损失函数定义如下：

其中：X，Y分别表示预测图像和真实标签；W和H分别为图像的宽和高；x_ij和y_ij分别表示预测图像和真实标签在(i，j)处的像素值。

尽管U-Net网络在较小的数据集上就能表现出强大的分割性能，但是作为深度学习网络，网络的性能极大的依赖于训练数据集。本发明通过随机旋转，裁剪以及镜像等手段对数据集进行增强。由于硬件器材的限制本发明将Batchsize设置为6，采用RMSprop优化算法进行了三次训练，每次的epoch分别是40、40、20，而与之对应的学习率分别设置为0.01、0.005、0.0001。使用训练好的网络模型对航拍影像进行语义分割，对于分割之后的ROI仍需要进行质量增强，并使用膨胀算法对其进行空洞填充。

特征提取

我国对于车道线的线型、颜色等有明确的规定，车道线相比于周围路面环境有着明显的梯度、灰度等边缘特征，根据这些特征可以实现车道线的检测和定位，进而实现对公路的识别和定位，但是传统方法多依赖单一特征，本发明同时使用梯度特征和颜色特征进行车道线检测。

许多基于视觉信息中梯度特征的车道线提取算法，通过Canny边缘提取算法对图像进行处理，获取图像的边缘特征，而后再结合Hough变换完成车道线的检测。Canny算法提取出道路特征的同时，也会提取图像中其他方向的边缘特征和其他无关梯度特征，诸如道路上的阴影的轮廓、车辆的轮廓，这些无关的边缘特征成为了后续的车道线检测的噪声并且难以去除。相对于Canny算子Sobel 算子可以单独计算横向或者纵向的梯度，同时通过横向或者纵向的梯度还能获取梯度的方向，因此本发明使用Sobel算子来提取道路的边缘梯度特征。Sobel 算子求图像方向梯度的过程可以理解为求图像的xy方向的一阶偏导数，为了简化计算往往使用离散差分算子来求得近似的梯度。

具体到二维的图像上，即分别使用两个卷积核对图像进行卷积处理，获得沿宽度的梯度Gx和沿高度方向的梯度Gy，图像Sobel梯度值G的计算也就可以十分方便的获得。

针对离散的灰度图像，本发明为了简化计算的过程，使用绝对值相加作为G 的取值。

G＝|Gx|+|Gy|；

由于车道线的结构性特征，车道线边缘梯度突变往往发生在水平方向上，所以计算出图像横向的梯度以及梯度的方向，并设置阈值二值化可以有效提取出车道边缘特征，同时也能避免一部分其他的噪声被引入。对于图像的梯度时需要借用Sobel的方向梯度，在求取梯度方向时同样需要方向梯度，Sobel方向梯度的本质是在水平和垂直方向的偏导数，因此梯度方向的求取可以通过如下公式进行。

Sobel算子所提取的都是灰度边缘特征，边缘特征按照其颜色特征可以分为灰度边缘和彩色边缘。有研究表明彩色图像中大约90％的边缘与其对应的灰度图像中的边缘一致，而大约有10％的边缘特征仅仅使用灰度图像是无法检测的。常见的颜色空间模型有:RGB、HSV、HSI、HSL及YCbCr等。目前的研究大都基于 RGB颜色空间,但此颜色空间不易分割且计算量。但是RGB颜色空间是一种心理物理色的颜色***，难以模拟人类对颜色的视觉感知，而HSL颜色模型是对RGB 的一种重投影，是一种基于直觉色的颜色***。HSL即色相、饱和度、亮度，该颜色空间使用一个圆锥空间模型来描述，可以很好的色调、亮度和饱和度的变化，并且可以更好的的定义和描述一种颜色，十分适合处理明暗变化明显的图像。

Vmax←max(R，G，B)；

Vmin←min(R，G，B)；

其中：0≤L≤1，0≤S≤1，0≤H≤360；

由于车道线结构性特征明显，因此可以统计梯度方向的众数，并对图像施加该角度的旋转变换，使得车道线与图像横向边缘垂直。车道线的方向与x方向垂直，因此对于梯度特征本发明选用了x方向上的梯度，梯度方向以及梯度值作为梯度特征。针对颜色特征通过实验可以清晰的发现，s通道的颜色特征更加适合车道线的检测。之后分别对上述特征分别进行ROI掩膜处理过滤掉非道路区域噪音，并使用Otsu算法进行阈值分割提取车道线特征。

车道线检测

前文进行了特征提取，Sobel算子可以很好的获取图像的梯度特征(包括梯度方向，梯度值以及横向的梯度值)，但是当路面上存在阴影或其他边缘特征也会被提取出来产生噪音，因此本发明对梯度特征进行了逻辑与运算。另外，单独使用颜色阈值进行特征提取，也会受限于复杂的路面情况造成缺失，本发明结合使用梯度和颜色特征，具体的联合方法为：

(G_x∩G_mag)∪HSL_l

其中：G_x表示图像的横向梯度二值矩阵，G_mag表示图像的梯度阈值二值矩阵， HSL_l表示HSL颜色空间s通道的阈值二值矩阵。

尽管已经使用U-Net分割得到的ROI掩膜去除了大量的非道路背景噪声，但是这些特征图中仍然存在一些其他噪声，些噪声多为离散的小白点。另外车道线上也会存在断开的现象。为了消除这些噪声的影响，需要增强特征图质量，提高检测的精度，本发明采用形态学滤波的方法对特征图进行处理。具体来说，先使用开运算在保证目标的面积不发生明显变化的前提下，消除小目标(如毛刺和孤立点)，然后使用闭运算填充凹陷弥合孔洞和裂缝。

本发明采用滑动窗口算法来进一步检测车道线，需要确定车道线的起始位置以及车道线的数目。如图3所示，首先，通过特征直方图统计特征图每列的非零像元个数，根据车道线之间像素距离，求得特征直方图的局部最大值确定车道线的数目和车道线在图像中的初始位置。

通过特征统计直方图获得车道线的初始位置，使用滑动窗口算法可以准确的检测出车道线。如图4所示，首先，设定诸如滑动窗口尺寸、窗口内最少非零像素点数等参数，根据滑窗高度以及航拍影像的尺寸，计算出滑动窗口个数n。分别以各车道线的大致位置作为初始滑窗的下边界中点，保存窗口内的所有非零像素点的坐标，统计该窗口内的非零像素点个数并于阈值，若大于阈值计算滑窗内所有非零像素点的横坐标均值，作为下一个滑窗的下边线中点，该滑窗的上边界纵坐标始终作为下一个滑窗的下边界纵坐标，循环直至滑窗个数达到n 完成该条车道线的滑窗检测。完成滑窗检测后，根据存储的滑窗中非零像素点的坐标，进行多项式拟合分别提取出各条车道线实例(如图5所示)。

实验数据

实验所使用的训练数据主要来源于WHUBuildingDataset数据集，该无人机航空影像涵盖了450km2，空间分辨率为0.075米，涵盖了城市、郊区以及野外地区。考虑到硬件设备的性能也为了训练的方便，并没有使用完整的数据集而是从中挑选了273幅，同时参入了部份本人自采的湖北某地航拍数据(主要为郊区或农村地区)，将这些数据的尺寸统一调整为320*320，构成了完整的实验数据，并按照7:3的比例划分训练数据和验证数据。本发明采用剩余的自采数据作为测试数据进行后续的操作。

实验结果与分析

通过U-Net网络对航拍影像进行语义分割以获取ROI，相对于遥感影像中常用的监督分类方法，U-Net网络可以实现更高的分割精度。为了评估U-Net的分割精度，同时使用ENVI中常用的监督分类方法，最大似然、马氏距离、二进制编码对测试数据进行ROI分割。针对ROI分割这个二分类问题，可以使用混淆矩阵来定量的评价分割的精度，采用准确率和召回率作为评价指标，结果如表1 所示；

表1

	准确率/％	召回率/％
			最大似然	95.25	76.97
马氏距离	65.49	92.61
			binary	76.56	85.65

其中：TP(true positive)表示正确ROI像素点的个数，FP(true negative) 表示非ROI像素但被分割为ROI的像素个数，FN表示ROI像素但被分割为非ROI 的像素个数。

对于车道线本发明仍然使用准确率和召回率进行评价，将车道线的宽度定义为10个像素，由此计算召回率和准确率分别为79.01％和83.12％。由于目前车道线检测多是基于车载影像数据，数据源的不同导致无法直接将本发明方法与其他方法做对比。但是参考在地面数据集KITTI上的表现，传统的Hough变换检测方法的准确率为63.47％、召回率为59.04％，基于深度学习方法的lanenet，可以达到准确率92.81％、召回率93.19％的效果。对比于基于车载设备的车道线提取，本发明直接使用无人机高分辨率遥感影像，进行车道线的检测提取也可实现较好的精度，这进一步证明了本发明方法的可行性。

Claims (8)

1.一种基于无人机高分辨率影像的车道线提取方法，其特征在于：包括以下步骤：

S1、构建并训练U-Net网络模型；

S2、使用训练好的U-Net网络模型对无人机航拍影像进行分割获得ROI掩膜；

S3、提取无人机航拍影像的梯度特征和颜色特征，得到提取图像，并使用ROI掩膜过滤掉提取图像的背景噪声；

S4、使用Otsu算法对过滤掉背景噪声后的提取图像进行阈值分割，然后提取车道线特征，得到二值化的特征图像；

S5、使用图像滤波算法对特征图像进行质量增强；

S6、使用特征直方图确定特征图像中的车道线数量和车道线在特征图像中的初始位置；

S7、使用滑动窗口算法对车道线进行定位检测并通过多项式拟合提取出特征图像中的各条车道线。

2.如权利要求1所述的基于无人机高分辨率影像的车道线提取方法，其特征在于：所述步骤S1中使用二元交叉熵损失函数进行U-Net网络模型训练；二元交叉熵损失函数定义如下：

其中：X，Y分别表示预测图像和真实标签；W和H分别为预测图像的宽和高；x_ij和y_ij分别表示预测图像和真实标签在(i，j)处的像素值。

3.如权利要求2所述的基于无人机高分辨率影像的车道线提取方法，其特征在于：所述步骤S2中对于分割获得的ROI掩膜，使用膨胀算法对其进行空洞填充。

4.如权利要求3所述的基于无人机高分辨率影像的车道线提取方法，其特征在于：所述步骤S3中求取无人机航拍影像的梯度特征时，分别使用两个卷积核对无人机航拍影像进行卷积处理，获得沿宽度的梯度Gx和沿高度方向的梯度Gy，梯度值G的计算公式为：

针对离散的灰度图像，梯度值G的计算公式为：

G＝|Gx|+|Gy|；

所述梯度方向的计算公式为：

5.如权利要求4所述的基于无人机高分辨率影像的车道线提取方法，其特征在于：所述步骤S3中求取无人机航拍影像的颜色特征时使用HSL颜色模型进行求取；其计算公式为：

V_max←max(R，G，B)；

V_min←min(R，G，B)；

其中：0≤L≤1，0≤S≤1，0≤H≤360，L，S，H分别表示HSL颜色空间的各通道值。

6.如权利要求5所述的基于无人机高分辨率影像的车道线提取方法，其特征在于：所述步骤S3中将梯度特征和颜色特征联合后进行同步提取；其联合公式为：

(G_x∩G_dir∩G_mag)∪HSL_l；

其中：G_x表示无人机航拍影像的横向梯度二值矩阵，G_dir表示无人机航拍影像的梯度方向阈值二值矩阵，G_mag表示无人机航拍影像的梯度阈值二值矩阵，HSL_l表示HSL颜色空间s通道的阈值二值矩阵。

7.如权利要求6所述的基于无人机高分辨率影像的车道线提取方法，其特征在于：所述步骤S6中，首先统计特征直方图中每列的非零像元个数，然后根据车道线之间像素距离，求得特征直方图的局部最大值，根据特征直方图的局部最大值确定特征图像中的车道线数量和车道线在特征图像中的初始位置。

8.如权利要求7所述的基于无人机高分辨率影像的车道线提取方法，其特征在于：所述步骤S7包括以下步骤：

S71、设定滑动窗口尺寸、滑动窗口内最少非零像素点个数，根据滑窗高度以及无人机航拍影像的尺寸，计算出滑动窗口个数n；

S72、分别以各车道线的位置作为初始滑动窗口的下边界中点，保存初始滑动窗口内的所有非零像素点的坐标；

S73、统计初始滑动窗口内的非零像素点个数并与阈值比较，若大于阈值则计算初始滑动窗口内所有非零像素点的横坐标均值，作为下一个滑动窗口的下边线中点，初始滑动窗口的上边界纵坐标始终作为下一个滑动窗口的下边界纵坐标，依此循环，直至滑动窗口个数达到n则完成了滑动窗口检测；

S74、完成滑动窗口检测后，根据滑动窗口中存储的非零像素点的坐标，进行多项式拟合，分别提取出特征图像中的各条车道线。

Images