CN111814623A - 一种基于深度神经网络的车辆车道偏离视觉检测方法 - Google Patents

Abstract

一种基于深度神经网络的车辆车道偏离视觉检测方法，包括以下步骤：(1)利用车道线分割算法定位和分割出车道线的位置；(2)裁取出图中分割出的车道线，并用分类算法对车道线分类；(3)神经网络模型压缩；(4)车载仪相机标定。本发明提出了一种基于深度神经网络的车辆车道偏离检测方法，结合了基于深度神经网络的车道线语义分割识别和坐标系视角转换算法，部署在行车记录仪上，成本低、鲁棒性强。本发明采用的是轻量的ERFnet‑SAD网络，并对模型做相应剪枝量化压缩，在保证精度的同时速度快。

Description

一种基于深度神经网络的车辆车道偏离视觉检测方法

技术领域

本发明涉及车辆辅助驾驶领域，尤其涉及实时车道线实时语义分割与识别，车辆偏离预警。

背景技术

车辆安全辅助驾驶是当前智能交通领域的重要研究方向。国内外多家公司和研究机构都在做相关技术研究，其中就包括车辆车道偏离预警技术。据交通部门统计，有50％的交通事故是由车辆偏离正常行驶轨道所造成的。当车辆在长时间高速行驶时，驾驶员容易出现注意力不集中现象，极易导致车辆偏离正常车道，从而引发交通事故。因此，开发车辆车道偏离检测方法，主动对驾驶员进行安全驾驶提醒，是避免此类事故的有效手段。

如何精确的检测与识别、定位车道线是车辆车道偏离预警***的核心技术问题，现今应用比较广泛的偏离预警***例如AutoVue***，LDW***，AWS***等都是利用安装在车辆前后左右多个部位的传感器、摄像头获取车道线信息，再通过传统图像处理方法(边缘检测、霍夫线检测、直线拟合等)检测识别车道线，然而传统的车道线检测方法对光照变化、天气变化、目标遮挡、背景干扰的问题极为敏感，从而导致***适用范围窄，检测识别精度低等问题。

部分研究人员尝试采用基于深度学习的方法，比如Seokju Lee提出的VPGnet、Xingang Pan提出的SCNN，利用场景分割的算法对车道线以及车道分割，然后预测出消失点的位置。其算法使用的网络模型参数量较大，检出速度慢，无法应用到真实场景。

发明内容

针对现有车道线偏离预警***的不足，本发明提出了一种基于深度神经网络的车辆车道偏离检测方法，结合了基于深度神经网络的车道线语义分割识别和坐标系视角转换算法，部署在行车记录仪上，成本低、鲁棒性强。本发明采用的是轻量的ERFnet-SAD网络，并对模型做相应剪枝量化压缩，在保证精度的同时速度快。

本发明解决其技术问题所采用的技术方案是：

一种基于深度神经网络的车辆车道偏离视觉检测方法，包括以下步骤：

(1)利用车道线分割算法定位和分割出车道线的位置；

(2)裁取出图中分割出的车道线，并用分类算法对车道线分类；

(3)神经网络模型压缩；

(4)车载仪相机标定。

进一步，所述步骤(1)中，采用自注意力蒸馏学习轻量级车道检测网络 (LearningLightweight Lane Detection CNNs by Self Attention Distillation)，与现有的其他基于深度神经网络的车道线分割算法(SCNN等)相比，参数量少了20倍，速度快了10倍。车道线检测基准数据集有三个(TuSimple、Culane和BDD100K)，考虑到在国内应用，Culane数据集是在北京采集的，所以本方案选择在Culane 上进行训练。

再进一步，所述步骤(2)中，将步骤(1)中分割出的车道线从图像中截取出，重新人工标注，放入分类网络训练，将车道线分为黄实线、白实线、黄虚线、白虚线、无线5类。

更进一步，所述步骤(3)中，精简神经网络模型，对模型进行剪枝、量化压缩。

所述步骤(4)中，在车道线分割算法定位到车道线的位置之后，需要得到自身车辆所在位置，采用对车载仪相机进行标定，转换图像坐标系。

本发明的有益效果主要表现在：成本低、鲁棒性强，在保证精度的同时速度快。

附图说明

图1是车道线分割算法网络架构图。

图2是车道线分割结果概率图。

图3是Culane数据集示例

图4是对概率图进行霍夫线检测。

图5是裁取出每条车道线。

图6是对车道线分类。

图7是神经元精简。

图8是张氏标定模板。

图9是坐标系转换。

图10是图像透视变换。

具体实施方式

下面结合附图对本发明作进一步描述。

参照图1～图10，一种基于深度神经网络的车辆车道偏离视觉检测方法，包括以下步骤：

(1)车道线分割网络的网络结构如图1所示，由编码器和解码器组成，编码部分包括4个Encoder E1、E2、E3、E4，每Encoder由数个卷积、池化、BN(BatchNorm) 层组成，解码部分包括两个分支，右上的分支包括两个Decoder D1、D2组成，用于得到车道线分割结果概率图，如图2所示一条车道线对应一张概率图。右下的分支P1是一个分类网络，由简单的几层卷积和一层全连接层组成，用于判断车道线分割概率图是否存在车道线。网络结构图中可见每层Encoder之间包括一个AT-GEN，是一个注意力生成器(attention generator)，浅层产生的attention map作为深层的target，一方面提取到更丰富的上下文信息，另一方面可以更好的指导深层网络训练，这就是自注意力蒸馏机制。网络的总损失函数是：

其中L_seg是分割损失，用的是CrossEntropy函数，L_Iou是计算IOU(Intersectionover Union)损失,L_exist是判断车道线是否存在的损失，L_distill是蒸馏损失，α、β、γ是平衡因子，而

用L₂Loss计算两个attention map的损失。车道线分割实施过程如下：

a.数据集准备：

本发明采用现有车道线基准数据集Culane，包括55个小时的车载仪视频，并抽取了10万多张车载仪记录城市道路图像，数据标签示例如图3所示。我们将数据集分为80000+张图作为训练集和30000+图作为测试集。每张图像的分辨率为 1640*590。考虑到所有的图像中车道路都在图片中下方，为减少图中信息负样本，同时提高训练效率、提升检测速度，将图像上方裁一部分丢弃，最后输入为 1640*350的图像。为增加网络模型的泛化能力，对数据集做数据随机增强，包括图像放大、缩小、裁剪、对比度增强、增加噪声等。

b.初始化训练模型：

初始化网络参数，在保证图像原始横纵比的同时将输入图像调整(resize)成976*208，随机打乱。设置网络初始学习率η＝0.01，初始化迭代次数epoch＝300，批处理数据量(BatchSize＝32)等超参数。最后，网络参数迭代时使用随机梯度下降法(SGD)作为优化器，因此还要设置动量参数与权重衰减率参数等超参数，损失因子α，β，γ设置为0.1。

c.用训练好的模型检测车道线图：

将车载仪获取的视频数据，拆成每帧逐一检测，不同的车载仪获取的图像分辨率不同，但本发明使用自适应裁剪算法将图像统一裁成1640:350的横纵比。检测结果输出4张概率图，以及4个概率值，通过阈值筛选，假设阈值设置为0.5，则概率值大于0.5的概率图被认为是存在有车道线，再对这张概率图进行后期处理。输出概率图分辨率为976*208，高为208，最初本发明是每隔20行取一个亮点，该点是这一行像素值最大的点，共得到10个点，再用三次样条插值算法拟合出一条曲线作为车道线。但多次实验发现，当概率图中噪声点多的时候，拟合的曲线非常不理想。于是本发明先对上述输出概率图中选取的10个点进行霍夫线检测筛选，考虑到霍夫变换算法比较耗时，为提高效率我们将概率图长宽缩小4倍，调整为(976/4，208/4)再做霍夫线检测，选取霍夫线概率最大的一条霍夫线，通过计算每个点到该霍夫线的距离，距离小于2.5像素值的点留下来，其余的丢弃。结果如图4所示，将远离霍夫线的4个点滤除。然后将图还原到976*208大小，利用筛选出的点进行曲线拟合。

(2)在步骤(1)中获取了每条车道线的坐标点，然后对每一条线，做分类预测，过程如下：

a.截取车道线：

每条线我们选取三个点，线的两端坐标和线条的中点坐标，利用opencv的最小外接矩形函数对三个点做最小外接矩形检测，此时得到的一个矩形(最小宽度是1个像素值)，将矩形宽度小于30的扩宽到30，即裁剪一个宽度为30个像素的矩形。此时得到的矩形框可能是倾斜的(不是水平或者竖直的，无法裁剪)，需要对图像进行旋转，本方案统一将所有矩形旋转为竖直的。并逐条线裁取，分别作分类预测。裁剪如图5所示。

b.训练一个分类器

裁取的每张矩形图只会出现一条线，每张图只会对应一个类别，分类任务相对简单，本发明选取了Resnet18网络作为分类网络，其结构如表1所示：

表1

Resnet18由16个卷积层、1个池化层、1个全连接层组成，损失函数使用CrossEntropy Loss。同样需要数据集准备，我们裁剪了3000多条车道线，人工标注分类，并做数据增强(图像放大、缩小、对比图增强、增加随机噪声、随机裁剪等)，将数据扩充2万多张。统一将图片分辨率调整为224*224，将图片送进网络训练，初始化学习率η＝0.01、迭代次数epoch＝50、BatchsSize＝128，选取随机梯度下降优化器。分类效果如图6所示。图中字母bx表示白色虚线，bs表示白色实线。

(3)模型压缩：

考虑到本发明要移植到移动设备，此类设备计算能力、存储空间、运行内存有限，而神经网络模型体积和计算量大，因此需要对模型进行压缩。模型压缩目前主要使用通道剪枝、权重量化，本发明也是结合剪枝和量化的方法对模型进行压缩。A.通道剪枝，目的是裁剪掉神经网络中不重要的神经元，如图7所示，图中最后保留的黑色神经元是真正有效神经元。每一卷积层都会对应一个BN层，我们将BN层中的缩放因子gamma作为评价上一层输出贡献大小因子，利用L1 正则化gamma参数，使网络稀疏化，最后将gamma值为0的通道安全剪掉。B. 权重量化，权重量化着眼于参数本身，没有改变模型的计算量，主要包括权重共享和权值精简。其方法是对每一层权重矩阵利用K-means聚类算法聚成若干簇，使用

计算得到每一个聚类中心值，代表cluster的权重。由于同一簇的权重共享一个权重大小，因此只需存储权值簇的索引值。最后为减少精度损失，需要通过微调训练对权重进行补偿。通过模型压缩，车道线分割网络网络参数量减小了一半，运行速度快了一倍。

(4)车载仪相机标定，本发明采用张正友标平面定法，该方法具有操作简单、对设备要求低、精度高等优点。张氏标定的基本原理可以用下面公式表示：

在此假定模板平面和世界坐标系Z＝0的平面重合，矩阵K表示摄像机内参， M＝[XY 1]^T为模板平面上点齐次坐标，对于模板上的点，经过投影得到图像平面对应点，该点的齐次坐标用m＝[u v 1]^T表示，相对于世界坐标系，摄像机坐标系的旋转矩阵用[r₁ r₂ t]表示，平移向量则用t表示。令

由旋转矩阵性质可以知道，r₁ ^Tr₂＝0,Pr₁P＝Pr₂P＝1，对于每幅图像来说，内参矩阵都具有两个基本约束：h₁K^-TK^-1h₂＝0,h₁ ^TK^-TK^-1h₁＝h₂ ^TK^-TK^-1h₂。其有5个待定内参数，因此图像数目不小于3张时，凭借线性唯一就可以计算出K。

张氏标定方法通常采用以下几个步骤来完成：

a.打印制作好的模板，并贴在一个固定的平面上；

b.对模板分别从不同的角度拍摄，得到对应的模板图像；

c.对拍摄的图像进行特征点检测；

d.对相机的内外参数进行相应的求解；

e.对相机畸变系数进行求解；

f.对得到的结果进行优化求解。

图8是张氏标定所用的经典平面模板图。通过相机标定后，我们可以将车载仪相机的坐标系从相机坐标系转换到世界坐标系。如图9所示。同样车道线图转换效果如图10所示。由此我们可以确定本车所在的位置。

通过以上步骤，可以确定图像中车道线位置，以及本车所在位置，重点放在车辆两侧靠近的车道线，设定一个阈值，当车辆距离车道线距离小于某个阈值时发出警告信息给车辆***。以此来更好的预警车辆偏离轨道、协助车辆驾驶。

Claims (5)

1.一种基于深度神经网络的车辆车道偏离视觉检测方法，其特征在于，所述方法包括以下步骤：

(1)利用车道线分割算法定位和分割出车道线的位置；

(2)裁取出图中分割出的车道线，并用分类算法对车道线分类；

(3)神经网络模型压缩；

(4)车载仪相机标定。

2.如权利要求1所述的一种基于深度神经网络的车辆车道偏离视觉检测方法，其特征在于，所述步骤(1)中，采用自注意力蒸馏学习轻量级车道检测网络，选择在Culane上进行训练。

3.如权利要求1或2所述的一种基于深度神经网络的车辆车道偏离视觉检测方法，其特征在于，所述步骤(2)中，将步骤(1)中分割出的车道线从图像中截取出，重新人工标注，放入分类网络训练，将车道线分为黄实线、白实线、黄虚线、白虚线、无线5类。

4.如权利要求1或2所述的一种基于深度神经网络的车辆车道偏离视觉检测方法，其特征在于，所述步骤(3)中，精简神经网络模型，对模型进行剪枝、量化压缩。

5.如权利要求1或2所述的一种基于深度神经网络的车辆车道偏离视觉检测方法，其特征在于，所述步骤(4)中，在车道线分割算法定位到车道线的位置之后，需要得到自身车辆所在位置，采用对车载仪相机进行标定，转换图像坐标系。

Images