CN103279759B - 一种基于卷积神经网络的车辆前方可通行性分析方法 - Google Patents

Abstract

本发明公开了一种基于卷积神经网络的车辆前方可通行性分析方法，包括以下步骤：首先通过安装在车辆前方的摄像机采集大量真实的车辆行驶环境图像；利用Gamma矫正函数对图像进行预处理；进行卷积神经网络的训练。本发明采用非线性函数叠加的Gamma矫正方法预处理图像，避免了强烈变化的光照对目标识别的影响，提高了图像分辨率。本发明采用了几何归一化方法，降低了识别目标距离摄像机远近所造成的分辨率差异。本发明采用的卷积神经网络LeNet-5能够提取具有类别分辨能力的隐式特征，提取过程简单；LeNet-5结合局域感受野、权值共享和次抽样，确保对简单几何变形的鲁棒性，且减少了网络的训练参数，简化了网络结构。

Description

一种基于卷积神经网络的车辆前方可通行性分析方法

技术领域

本发明属于安全辅助驾驶与智能交通技术领域，涉及到车辆前方可通行性分析方法，特别涉及到一种通过摄像机采集车辆前方视频图像，基于卷积神经网络的车辆前方可通行性分析方法。

背景技术

车辆前方可通行性分析属于智能交通领域面向车外的环境感知范畴，是指基于传感器技术、计算机技术或通讯技术等先进手段对所探测环境的行驶安全性进行分析，找出存在的安全隐患，向驾驶员发出提示和预警或为无人驾驶车辆导航奠定基础。目前，基于摄像机采集车辆前方视频图像信息，采用视觉图像理解方法进行可通行性分析的研究主要有障碍物检测、行人检测、车辆检测、道路检测、交通标志检测、地形地貌分类等。

可通行性分析所涉及的视觉图像理解方法可分为基于重建的方法和基于识别的方法。其中，基于重建的方法立足于三维或2.5维重建技术，从空间的角度对是否可通行做出判断，难以避免三维重建固有的严重多义性、重建范围较小和实时性差等问题。在基于识别的图像理解方法中，主要有基于建模和模板匹配的算法、一般有神经网络、支持向量机、自监督学习、基于统计学习的方法等，这些方法需要提取目标的显式特征，提取过程复杂，易造成重要信息丢失，环境适应能力差。

对于光照变化强烈的结构化道路环境，如果直接对原始图像进行识别，干扰信息多，显式特征提取的过程复杂，况且目标距摄像机距离不同会造成分辨率的差异。此外，光照的变化会影响图像质量，降低图像的分辨率。

发明内容

为解决现有技术存在的上述问题，本发明要提出一种基于卷积神经网络的车辆前方可通行性分析方法，该方法能够提取目标的隐式特征，提取过程简单，避免降低图像的分辨率，并且能够降低光照的影响，适用于光照变化强烈的结构化道路环境。

本发明的技术方案是：一种基于卷积神经网络的车辆前方可通行性分析方法，包括以下步骤：

A、图像采集

首先通过安装在车辆前方的摄像机采集大量真实的车辆行驶环境图像，然后通过裁剪得到图像下部五分之三的区域作为感兴趣区域；最后将裁剪后的图像转化为灰度图像。

B、图像预处理

B1、利用非线性函数叠加的方法构造一个Gamma矫正函数，对步骤A获得的灰度图像进行矫正，具体函数式如下：

G(x)＝1+f₁(x)+f₂(x)+f₃(x)(1)

f₁(x)＝acos(πx/255)(2)

f₂(x)＝(K(x)+b)cosα+xsinα(3)

K(x)＝ρsin(4πx/255)(4)

α＝arctan(-2b/255)(5)

f₃(x)＝R(x)cos(3πx/255)(6)

R(x)＝c|2x/255-1|(7)

式中，x为某一像素点的灰度值，G(x)代表某一灰度值对应的Gamma矫正值，a∈(0,1)是一个加权系数，b代表f₂(x)的最大变化范围，ρ表示K(x)的振幅，α表示K(x)的偏转角度，c表示R(x)的幅值，且满足a+b+c＜1。

经Gamma矫正后的灰度值计算公式为：

g(x)＝255(x/255)^1/G(x)(8)

式中，g(x)代表经过Gamma矫正后的某一像素点的灰度值。

经过Gamma矫正，得到灰度图像P。

B2、针对灰度图像P，改变某些像素点的灰度值，具体的改变方法如下：

选取图像中除车辆和道路边界之外的图像区域中灰度值为0的像素点，将其灰度值改为1，选取图像中除车辆和道路边界之外的图像区域中灰度值为255的像素点，将其灰度值改为254；将图像中车辆区域像素点的灰度值改为0，道路边界区域像素点的灰度值改为255，改变像素点后的图像为灰度图像Q。至此，灰度图像Q的像素点包括三类：第一类是灰度值为0的像素点，代表车辆；第二类是灰度值为255的像素点，代表道路边界；第三类是除去灰度值为0和255之外的像素点，代表路面。将以上三类像素点分别赋予相应的标签，即将标签“0”赋给第一类像素点，表示“车辆”，将标签“1”赋给第二类像素点，表示“道路边界”，将标签“2”赋给第三类像素点，表示“路面”。最后将灰度图像Q中各个像素点的标签赋给灰度图像P中相应的像素点。

B3、针对灰度图像P的大小进行归一化处理：

B31、沿图像高度方向，间隔选取不同的像素行，用n表示，通过实际采样测量，获取不同像素行n所对应目标的像素宽度和高度；

B32、以图像中像素高度为0～32的图像区域为参考图像区域，以该参考图像区域中所要识别的目标的像素宽度W和高度H为基准，即设该参考图像区域的横向和纵向裁剪比例系数均为1；用W和H分别去除其余各像素行上目标的宽度和高度，获得两组比值，分别用Y和Z表示；

B33、最后将像素行n与两组比值Y和Z分别进行拟合，得到两条拟合曲线，如下所示：

Y＝k₁n+b₁(9)

Z＝k₂n+b₂(10)

其中，Y代表图像横向裁剪比例系数，Z代表图像纵向裁剪比例系数，_n代表图像的某一像素行，k₁、k₂分别代表两条拟合曲线的斜率，b₁、b₂分别代表两条拟合曲线的截距。

B34、将参考图像区域的横向和纵向裁剪比例均设为1，即将参考图像区域裁剪为32×32像素的图像样本。随着n的增大，根据式(9)、(10)获得的横向和纵向裁剪尺寸也相应增大。通过裁剪，得到一系列大小不一的图像样本，最后将裁剪得到的图像样本统一缩放为32×32像素的图像。将得到的32×32像素的图像作为卷积神经网络的训练样本。

C、卷积神经网络的训练

典型卷积神经网络LeNet-5由8层组成，输入层是32×32像素图像；网络层C1、C3和C5分别代表卷积层，网络层S2和S4为次抽样层，网络层F5为全连接层，输出层神经元的个数与要识别的目标类别数相同，根据实际应用环境进行改变。每层网络的一个面代表一个特征图，该特征图是由每一层中权值共享的神经元组成的集合。每一层的神经元只与上一层的一个局域感受野的神经元连接。

卷积神经网络第l个卷积层中第j个神经元可表示为：

$N_j^l=f(\underset{i\∈M_j}{\Σ}{M}_i^{l-1}*k_{ij}^l+O_j^l)---\left(11\right)$

式中，上标l∈{1,3,5}表示层数，下标i、j＝1,2,3,……为自然数，用于表示第l或l-1层的神经元序号，N代表神经元，k是卷积核，M_j代表输入特征图的一个选择，O代表偏置。

卷积神经网络第l个次抽样层中第j个神经元可表示为：

$N_j^l=f\left({\mathrm{\β}}_j^{l}down\right(N_j^{l-1})+O_j^l)---\left(12\right)$

式中，上标l∈{2,4}表示层数，下标j＝1,2,3,……为自然数，用于表示第l或l-1层的神经元序号，N代表神经元，down(·)代表次抽样函数，一般是对前一层图像的一个n×n的区域求和，β表示次抽样层的权值，O代表偏置。

根据实际应用环境，对LeNet-5的输出神经元的个数进行调整，然后采用步骤B获得的像素尺寸为32×32的图像样本进行训练。通过训练，当卷积神经网络的输出值与期望值的误差处在可接受范围内，便得到可用于车辆前方可通行性分析的卷积神经网络。

与现有技术相比，本发明的效果和益处是：

1、本发明采用非线性函数叠加的Gamma矫正方法预处理图像，避免了强烈变化的光照对目标识别的影响，提高了图像分辨率。

2、本发明采用了几何归一化方法，降低了识别目标距离摄像机远近所造成的分辨率差异。

3、本发明采用的卷积神经网络LeNet-5能够提取具有类别分辨能力的隐式特征，提取过程简单；LeNet-5结合局域感受野、权值共享和次抽样，确保对简单几何变形的鲁棒性，且减少了网络的训练参数，简化了网络结构；LeNet-5输出层的神经元个数可以根据实际应用环境进行调整，环境适应能力强。

附图说明

本发明共有附图3张，其中：

图1基于卷积神经网络的车辆前方可通行性分析方法流程图

图2卷积神经网络LeNet-5结构图。

图3卷积神经网络训练的样本集。

具体实施方式

下面结合附图对本发明进一步说明。如图1所示为基于卷积神经网络的车辆前方可通行性分析方法的流程图。本发明以高速公路的结构化环境为例，将车前环境划分为车辆、道路边界和路面。

本发明的分析过程包括：图像采集、图像预处理、卷积神经网络的训练。

A、图像采集

通过安装在车辆前方的摄像机采集了大量真实的高速公路行驶环境图像(640×480像素)，然后将图像下五分之三部分作为感兴趣区域(640×288像素)，以减少后续的工作量；最后将裁剪后的图像转化为灰度图像。

B、图像预处理

第一步，Gamma矫正方法在减少光照影响方面具有一定优势。一般情况下，当Gamma值大于1时，图像的高光部分被压缩而暗调部分被扩展；当Gamma值小于1时，图像的高光部分被扩展而暗调部分被压缩。利用非线性函数叠加的方法构造一个Gamma矫正函数，对步骤A得到的灰度图像进行矫正，函数式如下：

G(x)＝1+f₁(x)+f₂(x)+f₃(x)(1)

f₁(x)＝acos(πx/255)(2)

f₂(x)＝(K(x)+b)cosα+xsinα(3)

K(x)＝ρsin(4πx/255)(4)

α＝arctan(-2b/255)(5)

f₃(x)＝R(x)cos(3πx/255)(6)

R(x)＝c|2x/255-1|(7)

式中，x为某一像素点的灰度值，G(x)代表某一灰度值对应的Gamma矫正值，a∈(0,1)是一个加权系数，b代表f₂(x)的最大变化范围，ρ表示K(x)的振幅，α表示K(x)的偏转角度，c表示R(x)的幅值，且满足a+b+c＜1。一般情况下，a＜b≤c，可取a＝0.2,b＝0.3,c＝0.3。

经Gamma矫正后的灰度值计算公式为：

g(x)＝255(x/255)^1/G(x)(8)

式中，g(x)代表经过Gamma矫正后的某一像素点的灰度值。

经过Gamma矫正，得到灰度图像P。

第二步，针对经过Gamma矫正的灰度图像P，选取图像中除车辆和道路边界之外的灰度值为0的像素点，通过编程将这些像素点的灰度值改为1，选取图像中除车辆和道路边界之外的灰度值为255的像素点，通过编程将这些像素点的灰度值改为254；然后通过编程将图像中车辆区域像素点的灰度值改为0，道路边界区域像素点的灰度值改为255，得到灰度图像Q。至此，灰度图像Q的像素点包括三类：第一类是灰度值为0的像素点，代表车辆；第二类是灰度值为255的像素点，代表道路边界；第三类是除去灰度值为0和255之外的像素点，代表路面。通过编程为以上三类像素点分别赋予相应的标签，即将标签“0”赋给第一类像素点，表示“车辆”，将标签“1”赋给第二类像素点，表示“道路边界”，将标签“2”赋给第三类像素点，表示“路面”。最后将图像Q中各个像素点的标签通过编程赋给灰度图像P中的相应像素点。

第三步，针对灰度图像P的大小进行归一化处理：

在图像中，同一目标所占的像素个数受其自身距摄像机距离的影响很大，即任一目标所占的像素个数反比于其与摄像机的距离。本发明提出一种新的几何归一化方法，针对灰度图像的大小进行归一化处理，避免降低图像的分辨率，降低识别目标距离摄像机远近所造成的分辨率差异。首先，在图像高度上，间隔选取不同的像素行，用n表示，n＝15、32、60、65、68、72、75、82、85、87、92、96、100、108、111、113、124、130、138、143、150、160，通过实际采样测量，获取不同像素行所对应目标的像素宽度和高度；其次，以图像中像素高度为0～32的图像区域为参考，以该参考图像区域中目标的像素宽度W和高度H为基准，即该参考图像区域的横向和纵向裁剪比例系数均为1；最后，用W和H分别去除其余各像素行上目标的宽度和高度，获得两组比值，分别用Y和Z表示，然后通过编程将像素行n数据与Y和Z数据分别进行拟合，得到两条拟合曲线，如下所示：

Y＝0.0312n-0.8339(9)

Z＝0.0360n-1.0590(10)

其中，Y代表图像横向裁剪比例系数，Z代表图像纵向裁剪比例系数，n代表图像的某一像素行。

参考图像区域的横向和纵向裁剪比例均为1，即将参考图像区域裁剪为32×32像素的图像样本。随着n的增大，根据式(9)、(10)获得的横向和纵向裁剪尺寸也相应增大。通过裁剪，得到一系列大小不一的图像样本，最后将裁剪得到的图像样本通过编程统一缩放为32×32像素的图像。将得到的32×32像素的图像作为卷积神经网络的训练样本。

C、卷积神经网络的训练

本发明采用典型的卷积神经网络LeNet-5的结构如图2所示。典型卷积神经网络LeNet-5由8层组成，输入图像是32×32像素；网络层C1、C3、C5代表卷积层，网络层S2、S4为次抽样层，网络层F5为全连接层，输出层神经元的个数与要识别的目标类别数相同，可以根据实际应用环境进行改变。每层网络的一个面代表一个特征图，该特征图是由每一层中权值共享的神经元组成的集合。每一层的神经元只与上一层(从输入层算起)的一个局域感受野的神经元连接。

卷积层C1由6个大小为28×28的特征图组成，特征图的每个神经元与输入图像的一个5×5的邻域相连接，卷积层C1包含156个可训练参数和122304个可训练连接。次抽样层S2是由6个大小为14×14的特征图组成，特征图的每个神经元与卷积层C1中一个大小为2×2的邻域相连，次抽样层S2有12个可训练参数和5880个可训练连接。卷积层C3由16个大小为10×10的特征图组成，特征图的每个神经元与次抽样层S2的一个5×5的邻域相连，卷积层C3包含有1516个可训练参数和151600个可训练连接。次抽样层S4由16个大小为5×5的特征图组成，特征图的每个神经元与卷积层C3的一个大小为2×2的邻域相连接，次抽样层S4包含有32个可训练参数和2000个可训练连接。卷积层C5由120个特征图组成，特征图的每个神经元与次抽样层S4所有特征图的5×5大小的邻域相连接，卷积层C5包含有48120个可训练参数和48120个可训练连接。网络层F6与卷积层C5进行全连接，全连接层F6包含10164个可训练参数。输出层是由径向基函数单元组成。

卷积神经网络第l个卷积层中第j个神经元可表示为：

$N_j^l=f(\underset{i\∈M_j}{\Σ}{N}_i^{l-1}*k_{ij}^l+O_j^l)---\left(11\right)$

式中，f(·)表示激活函数，上标l∈{1,3,5}表示层数，下标i、j＝1,2,3,……为自然数，用于表示第l或l-1层的神经元序号，N代表神经元，k是卷积核，M_j代表输入特征图的一个选择，O代表偏置。

卷积神经网络第l个次抽样层中第j个神经元可表示为：

$N_j^l=f\left({\mathrm{\β}}_j^{l}down\right(N_j^{l-1})+O_j^l)---\left(12\right)$

式中，f(·)表示激活函数，上标l∈{2,4}表示层数，下标j＝1,2,3,……为自然数，用于表示第l或l-1层的神经元序号，N代表神经元，down(·)代表次抽样函数，是对前一层图像的一个方形的区域求和，β表示次抽样层的权值，O代表偏置。

本发明以高速公路环境为例，车前环境分为路面、车辆和道路边界三部分，因此应将LeNe-5的输出神经元个数定为3，输出0代表识别目标为车辆，输出1代表识别目标为道路边界，输出2代表识别目标为路面。网络训练的样本集大小为5000，部分样本如图3所示。网络初始权值的选取采用随机法产生。用这种已知的分类模式对卷积网络进行训练，网络便具备了输入输出对之间的映射能力。通过训练，若满足卷积神经网络的输出值与期望值的误差处在可接受范围内，便得到了可用于车辆前方可通行性分析的卷积神经网络。

Claims (1)

1.一种基于卷积神经网络的车辆前方可通行性分析方法，其特征在于：包括以下步骤：

A、图像采集

首先通过安装在车辆前方的摄像机采集大量真实的车辆行驶环境图像，然后通过裁剪得到图像下部五分之三的区域作为感兴趣区域；最后将裁剪后的图像转化为灰度图像；

B、图像预处理

B1、利用非线性函数叠加的方法构造一个Gamma矫正函数，对步骤A获得的灰度图像进行矫正，具体函数式如下：

G(x)＝1+f₁(x)+f₂(x)+f₃(x)(1)

f₁(x)＝acos(πx/255)(2)

f₂(x)＝(K(x)+b)cosα+xsinα(3)

K(x)＝ρsin(4πx/255)(4)

α＝arctan(-2b/255)(5)

f₃(x)＝R(x)cos(3πx/255)(6)

R(x)＝c|2x/255-1|(7)

式中，x为某一像素点的灰度值，G(x)代表某一灰度值对应的Gamma矫正值，a∈(0,1)是一个加权系数，b代表f₂(x)的最大变化范围，ρ表示K(x)的振幅，α表示K(x)的偏转角度，c表示R(x)的幅值，且满足a+b+c＜1；

经Gamma矫正后的灰度值计算公式为：

g(x)＝255(x/255)^1/G(x)(8)

式中，g(x)代表经过Gamma矫正后的某一像素点的灰度值；

经过Gamma矫正，得到灰度图像P；

B2、针对灰度图像P，改变某些像素点的灰度值，具体的改变方法如下：

选取图像中除车辆和道路边界之外的图像区域中灰度值为0的像素点，将其灰度值改为1，选取图像中除车辆和道路边界之外的图像区域中灰度值为255的像素点，将其灰度值改为254；将图像中车辆区域像素点的灰度值改为0，道路边界区域像素点的灰度值改为255，改变像素点后的图像为灰度图像Q；至此，灰度图像Q的像素点包括三类：第一类是灰度值为0的像素点，代表车辆；第二类是灰度值为255的像素点，代表道路边界；第三类是除去灰度值为0和255之外的像素点，代表路面；将以上三类像素点分别赋予相应的标签，即将标签“0”赋给第一类像素点，表示“车辆”，将标签“1”赋给第二类像素点，表示“道路边界”，将标签“2”赋给第三类像素点，表示“路面”；最后将灰度图像Q中各个像素点的标签赋给灰度图像P中相应的像素点；

B3、针对灰度图像P的大小进行归一化处理：

B31、沿图像高度方向，间隔选取不同的像素行，用n表示，通过实际采样测量，获取不同像素行n所对应目标的像素宽度和高度；

B32、以图像中像素高度为0～32的图像区域为参考图像区域，以该参考图像区域中所要识别的目标的像素宽度W和高度H为基准，即设该参考图像区域的横向和纵向裁剪比例系数均为1；用W和H分别去除其余各像素行上目标的宽度和高度，获得两组比值，分别用Y和Z表示；

B33、最后将像素行n与两组比值Y和Z分别进行拟合，得到两条拟合曲线，如下所示：

Y＝k₁n+b₁(9)

Z＝k₂n+b₂(10)

其中，Y代表图像横向裁剪比例系数，Z代表图像纵向裁剪比例系数，x代表图像的某一像素行，k₁、k₂分别代表两条拟合曲线的斜率，b₁、b₂分别代表两条拟合曲线的截距；

B34、将参考图像区域的横向和纵向裁剪比例均设为1，即将参考图像区域裁剪为32×32像素的图像样本；随着n的增大，根据式(9)、(10)获得的横向和纵向裁剪尺寸也相应增大；通过裁剪，得到一系列大小不一的图像样本，最后将裁剪得到的图像样本统一缩放为32×32像素的图像；将得到的32×32像素的图像作为卷积神经网络的训练样本；

C、卷积神经网络的训练

典型卷积神经网络LeNet-5由8层组成，输入层是32×32像素图像；网络层C1、C3和C5分别代表卷积层，网络层S2和S4为次抽样层，网络层F5为全连接层，输出层神经元的个数与要识别的目标类别数相同，根据实际应用环境进行改变；每层网络的一个面代表一个特征图，该特征图是由每一层中权值共享的神经元组成的集合；每一层的神经元只与上一层的一个局域感受野的神经元连接；

卷积层的一般形式为：

卷积神经网络第l个卷积层中第j个神经元可表示为：

式中，上标l∈{1,3,5}表示层数，下标i、j＝1,2,3,……为自然数，用于表示第l或l-1层的神经元序号，N代表神经元，k是卷积核，M_j代表输入特征图的一个选择，O代表偏置；

卷积神经网络第l个次抽样层中第j个神经元可表示为：

式中，上标l∈{2,4}表示层数，下标j＝1,2,3,……为自然数，用于表示第l或l-1层的神经元序号，N代表神经元，down(·)代表次抽样函数，是对前一层图像的一个n×n的区域求和，β表示次抽样层的权值，O代表偏置；

根据实际应用环境，对LeNet-5的输出神经元的个数进行调整，然后采用步骤B获得的像素尺寸为32×32的图像样本进行训练；通过训练，当卷积神经网络的输出值与期望值的误差处在可接受范围内，便得到可用于车辆前方可通行性分析的卷积神经网络。