CN104537393A - 一种基于多分辨率卷积神经网络的交通标志识别方法 - Google Patents

Abstract

本发明属于计算机应用技术领域机器学习理论及应用子领域，关注于智能交通技术中的交通标志识别问题。其特征是使用一种多分辨率卷积神经网络交通标志识别方法，用于解决使用卷积神经网络进行交通标志识别时速度较慢的问题，使用不同分辨率的二维图像作为输入，并行运算两个相同结构的卷积神经网络进行特征映射和提取，而后基于网络训练的权值阈值进行精确分类和识别。本发明通过使用两个具有不同分辨率分支的CNN代替了基本的CNN结构，高分辨图像输入可映射出全局和轮廓的特征，低分辨率的图像可映射出局部和细节特征，保证了识别的分辨率，提高了模型训练速度。

Description

一种基于多分辨率卷积神经网络的交通标志识别方法

技术领域

本发明属于计算机应用技术领域机器学习理论及应用子领域，本发明专利关注于智能交通技术中的交通标志识别问题。提出一种多分辨率卷积神经网络交通标志识别方法，用于解决使用卷积神经网络进行交通标志识别时速度较慢的问题，使用不同分辨率的二维图像作为输入，并行运算两个相同结构的卷积神经网络进行特征映射和提取，而后基于网络训练的权值阈值进行精确分类和识别。既保证了提取的图像特征的多样性，又提升了网络的运算速度，有效兼顾了识别精度和识别速度。

背景技术

交通标志是道路交通***的一个重要组成部分，其作用主要包括显示当前路段的交通状况，提示驾驶环境中的危险和困难、警告驾驶员、为驾驶员指路等，为安全舒适的驾驶提供有用信息。如果完全靠驾驶员自己注意和发现交通标识并做出正确的反应，难免会增加驾驶负担，加速疲劳，严重地可能会导致交通事故。因此，安全可靠快速的交通标识识别***显得越来越重要，大量研究研人员也都致力于这一领域的研究。

最早的交通标志识别始于上世纪70年代初，但直到80年代中期以后，才进入高速发展时期。

1987年，日本展开了对道路交通标志的检测、识别的研究。2000年，日本高校研发了每秒可检测60帧的交通标志识别***(Miura J,Kanda T,Shirai Y.An active vision system for real-time traffic sign recognition[C].//IntelligentTransportation Systems,2000.Proceedings.2000 IEEE.IEEE,2000:52-57.)，该***采用了两台摄像机，分别固定在汽车内，以便采集到具有高质量的图像，一台用于粗定位，一台用于采集，通过阈值分割和模板匹配达到了很高的识别准确率。

20世纪90年代初，德国梅赛德斯奔驰公司的Lutz Priese等人研究出了当时技术最为领先的交通标志自动识别***(Priese L,Klieber J,Lakmann R,et al.New results on traffic sign recognition[C]//Intelligent Vehicles'94 Symposium,Proceedings of the.IEEE,1994:249-254)，该***包括CSC(Color Structure Code)和TSR(Traffic Sign Recognition)，在颜色编码以及形状特征和模板识别等方面取得了一定的研究成果。

2008年，Mobileye公司与Continental公司合作开发的交通标志识别***应用于宝马7系列汽车，2009年又用于奔驰S级汽车，该***对限速标志实现了高准确性的实时监测，主要采用了前置摄像头和专用处理器相结合的方法。

交通标志识别一般包括两个主要步骤：检测与识别。在检测阶段，根据标志的特征(如颜色与形状)对图像进行预处理和分割，去除无效信息对识别的干扰，只对目标可能存在的区域进行处理，减少计算量。在识别阶段，对目标所在区域，用不同的方法提取特征，并用合适的分类算法对这些区域进行分类，得到交通标识的类型信息。

当前，常用的交通标志检测的算法主要有三类:基于颜色的方法，基于形状的方法和基于颜色与形状相结合的方法。

基于颜色的方法是应用最广泛的，其主要算法按照颜色空间的不同主要有四种：RGB彩色空间的阈值分割算法；HIS彩色空间的阈值分割算法；HSV彩色空间的阈值分割算法；除了上述三种常用的彩色空间之外，还有YCBCr彩色空间和LAB彩色空间等不常用彩色空间。

由于交通标志一般具有固定且简单的形状，基于形状特征的检测算法也被研究人员广泛应用，常用的方法有：模板匹配法；HOUGH变换法；拐角检测法；神经网络；数学形态学的方法等。

基于颜色的检测和基于形状的检测各有优缺点，基于颜色的检测简单，计算量小，但易受光照、阴雨天气、图像噪声等环境因素影响。基于形状的方法对光照等外部环境的鲁棒性更好，且各个国家交通标志的形状基本相似，这种方法的通用性较强，基于形状的方法缺点是容易受形状相似的物体影响，比如方形的窗户、广告牌等且当距离交通标志较远时，不容易提取形状。因此，很多研究人员都采用颜色和形状特征相结合的方法(Torresen J,Bakke J W,Sekanina L.Efficient recognition of speed limit signs[C]//Intelligent TransportationSystems.2004:652-656.)来确定最终结果。

交通标识识别常用的方法大致有两类：一类是特征提取算法，另一类是机器学习的算法。特征提取算法中典型的有：主成分分析方法PCA；Gabor特征提取算法；Haar小波特征提取算法；类Haar特征提取算法等。机器学习目前存在的主要算法有：KNN算法；决策树；神经元网络；支持向量机SVM；Adaboost算法等。

随着神经网络的发展，近年来，基于深度学习的卷积神经网络(LeCun Y,Bengio Y.Convolutional networks for images,speech,and time series[J].Thehandbook of brain theory and neural networks,1995,3361.)被广泛的应用于语音、图像和自然语言的识别，并取得了很好的成绩。而在交通标志识别领域，D等人提出了的多纵卷积神经网络(基于多纵深度神经网络的交通标志识别，D,Meier U,Masci J,et al.Multi-column deep neural network for traffic signclassification[J].Neural Networks,2012,32:333-338.)以及Sermanet P和LeCun Y等人提出的多尺度卷积神经网络(基于多尺度卷积神经网络的交通标志识别Sermanet P,LeCun Y.Traffic sign recognition with multi-scale convolutionalnetworks[C]//Neural Networks(IJCNN),The 2011 International Joint Conference on.IEEE,2011:2809-2813.)，充分的提取图像特征，取得了较高的识别率，在GTSRB(德国交通标志识别基准)竞赛中取得了很好的成绩，甚至超过了人类的识别率。

虽然卷积神经网络在识别准确率上取得了良好的效果，但是其运算速度成为了制约该网络发展的重要因素，尽管近年来计算机硬件在不断更新，运算速度在不断提升，但训练一个准确度高的网络模型仍需数十个小时的时间。

发明内容

本发明要解决的技术问题是使用卷积神经网络在进行交通标志识别时无法兼顾速度和准确率的问题，提出了一种基于多分辨率卷积神经网络的交通标志识别方法。

本发明的技术方案如下：

提出多分辨率卷积神经网络，这是一种加速网络的方法，以往采取的方法一般是减少隐含层和神经元的数量；这样可能降低网络性能。取而代之的，我们没有使用减小网络尺寸的方法，而是使用低分辨率的图片，但是，这样提高了运行速度的同时损失了图片中的高频细节而降低了网络的准确性。因此，如图2，本发明对原始CNN进行了结构上的改进，使用两个分支的CNN代替了原始的CNN结构，高分辨图像输入映射出全局和轮廓的特征，而低分辨率的图像映射出局部和细节特征，保证了识别的分辨率，训练时，使用两个分支进行并行运算，低分辨率的输入使得网络的运算量减少，提高了运算的速度。

本发明的有益效果是在保证了识别准确率的前提下，提高了模型训练速度，通过实验，本发明的识别错误率在训练迭代100次的情况下，可以达到6.08％，比原始CNN结构的6.19％略有提高。在训练速度上，上文提到的多尺度卷积神经网络时间为37小时，本发明的训练时间只用5.8小时。

整个模型分为图像预处理、MRCNN网络训练、准确率验证和图像识别四个阶段。1、图像预处理阶段

对所有训练集中的图像进行预先的处理，根据网络训练要求，将训练图片首先进行归一化，处理为灰度图像，统一为A*A的分辨率作为一个输入，并截取此图像分辨率为B*B的中心部分作为另一个输入，如图1。本发明使用的多分辨率卷积神经网络执行的是有监督的训练，所以其样本集一个个向量对组成的，一个输入对应一个理想输出。在开始训练前，所有的权值都用一些不同的小随机数进行初始化。

2、MRCNN网络训练阶段

(1)前向传播阶段

①从样本集中取两个样本对(x_h，y_h)、(x_l，y_l)，将x_h、x_l分别作为两个卷积神经网络的输入。

②两个卷积神经网络分别进行第一次卷积。卷积过程包括：用一个可训练的滤波器f_x去卷积输入的图像，第一阶段是输入的图像，后面的阶段就是卷积特征map了，然后加一个偏置b_x，得到卷积层C₁。

③将卷积层C₁得到的特征图作为输入进行采样。采样过程包括：每邻域四个像素求和变为一个像素，然后通过标量W_x+1加权，再增加偏置b_x，然后通过一个sigmoid激活函数，产生一个大概缩小四倍的特征映射图S_x+1,得到抽样层S₂。

④重复第2、3步分别得到各卷积神经网络的C₃层和S₄层。

⑤计算相应的实际输出O_h、O_l。在前向传播阶段，信息经过输入层、隐含层

的卷积和抽样，最终传送到输出层。其输出用公式(1)表示：

O＝F_n(......(F₂(F₁(x*w¹)w²)......)wⁿ)    (1)

(2)向后传播阶段

①计算实际输出O_h、O_l与相应的理想输出Y_h、Y_l的差；

②按极小化误差的方法反向逐层分别调整两个卷积网络的权矩阵。这里将E_p定义为第p个样本的误差，则整个样本集的误差可以用公式(2)表示：

$E_p=\frac{1}{2}{\mathrm{\Σ}}_{j=1}^m{(y_{\mathrm{pj}}-o_{\mathrm{pj}})}^2---\left(2\right)$

至此1次迭代完成，保存调整后的权值，重复第一阶段，直至达到设定的迭代次数后，训练结束，保存并把此权值输出给验证集以验证。

3、准确率验证阶段

使用训练集的五分之一的数据进行验证输入的权值，将输入和映射的结果进行对比，输出错误率，如果错误率达到满意的要求，则可以进行测试识别，否则，调整输入图像的分辨率或者增加迭代次数重新进行训练。

4、图像识别阶段

将检测到的交通标志图像经过预处理之后，使用训练好权值的网络模型进行识别并输出其对应的类别。

本发明的一种多分辨率卷积神经网络交通标志识别方法，用于解决使用卷积神经网络进行交通标志识别时速度较慢的问题，使用不同分辨率的二维图像作为输入，并行运算两个相同结构的卷积神经网络进行特征映射和提取，而后基于网络训练的权值阈值进行精确分类和识别。本发明通过使用两个具有不同分辨率分支的CNN代替了基本的CNN结构，高分辨图像输入可映射出全局和轮廓的特征，低分辨率的图像可映射出局部和细节特征，保证了识别的分辨率，提高了模型训练速度。

附图说明

图1是预处理后的图片示例。

图2是多分辨率卷积神经网络示意图。

图3是基于多分辨率卷积神经网络的交通标志识别示意图。

图4应用于交通标志识别的卷积网络示意图。

图5a是训练样本数量对误差的影响示意图。

附图5b是训练迭代次数对误差的影响示意图。

具体实施方式

1、确定训练集，本发明选用的是GTSRB(德国交通标志识别基准，Germantraffic sign recognition benchmark)中的训练集，包含训练图片39,209张，测试图片12630张。

2、对训练集中的图片进行预处理，步骤是首先处理成为灰度图，而后归一化处理为统一的分辨率为48*48大小的图片，再将这些图片备份一份裁切中心区域，裁切的分辨率为36*36的图片，附图1为示例的两种不同分辨率输入样本，将这两部分图片作为两个输入开始训练。

3、选定训练组；从样本集中每次分别随机地选取50个样本作为训练组。

4、将各权值v_ij，w_jk和阈值θ_k，设置成小的接近于0的随机值，并初始化精度控制参数ε和学习率α以及卷积核大小。

5、从训练组中取一个输入(x_h，y_h)、(x_l，y_l)，加到网络，并给定它们的目标输出矢量O_g、O_l。

6、网络进行第一次卷积操作，使用5×5的卷积核对两个输入图像进行卷积，并同时生成6幅卷积特征图，如图4所示，两个网络的每幅特征图的大小变为44*44和32*32。

7、网络执行抽样大小，采用平均抽样的方法，使用2×2的抽样尺寸，生成18幅抽样特征图，如图4所示，两个网络的每幅特征图的大小变为22*22和18*18。

8、按照第6步和第7步的方法继续执行，直至到达规定的网络层数，本发明实验用的层数为6层，包括一个输入层和一个输出层及四个隐含层。

6、将输出矢量中的元素(y_h、y_l)与目标矢量中的元素(o_h、o_l)进行比较，并计算M个输出项的误差，使用公式(3)和(4)：

δ_h＝(o_h-y_h)y_h(1-y_h)     (3)

δ_l＝(o_l-y_l)y_l(1-y_l)    (4)

7、依次计算出各权值的调整量和阈值的调整量使用公式(5)和公式(6)

ΔW_jk(n)＝(α/(1+L))*(ΔW_jk(n-1)+1)*δ_k*h_j

ΔV_ij(n)＝(α/(1+N))*(ΔV_ij(n-1)+1)*δ_i*h_j    (5)

Δθ_k(n)＝(α/(1+L))*(Δθ_k(n-1)+1)*δ_k

8、根据计算数值调整权值和阈值。

9、当k每经历1至M后，使用验证集判断指标是否满足精度要求：E≤ε，其中E是总误差函数，ε是设定的精度控制参数。

10、训练结束，将权值和阈值保存在文件中。这时可以认为各个权值已经达到稳定，分类器形成。

11、训练中，训练样本的数量和迭代次数往往会对最终的准确率产生很大影响，如图5a和图5b所示，因此应当尽量选取大样本数据作为训练集并达到一定迭代训练次数。

Claims (1)

1.一种基于多分辨率卷积神经网络的交通标志识别方法，其特征在于步骤：

(1)图像预处理阶段

对所有训练集中的图像进行预先的处理，根据网络训练要求，将训练图片首先进行归一化，处理为灰度图像，统一为A*A的分辨率作为一个输入，并截取此图像分辨率为B*B的中心部分作为另一个输入；使用的多分辨率卷积神经网络执行的是有监督的训练，其样本集一个个向量对组成的，一个输入对应一个理想输出；在开始训练前，所有的权值都用一些不同的小随机数进行初始化；(2)MRCNN网络训练阶段

1)前向传播阶段

①从样本集中取两个样本对(x_h,y_h)、(x_l,y_l)，将x_h、x_l分别作为两个卷积神经网络的输入；

②两个卷积神经网络分别进行第一次卷积；卷积过程包括：用一个可训练的滤波器f_x去卷积输入的图像，第一阶段是输入的图像，后面的阶段就是卷积特征map了，然后加一个偏置b_x，得到卷积层C₁；

③将卷积层C₁得到的特征图作为输入进行采样；采样过程包括：每邻域四个像素求和变为一个像素，然后通过标量W_x+1加权，再增加偏置b_x，然后通过一个sigmoid激活函数，产生一个大概缩小四倍的特征映射图S_x+1,得到抽样层S₂；

④重复第2、3步分别得到各卷积神经网络的C₃层和S₄层；

⑤计算相应的实际输出O_h、O_l；在前向传播阶段，信息经过输入层、隐含层的卷积和抽样，最终传送到输出层；其输出用公式(1)表示：

O＝F_n(……(F₂(F₁(x*w¹)w²)……wⁿ)   (1)

2)向后传播阶段

①计算实际输出O_h、O_l与相应的理想输出Y_h、Y_l的差；

②按极小化误差的方法反向逐层分别调整两个卷积网络的权矩阵；这里将E_p定义为第p个样本的误差，则整个样本集的误差可以用公式(2)表示：

$E_p=\frac{1}{2}{\mathrm{\Σ}}_{j=1}{(y_{\mathrm{pj}}-o_{\mathrm{pj}})}^2\text{---}\left(2\right)$

至此1次迭代完成，保存调整后的权值，重复第一阶段，直至达到设定的迭代次数后，训练结束，保存并把此权值输出给验证集以验证；

(3)准确率验证阶段

使用训练集的五分之一的数据进行验证输入的权值，将输入和映射的结果进行对比，输出错误率，如果错误率达到满意的要求，则进行测试识别，否则，调整输入图像的分辨率或者增加迭代次数重新进行训练；

(4)图像识别阶段

将检测到的交通标志图像经过预处理之后，使用训练好权值的网络模型进行识别并输出其对应的类别。