CN107301383B - 一种基于Fast R-CNN的路面交通标志识别方法 - Google Patents

Abstract

本发明公开了一种基于Fast R‑CNN的路面交通标志识别方法，包括步骤：进行图像采集和预处理，制作样本集；将训练集输入，多任务训练Fast R‑CNN网络；待识别图片经过若干卷积层与池化层，得到特征图；由候选框得到对应的特征框，经由ROI池化层和全连接层，分别得到分类得分和窗口回归两个输出向量；将所有结果通过非极大值抑制处理产生最终的目标检测和识别结果，交通标志得以识别。本发明采用Fast R‑CNN这一深度学习方法，规避了区域卷积神经网络R‑CNN中冗余的特征提取操作，实现了多任务训练，也不需要额外的特征存储空间，提高了检测速度和精度。相比于浅层学习分类器，它具有更高的学习效率和识别精度。

Description

一种基于Fast R-CNN的路面交通标志识别方法

技术领域

本发明属于图像处理和汽车安全辅助驾驶领域，尤其是涉及一种基于Fast R-CNN的路面交通标志检测与识别方法，用以解决路面交通标志识别问题中识别精度不高的问题。

背景技术

道路交通标志识别(TSR,Traffic Signs Recognition)作为车载辅助***中一个重要分支，是目前尚未解决的难题之一。由于交通标志中含有许多重要的交通信息，如对当前行车的速度提示、前方道路状况的变化、驾驶员行为制约，因此在该辅助***中，如何快速、准确、有效地识别出道路中的交通标志并将之反馈给驾驶人员或控制***，对于保证驾驶安全,避免交通事故的发生具有十分重要的研究意义。

路面交通标志识别常用的方法包括基于形状的识别方法，特征提取与分类器结合的方法，深度学习的识别方法。基于形状的识别方法鲁棒性较差，复杂环境中效果不佳。特征提取与分类器结合的方法识别效果较好，但计算开销大，环境适应能力比较差。深度学习能够直接对原始图像进行识别，提取反映数据本质的隐性特征，具有足够的学习深度。卷积神经网络具有局部权值共享的特性，对于环境复杂、多角度变化等情况都具有一定的实时性和鲁棒性。因此，需要设计一种能够精确获取道路场景中路面交通标志的识别方法。RossB.Girshick在2015年提出Fast R-CNN算法，规避了R-CNN(Region-based ConvolutionalNeural Network)中冗余的特征提取操作，实现了多任务训练，也不需要额外的特征存储空间，提高了检测速度和精度。

发明内容

为解决现有技术存在的上述问题，本发明要设计一种基于Fast R-CNN的路面交通标志识别方法，能够精确获取道路场景中路面交通标志的，以便有助于辅助驾驶员在复杂的条件下更好地感知车外环境，预防交通事故的发生。

为了实现上述目的，本发明的技术方案如下：

一种基于Fast R-CNN的路面交通标志识别方法，包括步骤：

进行图像采集和预处理，制作样本集；

将训练集输入，多任务训练Fast R-CNN网络；

将待识别图片输入Fast R-CNN网络，经过若干卷积层与池化层，得到特征图；

采用选择搜索(Selective Search)算法提取若干个候选框，根据原图中候选框到特征图映射关系，在特征图中找到每个候选框对应的特征框，并在ROI池化层中将每个特征框池化到固定大小；

将特征框经过全连接层得到固定大小的特征向量，所述特征向量经由各自的全连接层，分别得到分类得分和窗口回归两个输出向量；

将所有结果进行非极大值抑制处理产生最终的目标检测和识别结果，路面交通标志得以识别。

进一步地，所述图像采集的步骤具体包括：

开启车载行车记录仪，实时拍摄道路交通视频信息；

将摄像机拍摄到的视频信息进行分帧处理，得到一个图像集合序列；

对图像集合进行筛选，选取包含路面交通标志的图像。

进一步地，所述图像预处理和样本集制作的步骤具体包括：

在选取的图像中，将目标区域取出，并缩放到固定的224×224大小，为增强对比度，再将目标区域经过对比度增强处理，得到原始的训练集，测试集采用同样的方式处理；

将原始训练集经过旋转[-12°,12°],缩放[0.4，1.6]后，加入原始数据集中，组成新的训练集；

在新的数据集中随机取出与测试集数目相当的样本组成验证集，剩余的样本组成最终的训练集。

进一步地，所述Fast R-CNN网络结构包括：13个卷积层，4个池化层，1个ROI池化层，2个全连接层和两个平级层。

进一步地，所述ROI池化层中将每个特征框池化到7×7的固定大小。

进一步地，所述的多任务训练Fast R-CNN网络的全连接输出包括两个分支：cls_score层和bbox_pred层，所述cls_score层用于分类，所述bbox_pred层用于调整候选框位置。

进一步地，所述特征向量经由各自的全连接层时，期间经过奇异值分解(SVD,Singular Value Decomposition)加速，分别得到两个输出向量，即Softmax的分类得分和Bounding-box窗口回归。

进一步地，对全连接输出的两个分支，利用随机梯度下降法训练输出层的分类层和回归层直至分类和回归的损失函数收敛。

进一步地，所述将所有结果进行非极大值抑制处理的步骤具体包括：根据输出的两个分支，利用窗口得分分别对每一类物体进行非极大值抑制剔除重叠候选框，最终得到每个类别中回归修正后的得分最高的窗口。

进一步地，所述路面交通标志包括直行箭头、掉头箭头、向左箭头、向右箭头、直行向左箭头、直行向右箭头、菱形标线。

相比现有技术，本发明为了解决上述现有技术中的至少一些问题，提出了一种基于Fast R-CNN的交通标志检测与识别方法。该方法自行制作路面交通标志数据集，通过深度学习从样本中学习特征，能够提取到反映数据本质的隐性特征，具有更高的学习效率和识别精度，提高了检测算法的鲁棒性，有效提高了路面交通标志检测的准确性。

附图说明

本发明提供了附图以便于所公开内容的进一步理解，附图构成本申请的一部分，但仅仅是用于图示出体现发明概念的一些发明的非限制性示例，而不是用于做出任何限制。

图1是根据本发明的一些示范实施例的基于Fast R-CNN的路面交通标志识别方法的流程图。

图2是根据本发明的一些示范实施例的Fast R-CNN网络结构图。

图3是根据本发明的一些示范实施例的多任务训练代价函数示意图。

图4是根据本发明的一些示范实施例的部分交通标志样本集的示意图。

图5是根据本发明的一些示范实施例的基于Fast R-CNN的路面交通标志识别方法的检测结果示意图。

具体实施方式

下面结合附图和技术方案对本发明作详细说明。

如附图1所示为基于Fast R-CNN的路面交通标志识别方法的流程图，本发明的具体实施方式为：

一种基于Fast R-CNN的路面交通标志识别方法，包括步骤：

进行图像采集和预处理，制作样本集；

将训练集输入，多任务训练Fast R-CNN网络；

将待识别图片输入Fast R-CNN网络，经过若干卷积层与池化层，得到特征图；

采用选择搜索(Selective Search)算法提取约2000个候选框，根据原图中候选框到特征图映射关系，在特征图中找到每个候选框对应的特征框，并在ROI(感兴趣区域，Region of Interest)池化层中将每个特征框池化到固定大小；

将所述特征框经过全连接层得到固定大小的特征向量，经由各自的全连接层，分别得到分类得分和窗口回归两个输出向量；

将所有结果通过非极大值抑制处理产生最终的目标检测和识别结果，交通标志得以识别。

在一些实施例中，所述图像采集的步骤具体包括：

开启车载行车记录仪，实时拍摄道路交通视频信息，选用行车记录仪拍摄的视频分辨率为1280*720的视频图像；

对所拍摄的视频图像进行分帧处理，得到一个图像集合序列；

对图像集合进行筛选，从其中选取出现次数较多的7种路面交通标志。

具体而言，所述图像预处理和样本集制作的步骤具体包括：

在选取的图像中，将目标区域取出，并缩放到固定的224×224大小，为增强对比度，再将目标区域经过对比度增强处理，构成原始训练集，测试集采用同样的方式处理；

将原始训练集经过旋转[-12°,12°]，缩放[0.4，1.6]后，加入原始数据集中组成新的训练集；

在新的数据集中随机取出与测试集数目相当的样本组成验证集，剩余的样本组成最终的训练集。

在图4所示的示例中，所选用的交通标志可以分为7类，分别为直行箭头、掉头箭头、向左箭头、向右箭头、直行向左箭头、直行向右箭头、菱形标线，分别编号表示为01，02，03，04，05，06，07，识别结果以此方式输出。

K.Simonyan等人在文献“K.Simonyan and A.Zisserman.Very deepconvolutional networks for large-scale image recognition,2015.”中提出的VGG16网络，包括13个卷积层，5个池化层和3个全连接层。在VGG16的基础上，用ROI池化层取代VGG-16网络最后一层池化层，两个并行层取代上述VGG-16网络的最后一层全连接层和softmax层。

如图2所示，最终得到Fast R-CNN网络结构如下：包括13个卷积层，4个池化层，1个ROI池化层，2个全连接层和两个平级层。大小为224×224的图像样本经输入层输入网络；对于所有的卷积层，卷积核大小为3×3，步长为1；对于所有池化层，使用2×2采样尺寸，池化方式采用最大值池化。激活函数采用修正线性单元激活(ReLU,Rectified Linear Units)函数，具备引导适度稀疏的能力，能够使网络的训练速度加快，精度提高，避免梯度消失的问题。

原有的层参数要通过预训练方式初始化。用于分类的全连接层以均值为0，标准差为0.01的高斯分布初始化；用于回归的全连接层以均值为0，标准差为0.001的高斯分布初始化，偏置都初始化为0。

在调优训练时，首先加入N张完整图片，而后加入从N张图片中选取的R个候选框。同一图像的R/N个候选框卷积共享计算和内存，降低了运算开销。R个候选框的构成如下：与某个真值重叠在[0.5,1]的候选框我们定义为前景，占总量的25％；与真值重叠的最大值在[0.1,0.5)的候选框定义为背景，占总量的75％。

ROI池化层根据固定尺寸将每个特征框平均分割，对每块进行最大池化，可将特征图上大小不一的特征框转变为大小统一的数据，送入下一层。

Fast R-CNN网络进行多任务训练，分类损失和回归损失如图3所示。cls_score层用于分类，输出K+1维数组p，表示属于K类物体和背景的概率，此处根据检测类别的数目，设定K＝7；bbox_pred层用于调整候选区域位置，输出4*K维数组，表示分别属于K类时，应该平移缩放的参数，对于每个类别都会训练一个单独的回归器。

loss_cls层评估分类代价L_cls，由真实分类u对应的概率p_u决定：

L_cls＝-log p_u (1)

loss_bbox评估回归损失代价L_loc，比较真实分类u对应的预测平移缩放参数

和真实平移缩放参数v＝(v_x,v_y,v_w,v_h)的差距：

结合分类损失和回归损失，网络微调阶段总的损失函数为：

约定u＝0为背景分类，背景候选区域即负样本不参与回归损失，不需要对候选区域进行回归操作；λ控制损失和回归损失的平衡，λ＝1。

根据该损失函数利用随机梯度下降法训练网络，直至L收敛。

在Fast R-CNN网络中采用SVD分解加速全连接层计算；物体分类和窗口回归都是通过全连接层实现的，设全连接层输入数据为x，输出数据为y，全连接层参数为W，一次前向传播即为：

y＝Wx (5)

将W进行SVD分解，那么原来的前向传播分解成两步：

y＝Wx＝U·(∑·V^T)·x＝U·z (6)

U和V均为中间变量，这种分解会大大减少计算量，从而实现全连接层加速计算。

图5是路面交通标志的检测结果示意图，可见在一般的路面条件下检测和识别效果良好。

综上，本发明提出了一种基于Fast R-CNN的交通标志检测与识别方法。该方法通过深度学习从样本中学习特征，能够提取到反映数据本质的隐性特征，具有更高的学习效率和识别精度，提高了检测算法的鲁棒性，有效提高了路面交通标志检测的准确性。能够很大程度缓解路面交通标志遮挡严重、磨损严重、形变严重、光照变化严重等因素带来的检测困难的问题。本文中的部分方法步骤和流程可能需要由计算机执行，从而以硬件、软件、固件及其任何组合的方式来实施。

上述仅为本发明的优选实施例，不是用来限制发明的实施与权利范围，凡依据本发明申请专利保护范围所述的内容做出的等效变化、修饰、替换等，均应包括在本发明申请专利范围内。本领域技术人员将认识到在不脱离本发明的范围和精神的情况下，可在更广阔的各方面中进行改变和修改。

Claims (1)

1.一种基于Fast R-CNN的路面交通标志识别方法，包括步骤：

进行图像采集和预处理，制作样本集；

将训练集输入，多任务训练Fast R-CNN网络；

将待识别图片输入Fast R-CNN网络，经过若干卷积层与池化层，得到特征图；

采用选择搜索(Selective Search)算法提取若干个候选框，根据原图中候选框到特征图映射关系，在特征图中找到每个候选框对应的特征框，并在ROI(感兴趣区域，Region ofInterest)池化层中将每个特征框池化到固定大小；

将所述特征框经过全连接层得到固定大小的特征向量，经由各自的全连接层，分别得到分类得分和窗口回归两个输出向量；

将所有结果通过非极大值抑制处理产生最终的目标检测和识别结果，交通标志得以识别；

所述图像采集的步骤具体包括：

开启车载行车记录仪，实时拍摄道路交通视频信息，选用行车记录仪拍摄的设定视频分辨率的视频图像；

对所拍摄的视频图像进行分帧处理，得到一个图像集合序列；

对图像集合进行筛选，从其中选取出现次数较多的7种路面交通标志；

所述图像预处理和样本集制作的步骤具体包括：

在选取的图像中，将目标区域取出，并缩放到固定的大小，为增强对比度，再将目标区域经过对比度增强处理，构成原始训练集，测试集采用同样的方式处理；

将原始训练集经过旋转[-12°,12°]，缩放[0.4，1.6]后，加入原始数据集中组成新的训练集；

在新的数据集中随机取出与测试集数目相当的样本组成验证集，剩余的样本组成最终的训练集；

所选用的交通标志可以分为7类，分别为直行箭头、掉头箭头、向左箭头、向右箭头、直行向左箭头、直行向右箭头、菱形标线，分别编号表示为01，02，03，04，05，06，07，识别结果以此方式输出；

在VGG16的基础上，用ROI池化层取代VGG-16网络最后一层池化层，两个并行层取代上述VGG-16网络的最后一层全连接层和softmax层；

最终得到Fast R-CNN网络结构如下：包括13个卷积层，4个池化层，1个ROI池化层，2个全连接层和两个平级层；固定大小的图像样本经输入层输入网络；对于所有的卷积层，卷积核大小为3×3，步长为1；对于所有池化层，使用2×2采样尺寸，池化方式采用最大值池化；激活函数采用修正线性单元激活(ReLU,Rectified Linear Units)函数；原有的层参数要通过预训练方式初始化；用于分类的全连接层以均值为0，标准差为0.01的高斯分布初始化；用于回归的全连接层以均值为0，标准差为0.001的高斯分布初始化，偏置都初始化为0；

在调优训练时，首先加入N张完整图片，而后加入从N张图片中选取的R个候选框；同一图像的R/N个候选框卷积共享计算和内存，降低了运算开销；R个候选框的构成如下：与某个真值重叠在[0.5,1]的候选框我们定义为前景，占总量的25％；与真值重叠的最大值在[0.1,0.5)的候选框定义为背景，占总量的75％；

ROI池化层根据固定尺寸将每个特征框平均分割，对每块进行最大池化，可将特征图上大小不一的特征框转变为大小统一的数据，送入下一层；

Fast R-CNN网络进行多任务训练，其中cls_score层用于分类，输出K+1维数组p，表示属于K类物体和背景的概率，此处根据检测类别的数目，设定K＝7；bbox_pred层用于调整候选区域位置，输出4*K维数组，表示分别属于K类时，应该平移缩放的参数，对于每个类别都会训练一个单独的回归器；

loss_cls层评估分类代价L_cls，由真实分类u对应的概率p_u决定：

L_cls＝-logp_u (1)

loss_bbox评估回归损失代价L_loc，比较真实分类u对应的预测平移缩放参数

和真实平移缩放参数v＝(v_x,v_y,v_w,v_h)的差距：

结合分类损失和回归损失，网络微调阶段总的损失函数为：

约定u＝0为背景分类，背景候选区域即负样本不参与回归损失，不需要对候选区域进行回归操作；λ控制损失和回归损失的平衡，λ＝1；

根据该损失函数利用随机梯度下降法训练网络，直至L收敛；

在Fast R-CNN网络中采用SVD分解加速全连接层计算；物体分类和窗口回归都是通过全连接层实现的，设全连接层输入数据为x，输出数据为y，全连接层参数为W，一次前向传播即为：

y＝Wx (5)

将W进行SVD分解，那么原来的前向传播分解成两步：

y＝Wx＝U·(∑·V^T)·x＝U·z (6)

U和V均为中间变量，这种分解会大大减少计算量，从而实现全连接层加速计算。

Images