CN108009509A

CN108009509A - 车辆目标检测方法

Info

Publication number: CN108009509A
Application number: CN201711321241.6A
Authority: CN
Inventors: 张庆辉; 万晨霞; 韩伟良
Original assignee: Zhengzhou Aiyi Electronic Technology Co ltd; Henan University of Technology
Current assignee: Zhengzhou Aiyi Electronic Technology Co ltd; Henan University of Technology
Priority date: 2017-12-12
Filing date: 2017-12-12
Publication date: 2018-05-08

Abstract

本发明公开了一种车辆目标检测方法，旨在解决传统检测方法检测流程复杂、计算量大、检测不精确的技术问题。本发明根据ImageNet数据集制作VOC 2007车辆数据集；利用caffe深度学习框架，采用改进的Faster R‑CNN算法配置训练模型，并引入Inception网络结构对图像进行特征提取；增设一种面积为64²的滑动窗口用于检测小目标；把场景中的目标检测问题转换为目标的二分类问题，进行车辆目标的检测识别；用RPN损失函数进行优化；对车辆图像特征利用SoftMax算法进行分类，从而得到最终结果。本发明的有益技术效果在于：图像特征的计算量减小、检测流程精简、提取图像特征能力增强、网络的识别精度提高，并且检测结果更全面。

Description

车辆目标检测方法

技术领域

本发明涉及目标信息检测技术领域，具体涉及一种车辆目标检测方法。

背景技术

近年来，随着交通车辆数量的高速增长，交通监管面临巨大挑战。车辆目标检测作为构建交通状况视频监控的一项关键技术，长期以来受到国内外研究者的广泛关注。目标检测作为图像处理和计算机视觉的一个重要分支，它的研究方法主要分为基于背景建模的方法和基于表观特征信息的方法。

国内外学者利用传统的机器学习方法进行了很多尝试，通过对目标特征进行提取，比如HOG(histogram of oriented gradient)，SIFT(scale invariant featuretransform)等方法，并将提取到的特征输入至分类器，如支持向量机（support vectormachine）、迭代器(AdaBoost)等进行分类识别。这些特征本质上是一种手工设计的特征，针对不同的识别问题，提取到的特征好坏对***性能有着直接影响，因此需要研究者对所要解决的问题领域进行深入的研究，以设计出适应性更好的特征。这种方法对技术人员的经验要求极高，并且计算量大，操作流程复杂，由于其针对某个特定的识别任务，难以在实际应用问题当中实现精准的识别效果。

发明内容

本发明要解决的技术问题是提供一种车辆目标检测方法，以解决传统的车辆检测方法计算量大、操作流程复杂、检测不精准的技术难题。

本发明主要针对基于车辆目标表观特征信息的检测算法，即在实际交通图片中检测并定位所设定车辆的目标。它的难点主要在于图片中的车辆目标因光照、视角以及车辆内部等变化而产生变化。

为解决上述技术问题，本发明采用如下技术方案：

设计一种车辆识别检测方法，包括以下步骤：（1）获取ImageNet车辆数据库，制作VOC2007车辆图像数据集；（2）利用卷积神经网络框架并采用Faster R-CNN算法配置模型来对车辆图像进行特征提取；（3）设置一种增加锚点个数的滑动窗口；（4）把目标检测问题转换为目标的二分类问题；（5）利用RPN损失函数进行优化；（6）对步骤2得到的特征利用SoftMax算法进行分类得到检测结果。

进一步的，步骤（1）包括以下处理：a.从VOC 2007数据集中统计：图片的宽、高，图片的宽高比，车辆目标的宽、高，目标的宽高比；b.根据（1）中的参数从ImageNet数据集中筛选出符合要求的图片；c.将b中筛选的图片制作成VOC2007数据集。

进一步的,步骤（2）中利用Faster R-CNN搭建卷积神经学习框架提取图像特征时引入Inception网络结构，从而使网络具有更强大的提取图像特征的能力，使提取到的特征表达更丰富。

进一步的，步骤（3）中设置滑动窗口的面积为64²，Faster R-CNN预设了9个锚点，分别对应三种窗口面积128²、256²、512²和三种窗口宽高比1：1、1：2、2：1的自由组合，并新增加了一种窗口面积64²，这样就新增加了3个锚点，即总共12个锚点，更能检测出小目标。

进一步的，步骤（4）中将场景中的目标检测问题转换为目标的二分类问题的方法是：将程序中的num output：21 改为num output：2，即前景和背景，其中前景为目标车辆。

进一步的，步骤（5）的优化方法为：a.分配“是”的标签给两类参考区域，分别是与某个真值区域有最高的交集之比的参考区域和与任意真值区域有大于0.7的交集之比的参考区域；b.分配“否”的标签给与所有真值区域的交集之比都低于0.3的参考区域；c.非正非负的区域不参与RPN模型训练；d.利用多任务损失函数进行优化，其函数表达式为：L({p_i},{t_i})=（1/N_cls）*∑L_cls(p_i,y_i)+(λ/N_reg)*∑y_iL_reg(t_i,t_i ^’)；其中，λ表示平衡系数，用于控制两个损失函数比重；N_cls表示mini-batch中输入样本的个数；N_reg表示输入的所有参考区域的个数；i表示一个mini-batch中参考区域的索引；L_cls表示分类损失函数，选用两类（目标和非目标）的对数似然损失函数，p_i表示第个参考区域的真实标签；L_reg表示边框回归损失函数，选用平滑1-范数作为损失函数，平滑1-范数对于离散群点更加鲁棒，控制梯度的两级使得训练时不容易跑飞；t_i是一个向量，表示预测的候选区域的4个参数化坐标，t_i ^’是一个向量，表示真值区域的4个参数化坐标。

与现有技术相比，本发明的有益技术效果在于：

1.本发明特征提取能力强，利用深度学习caffe框架，采取Faster R-CNN算法配置训练模型，并引入Inception网络结果，使网络具有更强大的提取图像特证能力。

2.本发明识别准确率高，将把场景中的目标检测问题转换为目标的二分类问题，将抽象的目标检测变为具象的是/否判定，从而提高网络的识别精度。

3.本发明识别精度高，设置一种滑动窗口面积64²，使锚点由9个增加至12个，将原本不容易识别的小目标检测出来。

4.本发明计算量小，操作流程精简，检测效果全面，利用Faster R-CNN算法配置训练模型，SoftMax算法进行分类，整合了检测流程，大大减少了冗余计算，并且使分类富有弹性，检测结果更全面。

附图说明

图1为本发明的整体框架图；

图2为本发明中Faster R-CNN算法的基本结构；

图3是本发明用VGG-16模型中的faster_rcnn_test.pt的网络结构图；

图4为加入Inception模型结构前Faster R-CNN网络的部分结构图；

图5为加入Inception模型后改进Faster R-CNN网络的部分结构图；

图6为Inception（3a）模型结构图；

图7为RPN网络结构图；

图8是本发明制作的车辆数据集中的部分图片；

图9为不同模型下训练的Precision-Recall曲线图；

图10是 Faster R-CNN模型下车辆检测结果图；

图11是本发明对改进的Faster R-CNN模型车辆检测结果图。

具体实施方式

下面结合附图和实施例来说明本发明的具体实施方式，但以下实施例只是用来详细说明本发明，并不以任何方式限制本发明的范围。

以下实施例中所涉及或依赖的程序均为本技术领域的常规程序或简单程序，本领域技术人员均能根据具体应用场景做出常规选择或者适应性调整；所涉及的方法、步骤或算法，如无特别说明则均为常规的方法、步骤或算法。

实施例1：一种车辆目标检测方法，参见图1，首先从ImageNet数据集中筛选出合适的训练样本，提取图像特征并对样本中的车辆目标进行标注。然后将样本输入RPN网络训练直至网络收敛，再将RPN网络训练得到的卷积层网络参数输入到改进的Faster R-CNN网络进行训练直至网络收敛，最后将各个网络层的参数输入到模型中进行车辆目标的检测和识别。

本实施例制作训练样本时，采用VOC 2007数据集的格式及评价算法工具，将ImageNet数据集转换为VOC 2007数据集的格式，具体步骤如下：（1）从VOC 2007数据集中统计图片的宽、高、宽高比和目标的宽、高、宽高比；（2）根据第一步得出的值从ImageNet数据集中筛选出符合要求的图片；（3）将上一步中所得图片制作成VOC2007数据集。

本实施例在搭建卷积神经网络框架时，模型的配置利用Faster R-CNN算法，其基本结构如图2，可分为4个主要内容：

（1）Conv layers。作为一种CNN网络目标检测方法，Faster R-CNN首先使用一组基础的卷积层、激活层和池化层提取图像的特征图，该特征图被共享于后续RPN层和全连接层；

（2）Region Proposal Networks。即RPN网络，用于生成建议区域。该层通过Softmax判断锚点属于前景或者背景，再利用边界框回归修正锚点获得精确的区域；

（3）RoI Pooling。该层收集输入的特征图和特征区域，综合这些信息后提取区域特征图，送入后续全连接层判定目标类别；

（4）Classification。利用区域特征图计算区域的类别，同时再次边用界框回归获得检测框的最终精确位置。

图3所示是本实施例采用VGG-16模型中的faster_rcnn_test.pt的网络结构图。由图可知网络对于一副任意大小P*Q的图像，首先将图像缩放到固定大小M*N，然后将M*N图像送入网络形成13个ConV Layers+13个Relu Layers+4个Pooling Layers；RPN网络首先经过3x3卷积，再分别生成前景锚点与边界框回归偏移量，计算出特征区域；而RoI Pooling层则利用区域从特征图中提取特征区域送入后续全连接层和Softmax网络进行分类。

本实施例将Inception结构加到VGG-16中，另外在Inception的前一层增加了64个1*1大小的卷积核，这些核的作用和Inception模型的功能是一样的。图4和图5分别是加入Inception模型结构前Faster R-CNN网络的部分结构和加入Inception模型后改进FasterR-CNN网络的部分结构。为了可以更好地说明Inception模型的结构，将其单独取出来如图6所示，对比加入前和加入后的网络可以看出：

（1）改进的Faster R-CNN卷积神经网络比Faster R-CNN网络具有更强大的提取图像特征的能力，提取到的特征表达更丰富。一方面改进后的网络使用了不同数目大小尺寸不一的卷积核来增加提取特征的多样性；另一方面，改进后的网络采用一种并行的结构，这就可以充分整合不同卷积核提取的特征，使得到的特征表达更丰富详尽。

（2）改进Faster R-CNN的卷积神经网络比Faster R-CNN网络在时间上的性能更优越。通过对比可看到改进后的网络该部分结构的参数数目更少，这就使得网络在反向传播更新参数和参数计算时所花费的时间代价更低，也就是说，同样在训练或在测试的时候，改进Faster R-CNN的卷积神经网络更节省时间。

RPN网络结构如图7，其实际分为两条线路，上面一条通过softmax分类锚点获得前景和背景，下面一条用于计算对于锚点的边界框回归的偏移量，以获得精确的区域。而最后的Proposal层则负责综合前景锚点和边界框回归偏移量获取proposals，同时剔除太小和超出边界的proposals。RPN网络以特征图上的每个点为中心，使用不同面积和长宽比的滑动窗口来采集特征图特定区域内的特征。Faster R-CNN预设了9个锚点，分别对应三种窗口面积128²、256²、512²和三种窗口宽高比1：1、1：2、2：1的自由组合，本实施例新增加了一种窗口面积64²，这样就新增加了3个锚点，即总共12个锚点，能原本不容易识别的小目标检测出来。

如图8所示是本实施例制作的车辆数据集中的部分图片，为了进一步提高检测的精度和准确度，把目标的检测问题转化为二分类问题，即判断目标是车辆还是其他目标，训练的策略采用fine-tuning技术，训练的样本是一开始制作的VOC2007格式的数据集。图9是不同模型下训练的Precision-Recall曲线图。针对不同的改进方法，分类器实验结果的召回率曲线如图所示。其中，Faster R-CNN为原Faster R-CNN模型的检测结果，检测车辆目标的mAP值为81.5%。Method-4为增加锚点个数后的模型检测的结果，检测车辆目标的mAP值达到84.7%，相比原Faster R-CNN的mAP值提高了3%。Method-3为采用二分类方法检测单一目标的检测结果，其mAP值达到86.6%，相比20分类的车辆目标的mAP值提高了6%。Method-2为引入Inception model的检测结果，检测车辆目标的mAP值达到了88.1%，相比原Faster R-CNN的mAP值提高了7%。Method-1为三个都改进后的Faster R-CNN模型的检测结果，检测车辆目标的mAP值可达到90.4%，相比原Faster R-CNN的mAP值提高了9%。

本实施例选用复杂场景下的车辆图片000003、000004、000005和000006分别在原Faster R-CNN网络模型和本实施改进的Faster R-CNN网络模型上进行测试。在Faster R-CNN网络模型上进行测试，其测试结果如图10所示。在改进的Faster R-CNN网络模型上进行测试，其测试结果如图11所示。由此可以看出在改进的Faster R-CNN网络模型上测试的结果更精确，分辨率更高。

上面结合附图和实施例对本发明作了详细的说明，但是，所属技术领域的技术人员能够理解，在不脱离本发明宗旨的前提下，还可以对上述实施例中的各个具体参数进行变更，形成多个具体的实施例，均为本发明的常见变化范围，在此不再一一详述。

Claims

1.一种车辆目标检测方法，其特征在于，包括以下步骤：

步骤1、获取ImageNet车辆数据库，制作VOC 2007车辆图像数据集；

步骤2、搭建卷积神经网络框架；

步骤3、设置一种增加锚点个数的滑动窗口；

步骤4、把目标检测问题转换为目标的二分类问题；

步骤5、利用损失函数进行优化；

步骤6、对步骤2得到的特征利用SoftMax算法进行分类得到检测结果。

2.根据权利要求1所述的车辆目标检测方法，其特征在于，所述步骤1包括以下处理步骤：

（1）基于VOC 2007数据集统计以下参数：图片的宽和高、图片的宽高比，车辆目标的宽和高、车辆目标的宽高比；

（2）根据上述参数从ImageNet数据集中筛选出符合VOC 2007数据集要求的图片；

（3）将上一步筛选的图片制作成VOC2007数据集。

3.根据权利要求1所述的车辆目标检测方法，其特征在于，所述步骤2包括以下处理步骤：利用Faster R-CNN算法搭建卷积神经网络框架，并对Faster R-CNN算法做出如下改进：引入Inception网络结构并增加64个1*1大小的卷积核，使网络具有更强大的提取图像特征的能力。

4.根据权利要求1所述的车辆目标检测方法，其特征在于，所述步骤3包括以下处理步骤：增加一种窗口面积64²，从而将锚点个数由Faster R-CNN预设的9个增加到12个。

5.根据权利要求1所述的基于卷积神经网络框架对图像进行特征提取的车辆目标检测方法，其特征在于，所述步骤4包括以下处理：将程序中的num output：21 改为num output：2，使多目标检测变为车辆和背景两类目标检测。

6.根据权利要求1所述的车辆目标检测方法，其特征在于，所述步骤5包括以下处理步骤：

（1）给每个参考区域分配一个表示是/不是目标的二进制标签；

（2）分配表示是的标签给两类参考区域：

（a）与某个真值区域有最高的交集之比的参考区域；

（b）与任意真值区域有大于0.7的交集之比的参考区域；

（3）分配表示否的标签给与所有真值区域的交集之比都低于0.3的参考区域，非正非负的参考区域不参与RPN模型训练；

（4）采用Region Proposal Network损失函数进行优化，其损失函数定义为：L({p_i},{t_i})=（1/N_cls）*∑L_cls(p_i,y_i)+(λ/N_reg)*∑y_iL_reg(t_i,t_i ^’)；其中，λ表示平衡系数，用于控制两个损失函数比重；N_cls表示mini-batch中输入样本的个数；N_reg表示输入的所有参考区域的个数；i表示一个mini-batch中参考区域的索引；L_cls表示分类损失函数，选用两类（目标和非目标）的对数似然损失函数，p_i表示第个参考区域的真实标签；L_reg表示边框回归损失函数，选用平滑1-范数作为损失函数，平滑1-范数对于离散群点更加鲁棒，控制梯度的两级使得训练时不容易跑飞；t_i是一个向量，表示预测的候选区域的4个参数化坐标，t_i ^’是一个向量，表示真值区域的4个参数化坐标。