CN108875595A - 一种基于深度学习和多层特征融合的驾驶场景目标检测方法 - Google Patents

Abstract

本发明涉及交通图像处理技术领域，公开了一种基于深度学习和多层特征融合的驾驶场景目标检测方法，该方法包括以下步骤：1)采集视频图像，作为训练数据集，并进行预处理；2)搭建训练网络；3)对训练网络进行初始化，获得预训练模型；4)使用步骤3)获得的预训练模型在训练数据集上进行训练，获得训练模型；5)使用车载摄像头采集前方图像，将图像输入步骤4)获得的训练模型中，获得检测结果。本发明采用基于特征金字塔的多层特征融合方法来增强低层特征图的语义信息，从而提升网络的特征提取质量，获得更高的检测精度。

Description

一种基于深度学习和多层特征融合的驾驶场景目标检测方法

技术领域

本发明涉及交通图像处理技术领域，具体涉及一种驾驶场景目标检测方法。

背景技术

随着人工智能技术的发展，智能驾驶汽车获得快速的发展。目标检测是智能驾驶汽车环境感知的关键技术之一，对前方交通目标的准确检测有助于做出正确的驾驶决策。驾驶场景下的目标检测任务中，道路环境复杂多变，各类目标物互相遮挡，光照变化复杂，这些不利因素都制约着目标检测效果的提升。

在目标检测领域，能否高效提取图像特征决定着检测性能的优劣。传统机器学习方法使用HOG(Histogram of Oriented Gradient,方向梯度直方图)或Haar等人工特征进行图像的特征提取，比如上海大学申请的“一种车辆前方行人检测方法及***”(CN105260712A)。该方法首先获取图像信息并进行预处理，然后联合LBP(Local BinaryPattern，局部二值模式)和HOG进行特征提取，最后使用支持向量机(Support VectorMachine,SVM)来判别。但是由于人工特征对目标多样性的变化适应性差，因而检测准确率并不高，难以用于驾驶场景。深度学习在近年来发展迅速，在图像处理领域获得了巨大的成功，通过构建多层的卷积神经网络，可以从原始数据开始，将多种底层特征组合成表示能力更强、语义信息更丰富的高层特征，而且GPU加速运算也使得计算速度大幅提升。因此基于卷积神经网络的目标检测方法能获得更好的检测效果，是目前的发展方向。Faster R-CNN方法属于两级检测，使用区域生成网络(Region Proposal Networks，RPN)来提取大量候选区域，然后对候选区域进行分类和回归，得出最终检测结果。该方法能取得较高的检测精度，但是运行速度过慢，且内存消耗较为庞大，限制了其应用场景。YOLO(You Look OnlyOnce)算法属于一级检测，使用7×7的网格进行端到端的回归计算，将目标的分类和定位合并处理，YOLO算法检测速度较快，但简单的网格回归运算使其检测精度不高。SSD(SingleShot MultiBox Detector)算法也是端到端检测的代表，引入了多层检测结构，提升了多尺度目标的检测能力，但低层特征图语义信息的缺失导致SSD算法于小目标的检测能力较弱。

发明内容

有鉴于此，本发明提供一种基于深度学习和多层特征融合的驾驶场景目标检测方法,可提升网络的特征提取质量，获得更高的检测精度。

本发明的目的是通过以下技术方案来实现的：

一种基于深度学习和多层特征融合的驾驶场景目标检测方法，该方法包括以下步骤：

1)采集视频图像，作为训练数据集，并进行预处理；

2)搭建训练网络；

3)对训练网络进行初始化，获得预训练模型；

4)使用步骤3)获得的预训练模型在训练数据集上进行训练，获得训练模型；

5)使用车载摄像头采集前方图像，将图像输入步骤4)获得的训练模型中，获得检测结果。

进一步，所述步骤1)包括如下步骤：

11)通过车载摄像头获取视频图像；

12)对获取的视频图像进行人工标注，标注对象至少包括汽车、行人和骑车人三类，标注信息为图像中目标的类别和包围该目标边界框的坐标值；然后将图像数据和标注信息一起制作成PASCAL VOC格式的训练数据集

13)对训练数据集中的图像进行预处理，包括调整尺寸、镜像翻转和/或减去均值。

进一步，所述步骤2)具体包括如下步骤：

21)在CAFFE深度学习框架中构建检测算法，以SSD检测算法为基础，选取MobileNet卷积神经网络作为基础特征提取网络；

22)在MobileNet网络的conv13层之后添加8个额外的卷积层，形成新的特征提取网络；然后从中选取6个卷积层用作检测，形成多尺度检测结构；

23)构建基于特征金字塔的多层特征融合结构；

24)在最终用于检测的6个卷积层后分别添加位置回归层和类别置信度判别层，完成训练网络的搭建。

进一步，所述步骤23)中的多层特征融合结构，通过下式表示：

其中C表示特征图(Feature Map)的集合，X_i表示用于检测的原始特征图，T_i表示特征融合之前的原始卷积特征图所用的转换方法，φ_f表示特征融合方式，X_f表示融合后的特征图，而φ_l,c则表示从融合后的卷积特征图来进行目标预测的方法，loc,class表示位置回归和类别置信度判定的结果；

进一步，所述步骤3)具体包括如下步骤：

31)使用ImageNet大规模分类数据集对MobileNet网络进行预训练；预训练使用随机梯度下降法，初始学习率设为0.1，总迭代次数为100k，得到MobileNet网络的预训练模型；

32)首先使用上述预训练模型的参数对相应的网络层进行初始化，其它8个新增的卷积层则使用Xavier方法进行初始化。

进一步，所述步骤4)中，训练过程中设置总迭代次数为120k，初始学习率为0.001，每间隔20k次迭代，将学习率调为原有的一半，动量(Momentum)值设置为0.9。

进一步，所述步骤4)训练过程中，每间隔10k次迭代，在测试集中对模型进行精度值测试。

进一步，所述步骤5)具体包括如下步骤：

51)将步骤4)训练好的训练模型部署到嵌入式平台中，使用车载摄像头采集汽车前方图像，然后将采集到的图像输入到训练模型的网络中进行检测，在给定置信度阈值下得到初步检测结果，所述初步检测结果包括目标类别及目标边界框坐标；

52)使用非极大值抑制算法去除多余的目标边界框，获得局部区域置信度最高的目标边界框；

53)将经过步骤52)筛选的目标类别及目标边界框绘制到原始图像中并输出可视化检测结果。

由于采用了上述技术方案，本发明具有如下的优点：

本发明基于CAFFE(Convolutional Architecture for Fast FeatureEmbedding)深度学习框架和SSD检测算法而构建，为满足检测速度上的要求，本发明使用轻量级的MobileNet作为特征提取网络，其特征提取质量较高且运行速度快。针对SSD算法在小目标检测能力较差的问题，本发明采用基于特征金字塔的多层特征融合方法来增强低层特征图的语义信息，从而提升网络的特征提取质量，获得更高的检测精度。然后对该网络模型进行训练，得到最终网络模型，形成一种具有较高性能的驾驶场景目标检测方法。

本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。

附图说明

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步的详细描述：

图1为本发明基于深度学习和多层特征融合的驾驶场景目标检测方法的流程图；

图2为多层特征融合结构示意图。

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。

参见图1、2，一种基于深度学习和多层特征融合的驾驶场景目标检测方法，其特征在于，该方法包括以下步骤：

1)采集视频图像，作为训练数据集，并进行预处理；具体包括如下步骤：

11)从安装在汽车上的摄像头获取大量不同场景的视频图像，然后每隔15帧保存一幅图像，排除其中质量较差和目标较少的图像，总共采集大约6000张图像作为训练集和测试集，二者的分割比例为4:1；

12)对获取的视频图像进行人工标注，标注对象至少包括汽车、行人和骑车人三类，标注信息为图像中目标的类别和包围该目标边界框的坐标值；然后将图像数据和标注信息一起制作成PASCAL VOC格式的训练数据集；

13)对训练数据集中的图像进行预处理，包括调整尺寸、镜像翻转和/或减去均值，如此有利于网络训练。

2)搭建训练网络；具体包括如下步骤：

21)在CAFFE(Convolutional Architecture for Fast Feature Embedding)深度学习框架中构建检测算法，以SSD(Single Shot MultiBox Detector)检测算法为基础，选取MobileNet作为特征提取网络；MobileNet是近年来所提出的先进卷积神经网络结构，总共28层，运行速度快，且对图像特征的提取能力较强，适合运行于车载环境下。

22)在MobileNet网络的conv13层之后添加8个额外的卷积层，命名从conv14_1，conv14_2一直到conv17_1，conv17_2，这样形成新的特征提取网络。然后选取conv11，conv13，conv14_2，conv15_2，conv16_2和conv17_2这6个卷积层用于检测，形成多尺度检测结构，在输入大小为300×300时，用于检测的6个卷积层的分辨率如表1所示。

表1主干网络用于检测的特征层

特征层

conv11

Conv13

Conv14_2

Conv15_2

Conv16_2

Conv17_2

分辨率

38×38

19×19

10×10

5×5

3×3

1×1

23)构建基于特征金字塔的多层特征融合结构；通过下式表示：

其中C表示特征图(Feature Map)的集合，X_i表示用于检测的原始特征图，T_i表示特征融合之前的原始卷积特征图所用的转换方法，φ_f表示特征融合方式，X_f表示融合后的特征图，而φ_l,c则表示从融合后的卷积特征图来进行目标预测的方法，loc,class表示位置回归和类别置信度判定的结果。

特征融合层(C)的选择。本发明使用6个卷积层用作检测，经过分析，发现前3层的语义信息相对不足，需要从后续的更深的特征层补充高级的语义信息，而后3层则没有特征融合的必要。因此选择conv11，conv13和conv14_2进行特征融合。

特征融合方法(φ_f)的设计。为了计算上的方便，选择使用相同位置元素相加(Element-Wise Summation)。

特征层转换方法(T_i)的设计。深一层卷积特征图(如conv13)需要经过转换结构后才能和浅一层特征图(如conv11)进行连接。转换结构如图所示，包含两个卷积层和一个反卷积层。其中的第一个卷积层大小为3×3×128，卷积步长为2，填充大小为2，主要作用是不改变特征图大小的前提下进行采样计算，同时改变通道数；然后中间反卷积层大小为2×2×128，步长为2，主要作用是将该层特征图的进行上采样，宽高尺度变为原来2倍；最后一个卷积层大小为1×1×256，主要作用是改变特征图的通道数。此处，浅一层的特征图也需要经过一个1×1×256大小的卷积层，使得二者在连接的时候保持通道数一致。

最后，将两个不同层级的特征图输出相加，实现多层特征融合，这有利于增强网络语义信息，从而有利于增强对小目标的检测能力。

24)在最终用于检测的6个卷积层后分别添加位置回归层和类别置信度判别层，完成训练网络的搭建。

3)对训练网络进行初始化，获得预训练模型；具体包括如下步骤：

31)使用ImageNet大规模分类数据集对MobileNet网络进行预训练；预训练使用随机梯度下降法(Stochastic GradientDescent，SGD)，初始学习率设为0.1，总迭代次数为100k，得到MobileNet网络的预训练模型，使得该特征提取网络具有一定的分类能力。

32)首先使用上述预训练模型的参数对相应的网络层进行初始化，其它8个新增的卷积层则使用Xavier方法进行初始化。

4)使用步骤3)获得的预训练模型在训练数据集上进行训练，获得训练模型；使用随机梯度下降法来更新模型参数，训练过程中设置总迭代次数为120k，初始学习率为0.001，每间隔20k次迭代，将学习率调为原有的一半，动量(Momentum)值设置为0.9。每间隔10k次迭代，在测试集中对模型进行精度值测试，以确保模型在训练过程中是逐步收敛的。

5)使用车载摄像头采集前方图像，将图像输入步骤4)获得的训练模型中，获得检测结果。具体包括如下步骤：

51)将步骤4)训练好的训练模型部署到嵌入式平台中，使用车载摄像头采集汽车前方图像，然后将采集到的图像输入到训练模型的网络中进行检测，在给定置信度阈值(通常取0.5)下得到初步检测结果，所述初步检测结果包括目标类别及目标边界框坐标；

52)使用非极大值抑制算法(Non-Maximum Suppression，NMS)去除多余的目标边界框，获得局部区域置信度最高的目标边界框；对于非极大值抑制算法，其算法核心说明如下：

1.在所有边界框(Bounding-Box，BBox)中，将置信度最高的一个BBox作为目标，然后对比剩下BBox和目标BBox的重叠率；

2.如果重叠率大于设定的阈值，那么该BBox就会被排除(即使该BBox的置信度和目标BBox的置信度相同)，这一步是为了抑制最大重叠区域。

3.将第二置信度高的BBox作为目标，然后重复步骤1和2。

如果将上述步骤用算法流程表示，则有：

其中，S是置信度集合，B是矩形框集合，λ是重叠率阈值，通常取值为0.3～0.5。s_i和b_i分别是第i个BBox的置信度和矩形框，D是经过抑制后的矩形框集合，n是具有最大置信度的BBox下标，N是一个临时变量，存储当前的BBox。IoU(Intersection over Union)是两个边界框进行交并比的运算，其定义如下：

经过非极大值抑制计算后，就可以得到局部区域置信度最高的检测框，可作为最终结果进行输出。

53)将经过步骤52)筛选的目标类别及目标边界框绘制到原始图像中并输出可视化检测结果。

最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，其均应涵盖在本发明的保护范围当中。

Claims (8)

1.一种基于深度学习和多层特征融合的驾驶场景目标检测方法，其特征在于，该方法包括以下步骤：

1)采集视频图像，作为训练数据集，并进行预处理；

2)搭建训练网络；

3)对训练网络进行初始化，获得预训练模型；

4)使用步骤3)获得的预训练模型在训练数据集上进行训练，获得训练模型；

5)使用车载摄像头采集前方图像，将图像输入步骤4)获得的训练模型中，获得检测结果。

2.根据权利要求1所述的一种基于深度学习和多层特征融合的驾驶场景目标检测方法，其特征在于，所述步骤1)包括如下步骤：

11)通过车载摄像头获取视频图像；

12)对获取的视频图像进行人工标注，标注对象至少包括汽车、行人和骑车人三类，标注信息为图像中目标的类别和包围该目标边界框的坐标值；然后将图像数据和标注信息一起制作成PASCAL VOC格式的训练数据集

13)对训练数据集中的图像进行预处理，包括调整尺寸、镜像翻转和/或减去均值。

3.根据权利要求1或2所述的一种基于深度学习和多层特征融合的驾驶场景目标检测方法，其特征在于，所述步骤2)具体包括如下步骤：

21)在CAFFE深度学习框架中构建检测算法，以SSD检测算法为基础，选取MobileNet卷积神经网络作为基础特征提取网络；

22)在MobileNet网络的conv13层之后添加8个额外的卷积层，形成新的特征提取网络；然后从中选取6个卷积层用作检测，形成多尺度检测结构；

23)构建基于特征金字塔的多层特征融合结构；

24)在最终用于检测的6个卷积层后分别添加位置回归层和类别置信度判别层，完成训练网络的搭建。

4.根据权利要求3所述的一种基于深度学习和多层特征融合的驾驶场景目标检测方法，其特征在于，所述步骤23)中的多层特征融合结构，通过下式表示：

其中C表示特征图(Feature Map)的集合，X_i表示用于检测的原始特征图，T_i表示特征融合之前的原始卷积特征图所用的转换方法，φ_f表示特征融合方式，X_f表示融合后的特征图，而φ_l,c则表示从融合后的卷积特征图来进行目标预测的方法，loc,class表示位置回归和类别置信度判定的结果。

5.根据权利要求4所述的一种基于深度学习和多层特征融合的驾驶场景目标检测方法，其特征在于，所述步骤3)具体包括如下步骤：

31)使用ImageNet大规模分类数据集对MobileNet网络进行预训练；预训练使用随机梯度下降法，初始学习率设为0.1，总迭代次数为100k，得到MobileNet网络的预训练模型；

32)首先使用上述预训练模型的参数对相应的网络层进行初始化，其它8个新增的卷积层则使用Xavier方法进行初始化。

6.根据权利要求5所述的一种基于深度学习和多层特征融合的驾驶场景目标检测方法，其特征在于，所述步骤4)中，训练过程中设置总迭代次数为120k，初始学习率为0.001，每间隔20k次迭代，将学习率调为原有的一半，动量(Momentum)值设置为0.9。

7.根据权利要求6所述的一种基于深度学习和多层特征融合的驾驶场景目标检测方法，其特征在于，所述步骤4)训练过程中，每间隔10k次迭代，在测试集中对模型进行精度值测试。

8.根据权利要求7所述的一种基于深度学习和多层特征融合的驾驶场景目标检测方法，其特征在于，所述步骤5)具体包括如下步骤：

51)将步骤4)训练好的训练模型部署到嵌入式平台中，使用车载摄像头采集汽车前方图像，然后将采集到的图像输入到训练模型的网络中进行检测，在给定置信度阈值下得到初步检测结果，所述初步检测结果包括目标类别及目标边界框坐标；

52)使用非极大值抑制算法去除多余的目标边界框，获得局部区域置信度最高的目标边界框；

53)将经过步骤52)筛选的目标类别及目标边界框绘制到原始图像中并输出可视化检测结果。