CN114639084A - 一种基于ssd改进算法的路侧端车辆感知方法 - Google Patents

Abstract

本发明属于路协同路侧端的车辆检测，特别是涉及一种基于SSD改进算法的路侧端车辆感知方法，其通过基于caffe框架SSD的马赛克mosaic在线数据增强算法，以提高模型的准确率和鲁棒性。改进的基于跨阶段部分连接方式和resnet18的残差连接融合的特征提取模块，具有更强的特征表达能力，减少前向计算耗时。基于caffe框架的SSD检测算法，改进定位损失函数，融合Complete‑IOU定位损失函数，提高检测框的准确率，使得模型更快收敛。

Description

一种基于SSD改进算法的路侧端车辆感知方法

技术领域

本发明属于路协同路侧端的车辆检测，特别是涉及一种基于SSD改进算法的路侧端车辆感知方法。

背景技术

车路协同是采用先进的无线通信和新一代互联网等技术，全方位实施车车、车路动态实时信息交互，并在全时空动态交通信息采集与融合的基础上开展车辆主动安全控制和道路协同管理，充分实现人车路的有效协同，保证交通安全，提高通行效率，从而形成的安全、高效和环保的道路交通***。目前亟待需要突破的技术要点是道路感知，对道路本身和道路环境进行识别，对道路参与主体的位置、速度一级运动方向进行识别，以及对道路发生的异常事件进行识别，进而为自动驾驶车辆提供数字化的道路基础。基于摄像头成像的视频感知技术最能真实反应道路的实景，采用计算机视觉算法，可以对道路本身(包含路面情况，标志标线，树木，建筑设施，抛洒物，路面塌方等)、道路参与主体(人车物、，道路环境和道路异常事件进行准确率识别。由此，本专利针对应用于车路协同中路侧端的视频感知技术，提出一种基于SSD改进算法的车辆检测方法。

传统图像目标检测算法时期，占据主导地位的是基于人工设计特征提取的方法，使用滑动窗口提取感兴趣区域，然后使用人工设计特征提取特征，最后使用分类器进行分类识别。但是常会出现区域选择策略效果差、手工提取的特征鲁棒性不强以及复杂度高等问题。

近年来，随着深度学习和卷积神经网络不断发展，基于深度学习的技术与产品相结合，得到大规模使用。深度学习中一个重要的应用分支就是车辆感知，使用车辆检测技术实现，车辆检测现有技术常使用基于深度学习的物体检测算法。具有代表性的车辆检测算法可以分为两大类别，第一个类别是双阶段检测模型，代表算法有：R-CNN、Fast R-CNN、Faster R-CNN、RFCN、Mask-RCNN和Tridentnet等算法为基础以及它们的改进网络，另外一个类别是单阶段检测模型，代表算法有：YOLO系列，SSD，DSSD,DSOD，peleeNet，retinaNet，shufflennet系列等一系列优秀的算法。

目前，现有技术方案中存在使用单阶段的SSD(Single shot Multibox Detector)算法完成车辆检测任务，结合车路协同应用场景的特点：多车环境下、多种车联网场景同时触发，消息的响应速度、并发场景的处理逻辑、人车交互方式等，为了保障车辆位置的及时更新，每辆车辆需要高频率同时接收和发送车身坐标信息。设及到的核心算法——车辆检测要保证车辆相关信息保持高度准确和保证信息处理实时性。该单阶段的SSD(Singleshot Multibox Detector)，是一种直接预测目标类别和bounding box的多目标检测算法。SSD算法则利用不同卷积层的feature map进行综合也能达到同样的效果。算法的主网络结构是VGG16，将最后两个全连接层改成卷积层，并随后增加了4个卷积层来构造网络结构。对其中6种不同的卷积层的输出feature map，feature map的大小分别为{38*38，19*19，10*10，5*5，3*3，1*1}，分别用两个不同的3×3的卷积核进行卷积，一个输出分类用的confidence，每个default box生成21个类别confidence；一个输出回归用的localization，每个default box生成4个坐标值(x,y,w,h)。此外，这6个feature map还经过PriorBox层生成prior box(生成的是坐标)。上述6个feature map中每一层的defaultbox的数量是给定的，且总共8732个预测框。最后将前面三个计算结果分别合并然后传给loss层，最后使用损失函数计算损失然后逐层求导更新参数，若输入缩放成300x300的图片，该技术在公开测试数据集VOC2007上的平均准确74.3％，使用GTX titan x显卡上前向计算速度达到每秒46帧图片。

现有技术的缺点在于：

(1)使用原版SSD算法用于车辆检测难以满足车路协同应用场景中车辆位置精准定位的需求；

(2)使用车辆检测是车辆相关属性分析的入口，后续的属性识别占用相当的计算时间，需要提高车辆检测的速度。

综上所诉，本提案主要针对车路协同应用场景路侧端的车辆检测问题，提出了一种基于SSD改进算法的路侧端车辆感知方法。以SSD算法为基础框架，使用改进的特征提取为主干网络提高车辆检测的速度，使用改进的目标检测定位损失函数计算方式提高车辆位置定位准确率。经过试验结果表明，该方法对车路协同应用场景对比原版车辆检测算法具有更好的检测效果。

发明内容

为解决上述技术问题，本发明提出了一种基于SSD改进算法的路侧端车辆感知方法。

本发明通过以下技术方案实现：

一种基于SSD改进算法的路侧端车辆感知方法，包括步骤：

S1：数据预处理，通过基于caffe框架SSD的mosaic在线数据增强算法，进行车辆目标数据标注和预处理；

S2：模型训练，采用改进的基于跨阶段部分连接方式和resnet18的残差连接融合的特征提取模块进行车辆图片特征提取；并基于caffe框架的SSD检测算法，改进定位损失函数，得到融合Complete-IOU的目标定位损失函数；

S3：模型推理，使用步骤S2输出的模型参数，进行算法模型前向计算，得到目标类别和预测框坐标。

进一步地，在步骤S1之前还包括步骤：

S0：收集电警和卡口的车辆图片数据，对图片中的所有车辆进行标注。

进一步地，在所述步骤S1中，通过所述基于caffe框架SSD的mosaic在线数据增强算法，固定输出标注后的图片大小，在区域内随机选择一点，把图片分成四个区域，将四张训练图片缩放到固定大小安防到区域里面形成一张新的图片。

进一步地，在所述步骤S2中，将所述改进的基于跨阶段部分连接方式和resnet18的残差连接融合的特征提取模块应用到特征提取主干网络，输入的特征图分成按照比例50％分成part1和part2共两份，part1不做任何处理，part2部分进行残差操作，最后两部分使用concat的方式进行汇总。

进一步地，所述步骤S2中，所述目标定位损失函数Loss_IOU的计算公式如下：

其中，ρ()表示欧式距离，b^predict表示预测的边界框，b^gt表示实际的边界框，c表示预测框和实际框的最小外接矩阵的对角线距离,w^gt表示实际边界框的宽度，h^gt表示实际边界框的高度，w^predict表示预测边界框的宽度，h^predict表示预测边界框的高度。

还提供了一种基于SSD改进算法的路侧端车辆感知***，包括：

数据预处理模块，用于通过基于caffe框架SSD的mosaic在线数据增强算法，进行车辆目标数据标注和预处理；

模型训练模块，其包括改进的基于跨阶段部分连接方式和resnet18的残差连接融合的特征提取模块和目标定位损失函数获取模块；所述的目标定位损失函数获取模块基于caffe框架的SSD检测算法，改进定位损失函数，得到融合Complete-IOU的目标定位损失函数；

模型推理模块，用于进行算法模型前向计算，得到目标类别和预测框坐标。

进一步地，还包括：数据采集模块，用于收集电警和卡口的车辆图片数据，对图片中的所有车辆进行标注。

进一步地，通过所述基于caffe框架SSD的mosaic在线数据增强算法，固定输出标注后的图片大小，在区域内随机选择一点，把图片分成四个区域，将四张训练图片缩放到固定大小安防到区域里面形成一张新的图片。

进一步地，将所述改进的基于跨阶段部分连接方式和resnet18的残差连接融合的特征提取模块应用到特征提取主干网络，输入的特征图分成按照比例50％分成part1和part2共两份，part1不做任何处理，part2部分进行残差操作，最后两部分使用concat的方式进行汇总。

进一步地，所述目标定位损失函数Loss_IOU的计算公式如下：

其中，ρ()表示欧式距离，b^predict表示预测的边界框，b^gt表示实际的边界框，c表示预测框和实际框的最小外接矩阵的对角线距离,w^gt表示实际边界框的宽度，h^gt表示实际边界框的高度，w^predict表示预测边界框的宽度，h^predict表示预测边界框的高度。

本发明提出了一种基于SSD改进算法的路侧端车辆感知方法，其通过基于caffe框架SSD的马赛克mosaic在线数据增强算法，以提高模型的准确率和鲁棒性。改进的基于跨阶段部分连接方式和resnet18的残差连接融合的特征提取模块，具有更强的特征表达能力，减少前向计算耗时。基于caffe框架的SSD检测算法，改进定位损失函数，融合Complete-IOU定位损失函数，提高检测框的准确率，使得模型更快收敛。

附图说明

以下将结合附图对本发明做进一步详细说明；

图1是车辆数据标注示例图；

图2是mosaic数据增强示例图；

图3是改进的特征提取主干网络结构单元；

图4是车辆检测结果输出图；

图5是车辆检测结果输出图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

针对车辆感知算法的具体实施例过程包括以下3个部分：

数据预处理阶段：车辆目标数据标注和预处理，使用最新的在线mosaic数据增强算法，提升车辆小目标的检测能力。

模型训练阶段：车辆图片特征提取阶段，使用改进的特征提取主干网络结构，提升模型特征表达能力、模型前向计算速度和模型的鲁棒性；针对模型分类预测和车辆定位预测，融合Complete-IOU损失函数使得选取bounding box的规则更加合理，从而优化模型梯度下降的更新方向。

模型推理阶段：使用训练阶段输出的模型参数，进行算法模型前向计算，得到目标类别和预测框坐标。

在数据准备阶段：

1.收集电警和卡口的车辆图片数据，对图片中的所有车辆进行标注，如下图1所示。

2.使用基于SSD框架的在线mosaic数据增强算法，固定输出图片大小，在区域内随机选择一点，把图片分成四个区域，将四张训练图片缩放到固定大小安防到区域里面形成一张新的图片，丰富图像的上下文信息以及提升车辆小目标的检测能力，增强模型的鲁棒性，算法生成的训练图片如图2所示。

在模型训练阶段：车辆图片特征提取阶段，针对模型分类预测和车辆定位预测。

1)车辆图片特征提取阶段，使用改进的特征提取主干网络结构，提升模型特征表达能力、模型前向计算速度和模型的鲁棒性。使用跨阶段部分连接方式以及resnet18的残差连接模块应用到特征提取主干网络，其block如图3所示。

如图3所示，普通的残差网络输入输出图片如图a所示；改进的跨阶段部分连接网络如图b所示，输入的特征图分成按照比例50％分成part1和part2共两份，part1不做任何处理，part2部分进行残差操作，最后两部分使用concat的方式进行汇总，这种连接方式只在输入和输出的特征图尺寸一致的block使用，此种方式旨在减少主干网络的计算瓶颈，保持准确率不变的条件下进行，切分比例参数可调，需要经过多次试验确认最佳值。其余部分，整体的网络框架不变。

2)针对车辆定位预测，融合Complete-IOU损失函数使得选取bounding box的规则更加合理，从而优化模型梯度下降的更新方向。传统的SSD车辆检测算法的目标分类和定位预测损失函数，如下图：

其中，目标分类损失函数L_cls，一般使用交叉熵损失函数；目标定位损失函数L_loc使用smooth l1 loss损失函数，p和u分别是预测结果和真实类别，t^u代表回归结果，v代表真实目标框。因为回归的目标是没有边界限制的，直接增加回归损失的权重会让模型对样本损失大于1的样本更加敏感，不利于模型的训练，所以该方案针对样本损失小于1的样本稍微增加位置损失值，来平衡分类损失和定位损失的损失函数。

本发明针对定位预测损失函数进行改进，提出使用新的目标检测定位损失函数Loss_IOU代替L_loc(t^u,v)的计算公式，公式如下表示：

其中，ρ()表示欧式距离，b^predict表示预测的边界框，b^gt表示实际的边界框，c表示预测框和实际框的最小外接矩阵的对角线距离,w^gt表示实际边界框的宽度，h^gt表示实际边界框的高度，w^predict表示预测边界框的宽度，h^predict表示预测边界框的高度。

在模型推理阶段：使用训练阶段输出的模型参数，进行算法模型前向计算，得到目标类别和预测框坐标，检测结果如下图4和图5所示，综上所述，从图4和图5可以看出图片内的车辆都能有效检测出来，并且检测框的精度较高。

本发明以SSD检测算法为基础框架，新增马赛克mosaic在线数据增强算法，提高模型的准确率和鲁棒性；以SSD检测算法为基础框架，改进特征提取网络，提高前向计算特征表达能力和减少前向计算耗时；以SSD检测算法为基础框架，改进车辆检测定位损失函数，提高检测框的准确率以及让模型更快收敛。

本发明还提供一种计算机可读存储介质，其上存储有计算机程序，其中，该程序被处理器执行时实现基于SSD改进算法的路侧端车辆感知方法的步骤。

本发明还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中所述处理器执行所述程序时实现基于SSD改进算法的路侧端车辆感知方法的步骤。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围。在不脱离本发明之精神和范围内，所做的任何修改、等同替换、改进等，同样属于本发明的保护范围之内。

Claims (10)

1.一种基于SSD改进算法的路侧端车辆感知方法，其特征在于，包括步骤：

S1：数据预处理，通过基于caffe框架SSD的mosaic在线数据增强算法，进行车辆目标数据标注和预处理；

S2：模型训练，采用改进的基于跨阶段部分连接方式和resnet18的残差连接融合的特征提取模块进行车辆图片特征提取；并基于caffe框架的SSD检测算法，改进定位损失函数，得到融合Complete-IOU的目标定位损失函数；

S3：模型推理，使用步骤S2输出的模型参数，进行算法模型前向计算，得到目标类别和预测框坐标。

2.根据权利要求1所述的基于SSD改进算法的路侧端车辆感知方法，其特征在于，在步骤S1之前还包括步骤：

S0：收集电警和卡口的车辆图片数据，对图片中的所有车辆进行标注。

3.根据权利要求2所述的基于SSD改进算法的路侧端车辆感知方法，其特征在于，在所述步骤S1中，通过所述基于caffe框架SSD的mosaic在线数据增强算法，固定输出标注后的图片大小，在区域内随机选择一点，把图片分成四个区域，将四张训练图片缩放到固定大小安防到区域里面形成一张新的图片。

4.根据权利要求1所述的基于SSD改进算法的路侧端车辆感知方法，其特征在于，在所述步骤S2中，将所述改进的基于跨阶段部分连接方式和resnet18的残差连接融合的特征提取模块应用到特征提取主干网络，输入的特征图分成按照比例50％分成part1和part2共两份，part1不做任何处理，part2部分进行残差操作，最后两部分使用concat的方式进行汇总。

5.根据权利要求1所述的基于SSD改进算法的路侧端车辆感知方法，其特征在于，所述步骤S2中，所述目标定位损失函数Loss_IOU的计算公式如下：

其中，ρ()表示欧式距离，b^predict表示预测的边界框，b^gt表示实际的边界框，c表示预测框和实际框的最小外接矩阵的对角线距离，w^gt表示实际边界框的宽度，h^gt表示实际边界框的高度，w^predict表示预测边界框的宽度，h^predict表示预测边界框的高度。

6.一种基于SSD改进算法的路侧端车辆感知***，其特征在于，包括：

数据预处理模块，用于通过基于caffe框架SSD的mosaic在线数据增强算法，进行车辆目标数据标注和预处理；

模型训练模块，其包括改进的基于跨阶段部分连接方式和resnet18的残差连接融合的特征提取模块和目标定位损失函数获取模块；所述的目标定位损失函数获取模块基于caffe框架的SSD检测算法，改进定位损失函数，得到融合Complete-IOU的目标定位损失函数；

模型推理模块，用于进行算法模型前向计算，得到目标类别和预测框坐标。

7.根据权利要求6所述的基于SSD改进算法的路侧端车辆感知***，其特征在于，还包括：数据采集模块，用于收集电警和卡口的车辆图片数据，对图片中的所有车辆进行标注。

8.根据权利要求7所述的基于SSD改进算法的路侧端车辆感知方法，其特征在于，通过所述基于caffe框架SSD的mosaic在线数据增强算法，固定输出标注后的图片大小，在区域内随机选择一点，把图片分成四个区域，将四张训练图片缩放到固定大小安防到区域里面形成一张新的图片。

9.根据权利要求6所述的基于SSD改进算法的路侧端车辆感知方法，其特征在于，将所述改进的基于跨阶段部分连接方式和resnet18的残差连接融合的特征提取模块应用到特征提取主干网络，输入的特征图分成按照比例50％分成partl和part2共两份，part1不做任何处理，part2部分进行残差操作，最后两部分使用concat的方式进行汇总。

10.根据权利要求6所述的基于SSD改进算法的路侧端车辆感知方法，其特征在于，所述目标定位损失函数Loss_IOU的计算公式如下：

其中，ρ()表示欧式距离，b^predict表示预测的边界框，b^gt表示实际的边界框，c表示预测框和实际框的最小外接矩阵的对角线距离，w^gt表示实际边界框的宽度，h^gt表示实际边界框的高度，w^predict表示预测边界框的宽度，h^predict表示预测边界框的高度。

Images