CN113762209A - 一种基于yolo的多尺度并行特征融合路标检测方法 - Google Patents

Abstract

本发明涉及一种基于YOLO的多尺度并行特征融合路标检测方法，属于交通信息化领域。方法包括：获取待检测图像；创建包含特征提取网络、多尺度并行特征融合模块以及用于目标定位和分类的深度卷积神经网络；利用训练好的路标检测神经网络模型对待检测的图像进行交通标志的定位与分类并且标注，输出分类并标注好的图像。本发明在YOLO v4‑tiny的基础上添加并行结构和三层次特征融合，使其对交通标志的检测能力有所提升。所提供的交通标志检测方法，能够实现完全依靠深度神经网络模型自动提取目标特征，实现交通标志的自动检测，具有检测过程简单、检测速度快和准确度高等优点。

Description

一种基于YOLO的多尺度并行特征融合路标检测方法

技术领域

本发明属于交通信息化领域，涉及一种基于YOLO的多尺度并行特征融合路标检测方法。

背景技术

智能交通***(Intelligent Transportation System，ITS)领域逐渐发展起来，成为研究的热点。其中交通标志识别***(Traffic Sign Recognition，TSR)是ITS的一个重要组成部分。而TSR主要包括两项技术：交通标志检测、交通标志识别。

目标检测(Object detection)作为机器视觉领域基本的问题之一，可以广泛应用于各项领域中，目标检测的实现的目的是为了定位并且识别图像中单个或者多个目标，并且返回其空间位置坐标以及对目标的分类结果。在无人驾驶领域中的应用便是感知技术，可以通过车载摄像头，采集到车辆所处环境状态，并且做出相应的应对措施。而交通标志的检测在环境感知技术中处于一个相对比较重要的地位，因为规则大于一切，而交通标志在交通领域中的作用就是为了对车辆的行为的规范化约束，所以交通标志的检测的重要性不言而喻。

近几十年来，在目标检测领域内的许多研究者提出了非常多的方法，但是目前的检测算法并不能很好的处理复杂场景条件下的检测。

虽然交通标志的颜色相对醒目，并且形状简单，但是交通标志所处的环境复杂，给交通标志的检测和识别带来的一定的挑战。主要存在如下问题等待解决：

(1)交通标志所处的环境不光有树木，还可能会有行人或者一些建筑物的遮挡，以及雨天、雾天会导致交通标志不明显，这种条件下采集的图像对比度等特征信息严重衰减。

(2)交通标志检测的图像由车载摄像头负责采集，而由于天气以及光照光线影响，导致收集到的图像失真严重，以至于无法轻易检测识别出。

(3)由于天气的温度以及环境湿度的多样化，不可避免地会导致交通标志牌出现褪色、损坏的情况，导致收集到不完整的标志。

(4)Faster-RCNN等两阶段算法由于算法复杂而导致其检测速度不能满足实时要求，而单阶段算法虽然具有较快的检测速度，但是对于小目标的检测效果较差，而且交通标志目标绝大部分仅占图像的1％，这时就很难权衡速度与精度之间的尺度，故提出一种基于复杂环境条件下的实时小目标检测算法是当下的一大难题。

(5)由于主要应用在车载***中，所以需要轻量级网络，但是轻量级网络的检测性能略显不足，故需要提出一种检测性能优良的轻量级网络。

(6)多数交通标志牌都是紧凑状态，这种时候算法并不能很好的分隔开多个标志的位置，密集型小目标检测定位依旧是一大难题。

发明内容

有鉴于此，本发明的目的在于提供一种基于YOLO的多尺度并行特征融合路标检测方法。

为达到上述目的，本发明提供如下技术方案：

一种基于YOLO的多尺度并行特征融合路标检测方法，该方法包括以下步骤：

S1：获取待检测图像并对其进行标注，划分训练集和测试集；

S2：创建包含特征提取主干网络、多尺度特征融合模块和路标检测模块的深度卷积神经网络；

S3：使用创建好的训练集和测试集来训练和测试深度卷积神经网络模型；

S4：用训练好的路标检测神经网络模型对待检测的图像进行目标定位，以进行路标检测和分类。

可选的，所述S1具体为：

S11：使用行车记录仪或者车载摄像头采集车辆前方的图像，对交通场景中的交通标志进行拍摄记录，得到包含交通标志的车载图像；

S12：对步骤S11得到的图像进行筛选处理，选取不同场景、天气、角度和遮挡情况下的交通标志图像；

S13：对筛选后的图像按照一定规格命名，使用LabelImg对其进行手动标注，生成对应图片的目标位置的XML标签文件；

S14：对得到的图像进行数据增强操作，可有反转、增强对比度、裁剪、镜像等操作；

S15：划分训练集、测试集；

S16：针对训练集中的图像使用K-means聚类方法，对先验框尺寸进行聚类，聚类出6种先验框尺寸，保存为yolo_anchors.txt文件。

可选的，所述S2具体操作如下：

S21：确定深度神经网络的特征提取主干网络结构，为YOLOv4-Tiny网络模型的主干网络CSPDarkNet53-tiny结构，该主干网络由多个卷积层以及三个具有CSP结构的残差块构成，在残差块之间添加两个残差边，保证提取深层次特征信息时能够利用浅层特征；在通过该特征提取主干网络后得到浅层、中层以及深层的特征图，在浅层特征图中对小物体的检测性能较好，通过该主干网络来提取待检测图像的特征；

S22：基于CSP_ResBlock模块结构，减少正向、反向传播时的计算量以及参数，增强梯度的表现，在每个ResBlock模块中都会有两个Output，一个用于保存，一个为输入到更深层网络的输出；

S23：对于S21中主干网络的三个支路的输出，分别记为分支1、分支2和分支3，宏观上看三个分支为一个FPN结构，以下对三个分支结构进行详解；

S24：网络的分支3，为从原始输入经历两次下采样卷积操作以及三个Res_Block模块计算后的输出，对该输出进行两次卷积操作后再进行一次上采样操作后与分支2进行合并；

S25：网络的分支2，为从原始输入经历两次下采样卷积操作以及两个Res_Block模块计算后的输出，将该输出与分支3上采样后的特征图进行拼接操作并调整通道数，再进行卷积操作后，分为两个分支记作分支21、分支22；其中分支21进行上采样操作后保存，分支22输入YoloHead进行定位与分类；

S26：网络的分支1，为从原始输入经历两次下采样卷积操作以及一个Res_Block模块计算后的输出，后续接一个并行模块，包含两个并行的分路，均使用空洞卷积而非普通的卷积操作，而且仅用于浅层特征图较大的网络结构中，如果使用空洞卷积，保证在卷积核大小不变的条件下进一步扩大该卷积核所能覆盖的范围；利用空洞卷积获得不同的感受野，从而获得不同尺度的特征；空洞卷积有一个参数，空洞率r，决定参与卷积计算的相邻像素点之间的间隔；对于k×k大小的卷积核，其实际的感受野尺寸为：

k_result＝k+(k-1)×(r-1) (1)

选择使用r＝2和r＝3的空洞率进行卷积操作，最后将两个分路进行拼接操作后通过1×1的卷积核进行特征融合；

将融合之后得到的输出与分支2进行上采样之后得到的输出进行拼接操作并调整通道数，最后输入给YoloHead进行定位与分类；

S27：网络的损失函数由三部分组成，分别为位置损失、置信度损失和分类损失；

位置损失函数使用了CIoU，函数如下：

其中v和α如下：

d代表的是计算两个中心点之间的欧式距离，c代表闭包的对角线距离，α是用于做权衡的参数，v是衡量长宽比一致性的参数；

置信度损失函数采用交叉熵，分为两部分：obj和noobj，分别表示有目标以及无目标损失，如下：

分类损失函数采用交叉熵，如下：

可选的，所述S3具体操作如下：

配置网络环境，选择Windows操作***和Pytorch深度学习框架进行训练；设置网络模型参数，根据GPU显存大小设置合适的BatchSize、输入图像尺寸、先验框尺寸、识别种类数量以及种类名称、迭代次数和初始学习率；利用训练集训练深度卷积神经网络，通过反向传播算法不断优化神经网络的参数，降低损失函数的值，使网络达到最优，实现端到端的训练；

加载测试集数据，输入到已训练好的网络中，通过计算其精确率、召回率、F值、AP以及mAP值，用于进行网络模型评估。

可选的，所述S4具体操作如下：

用训练好的路标检测神经网络模型对待检测的图像进行目标定位和分类，通过置信度阈值的判断；得到所有可能包含交通标志的预测框的边界框坐标位置、置信度和类别概率，再通过非极大值抑制NMS去除掉冗余的检测框，产生最终的检测结果，输出绘制出目标位置及其分类结果的图像。

本发明的有益效果在于：针对现有的主流目标检测框架而言，本发明网络结构简单训练的参数较少，从而网络结构较轻量化，可以运行在移动端设备等较低端终端上，可以应用在具有良好发展前景的自动驾驶技术中。由于交通标志在图像中所占比例较小，对于其的检测较为困难，本发明在浅层网络的输出中添加并行结构设置不同比例的空洞卷积，目的在于增大感受野，使其可以更有效的检测小目标，从而使交通标志检测的效果提升。

本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。

附图说明

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作优选的详细描述，其中：

图1为本发明一种基于多尺度并行特征融合的轻量级路标检测方法的流程图；

图2为本发明主干网络结构图；

图3为本发明主干网络中的CSP_ResBlock模块结构图；

图4为本发明的网络结构图，包括并行模块以及多尺度融合模块。

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

其中，附图仅用于示例性说明，表示的仅是示意图，而非实物图，不能理解为对本发明的限制；为了更好地说明本发明的实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。

本发明实施例的附图中相同或相似的标号对应相同或相似的部件；在本发明的描述中，需要理解的是，若有术语“上”、“下”、“左”、“右”、“前”、“后”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此附图中描述位置关系的用语仅用于示例性说明，不能理解为对本发明的限制，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。

如图1所示，一种基于多尺度并行特征融合的轻量级路标检测方法，包括以下步骤：

S1、创建不同天气条件下、对城市道路中包含交通标志的不同场景进行图像采集，保证数据的充分性以及实用性，在对图片进行处理。

步骤S1具体方法如下：

S11、使用车载摄像头或者行车记录仪对汽车前方场景图像进行拍摄采集，得到包含交通标志的车载图像。

S12、对步骤S11采集的图像进行筛选处理，选取不同场景、天气、角度、遮挡情况下的交通标志图像。

S13、对筛选后的图像统一命名规格，使用LabelImg对其进行标注处理，生成相同命名的XML格式文件，其中记录图像中标注的目标位置信息以及类别信息。

S14、对得到的图像进行数据增强处理，在原有图像基础上得到更多图像以及标注文件，一般通过旋转、裁剪、增强对比度、镜像、添加天气噪音等操作进行数据增强。

S15、将步骤S14之后得到的数据集进行划分，按照7:1:2的比例划分为训练集、验证集、测试集。

S16、针对训练集中的图像使用K-means聚类方法，聚类出6种先验框尺寸，保存为yolo_anchors.txt文件。

S2、在YOLO v4-tiny框架下嵌入并行模块，对主干网络输出分支做出调整，并且进行多尺度并行特征融合，得到本发明的网络模型。

所述步骤S2，具体操作如下：

S21、确定所述的深度神经网络的特征提取主干网络结构，为YOLOv4-Tiny网络模型的主干网络CSPDarkNet53-tiny结构，该主干网络主要由图2中所示多个卷积层以及三个具有CSP结构的残差块构成，本发明对其进行进一步修正，在残差块之间添加两个残差边，保证提取深层次特征信息时能够利用浅层特征。在通过该特征提取主干网络后可以得到浅层、中层以及深层的特征图，在浅层特征图中对小物体的检测性能较好，因为其特征信息并没有因为多次下采样导致特征消失，但是也存在特征信息不丰富的问题，而深层次特征图具有更丰富的语意信息，但是又由于经过多次的下采样操作，而导致部分特征信息的丢失，故对检测性能有一定的影响。以上便为特征提取主干网络结构，由此网络来提取待检测图像的特征。

S22、图3为CSP_ResBlock模块结构，其利用CSP思想，主要是为了减少正向、反向传播时的计算量以及参数，并且还可以增强梯度的表现，并且在每个ResBlock模块中都会有两个Output，一个用于保存，一个为输入到更深层网络的输出。

S23、图4为本发明整体网络结构图，对于S21中主干网络的三个支路的输出，分别记为分支1、分支2、分支3，宏观上看三个分支为一个FPN结构，以下对三个分支结构进行详解。

S24、所述网络的分支3，为从原始输入经历两次下采样卷积操作以及三个Res_Block模块计算后的输出，对该输出进行两次卷积操作后再进行一次上采样操作后与分支2进行合并。

S25、所述网络的分支2，为从原始输入经历两次下采样卷积操作以及两个Res_Block模块计算后的输出，将该输出与分支3上采样后的特征图进行拼接操作并调整通道数，再进行卷积操作后，分为两个分支记作分支21、分支22。其中分支21进行上采样操作后保存，分支22输入YoloHead进行定位与分类。

S26、所述网络的分支1，为从原始输入经历两次下采样卷积操作以及一个Res_Block模块计算后的输出，后续接一个并行模块，包含两个并行的分路，均使用空洞卷积而非普通的卷积操作，而且仅用于浅层特征图较大的网络结构中，因为对于常用的3×3的卷积核来说，所能覆盖的范围仅限于9个像素点位置，不能够有效的利用像素点之间的强相关性特征。如果使用空洞卷积，那么可以保证在卷积核大小不变的条件下进一步扩大该卷积核所能覆盖的范围，从而扩大感受野，更好的利用像素点之间的相关性特征。故本发明的这一并行结构利用空洞卷积获得不同的感受野，从而获得不同尺度的特征。空洞卷积有一个参数，空洞率r，它决定了参与卷积计算的相邻像素点之间的间隔。对于k×k大小的卷积核，其实际的感受野尺寸为：

k_result＝k+(k-1)×(r-1) (1)

本发明选择使用r＝2和r＝3的空洞率进行卷积操作，最后讲两个分路进行拼接操作后通过1×1的卷积核进行特征融合。

将融合之后得到的输出与分支2进行上采样之后得到的输出进行拼接操作并调整通道数，最后输入给YoloHead进行定位与分类。

S27、所述网络的损失函数，损失函数主要由三部分组成，分别为位置损失、置信度损失、分类损失。

位置损失函数使用了CIoU，函数如下：

其中v和α如下：

d代表的是计算两个中心点之间的欧式距离，c代表闭包的对角线距离，α是用于做权衡的参数，v是衡量长宽比一致性的参数。

置信度损失函数采用交叉熵，分为两部分：obj和noobj，分别表示有目标以及无目标损失，如下：

分类损失函数采用交叉熵，如下：

更进一步地、所述步骤S3具体包括：

根据上述所述步骤，配置网络环境，选择Windows操作***和Pytorch深度学习框架进行训练。设置网络模型参数，根据GPU显存大小设置合适的BatchSize、输入图像尺寸、先验框尺寸、识别种类数量以及种类名称class_txt、迭代次数，初始学习率以及学习策略的调整。利用训练集训练深度卷积神经网络，通过反向传播算法不断优化神经网络的参数，降低损失函数的值，使网络达到最优，实现端到端的训练。且需使用支持cuda加速的显卡类型。

加载测试集数据，输入到已训练好的网络中，通过计算其精确率、召回率、F值、AP以及mAP值，用于进行网络模型评估。

更进一步地、所述步骤S4具体包括：

根据上述步骤，用训练好的路标检测神经网络模型对待检测的图像进行定位分类，通过置信度阈值的判断。得到所有可能包含交通标志的预测框的边界框坐标位置、置信度、类别概率，再通过NMS(非极大值抑制)去除掉冗余的检测框，产生最终的检测结果，输出绘制出目标位置及其分类结果的图像。

最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (5)

1.一种基于YOLO的多尺度并行特征融合路标检测方法，其特征在于：该方法包括以下步骤：

S1：获取待检测图像并对其进行标注，划分训练集和测试集；

S2：创建包含特征提取主干网络、多尺度特征融合模块和路标检测模块的深度卷积神经网络；

S3：使用创建好的训练集和测试集来训练和测试深度卷积神经网络模型；

S4：用训练好的路标检测神经网络模型对待检测的图像进行目标定位，以进行路标检测和分类。

2.根据权利要求1所述的一种基于YOLO的多尺度并行特征融合路标检测方法，其特征在于：所述S1具体为：

S11：使用行车记录仪或者车载摄像头采集车辆前方的图像，对交通场景中的交通标志进行拍摄记录，得到包含交通标志的车载图像；

S12：对步骤S11得到的图像进行筛选处理，选取不同场景、天气、角度和遮挡情况下的交通标志图像；

S13：对筛选后的图像按照一定规格命名，使用LabelImg对其进行手动标注，生成对应图片的目标位置的XML标签文件；

S14：对得到的图像进行数据增强操作，可有反转、增强对比度、裁剪、镜像等操作；

S15：划分训练集、测试集；

S16：针对训练集中的图像使用K-means聚类方法，对先验框尺寸进行聚类，聚类出6种先验框尺寸，保存为yolo_anchors.txt文件。

3.根据权利要求2所述的一种基于YOLO的多尺度并行特征融合路标检测方法，其特征在于：所述S2具体操作如下：

S21：确定深度神经网络的特征提取主干网络结构，为YOLOv4-Tiny网络模型的主干网络CSPDarkNet53-tiny结构，该主干网络由多个卷积层以及三个具有CSP结构的残差块构成，在残差块之间添加两个残差边，保证提取深层次特征信息时能够利用浅层特征；在通过该特征提取主干网络后得到浅层、中层以及深层的特征图，在浅层特征图中对小物体的检测性能较好，通过该主干网络来提取待检测图像的特征；

S22：基于CSP_ResBlock模块结构，减少正向、反向传播时的计算量以及参数，增强梯度的表现，在每个ResBlock模块中都会有两个Output，一个用于保存，一个为输入到更深层网络的输出；

S23：对于S21中主干网络的三个支路的输出，分别记为分支1、分支2和分支3，宏观上看三个分支为一个FPN结构，以下对三个分支结构进行详解；

S24：网络的分支3，为从原始输入经历两次下采样卷积操作以及三个Res_Block模块计算后的输出，对该输出进行两次卷积操作后再进行一次上采样操作后与分支2进行合并；

S25：网络的分支2，为从原始输入经历两次下采样卷积操作以及两个Res_Block模块计算后的输出，将该输出与分支3上采样后的特征图进行拼接操作并调整通道数，再进行卷积操作后，分为两个分支记作分支21、分支22；其中分支21进行上采样操作后保存，分支22输入YoloHead进行定位与分类；

S26：网络的分支1，为从原始输入经历两次下采样卷积操作以及一个Res_Block模块计算后的输出，后续接一个并行模块，包含两个并行的分路，均使用空洞卷积而非普通的卷积操作，而且仅用于浅层特征图较大的网络结构中，如果使用空洞卷积，保证在卷积核大小不变的条件下进一步扩大该卷积核所能覆盖的范围；利用空洞卷积获得不同的感受野，从而获得不同尺度的特征；空洞卷积有一个参数，空洞率r，决定参与卷积计算的相邻像素点之间的间隔；对于k×k大小的卷积核，其实际的感受野尺寸为：

k_result＝k+(k-1)×(r-1) (1)

选择使用r＝2和r＝3的空洞率进行卷积操作，最后将两个分路进行拼接操作后通过1×1的卷积核进行特征融合；

将融合之后得到的输出与分支2进行上采样之后得到的输出进行拼接操作并调整通道数，最后输入给YoloHead进行定位与分类；

S27：网络的损失函数由三部分组成，分别为位置损失、置信度损失和分类损失；

位置损失函数使用了CIoU，函数如下：

其中v和α如下：

d代表的是计算两个中心点之间的欧式距离，c代表闭包的对角线距离，α是用于做权衡的参数，v是衡量长宽比一致性的参数；

置信度损失函数采用交叉熵，分为两部分：obj和noobj，分别表示有目标以及无目标损失，如下：

分类损失函数采用交叉熵，如下：

4.根据权利要求3所述的一种基于YOLO的多尺度并行特征融合路标检测方法，其特征在于：所述S3具体操作如下：

配置网络环境，选择Windows操作***和Pytorch深度学习框架进行训练；设置网络模型参数，根据GPU显存大小设置合适的BatchSize、输入图像尺寸、先验框尺寸、识别种类数量以及种类名称、迭代次数和初始学习率；利用训练集训练深度卷积神经网络，通过反向传播算法不断优化神经网络的参数，降低损失函数的值，使网络达到最优，实现端到端的训练；

加载测试集数据，输入到已训练好的网络中，通过计算其精确率、召回率、F值、AP以及mAP值，用于进行网络模型评估。

5.根据权利要求4所述的一种基于YOLO的多尺度并行特征融合路标检测方法，其特征在于：所述S4具体操作如下：

用训练好的路标检测神经网络模型对待检测的图像进行目标定位和分类，通过置信度阈值的判断；得到所有可能包含交通标志的预测框的边界框坐标位置、置信度和类别概率，再通过非极大值抑制NMS去除掉冗余的检测框，产生最终的检测结果，输出绘制出目标位置及其分类结果的图像。

Images