CN115909276A - 基于改进YOLOv5的复杂天气下小交通标志目标检测方法 - Google Patents

Abstract

本发明提出了一种基于改进YOLOv5的复杂天气下小交通标志目标检测方法，用于解决交通标志识别模型检测速度与识别精度不均衡以及受遮挡目标和小目标难以检测的问题；其步骤为：首先，加载交通标志图像的数据集，并对数据集中的图像进行数据增强；其次，构建改进的YOLOv5网络模型，并设置模型输入参数；然后利用数据增强后的交通标志图像数据对改进的YOLOv5网络模型进行训练，得到检测模型；最后，利用检测模型对待识别的图像进行预测，输出交通标志的位置以及交通标志所属的类别。本发明通过添加坐标注意力机制和小目标检测层提高了特征提取能力和检测效率，同时通过改进的损失函数进一步提高了对小目标检测的准确率。

Description

基于改进YOLOv5的复杂天气下小交通标志目标检测方法

技术领域

本发明涉及交通标志检测技术领域，特别是指一种基于改进YOLOv5的复杂天气下小交通标志目标检测方法，可以在无人驾驶、目标检测等领域应用。

背景技术

近年来，随着人工智能技术的不断发展与完善，目标检测算法在无人驾驶、视频索引等领域得到了广泛的应用。无人驾驶车辆在行驶过程精准检测并识别道路场景中的车辆、交通标识牌、信号灯等是十分重要的。城市道路中的交通标识包含了丰富的导航信息，能够指示、警示驾驶员的驾驶行为。精准地检测并识别交通标识对提高道路驾驶安全有十分重要的意义，是智能驾驶的重要组成部分。

世界各国的交通标志都遵循颜色醒目、形状规则的明确设计标准。但在实际应用中，对交通标志检测精度、可靠性和实时性的要求仍然很高，是一项具有挑战性的任务。有三个主要困难要克服。第一个是交通标志检测是一种微小物体检测，这种微小的物体通常只有很少的像素，携带有限的信息，并带来很多噪音。因此，微小的物体带来了特征提取的挑战。第二个困难来自于复杂的天气情况，容易导致误检和漏检。复杂的天气情况干扰包括可变光照、极端天气(如雨、雪或雾)等。最后，交通标志的类别总是不平衡的，因为在现实中，有些标志是常用的，而有些则很少使用。

在深度学习被广泛应用前，以往的交通标志识别任务中通常使用基于颜色、形状和机器学习的方法进行检测和分类。大部分方法使用基于AdaBoost二进制分类器和循环霍夫变换的颜色分割对交通标志进行检测，该方法准确率较高并拥有较好的鲁棒性。深度学习的出现，为交通标志的检测提供了新的思路。目前，深度学习在交通标志检测领域已经取得重大成果，不同于传统的检测算法，深度学习下的交通检测算法通过构建卷积神经网络CNN来学习交通标志目标特征，再利用网络训练的方式将交通标志数据样本和标签文件送入网络的输入端，通过变换网络层的组合和改变卷积核尺度等方法对图像进行特征提取。网络参数的不断演化使算法能够学习不同交通标志之间的变换关系，避免手工提取特征误差较大的情况。基于深度学习的交通标志检测算法主要分为单阶段检测和双阶段检测两类。基于双阶段检测的方法先通过检索物体的大概位置来确定感兴趣区域，再利用特征提取网络对目标的坐标和具体类别进行判断。这类算法的典型代表有R-CNN、Fast R-CNN和Faster R-CNN等。基于单阶段检测的交通标志检测算法能够在一个网络内实现交通标志图像输入到分类结果输出的整个过程，检测速度上更占优势。这一类算法的典型代表有YOLO系列和SSD系列等。

与传统的交通检测算法相比，深度学习下的交通检测算法提升了检测的精度，加快了检测的速度。然而，由于交通标志的大小多变，在小物体的检测和正常物体的检测之间存在着明显的差距，大多数算法对于较小尺度交通标志的检测效果仍不够理想。同时复杂的天气情况也导致在恶劣天气情况下，大多数算法漏检、误检率过高。

发明内容

目前的交通标志识别模型在针对不同天气情况下存在检测速度与识别精度不均衡以及受遮挡目标和小目标难以检测的问题，本发明提出了一种基于改进YOLOv5的复杂天气下小交通标志目标检测方法，在YOLOv5基础上，添加坐标注意力机制和小目标检测层以提高算法的特征提取能力和检测效率，同时改进原YOLOv5目标检测网络的损失函数进一步提高算法对小目标检测的准确率。

本发明的技术方案是这样实现的：

一种基于改进YOLOv5的复杂天气下小交通标志目标检测方法，其步骤如下：

S1：加载交通标志图像的数据集，并对数据集中的图像进行数据增强；

S2：构建改进的YOLOv5网络模型，并设置模型输入参数；

S3：利用数据增强后的交通标志图像数据对改进的YOLOv5网络模型进行训练，得到检测模型；

S4：利用检测模型对待识别的图像进行预测，输出交通标志的位置以及交通标志所属的类别。

所述数据增强方法包括随机水平翻转、随机垂直翻转、随机平移和随机裁剪。

所述改进的YOLOv5模型的网络结构为：Conv-I的输入端用于接收输入图像，Conv-I的输出端与CBS-I的输入端相连接，CBS-I的输出端与CSP1_1的输入端相连接，CSP1_1的输出端分别与CBS-II的输入端、Concat-III的输入端相连接，CBS-II的输出端与CSP1_3-I的输入端相连接，CSP1_3-I的输出端分别与CBS-III的输入端、Concat-IV的输入端相连接，CBS-III的输出端与CSP1_3-II的输入端相连接，CSP1_3-II的输出端分别与CBS-IV的输入端、Concat-V的输入端相连接，CBS-IV的输出端与SPP的输入端相连接，SPP的输出端与CSP2_1-I的输入端相连接，CSP2_1-I的输出端与CA的输入端相连接，CA的输出端与CSB-V的输入端相连接，CSB-V的输出端分别与Upsample-I的输入端、Concat-VI的输入端相连接，Upsample-I的输出端与Concat-I的输入端相连接，Concat-I的输出端与CSP2_1-II的输入端相连接，CSP2_1-II的输出端与CBS-VI的输入端相连接，CBS-VI的输出端分别与Upsample-II的输入端、Concat-IV的输入端相连接，Upsample-II的输出端与Concat-II的输入端相连接，Concat-II的输出端与CSP2_1-III的输入端相连接，CSP2_1-III的输出端与CBS-VII的输入端相连接，CBS-VII的输出端与Upsample-III的输入端相连接，Upsample-III的输出端与Concat-III的输入端相连接，Concat-III的输出端与CSP2_1-IV的输入端相连接，CSP2_1-IV的输出端与Conv-II的输入端相连接，Conv-II的输出端输出Head-I；Concat-IV的输出端与CSP2_1-V的输入端相连接，CSP2_1-V的输出端分别与Conv-III的输入端、CBS-VIII的输入端相连接，Conv-III的输出端输出Head-II；CBS-VIII的输出端与Concat-V的输入端相连接，Concat-V的输出端与CSP2_1-VI的输入端相连接，CSP2_1-VI的输出端分别与Conv-IV的输入端、CBS-IX的输入端相连接，Conv-IV的输出端输出Head-III；CBS-IX的输出端与Concat-VI的输入端相连接，Concat-VI的输出端与CSP2_1-VII的输入端相连接，CSP2_1-VII的输出端与Conv-V的输入端相连接，Conv-V的输出端输出Head-IV。

所述Head-I是通过小目标检测层输出的结构。

所述对改进的YOLOv5网络模型进行训练时的损失函数为：

其中，Alpha_IoU为损失函数值，IoU表示边界框和实际边界框的相似程度，α为附加的Power正则项，b表示预测框，c表示为数据集的类别个数，b^gt表示真实框。

与现有技术相比，本发明产生的有益效果为：

1)本发明在主干网络中加入坐标注意力(Coordinate Attention,CA)机制，将位置信息嵌入通道注意力中，使网络能够获得更广泛的区域信息，尽可能避免了参数量和计算量的增加。

2)增加小目标检测层，减少小目标漏检，提高小目标检测精度。

3)对原定位损失函数CIoU进行改进，实现了在交通标志识别任务中对预测框与真实框之间更精确的损失计算。

4)本发明在不同天气情况下均可有效检测出较小交通标识，且漏检率低、检测精度高。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明的流程图。

图2为本发明改进的YOLOv5的整体框架结构图。

图3为本发明中坐标注意力模块结构图。

图4为本发明中小目标检测层结构图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，本发明实施例提供了一种基于改进YOLOv5的复杂天气下小交通标志目标检测方法，具体步骤如下：

S1：加载交通标志图像的数据集，并对数据集中的图像进行数据增强；将交通标志图像数据集中的图像大小调整为640×640的统一尺寸，作为改进YOLOv5模型的输入。

选用CCTSDB 2021数据集作为交通标志检测数据集，该数据集总共包含3268张训练集图像和2000张测试集图像。CCTSDB 2021根据类别含义、大小和天气条件三个维度对测试集中的样本进行了更详细的划分。根据道路交通标志和标记中常见交通标志的定义，将基准数据集中出现的标志按照含义分为禁止标志，强制标志和警示标志三类。与传统交通检测数据集不同，CCTSDB 2021将交通标志按照大小分为五类:极小型(XS)、小型(S)、中型(M)、大型(L)和特大型(XL)。CCTSDB 2021更侧重于小物体的检测。根据样本图像的天气光照条件，将数据集分为雾、雪、雨、夜、晴、云六类。

对数据集中的图像进行数据增强以防止出现过拟合的情况。数据增强方法包括以0.5的概率对输入图像进行随机水平翻转、随机垂直翻转、随机平移和随机裁剪。

S2：采用Pytorch深度学习框架构建改进的YOLOv5网络模型，并设置模型输入参数；模型输入参数包括卷积核的大小、步长和填充等。在YOLOv5模型中删除了原有的Focus模块，使用一个大卷积对其进行替换，进一步压缩模块大小，获得更好的性能。同时，YOLOv5模型的末端引入坐标注意力(CA)机制，因为交通标志其特有的位置信息，该坐标注意力机制能有效提升网络的性能。加强特征提取网络采用空间金字塔池化(SPP)，将卷积层通过三个不同尺寸的最大池化操作，将其拼接成一个一维向量，以适应不同尺寸图片的输入。采用PANet中的FPN进行特征融合，提取出更高质量的特征，将之前的初步有效特征层变为更高质量的用于预测的特征层。在所采用的卷积操作中，使用3×3的深度可分离卷积替代3×3的普通卷积，进一步实现模型轻量化。

如图2所示，改进的YOLOv5模型的网络结构为：Conv-I的输入端用于接收输入图像，Conv-I的输出端与CBS-I的输入端相连接，CBS-I的输出端与CSP1_1的输入端相连接，CSP1_1的输出端分别与CBS-II的输入端、Concat-III的输入端相连接，CBS-II的输出端与CSP1_3-I的输入端相连接，CSP1_3-I的输出端分别与CBS-III的输入端、Concat-IV的输入端相连接，CBS-III的输出端与CSP1_3-II的输入端相连接，CSP1_3-II的输出端分别与CBS-IV的输入端、Concat-V的输入端相连接，CBS-IV的输出端与SPP的输入端相连接，SPP的输出端与CSP2_1-I的输入端相连接，CSP2_1-I的输出端与CA的输入端相连接，CA的输出端与CSB-V的输入端相连接，CSB-V的输出端分别与Upsample-I的输入端、Concat-VI的输入端相连接，Upsample-I的输出端与Concat-I的输入端相连接，Concat-I的输出端与CSP2_1-II的输入端相连接，CSP2_1-II的输出端与CBS-VI的输入端相连接，CBS-VI的输出端分别与Upsample-II的输入端、Concat-IV的输入端相连接，Upsample-II的输出端与Concat-II的输入端相连接，Concat-II的输出端与CSP2_1-III的输入端相连接，CSP2_1-III的输出端与CBS-VII的输入端相连接，CBS-VII的输出端与Upsample-III的输入端相连接，Upsample-III的输出端与Concat-III的输入端相连接，Concat-III的输出端与CSP2_1-IV的输入端相连接，CSP2_1-IV的输出端与Conv-II的输入端相连接，Conv-II的输出端输出Head-I；Concat-IV的输出端与CSP2_1-V的输入端相连接，CSP2_1-V的输出端分别与Conv-III的输入端、CBS-VIII的输入端相连接，Conv-III的输出端输出Head-II；CBS-VIII的输出端与Concat-V的输入端相连接，Concat-V的输出端与CSP2_1-VI的输入端相连接，CSP2_1-VI的输出端分别与Conv-IV的输入端、CBS-IX的输入端相连接，Conv-IV的输出端输出Head-III；CBS-IX的输出端与Concat-VI的输入端相连接，Concat-VI的输出端与CSP2_1-VII的输入端相连接，CSP2_1-VII的输出端与Conv-V的输入端相连接，Conv-V的输出端输出Head-IV。

CSP1_X的网络结构包括CBS-X、CBS-XI、Resunit组件、Concat-VII、CBS-XII；CSP1_X的输入数据分别输入CBS-X和CBS-XI，CBS-X的输出端与Resunit组件的输入端相连接，Resunit组件的输出端、CBS-XI的输出端均与Concat-VII的输入端相连接，Concat-VII的输出端与CBS-XII的输入端相连接，CBS-XII的输出端用于输出CSP1_X的输出结果；

Resunit组件包括X个Resunit，X个Resunit的输入端均与CBS-X的输出端相连接，X个Resunit的输出端均与Concat-VII的输入端相连接。

所述CSP2_1的网络结构包括CBS-XIII、CBS-XIV、CBS-XV、Concat-VIII、CBS-XVI；CSP2_1的输入数据分别输入CBS-XIII和CBS-XV，CBS-XIII的输出端与CBS-XIV的输入端相连接，CBS-XIV的输出端、CBS-XV的输出端均与Concat-VIII的输入端相连接，Concat-VIII的输出端与CBS-XVI的输入端相连接，CBS-XVI的输出端用于输出CSP2_1的输出结果。

所述SPP的网络结构包括CBS-XVII、MaxPool-I、MaxPool-II、MaxPool-III、Concat-IX、CBS-XVIII；SPP的输入数据输入CBS-XVII，CBS-XVII的输出端分别与MaxPool-I、MaxPool-II、MaxPool-III、Concat-IX的输入端相连接，MaxPool-I、MaxPool-II、MaxPool-III的输出端均与Concat-IX的输入端相连接，Concat-IX的输出端与CBS-XVIII的输入端相连接，CBS-XVIII的输出端用于输出SPP的输出结果。

CBS的网络结构为Conv-BN-SiLU。

本实施例的输入图像尺寸为640×640，首先对输入图像进行浅层特征提取，然后通过坐标注意力机制来锁定重点关注的候选区域，坐标注意力作为一种新的高效注意力机制，主要思想是将位置信息嵌入到通道注意力，可以使模型更加精准的定位和识别重要信息。坐标注意力模块结构如图3所示。首先将位置信息嵌入通道注意力中，使得轻量级网络能够获得更大区域的信息，减少了注意力模块的参数量同时避免了过多的计算开销。在坐标信息嵌入过程中，对X方向的输入采用尺寸为(H，1)和(1，W)的池化核沿着水平坐标方向和垂直坐标方向对每个通道进行编码，H，W分别为当前注意力模块对应的输入特征图的高度和宽度，数值会随着网络的下采样而改变，高度为h的第c个通道的输出如公式1所示：

类似的，宽度为w的第c个通道的输出如公式2所示：

利用两个一维全局池化操作将水平和垂直方向的输入特征分别聚合为两个独立的方向感知特征图，并分别编码为两个注意力图，每个注意力图都包含了输入特征图沿着一个空间方向的远距离依存关系，并保存沿着另一个空间方向的精确位置信息，使得网络能够更准确地获取感兴趣区域。然后，为了更好地利用坐标信息嵌入产生的具全局感受野并拥有精确位置，将X方向、Y方向平均池化的输出张量进行拼接，通过一个共享的1×1卷积操作进行F1变换，如公式3所示，生成的

是空间信息在水平方向和竖直方向的中间特征图，r表示下采样的步长，和SE模块一样用来控制模块的大小。

f＝δ(F₁([z^h,z^w]))  (3)

经归一化和非线性处理后，沿空间维度将f切分为两个独立的张量

和

之后利用两个1×1的卷积F_h和F_w将特征图f^h和f^W分别变换到和X输入相同的通道数，如式4和式5所示。

g^h＝δ(F_h(f^h)) (4)

g^w＝δ(F_w(f^w)) (5)

其中，σ代表sigmoid激活函数，采用这种方式来降低模型的复杂度并减少计算开销。最后对得到的结果进行拓展，采用矩阵相乘的方法求得最终的注意力权重矩阵，坐标注意力模块的最终输出如公式6所示。

为了提取更多的浅层目标用于改善小交通标志的检测效果，在网络中增加了针对小目标的检测层，也即小目标检测层。具体的模型结构如图4所示，在最后一个CBS模块后，继续对特征图进行上采样等处理，使得特征图继续扩大，将获取到的大小为160X160的特征图与骨干网络中第2层特征图进行concat融合，以此获取更大的特征图进行小目标检测。也即Head-I是通过小目标检测层输出的结构。本发明使用四个yolo头来预测四个不同尺度的交通标志的边界盒和类别。每个规模有三个锚点作为先验。一个yolo头的张量为M×M×[3×(N+4+1)]，用于N类预测、4个包围盒偏移和1个对象性预测。在本实施例中，N等于3所以一个yolo头的张量等于24。这些改进允许网络从原有特征图中获得更细粒度的信息，从深度特征图中获得更抽象的语义信息，以及更密集的锚定采样，有效提升小目标的检测精度。

S3：利用数据增强后的交通标志图像数据对改进的YOLOv5网络模型进行训练，得到检测模型；在训练过程中，用Alpha-IoU对原定位损失CIoU进行改进，通过调节α增加了高IoU目标的损失和梯度，进而提高了bbox回归精度。实现了在交通标志识别任务中对预测框与真实框之间更精确的损失计算。

改进的损失函数为：

其中，Alpha_IoU为损失函数值，IoU表示边界框和实际边界框的相似程度，α为附加的Power正则项，b表示预测框，c表示为数据集的类别个数，b^gt表示真实框。本实施例中α＝3。

S4：利用检测模型对待识别的图像进行预测，输出交通标志的位置以及交通标志所属的类别。

本发明在YOLOv5的基础上添加注意力机制和小目标检测层，解决了现有的交通标志识别模型检测速度与识别精度不均衡以及受遮挡目标和小目标难以检测的问题，提高算法的特征提取能力和检测效率。在CCTSDB 2021数据集上应用本模型，针对小目标，识别精度达到88.1％，召回率达到79.8％，与传统的YOLOv5s模型相比分别提高了12.5％和23.9％，在不同天气情况下均可有效检测出较小交通标识，且漏检率低、检测精度高。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种基于改进YOLOv5的复杂天气下小交通标志目标检测方法，其特征在于，其步骤如下：

S1：加载交通标志图像的数据集，并对数据集中的图像进行数据增强；

S2：构建改进的YOLOv5网络模型，并设置模型输入参数；

S3：利用数据增强后的交通标志图像数据对改进的YOLOv5网络模型进行训练，得到检测模型；

S4：利用检测模型对待识别的图像进行预测，输出交通标志的位置以及交通标志所属的类别。

2.根据权利要求1所述的基于改进YOLOv5的复杂天气下小交通标志目标检测方法，其特征在于，所述数据增强方法包括随机水平翻转、随机垂直翻转、随机平移和随机裁剪。

3.根据权利要求1所述的基于改进YOLOv5的复杂天气下小交通标志目标检测方法，其特征在于，所述改进的YOLOv5模型的网络结构为：Conv-I的输入端用于接收输入图像，Conv-I的输出端与CBS-I的输入端相连接，CBS-I的输出端与CSP1_1的输入端相连接，CSP1_1的输出端分别与CBS-II的输入端、Concat-III的输入端相连接，CBS-II的输出端与CSP1_3-I的输入端相连接，CSP1_3-I的输出端分别与CBS-III的输入端、Concat-IV的输入端相连接，CBS-III的输出端与CSP1_3-II的输入端相连接，CSP1_3-II的输出端分别与CBS-IV的输入端、Concat-V的输入端相连接，CBS-IV的输出端与SPP的输入端相连接，SPP的输出端与CSP2_1-I的输入端相连接，CSP2_1-I的输出端与CA的输入端相连接，CA的输出端与CSB-V的输入端相连接，CSB-V的输出端分别与Upsample-I的输入端、Concat-VI的输入端相连接，Upsample-I的输出端与Concat-I的输入端相连接，Concat-I的输出端与CSP2_1-II的输入端相连接，CSP2_1-II的输出端与CBS-VI的输入端相连接，CBS-VI的输出端分别与Upsample-II的输入端、Concat-IV的输入端相连接，Upsample-II的输出端与Concat-II的输入端相连接，Concat-II的输出端与CSP2_1-III的输入端相连接，CSP2_1-III的输出端与CBS-VII的输入端相连接，CBS-VII的输出端与Upsample-III的输入端相连接，Upsample-III的输出端与Concat-III的输入端相连接，Concat-III的输出端与CSP2_1-IV的输入端相连接，CSP2_1-IV的输出端与Conv-II的输入端相连接，Conv-II的输出端输出Head-I；Concat-IV的输出端与CSP2_1-V的输入端相连接，CSP2_1-V的输出端分别与Conv-III的输入端、CBS-VIII的输入端相连接，Conv-III的输出端输出Head-II；CBS-VIII的输出端与Concat-V的输入端相连接，Concat-V的输出端与CSP2_1-VI的输入端相连接，CSP2_1-VI的输出端分别与Conv-IV的输入端、CBS-IX的输入端相连接，Conv-IV的输出端输出Head-III；CBS-IX的输出端与Concat-VI的输入端相连接，Concat-VI的输出端与CSP2_1-VII的输入端相连接，CSP2_1-VII的输出端与Conv-V的输入端相连接，Conv-V的输出端输出Head-IV。

4.根据权利要求3所述的基于改进YOLOv5的复杂天气下小交通标志目标检测方法，其特征在于，所述Head-I是通过小目标检测层输出的结构。

5.根据权利要求1所述的基于改进YOLOv5的复杂天气下小交通标志目标检测方法，其特征在于，所述对改进的YOLOv5网络模型进行训练时的损失函数为：

其中，Alpha_IoU为损失函数值，IoU表示边界框和实际边界框的相似程度，α为附加的Power正则项，b表示预测框，c表示为数据集的类别个数，b^gt表示真实框。

Images