CN110852243B - 一种基于改进YOLOv3的道路交叉口检测方法及装置 - Google Patents

Abstract

本发明涉及一种基于改进YOLOv3的道路交叉口检测方法及装置，其主要是先获取道路图像；之后进行网络训练，构建改进的YOLOv3网络模型；所述改进的YOLOv3网络模型包括特征提取端和特征检测端，所述特征检测端包括多个通道，每个通道中，将对应的卷积模块先进行横向拓宽，生成不同的特征图，然后再进行纵向聚合；采用所述改进的YOLOv3网络模型对待检测的道路图像进行识别，并输出结果。即本发明通过对改进的YOLOv3特征检测端的每个通道中的卷积模块先进行横向拓宽，生成不同的特征图，然后再进行纵向聚合，能够使每个通道的卷积模块的网络宽度更宽，增强网络的表达能力，从而降低复杂遥感场景下对小尺寸道路交叉口的检测难度很大，提高检测精度。

Description

一种基于改进YOLOv3的道路交叉口检测方法及装置

技术领域

本发明属于图像处理技术领域，具体涉及一种基于改进YOLOv3的道路交叉口检测方法及装置。

背景技术

道路交叉口作为道路连接的枢纽，为道路网的快速构建提供准确的位置、方向、拓扑关系等重要信息。在道路网提取过程中，受到多种复杂因素的干扰，提取的道路会出现不连续现象。此时，以道路交叉口的位置作为基点，利用方向和拓扑关系等信息可以辅助和指导道路网的构建。

但是，基于道路交叉口在遥感影像中一般为形状较小的面状目标的特点，其常用的检测算法主要依据纹理、形状、灰度等特征来进行检测，这对于背景简单、轮廓特征较明显的道路交叉口有不错的检测效果，但在复杂遥感场景下对小尺寸道路交叉口的检测难度很大，且需要引入较多的人工干预，自动化程度和检测精度不高。

发明内容

本发明的目的在于提供一种基于改进YOLOv3的道路交叉口检测方法及装置，用于解决复杂遥感场景下对小尺寸道路交叉口的检测难度很大，检测精度不高的问题。

为解决上述技术问题，本发明的技术方案为：一种基于改进YOLOv3的道路交叉口检测方法，包括以下步骤：

1)，获取道路图像；

2)，进行网络训练，构建改进的YOLOv3网络模型；所述改进的YOLOv3网络模型包括特征提取端和特征检测端，所述特征检测端包括多个通道，每个通道中，将对应的卷积模块先进行横向拓宽，生成不同的特征图，然后再进行纵向聚合；

3)，采用所述改进的YOLOv3网络模型对待检测的道路图像进行识别，并输出结果。

本发明的有益效果为：通过对改进的YOLOv3特征检测端的每个通道中的卷积模块先进行横向拓宽，生成不同的特征图，然后再进行纵向聚合，能够使每个通道的卷积模块的网络宽度更宽，增强网络的表达能力，从而降低复杂遥感场景下对小尺寸道路交叉口的检测难度很大，提高检测精度。

进一步的，所述特征提取端的激活函数为：

其中，x_i为特征值；

μ为动量因子，ε为学习率，∈为常数，a_i的初始化值为0.25，变化范围在(0,1)之间。

进一步的，所述对每个通道的卷积模块进行拓宽的方式包括：对称拓宽和不对称拓宽。

本发明还提供了一种基于改进YOLOv3的道路交叉口检测装置，包括处理器和存储器，处理器连接有用于获取道路图像的采集接口；所述处理器执行存储在存储器中的如下方法指令：

1)，获取道路图像；

2)，进行网络训练，构建改进的YOLOv3网络模型；所述改进的YOLOv3网络模型包括特征提取端和特征检测端，所述特征检测端包括多个通道，每个通道中，将对应的卷积模块先进行横向拓宽，生成不同的特征图，然后再进行纵向聚合；

3)，采用所述改进的YOLOv3网络模型对待检测的道路图像进行识别，并输出结果。

进一步的，所述特征提取端的激活函数为：

其中，x_i为特征值；

μ为动量因子，ε为学习率，∈为常数，a_i的初始化值为0.25，变化范围在(0,1)之间。

进一步的，所述对每个通道的卷积模块进行拓宽的方式包括：对称拓宽和不对称拓宽。

附图说明

图1是本发明的改进的YOLOv3网络模型的示意图；

图2是本发明的改进的YOLOv3网络模型的对称拓宽的对称卷积模块通道；

图3是本发明的YOLOv3网络模型的不对称拓宽的不对称卷积模块通道；

图4是本发明的YOLOv3网络模型的多尺度特征融合示意图；

图5-1是现有的YOLOv3网络模型测试曲线；

图5-2是本发明的改进的YOLOv3网络模型测试曲线；

图6-1是现有的YOLOv3网络模型遮挡环境下的道路交叉口检测结果图；

图6-2是本发明的改进的YOLOv3网络模型的遮挡环境下的道路交叉口检测结果图；

图7-1是现有的YOLOv3网络模型背景颜色相近环境下的道路交叉口检测结果图；

图7-2是本发明的改进的YOLOv3网络模型背景颜色相近环境下的道路交叉口检测结果图；

图8-1是现有的YOLOv3网络模型密集道路交叉口的检测结果图；

图8-2是本发明的改进的YOLOv3网络模型的密集道路交叉口的检测结果图。

具体实施方式

为了详细阐述本发明的目的、技术方案和优点，以下结合具体实施步骤和附图，对本发明进行进一步详细说明。

道路交叉口检测方法实施例

本发明提供了一种基于改进的YOLOv3的道路交叉口检测方法，其主要是先采集道路图像；进行网络训练，构建改进的YOLOv3网络模型；改进的YOLOv3网络模型包括特征提取端和特征检测端，特征检测端包括多个通道，每个通道中，将对应的卷积模块先进行横向拓宽，生成不同的特征图，然后再进行纵向聚合；采用所述改进的YOLOv3网络模型对待检测的道路图像进行识别，并输出结果。

具体的，本发明的基于改进YOLOv3的道路交叉口检测方法，包括以下步骤：

(1)道路图像数据获取。

通过影像数据库、高德地图、谷歌地图等数据平台采集了3106张包含十字、丁字、X形、Y形、错位、环形、多路7种常见的道路交叉口影像，影像分辨率在0.5米至2.5米之间，尺寸为416×416像素。

在计算机视觉中，面状目标通常以边框形式表达。为了获取目标准确的边框标签信息，利用LambIng平台以人工方式对目标逐一进行标注，获取边框的中心点坐标、宽高以及所属类别等信息，存储在与影像对应的xml文件中。

最后将整个数据集以1：2:7的比例划分为测试集、验证集和训练集。

(2)构建改进的YOLOv3网络模型，并对其进行网络训练。

YOLOv3网络属于一种基于端到端的目标检测网络，包括特征提取端Darknet和特征检测端yolo两部分。其中，特征提取端Darknet是由52个卷积模块和23个残差模块构成的深度网络，其任务是对原始图像逐层提取特征，形成不同尺度的语义特征图。

本实施例的改进的YOLOv3网络模型是在现有的YOLOv3网络的基础上进行了进一步的改进，其改进有以下两点：

1、在卷积模块中采用PReLU函数来激活卷积层。

相对于LReLU函数采用固定小斜率的线性函数将负特征映射为弱特征的方式，PReLU函数是根据数据特性而自动调整线性函数的斜率，保留更多与目标相关的负特征。

PReLU函数定义表达式如下：

式(1)所示，当特征值大于0时，PReLU函数进行恒等映射，当特征值小于0时，则进行非固定线性映射。

在神经网络反向传播过程中，通过利用动量因子和网络的学习率来更新斜率a_i。式(2)中μ为动量因子，ε为学习率，∈为常数，a_i的初始化值为0.25，变化范围在(0,1)之间。

本实施例中的PReLU函数，在复杂遥感场景下，假如检测边框内存在较多相似的干扰因素，其在反向传播过程中不断增大线性函数的斜率，提高负特征的关注度，将道路交叉口特征与干扰因素建立相关性。在特征检测端对目标进行分类回归时，综合上下文的语义信息与负特征，可在一定程度上解决相似干扰因素下的道路交叉口检测问题。

2、对特征检测端中的每个通道的卷积模块进行拓宽的方式包括：对称拓宽和不对称拓宽。

具体的，在输出层Contact之前的卷积层中设置了3种并列的卷积层，如图2所示，卷积核大小依次为3×3、1×1和3×3、3×3；也即以1×1和3×3的卷积核在横向上构建3个卷积通道，每个通道经过卷积运算后生成不同尺寸的特征图。在每个卷积层后加入BN层和PReLU激活函数，其中，BN层是在深度神经网络训练过程中使得每一层神经网络的输入保持相同分布的正则化函数，可提高梯度下降的速度与准确率，PReLU激活函数对特征数据进行线性激活。最终3种卷积层输出相同通道数目的同等大小尺寸的特征图；为了保证尺寸相同，卷积操作中采用SAME算法填充特征图边框(或者边框补零的设置)，随后将尺寸相同的特征图输入到输出层Contact中进行合并操作。

上述实施例中的BN函数与PReLU函数是在每个卷积核之后设置的，其实际上是与卷积层相结合在一起的，也可认为卷积层中包括BN层和PReLU函数的。

上述实施例中的3种并列的卷积层组成了对称卷积模块，如图3所示。当然作为其他实施方式，将上述中的其中一个3×3替换为1×3和3×1卷积核，可以构造出非对称卷积模块。

需要说明的是，本实施例中的特征图尺寸在12×12至12×20时，非对称卷积模块的提取效果好于对称卷积模块，并可减少1/3的网络参数量。因此，本发明中在特征图尺寸为13×13的第1个检测通道中，采用非对称卷积模块；而在其它大尺度的通道上采用对称卷积模块。

因此，本发明中的改进后的YOLOv3网络整体结构如图1所示，图中Convolutional-0表示对称卷积模块，Convolutional-1表示非对称卷积模块，Convolutional-Set为5个卷积模块的组合。

另外，本实施例中在进行道路图像的特征提取时，采用多尺度融合方法；该多尺度融合方法包括自下而上的路径，自上而下的路径和横向连接；其中的自下而上的路径是网络Darknet的前馈计算，由多个尺度的特征图组成的特征层次结构，其缩放步长为2；选择同一网络阶段的最后一层的输出作为的参考特征映射集；自上而下的路径通过特征尺度放大迁移融合，然后通过所述横向连接从自下而上的路径增强这些特征；每个横向连接合并来自自下而上路径和自上而下路径的相同空间大小的特征图。

具体的，如图4所示，本实施例中的多尺度融合，一是将Darknet网络最后一层输出的13×13特征图输入到YOLO中的第1个通道，对大目标进行检测；二是将13×13大小的特征图向下传递到第2个通道，经过上采样操作后与Darknet输出的26×26特征图进行融合，然后对次大目标进行检测；三是将第2个通道的特征图继续向第3个通道传递，上采样后与52×52特征图融合，对次小目标进行检测；四是将第3通道的52×52特征图进行最后一次上采样，与104×104特征图融合后进行小目标的检测，实现了多尺寸融合后的特征提取。

基于上述建立的改进的YOLOv3网络模型，利用道路图像数据中的训练集，在特征提取端利用Darknet网络在MSCOCO数据集上训练得到的模型来初始化参数。

其中，训练的总迭代次数设定为30000次，采用Adam优化算法来更新权值梯度，迭代批量大小为32，动量参数为0.9，前20000次迭代的学习率为0.0001，后10000次迭代的学习率降为0.00005。

具体的，改进的YOLOv3网络模型的训练过程为：

1)导入训练数据：将样本图像按照顺序和比例分别生成训练文件train.txt、验证文件val.txt、和测试文件test.txt，将这3个文件与标注数据、样本图像一起作为训练数据导入到网络中；

2)选择预训练模型：将Darknet网络在MSCOCO数据集上训练得到的模型作为预训练模型，来初始化特征提取端的网络参数。

3)网络训练：进行网络迭代训练，在训练过程中，将训练实时的准确率、loss值、召回率等指标存储在训练日志中。

4)最后得到训练后的改进的YOLOv3网络模型。

3、采用已训练好的改进的YOLOv3网络模型对待测道路图像(测试集)进行道路交叉口检测。

为了验证算法的有效性，本发明中将改进前后的网络在道路交叉口数据集上训练与调优，然后在多源遥感影像上对多个类型交叉口进行检测。

为准确评估本发明的改进的YOLOv3网络的算法，通过实验综合准确率、查全率、PR曲线、平均准确率AP(Average-Precision)和平均准确率均值mAP来衡量模型的检测性能。

其中的指标计算公式为：

其中，TP为检测正确的道路交叉口数量；FP为检测结果与实际不符的道路交叉口数量；FN为未检测到的道路交叉口数量；N为道路交叉口的类别数；P_re为检测准确率，表示检测正确的道路交叉口在所有检测结果中的占比率；R_ec为查全率，表示检测正确的道路交叉口数量在所有道路交叉口中的占比率；PR曲线综合了准确率与查全率的评价标准，以查全率为横坐标轴，准确率为纵坐标轴，曲线与横纵坐标轴围城区域面积为AP值；mAP为平均准确率均值，用于衡量网络对整个测试集的检测效果。

图5-1和图5-2分别为改进前后YOLOv3网络训练得到的模型在测试集上依据准确率和查全率而绘制的PR曲线，测试集涵盖了十字(crossing)、丁字(tjunction)、错位(malposed)、X型(xshape)、Y型(yshape)、环形(roundabout)和多路(multiple)7种类型道路交叉口。

与图5-1中的PR曲线相比，图5-2的PR曲线更加平滑，检测准确率P_re与查全率R_ec都有一定提升，平均准确率均值mAP提高3.17％。不同类型道路交叉口在遥感影像中的相对尺寸有所不同，其中尺寸最小的为丁字交叉口，检测效果提升最为明显，AP值提高了8％；对于尺寸偏大的十字、错位、X型和Y型4类道路交叉口，AP值分别提高3.01％、3.25％、4.5％、2.08％；尺寸最大的环形和多路交叉口在两个网络模型上的测试结果相近，AP值提高不到1％。

实验结果表明：以道路交叉口测试集为实验数据，本文改进的YOLOv3网络有较强的鲁棒性，测试结果相对稳定，同时，网络通过增强目标细节特征的提取，对小尺寸道路交叉口目标的表达能力得到了明显的提高。

为了验证算法对复杂环境下道路交叉口检测的有效性，在测试集中挑选存在较多干扰因素的影像，并基于改进前后的YOLOv3网络模型进行测试。

对于乡镇居民区的水泥道路，部分道路交叉口被周围树木遮挡，轮廓特征不完整进行基于改进前后的YOLOv3网络模型的测试，检测结果如图6-1和图6-2所示；对于道路与邻近建筑物颜色相近，在地物背景的干扰下道路交叉口特征不明显的道路交叉口进行基于改进前后的YOLOv3网络模型的测试，检测结果如图7-1和图7-2所示。基于改进前的YOLOv3网络对2张影像的检测结果，如图6-1与7-1所示，共有9个受干扰影响的道路交叉口未被识别，漏检率较高；基于改进的YOLOv3网络的检测结果，如图6-2与7-2所示，准确识别了部分轮廓特征不明显的道路交叉口，提高了复杂环境下的道路交叉口检测效果。

为验证算法的适用性，在Google Earth平台上随机截取城市影像作为测试数据，基于改进前后的YOLOv3模型分别进行迁移测试，检测结果如图8-1和图8-2所示。

图8-1和8-2的影像的空间分辨率约为1米，对应的实地面积为1760m×1096m，包含十字、丁字、错位和X形4种类型的65个道路交叉口。由于影像中错位和X形道路交叉口数量偏少，避免指标虚高的问题，在计算查全率与平均准确率时将所有类别道路交叉口归为一类，各评价指标统计如表1所示。

表1 YOLOv3与改进YOLOv3检测性能对比

由表1可知，与YOLOv3算法相比，本文改进的YOLOv3算法在密集道路交叉口检测中有明显的优势，降低了漏检和错检的数量，平均准确率提高12.18％。实验结果表明：本文改进的YOLOv3算法可将数据集中道路交叉口特征有效地进行迁移，对其它道路影像有较强的适用性。从统计结果看，道路交叉口检测的平均准确率较高，可为道路网的快速构建提供辅助信息。

道路交叉口的检测装置实施例

本发明还提供了一种基于改进YOLOv3的道路交叉口检测装置，该装置实际上为计算机等具备数据处理能力的设备，该设备包括处理器和存储器，处理器连接有用于获取道路图像的采集接口，该处理器可以是通用处理器，还可以是数字信号处理器、专用集成电路等，该处理器用于执行指令实现本发明的道路交叉口检测方法，具体方法见上述介绍的方法实施例，这里不再赘述。

尽管本发明的内容已经通过上述优选实施例作了详细介绍，但应当认识到上述的描述不应被认为是对本发明的限制。在本领域技术人员阅读了上述内容后，对于本发明的多种修改和替代都将是显而易见的。因此，本发明的保护范围应由所附的权利要求来限定。

Claims (4)

1.一种基于改进YOLOv3的道路交叉口检测方法，其特征在于，包括以下步骤：

1)，获取道路图像；

2)，进行网络训练，构建改进的YOLOv3网络模型；所述改进的YOLOv3网络模型包括特征提取端Darknet和特征检测端yolo两部分，所述特征检测端yolo包括四个通道，每个通道中，将对应的卷积模块先进行横向拓宽，生成不同的特征图，然后再进行纵向聚合；

所述卷积模块为对称卷积模块或非对称卷积模块；卷积核为3×3、1×1和3×3的3种并列的卷积层组成了对称卷积模块，将所述对称卷积模块中的一个3×3卷积核替换为1×3和3×1卷积核，构成非对称卷积模块；每个通道经过卷积运算后生成不同尺寸的特征图；对于特征图尺寸位于12×12至12×20范围内的通道，采用非对称卷积模块，其他尺度的通道上采用对称卷积模块；

在进行特征提取时，采用多尺度融合方法，具体是：一是将Darknet网络最后一层输出的尺寸为13×13的特征图输入到YOLO中的第1个通道，对大目标进行检测；二是将尺寸为13×13的特征图向下传递到第2个通道，经过上采样操作后与Darknet网络输出的尺寸为26×26的特征图进行融合，然后对次大目标进行检测；三是将第2个通道的特征图继续向第3个通道传递，上采样后与尺寸为52×52的特征图融合，对次小目标进行检测；四是将第3通道的尺寸为52×52的特征图进行最后一次上采样，与第4通道的尺寸为104×104的特征图融合后进行小目标的检测，实现了多尺度融合后的特征提取；

3)，采用所述改进的YOLOv3网络模型对待检测的道路图像进行识别，并输出结果。

2.根据权利要求1所述的基于改进YOLOv3的道路交叉口检测方法，其特征在于，所述特征提取端的激活函数为：

其中，x_i为特征值；

μ为动量因子，ε为学习率，∈为常数，a_i的初始化值为0.25，变化范围在(0,1)之间。

3.一种基于改进YOLOv3的道路交叉口检测装置，包括处理器和存储器，处理器连接有用于获取道路图像的采集接口；其特征在于，所述处理器执行存储在存储器中的如下方法指令：

1)，获取道路图像；

2)，进行网络训练，构建改进的YOLOv3网络模型；所述改进的YOLOv3网络模型包括特征提取端Darknet和特征检测端yolo两部分，所述特征检测端yolo包括四个通道，每个通道中，将对应的卷积模块先进行横向拓宽，生成不同的特征图，然后再进行纵向聚合；

所述卷积模块为对称卷积模块或非对称卷积模块；卷积核为3×3、1×1和3×3的3种并列的卷积层组成了对称卷积模块，将所述对称卷积模块中的一个3×3卷积核替换为1×3和3×1卷积核，构成非对称卷积模块；每个通道经过卷积运算后生成不同尺寸的特征图；对于特征图尺寸位于12×12至12×20范围内的通道，采用非对称卷积模块，其他尺度的通道上采用对称卷积模块；

在进行特征提取时，采用多尺度融合方法，具体是：一是将Darknet网络最后一层输出的尺寸为13×13的特征图输入到YOLO中的第1个通道，对大目标进行检测；二是将尺寸为13×13的特征图向下传递到第2个通道，经过上采样操作后与Darknet网络输出的尺寸为26×26的特征图进行融合，然后对次大目标进行检测；三是将第2个通道的特征图继续向第3个通道传递，上采样后与尺寸为52×52的特征图融合，对次小目标进行检测；四是将第3通道的尺寸为52×52的特征图进行最后一次上采样，与第4通道的尺寸为104×104的特征图融合后进行小目标的检测，实现了多尺度融合后的特征提取；

3)，采用所述改进的YOLOv3网络模型对待检测的道路图像进行识别，并输出结果。

4.根据权利要求3所述的基于改进YOLOv3的道路交叉口检测装置，其特征在于，所述特征提取端的激活函数为：

其中，x_i为特征值；

μ为动量因子，ε为学习率，∈为常数，a_i的初始化值为0.25，变化范围在(0,1)之间。

Images