CN109858349B - 一种基于改进yolo模型的交通标志识别方法及其装置 - Google Patents

Abstract

本发明公开了一种基于改进YOLO模型的交通标志识别方法及其装置。在原有的YOLO模型训练网络中加入特征转移网络，保持原有卷积训练路径的同时，将C1－C5层的输出特征同时发送至特征转移网络中提取出转移特征，并将转移特征与C6层的输出特征进行元素求和得出聚合特征，将聚合特征作为C7层的输入特征进行训练，通过加入的特征转移网络，通过提取转移特征的形式实现了中高层和底层的特征聚合，使C7层的输出特征图能包含更多特征，有效提高了对小尺寸图形的识别能力，提高了识别交通标志的准确性。

Description

一种基于改进YOLO模型的交通标志识别方法及其装置

技术领域

本发明涉及神经网络算法领域，特别是一种基于改进YOLO模型的交通标志识别方法及其装置。

背景技术

目前，无人驾驶已经成为了汽车行业发展的重要方向，而无人驾驶的车辆要在道路上正常行驶，除了要有准确的路线规划和导航，还需要准确按照道路上的交通标志进行行驶，由于交通标志具有一定的随机性，在遇到道路临时施工或者交通管制的情况未必能及时同步信息至服务器中，因此需要对交通标志进行实时的图形识别，以确保行车安全。

传统技术中大多数采用viola－jones的方法或者基于颜色和形状模型的方法进行识别，这两种方法虽然能够完成交通标志的识别，但是算法复杂度高，检测精度容易受到天气等自然场景影响，应用的成本过高，且适用条件较为苛刻。而R－CNN和Fast－CNN等基于区域推荐的目标检测算法虽然具有较好的精准度，但是需要对输入进行反复多次计算，处理速度太慢，不符合无人驾驶需要较好的实时性和运算速度的要求。

为了保证交通标志识别的时效性，现有方案大多数采用YOLO模型对输入图像进行训练，通过得出的预测值预测交通标志所属的分类，从而完成识别。YOLO模型的训练网络为包括C1－C7共7层卷积训练层和两层全连接层的CNN模型，因此能够以较快的速度完成识别，但是交通标志通常只占采集到的原始图像中很小的一部分，而特征图每经过一层卷积层，其大小会不断缩小，因此采用现有的YOLO模型方法在经过多层卷积后很容易丢失较小图像的特征，影响交通标志识别的成功率。

发明内容

为了克服现有技术的不足，本发明的目的在于提供一种基于改进YOLO模型的交通标志识别方法及其装置，在实际应用中能够在提高基于YOLO模型的特征提取精度，实现准确识别原始图片中的交通标志。

本发明解决其问题所采用的技术方案是：

第一方面，本发明提供了一种基于改进YOLO模型的交通标志识别方法，包括以下步骤：

读取原始图像，对原始图像进行预处理后发送至特征提取网络中，所述特征提取网络中包括CNN训练网络和特征转移网络；

获取所述CNN训练网络中C1－C5层的输出特征图，分别发送至特征转移网络中计算出转移特征；

将所述转移特征和C6层的输出特征进行元素求和，得出聚合特征，并将聚合特征作为输入特征发送至C7层中进行训练；

将C7层输出的训练特征图发送至全连接层中计算出预测值，根据所述预测值完成交通标志的识别。

进一步，所述对原始图像进行预处理包括将原始图像调整至448×448像素。

进一步，所述特征转移网络中包括特征转移卷积层，所述特征转移卷积层的数量为5。

进一步，所述特征转移卷积层与C6层的参数满足以下关系：

其中，a×a为特征转移卷积层的卷积核大小，m和n分别为特征转移卷积层的输入特征图的宽和长，b和d分别为特征转移卷积层的通道数和步长；o、p和c分别为C6层的输出特征图的宽、长和通道数。

进一步，所述C7层的输入特征满足以下关系：

其中，f_CY为第Y层训练层的输出特征，FTC为特征转移卷积层输出的转移特征，所述Y的值的范围为1－5；f_C6为C6练层的输出特征。

第二方面，本发明提供了一种基于改进YOLO模型的交通标志识别装置，包括以下装置：

预处理单元，用于读取原始图像，对原始图像进行预处理后发送至特征提取网络中，所述特征提取网络中包括CNN训练网络和特征转移网络；

转移特征获取单元，用于获取所述CNN训练网络中C1－C5层的输出特征图，分别发送至特征转移网络中计算出转移特征；

聚合特征获取单元，用于将所述转移特征和C6层的输出特征进行元素求和，得出聚合特征，并将聚合特征作为输入特征发送至C7层中进行训练；

交通标志识别单元，用于将C7层输出的训练特征图发送至全连接层中计算出预测值，根据所述预测值完成交通标志的识别。

第三方面，本发明提供了一种基于改进YOLO模型的交通标志识别设备，包括至少一个控制处理器和用于与至少一个控制处理器通信连接的存储器；存储器存储有可被至少一个控制处理器执行的指令，指令被至少一个控制处理器执行，以使至少一个控制处理器能够执行如上所述的基于改进YOLO模型的交通标志识别方法。

第四方面，本发明提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机可执行指令，计算机可执行指令用于使计算机执行如上所述的基于改进YOLO模型的交通标志识别方法。

第五方面，本发明还提供了一种计算机程序产品，所述计算机程序产品包括存储在计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，使计算机执行如上所述的基于改进YOLO模型的交通标志识别方法。

本发明实施例中提供的一个或多个技术方案，至少具有如下有益效果：本发明采用了一种基于改进YOLO模型的交通标志识别方法及其装置。在原有的YOLO模型训练网络中加入特征转移网络，保持原有卷积训练路径的同时，将C1－C5层的输出特征同时发送至特征转移网络中提取出转移特征，并将转移特征与C6层的输出特征进行元素求和得出聚合特征，将聚合特征作为C7层的输入特征进行训练，并根据训练出的结果完成交通标志的识别。对比起现有基于YOLO模型的方法，本发明加入了特征转移网络，通过提取转移特征的形式实现了中高层和底层的特征聚合，使C7层的输出特征图能包含更多特征，有效提高了对小尺寸图形的识别能力，提高了识别交通标志的准确性。

附图说明

下面结合附图和实例对本发明作进一步说明。

图1是本发明实施例一提供的一种基于改进YOLO模型的交通标志识别方法的流程图；

图2是本发明实施例一提供的一种基于改进YOLO模型的交通标志识别方法的原理图；

图3是本发明实施例一提供的一种基于改进YOLO模型的交通标志识别方法的完整步骤图；

图4是本发明实施例二提供的一种基于改进YOLO模型的交通标志识别装置的装置示意图；

图5是本发明实施例三提供的一种基于改进YOLO模型的交通标志识别设备的结构示意图。

具体实施方式

目前，无人驾驶已经成为了汽车行业发展的重要方向，而无人驾驶的车辆要在道路上正常行驶，除了要有准确的路线规划和导航，还需要准确按照道路上的交通标志进行行驶，由于交通标志具有一定的随机性，在遇到道路临时施工或者交通管制的情况未必能及时同步信息至服务器中，因此需要对交通标志进行实时的图形识别，以确保行车安全。

传统技术中大多数采用viola－jones的方法或者基于颜色和形状模型的方法进行识别，Viola－jones使用AdaBoost算法训练一系列二进制线性分类器，然后在测试图像中执行滑动窗口对交通标志进行检测，对分类器具有最高响应的窗口位置被视为检测到的标志位置；基于颜色和形状模型的方法首先使用颜色和形状特征来检测图像中的边缘，然后将边缘连接起来形成规则的多边形或者圆形，通过霍夫圆变换来进行模板匹配；这两种方法虽然能够完成交通标志的识别，但是算法复杂度高，检测精度容易受到天气等自然场景影响，应用的成本过高，且适用条件较为苛刻。而R－CNN和Fast－CNN等基于区域推荐的目标检测算法虽然具有较好的精准度，但是需要对输入进行反复多次计算，处理速度太慢，不符合无人驾驶需要较好的实时性和运算速度的要求。

为了保证交通标志识别的时效性，现有方案大多数采用YOLO模型对输入图像进行训练，通过得出的预测值预测交通标志所属的分类，从而完成识别。YOLO模型的训练网络为包括C1－C7共7层卷积训练层和两层全连接层的CNN模型，因此能够以较快的速度完成识别，但是交通标志通常只占采集到的原始图像中很小的一部分，而特征图每经过一层卷积层，其大小会不断缩小，因此采用现有的YOLO模型方法在经过多层卷积后很容易丢失较小图像的特征，从而无法识别出交通标志。

基于此，本发明采用了一种基于改进YOLO模型的交通标志识别方法及其装置。在原有的YOLO模型训练网络中加入特征转移网络，保持原有卷积训练路径的同时，将C1－C5层的输出特征同时发送至特征转移网络中提取出转移特征，并将转移特征与C6层的输出特征进行元素求和得出聚合特征，将聚合特征作为C7层的输入特征进行训练，并根据训练出的结果完成交通标志的识别。对比起现有基于YOLO模型的方法，本发明加入了特征转移网络，通过提取转移特征的形式实现了中高层和底层的特征聚合，使C7层的输出特征图能包含更多特征，有效提高了对小尺寸图形的识别能力，提高了识别交通标志的准确性。

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

需要说明的是，如果不冲突，本发明实施例中的各个特征可以相互结合，均在本发明的保护范围之内。另外，虽然在装置示意图中进行了功能模块划分，在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于装置中的模块划分，或流程图中的顺序执行所示出或描述的步骤。

参照图1和图2，本发明实施例的第一方面，本发明提供了一种基于改进YOLO模型的交通标志识别方法，包括以下步骤：

步骤S1，读取原始图像，对原始图像进行预处理后发送至特征提取网络中，所述特征提取网络中包括CNN训练网络和特征转移网络；

步骤S2，获取所述CNN训练网络中C1－C5层的输出特征图，分别发送至特征转移网络中计算出转移特征；

步骤S3，将所述转移特征和C6层的输出特征进行元素求和，得出聚合特征，并将聚合特征作为输入特征发送至C7层中进行训练；

步骤S4，将C7层输出的训练特征图发送至全连接层中计算出预测值，根据所述预测值完成交通标志的识别。

其中，在本实施例的步骤S1中，可以对原始图像进行预处理，也可以直接输入原始图像，本实施例中优选对原始图像进行预处理，有利于保证输入的图像符合特征提取网络的输入要求，提高训练的效率。

其中，在本实施例中，特征提取网络中的CNN训练网络为传统YOLO模型中的CNN训练网络，即如图2所示的输入层－C1－C7－全连接层－输出层，包括24个卷积层和2个全连接层。其中，C1层的卷积层参数为7×7×64－s－2；C2层的卷积层参数为3×3×192；C3层为包括4个卷积层的卷积块，其卷积层参数分别为1×1×128、3×3×256、1×1×256和3×3×512；C4层为包括10个卷积层的卷积块，包括4个参数为1×1×256的卷积层、4个参数为3×3×512的卷积层、1个参数为1×1×512的卷积层和1个参数为3×3×1024的卷积层；C5层为包括6个卷积层的卷积块，包括2个参数为1×1×512的卷积层、2个参数为3×3×1024的卷积层、1个参数为3×3×1024的卷积层和1个参数为3×3×1024－s－2的卷积层；C6层包括2个卷积层参数为3×3×1024的卷积层；其中，C1－C4层中还分别包括参数为2×2－s－2的最大池化层。

其中，如图2所示，在本实施例中，保持原有的CNN训练网络的输入输出的同时，优选将C1－C5的输出特征发送至特征转移网络进行特征转移连接(FTC，FeatureTransferConnection)，即通过卷积核为1×1的卷积层进行再一次的特征提取，得到转移特征，由于随着卷积深度的加深，特征图会变得越来越小，通过提取低层训练网络的转移特征，能够有效地保留低层网络中的特征，通过将转移特征与C6层的输出特征进行元素求和后得出聚合特征，则聚合特征中除了包含经过6层卷积训练层训练出的特征，也包括了C1－C5层输出的特征，即加深了C7层输入特征的深度，从而使训练出的特征图能够包含缩放前的所有特征，从而确保能识别出原始图像中较小的交通标志图。

进一步，在本发明的另一个实施例中，所述对原始图像进行预处理包括将原始图像调整至448×448像素。

其中，在本实施例中，可以将原始图像调整至任意像素，本实施例中优选调整至448×448，从而在经过CNN训练网络后得出维度为7×7×30的特征图，能更好地进行特征分类。

进一步，在本发明的另一个实施例中，所述特征转移网络中包括特征转移卷积层，所述特征转移卷积层的数量为5。

其中，在本实施例中，特征转移卷积层的数量可以是任意数量，本实施例中优选5个，即对C1－C5层的输出进行特征转移，由于C6层的输出直接输入至C7层，且本实施例中特征转移卷积层的卷积核为1×1，因此无需对C6层的输出特征进行特征转移。

进一步，在本发明的另一个实施例中，所述特征转移卷积层与C6层的参数满足以下关系：

其中，a×a为特征转移卷积层的卷积核大小，m和n分别为特征转移卷积层的输入特征图的宽和长，b和d分别为特征转移卷积层的通道数和步长；o、p和c分别为C6层的输出特征图的宽、长和通道数。

其中，在本实施例中，特征转移卷积层的参数是任意参数，本实施例中优选与C6层满足上述关系，由于C7层的输入为转移特征与C6层的输出特征进行元素求和，因此特征转移卷积层与C6层保持相同或者等比例的关系，能够提高输入的一致性，从而提高C7层输出的精度。

其中，在本实施例中，特征转移卷积层的参数优选根据输入图像的大小确定，例如在本实施例中各参数的确定可以根据以下方式：经过预处理的输入图像为448×448像素，则输入图像在经过C1卷积层之后，所得的输出特征图大小为112×112×192，其中192为C1层的通道数。本实施例中C6层的输出特征图的大小为7×7×1024，则C＝1024，则可以计算出a×a＝(112×112)/(7×7)＝16×16，步长d＝a＝16。

进一步，在本发明的另一个实施例中，所述C7层的输入特征满足以下关系：

其中，f_CY为第Y层训练层的输出特征，FTC为特征转移卷积层输出的转移特征，所述Y的值的范围为1－5；f_C6为C6练层的输出特征。

其中，在本实施例中，由于C1－C5层的输出特征均进行特征转移计算，因此转移特征的数量为5，因此在进行特征聚合时需要将5个转移特征均进行元素相加。以确保不丢失特征。

参考图3，另外，本发明的另一个实施例还提供了一种基于改进YOLO模型的交通标志识别方法，包括以下步骤：

步骤S100，读取原始图像，将原始图像调整至448×448像素后发送至特征提取网络中；

步骤S200，获取所述CNN训练网络中C1－C5层的输出特征图，分别发送至特征转移网络中计算出转移特征；

步骤S300，将所述转移特征和C6层的输出特征进行元素求和，得出聚合特征，并将聚合特征作为输入特征发送至C7层中进行训练；

步骤S400，将C7层输出的训练特征图发送至全连接层中计算出预测值；

步骤S500，根据所述预测值计算得出特征图所属的分类，所述分类为预先设定的交通标志分类；

步骤S600，读取特征图所属分类所对应的交通标志，将该交通标示作为识别结果进行输出。

其中，本实施例在原有的YOLO模型训练网络中加入特征转移网络，保持原有卷积训练路径的同时，将C1－C5层的输出特征同时发送至特征转移网络中提取出转移特征，并将转移特征与C6层的输出特征进行元素求和得出聚合特征，将聚合特征作为C7层的输入特征进行训练，并根据训练出的结果完成交通标志的识别。对比起现有基于YOLO模型的方法，本发明加入了特征转移网络，通过提取转移特征的形式实现了中高层和底层的特征聚合，使C7层的输出特征图能包含更多特征，有效提高了对小尺寸图形的识别能力，提高了识别交通标志的准确性。

参照图4，本发明实施例还提供了一种基于改进YOLO模型的交通标志识别装置，在该基于改进YOLO模型的交通标志识别装置1000中，包括但不限于：预处理单元1100、转移特征获取单元1200、聚合特征获取单元1300和交通标志识别单元1400。

其中，预处理单元1100用于读取原始图像，对原始图像进行预处理后发送至特征提取网络中，所述特征提取网络中包括CNN训练网络和特征转移网络；

转移特征获取单元1200用于获取所述CNN训练网络中C1－C5层的输出特征图，分别发送至特征转移网络中计算出转移特征；

聚合特征获取单元1300用于将所述转移特征和C6层的输出特征进行元素求和，得出聚合特征，并将聚合特征作为输入特征发送至C7层中进行训练；

交通标志识别单元1400用于将C7层输出的训练特征图发送至全连接层中计算出预测值，根据所述预测值完成交通标志的识别。

需要说明的是，由于本实施例中的基于改进YOLO模型的交通标志识别装置与上述的基于改进YOLO模型的交通标志识别方法基于相同的发明构思，因此，方法实施例中的相应内容同样适用于本装置实施例，此处不再详述。

参照图5，本发明实施例还提供了一种基于改进YOLO模型的交通标志识别设备，该基于改进YOLO模型的交通标志识别设备6000可以是任意类型的智能终端，例如手机、平板电脑、个人计算机等。

具体地，该基于改进YOLO模型的交通标志识别设备6000包括：一个或多个控制处理器6001和存储器6002，图4中以一个控制处理器6001为例。

控制处理器6001和存储器6002可以通过总线或者其他方式连接，图5中以通过总线连接为例。

存储器6002作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态性计算机可执行程序以及模块，如本发明实施例中的基于改进YOLO模型的交通标志识别设备对应的程序指令/模块，例如，图4中所示的预处理单元1100和转移特征获取单元1200。控制处理器6001通过运行存储在存储器6002中的非暂态软件程序、指令以及模块，从而执行基于改进YOLO模型的交通标志识别装置1000的各种功能应用以及数据处理，即实现上述方法实施例的基于改进YOLO模型的交通标志识别方法。

存储器6002可以包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需要的应用程序；存储数据区可存储根据基于改进YOLO模型的交通标志识别装置1000的使用所创建的数据等。此外，存储器6002可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中，存储器6002可选包括相对于控制处理器6001远程设置的存储器，这些远程存储器可以通过网络连接至该基于改进YOLO模型的交通标志识别设备6000。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

所述一个或者多个模块存储在所述存储器6002中，当被所述一个或者多个控制处理器6001执行时，执行上述方法实施例中的基于改进YOLO模型的交通标志识别方法，例如，执行以上描述的图1中的方法步骤S1至S4，实现图4中的单元1100－1400的功能。

本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令被一个或多个控制处理器执行，例如，被图5中的一个控制处理器6001执行，可使得上述一个或多个控制处理器6001执行上述方法实施例中的基于改进YOLO模型的交通标志识别方法，例如，执行以上描述的图1中的方法步骤S1至S4，实现图4中的单元1100－1400的功能。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

通过以上的实施方式的描述，本领域技术人员可以清楚地了解到各实施方式可借助软件加通用硬件平台的方式来实现。本领域技术人员可以理解实现上述实施例方法中的全部或部分流程是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(ReadOnly Memory，ROM)或随机存储记忆体(Random Access Memory，RAM)等。

以上是对本发明的较佳实施进行了具体说明，但本发明并不局限于上述实施方式，熟悉本领域的技术人员在不违背本发明精神的前提下还可作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims (5)

1.一种基于改进YOLO模型的交通标志识别方法，其特征在于，包括以下步骤：

读取原始图像，对原始图像进行预处理后发送至特征提取网络中，所述特征提取网络中包括CNN训练网络和特征转移网络，所述特征转移网络中包括特征转移卷积层，所述特征转移卷积层的数量为5；

获取所述CNN训练网络中C1－C5层的输出特征图，分别发送至特征转移网络中计算出转移特征；

将所述转移特征和C6层的输出特征进行元素求和，得出聚合特征，并将聚合特征作为输入特征发送至C7层中进行训练，所述特征转移卷积层与C6层的参数满足以下关系：

b＝c，d＝a，其中，a×a为所述特征转移卷积层的卷积核大小，m和n分别为所述特征转移卷积层的输入特征图的宽和长，b和d分别为特征转移卷积层的通道数和步长；o、p和c分别为C6层的输出特征图的宽、长和通道数；

将C7层输出的训练特征图发送至全连接层中计算出预测值，根据所述预测值完成交通标志的识别，所述C7层的输入特征满足以下关系：

其中，f_CY为第Y层训练层的输出特征，FTC为特征转移卷积层输出的转移特征，所述Y的值的范围为1－5；f_C6为C6层的输出特征。

2.根据权利要求1所述的一种基于改进YOLO模型的交通标志识别方法，其特征在于：所述对原始图像进行预处理包括将原始图像调整至448×448像素。

3.一种基于改进YOLO模型的交通标志识别装置，其特征在于，包括以下装置：

预处理单元，用于读取原始图像，对原始图像进行预处理后发送至特征提取网络中，所述特征提取网络中包括CNN训练网络和特征转移网络；

转移特征获取单元，用于获取所述CNN训练网络中C1－C5层的输出特征图，分别发送至特征转移网络中计算出转移特征，所述特征转移网络中包括特征转移卷积层，所述特征转移卷积层的数量为5；

聚合特征获取单元，用于将所述转移特征和C6层的输出特征进行元素求和，得出聚合特征，并将聚合特征作为输入特征发送至C7层中进行训练，所述特征转移卷积层与C6层的参数满足以下关系：

b＝c，d＝a，其中，a×a为所述特征转移卷积层的卷积核大小，m和n分别为所述特征转移卷积层的输入特征图的宽和长，b和d分别为特征转移卷积层的通道数和步长；o、p和c分别为C6层的输出特征图的宽、长和通道数；

交通标志识别单元，用于将C7层输出的训练特征图发送至全连接层中计算出预测值，根据所述预测值完成交通标志的识别，所述C7层的输入特征满足以下关系：

其中，f_CY为第Y层训练层的输出特征，FTC为特征转移卷积层输出的转移特征，所述Y的值的范围为1－5；f_C6为C6层的输出特征。

4.一种基于改进YOLO模型的交通标志识别设备，其特征在于：包括至少一个控制处理器和用于与所述至少一个控制处理器所通信连接的存储器；所述存储器存储有可被所述至少一个控制处理器执行的指令，所述指令被所述至少一个控制处理器执行，以使所述至少一个控制处理器能够执行如权利要求1－2任一项所述的一种基于改进YOLO模型的交通标志识别方法。

5.一种计算机可读存储介质，其特征在于：所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如权利要求1－2任一项所述的一种基于改进YOLO模型的交通标志识别方法。

Images