CN111274942A - 一种基于级联网络的交通锥识别方法及装置 - Google Patents

一种基于级联网络的交通锥识别方法及装置 Download PDF

Info

Publication number
CN111274942A
CN111274942A CN202010060114.0A CN202010060114A CN111274942A CN 111274942 A CN111274942 A CN 111274942A CN 202010060114 A CN202010060114 A CN 202010060114A CN 111274942 A CN111274942 A CN 111274942A
Authority
CN
China
Prior art keywords
traffic cone
network
traffic
model
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010060114.0A
Other languages
English (en)
Inventor
王鹤
李润泽
王博
高嵩
徐月云
刘洋
张�杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guoqi Beijing Intelligent Network Association Automotive Research Institute Co ltd
Original Assignee
Guoqi Beijing Intelligent Network Association Automotive Research Institute Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guoqi Beijing Intelligent Network Association Automotive Research Institute Co ltd filed Critical Guoqi Beijing Intelligent Network Association Automotive Research Institute Co ltd
Priority to CN202010060114.0A priority Critical patent/CN111274942A/zh
Publication of CN111274942A publication Critical patent/CN111274942A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例公开了一种基于级联网络的交通锥识别方法及装置。该基于级联网络的交通锥识别方法，包括：获取压缩和激活网络SENet、密集卷积网络DenseNet；基于SENet、DenseNet及预设的目标检测模型，确定目标网络结构；基于多张包含交通锥的原始交通锥场景图像，训练目标网络结构得到交通锥识别模型。根据本发明实施例，能够提供一种识别精确度更高的交通锥识别模型，进而更加精确地识别交通锥。

Description

一种基于级联网络的交通锥识别方法及装置
技术领域
本发明属于深度学习技术领域，尤其涉及一种基于级联网络的交通锥识别方法、装置、电子设备及计算机存储介质。
背景技术
近年来，无人驾驶技术逐渐成熟，安全问题受到政府、科研机构以及汽车生产厂家的高度重视，交通锥作为重要的交通标识之一，其通常放置在道路或人行道上，用于临时改变交通方向、封锁区域、警示路边施工和车道意外等，在确保安全驾驶方面起着至关重要的作用。所以，设计一个实时性好且准确率高的交通锥识别检测***尤为重要，能够起到减少交通事故的作用。
由于道路或人行道上的交通锥是临时、可移动的，无法在高清地图上进行标识，需通过车载传感器来识别。在交通锥检测识别方面，目前采用的方法是基于传统的图像处理方法，经过图像处理去除复杂背景提取交通锥并通过形态学处理检测交通锥。
与传统的图像处理方法相比，基于深度学习的目标检测方法，能够自主学习不同层级的特征，学习的特征越丰富，准确率越高。该基于深度学习的目标检测方法主要是利用预设的目标检测模型(例如，Cascade R-CNN模型)进行目标识别，但是该目标检测模型较为简单，影响目标识别的精确度。
因此，如何提供一种识别精确度更高的交通锥识别模型，进而更加精确地识别交通锥是本领域技术人员亟需解决的技术问题。
发明内容
本发明实施例提供一种基于级联网络的交通锥识别方法、装置、电子设备及计算机存储介质，能够提供一种识别精确度更高的交通锥识别模型，进而更加精确地识别交通锥。
第一方面，提供了一种基于级联网络的交通锥识别方法，包括：
获取压缩和激活网络SENet、密集卷积网络DenseNet；
基于SENet、DenseNet及预设的目标检测模型，确定目标网络结构；
基于多张包含交通锥的原始交通锥场景图像，训练目标网络结构得到交通锥识别模型。
可选地，基于SENet、DenseNet及预设的目标检测模型，确定目标网络结构，包括：
确定DenseNet中的目标卷积层；其中，目标卷积层输出目标特征图；
在DenseNet中的每个目标卷积层之后增加SENet，得到主干网络；
利用主干网络替换目标检测模型中原有主干网络，得到目标网络结构。
可选地，基于多张包含交通锥的原始交通锥场景图像，训练目标网络结构得到交通锥识别模型，包括：
获取多张原始交通锥场景图像；
对任一原始交通锥场景图像进行数据增强，得到任一原始交通锥场景图像对应的至少一个第一交通锥场景图像；
建立每个第一交通锥场景图像对应的标签文件，得到交通锥场景图像数据集；
划分交通锥场景图像数据集，得到训练集、验证集和测试集；
基于训练集、验证集及目标网络结构，确定交通锥识别模型。
可选地，对任一原始交通锥场景图像进行数据增强，得到任一原始交通锥场景图像对应的至少一个第一交通锥场景图像，包括：
对任一原始交通锥场景图像进行旋转、翻转、对比度增强、裁剪、亮度调节、仿射变换中的至少一种处理，得到任一原始交通锥场景图像对应的至少一个第一交通锥场景图像。
可选地，基于训练集、验证集及目标网络结构，确定交通锥识别模型，包括：
利用训练集训练目标网络结构，得到初始交通锥识别模型；
利用验证集确定初始交通锥识别模型的准确率和/或损失值；
当准确率大于准确率阈值和/或损失值小于损失值阈值时，确定初始交通锥识别模型为交通锥识别模型。
可选地，确定初始交通锥识别模型为交通锥识别模型之后，还包括：
利用测试集验证交通锥识别模型的准确率和识别速度。
第二方面，提供了一种基于交通锥识别模型的使用方法，交通锥识别模型为使用第一方面的基于级联网络的交通锥识别方法得到的模型，包括：
获取待识别图像；
将待识别图像输入交通锥识别模型，输出识别结果；其中，识别结果为待识别图像中有交通锥及交通锥在待识别图像中的位置或待识别图像中无交通锥。
第三方面，提供了一种基于级联网络的交通锥识别方法的装置，包括：
获取模块，用于获取压缩和激活网络SENet、密集卷积网络DenseNet；
确定模块，用于基于SENet、DenseNet及预设的目标检测模型，确定目标网络结构；
训练模块，用于基于多张包含交通锥的原始交通锥场景图像，训练目标网络结构得到交通锥识别模型。
可选地，确定模块，用于确定DenseNet中的目标卷积层；其中，目标卷积层输出目标特征图；在DenseNet中的每个目标卷积层之后增加SENet，得到主干网络；利用主干网络替换目标检测模型中原有主干网络，得到目标网络结构。
可选地，训练模块，用于获取多张原始交通锥场景图像；对任一原始交通锥场景图像进行数据增强，得到任一原始交通锥场景图像对应的至少一个第一交通锥场景图像；建立每个第一交通锥场景图像对应的标签文件，得到交通锥场景图像数据集；划分交通锥场景图像数据集，得到训练集、验证集和测试集；基于训练集、验证集及目标网络结构，确定交通锥识别模型。
可选地，训练模块，用于对任一原始交通锥场景图像进行旋转、翻转、对比度增强、裁剪、亮度调节、仿射变换中的至少一种处理，得到任一原始交通锥场景图像对应的至少一个第一交通锥场景图像。
可选地，训练模块，用于利用训练集训练目标网络结构，得到初始交通锥识别模型；利用验证集确定初始交通锥识别模型的准确率和/或损失值；当准确率大于准确率阈值和/或损失值小于损失值阈值时，确定初始交通锥识别模型为交通锥识别模型。
可选地，训练模块，还用于利用测试集验证交通锥识别模型的准确率和识别速度。
第四方面，提供了一种基于交通锥识别模型的使用方法的装置，交通锥识别模型为使用第一方面的基于级联网络的交通锥识别方法得到的模型，包括：
获取模块，用于获取待识别图像；
输出模块，用于将待识别图像输入交通锥识别模型，输出识别结果；其中，识别结果为待识别图像中有交通锥及交通锥在待识别图像中的位置或待识别图像中无交通锥。
第五方面，提供了一种电子设备，电子设备包括：处理器以及存储有计算机程序指令的存储器；
处理器执行计算机程序指令时实现第一方面的基于级联网络的交通锥识别方法。
第六方面，提供了一种计算机存储介质，计算机存储介质上存储有计算机程序指令，计算机程序指令被处理器执行时实现第一方面的基于级联网络的交通锥识别方法。
本发明实施例的基于级联网络的交通锥识别方法、装置、电子设备及计算机存储介质，能够提供一种识别精确度更高的交通锥识别模型，进而更加精确地识别交通锥。该基于级联网络的交通锥识别方法基于SENet、DenseNet及预设的目标检测模型，确定目标网络结构，SENet通过对特征图通道之间的相关性进行建模，增强与预设目标相关的特征，弱化不相关的特征，实现了特征重标定，解决了现有目标检测模型提取的特征存在大量冗余信息的问题，故基于多张包含交通锥的原始交通锥场景图像，训练目标网络结构得到的交通锥识别模型，能够更加精确地识别交通锥。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单的介绍，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种基于级联网络的交通锥识别方法的流程示意图；
图2是本发明实施例提供的一种SENet网络结构示意图；
图3是本发明实施例提供的一种SE-Dense Block模块和SE-Transition模块连接示意图；
图4是本发明实施例提供的一种改进后的Cascade R-CNN算法流程示意图；
图5是本发明实施例提供的另一种基于级联网络的交通锥识别方法的流程示意图；
图6是本发明实施例提供的一种基于交通锥识别模型的使用方法的流程示意图；
图7是本发明实施例提供的一种基于级联网络的交通锥识别方法的装置的结构示意图；
图8是本发明实施例提供的一种基于交通锥识别模型的使用方法的装置的结构示意图；
图9是本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将详细描述本发明的各个方面的特征和示例性实施例，为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及具体实施例，对本发明进行进一步详细描述。应理解，此处所描述的具体实施例仅被配置为解释本发明，并不被配置为限定本发明。对于本领域技术人员来说，本发明可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本发明的示例来提供对本发明更好的理解。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
在交通锥检测识别方面，目前采用的方法是基于传统的图像处理方法，经过图像处理去除复杂背景提取交通锥并通过形态学处理检测交通锥。与传统的图像处理方法相比，基于深度学习的目标检测方法，能够自主学习不同层级的特征，学习的特征越丰富，准确率越高。该基于深度学习的目标检测方法主要是利用预设的目标检测模型(例如，Cascade R-CNN模型)进行目标识别，但是该目标检测模型较为简单，影响目标识别的精确度。
为了解决现有技术问题，本发明实施例提供了一种基于级联网络的交通锥识别方法、装置、、电子设备及计算机存储介质。下面首先对本发明实施例所提供的基于级联网络的交通锥识别方法进行介绍。
图1是本发明实施例提供的一种基于级联网络的交通锥识别方法的流程示意图。如图1所示，该基于级联网络的交通锥识别方法，包括：
S101、获取压缩和激活网络SENet、密集卷积网络DenseNet。
S102、基于SENet、DenseNet及预设的目标检测模型，确定目标网络结构。
压缩和激活网络(Squeeze and Excitation Net，SENet)并不是一个完整的网络结构，而是一个子结构，可以嵌到其他分类或检测模型中，核心思想是通过网络依据损失(loss)函数去学习特征权重，增强目标特征同时压缩非相关特征。本质上引入了对输入图像的动态适应性，这有助于增强特征区分能力，实现了特征重标定。特征重标定是指对于网络输出的特征值，通过差异化权重的方式对特征进行改变，以达到显性突出有效特征的目的。
SENet的结构图如图2所示，图2中H、W、C分别表示高、宽、通道，所以H×W×C表示高×宽×通道。针对输入特征U，首先进行的是压缩(Squeeze)操作Fsq(·)，SENet结构首先采用全局池化的方式，顺着空间维度来进行特征压缩，将每个二维的特征通道变成一个实数，这个实数某种程度上具有全局的感受野，并且输出的维度和输入的特征通道数相匹配。它表征着在特征通道上响应的全局分布，而且使得靠近输入的层也可以获得全局的感受野，这一点在很多任务中都是非常有用的。其次是激活(Excitation)操作Fex(·,W)，灵感来源于长短时记忆网络(Long Short-Term Memory，LSTM)的门机制，其中参数被学习用来显式地建模特征通道间的相关性。最后对特征进行权重重置，将激活操作输出的权重看作是经过特征选择后的每个特征通道的重要性，然后通过乘法Fscale(·，·)逐通道加权到先前的特征上，得到特征
Figure BDA0002374187680000071
完成在通道维度上的对原始特征的重标定。
为了确定精度更高的目标网络结构，在一个实施例中，基于SENet、DenseNet及预设的目标检测模型，确定目标网络结构，通常可以包括：确定DenseNet中的目标卷积层；其中，目标卷积层输出目标特征图；在DenseNet中的每个目标卷积层之后增加SENet，得到主干网络；利用主干网络替换目标检测模型中原有主干网络，得到目标网络结构。
可选地，在一个实施例中，DenseNet可以具体为DenseNet-169，在DenseNet-169中的每个目标卷积层之后增加SENet，得到主干网络(即SE-DenseNet-169网络)。SENet可以在通道(channel)这个维度上弥补DenseNet-169在特征叠加复用时的不足，通过显示的对卷积层特征之间的通道相关性进行建模来提升模型的表征能力，通过使用全局信息去选择性的增强目标相关特征并同时压缩非相关特征，来实现特征重标定，从而进一步挖掘了DenseNet-169的网络潜力，提升特征提取的效果。
在一个实施例中，该SE-DenseNet-169网络，采用“SE-Dense Block+SE-Transition”结构，共包含4个SE-Dense Block，各个SE-Dense Block之间通过SE-Transition连接，该SE-DenseNet-169网络的网络结构具体如表1所示：
表1
Figure BDA0002374187680000072
Figure BDA0002374187680000081
如图3所示，图3为一个详细的SE-Dense Block模块和SE-Transition模块。其中，SE-Dense Block模块采用特征复用和短路连接(shortcut connections)的思想，将所有的卷积层互相连接起来。
该SE-DenseNet-169网络的四个SE-Dense Block模块的层数分别为6、12、32、32，即分别具有6、12、32、32个“BN-ReLU–1x 1Conv-BN-ReLU–3x 3Conv”结构。其中，BN(BatchNormalization)表示归一化处理；ReLU(Rectified Linear Unit)表示阶跃函数，其为一种激活函数。
SE-Dense Block模块、SE-Transition模块内部各个部分的输入输出是特征图(feature maps)，SE-Dense Block模块和SE-Transition模块之间的输入输出也是特征图(feature maps)。
每层的输入是前面所有层在通道(channel)维度上拼接(Concat，可参见图3中的C)的特征图，为了让拼接操作可以进行，需要设定每个层的特征图大小是相同的；在两层之间添加SENet结构，根据卷积层特征之间的通道相关性对特征图的各个通道(channel)添加权重，使用全局信息去选择性的增强有用特征(相关特征)并同时压缩那些无用特征(非相关特征)，实现特征重新标定。
SE-Transition模块中同样加入SENet结构，该SE-Transition模块主要起到特征降维作用，避免拼接产生的特征越来越多，同时有效抑制了过拟合。SE-Transition模块中的1x1卷积层(BN-ReLU-1x1 Conv)，使输出的channel是输入的channel的一半，这样传递给下一个SE-Dense Block模块的channel数量减半。在最后一个SE-Dense Block模块之后，连接一个全局的平均池化(average pooling)层和一个归一化指数函数(softmax)分类层。其中，平均池化层用于改变特征图的大小。
在一个实施例中，将SE-DenseNet-169网络替换Cascade R-CNN模型中ResNet50网络，得到目标网络结构即为改进后的Cascade R-CNN网络结构，SE-DenseNet-169网络为改进后的Cascade R-CNN网络结构中的主干网络(backbone)。
在一个实施例中，改进后的Cascade R-CNN网络结构对应的改进后的Cascade R-CNN算法流程如图4所示，改进后的Cascade R-CNN端对端的级联检测网络的主干网络为SE-DenseNet-169网络，将图像(image)输入SE-DenseNet-169网络，输出特征图，再将输出的特征图输入特征金字塔网络(Feature Pyramid Networks，FPN)输出特征图，再将输出的特征图输入区域建议网络(Region Proposal Network，RPN)，输出带有得分(score)的候选框(proposals)，这些候选框即为目标候选区域。然后利用非极大值抑制选取2000个目标候选区域，将上述产生的目标候选区域放入感兴趣区域(Regions of Interest，ROI)池化(pooling)层，对目标候选区域生成网络的特征映射层输出的特征图进行区域池化，生成固定大小的区域特征，也即将ROI映射到特征图对应位置，输出相同大小的特征图。
将经过ROI pooling层的目标候选区域放入全连接层，并输入后续的归一化指数函数(softmax)分类层和边界框(bounding box，bbox)回归层，进行目标分类及目标边界框回归修正。图4中，C0、C1、C2、C3分别表示不同阶段(stage)的softmax目标分类，B1、B2、B3分别表示不同阶段(stage)的边界框回归。
本领域技术人员所公知的是交并比(Intersection-over-Union，IOU)阈值选取较大时容易得到高质量的样本，但会引发过拟合等问题。本实施例使用不同的IOU阈值训练三个级联的R-CNN网络，通过迭代式的边界框回归，将前一个检测模型回归得到的边界框坐标结果初始化为下一个检测模型的边界框，然后继续回归，逐步提升边界框的检测精度。
交并比表示候选框(candidate bound)与原标记框(ground truth bound)的重叠度，也就是它们的交集与并集的比值，用于训练阶段正样本(Positive)和负样本(Negative)的判定。设置不同的IOU阈值，这样每个网络输出的准确度提升一点，用作下一个更高精度的网络的输入，逐步将网络输出的准确度进一步提高，兼顾运算速度和检测精度，网络结构实现较为简单，满足实际软件工程环境性能要求。
S103、基于多张包含交通锥的原始交通锥场景图像，训练目标网络结构得到交通锥识别模型。
为了获取更加精确的交通锥识别模型，在一个实施例中，基于多张包含交通锥的原始交通锥场景图像，训练目标网络结构得到交通锥识别模型，通常可以包括：获取多张原始交通锥场景图像；对任一原始交通锥场景图像进行数据增强，得到任一原始交通锥场景图像对应的至少一个第一交通锥场景图像；建立每个第一交通锥场景图像对应的标签文件，得到交通锥场景图像数据集；划分交通锥场景图像数据集，得到训练集、验证集和测试集；基于训练集、验证集及目标网络结构，确定交通锥识别模型。
为了获取数量更多的第一交通锥场景图像，在本发明的一个实施例中，对任一原始交通锥场景图像进行数据增强，得到任一原始交通锥场景图像对应的至少一个第一交通锥场景图像，通常可以包括：对任一原始交通锥场景图像进行旋转、翻转、对比度增强、裁剪、亮度调节、仿射变换中的至少一种处理，得到任一原始交通锥场景图像对应的至少一个第一交通锥场景图像。
为了获取更加精确的交通锥识别模型，在本发明的一个实施例中，基于训练集、验证集及目标网络结构，确定交通锥识别模型，通常可以包括：利用训练集训练目标网络结构，得到初始交通锥识别模型；利用验证集确定初始交通锥识别模型的准确率和/或损失值；当准确率大于准确率阈值和/或损失值小于损失值阈值时，确定初始交通锥识别模型为交通锥识别模型。
为了保证交通锥识别模型的实用性，在本发明的一个实施例中，在确定初始交通锥识别模型为交通锥识别模型之后，通常还可以包括：利用测试集验证交通锥识别模型的准确率和识别速度。
下面以一个实施例对上述内容进行说明，具体如下(可参见图5)：
S1.建立图像库：通过安装在车辆前挡风玻璃、俯角为8度的高清摄像头采集不同场景、不同天气、不同光照的包含交通锥的场景图像，图像每秒以10帧的速度进行保存并将图像归一化到1920*1080像素尺寸。
S2.数据增强：数据增强主要包括旋转、翻转、对比度增强、裁剪、亮度调整、仿射变换，实验发现，随机旋转的角度设置为负5到正5度，翻转设置为图像随机左右10％的翻转，较小程度的随机改变亮度以及对比度，可以保证图像的意义，为有效的数据增强，最后将图片的尺寸调整(resize)到一定尺寸，以扩充有效的数据样本，增强数据集的多样性。
S3.建立标签库：通过标注软件，按照COCO格式的json标签文件标准制作图像对应的标签。
S4.建立数据集：将制作的图像库及其标签库划分成训练集、验证集和测试集，训练集、验证集和测试集的比例为7:2:1。
S5.Cascade R-CNN模型参数设置:Cascade R-CNN模型设置4个stage，一个RPN和三个IOU逐渐增大的R-CNN网络，逐步训练。RPN网络anchor(一组大小固定的参考窗口)分为五级，分别为4、8、16、32、64，高宽比分为3级，分别为1：1、1：2、2：1。所述的三个IOU分别为0.5、0.6、0.7。分类损失函数采用softmax函数，回归损失函数采用smooth L1 loss函数，为了防止边界框的大小与位置产生的回归尺度问题，对边界框的坐标进行归一化处理。
S6.训练交通锥识别模型：利用改进后的Cascade R-CNN网络结构对训练集进行训练，训练过程中设置每次处理8张图片，学习率在开始的11个训练周期(epoch)学习率较小，模型稳定后学习率为0.02，anchors的比例和大小、focal loss损失函数的参数保持不变，模型的性能随着训练的迭代次数上升，每隔一定迭代次数便保存一次训练模型，等到验证集的准确率和训练的损失值趋于稳定，即模型收敛后，保存模型，停止训练。此外，在训练过程中参数更新采用随机梯度下降(stochastic gradient descent，SGD)算法，采用Warmup预热学习率的方式加速模型收敛速度，使得模型更佳，训练步数为20万步。
S7.测试交通锥识别模型：在交通锥测试集上检测准确率达95％，检测速度为9FPS(包括读取图片时间)，与原始Cascade R-CNN模型相比，改进后的Cascade R-CNN模型检测准确率得到提高，训练的模型拥有更好的鲁棒性，与原算法相比在交通锥检测识别方面具有更大的优势。
本实施例能够快速、实时、有效地识别交通锥，降低了光照变化、颜色褪色、运动模糊、背景复杂等因素对交通锥识别的影响，具有抗干扰能力，识别准确率高，能够及时排除无人驾驶的安全隐患。同时，本发明实施例还利用数据增强技术，在数量不足的情况下，扩充有效的数据样本，增强数据集的多样性，提升了交通锥识别模型的检测准确率。
本实施例还提供一种基于交通锥识别模型的交通锥识别方法，如图6所示，交通锥识别模型为使用图1所示实施例的基于级联网络的交通锥识别方法得到的模型，包括：
S601、获取待识别图像。
S602、将待识别图像输入交通锥识别模型，输出识别结果；其中，识别结果为待识别图像中有交通锥及交通锥在待识别图像中的位置或待识别图像中无交通锥。
本实施例还提供一种基于级联网络的交通锥识别方法的装置，该基于级联网络的交通锥识别方法的装置与上文描述的基于级联网络的交通锥识别方法可相互对应参照。如图7所示，该基于级联网络的交通锥识别方法的装置包括：
获取模块701，用于获取压缩和激活网络SENet、密集卷积网络DenseNet；
确定模块702，用于基于SENet、DenseNet及预设的目标检测模型，确定目标网络结构；
训练模块703，用于基于多张包含交通锥的原始交通锥场景图像，训练目标网络结构得到交通锥识别模型。
可选地，确定模块702，用于确定DenseNet中的目标卷积层；其中，目标卷积层输出目标特征图；在DenseNet中的每个目标卷积层之后增加SENet，得到主干网络；利用主干网络替换目标检测模型中原有主干网络，得到目标网络结构。
可选地，训练模块703，用于获取多张原始交通锥场景图像；对任一原始交通锥场景图像进行数据增强，得到任一原始交通锥场景图像对应的至少一个第一交通锥场景图像；建立每个第一交通锥场景图像对应的标签文件，得到交通锥场景图像数据集；划分交通锥场景图像数据集，得到训练集、验证集和测试集；基于训练集、验证集及目标网络结构，确定交通锥识别模型。
可选地，训练模块703，用于对任一原始交通锥场景图像进行旋转、翻转、对比度增强、裁剪、亮度调节、仿射变换中的至少一种处理，得到任一原始交通锥场景图像对应的至少一个第一交通锥场景图像。
可选地，训练模块703，用于利用训练集训练目标网络结构，得到初始交通锥识别模型；利用验证集确定初始交通锥识别模型的准确率和/或损失值；当准确率大于准确率阈值和/或损失值小于损失值阈值时，确定初始交通锥识别模型为交通锥识别模型。
可选地，训练模块703，还用于利用测试集验证交通锥识别模型的准确率和识别速度。
图7提供的基于级联网络的交通锥识别方法的装置中的各个模块具有实现图1所示实例中各个步骤的功能，并达到与图1所示基于级联网络的交通锥识别方法相同的技术效果，为简洁描述，在此不再赘述。
本实施例还提供一种基于交通锥识别模型的使用方法的装置，交通锥识别模型为使用图1所示实施例的基于级联网络的交通锥识别方法得到的模型，该基于交通锥识别模型的使用方法的装置与上文描述的基于交通锥识别模型的使用方法可相互对应参照。如图8所示，该基于交通锥识别模型的使用方法的装置包括：
获取模块801，用于获取待识别图像；
输出模块802，用于将待识别图像输入交通锥识别模型，输出识别结果；其中，识别结果为待识别图像中有交通锥及交通锥在待识别图像中的位置或待识别图像中无交通锥。
图8提供的基于交通锥识别模型的使用方法的装置中的各个模块具有实现图6所示实例中各个步骤的功能，并达到与图6所示基于交通锥识别模型的使用方法相同的技术效果，为简洁描述，在此不再赘述。
图9是本发明一个实施例提供的一种电子设备的结构示意图。
电子设备可以包括处理器901以及存储有计算机程序指令的存储器902。
具体地，上述处理器901可以包括中央处理器(CPU)，或者特定集成电路(Application Specific Integrated Circuit，ASIC)，或者可以被配置成实施本发明实施例的一个或多个集成电路。
存储器902可以包括用于数据或指令的大容量存储器。举例来说而非限制，存储器902可包括硬盘驱动器(Hard Disk Drive，HDD)、软盘驱动器、闪存、光盘、磁光盘、磁带或通用串行总线(Universal Serial Bus，USB)驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器902可包括可移除或不可移除(或固定)的介质。在合适的情况下，存储器902可在综合网关容灾设备的内部或外部。在特定实施例中，存储器902是非易失性固态存储器。在特定实施例中，存储器902包括只读存储器(ROM)。在合适的情况下，该ROM可以是掩模编程的ROM、可编程ROM(PROM)、可擦除PROM(EPROM)、电可擦除PROM(EEPROM)、电可改写ROM(EAROM)或闪存或者两个或更多个以上这些的组合。
处理器901通过读取并执行存储器902中存储的计算机程序指令，以实现上述实施例中的图1所示实施例中基于级联网络的交通锥识别方法。
在一个示例中，电子设备还可包括通信接口903和总线910。其中，如图9所示，处理器901、存储器902、通信接口903通过总线910连接并完成相互间的通信。
通信接口903，主要用于实现本发明实施例中各模块、装置、单元和/或设备之间的通信。
总线910包括硬件、软件或两者，将在线数据流量计费设备的部件彼此耦接在一起。举例来说而非限制，总线可包括加速图形端口(AGP)或其他图形总线、增强工业标准架构(EISA)总线、前端总线(FSB)、超传输(HT)互连、工业标准架构(ISA)总线、无限带宽互连、低引脚数(LPC)总线、存储器总线、微信道架构(MCA)总线、***组件互连(PCI)总线、PCI-Express(PCI-X)总线、串行高级技术附件(SATA)总线、视频电子标准协会局部(VLB)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下，总线910可包括一个或多个总线。尽管本发明实施例描述和示出了特定的总线，但本发明考虑任何合适的总线或互连。
另外，结合上述实施例中的基于级联网络的交通锥识别方法，本发明实施例可提供一种计算机存储介质来实现。该计算机存储介质上存储有计算机程序指令；该计算机程序指令被处理器执行时实现图1所示实施例中的基于级联网络的交通锥识别方法。
需要明确的是，本发明并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见，这里省略了对已知方法的详细描述。在上述实施例中，描述和示出了若干具体的步骤作为示例。但是，本发明的方法过程并不限于所描述和示出的具体步骤，本领域的技术人员可以在领会本发明的精神后，作出各种改变、修改和添加，或者改变步骤之间的顺序。
以上所述的结构框图中所示的功能块可以实现为硬件、软件、固件或者它们的组合。当以硬件方式实现时，其可以例如是电子电路、专用集成电路(ASIC)、适当的固件、插件、功能卡等等。当以软件方式实现时，本发明的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中，或者通过载波中携带的数据信号在传输介质或者通信链路上传送。“机器可读介质”可以包括能够存储或传输信息的任何介质。机器可读介质的例子包括电子电路、半导体存储器设备、ROM、闪存、可擦除ROM(EROM)、软盘、CD-ROM、光盘、硬盘、光纤介质、射频(RF)链路，等等。代码段可以经由诸如因特网、内联网等的计算机网络被下载。
还需要说明的是，本发明中提及的示例性实施例，基于一系列的步骤或者装置描述一些方法或***。但是，本发明不局限于上述步骤的顺序，也就是说，可以按照实施例中提及的顺序执行步骤，也可以不同于实施例中的顺序，或者若干步骤同时执行。
以上所述，仅为本发明的具体实施方式，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的***、模块和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。应理解，本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。

Claims (11)

1.一种基于级联网络的交通锥识别方法，其特征在于，包括：
获取压缩和激活网络SENet、密集卷积网络DenseNet；
基于所述SENet、所述DenseNet及预设的目标检测模型，确定目标网络结构；
基于多张包含交通锥的原始交通锥场景图像，训练所述目标网络结构得到交通锥识别模型。
2.根据权利要求1所述的基于级联网络的交通锥识别方法，其特征在于，所述基于所述SENet、所述DenseNet及预设的目标检测模型，确定目标网络结构，包括：
确定所述DenseNet中的目标卷积层；其中，所述目标卷积层输出所述目标特征图；
在所述DenseNet中的每个所述目标卷积层之后增加所述SENet，得到主干网络；
利用所述主干网络替换所述目标检测模型中原有主干网络，得到所述目标网络结构。
3.根据权利要求1或2所述的基于级联网络的交通锥识别方法，其特征在于，所述基于多张包含交通锥的原始交通锥场景图像，训练所述目标网络结构得到交通锥识别模型，包括：
获取多张所述原始交通锥场景图像；
对任一原始交通锥场景图像进行数据增强，得到所述任一原始交通锥场景图像对应的至少一个第一交通锥场景图像；
建立每个所述第一交通锥场景图像对应的标签文件，得到交通锥场景图像数据集；
划分所述交通锥场景图像数据集，得到训练集、验证集和测试集；
基于所述训练集、所述验证集及所述目标网络结构，确定所述交通锥识别模型。
4.根据权利要求3所述的基于级联网络的交通锥识别方法，其特征在于，所述对任一原始交通锥场景图像进行数据增强，得到所述任一原始交通锥场景图像对应的至少一个第一交通锥场景图像，包括：
对所述任一原始交通锥场景图像进行旋转、翻转、对比度增强、裁剪、亮度调节、仿射变换中的至少一种处理，得到所述任一原始交通锥场景图像对应的至少一个所述第一交通锥场景图像。
5.根据权利要求3所述的基于级联网络的交通锥识别方法，其特征在于，所述基于所述训练集、所述验证集及所述目标网络结构，确定所述交通锥识别模型，包括：
利用所述训练集训练所述目标网络结构，得到初始交通锥识别模型；
利用所述验证集确定所述初始交通锥识别模型的准确率和/或损失值；
当所述准确率大于准确率阈值和/或所述损失值小于损失值阈值时，确定所述初始交通锥识别模型为所述交通锥识别模型。
6.根据权利要求5所述的基于级联网络的交通锥识别方法，其特征在于，所述确定所述初始交通锥识别模型为所述交通锥识别模型之后，还包括：
利用所述测试集验证所述交通锥识别模型的准确率和识别速度。
7.一种基于交通锥识别模型的使用方法，其特征在于，所述交通锥识别模型为使用权利要求1至6任一项所述的基于级联网络的交通锥识别方法得到的模型，包括：
获取待识别图像；
将所述待识别图像输入所述交通锥识别模型，输出识别结果；其中，所述识别结果为所述待识别图像中有交通锥及所述交通锥在所述待识别图像中的位置或所述待识别图像中无所述交通锥。
8.一种基于级联网络的交通锥识别方法的装置，其特征在于，包括：
获取模块，用于获取压缩和激活网络SENet、密集卷积网络DenseNet；
确定模块，用于基于所述SENet、所述DenseNet及预设的目标检测模型，确定目标网络结构；
训练模块，用于基于多张包含交通锥的原始交通锥场景图像，训练所述目标网络结构得到交通锥识别模型。
9.一种基于交通锥识别模型的使用方法的装置，其特征在于，所述交通锥识别模型为使用权利要求1至6任一项所述的基于级联网络的交通锥识别方法得到的模型，包括：
获取模块，用于获取待识别图像；
输出模块，用于将所述待识别图像输入所述交通锥识别模型，输出识别结果；其中，所述识别结果为所述待识别图像中有交通锥及所述交通锥在所述待识别图像中的位置或所述待识别图像中无所述交通锥。
10.一种电子设备，其特征在于，所述电子设备包括：处理器以及存储有计算机程序指令的存储器；
所述处理器执行所述计算机程序指令时实现如权利要求1-6任意一项所述的基于级联网络的交通锥识别方法。
11.一种计算机存储介质，其特征在于，所述计算机存储介质上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现如权利要求1-6任意一项所述的基于级联网络的交通锥识别方法。
CN202010060114.0A 2020-01-19 2020-01-19 一种基于级联网络的交通锥识别方法及装置 Pending CN111274942A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010060114.0A CN111274942A (zh) 2020-01-19 2020-01-19 一种基于级联网络的交通锥识别方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010060114.0A CN111274942A (zh) 2020-01-19 2020-01-19 一种基于级联网络的交通锥识别方法及装置

Publications (1)

Publication Number Publication Date
CN111274942A true CN111274942A (zh) 2020-06-12

Family

ID=71002043

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010060114.0A Pending CN111274942A (zh) 2020-01-19 2020-01-19 一种基于级联网络的交通锥识别方法及装置

Country Status (1)

Country Link
CN (1) CN111274942A (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111860619A (zh) * 2020-07-02 2020-10-30 苏州富鑫林光电科技有限公司 一种工业检测用深度学习的ai智能模型
CN111931802A (zh) * 2020-06-16 2020-11-13 南京信息工程大学 基于Siamese网络结构融合中层特征的行人重识别方法
CN112180903A (zh) * 2020-10-19 2021-01-05 江苏中讯通物联网技术有限公司 基于边缘计算的车辆状态实时检测***
CN112949578A (zh) * 2021-03-30 2021-06-11 苏州科达科技股份有限公司 车灯状态识别方法、装置、设备及存储介质
CN112966780A (zh) * 2021-03-31 2021-06-15 动联(山东)电子科技有限公司 一种动物行为识别方法及***
CN113158913A (zh) * 2021-04-25 2021-07-23 安徽科大擎天科技有限公司 一种人脸口罩佩戴识别方法、***及终端
CN113283541A (zh) * 2021-06-15 2021-08-20 无锡锤头鲨智能科技有限公司 一种地板自动分选方法
CN113947144A (zh) * 2021-10-15 2022-01-18 北京百度网讯科技有限公司 用于对象检测的方法、装置、设备、介质和程序产品
CN115115873A (zh) * 2022-06-08 2022-09-27 中国船舶集团有限公司***工程研究院 基于可微分网络结构搜索的图像分类方法及装置
CN115114924A (zh) * 2022-06-17 2022-09-27 珠海格力电器股份有限公司 命名实体识别方法、装置、计算设备和存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109614985A (zh) * 2018-11-06 2019-04-12 华南理工大学 一种基于密集连接特征金字塔网络的目标检测方法
CN109886922A (zh) * 2019-01-17 2019-06-14 丽水市中心医院 基于SE-DenseNet深度学习框架和多模态增强MR图像的肝细胞癌自动分级方法
CN110135251A (zh) * 2019-04-09 2019-08-16 上海电力学院 一种基于注意力机制和混合网络的群体图像情绪识别方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109614985A (zh) * 2018-11-06 2019-04-12 华南理工大学 一种基于密集连接特征金字塔网络的目标检测方法
CN109886922A (zh) * 2019-01-17 2019-06-14 丽水市中心医院 基于SE-DenseNet深度学习框架和多模态增强MR图像的肝细胞癌自动分级方法
CN110135251A (zh) * 2019-04-09 2019-08-16 上海电力学院 一种基于注意力机制和混合网络的群体图像情绪识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ZHOUYUANGAN: "利用分类任务冠军squeeze-and-excitation net修改DenseNet", pages 4 - 6, Retrieved from the Internet <URL:《https://zhuanlan.zhihu.com/p/48499356》> *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111931802A (zh) * 2020-06-16 2020-11-13 南京信息工程大学 基于Siamese网络结构融合中层特征的行人重识别方法
CN111860619A (zh) * 2020-07-02 2020-10-30 苏州富鑫林光电科技有限公司 一种工业检测用深度学习的ai智能模型
CN112180903A (zh) * 2020-10-19 2021-01-05 江苏中讯通物联网技术有限公司 基于边缘计算的车辆状态实时检测***
CN112949578A (zh) * 2021-03-30 2021-06-11 苏州科达科技股份有限公司 车灯状态识别方法、装置、设备及存储介质
CN112966780A (zh) * 2021-03-31 2021-06-15 动联(山东)电子科技有限公司 一种动物行为识别方法及***
CN113158913A (zh) * 2021-04-25 2021-07-23 安徽科大擎天科技有限公司 一种人脸口罩佩戴识别方法、***及终端
CN113283541A (zh) * 2021-06-15 2021-08-20 无锡锤头鲨智能科技有限公司 一种地板自动分选方法
CN113283541B (zh) * 2021-06-15 2022-07-22 无锡锤头鲨智能科技有限公司 一种地板自动分选方法
CN113947144A (zh) * 2021-10-15 2022-01-18 北京百度网讯科技有限公司 用于对象检测的方法、装置、设备、介质和程序产品
US11620815B2 (en) 2021-10-15 2023-04-04 Beijing Baidu Netcom Science Technology Co., Ltd. Method and device for detecting an object in an image
CN115115873A (zh) * 2022-06-08 2022-09-27 中国船舶集团有限公司***工程研究院 基于可微分网络结构搜索的图像分类方法及装置
CN115114924A (zh) * 2022-06-17 2022-09-27 珠海格力电器股份有限公司 命名实体识别方法、装置、计算设备和存储介质

Similar Documents

Publication Publication Date Title
CN111274942A (zh) 一种基于级联网络的交通锥识别方法及装置
CN109977812B (zh) 一种基于深度学习的车载视频目标检测方法
CN111814621A (zh) 一种基于注意力机制的多尺度车辆行人检测方法及装置
CN113052159B (zh) 一种图像识别方法、装置、设备及计算机存储介质
CN106778659B (zh) 一种车牌识别方法及装置
CN111709416A (zh) 车牌定位方法、装置、***及存储介质
CN111582339B (zh) 一种基于深度学习的车辆检测与识别的方法
CN111340151B (zh) 一种用于辅助车辆自动驾驶的天气现象识别***和方法
CN111950583B (zh) 一种基于gmm聚类的多尺度识别交通信号标志的方法
CN113723377A (zh) 一种基于ld-ssd网络的交通标志检测方法
CN110826411B (zh) 一种基于无人机图像的车辆目标快速识别方法
CN113486886B (zh) 一种自然场景下的车牌识别方法和装置
CN115601717B (zh) 基于深度学习的交通违法行为分类检测方法及SoC芯片
CN113723216A (zh) 一种车道线检测方法、装置、车辆及存储介质
CN114841920A (zh) 基于图像处理的火焰识别方法、装置及电子设备
CN111738228A (zh) 一种面向治超证据链校验的多视角车辆特征匹配方法
CN117152513A (zh) 一种面向夜间场景的车辆边界定位方法
CN115861756A (zh) 基于级联组合网络的大地背景小目标识别方法
CN111160282B (zh) 一种基于二值化Yolov3网络的红绿灯检测方法
CN110765940B (zh) 目标对象统计方法和装置
CN112364864A (zh) 一种车牌识别方法、装置、电子设备及存储介质
CN112329886A (zh) 双车牌识别方法、模型训练方法、装置、设备及存储介质
JP7264428B2 (ja) 道路標識認識装置及びそのプログラム
CN111612803A (zh) 一种基于图像清晰度的车辆图像语义分割方法
CN115019296A (zh) 一种基于级联的车牌检测识别方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination