CN110188705A - 一种适用于车载***的远距离交通标志检测识别方法 - Google Patents

一种适用于车载***的远距离交通标志检测识别方法 Download PDF

Info

Publication number
CN110188705A
CN110188705A CN201910474059.7A CN201910474059A CN110188705A CN 110188705 A CN110188705 A CN 110188705A CN 201910474059 A CN201910474059 A CN 201910474059A CN 110188705 A CN110188705 A CN 110188705A
Authority
CN
China
Prior art keywords
convolution
power
sample
channel
traffic sign
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910474059.7A
Other languages
English (en)
Other versions
CN110188705B (zh
Inventor
刘志刚
杜娟
田枫
韩玉祥
高雅田
张可佳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northeast Petroleum University
Original Assignee
Northeast Petroleum University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northeast Petroleum University filed Critical Northeast Petroleum University
Priority to CN201910474059.7A priority Critical patent/CN110188705B/zh
Publication of CN110188705A publication Critical patent/CN110188705A/zh
Application granted granted Critical
Publication of CN110188705B publication Critical patent/CN110188705B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明涉及的是一种适用于车载***的远距离交通标志检测识别方法，它包括：1.对交通标志图像样本集进行预处理；2.构建轻量型卷积神经网络，完成交通标志的卷积特征抽取；3.通过嵌入到轻量型卷积神经网络中的通道‑空间关注力模块，构建关注力特征图；4.采用区域生成网络RPN产生目标的候选区域；5.对RPN产生的目标候选区域，引入上下文区域信息，增强标志分类特征；6.将特征向量送入全连接层，输出交通标志的类别和位置；7.建立关注力损失函数，训练FL‑CNN模型；8.重复2至7，完成FL‑CNN模型的样本训练；9.重复2至6，完成实际场景的交通标志检测识别。本发明实现了远距离交通标志检测识别，精度达92%。

Description

一种适用于车载***的远距离交通标志检测识别方法
一、技术领域：
本发明涉及的是面向无人驾驶和辅助驾驶的智能交通领域，解决道路交通标志的远距离检测与识别方法，具体涉及的是一种适用于车载***的远距离交通标志检测识别方法。
二、背景技术：
在智能交通领域中，交通标志检测和识别是无人驾驶、辅助驾驶等***的重要研究问题。国内外对此进行了很多研究工作，但仍存在很大不足，无法实际应用到实际中。原因如下：(1)传统的基于颜色、形状等特征设计的检测识别方法，面对实际交通场景中的标志变形、运动模糊、天气等情况，这些方法鲁棒性较差，很难在实际中进行应用；(2)现有的基于深度学习的检测识别方法，模型导出后的参数文件庞大，运行时需要较大的内存、硬盘存储，无法直接运行在电源功耗和硬件性能较低的车载***上，实用性较差；(3)在数据集方面，有些方法直接使用自己拍摄的数据集，数据数量和标志的变化都较少，很难让模型在实际中实际运用；此外，有些方法基于公开的德国交通标志数据集GTSRB和GTSDB，但这些数据集中标志尺寸较大、且检测标志种类较少。由于数据集对模型的性能有极大的影响，因此这些方法目前均属于近距离的检测识别。
无人驾驶和辅助驾驶中的车载***属于一种嵌入式***，因此电源功耗和硬件性能较低，无法直接运行庞大的深度学习模型。同时，远距离检测识别标志可为汽车行驶提供更多的响应时间，对于提高汽车智能行驶的安全性有重要作用。在技术上，远距离的交通标志检测识别属于复杂背景中的小目标识别问题，该问题是目前计算机视觉领域的难点问题，现有的方法很难获取较高的检测识别精度。
三、发明内容：
本发明的目的是提供一种适用于车载***的远距离交通标志检测识别方法，它用于解决现有近距离检测识别方法在进行远距离交通标志检测识别时精度低的问题。
本发明解决其技术问题所采用的技术方案是：这种适用于车载***的远距离交通标志检测识别方法：
步骤1.对交通标志图像样本集进行预处理；
步骤2.构建轻量型卷积神经网络，完成交通标志的卷积特征抽取；
(1)利用深度分离卷积将原有VGG-16中标准卷积的通道和空间的联合映射分离成二者的单独映射方式，降低模型的参数数量和硬盘空间存储，轻量型卷积神经网络共包含5个卷积层，其中每个卷积层包含深度卷积和点卷积两部分，并采用ReLU作为激活函数；
(2)在轻量型卷积神经网络中，深度分离卷积与原有标准卷积的计算量对比如下：
记卷积核为(DK,DK,C)，其中DK为卷积核宽和高，C为卷积核的通道；在卷积计算过程中，深度分离卷积是将原有跨通道计算的N个(DK,DK,M)标准卷积转成转换成M个(DK,DK,1)的深度卷积和跨通道的N个(1,1,M)的点卷积，其中深度卷积是单通道计算，点卷积为跨通道计算；记输入特征图的为{DF,DF,M}，输出特征图为{DF,DF,N}，其中DF表示特征图的宽和高，则各卷积的计算量如下：
①标准卷积的计算量为：Count_s＝DK×DK×M×N×DF×DF
②深度卷积的计算量为：Count_d＝DK×DK×M×DF×DF
③点卷积的计算量为：Count_p＝M×N×DF×DF
因此，深度分离卷积和标准卷积的计算量的对比关系如下，每次使用深度分离卷积，相对于原有的标准卷积，计算量下降倍；
步骤3.通过嵌入到轻量型卷积神经网络中的通道-空间关注力模块，构建关注力特征图；
关注力特征图，仿照人类的关注力机制，实现对场景中的小交通标志的卷积特征进行增强，对无关的背景信息进行特征抑制，节省计算资源，提高检测精度，将通道-空间关注力模块嵌入到深度分离卷积层，对每一个深度分离卷积层的输出特征图进行通道和空间两个维度的特征关注；其中通道关注力是利用通道间的相互关系和重要程度，关注一张图像中“什么”最有意义；空间关注力关注的是目标在图像中的位置特征，“哪里”对于图像检测识别更加有效；
某个深度分离卷积层的输出特征图为U＝[u1，u2，…，uC]，C为通道数，为实数矩阵，H和W分别为特征图的高和宽。经过通道-关注力模块后，构建的关注力特征图为Y＝[y1，y2，…，yC]，该过程的具体计算过程如下：
步骤3.1通道关注力
为计算通道关注力，首先沿着通道方向，压缩特征图中每个通道的空间维度，分别使用最大、平均和随机三种全局池化方式对空间信息进行聚合，其中最大和平均池化分别保留图像的纹理和背景特征，而随机池化则在二者之间；
首先按全局最大池化，分别将每个ui压缩到通道关注力掩码分量其定义为：
再按全局平均池化和全局随机池化，分别压缩每个ui到通道关注力掩码分量 Smean和Ssto中，其定义为：
其中
其次，三种池化压缩构建的通道关注力掩码分量，分别作为多层感知机模型的输入，通过权值参数和掩码分量的逐点相乘、累加和激活函数完成聚合，从而进一步增加非线性。特征图U的通道关注力掩码S＝[s1,s2,…,sC]的定义如下：
S＝σ(W1δ(W0Smax)+W1δ(W0Smean)+W1δ(W0Ssto))
其中σ是sigmoid函数，δ是ReLu函数。W0和W1为多层感知机模型的权值，这些参数对于三个通道关注力掩码分量是共享的；
最后，将通道关注力掩码扩展到原始输入特征图U，根据掩码对特征图U中的每个通道标定权重，记通道关注力映射后的新特征图为具体定义为：
步骤3.2空间关注力
为计算空间关注力映射，构建特征图中像素或区域间的特征关系，首先压缩特征图的通道数，采用一组pointwise卷积对深度分离卷积层的原始输入特征图跨通道聚合，聚合后的特征图记为
其次，由于不同层的特征图的特性有很大区别，浅层特征图的分辨率较高、而深层特征图则与此相反，且包含较多的抽象语义特征；因此本发明在构建空间关注力时，为减少参数和降低计算量，空间关注力掩码是在浅层和深层特征图中分别按区域和像素进行；空间关注力掩码为其定义如下：
N＝Softmax(Conv(M,o,k,s,p))
其中Conv(·)代表卷积操作，输出通道o＝1，浅卷积层的卷积核尺寸k＝1，深卷积层的卷积核尺寸k＝3，s＝1和p＝0分别为卷积的步长和填充，此外，为消除不同特征图尺度不同的影响，利用Softmax函数对空间关注力掩码归一化；
步骤3.3关注力特征图
在通道关注力映射后的特征图的基础上，再次进行空间关注力掩码的扩展。根据空间关注力掩码对特征图X的每个通道标定空间关注力，最终产生深度分离卷积层的输出特征图作为下一个深度分离卷积层的输入，其定义为：
其中代表逐点相乘；
步骤4在关注力特征图的基础上，采用区域生成网络RPN产生目标的候选区域；
在交通场景中定位到交通标志可能出现的区域，然后FL-CNN再根据这些区域进行标志的分类；
步骤5.对RPN产生的目标候选区域，引入上下文区域信息，增强标志的分类特征；
对于步骤四给出的目标候选区域，仅包括交通标志的部分特征，引入目标候选区域的空间相邻特征，来增强标志的分类特征，具体步骤如下：
(1)为方便描述，某个目标候选区域记为p＝(px,py,pw,ph)，其中(px,py)是区域的中心，(pw,ph)表示该区域的宽和高，在最后一个深度分离卷积输出的关注力特征图上，使用比例因子和创建上下文区域中心坐标与对应的目标候选区域相同；上下文区域和候选区域的关系可以描述如下，其中i为上下文区域的序号；
(2)对于每个目标候选区域和它的上下文区域，利用RoI-Pooling分别在水平、竖直方向分为7份，并对每一份都进行最大值池化的下采样处理，即使尺寸不同的区域，输出维度仍然保持一致，产生3个固定尺寸为7×7×512的特征向量；
(3)在空间维度上，串接在一起，形成3×7×7×512的特征向量；
(4)使用1×1的卷积对(3)中形成的特征向量压缩到7×7×512，使引入上下文区域后的特征向量的维度满足全连接层的结点要求，利用1×1的卷积学习背景和目标之间的非线性关系，当引入的上下文区域含有复杂背景时，卷积参数抑制这些背景，相反，若引入了目标的局部特征，卷积参数则增强这些特征；
步骤6.将特征向量送入用于分类和回归的全连接层，输出交通标志的类别和位置；
采用两个全连接网络Fully Connected Network,FC，第一个FC网络用于交通标志的分类，其中隐层4096个节点，输出44个节点，每个输出节点代表一种交通标志，其值域为(0,1)之间，分类时取最大的输出节点作为交通标志类别；第二个FC网络用于交通标志的位置回归,其中隐层4096个节点，输出4 个节点，分别代表交通标志的中心点坐标和宽；
步骤7.建立关注力损失函数，训练FL-CNN模型；
为保证模型获得充分训练和提高模型的泛化能力，建立关注力损失函数，实现难易样本的有效区分，对易分样本的损失进行抑制，对难分样本的损失进行增强；FL-CNN模型的训练包括两部分，分别是是RPN网络和全连接层网络，其中RPN网络的损失包括二分类损失和回归损失，全连接网络的损失是多分类损失和回归损失；
(1)RPN网络的关注力损失函数如下：
其中pi表示第i个anchor是目标对象的预测概率，表示目标的真实标签。ti是一个向量，包含预测框的中心坐标、宽高信息。表示真实框的信息向量。Ncls表示anchor的总数，Nreg表示特征图的尺寸，λ为调节系数，可以取Lreg表示所有包围框的回归损失，是本发明提出的关注力二分类损失，具体定义如下：
其中σ是sigmoid函数，前景样本的预测概率是-logσ(x)，背景样本的预测概率是-logσ(-x)，K是常数。该损失函数具有如下特性：如果样本属于易分样本，则-logσ(x)→1或者-logσ(-x)→0，即σ(x)→1/e或者σ(-x)→1，则取K为较大值时，前景样本损失中的损失调节系数σ(-Kx)→0，背景样本损失中的损失调节系数σ(Kx)→0；如果样本属于难分样本，则前景样本和背景样本的损失调节系数分别为：σ(-Kx)→1，σ(Kx)→1，因此，关注力损失函数有效区分难易样本，通过抑制易分样本的损失，让RPN 的学习和训练更多的关注难分样本，从而保证RPN网络得到充分训练；
(2)全连接层网络的关注力损失函数如下：
其中δ是softmax函数，该损失函数与RPN类似，包括多分类损失和回归损失两部分，其中是关注力多分类损失，其函数性质与关注力二分类损失一致，当样本的预测概率-logδ(xk)→1时，权重δ(-Kxk)→0，相反样本的预测概率-logδ(xk)→0时，权重δ(-Kxk)→1；
步骤8.重复步骤2至步骤7，完成FL-CNN模型的样本训练；
步骤9.启动彩色摄像机，对实际交通场景进行拍照，该场景输入模型前要进行预处理，将分辨率设置为2048×2048，然后输入到FL-CNN模型中，重复步骤 2至步骤6，完成实际场景的交通标志检测识别。
上述方案中步骤1具体为：
(1)采用清华大学和腾讯公司联合公布的Tsinghua-Tencent 100K数据集，选用44类常用交通标志作为远距离检测识别对象；
(2)将Tsinghua-Tencent 100K数据集按照1:2的比例，分割成训练集和测试集；
(3)为保证FL-CNN模型训练时的样本平衡，训练集合中每类交通标志的场景实例为100张以上，若某类标志的场景实例低于100张，采用重复采样的方法进行填充。
上述方案中步骤4具体为：
(1)在最后一个深度分离卷积输出的关注力特征图上，以每个像素为锚点，采用1:1、1:2、2:1的3种比例和3种尺寸，在原始交通场景上产生9个anchor 框，3种尺寸分别为4、8、16；
(2)去除超过原始输入图像边界的anchor框；
(3)采用最大值抑制法，阈值为0.7，去除重复比较多的anchor框；
(4)根据anchor框与样本中真实目标的交并比IoU，确定正样本和负样本，其中IoU>0.7的为正样本，IoU<0.3的为负样本，0.3至0.7之间的anchor框，再次被去除，其中IoU的计算公式如下：
(5)根据平移不变性，每个anchor框对应融合特征图上的一个区域建议框；
(6)所有区域建议框经过区域生成网络RPN的全连接层后，得到目标候选区域。
有益效果：
1、本发明主要采用深度学习技术解决道路交通标志的远距离检测与识别，该方法可以直接运行在电源功耗和硬件性能较低的车载***上，测试结果表明，该方法有效节省计算资源，模型大小仅为76Mb，识别精度达92％，适用于车载***的远距离交通标志检测识别要求。
2、本发明建立了关注力轻量型卷积神经网络，建立的原因分析和优点：
原因分析：现有的交通标志检测模型都是直接利用卷积神经网络来提取图像特征，这种方式虽然可以从海量数据集中自动完成特征的学习和提取，但值得注意的是卷积神经网络的模型参数导出后，占有很大的存储空间(例：VGG-16 网络达到527Mb)，运行时需要较大的内存和功耗。而车载***属于嵌入式、低功耗***，硬件性能较低，因此无法直接运行这些庞当的模型来进行交通标志检测。目前的技术，均是将检测识别模型运行在远端的服务器上，车载摄像头拍摄交通场景后，通过网络传送给服务端，然后再通过网络接受服务端的检测识别结果，这种应用方式不仅严重受限于网络状况，若传输网络瘫痪或者拥塞，极易造成行车***响应的不及时，对于智能行车***则是致命的。
优点分析：针对这些问题，本发明设计了一种基于关注力的轻量型卷积神经网络(Focus Lightweight Convolutional Neural Network，FL-CNN)。该模型具有如下优点：
(1)FL-CNN在卷积提取特征的过程中，对于每一个卷积层，使用深度分离卷积取代原有的标准卷积，极大的降低了模型参数数量，将模型的存储空间压缩到 76Mb，从而适用于车载***；
(2)FL-CNN在检测阶段，发明了一种通道-空间关注力模块，对深度分离卷积层的原始输入特征图进行压缩、掩码和扩展，构建具有特征抑制或加强的关注力特征图，使模型可以在复杂背景中快速、准确地检测目标。关注力特征图通过通道和空间两个维度，分别对图像的显著特征和区域位置信息进行增强，不仅可以使模型在计算时关注这部分信息，节省计算资源，而且可以使模型在检测时，通过关注的通道特征和区域增强来有效实现检测速度和精度的提高；
(3)FL-CNN在识别阶段，发明了一种关注上下文机制。由于检测阶段提取出的目标区域经常会出现标志区域不完整的现象，造成标志的部分关键性信息丢失。因为这种关注上下文机制通过目标区域的上下文实现交通标志的局部信息引入，增强标志的分类特征，有效防止检测阶段的交通标志区域不完整。同时，采用点卷积可以动态学习目标和上下文区域之间的非线性关系，若引进的是背景干扰信息，则通过降低点卷积参数值完成这些干扰信息的抑制；若引进的是标志的局部信息，则通过提高点卷积参数值来加强这些信息。因此，关注上下文机制对于交通标志的分类有重要作用。
3、本发明建立了关注力损失函数，建立的原因分析和优点。
原因分析：模型在训练学习过程中，随着迭代次数的增长，越来越多的样本检测识别都趋于正确，原有的交叉熵损失函数虽然可以对于此类易分样本的损失进行了一定程度的抑制，但由于这部分样本数量众多，仍然极大的影响着模型训练的总体损失，导致最后难分样本的训练被“淹没”，严重影响模型的泛化能力，也就是模型虽然训练精度很高，但是在实际应用中的检测识别能力较弱。
优点分析：针对此问题，本发明为保证模型获得充分训练和提高模型的泛化能力，提出一种关注力损失函数。优点如下：
(1)该函数利用损失调节系数来增强或者抑制样本的训练损失，实现难易样本的有效区分，通过对易分样本的损失进行抑制，极大的增强了难分样本损失在总训练损失中的比重。在此基础上，模型的训练过程从所有样本转变为多关注难分样本；
(2)模型关注难分样本的训练，是在保证易分样本训练正确的基础上，有效防止难分样本在训练过程中被数量众多的易分样本所“淹没”。同时，当难分样本在某次迭代中训练正确后，根据改变损失调节系数将其转变为易分样本，而易分样本若出现训练错误，则再次将其转变为难分样本，因此损失调节过程是动态的；
(3)模型在训练阶段多关注难样本，会使得模型在训练过程中对样本集中隐含的数据特征规律进行充分的发掘。训练后的模型在具体应用时，有较强的泛化能力和较高的检测识别精度。
4、本发明采用的是清华大学与腾讯公司联合发布的Tsinghua-Tencent 100K 大规模交通标志数据集。优点如下：
(1)它是由腾讯实拍的街景图分割而成，共包含10万张场景图片和3万个交通标志，包含禁令、警告和指示3个大类的交通标志，种类齐全。每张交通场景图片分辨率达到2048×2048，并且(0,32]像素和(32,96]像素的交通标志分别占据数据集的41.6％和49.1％，因此非常适合远距离交通标志检测识别模型的训练；(2)该数据集涵盖大部分光照、天气等变化条件，因此采用它训练目标检测模型，模型能够适应复杂多变的远距离交通标志检测识别，为无人驾驶和辅助驾驶中的智能导航设备提供更多的安全性和设备响应时间。
5、本发明以VGG-16卷积神经网络为基础，采用深度分离卷积替换卷积神经网络中的标准卷积，将直接扩通道的卷积计算方式更改为联合计算(深度卷积的单通道和点卷积的跨通道)，实现模型参数压缩，构建轻量型卷积神经网络，节省了计算资源、降低了硬件存储。
四、附图说明：
图1为本发明的FL-CNN目标检测识别模型的内部结构图。
图2为本发明的通道-空间关注力模块。
图3为本发明的方法流程图。
图4为本发明远距离检测识别的44种常用交通标志，这些交通标志分为：指示、警告和禁止三种类别，图中*表示一类标志，其中il*：il100、il60、il80； ph*：ph4、ph4.5、ph5；pm*：pm20、pm30、pm55；pl*：pl5、pl20、pl30、pl40、 pl50、pl60、pl70、pl80、pl100、pl120。
图5为本发明与其他方法的44种常见交通标志的检测识别精度对比统计图。
五、具体实施方式：
下面结合附图对本发明做进一步的说明：
这种适用于车载***的远距离交通标志检测识别方法，有效解决识别精度低、模型庞大、检测距离短的不足，提出一种新的目标检测框架，并命名为基于关注力的轻量型卷积神经网络(Focus Lightweight Convolutional Neural Network，FL-CNN)。首先，FL-CNN在检测阶段，采用深度分离卷积降低模型的参数数量，有效实现模型压缩。同时，发明了一种通道-空间关注力模块，对深度分离卷积层的原始输入特征图进行压缩、掩码和扩展，构建具有特征抑制或加强的关注力特征图，提高模型的小目标检测能力；其次，FL-CNN在识别阶段，发明了一种关注力上下文区域机制，引入交通标志的局部信息，增强标志的分类特征，防止检测阶段的交通标志区域不完整；最后，FL-CNN在训练阶段，发明了一种关注力损失函数区分难易样本，提高模型的训练和泛化能力。最后，采用清华大学与腾讯公司联合公布的远距离交通标志检测数据集 Tsinghua-Tencent 100K对模型进行训练。
具体如下：
步骤1.对交通标志图像样本集进行预处理；
(1)采用清华大学和腾讯公司联合公布的Tsinghua-Tencent 100K数据集，选用44类常用交通标志作为远距离检测识别对象；
(2)将Tsinghua-Tencent 100K数据集按照1:2的比例，分割成训练集和测试集；
(3)为保证模型训练时的样本平衡，训练集合中每类交通标志的场景实例为100张以上。若某类标志的场景实例低于100张，则采用重复采样的方法进行填充。
步骤2.构建轻量型卷积神经网络，完成交通标志的卷积特征抽取；
(1)该步骤对于标志检测识别模型的压缩具有重要的作用，利用深度分离卷积将原有VGG-16中标准卷积的通道和空间的联合映射分离成二者的单独映射方式，有效降低模型的参数数量和硬盘空间存储。该网络共包含5个卷积层，其中每个卷积层包含深度卷积和点卷积两部分，并采用ReLU作为激活函数；
(2)在此轻量型卷积神经网络中，深度分离卷积与原有标准卷积的计算量对比如下：
记卷积核为(DK,DK,C)，其中DK为卷积核宽和高，C为卷积核的通道。在卷积计算过程中，深度分离卷积是将原有跨通道计算的N个(DK,DK,M)标准卷积转成转换成M个(DK,DK,1)的深度卷积和跨通道的N个(1,1,M)的点卷积，其中深度卷积是单通道计算，点卷积为跨通道计算。记输入特征图的为{DF,DF,M}，输出特征图为{DF,DF,N}，其中DF表示特征图的宽和高，则各卷积的计算量如下：
①标准卷积的计算量为：Count_s＝DK×DK×M×N×DF×DF
②深度卷积的计算量为：Count_d＝DK×DK×M×DF×DF
③点卷积的计算量为：Count_p＝M×N×DF×DF
因此，深度分离卷积和标准卷积的计算量的对比关系如下，每次使用深度分离卷积，相对于原有的标准卷积，计算量下降倍；
步骤3.通过嵌入到轻量型卷积神经网络中的通道-空间关注力模块，构建关注力特征图；
本步骤主要目的是设计一种关注力特征图，仿照人类的关注力机制，实现对场景中的小交通标志的卷积特征进行增强，对无关的背景信息进行特征抑制，节省计算资源，提高检测精度。为此，本发明提出一种可以嵌入到深度分离卷积层中的通道-空间关注力模块，对每一个深度分离卷积层的输出特征图进行通道和空间两个维度的特征关注(抑制或增强)。其中通道关注力是利用通道间的相互关系和重要程度，关注一张图像中“什么”最有意义。与其不同，空间关注力关注的是目标在图像中的位置特征，即“哪里”对于图像检测识别更加有效。
某个深度分离卷积层的输出特征图为U＝[u1，u2，…，uC]，C为通道数，为实数矩阵，H和W分别为特征图的高和宽。经过通道-关注力模块后，构建的关注力特征图为Y＝[y1，y2，…，yC]，该过程的具体计算过程如步骤3.1、步骤3.2和步骤3.3描述。
步骤3.1通道关注力
为计算通道关注力，本发明首先沿着通道方向，压缩特征图中每个通道的空间维度，分别使用最大、平均和随机三种全局池化方式对空间信息进行聚合，其中最大和平均池化分别保留图像的纹理和背景特征，而随机池化则在二者之间。
首先按全局最大池化，分别将每个ui压缩到通道关注力掩码分量其定义为：
再按全局平均池化和全局随机池化，分别压缩每个ui到通道关注力掩码分量 Smean和Ssto中，其定义为：
其中
其次，三种池化压缩构建的通道关注力掩码分量，分别作为多层感知机模型的输入，通过权值参数和掩码分量的逐点相乘、累加和激活函数完成聚合，从而进一步增加非线性。特征图U的通道关注力掩码S＝[s1,s2,…,sC]的定义如下：
S＝σ(W1δ(W0Smax)+W1δ(W0Smean)+W1δ(W0Ssto))
其中σ是sigmoid函数，δ是ReLu函数。W0和W1为多层感知机模型的权值，这些参数对于三个通道关注力掩码分量是共享的。
最后，将通道关注力掩码扩展到原始输入特征图U，根据掩码对特征图U中的每个通道标定权重，记通道关注力映射后的新特征图为具体定义为：
步骤3.2空间关注力
为计算空间关注力映射，构建特征图中像素或区域间的特征关系，首先压缩特征图的通道数，采用一组pointwise卷积对深度分离卷积层的原始输入特征图跨通道聚合，聚合后的特征图记为
其次，由于不同层的特征图的特性有很大区别，浅层特征图的分辨率较高、而深层特征图则与此相反，且包含较多的抽象语义特征。因此本发明在构建空间关注力时，为减少参数和降低计算量，空间关注力掩码是在浅层和深层特征图中分别按区域和像素进行。为方便描述，记空间关注力掩码为其定义如下：
N＝Softmax(Conv(M,o,k,s,p))
其中Conv(·)代表卷积操作，输出通道o＝1，浅卷积层的卷积核尺寸k＝1，深卷积层的卷积核尺寸k＝3。s＝1和p＝0分别为卷积的步长和填充。此外，为消除不同特征图尺度不同的影响，利用Softmax函数对空间关注力掩码归一化。
步骤3.3关注力特征图
在通道关注力映射后的特征图的基础上，再次进行空间关注力掩码的扩展。根据空间关注力掩码对特征图X的每个通道标定空间关注力，最终产生深度分离卷积层的输出特征图作为下一个深度分离卷积层的输入，其定义为：
其中代表逐点相乘。
步骤4在关注力特征图的基础上，采用区域生成网络RPN产生目标的候选区域
该步骤的目标是在交通场景中定位到交通标志可能出现的区域，然后FL-CNN 再根据这些区域进行标志的分类。本步骤的相关细节如下：
(1)在最后一个深度分离卷积输出的关注力特征图上，以每个像素为锚点，采用3种尺寸(4、8、16)和3种比例(1:1、1:2、2:1)，在原始交通场景上产生9个anchor框；
(2)去除超过原始输入图像边界的anchor框；
(3)采用最大值抑制法，阈值为0.7，去除重复比较多的anchor框；
(4)根据anchor框与样本中真实目标的交并比IoU，确定正样本和负样本，其中IoU>0.7的为正样本，IoU<0.3的为负样本，0.3至0.7之间的anchor框，再次被去除。其中IoU的计算公式如下：
(5)根据平移不变性，每个anchor框对应融合特征图上的一个区域建议框；
(6)所有区域建议框经过区域生成网络RPN的全连接层后，得到目标候选区域。
步骤5.对RPN产生的目标候选区域，引入上下文区域信息，增强标志的分类特征；
对于步骤4给出的目标候选区域，可能仅包括交通标志的部分特征，因此本发明提出了一种上下文区域信息，引入目标候选区域的空间相邻特征，来增强标志的分类特征。具体步骤如下：
(1)为方便描述，某个目标候选区域记为p＝(px,py,pw,ph)，其中(px,py)是区域的中心，(pw,ph)表示该区域的宽和高，在最后一个深度分离卷积输出的关注力特征图上，使用比例因子和创建上下文区域中心坐标与对应的目标候选区域相同。上下文区域和候选区域的关系可以描述如下，其中i为上下文区域的序号；
(2)对于每个目标候选区域和它的上下文区域，利用RoI-Pooling分别在水平、竖直方向分为7份，并对每一份都进行最大值池化的下采样处理，即使尺寸不同的区域，输出维度仍然保持一致，产生3个固定尺寸为7×7×512的特征向量。
(3)在空间维度上，串接在一起，形成3×7×7×512的特征向量；
(4)最后，使用1×1的卷积对(3)中形成的特征向量压缩到7×7×512。该步骤不仅使引入上下文区域后的特征向量的维度满足全连接层的结点要求。值得注意的是，利用1×1的卷积可以学习背景和目标之间的非线性关系，当引入的上下文区域含有复杂背景时，卷积参数可以抑制这些背景。相反，若引入了目标的局部特征，卷积参数则可以增强这些特征。
步骤6.将特征向量送入用于分类和回归的全连接层，输出交通标志的类别和位置；
采用两个全连接网络(Fully Connected Network,FC)，第一个FC网络用于交通标志的分类，其中隐层4096个节点，输出44个节点，每个输出节点代表一种交通标志，其值域为(0,1)之间，分类时取最大的输出节点作为交通标志类别；；第二个FC网络用于交通标志的位置回归,其中隐层4096个节点，输出4个节点，分别代表交通标志的中心点坐标和宽。
步骤7.建立关注力损失函数，训练FL-CNN模型
为保证模型获得充分训练和提高模型的泛化能力，本发明提出一种关注力损失函数，实现难易样本的有效区分，对易分样本的损失进行抑制，对难分样本的损失进行增强。FL-CNN模型的训练包括两部分，分别是是RPN网络和全连接层网络，其中RPN网络的损失包括二分类损失和回归损失，全连接网络的损失是多分类损失和回归损失。
(1)RPN网络的关注力损失函数如下：
其中pi表示第i个anchor是目标对象的预测概率，表示目标的真实标签。ti是一个向量，包含预测框的中心坐标、宽高信息。表示真实框的信息向量。Ncls表示anchor的总数，Nreg表示特征图的尺寸，λ为调节系数，可以取 Lreg表示所有包围框的回归损失，是本发明提出的关注力二分类损失，具体定义如下：
其中σ是sigmoid函数，前景样本的预测概率是-logσ(x)，背景样本的预测概率是-logσ(-x)，K是常数。该损失函数具有如下特性：如果样本属于易分样本，则-logσ(x)→1或者-logσ(-x)→0，即σ(x)→1/e或者σ(-x)→1，则取K为较大值时，前景样本损失中的损失调节系数σ(-Kx)→0，背景样本损失中的损失调节系数σ(Kx)→0。如果样本属于难分样本，则前景样本和背景样本的损失调节系数分别为：σ(-Kx)→1，σ(Kx)→1。因此，本发明提出的关注力损失函数可以有效区分难易样本，通过抑制易分样本的损失，让RPN的学习和训练更多的关注难分样本，从而有效保证RPN网络得到充分训练。
(2)全连接层网络的关注力损失函数如下：
其中δ是softmax函数。该损失函数与RPN类似，包括多分类损失和回归损失两部分，其中是本发明提出的关注力多分类损失。其函数性质与关注力二分类损失一致，当样本的预测概率-logδ(xk)→1时，权重δ(-Kxk)→0，相反样本的预测概率-logδ(xk)→0时，权重δ(-Kxk)→1。
步骤8.重复步骤二至步骤七，完成FL-CNN模型的样本训练；
步骤9.启动彩色摄像机，对实际交通场景进行拍照，该场景输入模型前要进行预处理，将分辨率设置为2048×2048，然后输入到FL-CNN模型中，重复步骤二至步骤六，完成实际场景的交通标志检测识别。
本发明模型的学习算法方面，为使模型从样本集中获得充分学习，发明了一种新的关注力损失函数。模型的结构方面，主要包括以下5个组成部分，其中(1)、(2)和(4)与其他模型有明显区别，均是为针对车载***的低功耗、硬件性能弱及提高检测识别精度单独发明的)
(1)轻量型卷积神经网络：利用深度分离卷积技术构建卷积神经网络，降低模型参数数量，实现模型压缩，并对交通场景逐层自动抽取交通标志的卷积特征；
(2)通道-空间关注力模块：这是本发明提出的一种针对远距离交通标志检测的特有技术，是模型中的重要组成部分，可嵌入到轻量型卷积神经网络的每个卷积层中来构建关注力特征图，实现对原有特征图中的信息进行抑制或增强，有效节省模型的计算资源、对提高方法检测能力；
(3)区域建议网络(Region Proposal Network,RPN)：根据最后一个深度分离卷积层输出的关注力特征图，产生一定数量的目标建议区域；
(4)上下文区域池化层：这是本发明提出的一种能够有效增强目标区域信息能力的特有技术，是模型中的重要组成部分，通过区域池化、正则化、串接、压缩构建关注上下文区域信息的分类特征；
(5)全连接网络(Fully Connected Network,FC)：本部分主要负责对压缩后的关注力上下文区域特征进行交通标志的具体分类和位置计算。
实施例：
模型训练数据集Tsinghua-Tencent 100K中的每张交通场景的分辨率为 2048×2048像素，交通标志的尺寸在0～32像素、32～96像素间的，分别占数据集的41.6％和49.1％，即90.7％的交通标志的尺寸占交通场景的比例小于1％，属于远距离交通标志检测识别情况。
(1)数据集处理：本发明所采用的FL-CNN模型在训练过程中，为保持样本集的平衡，对于每类交通标志所在交通场景少于100张的类别采取重采样的方法。训练集和测试集的比例为1:2；
(2)对比指标：本发明在具体测试过程中，采用衡量准确率常用的度量指标F1-measure作为检测识别指标，该指标的值越大，则说明检测识别精度越高；
(3)对比模型：为验证本发明FL-CNN的有效性，与目前最常用的目标检测框架FastR-CNN和Faster R-CNN进行检测精度对比；
(4)此外，为详细验证本发明对不同距离交通标志的检测精度，我们分别对比了本发明在不同尺寸(不同距离)交通标志的检测精度，共包含三种尺寸， (0,32]像素、(32,96]像素、(96,200]像素，其中(0,32]像素和(32,96]像素的交通标志属于远距离，(96,200]像素的交通标志属于中等距离。
FL-CNN模型训练和现场测试情况说明(测试是为了掌握本方法第1步骤～第8步骤的可行性)
首先，我们对比了各个模型导出后所占的硬盘空间存储。其中Fast R-CNN 和Faster R-CNN均是VGG-16网络，参数导出后各占558Mb和582Mb，而本发明的FL-CNN模型仅占76Mb。相对于Fast R-CNN和Faster R-CNN，我们发明的FL-CNN 模型的空间存储下降了80％左右，可直接运行在功耗和硬件性能较低的车载***。由此可见，本发明采用深度分离卷积不仅有效降低了模型参数数量和硬盘空间存储。同时也表明本发明的通道-空间关注力模块和关注力上下文区域对模型存储影响并不大，可以有效节省计算资源。
其次，我们对比了本发明的FL-CNN与常用目标检测框架Fast R-CNN和Faster R-CNN的交通标志检测识别精度。从表1中可以清晰看出，在三种不同距离交通标志的检测识别精度上，本发明较Fast R-CNN和Faster R-CNN均有非常明显的提高，其中相对于FasterR-CNN方法，(0,32]像素提高了55个百分点，(0,32] 像素和(96,200]像素也分别提高了20个百分点和9个百分点，总体平均提高了28个百分点。这充分说明了本发明的三种关注力机制(通道-空间关注力、上下文关注力、损失函数关注力)的有效性。
然后，为进一步验证三种关注力机制对FL-CNN模型的检测识别精度影响，我们还在表1中对比了去掉不同的关注力机制后的精度，其中“—”表示在模型中去掉该机制。从结果中可以看出，去掉每一种关注力机制对检测识别精度均有影响，其中通道-空间关注力影响最大。此外，去掉三种机制后，FL-CNN模型退化为Faster R-CNN模型。
表1各个模型的检测识别精度对比(％)
最后，图5给出了不同目标检测识别框架对44种交通标志的识别精度对比统计图，可以看出，本发明的FL-CNN的每种交通标志的检测识别准确率都高于Fast R-CNN和FasterR-CNN。

Claims (3)

1.一种适用于车载***的远距离交通标志检测识别方法，其特征在于：
步骤一、对交通标志图像样本集进行预处理；
步骤二、构建轻量型卷积神经网络，完成交通标志的卷积特征抽取；
(1)利用深度分离卷积将原有VGG-16中标准卷积的通道和空间的联合映射分离成二者的单独映射方式，降低模型的参数数量和硬盘空间存储，轻量型卷积神经网络共包含5个卷积层，其中每个卷积层包含深度卷积和点卷积两部分，并采用ReLU作为激活函数；
(2)在轻量型卷积神经网络中，深度分离卷积与原有标准卷积的计算量对比如下：
记卷积核为(DK,DK,C)，其中DK为卷积核宽和高，C为卷积核的通道；在卷积计算过程中，深度分离卷积是将原有跨通道计算的N个(DK,DK,M)标准卷积转成转换成M个(DK,DK,1)的深度卷积和跨通道的N个(1,1,M)的点卷积，其中深度卷积是单通道计算，点卷积为跨通道计算；记输入特征图的为{DF,DF,M}，输出特征图为{DF,DF,N}，其中DF表示特征图的宽和高，则各卷积的计算量如下：
①标准卷积的计算量为：Count_s＝DK×DK×M×N×DF×DF
②深度卷积的计算量为：Count_d＝DK×DK×M×DF×DF
③点卷积的计算量为：Count_p＝M×N×DF×DF
因此，深度分离卷积和标准卷积的计算量的对比关系如下，每次使用深度分离卷积，相对于原有的标准卷积，计算量下降倍；
步骤三.通过嵌入到轻量型卷积神经网络中的通道-空间关注力模块，构建关注力特征图；
关注力特征图，仿照人类的关注力机制，实现对场景中的小交通标志的卷积特征进行增强，对无关的背景信息进行特征抑制，节省计算资源，提高检测精度，将通道-空间关注力模块嵌入到深度分离卷积层，对每一个深度分离卷积层的输出特征图进行通道和空间两个维度的特征关注；其中通道关注力是利用通道间的相互关系和重要程度，关注一张图像中“什么”最有意义；空间关注力关注的是目标在图像中的位置特征，“哪里”对于图像检测识别更加有效；
某个深度分离卷积层的输出特征图为U＝[u1,u2,…,uC]，C为通道数，为实数矩阵，H和W分别为特征图的高和宽,经过通道-关注力模块后，构建的关注力特征图为Y＝[y1,y2,…,yC]，该过程的具体计算过程如下：
步骤3.1通道关注力
首先沿着通道方向，压缩特征图中每个通道的空间维度，分别使用最大、平均和随机三种全局池化方式对空间信息进行聚合，其中最大和平均池化分别保留图像的纹理和背景特征，随机池化则在二者之间；
首先按全局最大池化，分别将每个ui压缩到通道关注力掩码分量其定义为：
再按全局平均池化和全局随机池化，分别压缩每个ui到通道关注力掩码分量Smean和Ssto中，其定义为：
其中
其次，三种池化压缩构建的通道关注力掩码分量，分别作为多层感知机模型的输入，通过权值参数和掩码分量的逐点相乘、累加和激活函数完成聚合，进一步增加非线性，特征图U的通道关注力掩码S＝[s1,s2,…,sC]的定义如下：
S＝σ(W1δ(W0Smax)+W1δ(W0Smean)+W1δ(W0Ssto))
其中σ是sigmoid函数，δ是ReLu函数，W0和W1为多层感知机模型的权值，这些参数对于三个通道关注力掩码分量是共享的；
最后，将通道关注力掩码扩展到原始输入特征图U，根据掩码对特征图U中的每个通道标定权重，记通道关注力映射后的新特征图为具体定义为：
步骤3.2空间关注力
为计算空间关注力映射，构建特征图中像素或区域间的特征关系，首先压缩特征图的通道数，采用一组pointwise卷积对深度分离卷积层的原始输入特征图跨通道聚合，聚合后的特征图记为
其次，由于不同层的特征图的特性有很大区别，浅层特征图的分辨率较高、深层特征图与此相反，且包含较多的抽象语义特征；因此在构建空间关注力时，为减少参数和降低计算量，空间关注力掩码在浅层和深层特征图中分别按区域和像素进行；空间关注力掩码为其定义如下：
N＝Softmax(Conv(M,o,k,s,p))
其中Conv(·)代表卷积操作，输出通道o＝1，浅卷积层的卷积核尺寸k＝1，深卷积层的卷积核尺寸k＝3，s＝1和p＝0分别为卷积的步长和填充，此外，为消除不同特征图尺度不同的影响，利用Softmax函数对空间关注力掩码归一化；
步骤3.3关注力特征图
在通道关注力映射后的特征图的基础上，再次进行空间关注力掩码的扩展，根据空间关注力掩码对特征图X的每个通道标定空间关注力，最终产生深度分离卷积层的输出特征图作为下一个深度分离卷积层的输入，其定义为：
其中代表逐点相乘；
步骤四在关注力特征图的基础上，采用区域生成网络RPN产生目标的候选区域
在交通场景中定位到交通标志可能出现的区域，然后FL-CNN再根据这些区域进行标志的分类；
步骤五.对RPN产生的目标候选区域，引入上下文区域信息，增强标志的分类特征；
对于步骤四给出的目标候选区域，仅包括交通标志的部分特征，引入目标候选区域的空间相邻特征，来增强标志的分类特征，具体步骤如下：
(1)为方便描述，某个目标候选区域记为p＝(px,py,pw,ph)，其中(px,py)是区域的中心，(pw,ph)表示该区域的宽和高，在最后一个深度分离卷积输出的关注力特征图上，使用比例因子和创建上下文区域中心坐标与对应的目标候选区域相同，上下文区域和候选区域的关系可以描述如下，其中i为上下文区域的序号；
(2)对于每个目标候选区域和它的上下文区域，利用RoI-Pooling分别在水平、竖直方向分为7份，并对每一份都进行最大值池化的下采样处理，即使尺寸不同的区域，输出维度仍然保持一致，产生3个固定尺寸为7×7×512的特征向量；
(3)在空间维度上，串接在一起，形成3×7×7×512的特征向量；
(4)使用1×1的卷积对(3)中形成的特征向量压缩到7×7×512，使引入上下文区域后的特征向量的维度满足全连接层的结点要求，利用1×1的卷积学习背景和目标之间的非线性关系，当引入的上下文区域含有复杂背景时，卷积参数抑制这些背景，相反，若引入了目标的局部特征，卷积参数则增强这些特征；
步骤六.将特征向量送入用于分类和回归的全连接层，输出交通标志的类别和位置；
采用两个全连接网络Fully Connected Network,FC，第一个FC网络用于交通标志的分类，其中隐层4096个节点，输出44个节点，每个输出节点代表一种交通标志，其值域为(0,1)之间，分类时取最大的输出节点作为交通标志类别；第二个FC网络用于交通标志的位置回归,其中隐层4096个节点，输出4个节点，分别代表交通标志的中心点坐标和宽；
步骤七.建立关注力损失函数，训练FL-CNN模型
为保证模型获得充分训练和提高模型的泛化能力，建立关注力损失函数，实现难易样本的有效区分，对易分样本的损失进行抑制，对难分样本的损失进行增强；FL-CNN模型的训练包括两部分，分别是是RPN网络和全连接层网络，其中RPN网络的损失包括二分类损失和回归损失，全连接网络的损失是多分类损失和回归损失；
(1)RPN网络的关注力损失函数如下：
其中pi表示第i个anchor是目标对象的预测概率，表示目标的真实标签，ti是一个向量，包含预测框的中心坐标、宽高信息，表示真实框的信息向量，Ncls表示anchor的总数，Nreg表示特征图的尺寸，λ为调节系数，取Lreg表示所有包围框的回归损失，是关注力二分类损失，具体定义如下：
其中σ是sigmoid函数，前景样本的预测概率是-logσ(x)，背景样本的预测概率是-logσ(-x)，K是常数，该损失函数具有如下特性：如果样本属于易分样本，则-logσ(x)→1或者-logσ(-x)→0，即σ(x)→1/e或者σ(-x)→1，则取K为较大值时，前景样本损失中的损失调节系数σ(-Kx)→0，背景样本损失中的损失调节系数σ(Kx)→0；如果样本属于难分样本，则前景样本和背景样本的损失调节系数分别为：σ(-Kx)→1，σ(Kx)→1，因此，关注力损失函数有效区分难易样本，通过抑制易分样本的损失，让RPN的学习和训练更多的关注难分样本，从而保证RPN网络得到充分训练；
(2)全连接层网络的关注力损失函数如下：
其中δ是softmax函数，该损失函数与RPN类似，包括多分类损失和回归损失两部分，其中是关注力多分类损失，其函数性质与关注力二分类损失一致，当样本的预测概率-logδ(xk)→1时，权重δ(-Kxk)→0，相反样本的预测概率-logδ(xk)→0时，权重δ(-Kxk)→1；
步骤八.重复步骤二至步骤七，完成FL-CNN模型的样本训练；
步骤九.启动彩色摄像机，对实际交通场景进行拍照，该场景输入模型前要进行预处理，将分辨率设置为2048×2048，然后输入到FL-CNN模型中，重复步骤二至步骤六，完成实际场景的交通标志检测识别。
2.根据权利要求1所述的基于F-RCNN的远距离交通标志检测识别方法，其特征在于：所述的步骤一具体为：
(1)采用清华大学和腾讯公司联合公布的Tsinghua-Tencent 100K数据集，选用44类常用交通标志作为远距离检测识别对象；
(2)将Tsinghua-Tencent 100K数据集按照1:2的比例，分割成训练集和测试集；
(3)为保证FL-CNN模型训练时的样本平衡，训练集合中每类交通标志的场景实例为100张以上，若某类标志的场景实例低于100张，采用重复采样的方法进行填充。
3.根据权利要求2所述的基于F-RCNN的远距离交通标志检测识别方法，其特征在于：所述的步骤四具体为：
(1)在最后一个深度分离卷积输出的关注力特征图上，以每个像素为锚点，采用1:1、1:2、2:1的3种比例和3种尺寸，在原始交通场景上产生9个anchor框，3种尺寸分别为4、8、16；
(2)去除超过原始输入图像边界的anchor框；
(3)采用最大值抑制法，阈值为0.7，去除重复比较多的anchor框；
(4)根据anchor框与样本中真实目标的交并比IoU，确定正样本和负样本，其中IoU>0.7的为正样本，IoU<0.3的为负样本，0.3至0.7之间的anchor框，再次被去除，其中IoU的计算公式如下：
(5)根据平移不变性，每个anchor框对应融合特征图上的一个区域建议框；
(6)所有区域建议框经过区域生成网络RPN的全连接层后，得到目标候选区域。
CN201910474059.7A 2019-06-02 2019-06-02 一种适用于车载***的远距离交通标志检测识别方法 Active CN110188705B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910474059.7A CN110188705B (zh) 2019-06-02 2019-06-02 一种适用于车载***的远距离交通标志检测识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910474059.7A CN110188705B (zh) 2019-06-02 2019-06-02 一种适用于车载***的远距离交通标志检测识别方法

Publications (2)

Publication Number Publication Date
CN110188705A true CN110188705A (zh) 2019-08-30
CN110188705B CN110188705B (zh) 2022-05-06

Family

ID=67719645

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910474059.7A Active CN110188705B (zh) 2019-06-02 2019-06-02 一种适用于车载***的远距离交通标志检测识别方法

Country Status (1)

Country Link
CN (1) CN110188705B (zh)

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110843794A (zh) * 2020-01-15 2020-02-28 北京三快在线科技有限公司 驾驶场景理解方法、装置和轨迹规划方法、装置
CN110956115A (zh) * 2019-11-26 2020-04-03 证通股份有限公司 场景识别方法及装置
CN111027670A (zh) * 2019-11-04 2020-04-17 重庆特斯联智慧科技股份有限公司 特征图处理方法、装置、电子设备及存储介质
CN111178153A (zh) * 2019-12-09 2020-05-19 武汉光庭信息技术股份有限公司 一种交通标志检测方法及***
CN111291887A (zh) * 2020-03-06 2020-06-16 北京迈格威科技有限公司 神经网络的训练方法、图像识别方法、装置及电子设备
CN111539524A (zh) * 2020-03-23 2020-08-14 字节跳动有限公司 轻量级自注意力模块、神经网络模型和神经网络构架的搜索方法
CN111652308A (zh) * 2020-05-13 2020-09-11 三峡大学 基于超轻量级全卷积神经网络的花卉识别方法
CN111695594A (zh) * 2020-04-29 2020-09-22 平安科技（深圳）有限公司 图像类别识别方法、装置、计算机设备及介质
CN112001385A (zh) * 2020-08-20 2020-11-27 长安大学 一种目标跨域检测与理解方法、***、设备及存储介质
CN112016467A (zh) * 2020-08-28 2020-12-01 展讯通信（上海）有限公司 交通标志识别模型训练方法、识别方法、***、设备及介质
CN112464959A (zh) * 2020-12-12 2021-03-09 中南民族大学 基于注意力和多重知识迁移的植物表型检测***及其方法
CN112926274A (zh) * 2021-04-15 2021-06-08 成都四方伟业软件股份有限公司 一种利用卷积神经网络模拟城市交通***的方法及装置
CN113033482A (zh) * 2021-04-20 2021-06-25 上海应用技术大学 一种基于区域注意力的交通标志检测方法
CN113536942A (zh) * 2021-06-21 2021-10-22 上海赫千电子科技有限公司 一种基于神经网络的道路交通标志识别方法
CN113537138A (zh) * 2021-03-29 2021-10-22 泉州装备制造研究所 一种基于轻量化神经网络的交通标志识别方法
CN113536943A (zh) * 2021-06-21 2021-10-22 上海赫千电子科技有限公司 一种基于图像增强的道路交通标志识别方法
CN113591931A (zh) * 2021-07-06 2021-11-02 厦门路桥信息股份有限公司 一种弱监督目标定位方法、装置、设备及介质
CN113673541A (zh) * 2021-10-21 2021-11-19 广州微林软件有限公司 一种用于目标检测的图像样本生成方法及应用
CN113963060A (zh) * 2021-09-22 2022-01-21 腾讯科技（深圳）有限公司 基于人工智能的车信图像处理方法、装置及电子设备
CN114821519A (zh) * 2022-03-21 2022-07-29 上海应用技术大学 一种基于坐标注意力的交通标志识别方法及***
WO2023083231A1 (en) * 2021-11-12 2023-05-19 Huawei Technologies Co., Ltd. System and methods for multiple instance segmentation and tracking
CN116664918A (zh) * 2023-05-12 2023-08-29 杭州像素元科技有限公司 一种基于深度学习的收费站各车道通行状态检测的方法
CN116954264A (zh) * 2023-09-08 2023-10-27 杭州牧星科技有限公司 分布式高亚音速无人机集群控制***及其方法
CN117726958A (zh) * 2024-02-07 2024-03-19 国网湖北省电力有限公司 配电线路无人机巡检图像目标检测及隐患智能识别方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104537393A (zh) * 2015-01-04 2015-04-22 大连理工大学 一种基于多分辨率卷积神经网络的交通标志识别方法
CN107301383A (zh) * 2017-06-07 2017-10-27 华南理工大学 一种基于Fast R‑CNN的路面交通标志识别方法
CN107316001A (zh) * 2017-05-31 2017-11-03 天津大学 一种自动驾驶场景中小且密集的交通标志检测方法
CN108446625A (zh) * 2018-03-16 2018-08-24 中山大学 基于图模型的图片重要行人检测方法
CN108710826A (zh) * 2018-04-13 2018-10-26 燕山大学 一种交通标志深度学习模式识别方法
CN108960308A (zh) * 2018-06-25 2018-12-07 中国科学院自动化研究所 交通标志识别方法、装置、车载终端及车辆
CN108985145A (zh) * 2018-05-29 2018-12-11 同济大学 小尺寸交通标志检测识别的反向连接深度神经网络模型方法
US20190065871A1 (en) * 2018-10-25 2019-02-28 Intel Corporation Computer-assisted or autonomous driving traffic sign recognition method and apparatus

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104537393A (zh) * 2015-01-04 2015-04-22 大连理工大学 一种基于多分辨率卷积神经网络的交通标志识别方法
CN107316001A (zh) * 2017-05-31 2017-11-03 天津大学 一种自动驾驶场景中小且密集的交通标志检测方法
CN107301383A (zh) * 2017-06-07 2017-10-27 华南理工大学 一种基于Fast R‑CNN的路面交通标志识别方法
CN108446625A (zh) * 2018-03-16 2018-08-24 中山大学 基于图模型的图片重要行人检测方法
CN108710826A (zh) * 2018-04-13 2018-10-26 燕山大学 一种交通标志深度学习模式识别方法
CN108985145A (zh) * 2018-05-29 2018-12-11 同济大学 小尺寸交通标志检测识别的反向连接深度神经网络模型方法
CN108960308A (zh) * 2018-06-25 2018-12-07 中国科学院自动化研究所 交通标志识别方法、装置、车载终端及车辆
US20190065871A1 (en) * 2018-10-25 2019-02-28 Intel Corporation Computer-assisted or autonomous driving traffic sign recognition method and apparatus

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
LIU ZHIGANG 等: "Traffic Sign Recognition Using an Attentive Context Region-Based Detection Framework", 《CHINESE JOURNAL OF ELECTRONICS》 *
ZHIGANG LIU 等: "ADCM:attention dropout convolutional module", 《NEUROCOMPUTING》 *
ZHIGANG LIU 等: "MR-CNN: A Multi-Scale Region-Based Convolutional Neural Network for Small Traffic Sign Recognition", 《IEEE ACCESS》 *
余进程: "车载辅助***中禁令交通标志的识别研究", 《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》 *
程越 等: "基于轻量型卷积神经网络的交通标志识别方法", 《计算机***应用》 *

Cited By (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111027670A (zh) * 2019-11-04 2020-04-17 重庆特斯联智慧科技股份有限公司 特征图处理方法、装置、电子设备及存储介质
CN111027670B (zh) * 2019-11-04 2022-07-22 重庆特斯联智慧科技股份有限公司 特征图处理方法、装置、电子设备及存储介质
CN110956115A (zh) * 2019-11-26 2020-04-03 证通股份有限公司 场景识别方法及装置
CN110956115B (zh) * 2019-11-26 2023-09-29 证通股份有限公司 场景识别方法及装置
CN111178153A (zh) * 2019-12-09 2020-05-19 武汉光庭信息技术股份有限公司 一种交通标志检测方法及***
CN110843794A (zh) * 2020-01-15 2020-02-28 北京三快在线科技有限公司 驾驶场景理解方法、装置和轨迹规划方法、装置
CN110843794B (zh) * 2020-01-15 2020-05-05 北京三快在线科技有限公司 驾驶场景理解方法、装置和轨迹规划方法、装置
CN111291887A (zh) * 2020-03-06 2020-06-16 北京迈格威科技有限公司 神经网络的训练方法、图像识别方法、装置及电子设备
CN111291887B (zh) * 2020-03-06 2023-11-10 北京迈格威科技有限公司 神经网络的训练方法、图像识别方法、装置及电子设备
CN111539524A (zh) * 2020-03-23 2020-08-14 字节跳动有限公司 轻量级自注意力模块、神经网络模型和神经网络构架的搜索方法
CN111539524B (zh) * 2020-03-23 2023-11-28 字节跳动有限公司 轻量级自注意力模块和神经网络构架的搜索方法
CN111695594A (zh) * 2020-04-29 2020-09-22 平安科技（深圳）有限公司 图像类别识别方法、装置、计算机设备及介质
CN111695594B (zh) * 2020-04-29 2024-07-09 平安科技（深圳）有限公司 图像类别识别方法、装置、计算机设备及介质
CN111652308B (zh) * 2020-05-13 2024-02-23 三峡大学 基于超轻量级全卷积神经网络的花卉识别方法
CN111652308A (zh) * 2020-05-13 2020-09-11 三峡大学 基于超轻量级全卷积神经网络的花卉识别方法
CN112001385B (zh) * 2020-08-20 2024-02-06 长安大学 一种目标跨域检测与理解方法、***、设备及存储介质
CN112001385A (zh) * 2020-08-20 2020-11-27 长安大学 一种目标跨域检测与理解方法、***、设备及存储介质
CN112016467A (zh) * 2020-08-28 2020-12-01 展讯通信（上海）有限公司 交通标志识别模型训练方法、识别方法、***、设备及介质
CN112016467B (zh) * 2020-08-28 2022-09-20 展讯通信（上海）有限公司 交通标志识别模型训练方法、识别方法、***、设备及介质
CN112464959B (zh) * 2020-12-12 2023-12-19 中南民族大学 基于注意力和多重知识迁移的植物表型检测***及其方法
CN112464959A (zh) * 2020-12-12 2021-03-09 中南民族大学 基于注意力和多重知识迁移的植物表型检测***及其方法
US11875576B2 (en) 2021-03-29 2024-01-16 Quanzhou equipment manufacturing research institute Traffic sign recognition method based on lightweight neural network
CN113537138A (zh) * 2021-03-29 2021-10-22 泉州装备制造研究所 一种基于轻量化神经网络的交通标志识别方法
CN112926274A (zh) * 2021-04-15 2021-06-08 成都四方伟业软件股份有限公司 一种利用卷积神经网络模拟城市交通***的方法及装置
CN113033482A (zh) * 2021-04-20 2021-06-25 上海应用技术大学 一种基于区域注意力的交通标志检测方法
CN113033482B (zh) * 2021-04-20 2024-01-30 上海应用技术大学 一种基于区域注意力的交通标志检测方法
CN113536943A (zh) * 2021-06-21 2021-10-22 上海赫千电子科技有限公司 一种基于图像增强的道路交通标志识别方法
CN113536942B (zh) * 2021-06-21 2024-04-12 上海赫千电子科技有限公司 一种基于神经网络的道路交通标志识别方法
CN113536942A (zh) * 2021-06-21 2021-10-22 上海赫千电子科技有限公司 一种基于神经网络的道路交通标志识别方法
CN113536943B (zh) * 2021-06-21 2024-04-12 上海赫千电子科技有限公司 一种基于图像增强的道路交通标志识别方法
CN113591931A (zh) * 2021-07-06 2021-11-02 厦门路桥信息股份有限公司 一种弱监督目标定位方法、装置、设备及介质
CN113963060B (zh) * 2021-09-22 2022-03-18 腾讯科技（深圳）有限公司 基于人工智能的车信图像处理方法、装置及电子设备
CN113963060A (zh) * 2021-09-22 2022-01-21 腾讯科技（深圳）有限公司 基于人工智能的车信图像处理方法、装置及电子设备
CN113673541A (zh) * 2021-10-21 2021-11-19 广州微林软件有限公司 一种用于目标检测的图像样本生成方法及应用
WO2023083231A1 (en) * 2021-11-12 2023-05-19 Huawei Technologies Co., Ltd. System and methods for multiple instance segmentation and tracking
US12033307B2 (en) 2021-11-12 2024-07-09 Huawei Technologies Co., Ltd. System and methods for multiple instance segmentation and tracking
CN114821519A (zh) * 2022-03-21 2022-07-29 上海应用技术大学 一种基于坐标注意力的交通标志识别方法及***
CN114821519B (zh) * 2022-03-21 2024-05-21 上海应用技术大学 一种基于坐标注意力的交通标志识别方法及***
CN116664918A (zh) * 2023-05-12 2023-08-29 杭州像素元科技有限公司 一种基于深度学习的收费站各车道通行状态检测的方法
CN116954264B (zh) * 2023-09-08 2024-03-15 杭州牧星科技有限公司 分布式高亚音速无人机集群控制***及其方法
CN116954264A (zh) * 2023-09-08 2023-10-27 杭州牧星科技有限公司 分布式高亚音速无人机集群控制***及其方法
CN117726958B (zh) * 2024-02-07 2024-05-10 国网湖北省电力有限公司 配电线路无人机巡检图像目标检测及隐患智能识别方法
CN117726958A (zh) * 2024-02-07 2024-03-19 国网湖北省电力有限公司 配电线路无人机巡检图像目标检测及隐患智能识别方法

Also Published As

Publication number Publication date
CN110188705B (zh) 2022-05-06

Similar Documents

Publication Publication Date Title
CN110188705A (zh) 一种适用于车载***的远距离交通标志检测识别方法
CN111598030B (zh) 一种航拍图像中车辆检测和分割的方法及***
US20230184927A1 (en) Contextual visual-based sar target detection method and apparatus, and storage medium
Cui et al. Semantic segmentation of remote sensing images using transfer learning and deep convolutional neural network with dense connection
CN108710875B (zh) 一种基于深度学习的航拍公路车辆计数方法及装置
CN110287849A (zh) 一种适用于树莓派的轻量化深度网络图像目标检测方法
CN108009518A (zh) 一种基于快速二分卷积神经网络的层次化交通标识识别方法
CN108334847A (zh) 一种真实场景下的基于深度学习的人脸识别方法
CN108121991A (zh) 一种基于边缘候选区域提取的深度学习舰船目标检测方法
CN109034152A (zh) 基于lstm-cnn组合模型的车牌定位方法及装置
CN109948593A (zh) 基于结合全局密度特征的mcnn人群计数方法
CN112163498A (zh) 前景引导和纹理聚焦的行人重识别模型建立方法及其应用
CN111079604A (zh) 面向大尺度遥感图像的微小目标快速检测方法
CN109753959A (zh) 基于自适应多尺度特征融合的路面交通标志检测方法
CN111985367A (zh) 一种基于多尺度特征融合的行人重识别特征提取方法
Liu et al. CAFFNet: channel attention and feature fusion network for multi-target traffic sign detection
Li et al. An aerial image segmentation approach based on enhanced multi-scale convolutional neural network
Sun et al. IRDCLNet: Instance segmentation of ship images based on interference reduction and dynamic contour learning in foggy scenes
Wu et al. Vehicle detection based on adaptive multi-modal feature fusion and cross-modal vehicle index using RGB-T images
Guan et al. RoadCapsFPN: Capsule feature pyramid network for road extraction from VHR optical remote sensing imagery
CN115223017A (zh) 一种基于深度可分离卷积的多尺度特征融合桥梁检测方法
Xing et al. A small object detection solution by using super-resolution recovery
Gao et al. Small object detection method based on improved YOLOv5
CN113487738B (zh) 基于虚拟知识迁移的建筑物及其遮挡区域单体化提取方法
CN114463628A (zh) 一种基于阈值约束的深度学习遥感影像船舰目标识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant