CN108416270A - 一种基于多属性联合特征的交通标志识别方法 - Google Patents

Abstract

本发明涉及一种基于多属性联合特征的交通标志识别方法，首先对图像进行预处理，然后设计卷积神经网络结构，通过该CNN网络自动提取交通标志特征，为了充分利用CNN多层特征的有用信息，提取最后3层特征图，将提取出的每层特征图通过多尺度池化操作形成3个尺度的特征矩阵，将3个尺度的特征矩阵按列展开并级联成列向量；然后将得到的3个列向量级联成一个具有多尺度多属性的联合特征向量；最后将联合特征向量通过ELM分类器进行分类，从而高效地完成交通标志的识别分类。

Description

一种基于多属性联合特征的交通标志识别方法

技术领域

本发明涉及一种基于多属性联合特征的交通标志识别方法，属于智能交通***中交通标志识别领域。

背景技术

近年来，交通标志识别被广泛运用到驾驶员辅助***，无人驾驶智能汽车以及公路养护等方面，传统的交通标志识别方法难以满足高准确率和实时性的要求。

基于深度学习的交通标志识别方法近两年成为研究热门，如卷积神经网络(CNN)已成功运用到交通标志识别***中，但通常情况都是使用CNN的最后一层特征进行分类器训练，而这些特征可能并没有包含足够多的有用信息来实现交通标志的分类。因此如果能够充分利用多层网络提取的特征进行分类器训练，不仅可以提高识别的准确率，还能一定程度上减少训练时间和运算量。

目前大多数的CNN研究都关注于提高分类精度，而忽略了学习速度，交通标志识别恰恰需要提高学习速度来保证实时性需求。同时研究表明，CNN的泛化能力有一定的局限性，而极限学习机(ELM)具有很好的泛化性能。ELM属于单隐层前馈神经网络，在保证学习的精度下，学习速度要比其他传统学习算法更快。

发明内容

本发明专利所要解决的技术问题是：针对背景技术中存在的问题和不足，提供一种基于多属性联合特征的交通标志识别方法，能够准确的进行交通标志识别，提取出有效信息，为无人驾驶智能汽车，驾驶员辅助***以及公路养护等方面提供技术支持。

本发明提出的技术方案为：一种基于多属性联合特征的交通标志识别方法，包括如下步骤：

步骤1、对交通标志图像进行预处理，将图像数据归一化；

步骤2、设计卷积神经网络结构；

步骤3、训练步骤2的卷积神经网络，并用该网络提取预处理后的交通标志图像特征；

步骤4、提取卷积神经网络后三层的特征图，将提取出的后三层特征图通过多尺度池化操作形成三个尺度的特征矩阵，将三个尺度的特征矩阵按列展开并级联成列向量，然后将得到的三个列向量级联成一个具有多尺度多属性的联合特征向量；

步骤5、设计ELM分类器模型；

步骤6、将联合特征向量通过ELM分类器进行分类。

对上述技术方案的进一步设计为：步骤2中卷积神经网络结构由8层组成，包括1个输入层，1个全连接层，3个卷积层和3个池化层，所述卷积层和池化层交叉排列。

步骤3中训练卷积神经网络时的迭代次数设定为30。

所述ELM分类器模型为：

上述ELM分类器输入的带标签的特征向量表示为(f_i,t_i)，i＝1,2,...,N，N表示训练样本的个数；其中，f_i＝[f_i1,f_i2,...,f_in]^T∈Rⁿ表示第i个样本的联合特征向量，n为ELM模型输入神经元的个数；t_i＝[t_i1,t_i2,...,t_im]^T∈R^m表示第i个样本的标签向量，m为ELM模型输出神经元的个数；j＝1,2,...,M，M表示隐藏层神经元个数，β_j表示连接第j个隐藏节点和输出节点的权值；w_ij表示连接第i个样本和第j个隐藏节点的权值向量；b_j表示第j个隐藏节点的偏置；o_i表示第i个样本的输出向量；t_i表示第i个样本的标签向量；g(·)表示激活函数。

本发明的有益效果为：

(1)本发明采用卷积神经网络进行特征提取和极限学习机进行分类，充分结合了卷积神经网络的多层特征提取的优势和极限学习机的泛化性能及学习速度快等优点，不仅能够提高交通标志的识别准确率，还能够保证交通标志识别的实时性需求。

(2)本发明采用卷积神经网络提取多层交通标志特征图，多层特征包含更多的细节信息，具有更稳定的结构，充分利用多层特征的有用信息，能够有效提高交通标志的识别准确度。

(3)本发明采用多尺度池化对提取的特征图进行采样，可以让卷积神经网络处理任意尺寸的输入，针对不同尺寸的输入都可以得到相同维度的输出，解决了传统的卷积神经网络中输入图像必须固定尺寸的问题；同时在卷积操作后对特征图进行多尺度池化操作能增强卷积神经网络提取特征的不变性，从而提高目标识别的准确性和鲁棒性。

(4)本发明与现有交通标志识别技术相比，在预处理过程中，只需要简单的归一化处理，大大简化了前期繁琐的预处理流程。

附图说明

图1为本发明的识别方法的流程图。

图2为CNN提取最后三层特征的结构示意图。

图3为多尺度池化操作示意图。

图4为ELM分类器模型示意图。

具体实施方式

下面结合附图对本发明的基于多属性联合特征的交通标志识别方法做进一步说明。

如图1所示，本发明的交通标志识别方法，包括如下步骤：

步骤1：数据库图像预处理；

本实施例采用的交通标志图像主要来源于GTSRB数据集和智能相机拍摄的自然场景下的交通标志图像，共计5000张训练样本，1000张测试样本，包含43类交通标志。

首先将图片大小统一调整为48×48像素，并进行归一化处理。训练样本需要携带标签，带标签的训练样本表示为(x_i,t_i)，i＝1,2,...,N，N表示训练样本的个数；x_i表示第i个样本的特征向量，t_i表示第i个样本的标签向量。

步骤2：设计CNN网络结构；

本专利设计的CNN网络结构由8层组成，包括1个输入层，1个全连接层，3个卷积层(C1，C3，C5)和3个池化层(P2，P4，P6)，卷积层和池化层交叉排列。输入层为像素值大小为48×48的交通标志图像样本，分RGB三个颜色维度输入。卷积层C1有100个大小为46×46的特征图，卷积核大小为3×3，卷积步幅为1；池化层P2有100个大小为23×23的特征图，池化的核大小为2×2，步幅为2；卷积层C3有150个大小为20×20的特征图，卷积核大小为4×4，步幅为1；池化层P4有150个大小为10×10的特征图，池化的核大小为2×2，步幅为2；卷积层C5有250个大小为8×8的特征图，卷积核大小为3×3，步幅为1；池化层P6有250个大小为4×4的特征图，池化的核大小为2×2，步幅为2。因为CNN网络只是用于特征提取而不是用于分类，所以最后的全连接层相当于一个普通的前向神经网络(SLFN)分类器，总共有43个神经元，代表43类不同的交通标志种类。

本专利中每个神经元的激活函数使用双曲正切函数：

f(x)＝tanh(x)＝(e^x-e^-x)/(e^x+e^-x)。

步骤3：训练CNN网络，自动提取样本各层级的交通标志图像特征；

本实施例使用在线梯度下降的方法训练步骤2设计好的CNN网络。训练迭代次数本实施例设定为30，过高的迭代次数会发生过拟合，过低的迭代次数会发生欠拟合。网络初始权值被初始化在[-0.01,0.01]区间内。

步骤4：提取CNN网络后三层的特征图，使用多尺度池化操作联合形成一个多尺度多属性的联合特征向量；

传统CNN通常使用网络最后一层特征进行识别分类，并不能完整的展现交通标志的细节特征，联合多层特征能够更全面更丰富的展现交通标志的多属性特征。首先，在前馈训练时提取后三层(P4，C5，P6)特征图；然后，使用多尺度池化操作形成3个特征矩阵，最后将3个特征矩阵按列展开并级联成具有多尺度多特征的列向量，CNN提取最后三层特征的结构示意图如图2所示。

多尺度池化是采用多种采样尺寸和采样步长，无论提取的特征图的尺寸是多大，多尺度池化后输出的是3个不同尺度的特征矩阵，即1×1×a，2×2×a，3×3×a，其中a表示提取的特征图的数量，多尺度池化操作示意图如图3所示。

本实施例中，P4层采用多尺度池化后得到3个大小为1×150，4×150，9×150的特征矩阵，依次级联，得到固定尺寸的14×150＝2100×1特征列向量；C5层采用多尺度池化后得到3个大小为1×250，4×250，9×250的特征矩阵，依次级联，得到固定尺寸的14×250＝3500×1特征列向量；P6层采用多尺度池化后得到3个大小为1×250，4×250，9×250的特征矩阵，依次级联，得到固定尺寸的14×250＝3500×1特征列向量。

步骤5：设计ELM分类器；

将提取出的P4，C5，P6层的特征图采用多尺度池化操作后形成的3个列向量级联形成一个具有多尺度多属性的联合特征向量f_i，并作为ELM模型的输入。ELM分类器输入的带标签的特征向量表示为(f_i,t_i)，i＝1,2,...,N，N表示训练样本的个数。其中，f_i＝[f_i1,f_i2,...,f_in]^T∈Rⁿ表示第i个样本的联合特征向量，n为ELM模型输入神经元的个数；t_i＝[t_i1,t_i2,...,t_im]^T∈R^m表示第i个样本的标签向量，m为ELM模型输出神经元的个数。ELM分类器模型如图4所示。

ELM模型表示为：

其中M表示隐藏层神经元个数，j＝1,2,...,M；β_j表示连接第j个隐藏节点和输出节点的权值；w_ij表示连接第i个样本和第j个隐藏节点的权值向量；b_j表示第j个隐藏节点的偏置；o_i表示第i个样本的输出向量；t_i表示第i个样本的标签向量；g(·)表示激活函数。

输入所有训练样本的联合特征向量{f_i}，用y_i表示实际输出向量，则公式(1)进一步简化为：

H_w,b,fβ＝Y (2)

其中，β为隐藏层与输出神经元间的输出权重，H为隐藏层神经元的输出矩阵，

训练的目标是最小化训练误差||T-Hβ||²和输出权值的范数||β||，因此训练过程的约束优化公式为：

其中，常数C为代价参数，表示一个正则化因子，本专利取C＝2000；ξ表示引入的误差容忍参数，以确保ELM模型拟合所有训练样本。使用拉格朗日乘子法求解公式(3)，解得：

步骤6：训练ELM分类器；

具体步骤为：

6.1、输入训练样本的联合特征(f_i,t_i)；使用sigmoid函数作为激活函数，形式为隐藏层节点M设置为10000；

6.2、随机生成隐藏层的参数(w,b)；

6.3、计算隐藏层输出矩阵H；

6.4、根据公式(4)计算输出权值β；

6.5、根据公式(1)计算出输出向量o_i，o_i是一个二进制的目标向量；输出神经元m表示交通标志的种类，本专利取m＝43。如果第i个训练样本x_i属于第k类交通标志，则o_i中的第k个元素为1，其他元素为0。

步骤7：交通标志检测

根据步骤1，对待检测交通标志图像样本进行预处理，预处理后通过训练好的CNN网络提取P4，C5，P6层的特征图，使用多尺度池化操作后将特征列向量级联形成一个具有多尺度多属性的联合特征向量，然后将联合特征向量作为ELM分类器的输入进行交通标志的识别，如果输出向量o_i的第k个元素为1，则说明待检测样本属于第k类交通标志。

本发明的技术方案不局限于上述各实施例，凡采用等同替换方式得到的技术方案均落在本发明要求保护的范围内。

Claims (3)

1.一种基于多属性联合特征的交通标志识别方法，其特征在于，包括如下步骤：

步骤1、对交通标志图像进行预处理；

步骤2、设计卷积神经网络结构；

步骤3、训练步骤2的卷积神经网络，并用该网络提取预处理后的交通标志图像特征；

步骤4、提取卷积神经网络后三层的特征图，将提取出的后三层特征图通过多尺度池化操作形成三个尺度的特征矩阵，将三个尺度的特征矩阵按列展开并级联成列向量，然后将得到的三个列向量级联成一个具有多尺度多属性的联合特征向量；

步骤5、设计ELM分类器模型；

步骤6、将联合特征向量通过ELM分类器进行分类。

2.根据权利要求1所述基于多属性联合特征的交通标志识别方法，其特征在于：步骤2中卷积神经网络结构由8层组成，包括1个输入层，1个全连接层，3个卷积层和3个池化层，所述卷积层和池化层交叉排列。

3.根据权利要求2所述基于多属性联合特征的交通标志识别方法，其特征在于：所述ELM分类器模型为：

上述ELM分类器输入的带标签的特征向量表示为(f_i,t_i)，i＝1,2,...,N，N表示训练样本的个数；其中，f_i＝[f_i1,f_i2,...,f_in]^T∈Rⁿ表示第i个样本的联合特征向量，n为ELM模型输入神经元的个数；t_i＝[t_i1,t_i2,...,t_im]^T∈R^m表示第i个样本的标签向量，m为ELM模型输出神经元的个数；j＝1,2,...,M，M表示隐藏层神经元个数，β_j表示连接第j个隐藏节点和输出节点的权值；w_ij表示连接第i个样本和第j个隐藏节点的权值向量；b_j表示第j个隐藏节点的偏置；o_i表示第i个样本的输出向量；t_i表示第i个样本的标签向量；g(·)表示激活函数。