CN111401443A - 基于多特征提取的宽度学习*** - Google Patents

Abstract

本发明基于多特征提取的宽度学习***，包括四个子宽度学习***，每个子宽度学习***包括特征节点、增强节点和子节点；每个子宽度学习***先对图像数据集提取一种图像特征，各子宽度学习***将对图像数据集提取的图像特征合并得到各自的特征节点，再分别通过增强映射函数对各自的特征节点进行增强，形成对应的增强节点；各子宽度学习***在形成增强节点之后，再将其特征节点与对应的增强节点合并，然后再连接到其子节点中，然后对各子宽度学习***的子节点的输出进行归一化后再连接到最终输出层。本发明在复杂数据集分类问题上兼有模型训练时间少和分类准确性高的优点。

Description

基于多特征提取的宽度学习***

技术领域

本发明涉及图像分类技术领域，特别涉及一种基于多特征提取的宽度学习***。

背景技术

图像分类是图像处理的热点问题，旨在对大量图像进行自动分类。该技术被广泛地用于行人检测、视频分析以及图像质量评估等应用中。

近年来，基于深度学习的图像分类方法得到了广泛的关注与研究。典型的深度学习模型有深度信念网络(Deep Belief Networks,DBN)、深度波尔兹曼机(Deep BoltzmannMachines,DBM)以及卷积神经网络(Convolutional Neural Networks,CNN)。由于能够学到更高级别的语义特征，CNN被广泛地用于图像处理，尤其是图像分类。CNN由卷积层、池化层和全连接层组成，采用共享权重的方法，能够有效地减少参数个数。随后在CNN的基础上衍生出了性能更好的图像分类模型，如AlexNet、GoogleNet、ResNet和GPipe。ResNet和GPipe等深度卷积神经网络在MNIST、SVHN、CIFAR-10、CIFAR-100、ImageNet等数据集上取得了非常好的效果。但由于网络中的隐藏层众多，需要训练的权重以及偏置等参数多达百万以上，并且深度学习模型的训练方式是基于梯度下降算法和反向传播算法，因此模型训练的速度慢，时间长。

为了解决这个问题，Chen等人提出了宽度学***的网络架构，只有一层隐层。该网络中的权重以及偏置随机赋值，且在训练中不更新。该网络使用岭回归来寻找最优权重。因此网络能够快速地进行图像分类。BLS虽然在MNIST、NORB数据集上实现较好的分类结果，但由于其无法充分学习到输入数据的特征，故而在SVHN、CIFAR-10等复杂数据集上表现不好。因此，如何让BLS在复杂数据集上对图像进行准确分类是一个具有挑战性的工作。

为了提高BLS的分类性能，Liu等人在原始BLS中引入了K-means特征表示方法，提出了K-means-BLS模型。该方法提取K-means特征，使用特征代替原始图像输入，将其输入到BLS中，用来提高BLS在CIFAR-10的分类效果。考虑到图像数据具有局部不变性，Jin等人提出了GBLS模型，将流形学习引入到模型的目标函数中，约束输出权重，从而进一步提高模型的分类能力。Yang引入了图像卷积操作和池化操作，提出了CNNBLS模型。Zhou等人在BLS的增强节点上增加一层隐层，用以充分学习输入数据的特征，解决小样本上的分类问题。尽管这些改进的方法提高了BLS的分类性能，但它们在复杂数据集上的，例如CIFAR-10，分类效果仍然不是很好。

从上面的讨论中，我们可以看到深度学习网络能够实现在复杂数据集上的准确分类，但存在训练时间长，反复调参的问题。而BLS及各种改进模型由于其浅层的结构，没有充分地学习图像数据的特征，因此虽然模型的训练时间少，但对复杂数据集进行分类时，模型的分类性能并不是很好。因此我们的目标是在训练时间少的同时提高BLS在复杂数据集上的分类性能。

发明内容

有鉴于此，为了解决以上描述的现存问题，本发明的目的是提供一种基于多特征提取的宽度学习***，以解决现有图像分类方法在复杂数据集分类问题上不兼有模型训练时间少和分类准确性高的优点的技术问题。

本发明基于多特征提取的宽度学习***，包括四个子宽度学习***，每个子宽度学习***包括特征节点、增强节点和子节点；

所述的每个子宽度学习***先对图像数据集提取一种图像特征，各子宽度学习***提取的图像特征互不相同，第一个子宽度学习***提取图像数据集的HOG特征，第二个子宽度学习***提取图像数据集的颜色特征，第三个子宽度学习***提取图像数据集的K-means特征，第四个子宽度学习***提取图像数据集的卷积特征；各子宽度学习***将对图像数据集提取的图像特征合并得到各自的特征节点，再分别通过增强映射函数对各自的特征节点进行增强，形成对应的增强节点；各子宽度学习***在形成增强节点之后，再将其特征节点与对应的增强节点合并，然后再连接到其子节点中；

所述的基于多特征提取的宽度学习***还包括对各子宽度学习***的子节点的输出进行归一化的归一化层和与各归一化层连接的最终输出层。

进一步，所述的基于多特征提取的宽度学习***，其第一个子宽度学习***提取图像数据集的HOG特征的步骤包括：

1)对输入图像进行归一化处理，将图像转化为灰度图；

2)把图像分割成若干个小区域，将小区域称为cell，分割方法采用分割区域之间可相互重叠的可重叠分隔方法；

3)在每个cell中计算像素点的梯度值和梯度方向，得到该区域的梯度方向直方图；

4)在更大的区域中，命名更大的区域为blocks，计算累积梯度方向直方图，然后对blocks中所有的cell进行归一化；

5)将所有cell的梯度方向直方图进行合并，得到HOG特征；所提取到的HOG特征即为第一个子宽度学习***的特征节点；

第二个子宽度学习***提取图像数据集的颜色特征的步骤包括：

1)将图像从RGB空间转换到HSV空间，在HSV空间进行特征提取；

2)依据HSV空间三个通道的取值范围，分别使用6、4、4个bins，来计算图像的直方图，结果得到一个96维的颜色直方图向量；

3)分别在三个通道上计算像素的一阶颜色矩、二阶颜色矩以及三阶颜色矩，最终形成一个9维的颜色矩向量；

4)将颜色直方图向量与颜色矩向量合并，从而形成105维的颜色特征向量；所提取到的颜色特征向量即为第二个子宽度学习***的特征节点；

第三个子宽度学习***提取图像数据集的K-means特征的步骤包括：

1)从训练集中采样图像块集合，然后对图像块集合中的图像块进行标准化以及ZCA白化，最后对图像块集合进行K-means聚类，获得聚类词典D；

2)对于一幅三通道的彩色图像，使用一个窗口进行步幅为1，间隔为0的滑动采样，所述的窗口的大小和求解聚类词典D时图像块的大小一致；采样之后，即可得到多个图像块，用x表示；使用聚类词典D对每个图像块进行特征映射，映射函数f:R^d→R^k，R为实数集，将图像块映射为特征向量，d为图像块向量的维度；映射方法为硬编码方法，该方法的映射函数f(x；D)为：

其中，μ^(j)是第j个聚类中心，k为聚类中心个数；d_j表示图像块x与第j个聚类中心之间的距离；进行特征映射之后，每个图像块转换为一个k维的向量；将所有图像块分为四份，进行最大池化，将池化后的结果进行合并与标准化，所得最终结果即为K-means特征，特征维度为4k；所提取到的K-means特征即为第三个子宽度学习***的特征节点；

第四个子宽度学习***提取图像数据集的卷积特征的步骤包括：

1)对图像进行卷积操作，再进行池化操作，卷积操作和池化操作共交替进行4次；

2)4次卷积与池化后，将所得的结果展平为一个向量；

3)使用PCA方法对该向量进行降维，降维后所得最终结果即为卷积特征；所提取到的卷积特征即为第四个子宽度学习***的特征节点。

进一步，所述的增强映射函数为非线性映射函数。

进一步，所述的基于多特征提取的宽度学习***，其所述第一个子宽度学习***在提取到的HOG特征后的处理算法如下：

HOG对应的特征节点为：

Z_H＝[h₁,h₂,...,h_N]^T∈R^N×M (1)

其中，N为样本个数，h₁,h₂,...,h_N分别对应每个样本的HOG特征；M为单个样本的HOG特征维数，即每个样本的HOG特征为一个M维的向量，则其对应的增强节点的输出为：

H_H＝φ_H(Z_HW_EH+β_H) (1)

其中W_EH是映射权重，β_H是偏置，φ_H是非线性激活函数；权重W_EH和偏置β_H是随机生成的；对应的子节点输出U_H的形式为：

U_H＝[Z_H,H_H]W_H＝A_HW_H (3)

其中A_H＝[Z_H,H_H]，HOG所对应的子宽度学习***目标函数为：

其中，Y为标签集合，λ_H是岭回归参数；对公式(4)进行求导，得到：

其中I为单位矩阵；

其它三个子宽度学习***求取其对应的权重和子节点输出的方法和第一个子宽度学习***求解其权重和子节点输出的方法相同，在求解第二个子宽度学习***的

和子节点输出U_S时，只需将上述公式中的对应HOG特征的下标H和更换成对应颜色特征的下标S，同理在求解第三个子宽度学习***的

和子节点输出U_K时，只需将上述公式中的对应HOG特征的下标H和更换成对应K-means特征的下标K，在求解第四个子宽度学习***的

和子节点输出U_F时，只需将上述公式中的对应HOG特征的下标H和更换成对应卷积特征的下标F；

所述的基于多特征提取的宽度学习***在得到各子宽度学习***对应的子节点输出U_H,U_S,U_K,U_F后的处理算法如下：

对U_H,U_S,U_K,U_F分别进行归一化，分别得到U'_H,U'_S,U'_K,U'_F，设Z为：

Z＝[U'_H,U'_S,U'_K,U'_F] (7)

所述的基于多特征提取的宽度学习***的整体输出Y为:

Y＝[Z]W＝AW (8)

其中A＝[Z]，W是将特征节点和增强节点连接到输出的整体权重，通过最小化目标函数来得到W:

其中λ是岭回归参数，使用岭回归方法对上式进行求解，得到：

W^*＝(A^TAI+λI)^-1A^TY (10)

其中I是单位矩阵；

则基于多特征提取的宽度学习***的最终输出为:

本发明的有益效果：

本发明基于多特征提取的宽度学习***，采用多特征提取方法代替原始原始的宽度学习***(简称BLS)的随机映射方法，该方法提取图像的K-means特征、HOG特征、颜色特征以及卷积特征，能够显著地提高BLS的特征学习能力。考虑到这四种特征表示的含义不同以及对图像的关注点也不同，本发明构造了四个互相独立的子BLS，分别对每一种特征进行增强映射，所有的子BLS共同组成一个大的基于多特征提取的宽度学习***，简称MFBLS。综合考虑各个子BLS的输出，同时使用归一化层来提高模型的泛化能力。在SVHN、CIFAR-10以及CIFAR-100等复杂数据集上的实验表明：(1)所提出的MFBLS模型在复杂数据集上的分类性能优于现有的宽度模型。由于需要对输入图像数据进行多特征提取，MFBLS的训练时间相对其他基于BLS的模型较长，但改进后的模型能够以较小的时间成本来换取模型分类性能的大幅提升，因此可以接受时间成本的增加。(2)MFBLS不但在分类性能上胜于卷积DBN，而且训练时间(采用NVIDIA GTX 280)也远远少于卷积DBN，这充分证明本发明提出的MFBLS模型的有效性。除此之外，MFBLS不必进行预训练，而DBN需要进行预训练。(3)MFBLS对参数的敏感性较低，表明模型具有鲁棒性。由此可知，本发明在复杂数据集分类问题上兼有模型训练时间少和分类准确性高的优点，解决了本发明提出的技术问题。

附图说明

图1是基于多特征提取的宽度学习***即MFBLS的结构示意图，图中虚框表示子BLS。

图2是SVHN数据集示例。

图3是CIFAR-10数据集示例。

图4是CIFAR-100数据集示例。

图5是在SVHN、CIFAR-10和CIFAR-100数据集上对MFBLS进行参数敏感性研究。所有子图的x轴表示参数值，所有子图的y轴表示测试准确率。例如，子图(a)说明在λ_H值不同时，三个数据集上的结果。

具体实施方式

下面结合附图和实施例对本发明作进一步描述。

本实施例中基于多特征提取的宽度学习***，其包括四个子宽度学习***，每个子宽度学习***包括特征节点、增强节点和子节点。

所述的每个子宽度学习***先对图像数据集提取一种图像特征，各子宽度学习***提取的图像特征互不相同，第一个子宽度学习***提取图像数据集的HOG特征，第二个子宽度学习***提取图像数据集的颜色特征，第三个子宽度学习***提取图像数据集的K-means特征，第四个子宽度学习***提取图像数据集的卷积特征；各子宽度学习***将对图像数据集提取的图像特征合并得到各自的特征节点，再分别通过增强映射函数对各自的特征节点进行增强，形成对应的增强节点；各子宽度学习***在形成增强节点之后，再将其特征节点与对应的增强节点合并，然后再连接到其子节点中。

所述的基于多特征提取的宽度学习***还包括对各子宽度学习***的子节点的输出进行归一化的归一化层和与各归一化层连接的最终输出层。

本实施例中基于多特征提取的宽度学习***，其第一个子宽度学习***提取图像数据集的HOG特征的步骤包括：

1)对输入图像进行归一化处理，将图像转化为灰度图；

2)把图像分割成若干个小区域，将小区域称为cell，分割方法采用分割区域之间可相互重叠的可重叠分隔方法；

3)在每个cell中计算像素点的梯度值和梯度方向，得到该区域的梯度方向直方图；

4)在更大的区域中，命名更大的区域为blocks，计算累积梯度方向直方图，然后对blocks中所有的cell进行归一化；

5)将所有cell的梯度方向直方图进行合并，得到HOG特征；所提取到的HOG特征即为第一个子宽度学习***的特征节点；

第二个子宽度学习***提取图像数据集的颜色特征的步骤包括：

1)将图像从RGB空间转换到HSV空间，在HSV空间进行特征提取；

2)依据HSV空间三个通道的取值范围，分别使用6、4、4个bins，来计算图像的直方图，结果得到一个96维的颜色直方图向量；

3)分别在三个通道上计算像素的一阶颜色矩、二阶颜色矩以及三阶颜色矩，最终形成一个9维的颜色矩向量；

4)将颜色直方图向量与颜色矩向量合并，从而形成105维的颜色特征向量；所提取到的颜色特征向量即为第二个子宽度学习***的特征节点；

第三个子宽度学习***提取图像数据集的K-means特征的步骤包括：

1)从训练集中采样图像块集合，然后对图像块集合中的图像块进行标准化以及ZCA白化，最后对图像块集合进行K-means聚类，获得聚类词典D；

2)对于一幅三通道的彩色图像，使用一个窗口进行步幅为1，间隔为0的滑动采样，所述的窗口的大小和求解聚类词典D时图像块的大小一致；采样之后，即可得到多个图像块，用x表示；使用聚类词典D对每个图像块进行特征映射，映射函数f:R^d→R^k，R为实数集，将图像块映射为特征向量，d为图像块向量的维度，k为聚类中心个数；映射方法为硬编码方法，该方法的映射函数f(x；D)为：

其中，μ^(j)是第j个聚类中心，k为聚类中心个数；d_j表示图像块x与第j个聚类中心之间的距离；进行特征映射之后，每个图像块转换为一个k维的向量；将所有图像块分为四份，进行最大池化，将池化后的结果进行合并与标准化，所得最终结果即为K-means特征，特征维度为4k；所提取到的K-means特征即为第三个子宽度学习***的特征节点；

第四个子宽度学习***提取图像数据集的卷积特征的步骤包括：

1)对图像进行卷积操作，再进行池化操作，卷积操作和池化操作共交替进行4次；

2)4次卷积与池化后，将所得的结果展平为一个向量；

3)使用PCA方法对该向量进行降维，降维后所得最终结果即为卷积特征；所提取到的卷积特征即为第四个子宽度学习***的特征节点。

本实施例中所述的增强映射函数为非线性映射函数。

本实施例中基于多特征提取的宽度学习***，其第一个子宽度学习***在提取到的HOG特征后的处理算法如下：

HOG对应的特征节点为：

Z_H＝[h₁,h₂,...,h_N]^T∈R^N×M (1)

其中，N为样本个数，h₁,h₂,...,h_N分别对应每个样本的HOG特征；M为单个样本的HOG特征维数，即每个样本的HOG特征为一个M维的向量，则其对应的增强节点的输出为：

H_H＝φ_H(Z_HW_EH+β_H) (2)

其中W_EH是映射权重，β_H是偏置，φ_H是非线性激活函数；权重W_EH和偏置β_H是随机生成的；对应的子节点输出U_H的形式为：

U_H＝[Z_H,H_H]W_H＝A_HW_H (3)

其中A_H＝[Z_H,H_H]，HOG所对应的子宽度学习***目标函数为：

其中，Y为标签集合，λ_H是岭回归参数；对公式(4)进行求导，得到：

其中I为单位矩阵；

因为除了特征不一样之外，四个子BLS的结构一样，所以四个子BLS的权重W和输出U的求解方式一样，在求解第二个子宽度学习***的

和子节点输出U_S时，只需将上述公式中的对应HOG特征的下标H和更换成对应颜色特征的下标S，同理在求解第三个子宽度学习***的

和子节点输出U_K时，只需将上述公式中的对应HOG特征的下标H和更换成对应K-means特征的下标K，在求解第四个子宽度学习***的

和子节点输出U_F时，只需将上述公式中的对应HOG特征的下标H和更换成对应卷积特征的下标F。为了使撰写简洁，避免大量文字重复，在此便没有将求解

U_S,U_K,U_F的具体公式一一列出。

所述的基于多特征提取的宽度学习***在得到各子宽度学习***对应的子节点输出U_H,U_S,U_K,U_F后的处理算法如下：

对U_H,U_S,U_K,U_F分别进行归一化，分别得到U'_H,U'_S,U'_K,U'_F，设Z为：

Z＝[U'_H,U'_S,U'_K,U'_F] (7)

所述的基于多特征提取的宽度学习***的整体输出Y为:

Y＝[Z]W＝AW (8)

其中A＝[Z]，W是将特征节点和增强节点连接到输出的整体权重，通过最小化目标函数来得到W:

其中λ是岭回归参数，使用岭回归方法对上式进行求解，得到：

W^*＝(A^TAI+λI)^-1A^TY (10)

其中I是单位矩阵；

则基于多特征提取的宽度学习***的最终输出为:

下面是本实施例中的MFBLS在SVHN、CIFAR-10、CIFAR-100数据集上进行的图像分类实验，并与其他先进的方法进行比较。

数据集以及设置

SVHN和MINST类似，都是数字识别集合。但MNIST图像是二值化格式，背景与数字容易分开。而SVHN图像是RGB格式，图像背景更加复杂。因此对SVHN进行图像分类更有挑战性。SVHN数据集由训练集、额外集以及测试集组成。训练集有73257个样本，额外集有531131个样本，测试集有26032个样本。该数据集是10分类。SVHN数据集的一些示例如图2所示。实验从额外集中随机挑选36743个样本与训练集共同组成新的训练集，该训练集有11000个样本。另外，从剩余的额外集中挑选1000个样本作为验证集。实验采用的数据集信息如表1所示。

CIFAR-10数据集由60000张32×32的RGB图像组成。训练集有50000张图像，测试集有10000张图像。该数据集有10个类。每一类包含5000张训练图像和1000张测试图像。这些类别包括飞机，汽车，鸟类，猫，鹿，狗，青蛙，马，船和卡车。相比SVHN，CIFAR-10图像的背景以及目标内容更加复杂。CIFAR-10数据集的一些示例如图3所示。实验从训练集中随机挑选1000张作为验证集。详细信息如表1所示。

CIFAR-100和CIFAR-10相似，CIFAR-100图像也是32×32的RGB图像。不同的是，CIFAR-100的分类更加地精细。该数据集有100个类，每一类有500张训练样本和100张测试样本。100个类被分为20个超类。例如，花这一超类包含兰花，罂粟，玫瑰，向日葵，郁金香五个类。这大大增加了训练的难度。CIFAR-100数据集的一些示例如图4所示。实验从训练集中随机挑选1000张图像作为验证集。详细信息如表1所示。

表1 MFBLS实验数据集信息

在实验中的超参数需要设置，这些超参数分为两类，一类是特征提取的超参数，另一类是BLS模型的超参数。

特征提取的超参数包括：(1)提取K-means特征时图像块的大小以及质心个数k。SVHN的图像块大小为8×8，k的值为500。CIFAR-10以及CIFAR-100的图像块大小为6×6，k的值分别为1024和1300。需要注意的是，SVHN的K-means特征是在输入数据的灰度图上进行提取，而CIFAR-10以及CIFAR-100是在3通道上进行提取。(2)提取卷积特征时，用于计算卷积核数量的参数γ以及PCA超参数p。SVHN、CIFAR-10、CIFAR-100的γ取值分别为0.2、0.18、0.18。在所有数据集上，p的值都为0.99。

BLS模型的超参数有：(1)岭回归参数λ_H、λ_S、λ_K、λ_F、λ。(2)生成增强节点时的缩放参数S_H、S_S、S_K、S_F。(3)增强节点的个数E_H、E_S、E_K、E_F。这些参数在各个数据集上的设置如表2所示。

表2 MFBLS实验参数设置

实验结果

在SVHN、CIFAR-10和CIFAR-100三个数据集上，本实施例将提出的方法与其他先进的方法进行比较。其他对比方法分别是BLS、K-means-BLS、CNNBLS、EFBLS和卷积DBN。卷积DBN是深度模型。表3显示了使用MFBLS和其他方法在三个数据集上实现的最佳测试精度。从表3中可以得到以下结论：

1)K-means-BLS比BLS以及EFBLS获得更好的结果。这表明使用K-means特征进行分类可以显著提高模型性能。

2)CNNBLS比BLS以及EFBLS获得更好的结果。这表明使用卷积和池化操作来提取特征有助于改进模型的判别能力。

3)在CIFAR-100数据集上，MFBLS的分类准确率比K-means-BLS高12.71％，可以得出，除了使用K-means特征外，同时使用其他特征，即卷积特征、HOG特征、颜色特征能够明显提高模型的分类性能。

4)提出的MFBLS在SVHN、CIFAR-10、CIFAR-100上实现了最高的分类准确率。首先MFBL的分类性能优于其他用于图像分类的宽度学习模型。其次，在CIFAR-10上，得到了81.03％的分类准确率，比卷积DBN高出2.14％。这表明MFBLS性能同样优于卷积DBN模型。最后，在6个对比实验中，MFBLS在三个数据集上的性能优于其他对比方法，从而证明了该方法的有效性。

另外，MFBLS能够超过基线卷积DBN模型的结果，而且不必进行预训练。

表3 MFBLS和其他最新方法在SVHN测试集、CIFAR-10测试集和CIFAR-100测试集的准确率(％)

参数敏感性

通过进行参数敏感性分析，能以表明所提出的MFBLS框架可以在广泛的参数值范围内实现最佳结果，同时验证MFBLS的鲁棒性。

实验中超参数取值范围如下所示：

1)岭回归参数λ_H、λ_S、λ_K、λ_F、λ选自集合{0.001,0.005,0.01,0.05,0.1,0.5,1,5,10}。

2)缩放参数S_H、S_S、S_K、S_F选自集合{0.6,0.65,0.7,0.75,0.8,0.85,0.9,0.95}。

3)增强节点的个数E_H、E_S、E_K、E_F选自集合{500,1000,4000,7000,8000,9000,10000}。

4)K-means特征提取时，质心个数k选自集合{500,700,900,1100,1300,1500,1700}。

5)PCA的超参数p选自集合{0.91,0.93,0.95,0.97,0.99}。

6)用于计算卷积核的数量的参数γ选自集合{0.05,0.1,0.15,0.2,0.25}。

使用不同超参数设置在SVHN、CIFAR-10和CIFAR-100数据集上获得的结果如图5所示。可以看出图5由16张子图组成，每个子图分别描述在各个数据集上，上述16个超参数对结果的影响。所有子图的x轴表示参数值，y轴表示测试准确率。例如，图5(a)说明使用不同的λ_H值，三个数据集的测试准确率。通过分析这些实验的结果，可以得出以下结论：

1)从图5中可以看出，当超参数值变化时，蓝色线(SVHN)最平坦，橙色线(CIFAR-10)次之，绿色线(CIFAR-100)最曲折。这表明，整体而言，各个数据集对参数的敏感程度从小到大的顺序是SVHN、CIFAR-10、CIFAR-100。同时也说明，MFBLS在越简单的数据集上，鲁棒性越高。

2)从子图(a)到子图(d)可以看出，λ_K的变化对结果的影响最大，λ_H对结果的影响较小，λ_S和λ_F对结果几乎没有影响。当λ_K的值增大时，在各个数据集上的分类性能在逐步下降。

3)从子图(e)到子图(h)可以看出，缩放参数S_H、S_S、S_K、S_F的值增加时，三个数据集上的准确率几乎没有变。

4)从子图(i)到子图(l)可以看出，增强节点个数参数E_H、E_S和E_K的取值对结果有轻微地影响。E_C对结果几乎没有影响。

5)从子图(m)和子图(n)中可以看出，当聚类质心个数k以及岭回归参数λ变化时，蓝色线(SVHN)以及橙色线(CIFAR-10)比较平坦，而绿色线(CIFAR-100)很曲折。这表明，对CIFAR-100来说，参数k和λ对结果有很大影响，然而对于SVHN以及CIFAR-10并没有很大影响。

6)从子图(o)和子图(p)中可以看出，PCA的超参数p和用于计算卷积核数量的参数γ的变化对结果影响不大。

7)图5以及上述结论表明，大部分超参数变化时，在三个数据集上的准确率基本保持在一个确定的值左右。这表明本实施例中MFBLS模型具有很好的鲁棒性。

时间复杂性

实验比较了MFBLS和几乎所有其他模型在三个数据集上的运行时间，如表4所示。运行环境是一个Intel Xeon E5-2678 CPU，以及一块NVIDIA TITAN Xp。从表4可以看出：

1)MFBLS方法的运行时间比BLS、CNNBLS、EFBLS方法的运行时间长。造成这样结果的原因可能是MFBLS在特征提取时耗费了时间。例如在CIFAR-10上，MFBLS在进行特征提取所用的时间约为900s。

2)MFBLS和K-means-BLS在CIFAR-10和CIFAR-100的运行时间差不多，而在SVHN数据集上，MFBLS的时间较长。

3)卷积DBN在CIFAR-10上的运行时间为36h(采用NVIDIA GTX 280)，远远多于MFBLS的运行时间。MFBLS的时间少，同时准确率也高于卷积DBN，这证明MFBLS在保证分类性能的同时能够减少大量的运行时间。

4)和BLS相关模型相比，MFBLS的运行时间较长，但在可接受范围内，而且MFBLS的分类性能更高。和卷积DBN模型相比，MFBLS不但分类性能高，运行时间也大大低于对比模型。

表4 MFBLS和其他最新方法在SVHN、CIFAR-10和CIFAR-100的运行时间。

最后说明的是，以上实施例仅用以说明本发明的技术方案，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (4)

1.一种基于多特征提取的宽度学习***，其特征在于：包括四个子宽度学习***，每个子宽度学习***包括特征节点、增强节点和子节点；

所述的每个子宽度学习***先对图像数据集提取一种图像特征，各子宽度学习***提取的图像特征互不相同，第一个子宽度学习***提取图像数据集的HOG特征，第二个子宽度学习***提取图像数据集的颜色特征，第三个子宽度学习***提取图像数据集的K-means特征，第四个子宽度学习***提取图像数据集的卷积特征；各子宽度学习***将对图像数据集提取的图像特征合并得到各自的特征节点，再分别通过增强映射函数对各自的特征节点进行增强，形成对应的增强节点；各子宽度学习***在形成增强节点之后，再将其特征节点与对应的增强节点合并，然后再连接到其子节点中；

所述的基于多特征提取的宽度学习***还包括对各子宽度学习***的子节点的输出进行归一化的归一化层和与各归一化层连接的最终输出层。

2.根据权利要求1所述的基于多特征提取的宽度学习***，其特征在于：

第一个子宽度学习***提取图像数据集的HOG特征的步骤包括：

1)对输入图像进行归一化处理，将图像转化为灰度图；

2)把图像分割成若干个小区域，将小区域称为cell，分割方法采用分割区域之间可相互重叠的可重叠分隔方法；

3)在每个cell中计算像素点的梯度值和梯度方向，得到该区域的梯度方向直方图；

4)在更大的区域中，命名更大的区域为blocks，计算累积梯度方向直方图，然后对blocks中所有的cell进行归一化；

5)将所有cell的梯度方向直方图进行合并，得到HOG特征；所提取到的HOG特征即为第一个子宽度学习***的特征节点；

第二个子宽度学习***提取图像数据集的颜色特征的步骤包括：

1)将图像从RGB空间转换到HSV空间，在HSV空间进行特征提取；

2)依据HSV空间三个通道的取值范围，分别使用6、4、4个bins，来计算图像的直方图，结果得到一个96维的颜色直方图向量；

3)分别在三个通道上计算像素的一阶颜色矩、二阶颜色矩以及三阶颜色矩，最终形成一个9维的颜色矩向量；

4)将颜色直方图向量与颜色矩向量合并，从而形成105维的颜色特征向量；所提取到的颜色特征向量即为第二个子宽度学习***的特征节点。

第三个子宽度学习***提取图像数据集的K-means特征的步骤包括：

1)从训练集中采样图像块集合，然后对图像块集合中的图像块进行标准化以及ZCA白化，最后对图像块集合进行K-means聚类，获得聚类词典D；

2)对于一幅三通道的彩色图像，使用一个窗口进行步幅为1，间隔为0的滑动采样，所述的窗口的大小和求解聚类词典D时图像块的大小一致；采样之后，即可得到多个图像块，用x表示；使用聚类词典D对每个图像块进行特征映射，映射函数f:R^d→R^k,R为实数集,将图像块映射为特征向量，d为图像块向量的维度，k为聚类中心个数；映射方法为硬编码方法，该方法的映射函数f(x；D)为：

d_j＝||x-μ^(j)||₂

其中，μ^(j)是第j个聚类中心，k为聚类中心个数；d_j表示图像块x与第j个聚类中心之间的距离；进行特征映射之后，每个图像块转换为一个k维的向量；将所有图像块分为四份，进行最大池化，将池化后的结果进行合并与标准化，所得最终结果即为K-means特征，特征维度为4k；所提取到的K-means特征即为第三个子宽度学习***的特征节点；

第四个子宽度学习***提取图像数据集的卷积特征的步骤包括：

1)对图像进行卷积操作，再进行池化操作，卷积操作和池化操作共交替进行4次；

2)4次卷积与池化后，将所得的结果展平为一个向量；

3)使用PCA方法对该向量进行降维，降维后所得最终结果即为卷积特征；所提取到的卷积特征即为第四个子宽度学习***的特征节点。

3.根据权利要求1所述的基于多特征提取的宽度学习***，其特征在于：所述的增强映射函数为非线性映射函数。

4.根据权利要求1、2或3所述的基于多特征提取的宽度学习***，其特征在于：

所述第一个子宽度学习***在提取到的HOG特征后的处理算法如下：

HOG对应的特征节点为：

Z_H＝[h₁,h₂,...,h_N]^T∈R^N×M (1)

其中，N为样本个数，h₁,h₂,...,h_N分别对应每个样本的HOG特征；M为单个样本的HOG特征维数，即每个样本的HOG特征为一个M维的向量，则其对应的增强节点的输出为：

H_H＝φ_H(Z_HW_EH+β_H) (1)

其中W_EH是映射权重，β_H是偏置，φ_H是非线性激活函数；权重W_EH和偏置β_H是随机生成的；对应的子节点输出U_H的形式为：

U_H＝[Z_H,H_H]W_H＝A_HW_H (3)

其中A_H＝[Z_H,H_H]，HOG所对应的子宽度学习***目标函数为：

其中，Y为标签集合，λ_H是岭回归参数；对公式(4)进行求导，得到：

其中I为单位矩阵；

其它三个子宽度学习***求取其对应的权重和子节点输出的方法和第一个子宽度学习***求解其权重和子节点输出的方法相同，在求解第二个子宽度学习***的

和子节点输出U_S时，只需将上述公式中对应HOG特征的下标H和更换成对应颜色特征的下标S，同理在求解第三个子宽度学习***的

和子节点输出U_K时，只需将上述公式中对应HOG特征的下标H和更换成对应K-means特征的下标K，在求解第四个子宽度学习***的

和子节点输出U_F时，只需将上述公式中对应HOG特征的下标H和更换成对应卷积特征的下标F；

所述的基于多特征提取的宽度学习***在得到各子宽度学习***对应的子节点输出U_H,U_S,U_K,U_F后的处理算法如下：

对U_H,U_S,U_K,U_F分别进行归一化，分别得到U'_H,U'_S,U'_K,U'_F，设Z为：

Z＝[U'_H,U'_S,U'_K,U'_F] (7)

所述的基于多特征提取的宽度学习***的整体输出Y为:

Y＝[Z]W＝AW (8)

其中A＝[Z]，W是将特征节点和增强节点连接到输出的整体权重，通过最小化目标函数来得到W:

其中λ是岭回归参数，使用岭回归方法对上式进行求解，得到：

W^*＝(A^TAI+λI)^-1A^TY (10)

其中I是单位矩阵；

则基于多特征提取的宽度学习***的最终输出为:

Images