CN105426919B - 基于显著性指导非监督特征学习的图像分类方法 - Google Patents

Abstract

本发明公开了一种基于显著性指导非监督特征学习的图像分类方法，属于机器学习与计算机视觉领域。该图像分类方法包括显著性指导的像素点采集、非监督特征学习、图像卷积、局部对比归一化、空间金字塔池化、融合中央先验和图像分类。采用该分类方法，将显著性检测用于采集图像数据集中代表性的像素点，通过稀疏自编码器这种非监督的特征学习方法训练代表性的像素点来获取高质量的图像特征。通过图像卷积操作获取训练样本和测试集的特征，将卷积特征进行局部对比归一化和空间金字塔池化，将池化后的特征与中央先验特征进行融合，采用liblinear分类器对图像进行分类。此方法可获取高效而鲁棒的图像特征，能够显著提高多类图像的分类准确率。

Description

基于显著性指导非监督特征学习的图像分类方法

技术领域

本发明涉及一种基于显著性指导非监督特征学习的图像分类方法，属于机器学习与计算机视觉技术领域。

背景技术

随着多媒体技术的发展，图像分类已成为计算机视觉领域研究的重点，图像分类是依据图像具有的某种属性而将其划分到预先设定的不同类别中，如何将图像进行有效的表达是提高图像分类准确率的关键，特征的选择与提取问题是图像分类目前存在的难点问题。随着移动互联网的迅速发展，人类社会已进入大数据时代。SIFT、HOG等这些传统的特征学习虽能提取图像的某些特征，在图像分类中也取得了较好的效果，但这种人工设计特征方法存在一定的缺陷。而传统的有监督特征学习方法，通过学习人工标注数据，在大数据时代下显得不合时宜。

发明内容

为解决现有技术的不足，本发明的目的在于提供一种基于显著性指导非监督特征学习的图像分类方法，将深度学习网络结构中融入计算机视觉中一些方法与理论，以提高图像特征的有效表示，从而达到理想的分类结果。

为了实现上述目标，本发明采用如下的技术方案：

一种基于显著性指导非监督特征学习的图像分类方法，其特征是，包括如下步骤：

1)显著性指导的像素点采集：采用显著性检测算法对图像像素点进行采集，通过获取图像的显著图，采集到图像中具有代表性表示的像素点；

2)非监督特征学习：采用稀疏自编码来训练代表性的像素点，获取图像特征；

3)图像卷积：分别用图像数据集中训练样本和测试样本对步骤2)中的图像特征进行卷积操作；

4)局部对比归一化：对步骤3)中获取的训练样本和测试样本的卷积特征进行局部减法和除法归一化；

5)空间金字塔池化：从三个不同空间尺度对步骤4)中获取的卷积图像特征进行平均池化操作；

6)融合中央先验：分别计算图像数据集中训练样本和测试样本的中央先验值，将该值与步骤5)多尺度池化特征分别进行融合操作；

7)图像分类：用步骤6)中所获训练样本的特征值来训练分类器，将步骤6)中所获训练样本的特征值输入已训练的分类器中实现图像分类。

前述的基于显著性指导非监督特征学习的图像分类方法，其特征在于，所述步骤1)具体步骤为：

1.1)采用上下文感知显著性检测算法，计算图像数据集中训练集的显著图，数据集中每幅图像具有相同的分辨率；

1.2)将每幅显著图中像素点按照灰度值的大小进行降序排列；

1.3)从每幅显著图中选取64个像素点，按照像素点灰度值的大小，从顶部5％中选取50个正像素点以及从底部30％中选取14个负像素点；

1.4)计算每幅显著图中满足要求的像素点的坐标信息[X,Y]，按照此坐标找出该显著图对应原始RGB图像中的正负像素点。将每一个像素点设定为一个样本，从而获得非监督特征学习的样本集。

前述的基于显著性指导非监督特征学习的图像分类方法，其特征在于，所述步骤2)的具体步骤为：

2.1)选用稀疏自编码器作为非监督特征学习工具，设定网络采用的可视层节点为M，隐藏层节点为N；

2.2)将所得的正负像素样本集作为稀疏自编码的输入，通过非监督的学习预训练所述网络；通过不断迭代网络输入层与隐藏层之间的权重，实现数据特征的学习与特征提取,所获特征记为W，W是N行、M列大小的矩阵。

前述的基于显著性指导非监督特征学习的图像分类方法，其特征在于，所述步骤3)中的具体步骤为：

3.1)将W转为8*8卷积核，产生N*3个卷积核；

3.2)分别获取图像数据集中训练样本、测试样本中每幅图像R、G、B三通道值；

3.3)将每幅图像的三通道值分别与当前特征中的3个卷积核进行二维卷积获取特征值；

3.4)对获取的三通道特征值进行求和操作，记为x；

3.5)利用LRel激活函数计算出x的激活值y；

LRel激活函数如下：

前述的基于显著性指导非监督特征学习的图像分类方法，其特征在于，所述步骤4)中具体步骤为：

4.1)设置K*K高斯核，将其作为权重窗口；

4.2)将训练图像数据与测试图像数据的激活值分别进行局部减法操作；

4.3)将激活值进行局部减法操作的结果除以标准差，最终得出训练样本与测试样本经过卷积与局部对比归一化操作后的特征值。

前述的基于显著性指导非监督特征学习的图像分类方法，其特征在于，所述步骤5)中具体步骤为：

5.1)设定空间金字塔池化三种尺度分别为1、2、3；

5.2)计算当前尺度下池化窗口以及池化步长的大小；

5.3)通过循环来获取所得特征的所有二维特征块，特征块每维的大小为池化窗口的尺寸；

5.4)对当前的特征块求取平均值。

前述的基于显著性指导非监督特征学习的图像分类方法，其特征在于，所述步骤6)中具体步骤为：

6.1)设定图像数据集中每幅图像的大小为H*H,计算图像的中心点坐标位置[midpointX,midpointY]；

6.2)计算图像中每个像素点与中心点的距离，将距离值存于大小为H行H列的矩阵中；

6.3)通过调整大小操作，将步骤6.2)中的所得矩阵转换为H*H行的列向量；

6.4)通过点乘操作，将步骤6.3)中所得列向量与步骤5)所得多尺度金字塔池化特征分别进行融合，得到三个尺度的融合特征；

6.5)将步骤6.4)中得到的三个尺度的融合特征进行列相连，得到训练样本与测试样本最终有效特征的表示。

前述的基于显著性指导非监督特征学习的图像分类方法，其特征在于，所述步骤7)的具体步骤为：

7.1)选用开源的liblinear作为分类器，将得到的训练样本的特征集及对应的样本标签对liblinear进行十折交叉训练，寻取最优参数C；

7.2)用已训练好的分类器模型对测试样本进行预测。

本发明所达到的有益效果：本发明将显著性检测算法应用于无监督特征训练样本的采集，可获取具有代表性的样本。区别于传统的人工设计特征与监督特征学***移不变性，能保证图像整体上发生平移后也能提取特征进行匹配；池化能对局部对比归一化后特征进行降维处理，防止分类器过拟合；多尺度的金字塔池化，能够获取多个尺度的池化特征，能够显著地提高图像的分类精度。本发明结合了liblinear分类器，降低了分类时间消耗，提高了分类精度。

附图说明

图1是本发明的流程图。

具体实施方式

下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。

本实施例以STL-10数据库为例，该数据库包含10类RGB图像，每幅图像的大小为96*96。其中，用于无监督训练时无标签图像数为100000，用于有监督训练的训练样本数为5000，测试样本数为8000。

结合本发明的步骤，如图1所示，具体过程如下：

1.1)使用上下文感知显著性检测算法，计算无标签数据样本中每幅图像的显著图。

1.2)将每幅显著图中像素点按照灰度值的大小进行降序排列。

1.3)从每幅显著图中选取64个像素点，按照像素点灰度值的大小，其中从顶部5％中选取50个正像素点以及从底部30％中选取14个负像素点。

1.4)计算每幅显著图中满足要求的像素点的坐标信息[X,Y]，按照此坐标找出该显著图对应原始RGB图像中的正负像素点。将每一个像素点设定为一个样本，从而获得无监督特征学习的样本集。

2.1)采用的可视层节点为M，M＝64*3，隐藏层节点为N＝900。

2.2)用非监督的学习训练所述网络，通过不断迭代网络输入层与隐藏层之间的权重，迭代次数设为600，所获数据特征记为W，W是900行192列大小的矩阵。

3.1)分别获取图像数据库中训练样本、测试样本中每幅图像R、G、B三通道值。

3.2)将非监督特征学习所获数据特征W转为8*8卷积核，每个特征可产生3个卷积核，与每幅图像R、G、B三通道值相对应，分别进行二维卷积操作来获取特征值。

3.3)对获取的三通道特征值进行求和操作，所求的和记为x。

3.4)利用LRel激活函数计算出步骤3中所求和x的激活值y。

4.1)设置9*9大小的高斯核，将其作为权重窗口。

4.2)将激活值y进行局部减法操作。

4.3)将步骤4.2)的结果除以标准差。

4.4)通过循环遍历操作可最终得出所有训练样本与测试样本经过卷积与局部对比归一化操作后的特征值。

5.1)设定空间金字塔池化三种尺度分别为1、2、3。

5.2)计算当前尺度下池化窗口win以及池化步长stride的大小。

5.3)通过循环来获取局部对比归一化操作后特征值所有二维特征块，特征块每维的大小为池化窗口的尺寸。

5.4)对当前选取的特征块求取平均值。

5.5)遍历所有的池化尺度，获取训练样本三个尺度的池化特征，分别记为pooledFeaturesTrain1、pooledFeaturesTrain2、pooledFeaturesTrain3；将测试样本三个尺度的池化特征，分别记为pooledFeaturesTest1、pooledFeaturesTest2、pooledFeaturesTest3。

6.1)STL-10数据集中每幅图像的大小为96*96,计算图像的中心点坐标位置[midpointX,midpointY]，其中，midpointX＝floor(96/2)＝48，midpointY＝floor(96/2)＝48。

6.2)计算图像中每个像素点与中心点的距离，将距离值存于大小为[96,96]的矩阵中；

6.3)通过调整大小操作，将步骤2中的所得矩阵转换为列向量[96*96,1]；

6.4)将步骤6.3)中所得列向量与pooledFeaturesTrain1、pooledFeaturesTrain2、pooledFeaturesTrain3以及pooledFeaturesTest1、pooledFeaturesTest2、pooledFeaturesTest3进行点乘操作，从而分别得到训练集及测试集三个尺度的融合特征；

6.5)将步骤6.4)中得到的训练集以及测试集三个尺度的融合特征进行列相连，从而得到训练样本与测试样本最终有效特征的表示。

7.1)将上述得到训练样本最终的特征集及对应的样本标签对liblinear进行十折交叉训练，寻取最优参数C。

本实施例中通过实验验证:当C取为65时，分类器能达到最好的分类结果；

7.2)用已训练好的分类器模型对测试样本进行预测。

本发明所用的三个现有技术对比分类方法分别如下：

1)Liefeng Bo等人在

“Unsupervised Feature Learning for RGB-D Based Object Recognition.InISER,2012.”

中提出的图像分类方法，简称方法1。

2)Julien Mairal等人在“Convolutional Kernel Networks.arXiv:1406.3332,2014.”中提出的图像分类方法，简称方法2。

3)Adriana Romero等人在“

No more meta-parameter tuning in unsupervised sparse featurelearning.arXiv:1402.5766,2014.”中提出的图像分类方法，简称方法3。

表1各方法分类性能的比较：

由表1可知，本发明的图像分类方法与近年来现有方法相比，分类准确率有明显的提高。本发明方法能充分利用无监督特征学习的优点，将多种计算机视觉的技术和方法融入到现有的深度学习网络中，使提取的图像特征更具代表和实质性意义，是一种非常实用的图像分类方法。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (2)

1.一种基于显著性指导非监督特征学习的图像分类方法，其特征是，包括如下步骤：

1)显著性指导的像素点采集：采用显著性检测算法对图像像素点进行采集，通过获取图像的显著图，采集到图像中具有代表性表示的像素点；

所述步骤1)具体步骤为：

1.1)采用上下文感知显著性检测算法，计算图像数据集中训练样本的显著图，数据集中每幅图像具有相同的分辨率；

1.2)将每幅显著图中像素点按照灰度值的大小进行降序排列；

1.3)从每幅显著图中选取64个像素点，按照像素点灰度值的大小，从顶部5％中选取50个正像素点以及从底部30％中选取14个负像素点；

1.4)计算每幅显著图中满足要求的像素点的坐标信息[X,Y]，按照此坐标找出该显著图对应原始RGB图像中的正负像素点，将每一个像素点设定为一个样本，从而获得非监督特征学习的样本集；

2)非监督特征学习：采用稀疏自编码来训练图像中具有代表性表示的像素点，获取图像特征；

所述步骤2)的具体步骤为：

2.1)选用稀疏自编码器作为非监督特征学习工具，设定网络采用的网络输入层节点为M，隐藏层节点为N；

2.2)将所得的正负像素样本集作为稀疏自编码器的输入，通过非监督的学习预训练所述网络；通过不断迭代网络输入层与隐藏层之间的权重，实现数据特征的学习与特征提取,所获特征记为W，W是N行、M列大小的矩阵；

3)图像卷积：分别用图像数据集中训练样本和测试样本对步骤2)中的图像特征进行卷积操作；

所述步骤3)中的具体步骤为：

3.1)将W转为8*8卷积核，产生N*3个卷积核；

3.2)分别获取图像数据集中训练样本、测试样本中每幅图像R、G、B三通道值；

3.3)将每幅图像的三通道值分别与当前特征中的3个卷积核进行二维卷积获取特征值；

3.4)对获取的三通道特征值进行求和操作，记为x；

3.5)利用LRel激活函数计算出x的激活值Y；

LRel激活函数如下：

4)局部对比归一化：对步骤3)中获取的训练样本和测试样本的卷积图像特征进行局部减法和除法归一化；所述步骤4)中具体步骤为：

4.1)设置K*K高斯核，将其作为权重窗口；

4.2)将训练图像数据与测试图像数据的激活值分别进行局部减法操作；

4.3)将激活值进行局部减法操作的结果除以标准差，最终得出训练样本与测试样本经过卷积与局部对比归一化操作后的特征值；

5)空间金字塔池化：从三个不同空间尺度对步骤4)中获取的卷积图像特征进行平均池化操作；

所述步骤5)中具体步骤为：

5.1)设定空间金字塔池化三种尺度分别为1、2、3；

5.2)计算当前尺度下池化窗口以及池化步长的大小；

5.3)通过循环来获取所得特征的所有二维特征块，特征块每维的大小为池化窗口的尺寸；

5.4)对当前的特征块求取平均值；

6)融合中央先验：分别计算图像数据集中训练样本和测试样本的中央先验值，将该值与步骤5)得到的三个空间尺度的平均池化后的特征分别进行融合操作；

所述步骤6)中具体步骤为：

6.1)设定图像数据集中每幅图像的大小为H*H,计算图像的中心点坐标位置[midpointX,midpoint Y]；

6.2)计算图像中每个像素点与中心点的距离，将距离值存于大小为H行H列的矩阵中；

6.3)通过调整大小操作，将步骤6.2)中的所得矩阵转换为H*H行的列向量；

6.4)通过点乘操作，将步骤6.3)中所得列向量与步骤5)所得多尺度金字塔池化特征分别进行融合，得到三个尺度的融合特征；

6.5)将步骤6.4)中得到的三个尺度的融合特征进行列相连，得到训练样本与测试样本最终有效特征的表示；

7)图像分类：用步骤6)中所获测试样本的特征值来训练分类器，将步骤6)中所获训练样本的特征值输入已训练的分类器中实现图像分类。

2.根据权利要求1所述的基于显著性指导非监督特征学习的图像分类方法，其特征在于，所述步骤7)的具体步骤为：

7.1)选用开源的liblinear作为分类器，将得到的训练样本的特征集及对应的样本标签对liblinear进行十折交叉训练，寻取最优参数C；

7.2)用已训练好的分类器模型对测试样本进行预测。