CN104573727A - 一种手写体数字图像降维方法 - Google Patents

Abstract

本发明提出了一种手写体数字图像降维的方法，方法考虑了近邻之间的关系，并保持了数据的流形结构。首先，通过构建一个近邻矩阵，使近邻互相靠近，然后构造一个类似PCA的泛化协方差矩阵，通过求解协方差的特征问题，生成子空间转换矩阵。常规的降维方法中，我们不知道保持数据的全局结构好还是局部结构好，或者如何平衡这两者，不同于常规的，本发明能够在同一个模型中保持这两种结构。本发明通过使近邻在低维中尽可能靠近，因为相互靠近的样本有很大的可能性属于同一类，所以能提高分类或聚类准确度。并通过实验证明了本发明的有效性。

Description

一种手写体数字图像降维方法

技术领域

本发明涉及模式识别领域，更具体地说，涉及一种手写体数字图像降维方法。

背景技术

随着计算机技术和图像处理技术的飞速发展，手写体数字识别由于其广泛的应用，得到众多研究者的关注，成为现代模式识别技术研究中的一个重要方面。

然而，手写体数据图像是高维数据，如果直接对其进行识别，往往花费时间较长，计算复杂度高，甚至识别效果较差，因此，常常对图像数据进行降维后，再进行识别。目前主要采用的降维方法包括PCA(主成分分析)、LDA(线性判别分析)、MDS(多维尺度分析)等。PCA是一种线性的非监督降维方法，因其简单有效而被广泛应用。它保持数据的方差最大，降维结果是原始特征的线性组合。但是，它对噪声很敏感，并依赖于欧氏距离，对于复杂的非线性数据也不能很好地处理。LDA作为一种有监督的降维方法，利用了标记信息，通过选择一个投影向量使同类的点经投影后尽可能靠近，不同类的点经投影后尽可能分散，使降维后的结果有助于后续的分类工作。但是，LDA和PCA存在相同的缺点，就是它们都不能保持数据的流形结构。

在保持数据的流形结构方面，已经出现了不少研究成果。MDS的思想是在尽可能保持数据对之间的距离不变的前提下，将高维空间中的数据映射到低维空间中去。由于成对样本在低维空间中的距离与它们在高维空间中的相似性之间最大限度地保持一致，它被广泛应用于图像与文本分析。Isomap采用微分几何中的测地线距离代替欧氏距离计算空间中数据点之间的距离，并且找到了一种用实际输入数据估计其测地线距离的算法，但是它是拓扑不稳定的。MDS和Isomap都是旨在保持数据降维后的全局结构性质不变。

与之不同的另一类方法则旨在保持数据的局部结构，比如近邻关系，其中的代表就是LLE(局部线性嵌入)和LE(拉普拉斯特征映射)。它们假设每一个样本都可以由其近邻线性重构，并且数据样本在低维空间中的代表可以由数据样本的原近邻在低维空间中的代表以相同的系数线性重构。LLE首先通过一个优化问题学习所有样本的重构权重，然后通过最小化重构损失函数获取低维表示。但是LLE只能对已知数据给出表示，对于新来的数据却不能清楚地表示。LE通过应用一个高斯核代价函数实现降维，但是它同样不能对新来的数据进行表示。LPP(局部保持映射)克服了LLE和LE的上述缺点，但是当样本个数小于样本维数时，它首先需要解决一个奇异矩阵的转置问题。

针对各类具体的应用，还有一些扩展的PCA方法。例如，2D-PCA是针对图像的表示和识别问题提出的，它将每个图像表示为一个二维的矩阵而不是传统的一个向量，比PCA更精确、计算效率更高。TIPCA(变换不变PCA)针对人脸识别问题，为人脸图像学习一个变换不变的子空间。

虽然已有上述多种降维方法，但是，在执行用于分类的数据降维时，对于特定的问题，我们不知道保持数据的全局特征更好还是保持数据的局部特征更好，也不知道如何获得两者之间的平衡。因此，如何能够在继承PCA方法的基础上，将数据的全局结构性质和局部结构性质统筹起来考虑，达到全局结构和局部结构之间的良好平衡，是目前研究的一个重点和难点。

发明内容

本发明提供一种手写体数字图像的降维方法。在传统PCA、非线性降维技术或其它PCA的变形方法中，要么只考虑数据的全局结构或者局部结构，要么在执行降维时在一个目标函数中显式地考虑数据的全局和局部两种结构特征。本发明提出的方法结合PCA，在一个降维模型中隐式地保持数据结构，并在全局结构和局部结构的保持上实现平衡。

为了实现上述目的，本发明方法考虑了近邻之间的关系，并保持了数据的流形结构。首先，通过构建一个近邻矩阵，使近邻互相靠近；然后构造一个类似PCA的泛化协方差矩阵，通过求解协方差的特征问题，生成子空间转换矩阵；再通过转换矩阵实现数据集的低维表示。为了检验降维方法的性能，通过k-NN(k＝1近邻)分类器对降维后的低维样本数据进行分类，通过与原始类标作比较，得出识别精度。由于图像降维考虑了流形结构及低维流形空间的邻域结构信息，因此，能获得比原始数据更好的分类识别效果。

本发明的具体技术方案如下：

一种手写体数字图像降维方法，包括以下步骤：

步骤1：获取手写体图像数据集，其中每一个样本记为x_i{i＝1…n}，n为样本个数X＝[x₁,x₂,…,x_n]，样本维数为p；

步骤2：计算泛化协方差矩阵，具体方法为：

(1)首先对样本点x_i{i＝1…n}，求得其与其他样本两两之间的欧氏距离，选择距离最小的k个样本点作为样本x_i{i＝1…n}的近邻，以此构造近邻图H＝(v,e)，其中H的顶点表示手写体数字图像，v表示顶点集合，e表示边集合，当且仅当图像x_j是x_i的近邻时，构造边e_ij将x_j与x_i连接，给近邻图的每条边e_ij赋予一个权重，其定义如下：

$h_{\mathrm{ij}}=\left\{\begin{array}{cc}{e}^{-\frac{{\left|\right|x_i-x_j\left|\right|}^2}{t}},& x_j\∈\mathrm{ne}\left(x_i\right)\mathrm{or}{x}_i\∈\mathrm{ne}\left(x_j\right)\\ 0,& \mathrm{otherwise}\end{array}\right.$

其中t为调节参数，h_ij为边e_ij的权重，并令h_ii＝1，其中i＝1…n；

(2)计算泛化转换矩阵其中O为对角矩阵，其对角元素定义为：其中o_ii为对角矩阵O的第i行第i列元素，i为正整数，且1≤i≤n；

(3)计算样本集X的泛化协方差矩阵为XGX^T；

步骤3：对步骤2得到的泛化协方差矩阵求特征值，将特征值按照从大到小的顺序排序，取前q个不为零的特征值所对应的特征向量，组成子空间转换矩阵E＝[v₁,v₂,…,v_q]，其中v_i表示第i个特征值对应的特征向量；

步骤4：对原手写体图像数据集进行降维，即计算Y＝E^TX，Y为得到的低维数据集。

将上述方法应用到手写体数字图像识别中，可得到很好的识别效果，具体技术方案为：

一种手写体数字图像识别方法，包括以下步骤：

步骤1：获取手写体数字图像集合I，所述集合包括训练图像数据子集I_train和测试图像数据子集I_test；

步骤2：依据步骤1得到的训练图像数据子集I_train，计算泛化协方差矩阵，具体方法为：

(1)首先对样本点x_i{i＝1…n}，求得其与其他样本两两之间的欧氏距离，选择距离最小的k个样本点作为样本x_i{i＝1…n}的近邻，以此构造近邻图H＝(v,e)，其中H的顶点表示手写体数字图像，v表示顶点集合，e表示边集合，当且仅当图像x_j是x_i的近邻时，构造边e_ij将x_j与x_i连接，给近邻图的每条边e_ij赋予一个权重，其定义如下：

$h_{\mathrm{ij}}=\left\{\begin{array}{cc}{e}^{-\frac{{\left|\right|x_i-x_j\left|\right|}^2}{t}},& x_j\∈\mathrm{ne}\left(x_i\right)\mathrm{or}{x}_i\∈\mathrm{ne}\left(x_j\right)\\ 0,& \mathrm{otherwise}\end{array}\right.$

其中t为调节参数，h_ij为边e_ij的权重，并令h_ii＝1，其中i＝1…n；

(2)计算泛化转换矩阵其中O为对角矩阵，其对角元素定义为：其中o_ii为对角矩阵O的第i行第i列元素，i为正整数，且1≤i≤n；

(3)计算样本集X的泛化协方差矩阵为XGX^T；

步骤3：对步骤2得到的泛化协方差矩阵求特征值，将特征值按照从大到小的顺序排序，取前q个不为零的特征值所对应的特征向量，组成子空间转换矩阵E＝[v₁,v₂,…,v_q]，其中v_i表示第i个特征值对应的特征向量；

步骤4：依据步骤3得到的转换矩阵E和步骤1得到的测试样本集I_test，获取X_test的低维表示Y_test＝E^TX_test；

步骤5：依据步骤4得到的低维表示Y_test，进行手写体数字图像的识别。

本发明的有益效果是：

有效保持了训练图像的邻域信息和流形结构。由于手写体数字图像本身具有流形结构，泛化协方差矩阵构造时同时考虑了图像的流形特征和邻域信息，因此，流形空间中得到的泛化协方差矩阵比原空间中的初始协方差矩阵更能准确地描述手写体的图像特征，提高图像识别准确度。

附图说明

图1为泛化协方差矩阵构造示意图；

图2为求解协方差矩阵特征问题示意图；

图3为手写体数字识别总流程图。

具体实施方式

下面将结合附图和实施例，对本发明实施例中的技术方案进行清楚、完整地描述。

请参阅图1，图1为泛化协方差矩阵构造示意图，包括：

获取图像数据集合I，所述图像数据集合包括训练图像数据子集I_train和测试图像数据子集I_test；

假设手写体数字集I由两部分组成，I＝[X,label]，其中X＝[x₁,x₂,…,x_n]，每一个样本x_i{i＝1…n}是一个p×1维的向量，p为样本维数，n为样本个数；

样本数据集I又可按需分为I_train和I_test。本发明中使用的是5倍交叉验证，将样本数据集随机均匀地分成5份，每次取其中一份作为测试样本集I_test，其余四份则作为I_train，实验可以重复5次。

根据步骤1得到的样本集I_train，首先对X_train中的某一个样本点x_i{i＝1…n}，求得其与其他样本两两之间的欧氏距离，根据距离大小，选择最小距离的k个样本点作为样本x_i{i＝1…n}的近邻ne(x_i)，以此构造近邻图H＝(v,e)，其中H的顶点表示手写体数字图像，v表示顶点集合，e表示边集合。当且仅当图像x_j是x_i的k(k＝12)近邻时，构造边e_ij将x_j与x_i连接。给近邻图的每条边e_ij赋予一个权重，其定义如下：

$h_{\mathrm{ij}}=\left\{\begin{array}{cc}{e}^{-\frac{{\left|\right|x_i-x_j\left|\right|}^2}{t}},& x_j\∈\mathrm{ne}\left(x_i\right)\mathrm{or}{x}_i\∈\mathrm{ne}\left(x_j\right)\\ 0,& \mathrm{otherwise}\end{array}\right.$

其中t(t＝1)为调节参数，h_ij为边e_ij的权重，并令h_ii＝1，其中i＝1…n。定义泛化转换矩阵其中O为对角矩阵，其对角元素定义为：

$o_{\mathrm{ii}}={\mathrm{\Σ}}_{j=1}^n{h}_{\mathrm{ij}}$

其中o_ii为对角矩阵O的第i行第i列元素。i为正整数，且1≤i≤n。定义样本集X的泛化协方差矩阵为XGX^T。

请参阅图2，图2为求解协方差矩阵特征问题示意图：

根据步骤2得到的泛化协方差矩阵，求解它的特征问题，获取特征值和特征向量，第i个特征值为λ_i，第i个特征值对应的特征向量为v_i；

将特征值按照从大到小的顺序获取前q个不为零的特征值所对应的特征向量，并将获取的特征向量组成子空间转换矩阵E＝[v₁,v₂,…,v_q]；其中，q为预设的降维后的维数，所述x_m对应的降维后的向量数据y_m为所述向量数据矩阵Y_train的第m行向量；

特征子空间可以表示为Y＝E^TX，其中，E是一个p×q的矩阵；

请参阅图3，图3为手写体数字识别总流程图，本发明的具体过程为：

步骤1.获取图像数据集合I，所述图像数据集合包括训练图像数据子集I_train和测试图像数据子集I_test；

步骤2.依据步骤1得到的训练样本集I_train，计算一个泛化协方差矩阵；

步骤3.依据步骤2得到的协方差矩阵，求解它的特征问题，获得低维子空间转换矩阵E；

步骤4.依据步骤3得到的转换矩阵E和步骤1得到的测试样本集I_test，可以获取X_test的低维表示Y_test＝E^TX_test；

步骤5.依据步骤4得到的低维表示Y_test，对其进行识别。

以美国邮政手写体数字集(USPS)中的图像数据进行验证，USPS手写体数据库中包含0-9十个手写体数字，共有2007个已知数据类型的样本，像素为16x16。实验采用5倍交叉验证，将所有数据随机均匀分成5份，每次选取一组作为测试数据，其余的作为训练数据，实验重复5次取5次的平均值作为最终的识别准确率，准确率如表1所示。

所述步骤5是指：根据步骤4得到的测试样本集的低维表示Y_test，使用k-NN(k＝1近邻)分类器对[Y_test,label_test]进行分类，获取不同维下的识别精度(％)。

表1手写体数字集USPS上七种降维方法对分类的识别精度比较

Claims (5)

1.一种手写体数字图像降维方法，包括以下步骤：

步骤1：获取手写体图像数据集，其中每一个样本记为x_i{i＝1…n}，n为样本个数X＝[x₁,x₂,…,x_n]，样本维数为p；

步骤2：计算泛化协方差矩阵，具体方法为：

(1)首先对样本点x_i{i＝1…n}，求得其与其他样本两两之间的欧氏距离，选择距离最小的k个样本点作为样本x_i{i＝1…n}的近邻，以此构造近邻图H＝(v,e)，其中H的顶点表示手写体数字图像，v表示顶点集合，e表示边集合，当且仅当图像x_j是x_i的近邻时，构造边e_ij将x_j与x_i连接，给近邻图的每条边e_ij赋予一个权重，其定义如下：

$h_{\mathrm{ij}}=\left\{\begin{array}{cc}{e}^{-\frac{{\left|\right|x_i-x_j\left|\right|}^2}{t}},& x_j\∈\mathrm{ne}\left(x_i\right)\mathrm{or}{x}_i\∈\mathrm{ne}\left(x_j\right)\\ 0,& \mathrm{otherwise}\end{array}\right.$

其中t为调节参数，h_ij为边e_ij的权重，并令h_ii＝1，其中i＝1…n；

(2)计算泛化转换矩阵其中O为对角矩阵，其对角元素定义为：其中o_ii为对角矩阵O的第i行第i列元素，i为正整数，且1≤i≤n；

(3)计算样本集X的泛化协方差矩阵为XGX^T；

步骤3：对步骤2得到的泛化协方差矩阵求特征值，将特征值按照从大到小的顺序排序，取前q个不为零的特征值所对应的特征向量，组成子空间转换矩阵E＝[v₁,v₂,…,v_q]，其中v_i表示第i个特征值对应的特征向量；

步骤4：对原手写体图像数据集进行降维，即计算Y＝E^TX，Y为得到的低维数据集。

2.如权利要求1所述的手写体数字图像降维方法，其特征在于：步骤2中，k的值取12，t的值取1。

3.一种手写体数字图像识别方法，包括以下步骤：

步骤1：获取手写体数字图像集合I，所述集合包括训练图像数据子集I_train和测试图像数据子集I_test；

步骤2：依据步骤1得到的训练图像数据子集I_train，计算泛化协方差矩阵，具体方法为：

(1)首先对样本点x_i{i＝1…n}，求得其与其他样本两两之间的欧氏距离，选择距离最小的k个样本点作为样本x_i{i＝1…n}的近邻，以此构造近邻图H＝(v,e)，其中H的顶点表示手写体数字图像，v表示顶点集合，e表示边集合，当且仅当图像x_j是x_i的近邻时，构造边e_ij将x_j与x_i连接，给近邻图的每条边e_ij赋予一个权重，其定义如下：

$h_{\mathrm{ij}}=\left\{\begin{array}{cc}{e}^{-\frac{{\left|\right|x_i-x_j\left|\right|}^2}{t}},& x_j\∈\mathrm{ne}\left(x_i\right)\mathrm{or}{x}_i\∈\mathrm{ne}\left(x_j\right)\\ 0,& \mathrm{otherwise}\end{array}\right.$

其中t为调节参数，h_ij为边e_ij的权重，并令h_ii＝1，其中i＝1…n；

(2)计算泛化转换矩阵其中O为对角矩阵，其对角元素定义为：其中o_ii为对角矩阵O的第i行第i列元素，i为正整数，且1≤i≤n；

(3)计算样本集X的泛化协方差矩阵为XGX^T；

步骤3：对步骤2得到的泛化协方差矩阵求特征值，将特征值按照从大到小的顺序排序，取前q个不为零的特征值所对应的特征向量，组成子空间转换矩阵E＝[v₁,v₂,…,v_q]，其中v_i表示第i个特征值对应的特征向量；

步骤4：依据步骤3得到的转换矩阵E和步骤1得到的测试样本集I_test，获取X_test的低维表示Y_test＝E^TX_test；

步骤5：依据步骤4得到的低维表示Y_test，进行手写体数字图像的识别。

4.如权利要求3所述的手写体数字图像识别方法，其特征在于：步骤2中，k的值取12，t的值取1。

5.如权利要求3所述的手写体数字图像识别方法，其特征在于：步骤5中，用1近邻分类器对低维的样本数据进行分类，通过与原始类标作比较，得到识别精度。