CN104008394A - 基于近邻边界最大的半监督高光谱数据降维方法 - Google Patents

Abstract

本发明公开了一种基于近邻边界最大的半监督高光谱数据降维方法，主要解决现有技术需要大量监督信息且降维后数据判别性差的问题。其步骤为：1.将遥感数据库样本集划分为训练数据集和标记样本集；2.生成标记样本集的散度矩阵；3.生成训练数据集的空间近邻矩阵；4.生成训练数据集的相似度矩阵；5.根据散度矩阵，通过最大边界准则构造半监督判别项；6.构造半监督正则项；7.通过最小化判别项和正则项之和获取最优投影矩阵，以实现降维。本发明采用低秩表示的流形正则和空间一致性的空间正则来构造正则项，采用空谱联合的正则策略，使得投影矩阵更加鲁棒、完备，提高了降维后数据的判别的性能，可用于高光谱数据的分类识别。

Description

基于近邻边界最大的半监督高光谱数据降维方法

技术领域

本发明属于图像处理技术领域，更进一步涉及一种数据降维方法，可用于遥感影像数据的降维与分类。

背景技术

高光谱遥感技术现已经成功应用于国防安全，环境监测，资源勘查等领域，是现代高科技技术之一，但是，高光谱遥感影像的数据处理技术的发展则相对滞后于影像成像设备等硬件方面的发展，这使得高光谱遥感技术进一步的推广应用受到制约。分类是对高光谱遥感影像丰富的地物信息进行分析和对遥感信息解译的重要途径，因此，对高光谱遥感数据地物分类的研究有着十分重要的实用价值。

高光谱遥感影像包含丰富的地物空间、辐射和光谱信息，具有较高光谱分辨率和空间分辨率等优点，并且，将决定地物性质的光谱和决定地物空间与几何特性的图像有机的结合在一起，有利于进行地物的分类和目标识别。

高光谱遥感数据提供了丰富的地物信息，但是，在带来丰富信息的同时，其海量的高维数据也给传统的分类算法提出了很大的挑战。一方面，对于高光谱遥感影像的分类算法，有监督分类算法需要较大规模的标记样本，否则分类精度很低，再者高维的海量数据为数据训练学习带来巨大的时间复杂度和计算复杂度，因此，在减少运算量的同时提高分类精度，已成为高光谱遥感领域的研究热点。另一方面，高光谱数据中相邻波段之间存在高度的冗余性，因此，在对高光谱遥感数据进行利用之前对数据进行预处理，减少冗余信息，不仅可以降低数据的维数，为后续的分类处理减少计算量，并且还可以获取更加鲁棒、精准的分类结果。

现有的经典的降维方法主要有以下三类：

(一)无监督降维方法：如主成分分析PCA，是通过最大方差理论，将数据投影到最大方差的方向。这种方法由于没有监督信息，降维后的数据不具有很好的判别性能。

(二)监督降维方法：如线性判别分析LDA，通过最大化类间散度矩阵和最小化类内散度矩阵的比值而获得投影矩阵，LDA比PCA具有较好的判别性能，但LDA降维后的最高维数为c-1，且不适合非高斯分布数据的降维，使得普适性变差，其中c为样本类别数。

(三)半监督降维方法：通过大量无标记样本来学习数据的结构，是无监督学习的重点。现有的半监督方法主要集中在数据的流形正则，没有考虑到数据的全局结构，且忽略了影像数据的空间信息，使得影像数据的空间结构信息不能有效地利用。

发明内容

本发明的目的在于针对上述已有技术的不足，提出一种基于近邻边界最大的半监督降维方法，利用少量的监督信息，实现对高光谱遥感数据的高效降维。

实现本发明目的的技术方案是：通过低秩表示正则获取数据的结构和空间一致性约束获取影像的空间结构信息，进而通过特征值分解获得最优投影矩阵，实现数据的降维。具体步骤包括如下：

(1)将遥感影像数据库样本集划分为训练数据集X和标记样本集Y；

(2)生成标记样本集的散度矩阵：

2a)通过相似散度矩阵公式生成标记样本集的相似散度矩阵：

$C=\underset{\underset{y_j\∈N_i^o}{i,j:}}{\mathrm{\Σ}}\frac{{(y_i-y_j)(y_i-y_j)}^T}{\left|N_i^o\right|},$

其中C表示相似散度矩阵，y_i，y_j分别表示第i个和第j个标记样本，表示第i个标记样本的同质近邻集合，|·|表示集合中元素的个数，T表示矩阵的转置；

2b)通过相异散度矩阵公式生成标记样本集的相异散度矩阵：

$S=\underset{\underset{y_k\∈N_i^e}{i,k:}}{\mathrm{\Σ}}\frac{{(y_i-y_k)(y_i-y_k)}^T}{\left|N_i^e\right|},$

其中S表示相异散度矩阵，y_i，y_k分别表示第i个和第k个标记样本，表示第i个标记样本的异质近邻集合；

(3)通过空间近邻关系生成训练数据集的空间近邻矩阵：

其中L表示空间近邻矩阵，L(i,j)表示L矩阵的第i行第j列元素，x_i，x_j分别表示第i个和第j个训练样本；

(4)通过非精确增广拉格朗日乘子法求解训练数据集的低秩表示，生成训练数据集的相似度矩阵Z；

(5)根据相似散度矩阵C和相异散度矩阵S，通过最大边界准则构造半监督判别项：J(W)＝tr(W^T(S-C)W)，并定义R＝S-C为判别矩阵，

其中，W表示最优投影矩阵，tr()表示矩阵的迹，T表示矩阵的转置；

(6)构建半监督正则项：

6a)根据空间近邻矩阵L，通过局部一致性约束方法构建空间一致性正则项；

$\begin{array}{c}{J}_{R1}\left(W\right)=-\frac{1}{2}\underset{i,j}{\mathrm{\Σ}}{(W^T{x}_i-W^T{x}_j)}^{2}L(i,j)\\ =\mathrm{tr}\left(W^{T}X(L-{\mathrm{\Δ}}^L)X^{T}W\right)\end{array},$

定义R₁＝X(L-Δ^L)X^T为空间一致性正则矩阵，

其中，L(i,j)表示近邻矩阵L的第i行第j列元素，Δ^L表示对角矩阵，其对角元素为每一行的和，即 ${\mathrm{\Δ}}_{\mathrm{ii}}^L={\mathrm{\Σ}}_{j}L(i,j);$

6b)根据相似度矩阵Z，通过稀疏保持准则构造流形正则项：

$\begin{array}{c}{J}_{R2}\left(w\right)=-\frac{1}{M}\underset{i}{\mathrm{\Σ}}{\left|\right|W^T{x}_i-W^T{\mathrm{Xz}}_i\left|\right|}^2\\ =\mathrm{tr}\left(W^{T}X(\frac{1}{M}(Z^T+Z-Z^{T}Z-I)X^{T}W\right)\end{array},$

定义 $R_2=X(\frac{1}{M}(Z^T+Z-Z^{T}Z-I)X^T$ 为流形正则矩阵,

其中z_i表示相似度矩阵Z的第i列，I表示单位矩阵，M表示训练样本的个数；

(7)求解最优投影矩阵：

根据判别矩阵R，空间一致性正则矩阵R₁和流形正则矩阵R₂，得到目标矩阵U＝R-λ₁R₁-λ₂R₂；

对目标矩阵U进行特征值分解，并将特征值从大到小排序，取前m个特征值相对应的特征向量组成最优投影矩阵W，其中λ₁为空间一致性正则参数，λ₂为流形正则参数,m表示降维后训练集样本和测试集样本的维数。

与现有技术相比，本发明有以下优点：

本发明采用低秩表示的流形正则和空间一致性的空间正则来构造半监督正则项，生成训练数据集的流形和空间的结构正则，在很少监督信息的情况下，采用空谱联合的正则策略，使得投影矩阵更加鲁棒、完备，提高了降维后数据的判别性能。

附图说明

图1是本发明的流程图；

图2是空间近邻关系图；

图3是本发明仿真使用的实验高光谱数据IndianPines及其真实标记图；

图4是用本发明在标记样本个数为5和8时的分类结果标记图。

具体实施方式

参照图1，对本发明做进一步的详细描述。

步骤1：将遥感影像数据库样本集划分为训练数据集X和标记样本集Y。

1a)对遥感影像数据样本集中，随机选择40％的数据作为训练数据X∈R^D×M，剩余的60％数据作为测试样本数据集T∈R^D×T，其中,D表示训练集样本和测试集样本的维数，Rⁿ表示n维实数空间，M是训练集样本的总数，T是测试集样本的总数；在本发明的实施实例IndianPines数据集中，样本维数D为200，训练集样本的总数M为4147；

1b)在训练数据集X中，每类随机选取k个样本构成有监督信息的标记样本集Y∈R^D×Q，其中Q＝c×k，c为类别数，在本发明的实施实例IndianPines数据集中，c为16，k取{5,6,8}；

1c)在标记样本集Y中，对每个标记样本y_i通过欧式距离计算其同质近邻集合和异质近邻集合

步骤2：生成标记样本集的散度矩阵。

2a)通过相似散度矩阵公式生成标记样本集的相似散度矩阵：

$C=\underset{\underset{y_j\∈N_i^o}{i,j:}}{\mathrm{\Σ}}\frac{{(y_i-y_j)(y_i-y_j)}^T}{\left|N_i^o\right|},$

其中，C表示相似散度矩阵，y_i，y_j分别表示第i个和第j个标记样本，||表示集合中元素的个数，T表示矩阵的转置；

2b)通过相异散度矩阵公式生成标记样本集的相异散度矩阵：

$S=\underset{\underset{y_k\∈N_i^e}{i,k:}}{\mathrm{\Σ}}\frac{{(y_i-y_k)(y_i-y_k)}^T}{\left|N_i^e\right|},$

其中，S表示相异散度矩阵，y_i，y_k分别表示第i个和第k个标记样本；

步骤3：通过空间近邻关系生成训练数据集的空间近邻矩阵。

参照图2给出的空间近邻关系，对每个标记样本x_i确定其空间近邻样本，如果样本x_j是样本x_i的空间近邻，则L(i,j)＝1，否则L(i,j)＝0，因此生成训练数据集的空间近邻矩阵为：

其中，L表示空间近邻矩阵，L(i,j)表示L矩阵的第i行第j列元素，x_i，x_j分别表示第i个和第j个训练样本。

步骤4：生成训练数据集的相似度矩阵Z。

通过非精确增广拉格朗日乘子法迭代求解训练数据集的低秩表示系数，取低秩表示系数的绝对值，作为训练数据集的相似度矩阵Z。

步骤5：根据相似散度矩阵C和相异散度矩阵S，通过最大边界准则构造半监督判别项：J(W)＝tr(W^T(S-C)W)，并定义R＝S-C为判别矩阵，

其中，W表示最优投影矩阵，tr()表示矩阵的迹；

步骤6：构建半监督正则项。

6a)根据空间近邻矩阵L，通过局部一致性约束方法构建空间一致性正则项：

$\begin{array}{c}{J}_{R1}\left(W\right)=-\frac{1}{2}\underset{i,j}{\mathrm{\Σ}}{(W^T{x}_i-W^T{x}_j)}^{2}L(i,j)\\ =\mathrm{tr}\left(W^{T}X(L-{\mathrm{\Δ}}^L)X^{T}W\right)\end{array},$

定义R₁＝X(L-Δ^L)X^T为空间一致性正则矩阵，

其中，L(i,j)表示L矩阵的第i行第j列元素，Δ^L表示对角矩阵，其对角元素为每一行的和，即 ${\mathrm{\Δ}}_{\mathrm{ii}}^L={\mathrm{\Σ}}_{j}L(i,j);$

6b)根据相似度矩阵Z，通过稀疏保持准则构建流形正则项：

$\begin{array}{c}{J}_{R2}\left(w\right)=-\frac{1}{M}\underset{i}{\mathrm{\Σ}}{\left|\right|W^T{x}_i-W^T{\mathrm{Xz}}_i\left|\right|}^2\\ =\mathrm{tr}\left(W^{T}X(\frac{1}{M}(Z^T+Z-Z^{T}Z-I)X^{T}W\right)\end{array},$

定义 $R_2=X(\frac{1}{M}(Z^T+Z-Z^{T}Z-I)X^T$ 为流形正则矩阵，

其中，z_i表示相似度矩阵Z的第i列，I表示单位矩阵。

步骤7：求解最优投影矩阵。

根据判别矩阵R，空间一致性正则矩阵R₁和流形正则矩阵R₂，得到目标矩阵U＝R-λ₁R₁-λ₂R₂；

对目标矩阵U进行特征值分解，并将特征值从大到小排序，取前m个特征值相对应的特征向量组成最优投影矩阵W，其中λ₁为空间一致性正则参数，用来平衡判别项与空间一致性正则项之间的权重，λ₂为流形正则参数,用来平衡判别项与流形正则项之间的权重，m表示降维后训练集样本和测试集样本的维数，在本发明的实施实例IndianPines数据集中，m为目标矩阵U大于0的特征值的个数。

本发明的效果可以通过以下仿真实验进一步说明。

1.仿真实验条件。

本实验采用IndianPines数据集作为实验数据，采用软件MATLAB7.10.0作为仿真工具，计算机配置为Intel Core i5/2.27G/2G。

IndianPines高光谱数据92AV3C：该场景为AVIRIS传感器于1992年6月获得的印第安纳州西北部的IndianPines测试地，该数据大小为145×145，每个像元有220个波段，去掉含有噪声的20个波段，仅保留剩下的200个波段，该数据共包含16类地物，图3(a)给出了IndianPines高光谱数据，图3(b)给出了IndianPines高光谱数据的真实标记图。

2.仿真实验内容。

仿真1，在图3(a)所给的IndianPines高光谱数据上进行不同标记样本个数下的仿真实验，并将本发明方法在图3(b)所给的真实标记下与现有的以下四种降维方法进行对比：1)基于稀疏保持的半监督降维SSDRsp；2)基于成对约束的半监督降维SSDR；3)局部fisher判别分析LFDA；4)主成分分析PCA。

实验中，本发明空间一致性正则参数流形正则参数表中OA代表总体精度，AA表示平均精度，Kappa表示Kappa系数。

表1给出了标记样本个数分别取{5,6,8}时，用最近邻分类器对降维后数据进行30次仿真分类的实验对比结果。

表1：本发明与现有方法在不同标记样本个数下的对比结果

从表1可见，本发明在每类标记样本个数为{5,6,8}时，精度在表中所列的五种方法中是最高的，且方差是最小的，因此具有较好的鲁棒性。

仿真2，对每类标记样本个数为5和8时，用最近邻分类器对降维后的数据进行分类。结果如图4，其中图4(a)是标记样本个数为5时的分类结果标记图，图4(b)是标记样本个数为8时的分类结果标记图。

由图4可以看出，本发明在少量监督信息的情况下，就可以获取较好影像空间结构一致性，证明了本发明的有效性。

Claims (2)

1.一种基于近邻边界最大的半监督高光谱数据降维方法，包括以下步骤

(1)将遥感影像数据库样本集划分为训练数据集X和标记样本集Y；

(2)生成标记样本集的散度矩阵：

2a)通过相似散度矩阵公式生成标记样本集的相似散度矩阵：

$C=\underset{\underset{y_j\∈N_i^o}{i,j:}}{\mathrm{\Σ}}\frac{{(y_i-y_j)(y_i-y_j)}^T}{\left|N_i^o\right|},$

其中，C表示相似散度矩阵，y_i，y_j分别表示第i个和第j个标记样本，|·|表示集合中元素的个数，T表示矩阵的转置；

2b)通过相异散度矩阵公式生成标记样本集的相异散度矩阵：

$S=\underset{\underset{y_k\∈N_i^e}{i,k:}}{\mathrm{\Σ}}\frac{{(y_i-y_k)(y_i-y_k)}^T}{\left|N_i^e\right|},$

其中，S表示相异散度矩阵，y_i，y_k分别表示第i个和第k个标记样本，|·|表示集合中元素的个数，T表示矩阵的转置；

(3)通过空间近邻关系生成训练数据集的空间近邻矩阵：

其中，L表示空间近邻矩阵，L(i,j)表示L矩阵的第i行第j列元素，x_i，x_j分别表示第i个和第j个训练样本；

(4)通过非精确增广拉格朗日乘子法求解训练数据集的低秩表示，生成训练数据集的相似度矩阵Z；

(5)根据相似散度矩阵C和相异散度矩阵S，通过最大边界准则构造半监督判别项：J(W)＝tr(W^T(S-C)W)，并定义R＝S-C为判别矩阵，

其中，W表示最优投影矩阵，tr()表示矩阵的迹，T表示矩阵的转置；

(6)构建半监督正则项：

6a)根据空间近邻矩阵L，通过局部一致性约束方法构建空间一致性正则项；

$\begin{array}{c}{J}_{R1}\left(W\right)=-\frac{1}{2}\underset{i,j}{\mathrm{\Σ}}{(W^T{x}_i-W^T{x}_j)}^{2}L(i,j)\\ =\mathrm{tr}\left(W^{T}X(L-{\mathrm{\Δ}}^L)X^{T}W\right)\end{array},$

定义R₁＝X(L-Δ^L)X^T为空间一致性正则矩阵，

其中L(i,j)表示L矩阵的第i行第j列元素，x_i表示第i个训练样本，Δ^L表示对角矩阵，其对角元素为每一行的和，即

6b)根据相似度矩阵Z，通过稀疏保持准则构建流形正则项：

$\begin{array}{c}{J}_{R2}\left(w\right)=-\frac{1}{M}\underset{i}{\mathrm{\Σ}}{\left|\right|W^T{x}_i-W^T{\mathrm{Xz}}_i\left|\right|}^2\\ =\mathrm{tr}\left(W^{T}X(\frac{1}{M}(Z^T+Z-Z^{T}Z-I)X^{T}W\right)\end{array},$

定义 $R_2=X(\frac{1}{M}(Z^T+Z-Z^{T}Z-I)X^T$ 为流形正则矩阵，

其中z_i表示相似度矩阵Z的第i列，I表示单位矩阵，M表示训练样本的个数；

(7)求解最优投影矩阵：

根据判别矩阵R，空间一致性正则矩阵R₁和流形正则矩阵R₂，得到目标矩阵U＝R-λ₁R₁-λ₂R₂；

对目标矩阵U进行特征值分解，并将特征值从大到小排序，取前m个特征值相对应的特征向量组成最优投影矩阵W，其中λ₁为空间一致性正则参数，λ₂为流形正则参数,m表示降维后训练集样本和测试集样本的维数。

2.根据权利要求1所述的基于近邻边界最大的半监督高光谱数据的降维方法，其中，步骤(1)所述的将遥感影像数据库样本集划分为训练数据集X和标记样本集Y，按如下步骤进行：

1a)将待处理遥感数据集中，随机选择40％的数据构成训练样本数据集X∈R^D×M，剩余的60％数据作为测试样本数据集T∈R^D×T，其中,D表示训练集样本和测试集样本的维数，Rⁿ表示n维实数空间，M表示训练集样本的总数，T表示测试集样本的总数；

1b)在训练数据集X中，每类随机选取k个样本构成有监督信息的标记样本集Y∈R^D×Q，其中Q＝c×k，c为类别数；

1c)在标记样本集Y中，对每个标记样本y_i通过欧式距离计算其同质近邻集合和异质近邻集合