CN109034213B - 基于相关熵原则的高光谱图像分类方法和*** - Google Patents

Abstract

本发明提供一种基于相关熵原则的高光谱图像分类方法和***，首先，对输入图像进行预处理，使得所有光谱向量的元素值在0到1之间；其次，选取少量的样本作为训练样本，利用设计的融合维数约简方法与相关熵原则的层次模型，提取高光谱图像的空谱特征；然后，利用训练好的层次结构学习测试样本的空谱特征；最后，将测试样本的特征输入到KNN分类器中得到类标签。本发明利用相关熵原则充分结合了高光谱数据的光谱和空间特征；利用本发明的层次模型，可以获得更加抽象的空谱特征；由于LDA的特性，本发明具有较小的样本复杂度，仅需要少量的训练样本就可以得到比较好的分类结果，因此其更利于实际应用。

Description

基于相关熵原则的高光谱图像分类方法和***

技术领域

本发明属于图像处理技术领域，特别涉及一种高光谱图像分类方法和***，可用于气象监测、环境监测、土地利用、城市规划以及防灾减灾。

背景技术

随着光谱成像技术的发展，高光谱遥感技术在全球众多国家的对地观测***中占据越来越重要的地位。高光谱图像可提供丰富的光谱信息，已在地质调查、资源勘查、环境监测以及精准农业等领域得到了广泛应用。在众多应用中，高光谱图像分类作为一种常用技术而备受关注。然而由于高光谱图像具有数据维数高、训练样本少以及光谱特征空间变化大等特点，传统的图像分类方法在处理高光谱图像时往往并不奏效。如何从冗余的非线性高光谱数据中提取有效特征，实现高精度的分类，是一个亟待解决的问题。

现有研究表明，从数量有限的高维非线性光谱数据中获取有效的特征是实现正确分类的关键。因此，为了处理数据维数高的问题，许多维数约简方法被相继应用于高光谱图像分类。这些方法在降低数据维数的同时还可以得到反映光谱低维流形结构的特征。例如，局部线性嵌入(Locally Linear Embedding,LLE)和局部Fisher判别分析(Local Fisher’sDiscriminant Analysis,LFDA)等流形学习方法被应用于高光谱图像分类，有效地提升了分类***的性能。这些方法本质上均是对输入进行了某种特征变换。但是在过去很长一段时间内，人们仅仅考虑了图像的光谱特征，而忽略了重要的空间信息。

为了充分利用高光谱图像的空间信息，空谱特征提取算法逐渐兴起。基于空谱特征的分类方法均基于一种前提，即局部区域中的像素属于同一类别的可能性较大。首先，马尔科夫随机场(Markov Random Field)、Gabor小波以及数学形态学等众多经典技术被用来获取图像的空间信息。近年来，Quesada-Barriuso等人从小波特征中创建扩展形态剖面(Extended Morphological Profile,EMP)得到一种新的空谱特征；有学者提出了基于循环置信传播的最大后验边缘概率(Maximizer of the Posterior Marginal by LoopyBelief Propagation，MPM-LBP)方法来获取空谱特征，该方法从光谱和空间两方面获取边缘概率分布。边缘保持滤波(Edge-preserving Filtering，EPF)方法也被应用于空谱特征提取。空间感知字典学习(Spatial Aware Dictionary Learning，SADL)方法通过融合了光谱与上下文信息进行特征提取。另一方面，支持向量机(Support Vector Machine，SVM)、相关向量机(Relevance Vector Machine,RVM)以及核极限学习机(Kernel ExtremeLearning Machine，KELM)等多种分类器都被用来处理高维高光谱数据，并得到了较好的结果。然而上述方法大多是单层的算法，不能提取图像的多层次特征。

最近深度学习作为一种新的有效的特征获取手段引起了高光谱图像分类研究者们的关注。然而现有基于深度学习的高光谱图像分类算法未能很好地利用“图谱合一”这一特点来设计深度结构，大都是通过预处理的方式融入空间信息。如何通过深度结构揭示高光谱图像的非线性流形结构、如何在深度框架下获取不变特征从而减小样本复杂度以及如何在深度结构中充分利用高光谱图像的空间信息等均是该领域的开放性问题。

综上，本发明在深入分析高光谱图像“图谱合一”特性基础之上，设计一种空谱特征学习方法，具有广阔的应用前景和重要的理论价值。

发明内容

本发明的目的在于针对上述已有技术的不足，提出一种基于相关熵原则的高光谱图像分类方法，以解决现有技术在高光谱图像分类问题中难以学习到有效的分类特征，以及现有方法样本复杂度高问题，提高光谱图像分类的性能。

实现本发明目的技术解决方案为：首先，对输入图像进行预处理，使得所有光谱向量的元素值在0到1之间；其次，选取少量的样本作为训练样本，利用设计的融合维数约简方法与相关熵原则的层次模型，提取高光谱图像的空谱特征；然后，利用训练好的层次结构学习测试样本的空谱特征；最后，将测试样本的特征输入到KNN分类器中得到类标签。具体步骤如下：

步骤1，输入一副高光谱图像，并对图像进行归一化处理，使其范围在[0，1]之内；

步骤2，从该归一化的高光谱图像中选择p％的像素作为训练样本，剩余的(100-p)％的标记像素作为测试样本；

步骤3，通过线性判别分析和相关熵原则的交替进行构造具有L层的层次模型，利用训练样本的类别标签和空间信息对该模型进行训练，得到用于特征学习的层次模型；

步骤4，将归一化图像输入到训练好的层次模型中，提取测试样本的空谱特征；

步骤5，将得到的测试样本的空谱特征输入到KNN分类器中，得到测试样本的类标签，完成分类。

进一步的，步骤3的具体实现方式如下，

3a)确定层次模型的层数为L，令l＝{1,2,···L}；

3b)将归一化后的高光谱图像数据作为该层次模型第一层的输入；

3c)利用线性判别分析方法对训练样本进行维数约简，得到第1层上的投影方向；

3d)根据得到的第1层上的投影方向对输入数据立方中的每一个像素向量进行降维；

3e)在降维后的数据立方上采用相关熵原则进行多尺度滤波，该滤波过程是一迭代过程，迭代公式为，

其中，r为迭代次数，

为第r+1次迭代结果，S_i,j为输入中坐标为(i,j)处的数据向量，S_m为局部邻域中第m个输入数据，M为邻域内输入数据的数目，

为第m个输入数据第r次迭代的结果，β为模型中待设定参数，c为输入数据和滤波后数据的交叉熵与滤波后数据的信息势之比，G_σ为高斯核函数；

3f)将3e)得到的数据立方作为输入，循环执行步骤3c)-3f)，依次得到共L层的滤波数据；

3g)得到层次模型，并输出训练样本的空谱特征。

进一步的，步骤1中对图像进行归一化处理的公式为，

其中，M_x＝max(I(:)),M_n＝min(I(:))分别为输入图像上像素值的最大值和最小值，并且

是坐标为(i,j)的像素I_ij中第

个谱带，

为归一化的高光谱图像上坐标为(i,j)的像素

中第

个谱带。

此外，本发明还提供基于相关熵原则的高光谱图像分类***，包括如下模块：

归一化处理模块，用于输入一副高光谱图像，并对图像进行归一化处理，使其范围在[0，1]之内；

样本选取模型，用于从该归一化的高光谱图像中选择p％的像素作为训练样本，剩余的(100-p)％的标记像素作为测试样本；

层次模型构建模块，用于通过线性判别分析和相关熵原则的交替进行构造具有L层的层次模型，利用训练样本的类别标签和空间信息对该模型进行训练，得到用于特征学习的层次模型；

空谱特征提取模块，用于将归一化图像输入到训练好的层次模型中，提取测试样本的空谱特征；

KNN分类模块，将得到的测试样本的空谱特征输入到KNN分类器中，得到测试样本的类标签，完成分类。

进一步的，层次模型构建模块中获得层次模型的具体实现方式如下，

3a)确定层次模型的层数为L，令l＝{1,2,···L}；

3b)将归一化后的高光谱图像数据作为该层次模型第一层的输入；

3c)利用线性判别分析方法对训练样本进行维数约简，得到第1层上的投影方向；

3d)根据得到的第1层上的投影方向对输入数据立方中的每一个像素向量进行降维；

3e)在降维后的数据立方上采用相关熵原则进行多尺度滤波，该滤波过程是一迭代过程，迭代公式为，

其中，r为迭代次数，

为第r+1次迭代结果，S_i,j为输入中坐标为(i,j)处的数据向量，S_m为局部邻域中第m个输入数据，M为邻域内输入数据的数目，

为第m个输入数据第r次迭代的结果，β为模型中待设定参数，c为输入数据和滤波后数据的交叉熵与滤波后数据的信息势之比，G_σ为高斯核函数；

3f)将3e)得到的数据立方作为输入，循环执行步骤3c)-3f)，依次得到共L层的滤波数据；

3g)得到层次模型，并输出训练样本的空谱特征。

进一步的，归一化处理模块中，对图像进行归一化处理的公式为，

其中，M_x＝max(I(:)),M_n＝min(I(:))分别为输入图像上像素值的最大值和最小值，并且

是坐标为(i,j)的像素I_ij中第

个谱带，

为归一化的高光谱图像上坐标为(i,j)的像素

中第

个谱带。

本发明与现有技术相比，其显著优点为：其一，相对于早期的基于光谱信息的高光谱特征提取算法，本发明利用相关熵原则充分结合了高光谱数据的光谱和空间特征。其二，利用本发明的层次模型，可以获得更加抽象的空谱特征，因此本发明的方法可以得到非常精确的分类结果。其三，由于LDA的特性，本发明具有较小的样本复杂度，仅需要少量的训练样本就可以得到比较好的分类结果，因此其更利于实际应用。

附图说明

图1为本发明的基于相关熵原则的高光谱图像分类方法流程框图。

图2为本发明实验使用图像及其真实地物分类图。

图3为本发明实施例中各类方法得到的分类结果全图。

具体实施方式

以下参照附图，对本发明的技术方案和效果做进一步详细描述。

参照图1，本发明的实现步骤如下：

1)输入一副高光谱图像，并对图像进行归一化处理，使其范围在[0，1]之内。令I_tr＝{I₁,I₂,Λ,I_N}是由N个像素组成的训练集，其中I_i∈R^d(i＝1,2,Λ,N)是第i个训练样本，并且它们属于C类；对图像进行归一化处理，通过以下步骤将数据值标准化为[0，1]：

其中，M_x＝max(I(:)),M_n＝min(I(:))分别为输入图像上像素值的最大值和最小值，并且

是坐标为(i,j)的像素I_ij中第

个谱带，

为归一化的高光谱图像上坐标为(i,j)的像素

中第

个谱带。

2)从该高光谱图像中选择p％的像素作为训练样本，剩下的作为测试样本，其中训练样本的类标签已知，本实施例中p取1。

3)训练层次模型。

训练层次模型主要是通过降维和基于相关熵原则的多尺度滤波交替进行得到学习空谱特征的模型。目前降维方法有很多种，本发明利用简单的线性判别分析(LinearDiscriminant Analysis，LDA)方法，该方法可以利用训练样本的标签信息，具体训练过程如下：

3a)确定模型的层数，本发明中设置为L，令l＝{1,2,···L}，本实施例中L取4；

3b)将归一化后的高光谱图像数据作为该层次模型第一层的输入；

3c)利用LDA方法对训练样本进行维数约简，得到第1层上的投影方向；

3d)根据得到的第1层上的投影方向对输入数据立方中的每一个像素向量进行降维；

3e)在降维后的数据立方上进行多尺度滤波，本发明采用相关熵原则进行滤波，该滤波过程是一迭代过程，迭代公式为

其中，r为迭代次数，

为第r+1次迭代结果，S_i,j为输入中坐标为(i,j)处的数据向量，S_m为局部邻域(即滤波器所覆盖区域)中第m个输入数据，M为邻域内输入数据的数目(可以设定)，

为第m个输入数据第r次迭代的结果，β为模型中待设定参数，c为输入数据和滤波后数据的交叉熵与滤波后数据的信息势之比，G_σ为高斯核函数。

3f)将3e)得到的数据立方作为输入，循环执行步骤3c)-3f)，依次得到共L层的滤波数据；

3g)得到层次模型，并输出训练样本的空谱特征。

4)选取高光谱图像中剩余99％的标记像素作为测试样本。

5)将归一化图像输入到训练好的层次模型中，提取测试样本的空谱特征，具体步骤如下：

5a)令i＝1，i∈{1,2,3,4}；

5b)根据得到的第i层上的投影方向对输入数据立方中的每一个像素向量进行降维；

5c)在降维后的数据立方上采用相关熵原则进行多尺度滤波；

5d)将5c)得到的数据立方作为输入，循环执行步骤5b)-5d)；

5e)输出测试样本的空谱特征。

6)将得到的测试样本的特征输入到K最邻近(K-Nearest Neighbor，KNN)分类器中，得到该样本的类标签，完成分类。

此外，本发明实施例还提供基于相关熵原则的高光谱图像分类***，包括如下模块：

归一化处理模块，用于输入一副高光谱图像，并对图像进行归一化处理，使其范围在[0，1]之内；

样本选取模型，用于从该归一化的高光谱图像中选择p％的像素作为训练样本，剩余的(100-p)％的标记像素作为测试样本；

层次模型构建模块，用于通过线性判别分析和相关熵原则的交替进行构造具有L层的层次模型，利用训练样本的类别标签和空间信息对该模型进行训练，得到用于特征学习的层次模型；

空谱特征提取模块，用于将归一化图像输入到训练好的层次模型中，提取测试样本的空谱特征；

KNN分类模块，将得到的测试样本的空谱特征输入到KNN分类器中，得到测试样本的类标签，完成分类。

其中，层次模型构建模块中获得层次模型的具体实现方式如下，

3a)确定层次模型的层数为L，令l＝{1,2,···L}；

3b)将归一化后的高光谱图像数据作为该层次模型第一层的输入；

3c)利用线性判别分析方法对训练样本进行维数约简，得到第1层上的投影方向；

3d)根据得到的第1层上的投影方向对输入数据立方中的每一个像素向量进行降维；

3e)在降维后的数据立方上采用相关熵原则进行多尺度滤波，该滤波过程是一迭代过程，迭代公式为，

其中，r为迭代次数，

为第r+1次迭代结果，S_i,j为输入中坐标为(i,j)处的数据向量，S_m为局部邻域中第m个输入数据，M为邻域内输入数据的数目，

为第m个输入数据第r次迭代的结果，β为模型中待设定参数，c为输入数据和滤波后数据的交叉熵与滤波后数据的信息势之比，G_σ为高斯核函数；

3f)将3e)得到的数据立方作为输入，循环执行步骤3c)-3f)，依次得到共L层的滤波数据；

3g)得到层次模型，并输出训练样本的空谱特征。

其中，归一化处理模块中，对图像进行归一化处理的公式为，

其中，M_x＝max(I(:)),M_n＝min(I(:))分别为输入图像上像素值的最大值和最小值，并且

是坐标为(i,j)的像素I_ij中第

个谱带，

为归一化的高光谱图像上坐标为(i,j)的像素

中第

个谱带。

本发明的效果可以用下列的仿真实验进一步说明：

(1)仿真条件

本发明的仿真的硬件条件为：windows 7，Intel i7-4790 3.60GHz，12GB内存；软件平台为：MatlabR2014a；

仿真选用的图片来源是Indian Pines的高光谱图像，该图像中共有16类地物，如图2(a)所示，图2(b)为图2(a)对应的类标图像。每一类的标记样本数目如表1所示。

表1不同类的标记样本数目

仿真方法分别用本发明方法和现有的KELM、EPF、MPM-LBP、SADL和MH-ELM(基于多假设的ELM)方法。

(2)仿真内容及结果

表2不同方法的分类结果

用本发明和所述现有的五种方法对图2(a)进行分类仿真，结果如表2和图3，其中：OA为总体精度(Overall Accuracy)；

图3(a)是用KELM方法的分类结果图；

图3(b)是用EPF方法的分类结果图；

图3(c)是用MPM-LBP方法的分类结果图；

图3(d)是用SADL方法的分类结果图；

图3(e)是用LBP-ELM方法的分类结果图；

图3(f)是用本发明方法的分类结果图。

从表2和图3的分类结果图可见，本发明的分类方法精度和分类效果更好。与现有技术的技术相比，本发明在解决高光谱图像分类问题中的自适应学习特征问题上，具有明显的优势，并且样本复杂度低。

本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (4)

1.基于相关熵原则的高光谱图像分类方法，其特征在于，包括如下步骤：

步骤1，输入一副高光谱图像，并对图像进行归一化处理，使其范围在[0，1]之内；

步骤2，从该归一化的高光谱图像中选择p％的像素作为训练样本，剩余的(100-p)％的标记像素作为测试样本；

步骤3，通过线性判别分析和相关熵原则的交替进行构造具有L层的层次模型，利用训练样本的类别标签和空间信息对该模型进行训练，得到用于特征学习的层次模型；

步骤3的具体实现方式如下，

3a)确定层次模型的层数为L，令l＝{1,2,…L}；

3b)将归一化后的高光谱图像数据作为该层次模型第一层的输入；

3c)利用线性判别分析方法对训练样本进行维数约简，得到第1层上的投影方向；

3d)根据得到的第1层上的投影方向对输入数据立方中的每一个像素向量进行降维；

3e)在降维后的数据立方上采用相关熵原则进行多尺度滤波，该滤波过程是一迭代过程，迭代公式为，

其中，r为迭代次数，

为第r+1次迭代结果，S_i,j为输入中坐标为(i,j)处的数据向量，S_m为局部邻域中第m个输入数据，M为邻域内输入数据的数目，

为第m个输入数据第r次迭代的结果，β为模型中待设定参数，c为输入数据和滤波后数据的交叉熵与滤波后数据的信息势之比，G_σ为高斯核函数；

3f)将3e)得到的数据立方作为输入，循环执行步骤3c)-3f)，依次得到共L层的滤波数据；

3g)得到层次模型，并输出训练样本的空谱特征；

步骤4，将归一化图像输入到训练好的层次模型中，提取测试样本的空谱特征；

步骤5，将得到的测试样本的空谱特征输入到KNN分类器中，得到测试样本的类标签，完成分类。

2.如权利要求1所述的基于相关熵原则的高光谱图像分类方法，其特征在于：步骤1中对图像进行归一化处理的公式为，

其中，M_x＝max(I(:)),M_n＝min(I(:))分别为输入图像上像素值的最大值和最小值，并且

是坐标为(i,j)的像素I_ij中第

个谱带，

为归一化的高光谱图像上坐标为(i,j)的像素

中第

个谱带。

3.基于相关熵原则的高光谱图像分类***，其特征在于，包括如下模块：

归一化处理模块，用于输入一副高光谱图像，并对图像进行归一化处理，使其范围在[0，1]之内；

样本选取模型，用于从该归一化的高光谱图像中选择p％的像素作为训练样本，剩余的(100-p)％的标记像素作为测试样本；

层次模型构建模块，用于通过线性判别分析和相关熵原则的交替进行构造具有L层的层次模型，利用训练样本的类别标签和空间信息对该模型进行训练，得到用于特征学习的层次模型；

层次模型构建模块中获得层次模型的具体实现方式如下，

3a)确定层次模型的层数为L，令l＝{1,2,…L}；

3b)将归一化后的高光谱图像数据作为该层次模型第一层的输入；

3c)利用线性判别分析方法对训练样本进行维数约简，得到第1层上的投影方向；

3d)根据得到的第1层上的投影方向对输入数据立方中的每一个像素向量进行降维；

3e)在降维后的数据立方上采用相关熵原则进行多尺度滤波，该滤波过程是一迭代过程，迭代公式为，

其中，r为迭代次数，

为第r+1次迭代结果，S_i,j为输入中坐标为(i,j)处的数据向量，S_m为局部邻域中第m个输入数据，M为邻域内输入数据的数目，

为第m个输入数据第r次迭代的结果，β为模型中待设定参数，c为输入数据和滤波后数据的交叉熵与滤波后数据的信息势之比，G_σ为高斯核函数；

3f)将3e)得到的数据立方作为输入，循环执行步骤3c)-3f)，依次得到共L层的滤波数据；

3g)得到层次模型，并输出训练样本的空谱特征；

空谱特征提取模块，用于将归一化图像输入到训练好的层次模型中，提取测试样本的空谱特征；

KNN分类模块，将得到的测试样本的空谱特征输入到KNN分类器中，得到测试样本的类标签，完成分类。

4.如权利要求3所述的基于相关熵原则的高光谱图像分类***，其特征在于：归一化处理模块中，对图像进行归一化处理的公式为，

其中，M_x＝max(I(:)),M_n＝min(I(:))分别为输入图像上像素值的最大值和最小值，并且

是坐标为(i,j)的像素I_ij中第

个谱带，

为归一化的高光谱图像上坐标为(i,j)的像素

中第

个谱带。

Images