CN109615008A - 基于堆叠宽度学习的高光谱图像分类方法和*** - Google Patents

Abstract

本发明提出了一种基于堆叠宽度学习的高光谱图像分类方法和***，首先对输入图像进行预处理，包括归一化、小波分解以及差分；其次，选取少量的样本作为训练样本，利用堆叠宽度学习模型学习高光谱图像的空谱特征；然后，利用训练样本训练得到宽度学习分类器，最后，将测试样本的特征输入到训练好的宽度学习分类器中得到类标签。利用本发明的堆叠宽度学习模型可以获得更加抽象的空谱特征，因此本发明的方法可以得到非常精确的分类结果。由于宽度学习的特性，本发明具有较小的样本复杂度，仅需要少量的训练样本就可以得到比较好的分类结果，因此其更利于实际应用。

Description

基于堆叠宽度学习的高光谱图像分类方法和***

技术领域

本发明属于遥感影响处理与分析技术领域，设计了一种高光谱图像分类方法和***，可用于资源管理、场景解译、精准农业、城市规划以及防灾减灾等。

背景技术

高光谱遥感作为遥感领域的前沿科技，在军事与民用领域有着广泛的应用。高光谱图像的丰富光谱信息在给地物分类提供更多信息的同时，也带来了一系列特征提取与模式识别的新问题。研究者们针对高光谱图像分类中数据维数高、训练样本少等一系列问题进行了深入研究。然而到目前为止，上述问题还未得到有效的解决。

首先，为了处理数据维数高的问题，许多维数约简方法被相继应用于高光谱图像分类。这些方法在降低数据维数的同时还可以得到反映光谱低维流形结构的特征。例如，局部线性嵌入(Locally Linear Embedding,LLE)和局部Fisher判别分析(Local Fisher’sDiscriminantAnalysis,LFDA)等流形学习方法被应用于高光谱图像分类，有效地提升了分类***的性能。然而在高光谱图像分类的早期，研究者们仅利用图像的光谱特征，而忽略了重要的空间和上下文信息。

近年来，面向高光谱图像分类的空谱特征提取算法逐渐兴起，并成为主流方法。基于空谱特征的分类方法均认为局部区域中的像素属于同一类别的可能性较大。首先，马尔科夫随机场(Markov Random Field)、Gabor小波以及数学形态学等众多经典技术被用来获取图像的空间信息。例如，Quesada-Barriuso等人从小波特征中创建扩展形态剖面(ExtendedMorphological Profile,EMP)得到一种新的空谱特征；Li等人提出了基于循环置信传播的最大后验边缘概率(Maximizer of the Posterior Marginal by LoopyBelief Propagation，MPM-LBP)方法来获取空谱特征，该方法从光谱和空间两方面获取边缘概率分布；Zhong等人设计了具有判别性的张量空谱特征提取方法。Kang等人设计了基于边缘保持滤波(Edge-preservingFiltering，EPF)的空谱特征提取框架；Soltani-Farani等人设计了空间感知字典学习(SpatialAware Dictionary Learning，SADL)方法，该方法融合了光谱与上下文信息；最近，Li等人还提出了结合多种特征进行空谱特征学习的框架，这一框架可以有效地处理边界问题。这些方法均获得较好的结果，对提升高光谱图像分类***的性能具有重要意义，并且表明了空谱特征对实现正确分类的重要性。

然而，上述方法通常只是获取单层(或浅层)的空谱特征，而没有获取更高层次的空谱特征。现有研究表明，随着深度的增加深度学习模型的特征抽象能力逐渐增强，学习得到的特征表示能力也更强。因此研究者们开始尝试将深度学习方法引入到高光谱图像分类中。Chen等人利用主成分分析(Principle Component Analysis,PCA)和堆叠自动编码机(Stacked Autoencoders)来学习空谱特征。Hu等人仅利用深度卷积神经网络(DeepConvolutional Neural Networks,DCNN)学习光谱特征。Yue等人利用PCA和DCNN学习高光谱图像的空谱特征。不难发现，现有相关研究大都仅利用了已有处理灰度或彩色图像的深度学习结构，而并没有根据高光谱图像的特性来设计新的深度学习结构，且样本复杂度较高，无法很好地处理实际应用中的小样本问题。如何建立切实有效而又对不同高光谱图像数据具有一定普适性的特征学习方法，依然有待深入研究。目前基于深度学习的高光谱图像分类研究主要面临以下问题：

(1)样本复杂度较高。如何能使得分类***能像人类一样可以从较少的训练样本中学习到有效的特征，是一个迫切需要解决的问题。这一问题的解决有赖于发现高维非线性数据的本征结构。

(2)空间信息利用不足。现有方法没有很好地将空间信息融入到深度结构中，大都是在预处理阶段利用了空间信息。如何利用高光谱图像的“图谱合一”特性构建新的深度学习模型值得深入研究。

针对上述问题，本发明设计在深度学习框架下构建新的空谱特征学习方法，完善分类的方法和模型，对满足经济和社会发展的实际需要具有非常重要的意义。

发明内容

本发明的目的在于针对上述已有技术的不足，提出一种基于堆叠宽度学习的高光谱图像分类方法，以解决现有技术在高光谱图像分类问题中难以学习有效分类特征，以及样本复杂度高等问题，提高光谱图像分类的性能。

实现本发明目的技术解决方案为：首先，对输入图像进行预处理，包括归一化、小波分解以及差分；其次，选取少量的样本作为训练样本，利用堆叠宽度学习模型学习高光谱图像的空谱特征；然后，利用训练样本训练得到宽度学习分类器，最后，将测试样本的特征输入到训练好的宽度学习分类器中得到类标签。具体步骤如下：

步骤1，对待处理的高光谱图像进行归一化处理；

步骤2，对每个像素进行小波分解，保留第一次和第二次分解的低频成分；

步骤3，对每个像素进行差分计算，得到像素新的表示；

步骤4，将每个像素的低频成分(由步骤2得到)和差分(由步骤3得到)串联成一个新的向量作为预处理的输出；

步骤5，输入经过步骤1-4处理的高光谱图像，从预处理之后的高光谱图像中选择预先标记好类标签的像素作为训练样本，剩余的像素作为测试样本；

步骤6，通过宽度学习和Gabor滤波的交替进行构造具有L层的层次模型，利用训练样本的类别标签和空间信息对该模型进行训练，得到用于特征学习的层次模型以及训练样本的空谱特征；

步骤7，将测试样本输入到训练好的层次模型中，提取测试样本的空谱特征；

步骤8，利用训练样本的空谱特征和类别标签训练宽度学习分类器；

步骤9，将得到的测试样本的空谱特征输入到宽度学习分类器中，得到测试样本的类标签，完成分类。

进一步的，步骤6的具体实现方式如下，

6a)确定层次模型的层数为L，令l＝{1,2,…L}；

6b)将训练样本中串联的低频部分和差分数据作为该层次模型第一层的输入；

6c)利用标记的训练样本训练宽度学习模型，对模型的输出进行规范化处理，得到概率输出；

6d)利用步骤6c)训练得到的宽度学习模型处理训练样本中的每一个像素，并进行规范化处理，得到新的数据立方；

6e)在步骤6d)的输出上采用Gabor滤波器进行多尺度滤波，Gabor滤波器的定义为：

其中

x₀＝xcosθ+ysinθ and y₀＝-xsinθ+ycosθ， (2)

γ是长宽比，θ是方向，δ是有效宽度，λ是波长；

6f)滤波后的数据和原始归一化的数据进行拼接，形成新的数据立方；

6g)将6f)得到的数据立方作为输入，循环执行步骤6c)-6f)，依次得到共L层的滤波数据；

6h)得到层次模型，并输出训练样本的空谱特征。

进一步的，步骤1中对高光谱图像进行归一化处理的公式如下，使其光谱值范围在[0，1]之内，

其中，M_x＝max(I(:)),M_n＝min(I(:))分别为输入图像上像素值的最大值和最小值，并且是坐标为(i,j)的像素I_ij中第个谱带，为归一化的高光谱图像上坐标为(i,j)的像素中第个谱带。

本发明还提供一种基于堆叠宽度学习的高光谱图像分类***，其特征在于，包括如下模块：

归一化处理模块，用于对待处理的高光谱图像进行归一化处理；

小波分解模块，用于对每个像素进行小波分解，保留第一次和第二次分解的低频成分；

差分计算模块，用于对每个像素进行差分计算，得到像素的新表示；

预处理输出模块，用于将每个像素的低频成分(由小波分解模块得到)和差分(由差分计算得到)串联成一个新的向量作为预处理的输出；

训练样本选取模块，用于输入经过上述模块处理的高光谱图像，从预处理之后的高光谱图像中选择预先标记好类标签的像素作为训练样本，剩余的像素作为测试样本；

层次模型构建模块，用于通过宽度学习和Gabor滤波的交替进行构造具有L层的层次模型，利用训练样本的类别标签和空间信息对该模型进行训练，得到用于特征学习的层次模型以及训练样本的空谱特征；

测试样本空谱特征提取模块，用于将测试样本输入到训练好的层次模型中，提取测试样本的空谱特征；

宽度学习分类器训练模块，用于利用训练样本的空谱特征和类别标签训练宽度学习分类器；

分类模块，用于将得到的测试样本的空谱特征输入到宽度学习分类器中，得到测试样本的类标签，完成分类。

进一步的，层次模型构建模块的具体实现方式如下，

6a)确定层次模型的层数为L，令l＝{1,2,…L}；

6b)将训练样本中串联的低频部分和差分数据作为该层次模型第一层的输入；

6c)利用标记的训练样本训练宽度学习模型，对模型的输出进行规范化处理，得到概率输出；

6d)利用步骤6c)训练得到的宽度学习模型处理训练样本中每一个像素，并进行规范化处理，得到新的数据立方；

6e)在步骤6d)的输出上采用Gabor滤波器进行多尺度滤波，Gabor滤波器的定义为：

x₀＝xcosθ+ysinθ and y₀＝-xsinθ+ycosθ， (2)

其中x和y分别代表滤波器系数的横纵坐标，γ是长宽比，θ是方向，δ是有效宽度，λ是波长；

6f)滤波后的数据和原始归一化数据进行拼接，形成新的数据立方；

6g)将6f)得到的数据立方作为输入，循环执行步骤6c)-6f)，依次得到共L层的滤波数据；

6h)得到层次模型，并输出训练样本的空谱特征。

进一步的，归一化处理模块中对高光谱图像进行归一化处理的公式如下，归一化处理后使其光谱值范围在[0，1]之内，

其中，M_x＝max(I(:)),M_n＝min(I(:))分别为输入图像上像素值的最大值和最小值，并且是坐标为(i,j)的像素I_ij中第个谱带，为归一化的高光谱图像上坐标为(i,j)的像素中第个谱带。

本发明与现有技术相比，其显著优点为：其一，相对于现有的基于光谱信息的高光谱特征提取算法，本发明利用宽度学习和Gabor滤波充分结合了高光谱数据内含的空谱特征。其二，利用本发明的层次模型，可以获得更加抽象的空谱特征，因此本发明的方法可以得到非常精确的分类结果。其三，由于宽度学习的特性，本发明具有较小的样本复杂度，仅需要少量的训练样本就可以得到比较好的分类结果，因此其更利于实际应用。

附图说明

图1为本发明的基于堆叠宽度学习的高光谱图像分类方法流程框图。

图2为本发明实验使用图像及其真实地物分类图。

图3为各类方法得到的分类结果全图。

具体实施方式

以下参照附图，对本发明的技术方案和效果做进一步详细描述。

参照图1，本发明的实现步骤如下：

1)输入一幅高光谱图像，并对图像进行归一化处理，使其范围在[0，1]之内。

令I_tr＝{I₁,I₂,…,I_N}是由N个像素组成的训练集，其中I_i∈R^d(i＝1,2,…,N)是第i个训练样本，并且它们属于C类；对图像进行归一化处理，通过以下步骤将数据值标准化为[0，1]：

其中，M_x＝max(I(:)),M_n＝min(I(:))分别为输入图像上像素值的最大值和最小值，并且是坐标为(i,j)的像素I_ij中第个谱带，为归一化的高光谱图像上坐标为(i,j)的像素中第个谱带。

2)利用DB5小波对规范化处理后的每一个像素进行分解，保留第一次和第二次分解的低频部分a₁和a₂；

3)对规范化处理后的每一个像素计算差分d；

4)对于任意一个像素拼接步骤2)-3)的输出得到新的表示；

5)从该步骤4)的输出数据立方中选择p％的像素作为训练样本，剩下的作为测试样本，其中选取的训练样本数量很少，可以事先进行人工标记，因此训练样本的类标签已知，本实施例中p取2；

6)训练层次模型；

训练层次模型主要是宽度学习和Gabor滤波交替进行得到学习空谱特征的模型。本发明利用宽度学习可以利用训练样本的标签信息，具体训练过程如下：

6a)确定层次模型的层数为L，令l＝{1,2,…L}；

6b)将训练样本中串联的低频部分和差分数据作为该层次模型第一层的输入；

6c)利用标记的训练样本训练宽度学习模型[1]，对模型的输出进行规范化处理，得到概率输出；

6d)利用步骤6c)训练得到的宽度学习模型处理训练样本中的每一个像素，并进行规范化到[0，1]，得到新的数据立方；

6e)采用Gabor滤波器对步骤6d)的输出进行多尺度滤波，Gabor滤波器的定义为：

x₀＝xcosθ+ysinθ and y₀＝-xsinθ+ycosθ， (2)

其中x和y分别代表滤波器系数的横纵坐标，γ是长宽比，θ是方向，δ是有效宽度，λ是波长，这些参数可以根据数据特性人工设定；

6f)滤波后的数据和原始归一化数据((即步骤1中归一化后的训练样本))行拼接，形成新的数据立方；

6g)将6f)得到的数据立方作为输入(即层次模型第二层的输入)，循环执行步骤6c)-6f)，依次得到共L层的滤波数据；

6h)得到层次模型，并输出训练样本的空谱特征；

[1]C.L.Philip Chen，Zhulin Liu，Broad Learning System:An Effective andEfficient Incremental Learning System Without the Need for Deep Architecture，IEEE Transactions on Neural Networks and Learning Systems，vol.29,no.`1,pp.10-24,2018

7)利用训练样本的空谱特征和类别标签训练宽度学习分类器；

8)选取高光谱图像中剩余98％的标记像素作为测试样本，提取测试样本的空谱特征；

9)将得到的测试样本的特征输入到宽度学习分类器中，得到该样本的类标签，完成分类。

本发明还提供一种基于堆叠宽度学习的高光谱图像分类***，其特征在于，包括如下模块：

归一化处理模块，用于对待处理的高光谱图像进行归一化处理；

小波分解模块，用于对每个像素进行小波分解，保留第一次和第二次分解的低频成分；

差分计算模块，用于对每个像素进行差分计算，得到像素的新表示；

预处理输出模块，用于将每个像素的低频成分(由小波分解模块得到)和差分(由差分计算得到)串联成一个新的向量作为预处理的输出；

训练样本选取模块，用于输入经过上述模块处理的高光谱图像，从预处理之后的高光谱图像中选择预先标记好类标签的像素作为训练样本，剩余的像素作为测试样本；

层次模型构建模块，用于通过宽度学习和Gabor滤波的交替进行构造具有L层的层次模型，利用训练样本的类别标签和空间信息对该模型进行训练，得到用于特征学习的层次模型以及训练样本的空谱特征；

测试样本空谱特征提取模块，用于将测试样本输入到训练好的层次模型中，提取测试样本的空谱特征；

宽度学习分类器训练模块，用于利用训练样本的空谱特征和类别标签训练宽度学习分类器；

分类模块，用于将得到的测试样本的空谱特征输入到宽度学习分类器中，得到测试样本的类标签，完成分类。

各模块的具体实现和各步骤相应，本发明不予撰述。

本发明的效果可以用下列的仿真实验进一步说明：

(1)仿真条件

本发明的仿真的硬件条件为：windows 7，Intel i7-4790 3.60GHz，12GB内存；软件平台为：MatlabR2014a；

仿真选用的图片来源是Indian Pines的高光谱图像，该图像中共有16类地物，如图2(a)所示，图2(b)为图2(a)对应的类标图像。每一类的标记样本数目如表1所示。

表1不同类的标记样本数目

仿真方法分别用本发明方法和现有的KELM、EPF、MPM-LBP和SADL方法。

(2)仿真内容及结果

表2不同方法的分类结果

用本发明和所述现有的五种方法对图2(a)进行分类仿真，结果如表2和图3，其中：

OA为总体精度(Overall Accuracy)；

图3(a)是用KELM方法的分类结果图；

图3(b)是用EPF方法的分类结果图；

图3(c)是用MPM-LBP方法的分类结果图；

图3(d)是用SADL方法的分类结果图；

图3(e)是用本发明方法的分类结果图。

从表2和图3的分类结果图表明，本发明的分类精度明显优于现有方法，且分类视觉效果更好，保留了图像的边缘信息。与现有技术的技术相比，本发明在解决高光谱图像分类问题中的空谱特征学习问题时精度优势明显，并且样本复杂度低。

本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做不同的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (6)

1.一种基于堆叠宽度学习的高光谱图像分类方法，其特征在于，包括如下步骤：

步骤1，对待处理的高光谱图像进行归一化处理；

步骤2，对每个像素进行小波分解，保留第一次和第二次分解的低频成分；

步骤3，对每个像素进行差分计算，得到像素的新表示；

步骤4，将每个像素的低频成分(由步骤2得到)和差分(由步骤3得到)串联成一个新的向量作为预处理的输出；

步骤5，输入经过步骤1-4处理的高光谱图像，从预处理之后的高光谱图像中选择预先标记好类标签的像素作为训练样本，剩余的像素作为测试样本；

步骤6，通过宽度学习和Gabor滤波的交替进行构造具有L层的层次模型，利用训练样本的类别标签和空间信息对该模型进行训练，得到用于特征学习的层次模型以及训练样本的空谱特征；

步骤7，将测试样本输入到训练好的层次模型中，提取测试样本的空谱特征；

步骤8，利用训练样本的空谱特征和类别标签训练宽度学习分类器；

步骤9，将得到的测试样本的空谱特征输入到宽度学习分类器中，得到测试样本的类标签，完成分类。

2.如权利要求1所述的一种基于堆叠宽度学习的高光谱图像分类方法，其特征在于：步骤6的具体实现方式如下，

6a)确定层次模型的层数为L，令l＝{1,2,…L}；

6b)将训练样本中串联的低频部分和差分数据作为该层次模型第一层的输入；

6c)利用标记的训练样本训练宽度学习模型，对模型的输出进行规范化处理，得到概率输出；

6d)利用步骤6c)训练得到的宽度学习模型处理训练样本中每一个像素，并进行规范化处理，得到新的数据立方；

6e)在步骤6d)的输出上采用Gabor滤波器进行多尺度滤波，Gabor滤波器的定义为：

x₀＝xcosθ+ysinθ and y₀＝-xsinθ+ycosθ， (2)

其中x和y分别代表滤波器系数的横纵坐标，γ是长宽比，θ是方向，δ是有效宽度，λ是波长；

6f)滤波后的数据和原始归一化数据进行拼接，形成新的数据立方；

6g)将6f)得到的数据立方作为输入，循环执行步骤6c)-6f)，依次得到共L层的滤波数据；

6h)得到层次模型，并输出训练样本的空谱特征。

3.如权利要求1所述的一种基于堆叠宽度学习的高光谱图像分类方法，其特征在于：步骤1中对高光谱图像进行归一化处理的公式如下，归一化处理后使其光谱值范围在[0，1]之内，

其中，M_x＝max(I(:)),M_n＝min(I(:))分别为输入图像上像素值的最大值和最小值，并且是坐标为(i,j)的像素I_ij中第个谱带，为归一化的高光谱图像上坐标为(i,j)的像素中第个谱带。

4.一种基于堆叠宽度学习的高光谱图像分类***，其特征在于，包括如下模块：

归一化处理模块，用于对待处理的高光谱图像进行归一化处理；

小波分解模块，用于对每个像素进行小波分解，保留第一次和第二次分解的低频成分；

差分计算模块，用于对每个像素进行差分计算，得到像素的新表示；

预处理输出模块，用于将每个像素的低频成分(由小波分解模块得到)和差分(由差分计算得到)串联成一个新的向量作为预处理的输出；

训练样本选取模块，用于输入经过上述模块处理的高光谱图像，从预处理之后的高光谱图像中选择预先标记好类标签的像素作为训练样本，剩余的像素作为测试样本；

层次模型构建模块，用于通过宽度学习和Gabor滤波的交替进行构造具有L层的层次模型，利用训练样本的类别标签和空间信息对该模型进行训练，得到用于特征学习的层次模型以及训练样本的空谱特征；

测试样本空谱特征提取模块，用于将测试样本输入到训练好的层次模型中，提取测试样本的空谱特征；

宽度学习分类器训练模块，用于利用训练样本的空谱特征和类别标签训练宽度学习分类器；

分类模块，用于将得到的测试样本的空谱特征输入到宽度学习分类器中，得到测试样本的类标签，完成分类。

5.如权利要求4所述的一种基于堆叠宽度学习的高光谱图像分类方法，其特征在于：层次模型构建模块的具体实现方式如下，

6a)确定层次模型的层数为L，令l＝{1,2,…L}；

6b)将训练样本中串联的低频部分和差分数据作为该层次模型第一层的输入；

6c)利用标记的训练样本训练宽度学习模型，对模型的输出进行规范化处理，得到概率输出；

6d)利用步骤6c)训练得到的宽度学习模型处理训练样本中每一个像素，并进行规范化处理，得到新的数据立方；

6e)在步骤6d)的输出上采用Gabor滤波器进行多尺度滤波，Gabor滤波器的定义为：

x₀＝xcosθ+ysinθ and y₀＝-xsinθ+ycosθ， (2)

其中x和y分别代表滤波器系数的横纵坐标，γ是长宽比，θ是方向，δ是有效宽度，λ是波长；

6f)滤波后的数据和原始归一化数据进行拼接，形成新的数据立方；

6g)将6f)得到的数据立方作为输入，循环执行步骤6c)-6f)，依次得到共L层的滤波数据；

6h)得到层次模型，并输出训练样本的空谱特征。

6.如权利要求4所述的一种基于堆叠宽度学习的高光谱图像分类方法，其特征在于：归一化处理模块中对高光谱图像进行归一化处理的公式如下，归一化处理后使其光谱值范围在[0，1]之内，

其中，M_x＝max(I(:)),M_n＝min(I(:))分别为输入图像上像素值的最大值和最小值，并且是坐标为(i,j)的像素I_ij中第个谱带，为归一化的高光谱图像上坐标为(i,j)的像素中第个谱带。