CN105069468B - 基于脊波和深度卷积网络的高光谱图像分类方法 - Google Patents

Abstract

本发明公开了一种基于脊波和深度卷积网络的高光谱图像分类方法，主要解决现有技术对高光谱图像分类精度低和计算复杂度高的问题。其实现步骤为：1.在高光谱图像中选择训练样本；2.提取训练样本的光谱信息和空间信息；3.结合光谱信息和空间信息组成训练样本集；4.构造五层深度卷积网络，并设计脊波滤波器对网络进行初始化；5.利用训练样本集训练构造的神经网络；6.对其余样本用训练好的神经网络进行分类，完成图像分类。本发明具有分类精度高和分类速度快的优点，可用于到气象监测、环境监测、城市规划以及防灾减灾。

Description

基于脊波和深度卷积网络的高光谱图像分类方法

技术领域

本发明属于图像处理技术领域，特别涉及一种高光谱图像分类方法，可用于气象监测、环境监测、土地利用、城市规划以及防灾减灾。

背景技术

高光谱分辨率遥感是指利用很多很窄的电磁波波段从感兴趣的物体中获取有关数据。它的最大特点就是在获得目标图像二维空间景象信息的同时，还可以获得高分辨率的一维表征其物理属性的光谱信息，即具有“图谱合一”的特性，是代表遥感最新成就的新型技术之一。高光谱遥感与常规遥感数据的主要区别在于高光谱遥感是窄波段成像，可以获得连续的光谱信息，探测到常规遥感中不可探测的物质。因此，当一个宽波段的***只能大致区分不同物质种类时，高光谱传感器却可以为物质的详细鉴定和更准确估计它的丰富程度提供了潜在的可能。

高光谱数据处理的一个主要内容就是地物目标分类。分类是一种描述地物目标或种类的分析技术，其主要任务是对数据体的每个像素点赋予一个类别标记以产生专题地图的一种过程,它是人们从遥感影像上提取有用信息的重要途径之一。分类后产生的专题地图可以清晰地反映出地物的空间分布，便于人们从中认识和发现其规律，使高光谱遥感图像具有真正的使用价值并有效的投入到实际应用中。

传统的图像分类方法是目视解译，目视技术利用了人类优秀的思维能力来定性评价图像中的空间模式。这种方法存在一定的缺点，它需要图像目视判读者具有丰富的地学知识和目视判读经验，并且劳动强度大，需要花费大量的时间。另外光谱特性不是都可以用目视解译的方法全面评定的。为了提高分类的质量和效率，从上世纪70年代起，人们开始重视由计算机自动获取遥感图像中专题信息的方法研究。当时主要是利用传统的统计模式识别方法进行遥感计算机解译，分类精度不能够令人满意，随着遥感影像不断的发展变化，对分类算法也在不断的提出新的要求，因此改进现有分类算法，寻找新的方法一直是遥感应用研究中的热点之一。

高光谱图像的特征提取是高光谱图像分类的一个重要部分，对分类精度有很大的影响。目前，市场上使用的高光谱图像特征提取方法主要有基于光谱信息的特征提取方法，基于空间信息的特征提取方法，和结合空间信息和光谱信息的特征提取方法。

在基于光谱信息的特征提取方法中，高光谱数据中的每个像素在光谱空间中表现为一条波谱响应曲线。不同的地物具有不同的波谱反射率和吸收特性；相同的地物在不同的波段也具有不同的反射波谱率，在遥感数据中表现为不同的辐射强度。因此不同的地物的波谱曲线形态不同；同一地物的波谱曲线也并不是平坦的而是起伏变化的，常常有多个峰点与谷点。基于光谱信息的分类方法就是利用不同地物的波谱曲线对地物进行分类，常用的特征提取算法有稀疏PCA(Principal Components Analysis)，ICA(IndependentComponent Analysis)以及LDA(Latent Dirichlet Allocation)等。但是地物光谱响应会受到很多因素的影响，如太阳照度、大气透明度和风速等，而这些因素通常都是很难准确测量的，所以实际测量得到的地物光谱响应曲线与实际的曲线可能有很大的差异。这种情况下，光谱空间描述方式不能很好的适应高光谱数据的分析，所以基于光谱信息的特征提取方法常常得到的分类精度不够理想。

基于空间信息的特征提取方法是只利用高光谱图像的空间信息进行分类，典型的方法如基于方差的特征提取方法、基于灰度共生矩阵的特征提取方法、以及小波分析的特征提取方法。该类方法是一种人工经验的特征提取方法，需要预先知道图像的特征，再对应的选择合适方法，所以该类方法需要较好的先验知识才能达到较好的分类效果。

为此，很多研究者提出了结合空间和光谱信息的特征提取方法，借助于高光谱图像的光谱和空间信息来提高分类精度，如IFRF(Image Fusion and RecursiveFiltering)、EPF(Edge-Preserving Filters)和NMFL(Nonlinear and Linear MultipleFeature Learning)方法。该类方法虽然在一定程度上克服了仅仅使用光谱信息或空间信息造成的地物错分问题问题，但是仍然需要较多的先验知识才能够获得较好的分类精度。

神经网络是一类有效的提取空谱特征的方法，也是一种主动的特征学习的方法，不需要对图像有先验知识，典型的神经网络如BP神经网络、小波神经网络、和脊波神经网络。但是这些都是浅层的神经网络，都只包含3层，为了能够更好的挖掘图像更深层的特征，深度神经网络的模型被提出，典型的深度神经网络有自编码深度网络、受限玻尔兹曼机深度网络、深度卷积网络等。由于深度卷积网络是一个真正的二维神经网络，对于二维的图像来说，深度卷积网络能够更好的表示图像的特征。然而传统的深度卷积网络滤波器的初始化都是采用随机初始化，或者高斯函数初始化，好的初始化对于网络的性能和逼近速率有很大的影响，而这些传统的初始化方法很难达到一个理想的效果。

发明内容

本发明的目的在于针对上述已有技术的不足，提出一种基于脊波和深度卷积网络的高光谱图像分类方法，以解决现有技术在高光谱图像分类问题中难以学习到有效的分类特征，以及传统的深度卷积网络难以达到更小的计算复杂度的问题，提高光谱图像分类的精度和速度。

为实现上述目的，本发明的实现步骤如下：

1)输入一幅高光谱图像和该图像中地物信息的类标，从该高光谱图像中选择10％的像素作为训练样本；

2)提取训练样本的光谱信息：沿着高光谱图像光谱的维度，提取每一个训练样本的光谱信息，组成光谱向量f^j,j＝1,...,J，J是训练样本的个数；

3)对高光谱图像进行降维处理，保留前4个主分量，组成降维后的图像；

4)提取训练样本的空间信息：以每个训练样本为中心，在降维后的图像中每一维上，选取7×7大小的窗口，得到该样本在该维上的空间信息

5)将每一个训练样本的空间信息和光谱向量f^j组成一个正方形的训练样本图像块，并对该图像进行归一化，得到归一化后的训练样本正方形图像块F^j；

6)构造一个5层的深度卷积网络，并用归一化后的训练样本正方形图像块F^j作为该卷积网络的输入，对该网络进行训练，得到训练好的网络；

7)将高光谱图像中剩余90％的像素作为测试样本，提取每一个样本的光谱向量f^q，以及空间向量nⁱ,i＝1,...,4，组成一个正方形的测试样本图像块，并对该图像块进行归一化，得到归一化后的测试样本正方形图像块F^q,q＝1,...,Q，Q是测试样本的个数；

8)将归一化后的测试样本正方形图像块F^q输入到步骤6)训练好的网络中，根据网络中训练好的参数值，得到该样本的类标值，完成分类。

本发明与现有技术相比，具有如下效果：

(a)本发明使用了空间信息和光谱信息结合的高光谱图像分类方法，克服了传统的高光谱图像分类方法中仅仅采用光谱信息，忽略了有效利用空间信息的问题，提高了分类精度。

(b)本发明在传统深度卷积神经网络的框架下，对网络中卷积层滤波器的初始化采用脊波函数，克服了传统滤波器初始化方法难以有效、快速的逼近高光谱图像的空间和光谱信息的问题，提高了分类的速度。

附图说明

图1是本发明的基于脊波和深度卷积网络的高光谱图像分类方法流程框图；

图2是本发明实验使用图像及其真实地物分类图；

图3是用本发明和现有技术对图2的分类结果对比图；

图4是用本发明和现有方法对图2的误差下降对比图。

具体实施方式

以下参照附图，对本发明的技术方案和效果做进一步详细描述。

参照图1，本发明的实现步骤如下：

步骤1，输入图像。

输入一幅高光谱图像，如图所示，其中2(a)为输入的高光谱图像，图2(b)为2(a)对应的类标图像，从2(a)中选择10％的像素作为训练样本。

步骤2，提取训练样本的光谱信息。

设步骤1中输入的高光谱图像的光谱维数为V，对每一个训练样本，提取该样本每一维的光谱值，组成光谱向量f^j,j＝1,...,J，J是训练样本的个数，光谱向量f^j的维数为V。

步骤3，对高光谱图像降维。

对图像进行降维的方法有稀疏PCA，LDA，PCA，ICA等方法，本发明使用PCA方法对步骤1中输入的高光谱图像进行降维处理，具体步骤如下：

3a)求出步骤1中输入的高光谱图像的协方差矩阵；

3b)根据协方差矩阵得到步骤1中输入的高光谱图像的分量图；

3c)最后保留前4个能量值最大的分量图，将这4个分量图组成降维后的图像。

步骤4，提取训练样本的空间信息。

在步骤2中降维后的图像中的每一个分量图上，以每个训练样本为中心，选取7×7大小的窗口，得到该样本在分量图上的空间信息

步骤5，将空间信息与光谱信息相结合。

5a)将4个7×7大小的代表图像空间信息的图像块拼成一个大小为14*14的空间信息正方形图像块

5b)将光谱向量f^j重新排列成一个大小为H*l₂的光谱信息长方形图像块F，H为长方形图像块的长，l₂为长方形图像块的宽，H*l₂＝V，其中V为光谱向量的维数；

5c)在空间信息正方形图像块G中随机选取一个大小为(H-14)*(H-l₂)的图像块B，根据该图像块B和空间信息正方形图像块G及光谱信息长方形图像块F，构建大小为H*H的训练样本正方形图像块：

5d)对得到的训练样本正方形图像块A进行归一化，得到归一化的训练样本正方形图像块F^j,j＝1,...,J，J是训练样本的个数。

步骤6，构造5层深度卷积网络并对其进行训练。

6a)构造5层深度卷积网络：其中第1层为输入层，第2层和第3层为卷积层，第4层为全链接层，第5层为softmax分类器；该第1层的输入为归一化的训练样本正方形图像块F^j；该第2层包含L₁个滤波器；该第3层包含L₂个滤波器；该第4层包含100个结点单元；该第五层输出训练样本的类标。

6b)训练5层深度卷积网络，其步骤如下：

6b1)使用脊波函数初始化两个卷积层的滤波器，即：

首先，对连续脊波函数的尺度参数a、位移参数b以及方向参数θ进行离散化：设尺度参数a的取值范围为a∈(0,3]，离散化间隔为1，方向参数θ的取值范围为θ∈[0,π)，离散化间隔为π/18，位移参数b的取值范围如下式所示：

离散化间隔为1；

然后，根据深度卷积网络中第2层和第3层设定的滤波器，和上述离散化的参数，得到一个包含有K个滤波器的滤波器组，K为该滤波器组中滤波器的个数；

最后，从滤波器组中分别随机选择L₁和L₂个滤波器，作为上述深度卷积网络第2层和第3层滤波器的初始值，其中L₁＜K，L₂＜K；

6b2)将每一个归一化的训练样本正方形图像块F^j作为输入层的输入，经过前向传播，得到网络的输出类标；

6b3)将网络输出类标和训练样本真实类标的最小均方误差作为代价函数；

6b4)采用反向传播算法最小化代价函数，得到训练好的网络参数。

步骤7，提取测试样本的光谱信息和空间信息。

7a)将步骤1输入的高光谱图像中剩余90％的像素作为测试样本；

7b)提取测试样本的光谱信息：设步骤1中输入的高光谱图像的光谱维数为V，对每一个测试样本，提取该测试样本每一维的光谱值，组成光谱向量f^q,q＝1,...,Q，Q是测试样本的个数，光谱向量f^q的维数为V；

7c)提取测试样本的空间信息：在步骤2中降维后的图像中的每一个分量图上，以每个测试样本为中心，选取7×7大小的窗口，得到该测试样本在分量图上的空间信息nⁱ,i＝1,...,4；

7d)按照步骤5中方法，将每个测试样本的空间信息和nⁱ,i＝1,...,4光谱向量f^q组成一个测试样本正方形图像块，并对该测试样本正方形图像块进行归一化，得到归一化的测试样本正方形图像块F^q,q＝1,...,Q，Q是测试样本的个数。

步骤8，将归一化的测试样本正方形图像块F^q输入到步骤6中训练好的网络中，进行前向传播。

所述的前向传播过程为：

首先，将归一化的测试样本正方形图像块F^q与第2层的滤波器进行卷积，得到第2层输出的特征图；

接着，用第2层输出的特征图与第3层的滤波器进行卷积，得到第3层输出的特征图；

然后，将第3层输出的特征图输入到第4层，经过第4层的计算得到第4层的输出；

最后，将第4层的输出输入到第5层的softmax分类器中得到测试样本的类标值，完成分类。

本发明的效果可以用下列的仿真实验进一步说明：

(1)仿真条件

本发明的仿真的硬件条件为：windows XP，SPI，CPU Pentium(R)4，基本频率为2.4GHZ；软件平台为：MatlabR2012a；

仿真选用的图片来源是Pavia University的高光谱图像，该图像中共有9类地物，如图2(a)所示，图2(b)为图2(a)对应的类标图像。

表1中的数据是对该图像中每一类地物选择的训练样本和测试样本的数目。

表1

仿真方法分别用本发明方法和现有的PCA、稀疏PCA、IFRF、EPF和NMFL方法。

(2)仿真内容及结果

仿真1，用本发明和所述现有的五种方法对图2(a)进行分类仿真，结果如图3，其中：

图3(a)是用PCA方法的分类结果图，

图3(b)是用稀疏PCA方法的分类结果图，

图3(c)是用IFRF方法的分类结果图，

图3(d)是用EPF的方法分类结果图，

图3(e)是用NMFL方法的分类结果图，

图3(f)是用本发明方法的分类结果图。

从图3(a)-3(f)的分类结果图可见，本发明的分类方法精度和分类效果更好。

仿真2，用本发明脊波初始化卷积层滤波器的方法和现有随机初始化方法及高斯初始化方法这两种初始化方法对图2(a)进行分类仿真，得到如图4所示的误差下降图。图4的横坐标是迭代次数，纵坐标是训练样本的输出类标和真实类标的最小均方误差，随着迭代次数的增加，最小均方误差值逐渐减小。

从图4中可以看出，本发明的误差曲线具有更快的下降速率，能够以最小的计算时间达到较好的分类精度。

以上实验结果表明：与现有技术的技术相比，本发明在解决高光谱图像分类问题中的自适应学习特征问题上，具有明显的优势，并且缩短了计算时间。

Claims (3)

1.基于脊波和深度卷积网络的高光谱图像分类方法，包括如下步骤：

1)输入一幅高光谱图像和该图像中地物信息的类标，从该高光谱图像中选择10％的像素作为训练样本；

2)提取训练样本的光谱信息：沿着高光谱图像光谱的维度，提取每一个训练样本的光谱信息，组成光谱向量f^j,j＝1,...,J，J是训练样本的个数；

3)对高光谱图像进行降维处理，保留前4个主分量，组成降维后的图像；

4)提取训练样本的空间信息：以每个训练样本为中心，在降维后的图像中每一维上，选取7×7大小的窗口，得到该样本在该维上的空间信息

5)将每一个训练样本的空间信息和光谱向量f^j组成一个正方形的训练样本图像块：

5a)将4个7×7大小的代表图像空间信息的图像块拼成一个大小为14*14的空间信息正方形图像块

5b)将光谱向量f^j重新排列成一个大小为H*l₂的长方形图像块F，H为长方形图像块的长，l₂为长方形图像块的宽，H*l₂＝V，其中V为光谱向量的维数；

5c)在空间信息正方形图像块G中随机选取一个大小为(H-14)*(H-l₂)的图像块B，根据该图像块B和空间信息正方形图像块G及光谱信息长方形图像块F，构建大小为H*H的训练样本正方形图像块：

对该正方形图像块进行归一化，得到归一化后的训练样本正方形图像块F^j；

6)构造一个5层的深度卷积网络，并用归一化后的训练样本正方形图像块F^j作为该卷积网络的输入，对该网络进行训练，得到训练好的网络：

6a)使用脊波函数初始化两个卷积层的滤波器；

6b)将每一个归一化后的训练样本正方形图像块F^j作为输入层的输入，经过前向传播，得到网络的输出类标；

6c)将网络输出类标和训练样本真实类标的最小均方误差作为代价函数；

6d)采用反向传播算法最小化代价函数，得到训练好的网络参数；

7)将高光谱图像中剩余90％的像素作为测试样本，提取每一个样本的光谱向量f^q，以及空间向量nⁱ,i＝1,...,4，组成一个正方形的测试样本图像块，并对该图像块进行归一化，得到归一化后的测试样本正方形图像块F^q,q＝1,...,Q，Q是测试样本的个数；

8)将归一化后的测试样本正方形图像块F^q输入到步骤6)训练好的网络中，根据网络中训练好的参数值，得到该样本的类标值，完成分类。

2.根据权利要求1所述的基于脊波和深度卷积网络的高光谱图像分类方法，其中所述步骤6)中的5层深度卷积网络，其第1层为输入层，第2层和第3层为卷积层，第4层为全链接层，第5层为softmax分类器；

所述第1层的输入为训练样本正方形图像块F^j；

所述第2层包含L₁个滤波器；

所述第3层包含L₂个滤波器；

所述第4层包含100个结点单元；

所述第5层输出训练样本的类标。

3.根据权利要求1所述的基于脊波和深度卷积网络的高光谱图像分类方法，其中所述步骤6a)中使用脊波函数初始化两个卷积层的滤波器，按照如下步骤进行：

6a1)对连续脊波函数的参数进行离散化：

所述连续脊波函数式为：其中(x₁,x₂)是滤波器的坐标值，a是尺度参数，b是位移参数，θ是方向参数，ψ(x)是小波函数，

设尺度参数a的取值范围为a∈(0,3]，离散化间隔为1，方向参数θ的取值范围为θ∈[0,π)，离散化间隔为π/18，位移参数b的取值范围如下式所示：

离散化间隔为1；

6a2)根据深度卷积网络中第2层和第3层设定的滤波器，和步骤6a1)中设置的参数，得到一个包含有K个滤波器的滤波器组，K为该滤波器组中滤波器的个数；

6a3)从滤波器组中分别随机选择L₁和L₂个滤波器，作为上述深度卷积网络第2层和第3层滤波器的初始值，其中L₁＜K，L₂＜K。