CN110298235B - 基于流形约束自编码网络的高光谱异常检测方法及*** - Google Patents

Abstract

本发明公开了一种基于流形约束自编码网络的高光谱异常检测方法及***，解决样本识别率低的问题，方法实现步骤是：(1)采用流行学习算法来学习低维嵌入流行；(2)通过低维嵌入流形约束的自编码网络提取隐层表达特征；(3)利用低维嵌入流形约束的自编码网络获得全局重构误差；(4)在低维嵌入流形上计算局部重构误差；(5)将全局重构误差和局部重构误差结合起来进行异常目标检测；(6)统计实验结果，计算高光谱异常检测的精度。本发明在利用自编码网络提取高光谱图像的深度特征时，考虑了图像的局部特性；并且综合全局方法和局部方法的优点，在进行异常判断时，同时考虑全局重构误差和局部重构误差，进而提高了异常检测的精度。

Description

基于流形约束自编码网络的高光谱异常检测方法及***

技术领域

本发明属于遥感信息处理技术领域，特别涉及一种高光谱异常检测方法，可用于环境监控、矿产资源勘探和国家安全等领域。

背景技术

高光谱图像中的异常目标一般是指光谱信息和周围其他像素的光谱信息存在非常大差别的目标。一般情况下，高光谱图像中的异常目标都是小目标，而且在图像中分布稀疏。高光谱异常检测和高光谱目标检测最大的不同点是高光谱异常检测不需要预先知道任何目标的先验知识，即不需要知道异常目标的光谱信息，只需要将目标与周围环境的光谱特征进行比较，如果存在非常大的差异，就可以认为其是潜在可疑目标。高光谱异常检测通常可以为进一步的目标准确识别提供感兴趣的区域，它最突出的特点在于不需要待检测目标的任何光谱先验信息，直接识别图像中可疑的潜在目标。因此高光谱异常目标检测***已经在环境监控、矿产资源勘探和国安家安全等领域广泛应用。

目前，由于深度神经网络可以提取底层与高层抽象特征，因此深度神经网络也被应用到高光谱异常检测领域。自编码网络或者深度置信网络经常被用来提取高光谱图像的特征，然后采用重构误差来检测异常目标。为了进一步提高检测精度，利用堆叠自编码器提取光谱特征，然后采用稀疏低秩矩阵分解来检测异常目标。另外，基于卷积神经网络的高光谱异常目标检测方法，利用不同像素对间的光谱差异来训练卷积神经网络，通过计算相似度分数来进行异常目标判断。

虽然上述这些基于深度学习的高光谱异常检测算法已经取得了比较好的实验结果，但是它们并没有考虑一个问题：自编码网络或者深度置信网络提取的隐层特征，多少维才可以反映高光谱数据的本质特征？而且，由于异常目标在整幅高光谱图像中占据比例小，因此基于自编码网络或者深度置信网络的高光谱异常检测方法，在模型训练过程中，背景样本为训练模型提供了主要贡献，即基于深度学习的异常检测方法在本质上是学习目标背景，进而检测异常目标。因此，基于自编码网络或者深度置信网络的高光谱异常检测是基于全局的异常检测方法。然而，高光谱异常检测的定义是在没有任何目标先验信息的情况下，通过与周围环境的光谱特征进行比较，从而发现环境中存在的潜在可疑目标。从定义可以看出，高光谱异常检测和高光谱数据的局部特性是紧密相连的。而目前现有的基于深度学习的高光谱异常检测方法没有考虑高光谱数据的局部特性。

发明内容

现有的基于深度学习的高光谱异常检测方法没有考虑高光谱图像的局部特征，导致对难分辨样本的识别率低。为了解决该问题，本发明提出基于流形约束自编码网络的高光谱异常检测算法。

本发明的解决方案主要包括如下步骤：

该高光谱异常目标检测方法，包括以下步骤：

1)输入待检测的高光谱图像X，采用流形学习方法局部线性嵌入学习高光谱图像的低维嵌入流形Y；

2)输入待检测的高光谱图像X，逐层预训练流形约束自编码网络，其损失函数是

其中，x_i是第i个样本，

是第i个重构样本。W^(l)是第l层和l+1层之间的权重系数。λ是权衰减参数。ρ是稀疏参数，是非常接近于0的正数。s是隐层的神经元个数。

是第j个神经元的平均响应值。

是KL散度。

3)使用预训练得到的参数初始化流形约束自编码网络。

4)采用已初始化好的自编码网络提取隐层特征Z，充分考虑已学习得到的低维嵌入流形。通过优化下述的损失函数来训练流形约束自编码网络：

其中，x_i是第i个样本，

是第i个重构样本。W^(l)是第l层和l+1层之间的权重系数。λ是权衰减参数。y_i表示第i个样本的低维流形嵌入表达，z_i表示第i个样本的隐层表达。Y由于是流形学习得到的，因此其具有结构信息，保留了数据的局部特性。通过让Z拟合Y使Z也包含局部特性的结构信息。

5)通过已完成训练的流形约束自编码网络的参数来计算重构样本

计算公式如下所示：

6)计算全局重构误差，计算公式如下所示：

其中，N是高光谱图像的像素个数。

7)在低维嵌入流形上，计算局部重构误差，计算公式如下所示：

8)综合考虑全局重构误差和局部重构误差来检测异常目标，根据给定的阈值来判断待测像素是背景还是目标，即得到高光谱异常目标检测结果。

其中，α是平衡参数，其值在0到1之间。

进一步地，步骤四中通过优化损失函数来训练流形约束自编码网络时，当训练次数达到6000次就终止迭代或者相邻两次的损失函数之差小于10^-3终止迭代。

本发明还提提供一种基于流形约束自编码网络的高光谱异常检测***，包括处理器及存储器，其特殊之处在于：所述存储器中存储计算机程序，计算机程序在处理器中运行时，执行基于流形约束自编码网络的高光谱异常检测方法。

本发明还提提供一种计算机可读存储介质，其特殊之处在于：储存有计算机程序，计算机程序被执行时实现基于流形约束自编码网络的高光谱异常检测方法。

本发明的有益效果如下：

因为基于自编码网络的高光谱异常检测属于全局方法，因此在提取隐层表达特征时并没有考虑高光谱数据的局部特性。根据高光谱异常目标的定义，局部特性对高光谱异常检测任务是非常重要的，因此本发明在利用自编码网络提取隐层表达特征时，考虑低维嵌入流形的约束，使得提取的隐层表达特征具有局部特性。同时，在检测异常目标时，同时考虑流形约束自编码网络的全局重构误差和低维嵌入流形的局部重构误差，提高了重构误差函数的检测能力，进而提高异常目标检测率。

附图说明

图1为本发明基于流形约束自编码网络的高光谱异常检测算法的流程示意图。

图2a为本发明所使用的HYDICE urban数据库及相应的ground truth；

图2b为本发明所使用的AVIRIS airplane数据库及相应的ground truth；

图2c为本发明所使用的Salinas数据库及相应的ground truth；

图3a为HYDICE urban数据库上的ROC曲线结果；

图3b为AVIRIS airplane数据库上的ROC曲线结果；

图3c为Salinas数据库上的ROC曲线结果。

具体实施方式

以下结合附图及具体实施例对本发明做进一步地描述。

本发明实现的步骤如下：

步骤1，输入待检测的高光谱图像X，采用流形学习方法局部线性嵌入学习该高光谱图像的低维嵌入流形Y；

步骤2，输入待检测的高光谱图像X，逐层预训练流形约束自编码网络，其损失函数是

其中，x_i是第i个样本，

是第i个重构样本。W^(l)是第l层和l+1层之间的权重系数。λ是权衰减参数。ρ是稀疏参数，是非常接近于0的正数。s是隐层的神经元个数。

是第j个神经元的平均响应值。

是KL散度。

步骤3，使用预训练得到的参数初始化流形约束自编码网络。

步骤4，采用已初始化好的自编码网络提取隐层特征Z，充分考虑已学习得到的低维嵌入流形。通过优化下述的损失函数来训练流形约束自编码网络，当训练次数达到6000次或者相邻两次的损失函数之差小于10^-3就终止迭代；

其中，x_i是第i个样本，

是第i个重构样本。W^(l)是第l层和l+1层之间的权重系数。λ是权衰减参数。y_i表示第i个样本的低维流形嵌入表达，z_i表示第i个样本的隐层表达。Y由于是流形学习得到的，因此其具有结构信息，保留了数据的局部特性。通过让Z拟合Y使Z也包含局部特性的结构信息。

步骤5，通过已完成训练的流形约束自编码网络的参数来计算重构样本

计算公式如下所示：

步骤6，计算全局重构误差，计算公式如下所示：

其中，N是高光谱图像的像素个数。

步骤7，在低维嵌入流形上，计算局部重构误差，计算公式如下所示：

步骤8，综合考虑全局重构误差和局部重构误差来检测异常目标，根据给定的阈值来判断待测像素是背景还是目标，即得到高光谱异常目标检测结果。

其中，α是平衡参数，其值在0到1之间。

在检测结果中，如果背景像素被错误检测为异常目标像素就认为是错误的检测(false positive，FP)，测试图像中将异常目标像素检测为异常目标像素被认为是正确的检测(true positive，TP)。假设测试图像中ground truth所标记的异常目标像素数为P，测试图像中ground truth所标记的背景像素数为N，则可以计算正确检测的比率(truepositive rate，TPR)和错误检测的比率(false positive rate，FPR)：TPR＝TP/P，FPR＝FP/N。通过改变阈值ξ，可以得到一系列的TPR和FPR。分别以FPR和TPR为横、纵坐标可以画出ROC(receiver operating characteristic)曲线。定量的对比指标包括ROC曲线下的面积值和ROC曲线与主对角线交点处的FPR值和TPR值，分别表示为AUC(area under curve)。

本发明还提供一种基于流形约束自编码网络的高光谱异常检测***，包括处理器及存储器，所述存储器中存储计算机程序，计算机程序在处理器中运行时，执行基于流形约束自编码网络的高光谱异常检测方法。

本发明还提供一种计算机可读存储介质，用于存储计算机程序，计算机程序被执行时实现基于流形约束自编码网络的高光谱异常检测方法。在一些可能的实施方式中，本发明还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备执行本说明书上述方法部分中描述的根据本发明各种示例性实施方式的步骤。

用于实现上述方法的程序产品，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本发明的程序产品不限于此，在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行***、装置或者器件使用或者与其结合使用。

程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

本发明的效果还通过以下实验作了进一步的说明。

1.仿真条件

本发明是在中央处理器为Intel(R)Core i3-3240 3.4GHZ、内存10G、WINDOWS 7操作***上，运用MATLAB软件进行的仿真。

实验中使用的图像数据库如图1所示。

其中，HYDICE数据库是高光谱数字图像采集实验(HYDICE)传感器采集，含有210个波段，波长范围从450nm到2500nm；AVIRIS数据库由机载可见光和红外光谱仪采集的美国的San Diego的图像，含有224个波段，波长范围从370nm到2510nm；Salinas数据库由机载可见光和红外光谱仪采集的美国的Salinas Valley的图像。

2.仿真内容

首先，在上述的三个数据集中，完成本发明算法(基于流形约束自编码网络的高光谱异常检测算法)的实验。为了证明算法的有效性，综合考虑算法的流行性、崭新性，我们选取了7个对比方法GRX、LRX、BJSR、LRaSMD、MCRD、和基于AE的方法进行比较。本发明所提出的基于流形约束自编码网络的高光谱异常检测算法和其他6个对比算法在三个数据库上的运行结果的ROC曲线如图3a、图3b及图3c所示，定量的检测精度AUC值如表1所示。其中：

GRX和LRX是在文献“I.S.Reed and X.Yu,“Adaptive multiple-band CFARdetection of an optical pattern with unknown spectral distribution,”IEEETransactions on Acoustics Speech and Signal Processing,vol.38,no.10,pp.1760–1770,1990.”提出的。

BJSR在“L.Zhang and C.Zhao,“Hyperspectral anomaly detection based onspectral-spatial background joint sparse representation,”European Journal ofRemote Sensing,vol.50,no.1,pp.362–376,2017.”中有详细介绍。

LRaSMD是在“Y.Zhang,B.Du,L.Zhang,and S.Wang,“A low-rank and sparsematrix decomposition-based mahalanobis distance method for hyperspectralanomaly detection,”IEEE Transactions on Geoscience and Remote Sensing,vol.54,no.3,pp.1376–1389,2016.”提出的。

MCRD在“M.Vafadar and H.Ghassemian,“Anomaly detection of hyperspectralimagery using modified collaborative representation,”IEEE Geoscience andRemote Sensing Letters,vol.5,no.4,pp.577–581,2018.”中有详细介绍。

AE-based在“E.Bati,A.C，al₁s，kan,A.Koz,and A.A.Alatan,“Hyperspectralanomaly detection method based on auto-encoder,”in Image and SignalProcessing for Remote Sensing XXI,vol.9643.International Society for Opticsand Photonics,2015,p.96430N.”中有详细介绍。

表1异常目标检测的AUC值

从图3a、图3b及图3c和表1可以看出，本发明在HYDICE数据库，AVIRIS数据库和Salinas数据库上检测精度都比现有的异常目标检测方法都好，因此本方法比其他6种方法更有效、更鲁棒。基于流形约束自编码网络的高光谱异常检测算法在通过自编码网络提取隐层表达特征时，考虑低维嵌入流形的约束，使得提取的隐层表达特征具有局部特性。同时，在检测异常目标时，同时考虑流形约束自编码网络的全局重构误差和低维嵌入流形的局部重构误差，提高了重构误差函数的检测能力，进而提高异常目标检测率。

Claims (4)

1.一种基于流形约束自编码网络的高光谱异常检测方法，其特征在于，包括以下步骤：

步骤一、输入待检测的高光谱图像X，采用流形学习方法学习该待检测高光谱图像X的低维嵌入流形Y；

步骤二、输入待检测的高光谱图像X，逐层预训练流形约束自编码网络，其损失函数是

其中，x_i是第i个样本，

是第i个重构样本，W^(l)是第l层和l+1层之间的权重系数，λ是权衰减参数，ρ是稀疏参数，s是隐层的神经元个数，

是第j个神经元的平均响应值，

是KL散度；

步骤三、使用步骤二中预训练得到的参数初始化流形约束自编码网络；

步骤四、采用步骤三中已初始化好的流形约束自编码网络提取隐层特征Z，充分考虑步骤一中已学习得到的低维嵌入流形Y，通过优化下述的损失函数来训练流形约束自编码网络：

其中，x_i是第i个样本，

是第i个重构样本，W^(l)是第l层和l+1层之间的权重系数，λ是权衰减参数，y_i表示第i个样本的低维流形嵌入表达，z_i表示第i个样本的隐层表达；

步骤五、通过已完成训练的流形约束自编码网络的参数来计算重构样本

计算公式如下所示：

步骤六、计算全局重构误差，计算公式如下所示：

其中，N是高光谱图像的像素个数；

步骤七、在低维嵌入流形上，计算局部重构误差，计算公式如下所示：

步骤八、综合考虑全局重构误差和局部重构误差来检测异常目标，根据给定的阈值来判断待测像素是背景还是目标，即得到高光谱异常目标检测结果；

其中，α是平衡参数，其值在0到1之间。

2.根据权利要求1所述的一种基于流形约束自编码网络的高光谱异常检测方法，其特征在于，步骤四中通过优化损失函数来训练流形约束自编码网络时，当训练次数达到6000次就终止迭代或者相邻两次的损失函数之差小于10^-3终止迭代。

3.一种基于流形约束自编码网络的高光谱异常检测***，包括处理器及存储器，其特征在于：所述存储器中存储计算机程序，计算机程序在处理器中运行时，执行权利要求1或2所述的方法。

4.一种计算机可读存储介质，其特征在于：储存有计算机程序，计算机程序被执行时实现权利要求1或2所述的方法。

Images