CN107833208B - 一种基于动态权重深度自编码的高光谱异常检测方法 - Google Patents
一种基于动态权重深度自编码的高光谱异常检测方法 Download PDFInfo
- Publication number
- CN107833208B CN107833208B CN201711027488.7A CN201711027488A CN107833208B CN 107833208 B CN107833208 B CN 107833208B CN 201711027488 A CN201711027488 A CN 201711027488A CN 107833208 B CN107833208 B CN 107833208B
- Authority
- CN
- China
- Prior art keywords
- pixel
- image
- local
- detected
- reconstruction error
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 82
- 238000000034 method Methods 0.000 claims abstract description 47
- 230000002159 abnormal effect Effects 0.000 claims abstract description 45
- 230000008569 process Effects 0.000 claims abstract description 24
- 238000004364 calculation method Methods 0.000 claims description 27
- 238000012549 training Methods 0.000 claims description 15
- 210000002569 neuron Anatomy 0.000 claims description 14
- 238000004422 calculation algorithm Methods 0.000 claims description 12
- 238000012360 testing method Methods 0.000 claims description 8
- 239000010410 layer Substances 0.000 description 57
- 230000006870 function Effects 0.000 description 9
- 230000003595 spectral effect Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000004913 activation Effects 0.000 description 5
- 230000002547 anomalous effect Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- XEEYBQQBJWHFJM-UHFFFAOYSA-N Iron Chemical compound [Fe] XEEYBQQBJWHFJM-UHFFFAOYSA-N 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 210000004027 cell Anatomy 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 238000010521 absorption reaction Methods 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 229910052742 iron Inorganic materials 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 239000002356 single layer Substances 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Chemical compound O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
- 238000005303 weighing Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
一种基于动态权重深度自编码的高光谱异常检测方法，本发明涉及高光谱异常检测方法。本发明的目的是为了解决现有高光谱异常检测方法中异常目标对局部模型污染，导致检测精度低的问题。过程为：一、得到优化好的DBN模型；二、得到编码图像和重建误差图像；三、得到局部编码图像；执行五；四、得到局部重建误差集；执行六；五、得到局部距离因子；执行七；六、得到局部距离的所有动态权重；执行七；七、得到异常检测算子值，设置阈值，当异常检测算子值大于等于阈值时，则该被测像素为异常目标；否则，为背景像素；取被测图像中的下一个像素作为被测像素，重新执行三～七，直至判断完被测图像中的所有像素。本发明用于高光谱异常检测领域。
Description
技术领域
本发明涉及高光谱异常检测方法。
背景技术
随着遥感成像技术的不断发展与进步，高光谱图像在精准农业、城市规划、军事侦查等领域发挥着越来越重要的作用，对高光谱遥感图像的研究和应用是相关科研人员长期以来聚焦的重点。相对于可见光或红外遥感成像技术，高光谱图像不但能获取地物空间分布信息，还能在每个像素点上收集对应地物数十至数百个连续窄波段的光谱信息，其数据具备图谱合一的特点，从而通过光谱信息可以分辨地物物质信息。然而在实际应用中，由于多数地物先验光谱信息的缺乏及高光谱图像数据标记成本高，基于无监督的异常目标检测方法成为高光谱图像实际应用中极其重要的手段。
目前，学术界对异常目标尚无统一定义，一般将与背景信息存在明显差异的地物目标称为异常目标。在经典的异常检测算法中，基于多元正态分布模型的检测方法应用最为广泛，包括RXD算法、均衡目标检测(UTD)算法及低概率目标检测(LPTD)算法。其中最经典的是RXD算法[1]([1]Reed I S,Yu X.Adaptive multiple-band CFAR detection of anoptical pattern with unknown spectral distribution[J].IEEE Transactions onAcoustics Speech&Signal Processing,1990,38(10):1760-1770.)，由Reed与Xiaoli Yu提出，利用马氏距离判断异常目标，有较强的理论依据，被广泛应用和研究，但当背景像素不满足高斯分布时，检测虚警率偏高。众多研究学者，针对RXD算法在数据非线性、亚像素检测精度等问题上进行改进研究，针对高光谱图像数据普遍存在的数据维度高，非线性特征对检测精度有一定的影响的问题。
此外，针对真实高光谱图像不能满足分布假设导致经典算法虚警率高的问题，Banerjee[2]([2]Banerjee A,Burlina P,Diehl C.A support vector method foranomaly detection in hyperspectral imagery[J].IEEE Transactions on Geoscienceand Remote Sensing,2006,44(8):2282-2291.)提出支持向量数据描述(support vectordata description，SVDD)算法，通过核函数解决数据分布问题，利用最小球面估计支持区的训练数据，实现异常目标检测，但其同样存在核函数参数选择无明确方法的问题，为此，Khazai[3]([3]Khazai S,Homayouni S,Safari A,et al.Anomaly detection inhyperspectral images based on an adaptive support vector method[J].IEEEGeoscience and Remote Sensing Letters,2011,8(4):646-650.)提出对高斯核函数参数自适应选择，进一步提高SVDD方法的异常目标检测精度。
此外，针对高光谱图像异常目标检测还包括基于稀疏理论的方法，Zongze Yuan[4]([4]Yuan Z,Sun H,Ji K,et al.Local sparsity divergence for hyperspectralanomaly detection[J].IEEE Geoscience and Remote Sensing Letters,2014,11(10):1697-1701.)提出一种局部稀疏差异的检测方法，利用背景像素与目标像素属于不同的字典子空间，从而导致目标像素无法被有效表示，从而实现异常目标检测。
近年来，深度学习方法的在图像识别领域的巨大发展，为高光谱图像异常目标检测提供了新思路。2016年，Sarah M.Erfani[5]([5]Erfani S M,Rajasegarar S,Karunasekera S,et al.High-dimensional and large-scale anomaly detection usinga linear one-class SVM with deep learning[J].Pattern Recognition,2016,58:121-134.)提出使用基于DBN(深度置信网络)与1类SVM(one-class SVM)相结合进行高维大规模数据的异常检测方法，利用DBN网络无监督训练方法实现对高维数据的特征提取与降维，并利用one-class SVM实现对高维数据的异常检测，通过使用人类手机使用行为数据集等公开数据集进行验证。
YihuiXiong[6]([6]Xiong Y,Zuo R.Recognition of geochemical anomaliesusing a deep autoencoder network[J].Computers&Geosciences,2016,86:75-82.)利用DBN网络，在训练时小概率样本点对模型构建贡献小，重建误差相对大的原理，实现对遥感数据的异常检测，并通过在网络训练时在可见层与隐层增加高斯噪声提高模型的抗噪能力，从而对福建西南地区铁矿分布进行检测。异常目标的重建误差高于背景样本。据此，Ma提出了一种基于DBN重建误差的高光谱异常目标检测器，其比传统的RX异常检测器获得更好的准确性，而该模型由于异常像素用于训练而容易被污染，导致检测精度低。
发明内容
本发明的目的是为了解决现有高光谱异常检测方法中异常目标对局部模型污染，导致检测精度低的问题，而提出一种基于动态权重深度自编码的高光谱异常检测方法。
一种基于动态权重深度自编码的高光谱异常检测方法具体过程为：
步骤一、将原始高光谱图像数据输入DBN模型，对DBN模型参数进行训练，得到优化好的DBN模型；
步骤二、将被测图像输入到优化好的DBN模型，对被测图像进行编码，得到被测图像的编码图像和对应的重建误差图像；
所述被测图像为原始高光谱图像；
步骤三、将步骤二得到的编码图像输入至局部像素编码选择块，取被测图像中的一个像素作为被测像素，针对该被测像素，得到该被测像素的局部编码图像；执行步骤五；
步骤四、将步骤二得到的重建误差图像输入至局部像素重建误差选择模块，针对步骤三选取的被测像素，得到该被测像素的局部重建误差集；执行步骤六；
步骤五、将步骤三得到的该被测像素的局部编码图像输入至局部邻域距离计算模块，得到该被测像素的局部距离因子；执行步骤七；
步骤六、将步骤四得到的该被测像素的局部重建误差集输入至动态权重生成模块，计算该被测像素的局部重建误差集的均值和方差，对该被测像素的局部重建误差集中的每一个重建误差进行检验并计算动态权重，得到该被测像素局部距离的所有动态权重；执行步骤七；
步骤七、将步骤五得到的该被测像素的局部距离因子和步骤六得到该被测像素局部距离的所有动态权重输入至异常算子计算模块，得到该被测像素的异常检测算子值，设置阈值，当该被测像素的异常检测算子值大于等于阈值时，则该被测像素为异常目标；当该被测像素异常检测算子值小于阈值时，则该被测像素为背景像素；
取被测图像中的下一个像素作为被测像素，重新执行步骤三～步骤七，直至判断完被测图像中的所有像素。
本发明的有益效果为：
本发明提出一种基于动态权重自编码的高光谱异常检测方法，根据自编码过程中各个高光谱像素的重建误差值，异常目标的重建误差较大，正常背景的重建误差较小，修正对应像素在高光谱异常检测过程中所起的作用。使可能的异常目标在检测过程的作用降低，使可能的正常目标在检测过程中作用增加，从而解决异常目标对局部模型的污染问题，提高检测精度。
结合图8及表1得出现有Global Reed‐Xiaoli Detector方法AUC值为0.690，现有Local Reed‐Xiaoli Detector方法AUC值为0.776，现有SVDD Detector方法AUC值为0.754，仅使用重建误差的方法方法AUC值为0.870，本发明提出的动态权重方法方法AUC值为0.935，由结果可知，提出的动态权重方法优于传统检测方法。
附图说明
图1为本发明高光谱异常目标检测方法结构图；
图2为单层的RBM模型示意图；
图3为DBN网络结构示意图，First layer为第一层，Input layer为输入层，Hiddenlayer为隐层，Code layer为编码层，Output layer为输出层，Neurons为神经元，Conetionweights为连接权重系数；
图4为局部像素选择示意图；
图5为圣地亚哥某机场数据伪彩图；
图6为圣地亚哥机场高光谱图像异常目标地面真实位置示意图；
图7为本发明提出的动态权重自编码异常检测技术得到的检测结果图；
图8为本发明提出的动态权重自编码异常检测技术得到的检测结果ROC曲线图，DBN RerAD为直接使用DBN重建进行异常检测的ROC曲线结果，DBN Rer local AD为将DBN重建误差进行局部异常检测的ROC曲线结果，proposde weight based为本发明提出的方法达到的异常检测ROC曲线结果，Global RX AD为全局reed-xiaoli方法的异常检测ROC曲线结果，Collaborative Representaiton AD表示基于联合表示的异常检测方法的ROC曲线结果，False positive Rate为虚警概率，True positive Rate为发现概率。
具体实施方式
具体实施方式一：结合图1说明本实施方式，本实施方式的一种基于动态权重深度自编码的高光谱异常检测方法具体过程为：
步骤一、将原始高光谱图像数据输入DBN模型，对DBN模型参数进行训练，得到优化好的DBN模型；
步骤二、将被测图像输入到优化好的DBN模型，对被测图像进行编码，得到被测图像的编码图像和对应的重建误差图像；
所述被测图像为原始高光谱图像；
步骤三、将步骤二得到的编码图像输入至局部像素编码选择块，取被测图像中的一个像素作为被测像素，针对该被测像素，得到该被测像素的局部编码图像；执行步骤五；
步骤四、将步骤二得到的重建误差图像输入至局部像素重建误差选择模块，针对步骤三选取的被测像素，得到该被测像素的局部重建误差集；执行步骤六；
步骤五、将步骤三得到的该被测像素的局部编码图像输入至局部邻域距离计算模块，得到该被测像素的局部距离因子；执行步骤七；
步骤六、将步骤四得到的该被测像素的局部重建误差集输入至动态权重生成模块，计算该被测像素的局部重建误差集的均值和方差，对该被测像素的局部重建误差集中的每一个重建误差进行检验并计算动态权重，得到该被测像素局部距离的所有动态权重；执行步骤七；
步骤七、将步骤五得到的该被测像素的局部距离因子和步骤六得到该被测像素局部距离的所有动态权重输入至异常算子计算模块，得到该被测像素的异常检测算子值，设置阈值，当该被测像素的异常检测算子值大于等于阈值时，则该被测像素为异常目标；当该被测像素异常检测算子值小于阈值时，则该被测像素为背景像素；
取被测图像中的下一个像素作为被测像素，重新执行步骤三～步骤七，直至判断完被测图像中的所有像素。
具体实施方式二：本实施方式与具体实施方式一不同的是：所述步骤一中将原始高光谱图像数据输入DBN模型，对DBN模型参数进行训练，得到优化好的DBN模型；具体过程为：
步骤一一、构建DBN模型，对DBN模型进行预训练，得到DBN模型参数的初步估计值；
具体过程为：
DBN模型(DBN神经网络)由多层RBM模型构成，单层的RBM模型如图2所示。包括n个可见层、m个隐层、连接可见层与隐层的权重系数w；
可见层v为RBM的输入，为n×1的列向量，每一分量对应高光谱图像的每一个光谱波段；
隐层h为RBM的输出，为m×1的列向量；
连接可见层与隐层的权重系数w为n×m的矩阵；
RBM模型通过能量函数E(v,h)拟合输入的高光谱图像数据(未知分布的数据)，能量函数如下：
其中，ci为第i个隐层单元的偏置，wij为连接第j个可见层与第i个隐层的权重系数；bj为第j个可见层单元的偏置；
某一特定的可见层v和隐层h同时出现的联合概率密度为：
因此，v的概率分布通过如下边缘分布求得，
同理，h的概率分布通过如下边缘分布求得，
联合上述式(2)～(4)，证明，h取值为1的概率及v取值为1的概率分别为如下条件概率公式：
其中，
其导数f′(x)＝f(x)(1-f(x))；
因此，拟合高光谱图像数据建立DBN网络模型，即是对参数ci、wij、bj的估计；
设q(x)为可见层v在样本空间Ω中的真实分布，上式中各参数的估计，应该使p(v)与q(x)的差异尽可能小，即Kullback-Leibler差异尽可能小，用KL距离表示p(v)与q(x)的差异，表示如下，
取∑x＝Ωlnp(x)的最大值，使KL最小；
p(v)表示v的概率分布；p(x)表示v的边缘分布；x为样本输入，第一层为图像输入，其他层为前一层的输出；由于样本确定时q(x)为确定的，且大于零，因此若要KL最小，只要∑x＝Ωlnp(x)最大即可。综合上述式(2)～(7)，推导得到DBN模型参数ci、wij、bj的梯度如下：
为加速梯度收敛过程，结合式(8)～(10)，根据Hinton提出MCD(minimisingconstructive divergence)算法，参数ci、wij、bj迭代更新梯度按下式进行：
其中，ηw为参数wij的学习率(预先设定好的常数)，ηb为参数bj的学习率(预先设定好的常数)，ηc为参数ci的学习率(预先设定好的常数)，Δbj为bj迭代更新梯度，Δwij为wij迭代更新梯度，Δcj为cj迭代更新梯度，cj为第j个隐层单元的偏置，hj为第j个隐层单元的输出，
分别表示经过一次反向重建和正向计算后得到的可见层及隐层单元的值，
表示经过一次正向计算后得到的隐层单元的值，通过上述方式，对待检测的高光谱图像进行遍历训练和参数更新，得到一层RBM参数的初步估计值；
由于DBN网络是由多个RBM堆叠构成，在训练时将每个RBM层独立进行参数估计，并将前一RBM层的输出作为后一RBM层的输入，得到整个DBN网络参数的初步估计值；
步骤一二、基于反向传播算法对步骤一一得到的DBN模型参数的初步估计值进行参数细调，得到优化好的DBN模型。
具体过程为；
其思想与BP神经网络的参数训练一致。通过参数细调，使模型更加贴近样本空间。针对高光谱图像异常目标检测，对于样本输入x定义代价函数如下:
其中，hw,b(x)表示DBN模型输出层正向传播输出值，对于DBN模型输出层第i个单元残差计算方式如下式，
其中，xi为输入高光谱图像像素第i波段光谱信息，
为DBN模型输出层第i个单元的输出值，
为DBN模型输出层的激活输入值，nl表示输出层；
对于DBN模型中间各层残差，如下式，
其中Sl+1为第l+1层神经元个数，
为第l层神经元内激活函数输入值(激活函数是神经元内的功能函数，其作用等价于神经元，神经元的功能通过激活函数体现的。)，l为2至nl-1；由于网络是一个多层结构，l表示第几层，nl表示第l层中神经元的个数；
因此，根据式(15)～(17)得到
和ci，
和ci的更新方法如下，
通过迭代，即可对DBN网络模型参数进行细调，得到优化好的DBN模型。在完成DBN网络训练之后，通过将高光谱图像逐像素的输入DBN网络，计算其重建误差，进而可完成对高光谱图像每个像素的检测。
其它步骤及参数与具体实施方式一相同。
具体实施方式三：本实施方式与具体实施方式一或二不同的是：所述步骤二中将被测图像输入到优化好的DBN模型，对被测图像进行编码，得到被测图像的编码图像和对应的重建误差图像；具体过程为：
DBN推理图像编码
主要获取图像经过DBN网络后的图像编码。将原始高光谱图像输入至DBN推理编码模块，该模块为标准的DBN模型，其参数为DBN模型训练阶段产生。该模型结构如图3所示
将被测图像输入到优化好的DBN模型，DBN模型中间层神经元数量一般低于输入输出层节点数量，整个DBN模型呈对称结构，中间层神经元的输出作为被测图像的编码结果，所有被测像素均独立进行一次编码，从而获得被测图像的编码图像，每个被测图像编码后波段数量低于原始输入的被测图像像素波段数量；该编码图像将送入步骤三的局部像素编码选择模块。
利用优化好的DBN模型对获得的编码图像进行解码，从而获得解码图像，解码图像与输入的被测图像像素具有相同数量的波段，通过下式计算被测图像对应的重建误差图像：
其中，z为被测图像像素，hw,b(z)表示DBN模型输出层正向传播输出值。
在完成重建误差图像计算后，将把重建误差图像送入步骤四的局部像素重建误差选择模块
其它步骤及参数与具体实施方式一或二相同。
具体实施方式四：本实施方式与具体实施方式一至三之一不同的是：所述步骤三中将步骤二得到的编码图像输入至局部像素编码选择块，取被测图像中的一个像素作为被测像素，针对该被测像素，得到该被测像素的局部编码图像；具体过程为：
当DBN推理图像编码模块完成图像的编码后，将编码图像输入至局部像素编码选择模块，用于选择被测目标评估的局部像素集。
取被测图像中的一个像素作为被测像素，针对该被测像素，在编码图像上以被测像素坐标为中心构建一个正方形像素区域(人工经验确定)，正方形像素区域大小远小于编码图像，正方形像素区域内部嵌套一个正方形窗口(大小事先人为确定)，嵌套的正方形窗口区域为邻近像素区，两正方形之间的区域像素为被选中像素区，被选中像素区的编码图像为局部编码图像。
该正方形像素区的邻近被测像素(图中排除像素区)的编码图像将被排除，正方形区域内其他部分像素(被选中像素区)的编码图像为局部编码图像；将局部编码图像送入局部邻域距离计算模块用于计算局部距离因子。如图4所示。
其它步骤及参数与具体实施方式一至三之一相同。
具体实施方式五：本实施方式与具体实施方式一至四之一不同的是：所述步骤四中将步骤二得到的重建误差图像输入至局部像素重建误差选择模块，针对步骤三选取的被测像素，得到该被测像素的局部重建误差集；具体过程为：
当DBN推理图像编码模块完成图像的重建误差计算后，在编码图像将输入至局部像素编码选择模块的同时，重建误差图像将输入至局部像素重建误差选择模块，用于选择用于被测目标局部像素集的重建误差值。当某一坐标值的编码像素被选中用于检测时，其对应的局部重建误差将按照如下图局部像素选择所示进行，其过程与局部像素编码选择模块的执行过程一致，方法如下：
针对步骤三选取的被测像素，在重建误差图像上以该被测像素坐标为中心构建一个正方形区域，正方形像素区域大小与局部像素编码选择模块中构建的一致；正方形像素区域内部嵌套一个正方形窗口(大小事先人为确定)，嵌套的正方形窗口区域为邻近像素区，两正方形之间的区域像素为局部重建误差，被测像素的所有局部重建误差组成局部重建误差集。
1个被测像素只有一个局部重建误差集，该局部重建误差集是由被测像素外面双正方形窗之间像素的所有重建误差构成的。
该正方形像素区的邻近被测像素(图中排除像素区)将被排除，正方形区域内其他部分像素(被选中像素区)为局部重建误差送入动态权重生成模块用于生成动态权重；
其它步骤及参数与具体实施方式一至四之一相同。
具体实施方式六：本实施方式与具体实施方式一至五之一不同的是：所述步骤五中将步骤三得到的该被测像素的局部编码图像输入至局部邻域距离计算模块，得到该被测像素的局部距离因子；具体过程为：
将步骤三得到的该被测像素的局部编码图像输入至局部邻域距离计算模块，在局部邻域距离计算模块内，按照如下公式完成局部距离因子的计算：
编码图像中被测像素y与局部编码图像第j个像素的邻域距离Distj如下式：
其中，D表示编码长度，yi表示被测像素y被编码后第i个码元值，zji表示局部编码图像第j个像素的第i个码元值；
被测像素的所有邻域距离构成被测像素的局部距离因子。
其它步骤及参数与具体实施方式一至五之一相同。
具体实施方式七：本实施方式与具体实施方式一至六之一不同的是：所述步骤六中将步骤四得到的该被测像素的局部重建误差集输入至动态权重生成模块，计算该被测像素的局部重建误差集的均值和方差，对该被测像素的局部重建误差集中的每一个重建误差进行检验并计算动态权重，得到该被测像素局部距离的所有动态权重；方法如下：
将步骤四得到的该被测像素的局部重建误差集中的每一个重建误差减去该局部重建误差集的均值，若结果大于重建误差集的方差的3倍，则该局部重建误差对应的动态权重wtj如下式计算，
Rerj为高光谱图像第j个像素对应的重建误差，1≤j≤K，K为被选中的局部像素点的数量，即重建误差集的大小；
否则该局部重建误差对应的动态权重wtj按照如下式计算，
其中，0≤Pf≤1，Pf为常量参数(事先确定的，用于权衡权重系数修正的幅度)；
通过检验局部重建误差集中所有的重建误差，得到该被测像素局部距离的所有动态权重，并将该动态权重送入异常算子计算模块，进行异常检测算子计算。
其它步骤及参数与具体实施方式一至六之一相同。
具体实施方式八：本实施方式与具体实施方式一至七之一不同的是：所述Pf取0。
经验证，Pf取0效果最优。
其它步骤及参数与具体实施方式一至七之一相同。
具体实施方式九：本实施方式与具体实施方式一至八之一不同的是：所述步骤七中将步骤五得到的该被测像素的局部距离因子和步骤六得到该被测像素局部距离的所有动态权重输入至异常算子计算模块，得到该被测像素的异常检测算子值；具体过程为：
计算被测像素的异常检测算子值δDBN-ρ，计算方法按照如下式进行：
将图像中每一个像素通过上述局部像素编码选择模块、局部像素重建误差选择模块、动态权重生成模块、局部邻域距离计算模块及异常算子计算模块完成所有像素的异常算子的计算，从而设定阈值，根据该异常检测算子值和阈值判断该待测像素是否为异常目标，当异常检测算子值大于等于阈值时，该像素点为异常目标；当异常检测算子值小于阈值时，该像素点为目标；
当该异常算子值越大时，表示该像素点为异常目标的概率越大。
其它步骤及参数与具体实施方式一至八之一相同。
采用以下实施例验证本发明的有益效果：
实施例一：
本实施例一种基于动态权重深度自编码的高光谱异常检测方法具体是按照以下步骤制备的：
通过采用公开标准高光谱数据集进行验证，该数据为NASA采集，采用来自AVIRIS采集到的美国圣地亚哥机场图像数据的一部分作为真实数据集验证本文提出的检测方法，该图像大小为100×100，去除水汽吸收及干扰波段后，光谱波段数126，以图像中38架飞机作为异常目标，数据伪彩图如图5所示。圣地亚哥机场高光谱图像异常目标地面真实位置如图6所示。
评估方法及实验环境
采用高光谱异常检测经典算法RXD和SVDD作为对比算法，采用高光谱异常检测中常用的接收机特性曲线(ROC曲线)及ROC曲线下面积(AUC面积)作为评价指标。ROC曲线可通过变化异常判别阈值获得不同的虚警率和检测率，从而评价检测器性能，在ROC曲线对比不够显著时，ROC曲线下面积(AUC面积)可作为另一个常用评价指标被使用，实验用硬件环境为Dell T7910工作站，软件环境为Matlab 2015b，由于使用DBN网络进行异常目标检测时，其输入的可见层和输出层节点数量应该与光谱波段数相同。
验证结果
通过提出的动态权重自编码异常检测技术得到的检测结果如图7所示；
其ROC曲线如图8所示，各曲线AUC值与其他方法对比见下表：
表1
| 对比方法名称 | AUC值 |
| Global Reed-Xiaoli Detector | 0.690 |
| Local Reed-Xiaoli Detector | 0.776 |
| SVDD Detector | 0.754 |
| 仅使用重建误差的方法 | 0.870 |
| 提出的动态权重方法 | 0.935 |
由结果可知，提出的动态权重方法优于传统检测方法。
本发明还可有其它多种实施例，在不背离本发明精神及其实质的情况下，本领域技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。
Claims (7)
1.一种基于动态权重深度自编码的高光谱异常检测方法，其特征在于：所述方法具体过程为：
步骤一、将原始高光谱图像数据输入DBN模型，对DBN模型参数进行训练，得到优化好的DBN模型；
步骤二、将被测图像输入到优化好的DBN模型，对被测图像进行编码，得到被测图像的编码图像和对应的重建误差图像；
所述被测图像为原始高光谱图像；
步骤三、将步骤二得到的编码图像输入至局部像素编码选择块，取被测图像中的一个像素作为被测像素，针对该被测像素，得到该被测像素的局部编码图像；执行步骤五；
步骤四、将步骤二得到的重建误差图像输入至局部像素重建误差选择模块，针对步骤三选取的被测像素，得到该被测像素的局部重建误差集；执行步骤六；
步骤五、将步骤三得到的该被测像素的局部编码图像输入至局部邻域距离计算模块，得到该被测像素的局部距离因子；执行步骤七；
步骤六、将步骤四得到的该被测像素的局部重建误差集输入至动态权重生成模块，计算该被测像素的局部重建误差集的均值和方差，对该被测像素的局部重建误差集中的每一个重建误差进行检验并计算动态权重，得到该被测像素局部距离的所有动态权重；执行步骤七；
步骤七、将步骤五得到的该被测像素的局部距离因子和步骤六得到该被测像素局部距离的所有动态权重输入至异常算子计算模块，得到该被测像素的异常检测算子值，设置阈值，当该被测像素的异常检测算子值大于等于阈值时，则该被测像素为异常目标；当该被测像素异常检测算子值小于阈值时，则该被测像素为背景像素；
取被测图像中的下一个像素作为被测像素，重新执行步骤三～步骤七，直至判断完被测图像中的所有像素；
所述步骤三中将步骤二得到的编码图像输入至局部像素编码选择块，取被测图像中的一个像素作为被测像素，针对该被测像素，得到该被测像素的局部编码图像；具体过程为：
取被测图像中的一个像素作为被测像素，针对该被测像素，在编码图像上以被测像素坐标为中心构建一个正方形像素区域，正方形像素区域大小小于编码图像，正方形像素区域内部嵌套一个正方形窗口，嵌套的正方形窗口区域为邻近像素区，两正方形之间的区域像素为被选中像素区，被选中像素区的编码图像为局部编码图像；
所述步骤四中将步骤二得到的重建误差图像输入至局部像素重建误差选择模块，针对步骤三选取的被测像素，得到该被测像素的局部重建误差集；具体过程为：
针对步骤三选取的被测像素，在重建误差图像上以该被测像素坐标为中心构建一个正方形区域，正方形像素区域大小与局部像素编码选择模块中构建的一致；正方形像素区域内部嵌套一个正方形窗口，嵌套的正方形窗口区域为邻近像素区，两正方形之间的区域像素为局部重建误差，被测像素的所有局部重建误差组成局部重建误差集。
2.根据权利要求1所述一种基于动态权重深度自编码的高光谱异常检测方法，其特征在于：所述步骤一中将原始高光谱图像数据输入DBN模型，对DBN模型参数进行训练，得到优化好的DBN模型；具体过程为：
步骤一一、构建DBN模型，对DBN模型进行预训练，得到DBN模型参数的初步估计值；
步骤一二、基于反向传播算法对步骤一一得到的DBN模型参数的初步估计值进行参数细调，得到优化好的DBN模型。
3.根据权利要求2所述一种基于动态权重深度自编码的高光谱异常检测方法，其特征在于：所述步骤二中将被测图像输入到优化好的DBN模型，对被测图像进行编码，得到被测图像的编码图像和对应的重建误差图像；具体过程为：
将被测图像输入到优化好的DBN模型，DBN模型中间层神经元数量低于输入输出层节点数量，整个DBN模型呈对称结构，中间层神经元的输出作为被测图像的编码结果，所有被测像素均独立进行一次编码，从而获得被测图像的编码图像，每个被测图像编码后波段数量低于原始输入的被测图像像素波段数量；
利用优化好的DBN模型对获得的编码图像进行解码，从而获得解码图像，解码图像与输入的被测图像像素具有相同数量的波段，通过下式计算被测图像对应的重建误差图像：
其中，z为被测图像像素，hw,b(z)表示DBN模型输出层正向传播输出值。
4.根据权利要求3所述一种基于动态权重深度自编码的高光谱异常检测方法，其特征在于：所述步骤五中将步骤三得到的该被测像素的局部编码图像输入至局部邻域距离计算模块，得到该被测像素的局部距离因子；具体过程为：
将步骤三得到的该被测像素的局部编码图像输入至局部邻域距离计算模块，在局部邻域距离计算模块内，按照如下公式完成局部距离因子的计算：
编码图像中被测像素y与局部编码图像第j个像素的邻域距离Distj如下式：
其中，D表示编码长度，yi表示被测像素y被编码后第i个码元值，zji表示局部编码图像第j个像素的第i个码元值；
被测像素的所有邻域距离构成被测像素的局部距离因子。
5.根据权利要求4所述一种基于动态权重深度自编码的高光谱异常检测方法，其特征在于：所述步骤六中将步骤四得到的该被测像素的局部重建误差集输入至动态权重生成模块，计算该被测像素的局部重建误差集的均值和方差，对该被测像素的局部重建误差集中的每一个重建误差进行检验并计算动态权重，得到该被测像素局部距离的所有动态权重；具体过程为：
将步骤四得到的该被测像素的局部重建误差集中的每一个重建误差减去该局部重建误差集的均值，若结果大于重建误差集的方差的3倍，则该局部重建误差对应的动态权重wtj如下式计算，
Rerj为高光谱图像第j个像素对应的重建误差，1≤j≤K，K为被选中的局部像素点的数量，即重建误差集的大小；
否则该局部重建误差对应的动态权重wtj按照如下式计算，
其中，0≤Pf≤1，Pf为常量参数；
通过检验局部重建误差集中所有的重建误差，得到该被测像素局部距离的所有动态权重。
6.根据权利要求5所述一种基于动态权重深度自编码的高光谱异常检测方法，其特征在于：所述Pf取0。
7.根据权利要求6所述一种基于动态权重深度自编码的高光谱异常检测方法，其特征在于：所述步骤七中将步骤五得到的该被测像素的局部距离因子和步骤六得到该被测像素局部距离的所有动态权重输入至异常算子计算模块，得到该被测像素的异常检测算子值；
具体过程为：
计算被测像素的异常检测算子值δDBN-ρ，计算方法按照如下式进行：
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711027488.7A CN107833208B (zh) | 2017-10-27 | 2017-10-27 | 一种基于动态权重深度自编码的高光谱异常检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711027488.7A CN107833208B (zh) | 2017-10-27 | 2017-10-27 | 一种基于动态权重深度自编码的高光谱异常检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107833208A CN107833208A (zh) | 2018-03-23 |
| CN107833208B true CN107833208B (zh) | 2021-07-13 |
Family
ID=61649862
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711027488.7A Active CN107833208B (zh) | 2017-10-27 | 2017-10-27 | 一种基于动态权重深度自编码的高光谱异常检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107833208B (zh) |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108985330B (zh) * | 2018-06-13 | 2021-03-26 | 华中科技大学 | 一种自编码网络及其训练方法、异常用电检测方法和*** |
| CN108830320B (zh) * | 2018-06-15 | 2021-11-30 | 南京农业大学 | 基于鉴别和鲁棒多特征提取的高光谱图像分类方法 |
| CN108960303B (zh) * | 2018-06-20 | 2021-05-07 | 哈尔滨工业大学 | 一种基于lstm的无人机飞行数据异常检测方法 |
| CN109493338B (zh) * | 2018-11-16 | 2020-08-04 | 西安电子科技大学 | 基于联合提取空谱特征的高光谱图像异常检测方法 |
| CN109799245A (zh) * | 2019-03-29 | 2019-05-24 | 云南电网有限责任公司电力科学研究院 | 一种绝缘子污秽程度非接触式检测方法及装置 |
| CN110781832B (zh) * | 2019-10-28 | 2023-04-18 | 大庆师范学院 | 基于联合深度置信网络的高光谱图像异常目标检测方法 |
| CN112819769B (zh) * | 2021-01-26 | 2022-05-20 | 复旦大学 | 基于核函数和联合字典的非线性高光谱图像异常探测算法 |
| CN113011321B (zh) * | 2021-03-17 | 2022-05-06 | 中南大学 | 一种基于联合字典的光谱信号去噪方法、***、终端及可读存储介质 |
| CN113222972B (zh) * | 2021-05-31 | 2024-03-19 | 辽宁工程技术大学 | 基于变分自编码器算法的图像异常检测方法 |
| CN113378683B (zh) * | 2021-06-03 | 2024-06-21 | 大连海事大学 | 一种残差驱动的异常检测波段选择方法 |
| CN114112992B (zh) * | 2022-01-20 | 2022-04-12 | 武汉工程大学 | 一种奶油亮蓝色素的检测方法、装置及存储介质 |
| CN117132504B (zh) * | 2023-10-20 | 2024-01-30 | 武汉怡特环保科技有限公司 | 基于单光子光谱计数技术成像去除干扰的方法 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7263226B1 (en) * | 2002-07-09 | 2007-08-28 | United States Of America As Represented By The Secretary Of The Navy | Method and system for detecting anomalies in multispectral and hyperspectral imagery employing the normal compositional model |
| CN103024349A (zh) * | 2012-11-13 | 2013-04-03 | 大连民族学院 | 一种基于稀疏限制的mle视频目标跟踪方法 |
| CN105335703A (zh) * | 2015-10-13 | 2016-02-17 | 西北工业大学 | 基于运动重构技术的交通场景异常检测方法 |
| CN105989597A (zh) * | 2015-02-13 | 2016-10-05 | 中国科学院西安光学精密机械研究所 | 基于像素选择过程的高光谱图像异常目标检测方法 |
| CN106023218A (zh) * | 2016-05-27 | 2016-10-12 | 哈尔滨工程大学 | 基于空谱联合背景共同稀疏表示的高光谱异常检测方法 |
| CN106503734A (zh) * | 2016-10-14 | 2017-03-15 | 哈尔滨工程大学 | 基于三边滤波器和堆栈稀疏自动编码器的图像分类方法 |
| CN106919952A (zh) * | 2017-02-23 | 2017-07-04 | 西北工业大学 | 基于结构稀疏表示和内部聚类滤波的高光谱异常目标检测方法 |
| CN107203750A (zh) * | 2017-05-24 | 2017-09-26 | 中国科学院西安光学精密机械研究所 | 一种基于稀疏表达和判别分析相结合的高光谱目标检测方法 |
| CN107274432A (zh) * | 2017-06-10 | 2017-10-20 | 北京航空航天大学 | 一种基于视觉显著性和深度自编码的公共场景智能视频监控方法 |
-
2017
- 2017-10-27 CN CN201711027488.7A patent/CN107833208B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7263226B1 (en) * | 2002-07-09 | 2007-08-28 | United States Of America As Represented By The Secretary Of The Navy | Method and system for detecting anomalies in multispectral and hyperspectral imagery employing the normal compositional model |
| CN103024349A (zh) * | 2012-11-13 | 2013-04-03 | 大连民族学院 | 一种基于稀疏限制的mle视频目标跟踪方法 |
| CN105989597A (zh) * | 2015-02-13 | 2016-10-05 | 中国科学院西安光学精密机械研究所 | 基于像素选择过程的高光谱图像异常目标检测方法 |
| CN105335703A (zh) * | 2015-10-13 | 2016-02-17 | 西北工业大学 | 基于运动重构技术的交通场景异常检测方法 |
| CN106023218A (zh) * | 2016-05-27 | 2016-10-12 | 哈尔滨工程大学 | 基于空谱联合背景共同稀疏表示的高光谱异常检测方法 |
| CN106503734A (zh) * | 2016-10-14 | 2017-03-15 | 哈尔滨工程大学 | 基于三边滤波器和堆栈稀疏自动编码器的图像分类方法 |
| CN106919952A (zh) * | 2017-02-23 | 2017-07-04 | 西北工业大学 | 基于结构稀疏表示和内部聚类滤波的高光谱异常目标检测方法 |
| CN107203750A (zh) * | 2017-05-24 | 2017-09-26 | 中国科学院西安光学精密机械研究所 | 一种基于稀疏表达和判别分析相结合的高光谱目标检测方法 |
| CN107274432A (zh) * | 2017-06-10 | 2017-10-20 | 北京航空航天大学 | 一种基于视觉显著性和深度自编码的公共场景智能视频监控方法 |
Non-Patent Citations (1)
| Title |
|---|
| A DBN based anomaly targets detector for HSI;Ning Ma等;《AOPC 2017: 3D Measurement Technology for Intelligent Manufacturing》;20171024;1-6 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107833208A (zh) | 2018-03-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107833208B (zh) | 一种基于动态权重深度自编码的高光谱异常检测方法 | |
| Liu et al. | Detection of multiclass objects in optical remote sensing images | |
| Li et al. | Structure-aware collaborative representation for hyperspectral image classification | |
| CN110929080B (zh) | 基于注意力和生成对抗网络的光学遥感图像检索方法 | |
| CN111986193B (zh) | 一种遥感影像变化检测方法、电子设备及存储介质 | |
| Tian et al. | Joint learning model for underwater acoustic target recognition | |
| CN112905894B (zh) | 一种基于增强图学习的协同过滤推荐方法 | |
| CN111783884A (zh) | 基于深度学习的无监督高光谱图像分类方法 | |
| CN113435253A (zh) | 一种多源影像联合城区地表覆盖分类方法 | |
| CN114266982A (zh) | 一种网络参数和结构协同优化的sar图像变化检测方法 | |
| CN111462196A (zh) | 一种基于布谷鸟搜索和Krawtchouk矩不变量的遥感图像匹配方法 | |
| CN110956601B (zh) | 一种基于多传感器样态系数的红外图像融合方法和装置以及计算机可读存储介质 | |
| CN114048810A (zh) | 一种基于多层次特征提取网络的高光谱图像分类方法 | |
| Aires et al. | Convolutional neural networks for satellite remote sensing at coarse resolution. Application for the SST retrieval using IASI | |
| CN116152206A (zh) | 一种光伏输出功率预测方法、终端设备及存储介质 | |
| CN113470036B (zh) | 基于知识蒸馏的高光谱图像无监督波段选择方法及*** | |
| CN117524353B (zh) | 一种基于多维度分子信息的分子大模型、构建方法及应用 | |
| CN112446256A (zh) | 一种基于深度isa数据融合的植被类型识别方法 | |
| CN111062888B (zh) | 一种基于多目标低秩稀疏及空谱全变分的高光谱影像去噪方法 | |
| Sun et al. | Tensor decomposition-inspired convolutional autoencoders for hyperspectral anomaly detection | |
| Lv et al. | Novel Distribution Distance based on Inconsistent Adaptive Region for Change Detection Using Hyperspectral Remote Sensing Images | |
| Celik et al. | Change detection without difference image computation based on multiobjective cost function optimization | |
| Kong et al. | Regularized multiple sparse Bayesian learning for hyperspectral target detection | |
| Elsisi et al. | Robust indoor positioning of automated guided vehicles in internet of things networks with deep convolution neural network considering adversarial attacks | |
| CN115631341A (zh) | 一种基于多尺度特征投票的点云配准方法及*** |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |