CN113327231B - 一种基于空谱联合的高光谱异常目标检测方法和*** - Google Patents

一种基于空谱联合的高光谱异常目标检测方法和*** Download PDF

Info

Publication number
CN113327231B
CN113327231B CN202110589580.2A CN202110589580A CN113327231B CN 113327231 B CN113327231 B CN 113327231B CN 202110589580 A CN202110589580 A CN 202110589580A CN 113327231 B CN113327231 B CN 113327231B
Authority
CN
China
Prior art keywords
image
spectral
domain
detection result
spatial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110589580.2A
Other languages
English (en)
Other versions
CN113327231A (zh
Inventor
许廷发
潘晨光
黄晨
郝建华
王茜
樊阿馨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Technology BIT
Chongqing Innovation Center of Beijing University of Technology
Original Assignee
Beijing Institute of Technology BIT
Chongqing Innovation Center of Beijing University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Technology BIT, Chongqing Innovation Center of Beijing University of Technology filed Critical Beijing Institute of Technology BIT
Priority to CN202110589580.2A priority Critical patent/CN113327231B/zh
Publication of CN113327231A publication Critical patent/CN113327231A/zh
Application granted granted Critical
Publication of CN113327231B publication Critical patent/CN113327231B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10036—Multispectral image; Hyperspectral image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于空谱联合的高光谱异常目标检测方法和***，包括：对原始高光谱图像进行降维处理；采用自编码网络提取降维后的图像中的背景空间特征并进行重构；将重构后的空间域图像和降维后的图像进行差值运算得到第一残差图像，根据第一残差图像得到空间域检测结果；采用对抗自编码网络提取原始高光谱图像中的背景光谱特征并进行重构；将重构后的光谱域图像与原始高光谱图像进行差值运算，得到第二残差图像，根据第二残差图像得到光谱域检测结果；加权融合空间域检测结果和光谱域检测结果，得到异常目标检测结果。本发明具有强大的特征提取和表示能力，采取了样本数量扩充方案解决训练数据匮乏的问题，具有较好的检测精度。

Description

一种基于空谱联合的高光谱异常目标检测方法和***
技术领域
本发明涉及高光谱图像领域，尤其是一种基于空谱联合的高光谱异常目标检测方法和一种基于空谱联合的高光谱异常目标检测***。
背景技术
高光谱图像是由相同场景下不同谱段的三维图像数据构成，包含了地表物体的空间维信息和数十至数百个连续窄波段光谱维信息，其光谱分辨率达到了纳米数量级。由于高光谱图像波段多、光谱分辨率高、能够分辨不同类别地物之间细微的光谱差异的特性，因此基于高光谱图像的目标检测成为当今研究热点。由于目标检测需提前获取目标的先验信息，然而由于光谱数据库的不足等原因，导致在实际情况下目标先验信息难以获得，因此基于高光谱图像的异常目标检测更具实际意义。
高光谱异常目标检测任务中的异常目标具有以下特性：
(1)异常目标在光谱特征或空间特征上与背景具有差异性；
(2)异常目标在空间领域和光谱领域上都具有分布稀疏性，即异常目标面积较小、占高光谱图像总像素数的比例较小、出现概率较低；
传统的高光谱异常目标检测方法主要有两种：
基于统计的方法，即以背景区域服从多元高斯分布为假设基础，利用异常目标与背景区域间光谱分布的差异性进行检测。该类方法以1990年Reed和XiaoliYu提出的RX算法为基础，衍生出一系列基于RX算法的改进算法，如子空间RX、局部RX算法等。
基于稀疏表示的方法，即将高光谱数据分解成代表背景的低秩矩阵和代表异常的稀疏矩阵，旨在精确检测具有差异性、面积小、对比度高的异常区域。该类方法包括RPCA(Roubust Principal Component Analysis)、GoDec、LRR(Low-Rank Representation)等算法。
近年来，因其强大的提取和表示特征能力以及无需手工提取特征的便捷性，深度学习技术逐渐被应用到高光谱图像处理任务中。2017年卷积神经网络首次被应用到高光谱异常目标检测任务中，该网络基于带标签的训练数据，以像素对的差值作为输入，输出为0或1，分别代表不相似和相似。除此之外，基于深度学习的高光谱异常目标检测方法主要分为两种：基于深度置信网络的方法，利用异常分布的稀疏性，重构出与背景重构误差小而与异常目标重构误差大的数据，从而检测出异常目标位置；基于对抗学习的方法，采用对抗学习的方法学习背景的光谱分布，利用异常目标与背景区域光谱分布之间的差异性进行检测。
上述基于深度学习的方法均只利用了高光谱图像的光谱信息，未考虑到诸如纹理、结构、形状等在内的空间特征以及空间领域信息，因此可能导致最终检测图像呈现椒盐外观。同时，同物异谱现象(即由于周围环境等的影响可能造成相同物种的光谱曲线不同的现象)以及同谱异物现象(由于密度、与太阳相对角度不同等的影响可能造成不同物种的光谱曲线相同的现象)的存在，仅凭光谱信息检测异常目标可能会造成检测结果存在较大的误差。
发明内容
本发明的发明目的在于：针对上述存在的问题，提供一种基于空谱联合的高光谱异常目标检测方法和***，以提供一种高检测精度和检测准确性的异常目标检测方案。
本发明采用的技术方案如下：
一种基于空谱联合的高光谱异常目标检测方法，包括：
对原始高光谱图像进行降维处理以得到降维后的图像；
采用自编码网络提取所述降维后的图像中的背景空间特征并进行重构，得到重构后的空间域图像；
将所述重构后的空间域图像和所述降维后的图像进行差值运算，得到第一残差图像，根据所述第一残差图像得到空间域检测结果；
采用对抗自编码网络提取所述原始高光谱图像中的背景光谱特征并进行重构，得到重构后的光谱域图像；
将所述重构后的光谱域图像与所述原始高光谱图像进行差值运算，得到第二残差图像，根据所述第二残差图像得到光谱域检测结果；
加权融合所述空间域检测结果和所述光谱域检测结果，得到异常目标检测结果。
进一步的，在提取所述降维后的图像中的背景空间特征前，还包括：对所述降维后的图像进行样本数量扩充。
进一步的，所述根据所述第一残差图像得到空间域检测结果，包括：将所述第一残差图像沿光谱方向做平均，得到空间域检测结果。
进一步的，在提取所述原始高光谱图像中的背景光谱特征前，包括：对所述原始高光谱图像进行样本数量扩充。
进一步的，所述根据所述第二残差图像得到光谱域检测结果，包括：计算所述第二残差图像中各像素点的马氏距离，得到光谱域检测结果。
一种基于空谱联合的高光谱异常目标检测***，包括空间域特征提取与重构模块、空间域检测模块、光谱域特征提取与重构模块、光谱域检测模块以及检测结果融合模块，其中：
所述空间域特征提取与重构模块被配置为：对所述原始高光谱图像进行降维处理以得到降维后的图像；采用自编码网络提取所述降维后的图像中的背景空间特征并进行重构，得到重构后的空间域图像；
所述空间域检测模块被配置为：将所述重构后的空间域图像和所述降维后的图像进行差值运算，得到第一残差图像，根据所述第一残差图像得到空间域检测结果；
所述光谱域特征提取与重构模块被配置为：采用对抗自编码网络提取所述原始高光谱图像中的背景光谱特征并进行重构，得到重构后的光谱域图像；
所述光谱域检测模块被配置为：将所述重构后的光谱域图像与所述原始高光谱图像进行差值运算，得到第二残差图像，根据所述第二残差图像得到光谱域检测结果；
所述检测结果融合模块背配置为：加权融合所述空间域检测结果和所述光谱域检测结果，得到异常目标检测结果。
进一步的，所述空间域特征提取与重构模块在将所述降维后的图像输入自编码网络前还包括：对所述降维后的图像进行样本数量扩充。
进一步的，所述空间域检测模块根据所述第一残差图像得到空间域检测结果的过程包括：将所述第一残差图像沿光谱方向做平均，得到空间域检测结果。
进一步的，所述光谱域特征提取与重构模块在将所述原始高光谱图像输入对抗自编码网络前还包括：对所述原始高光谱图像进行样本数量扩充。
进一步的，所述光谱域检测模块根据所述第二残差图像得到光谱域检测结果的过程包括：计算所述第二残差图像中各像素点的马氏距离，得到光谱域检测结果。
综上所述，由于采用了上述技术方案，本发明的有益效果是：
1、本发明利用了深度学习网络，与传统方法相比，具有强大的特征提取和表示能力，处理高光谱图像这种高维度且复杂的输入数据更具优势。
2、本发明针对高光谱图像训练数据匮乏的问题，采取了样本数量扩充的解决方案，能够很好地应用于缺乏大量有标记样本支持的高光谱异常目标检测任务中。
3、本发明通过空谱联合的方式，在利用光谱信息的同时考虑了包括纹理、结构等在内的空间特征和空间邻域信息，充分地利用了高光谱图像中蕴含的丰富的光谱特征和空间特征，减少了只考虑光谱信息时存在的标记不确定性，有助于改善检测图的椒盐外观；同时缓解了同谱异物、同物异谱所造成的检测误差，提高检测精度和算法的鲁棒性。
附图说明
本发明将通过例子并参照附图的方式说明，其中：
图1是基于空谱联合的高光谱异常目标检测***的***架构示意图。
图2是基于空谱联合的高光谱异常目标检测方法的工作流程示意图。
具体实施方式
本说明书中公开的所有特征，或公开的所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以以任何方式组合。
本说明书(包括任何附加权利要求、摘要)中公开的任一特征，除非特别叙述，均可被其他等效或具有类似目的的替代特征加以替换。即，除非特别叙述，每个特征只是一系列等效或类似特征中的一个例子而已。
实施例一
一种基于空谱联合的高光谱异常目标检测方法，包括以下流程：
A.对原始高光谱图像进行降维处理以得到降维后的图像。降维处理可以简化后续的计算、减轻后续网络发生过拟合的风险，同时能够降低波段间的冗余性以及滤去属于低频分量的噪声，使得后续检测更为精确。优选地，降维维数设置为变换后至少能够保留原始高光谱图像99.9％信息的波段数。
B.采用自编码网络提取所述降维后的图像中的背景空间特征并进行重构，得到重构后的空间域图像。
空间域特征提取与重构的过程是利用了异常目标在包括纹理、结构等空间特征上与背景区域具有差异性以及在空间维度上分布具有稀疏性的特性。考虑到训练样本的匮乏问题，在本实施例中，在提取原始高光谱图像中的背景空间特征前，还包括对样本数量进行扩充的过程。
C.将重构后的空间域图像和降维后的图像进行差值运算，得到第一残差图像，根据第一残差图像得到空间域检测结果。
第一残差图像为重构后的空间域图像和降维后的图像逐像素做差值运算得到。将第一残差图像沿光谱方向做平均，得到空间域检测结果。
D.采用对抗自编码网络提取所述原始高光谱图像中的背景光谱特征并进行重构，得到重构后的光谱域图像。
背景光谱特征提取与重构的过程利用了异常目标在光谱维度上与背景光谱的差异性、分布的稀疏性以及背景在光谱维度上的分布近似服从多元高斯分布的特性。同样的，考虑到训练样本的匮乏问题，在本实施例中，在提取原始高光谱图像中的背景光谱特征前，先对原始高光谱图像的样本数量进行扩充的过程。
E.将重构后的光谱域图像与原始高光谱图像进行差值运算，得到第二残差图像，根据所述第二残差图像得到光谱域检测结果。
第二残差图像为重构后的光谱域图像和原始高光谱图像逐像素做差值运算得到。计算所述第二残差图像中各像素点的马氏距离，得到光谱域检测结果。马氏距离进一步增强背景与异常目标像素之间的差异性。
F.加权融合所述空间域检测结果和所述光谱域检测结果，得到异常目标检测结果。
融合检测结果充分地利用了原始高光谱图像所蕴含的丰富的空间特征和光谱特征，减少了只考虑光谱特征时所存在的检测不确定性。优选地，考虑到高光谱图像具有光谱分辨率高、空间分辨率相对较低的特性，给光谱域检测结果赋予较大的权重，而空间域检测结果赋予较小的权重，即权重的设置范围应为
Figure BDA0003088881970000071
实施例二
本实施例公开了一种基于空谱联合的高光谱异常目标检测***，如图1所示，包括空间域特征提取与重构模块、空间域检测模块、光谱域特征提取与重构模块、光谱域检测模块以及检测结果融合模块，空间域特征提取与重构模块、空间域检测模块作为空间分支，光谱域特征提取与重构模块、光谱域检测模块作为光谱分支，空间域特征提取与重构模块的输出作为空间域检测模块的输入，光谱域特征提取与重构模块的输出作为光谱域检测模块的输入，光谱域检测模块和空间域检测模块的输出共同作为检测结果融合模块的输入，检测结果融合模块输出最终的目标检测结果。
空间域特征提取与重构模块对所述高光谱图像进行降维处理以得到降维后的图像；采用自编码网络提取所述降维后的图像中的背景空间特征并进行重构，得到重构后的空间域图像。在一些实施方式中，空间域特征提取与重构模块对原始高光谱图像进行降维处理，得到降维后的图像，对降维后的图像进行样本数量扩充，将样本输入自编码网络进行特征学习，并对学习的特征进行重构，得到重构后的空间域图像。
空间域检测模块用于将所述重构后的空间域图像和所述降维后的图像进行差值运算，得到第一残差图像，根据所述第一残差图像得到空间域检测结果。在一些实施例中，空间域检测模块将所述第一残差图像沿光谱方向做平均，得到空间域检测结果。
光谱域特征提取与重构模块用于采用对抗自编码网络提取所述原始高光谱图像中的背景光谱特征并进行重构，得到重构后的光谱域图像。在一些实施方式中，光谱域特征提取与重构模块在将所述原始高光谱图像输入对抗自编码网络前还包括：对所述原始高光谱图像进行样本数量扩充。
光谱域检测模块用于将所述重构后的光谱域图像与所述原始高光谱图像进行差值运算，得到第二残差图像，根据所述第二残差图像得到光谱域检测结果。在一些实施方式中，光谱域检测模块计算所述第二残差图像中各像素点的马氏距离，得到光谱域检测结果。
检测结果融合模块用于加权融合所述空间域检测结果和所述光谱域检测结果，得到异常目标检测结果，充分地利用了原始高光谱图像所蕴含的丰富的空间特征和光谱特征，减少了只考虑光谱特征时所存在的检测不确定性。优选地，考虑到高光谱图像具有光谱分辨率高、空间分辨率相对较低的特性，给光谱域检测结果赋予较大的权重，而空间域检测结果赋予较小的权重，即空间域检测结果赋予的权重设置范围应为
Figure BDA0003088881970000081
实施例三
如图2所示，本实施例公开了实施例一、二中的优选实施方式。
对于空间维度的处理分支，在本实施例中，采用无监督降维方法对原始高光谱图像的背景空间特征进行降维处理，优选地采用主成分分析对空间尺寸为M×N、光谱波段数为B的原始高光谱图像
Figure BDA0003088881970000082
做降维处理，以简化后续的计算、减轻后续网络发生过拟合的风险，同时能够降低波段间的冗余性以及滤去属于低频分量的噪声，使得后续检测更为精确。降维维数设置为变换后能够保留原始高光谱图像99.99％信息的波段数b。本发明中的无监督降维方法也可以采用独立成分分析、核主成分分析、核独立成分分析、流形学习等方法代替。
对于样本数量扩充的方法，优选地，本实施例采用分块的方式对降维后的高光谱图像
Figure BDA0003088881970000083
进行划分，将其划分为空间尺寸为m×n的数据作为自编码网络的输入，即对于每个高光谱图像有(M/m)×(N/n)个训练样本，大大扩充了数据集的容量。划分的前提条件是m×n远大于图像中异常目标的尺寸。也可以采用其他数据增强方法或自适应划分分块尺寸的方法代替该实施例中的数据分块法，或与数据分块联合使用以进一步扩充样本数量。
降维并分块划分后的高光谱数据
Figure BDA0003088881970000084
作为后续自编码网络的输入，自编码网络的结构包括第一编码器、第一解码器，利用了异常目标在空间分布上的稀疏性，即异常目标在空间维度上出现概率低、占比小，更多地提取到背景区域的空间特征，而抑制异常目标的空间特征，以此重构出的高光谱数据更接近背景的空间分布，即与背景区域的重构误差小而与异常区域的重构误差较大。
具体而言，降维并分块后的(M/m)×(N/n)个高光谱数据y′i依次作为第一编码器的输入，输出为编码后的数据
Figure BDA0003088881970000091
第一解码器的输入为第一编码器输出的数据xi，输出为重构后的高光谱数据
Figure BDA0003088881970000092
将第一解码器的输出按照划分的方式进行组合，可以得到重构后的空间域图像
Figure BDA0003088881970000093
Figure BDA0003088881970000094
优选地，第一编码器由两个卷积层构成，第一解码器则由两个反卷积层构成，所有的激活函数均采用ReLU函数。该自编码网络的loss函数采用huberloss函数，形式如下：
Figure BDA0003088881970000095
其中，δ是该loss函数的阈值参数。Huberloss函数在
Figure BDA0003088881970000096
时采用L1loss函数的形式以规避L2loss对异常点敏感的特性，使得自编码网络能够忽略异常目标，更好地学习到背景区域的空间特征。
优选地，网络在训练时采用Adam优化方法更新参数，同时可以采用Dropout等策略以减少对抗自编码网络过拟合的风险。
对于空间域检测结果，将重构后的空间域图像
Figure BDA0003088881970000097
与降维后的高光谱图像Y′逐像素做差值运算，得到第一残差图像
Figure BDA0003088881970000098
将第一残差图像沿光谱方向做平均，最终得到空间域检测结果
Figure BDA0003088881970000099
对于光谱维度的处理分支，在本实施例中，采用对抗自编码网络以重构背景的光谱分布，所述对抗自编码网络包括第二编码器、第二解码器和判别器。
其中第二编码器和第二解码器构成的自编码网络利用了异常目标分布的稀疏性，更多地提取到背景区域的光谱特征，而抑制异常目标的光谱特征，以此重构出的高光谱数据更接近背景的光谱分布，即与背景区域的重构误差小而与异常目标区域的重构误差较大；判别器则是给重构出的数据的光谱维度加上高斯分布的限制，以满足背景的光谱分布近似服从多元高斯分布的特性。自编码网络与判别器之间是一种对抗学习的方式，不同于传统的对抗生成网络，这种对抗发生在隐特征空间中，即第二编码器输出的编码向量作为负样本，高斯分布中采样得到的向量作为正样本，两者共同输入到判别器中，判别器的输出值范围为[0,1]，代表输入样本的正负概率。第二编码器作为生成器，尽可能地生成与正样本，即高斯分布采样出的样本相似的样本，而判别器则尽可能地判别出正样本和负样本。传统的对抗生成网络对输入数据集中的负样本比较敏感，但无监督的高光谱异常检测无法实现在训练时将数据集中的负样本剔除。因此，与传统的对抗生成网络相比，在编码空间进行对抗相当于将编码器作为一个学习能力较强的生成器使用，自带特征提取，降低噪声和负样本的干扰。
具体而言，为解决训练样本匮乏的问题，将原始高光谱图像，即维数为M×N×B的三维数据立方体Y，分解为M×N个维度为B×1的单像素光谱向量
Figure BDA0003088881970000101
即对每个原始高光谱图像有M×N个训练样本，大大扩充了训练数据集的容量，减小了网络发生过拟合的风险。第二编码器的输入为单个的单像素光谱向量yi，输出为编码向量
Figure BDA0003088881970000102
在本实施例中，优选地采用空间分支中主成分分析变换后保留99.99％的原始信息所对应的维数作为编码向量的维数b。第二解码器的输入为第二编码器的输出，即隐特征空间的编码向量zi，输出为重构后的单像素光谱向量
Figure BDA0003088881970000103
该重构后的单像素光谱向量
Figure BDA0003088881970000104
满足在背景像素点的重构误差较小，在异常目标像素点的重构误差较大。判别器的输入为高斯分布采样的向量构成的正样本
Figure BDA0003088881970000105
和编码向量构成的负样本zi，输出值位于[0,1]范围内，用以判别输入样本的正负概率，判别为负样本则输出接近0的值，判别为正样本则输出接近为1的值，训练的最优结果为判别器的输出值均接近0.5，即判别器此时难以分辨第二编码器生成的样本与高斯分布中采样的样本，此时可认为第二编码器生成的样本与高斯分布中采样的样本非常相似，达到了足以愚弄、干扰判别器做出正确判断的水平，使得判别器以随机猜测的方法做出相应的判断。优选地，第二编码器、第二解码器和判别器均采用全连接层构成，除判别器输出层使用sigmoid函数之外，其余激活函数全部采用leakyReLU函数。该对抗自编码网络的loss函数由重构loss函数和对抗loss函数构成，训练过程分为两个步骤交替训练：首先训练编码网络部分，使得重构loss函数值最小，重构loss函数采用MSE函数，具体形式如下：
Figure BDA0003088881970000111
其中，E和De分别代表第二编码器和第二解码器。
在训练对抗网络部分，分别交替训练更新判别器和生成器即第二编码器的参数，其中判别器用于判别正样本和负样本，即正态分布中采样得到的样本和编码向量，第二编码器用于混淆判别器，使其无法正确判别正样本和负样本。对抗网络部分的优化函数具体形式如下：
Figure BDA0003088881970000112
其中，E和D分别代表第二编码器和判别器。pdata表示原始数据的光谱分布。
优选地，网络在训练时采用Adam优化方法更新参数，同时可以采用Dropout等策略以减少对抗自编码网络过拟合的风险。
关于光谱域检测结果的计算，将对抗自编码网络重构出的M×N个单像素光谱向量
Figure BDA0003088881970000113
重新组合成
Figure BDA0003088881970000114
的形式，令
Figure BDA0003088881970000115
与原始高光谱图像Y逐像素做差值运算，得到第二残差图像
Figure BDA0003088881970000116
ΔY2中较大值所在的位置为异常像素点可能的位置，接近0的像素点为背景区域。接着计算第二残差图像ΔY2中各像素点的马氏距离，计算公式如下：
D＝(Δyi-μ)Γ-1(Δyi-μ)i＝1,…,M×N
其中
Figure BDA0003088881970000117
是第二残差图像ΔY2的第i个像素所对应的光谱向量，
Figure BDA0003088881970000118
是ΔY2的均值向量，Γ是ΔY2的协方差矩阵。马氏距离进一步增强背景与异常目标像素之间的差异性，最终得到光谱域检测结果
Figure BDA0003088881970000119
对于检测结果的融合过程，需要综合考虑空间域和光谱域两个维度上的检测结果，本实施例采用加权融合的方式融合两个分支的最终检测结果，形式如下：
D＝α×D1+(1-α)×D2α∈(0,1)
α为空间域检测结果配置的权重。优选地，考虑到高光谱图像具有光谱分辨率高、空间分辨率相对较低的特性，给光谱域的检测结果赋予较大的权重，而空间域的检测结果赋予较小的权重，即权重α的设置范围应为
Figure BDA0003088881970000121
需要说明的是，在本申请的描述中，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。
本发明并不局限于前述的具体实施方式。本发明扩展到任何在本说明书中披露的新特征或任何新的组合，以及披露的任一新的方法或过程的步骤或任何新的组合。

Claims (6)

1.一种基于空谱联合的高光谱异常目标检测方法，其特征在于，包括：
对原始高光谱图像进行降维处理以得到降维后的图像；
采用自编码网络提取所述降维后的图像中的背景空间特征并进行重构，得到重构后的空间域图像；
将所述重构后的空间域图像和所述降维后的图像进行差值运算，得到第一残差图像，将所述第一残差图像沿光谱方向做平均，得到空间域检测结果；
采用对抗自编码网络提取所述原始高光谱图像中的背景光谱特征并进行重构，得到重构后的光谱域图像；
将所述重构后的光谱域图像与所述原始高光谱图像进行差值运算，得到第二残差图像，计算所述第二残差图像中各像素点的马氏距离，得到光谱域检测结果；
加权融合所述空间域检测结果和所述光谱域检测结果，得到异常目标检测结果。
2.如权利要求1所述的基于空谱联合的高光谱异常目标检测方法，其特征在于，在提取所述降维后的图像中的背景空间特征前，还包括：
对所述降维后的图像进行样本数量扩充。
3.如权利要求1所述的基于空谱联合的高光谱异常目标检测方法，其特征在于，在提取所述原始高光谱图像中的背景光谱特征前，包括：
对所述原始高光谱图像进行样本数量扩充。
4.一种基于空谱联合的高光谱异常目标检测***，其特征在于，包括空间域特征提取与重构模块、空间域检测模块、光谱域特征提取与重构模块、光谱域检测模块以及检测结果融合模块，其中：
所述空间域特征提取与重构模块被配置为：对原始高光谱图像进行降维处理以得到降维后的图像；采用自编码网络提取所述降维后的图像中的背景空间特征并进行重构，得到重构后的空间域图像；
所述空间域检测模块被配置为：将所述重构后的空间域图像和所述降维后的图像进行差值运算，得到第一残差图像，将所述第一残差图像沿光谱方向做平均，得到空间域检测结果；
所述光谱域特征提取与重构模块被配置为：采用对抗自编码网络提取所述原始高光谱图像中的背景光谱特征并进行重构，得到重构后的光谱域图像；
所述光谱域检测模块被配置为：将所述重构后的光谱域图像与所述原始高光谱图像进行差值运算，得到第二残差图像，计算所述第二残差图像中各像素点的马氏距离，得到光谱域检测结果；
所述检测结果融合模块背配置为：加权融合所述空间域检测结果和所述光谱域检测结果，得到异常目标检测结果。
5.如权利要求4所述的基于空谱联合的高光谱异常目标检测***，其特征在于，所述空间域特征提取与重构模块在将所述降维后的图像输入自编码网络前还包括：对所述降维后的图像进行样本数量扩充。
6.如权利要求4所述的基于空谱联合的高光谱异常目标检测***，其特征在于，所述光谱域特征提取与重构模块在将所述原始高光谱图像输入对抗自编码网络前还包括：对所述原始高光谱图像进行样本数量扩充。
CN202110589580.2A 2021-05-28 2021-05-28 一种基于空谱联合的高光谱异常目标检测方法和*** Active CN113327231B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110589580.2A CN113327231B (zh) 2021-05-28 2021-05-28 一种基于空谱联合的高光谱异常目标检测方法和***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110589580.2A CN113327231B (zh) 2021-05-28 2021-05-28 一种基于空谱联合的高光谱异常目标检测方法和***

Publications (2)

Publication Number Publication Date
CN113327231A CN113327231A (zh) 2021-08-31
CN113327231B true CN113327231B (zh) 2022-10-14

Family

ID=77422091

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110589580.2A Active CN113327231B (zh) 2021-05-28 2021-05-28 一种基于空谱联合的高光谱异常目标检测方法和***

Country Status (1)

Country Link
CN (1) CN113327231B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114445720B (zh) * 2021-12-06 2023-06-20 西安电子科技大学 基于空谱深度协同的高光谱异常检测方法
CN114187517A (zh) * 2021-12-14 2022-03-15 广州赋安数字科技有限公司 一种融合视频监控和遥感的异常目标检测方法及***
CN115240074B (zh) * 2022-09-22 2023-08-11 山东锋士信息技术有限公司 一种基于协方差表示的高光谱图像分类方法及设备

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CH713630A1 (de) * 2017-03-28 2018-09-28 Bundesamt Fuer Zivilluftfahrt Lärmpegel-Simulationsverfahren sowie computerlesbares Medium und System dafür.

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10902581B2 (en) * 2017-06-19 2021-01-26 Apeel Technology, Inc. System and method for hyperspectral image processing to identify foreign object
CN108268890A (zh) * 2017-12-28 2018-07-10 南京信息工程大学 一种高光谱图像分类方法
CN109949278B (zh) * 2019-03-06 2021-10-29 西安电子科技大学 基于对抗自编码网络的高光谱异常检测方法
CN111695467B (zh) * 2020-06-01 2023-05-30 西安电子科技大学 基于超像素样本扩充的空谱全卷积高光谱图像分类方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CH713630A1 (de) * 2017-03-28 2018-09-28 Bundesamt Fuer Zivilluftfahrt Lärmpegel-Simulationsverfahren sowie computerlesbares Medium und System dafür.

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
基于多尺度空谱融合网络的高光谱图像分类;梁苗苗;《中国博士学位论文全文数据库 工程科技Ⅱ辑》;20180715(第7期);C028-7 *
基于谱域-空域结合的高光谱异常探测;雷武虎等;《光电技术应用》;20161015(第05期);36-41 *
结合空间域信息的高光谱图像分类方法;陈春种;《中国优秀硕士学位论文全文数据库 信息科技辑》;20151015(第10期);I140-228 *

Also Published As

Publication number Publication date
CN113327231A (zh) 2021-08-31

Similar Documents

Publication Publication Date Title
CN113327231B (zh) 一种基于空谱联合的高光谱异常目标检测方法和***
CN109636742B (zh) 基于对抗生成网络的sar图像和可见光图像的模式转换方法
CN110363215B (zh) 基于生成式对抗网络的sar图像转化为光学图像的方法
Pan Cloud removal for remote sensing imagery via spatial attention generative adversarial network
Touati et al. Anomaly feature learning for unsupervised change detection in heterogeneous images: A deep sparse residual model
CN110458192B (zh) 基于视觉显著性的高光谱遥感图像分类方法及***
CN111080678B (zh) 一种基于深度学习的多时相sar图像变化检测方法
CN110060273B (zh) 基于深度神经网络的遥感影像滑坡测图方法
CN110008948B (zh) 基于变分自编码网络的高光谱图像目标检测方法
CN112083422A (zh) 基于多级深度学习网络的单航过InSAR***端对端分类方法
CN111046800A (zh) 一种基于低秩与稀疏分解的高光谱图像异常目标检测方法
CN112766223B (zh) 基于样本挖掘与背景重构的高光谱图像目标检测方法
CN112115795B (zh) 一种基于Triple GAN的高光谱图像分类方法
CN112598708A (zh) 一种基于四特征融合和权重系数的高光谱目标跟踪方法
CN114764801A (zh) 基于多视觉显著特征的弱小舰船目标融合检测方法及装置
CN116934725A (zh) 一种基于无监督学习的铝箔封口密封性的检测方法
CN113222898B (zh) 基于多元统计量和深度学习的双航过sar图像痕迹检测方法
CN112784777B (zh) 基于对抗学习的无监督高光谱图像变化检测方法
CN107748885B (zh) 一种对模糊字符进行识别的方法
Ferreira et al. Ship detection in sar images using convolutional variational autoencoders
CN113421198A (zh) 一种基于子空间的非局部低秩张量分解的高光谱图像去噪方法
Zhou et al. Dim and small target detection based on their living environment
CN115731462A (zh) 基于多头自-交叉混合注意力的高光谱图像变化检测方法
CN111681156B (zh) 一种应用于无线传感器网络的深度压缩感知图像重构方法
CN113034543B (zh) 一种基于局部注意力机制的3D-ReID多目标追踪方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant