CN109919241A - 基于概率模型和深度学习的高光谱未知类别目标检测方法 - Google Patents

Abstract

本发明属于高光谱智能感知领域，公开了基于概率模型和深度学习的高光谱未知类别目标检测方法，其步骤为，S1:将高光谱训练数据输入到训练好的CNN分类模型，输出每种类别的所有样本的激活向量；S2:将所有属于同一类别且分类正确的样本的激活向量累加并求均值，得到均值激活向量，用该均值激活向量代表该类别的中心；S3:基于每一类别中所有样本的激活向量及该类别的均值激活向量拟合属于每一种类别的威布尔模型；S4:基于每个类别的威布尔拟合结果，把高光谱测试数据输入到CNN模型和概率模型组成网络，计算属于未知类别的概率；本发明结构清晰、易于实现，降低了神经网络学习模型的训练要求，能够明显提升未知类别目标检测的效果。

Description

基于概率模型和深度学习的高光谱未知类别目标检测方法

技术领域

本发明主要涉及到高光谱智能感知领域，特指一种基于概率模型和深度学习的高光谱未知类别目标检测方法。

背景技术

高光谱数据表征了地物分布的二维信息和描述地物光谱特性的一维信息，其光谱分辨达到纳米级，为每个像素提供数十到数百个波段的光谱信息，能够产生一条完整而连续的光谱曲线。相对于可见光和多光谱，高光谱具有更加丰富的地物光谱信息，可以详细反映待测地物细微的光谱属性。人们根据不同的待测地物之间光谱特性的差异，运用计算机或专用设备运行分类和识别程序为每个像素分配用于类别标记的标号，将待测地物划分为多个不同类别的区域，这称为高光谱图像分类和识别。高光谱图像分类和识别分为有监督分类识别和无监督分类识别(包含半监督分类)两种。

基于深度学习的高光谱图像分类和识别方法大部分属于有监督的分类和识别。其思想是通过有标签的高光谱图像数据对深度神经网络进行训练，然后使用训练好的深度神经网络对高光谱图像进行分类和识别。由于实际环境的复杂性和动态性，在使用训练好的深度神经网络对高光谱图像分类的过程中必然会遇到在训练样本中没有的类别。我们定义在分类和识别过程中输入的但是不属于训练样本中的任何一个类别的目标称为高光谱未知类别目标。高光谱未知类别目标检测就是确定高光谱未知类别目标的位置和大小。通过未知目标检测，确定未知目标位置和大小，进而达到识别未知类别目标的目的。

目前利用深度神经网络实现对未知类别目标的检测大部分是依靠神经网络的SoftMax层，当SoftMax层计算出的属于各已知类别的概率小于给定的阈值，判定为未知类别目标。但是仅仅依靠SoftMax层的计算结果判断识别未知类别目标识别和检测的精度差。

高光谱未知类别目标的检测还可以使用高光谱异常目标检测技术。高光谱图像的异常目标检测是指高光谱的数据立方体中搜索未知光谱形状的稀疏像素。异常目标检测不需要光谱的任何先验信息。在高光谱异常目标检测领域有一些成果和专利。对比文件1(中国发明专利，申请号：CN201510593935)提出一种基于稀疏表示理论基础上的稀疏RX异常目标检测算法。该算法先利用空间预处理方法使高光谱图像目标信息相比于背景信息更加突出，再利用双边滤波方法滤出噪声干扰对高光谱图像的影响；然后利用稀疏表示理论计算高光谱图像的稀疏差异指数，再利用稀疏差异指数重构一个高光谱图像数据向量，最后利用RX方法进行异常目标检测，得到异常目标检测的结果。该专利算法的检测精度、虚警率和鲁棒性等有了一定程度的改善，改进了RX异常检测算法的性能。但是计算相对复杂，整个算法运行时间较长。

总体而言，目前在高光谱未知类别目标检测领域的有效方法较少。深度神经网络只使用SoftMax层检测未知类别目标，其检测和识别精度不高。虽然高光谱异常目标检测算法也可以用于高光谱未知类别目标检测，但是其计算比较复杂，运行时间较长。本发明提出一种基于概率模型和深度学习的高光谱未知类别目标检测方法，在深度神经网络的SoftMax层之前引入一个概率模型计算层(威布尔概率计算)，在训练时对CNN网络输出的激活向量与每种已知类别的均值激活向量之间距离的分布进行建模，确定已知类别的目标所属的概率模型参数。在实际使用时，将CNN网络的激活向量输入到上述已有的概率模型中，使用已有的概率模型衡量该向量与所有已知类别的均值激活向量之间的距离，并判断该激活向量是否属于未知类别目标。本发明解决了深度神经网络只使用SoftMax层检测未知类别目标检测精度不高的问题，提高了高光谱未知类目标检测的效率和精度。

发明内容

高光谱分类和识别***在分类和识别过程中输入的不属于训练样本中的任何一个类别的目标称为高光谱未知类别目标。确定高光谱未知类别目标的位置和大小称为高光谱未知类别目标检测。高光谱异常目标检测也可以用来检测未知类别目标，但是很多异常目标检测算法计算复杂，运算时间太长。深度神经网络仅仅使用SoftMax层检测未知类别目标检测精度不高，不能有效检测和识别合成的欺骗图像。

本发明正是针对上面所述的问题和特点，在深度神经网络的倒数第一层(SoftMax层)和倒数第二层(CNN分类模型输出激活的层)之间引入威布尔概率模型计算层。用训练时分类正确的样本建立的威布尔概率模型，对CNN输出的激活向量计算属于各已知类和属于未知类的概率，根据计算结果进行分类，该发明能够有效提高高光谱未知类别目标检测效率和精度。

基于概率模型和深度学习的高光谱未知类别目标检测方法，其步骤为：

S1:将高光谱训练数据输入到训练好的CNN分类网络进行分类，分类输出结果是每种类别的所有样本的激活向量,并将CNN分类模型输出的激活向量表示为v(x)＝(v₁(x),v₂(x),...,v_N(x))，其中v₁(x),v₂(x)...v_N(x)是激活向量的元素或分量；

S2:将所有属于同一类别且分类正确的样本的激活向量累加并求均值，得到均值激活向量，用该均值激活向量代表该类别的中心，其中，第i个输入样本经过CNN网络后被正确分类为第j类，第i个输入样本表示为x_i,j，样本x_i,j经CNN模型处理后输出的激活向量表示为v_j(x_i,j)，取s_i,j＝v_j(x_i,j),训练样本中被正确分类为第j类的训练样本的数量是N₁，求j类激活向量的均值向量公式是：

公式中∑是求和，对N₁个第j类的激活矢量求和，除以N₁得到平均激活向量，这样计算N次，求得N个类的平均激活向量；

S3:基于样本的激活向量及每一类别的均值激活向量拟合出属于每一类的威布尔(Weibull)概率模型，拟合结果为每一类的威布尔(Weibull)概率模型的位置参数τ_j、比例参数λ_j、形状参数κ_j；

其中，威布尔分布的概率密度函数为式中，λ_j是比例参数，κ_j是形状参数，τ_j是位置参数，x是随机变量；

其中，第j类激活向量的τ_j,κ_j,λ_j可利用利用python语言libMR库里面的FitHigh函数计算得到，其计算方法为：

首先，利用S2中计算得到的平均激活向量μ_j计算最远距离η_j，η_j是第j类的所有激活向量到平均激活向量μ_j距离中的最大值；

进而，通过平均激活向量计算归一化向量是激活向量s_i,j减去平均激活向量μ_j再除以第j类激活向量的方差得到；

最后，使用计算得到的数值调用python语言libMR库里面的FitHigh函数计算出j类的τ_j,κ_j,λ_j，其中，j＝1,...,N；τ_j,κ_j,λ_j的计算公式是并把计算得到的参数τ_j,κ_j,λ_j保存；

S4:基于每个类别的威布尔(Weibull)拟合结果，将新的高光谱测试数据的激活向量输入到每一类的威布尔分布模型，并计算属于未知类别的概率，具体步骤如下：

(4a)测试数据经过CNN网络处理后输出的激活向量是v(x)＝(v₁(x),v₂(x),...,v_N(x))，对激活向量v(x)＝v₁(x),v₂(x),...,v_N(x)的所有分量按照从小到大顺序返回各分量在激活向量中的位置下标，其中，s(i)＝argsort(v_j(x))表示对激活向量分量v_j(x)的分量按照从小到大排序，并返回分量下标号,s(i)是v_j(x)下标号，预设调整系数ω_j＝1，且j＝1,2,3...N；

(4b)对α个顶级的类别进行调整,计算调整系数，其计算方式为：

式中，i的取值是1,2，...,α；τ_s(i)、λ_s(i)、κ_s(i)表示第s(i)类的位置参数、比例参数、形状参数，ω_s(i)(x)是计算后的调整系数，由计算后α个调整系数ω_s(i)(x)，s(i)＝1,2,...,α和其余N-α个没有调整的ω_j，其中，ω_j＝1，j＝α+1,α+2,...,N，共N个分量组成调整向量ω(x)＝(ω₁(x),ω₂(x),...,ω_α(x),1,...,1)^T,T表示向量转置；

(4c)使用(4b)计算得到的调整向量ω(x)对激活向量进行调整，调整方式如下：

式中，表示两向量相乘，两个向量对应元素相乘得到新向量对应元素，v(x)＝(v₁(x),v₂(x),...,v_N(x))是激活向量，ω(x)是调整系数构成的调整向量，v(x)和ω(x)进行向量乘后得到调整的激活向量

(4d)计算未知类别激活调整分量

式中，∑表示求和,i的取值从1到α,v_i(x)是激活向量的第i个元素或分量,ω_i(x)是调整系数，计算结果是

(4e)运用SoftMax函数，以和作为输入计算输入的测试数据属于未知类别目标的概率，其中，属于第j个类别概率的计算公式为：

式中，j的取值范围是0到N,表示对调整后的激活向量的分量求e为底的指数后相加，输入测试样本属于第j类的概率等于调整后的激活向量的第j个激活分量取e为底的指数后除以这样计算出N+1个概率；

取N+1个概率中的最大概率的类别编号：

y*＝argmaxj P(y＝j|x),j＝0,1,2,...,N

式中，argmaxj表示取N+1个概率中最大值的类别编号，j＝0是未知目标类别编号；如果最大概率类别号等于0，即y*＝0，或者最大概率小于阈值ε,用概率表示是P(y＝y*|x)<ε，那么判定测试输入x属于未知类别目标。

其中，S1到S3是用训练数据建立各个已知类别的概率模型，可基于训练集以离线(Offline)的形式计算，并保存计算结果。S4用建立好的概率模型对输入数据检测未知类别目标，以在线(Online)的形式对测试数据实时处理。

与现有技术相比，本发明的优点在于：

1、本发明引入了统计学上威布尔分布(Weibull分布)，在深度神经网络SoftMax层前面加入威布尔概率模型计算层，使神经网络更适用于开放集识别应用；此外，本发明在对目标分类同时对未知类目标进行检测，提高了未知类别目标检测的效率和精度。

2、本发明降低了神经网络学习模型的训练要求；本发明把深度学习应用到高光谱未知目标识别领域，拓宽了深度学习应用领域。

附图说明

图1是本发明高光谱未知目标检测框架流程图；

图2是本发明高光谱未知目标检测算法S1到S3(建立概率模型部分)示意图；

图3是本发明高光谱未知目标检测算法S4(检测未知目标部分)示意图。

具体实施方式

以下将结合说明书附图和具体实施实例对本发明做进一步详细说明。

图1示出了未知类别目标检测的整体流程图，将高光谱训练数据输入到训练好的CNN分类模型，将CNN分类模型的最后一层全连接层的输出作为每种类别的样本的激活向量。对每个类别中分类正确的样本的激活向量累加并计算均值，用均值激活向量对类别进行表征。用激活向量及每一类别的均值激活向量拟合出属于每一类的威布尔(Weibull)概率模型，拟合结果为威布尔(Weibull)概率模型的位置参数τ_j、比例参数λ_j、形状参数等κ_j。基于每个类别的威布尔(Weibull)拟合结果，把新的高光谱测试数据的激活向量输入到每一类的威布尔分布模型，计算属于未知类别的概率。

图2是S1到S3建立概率模型时训练部分计算流程所示，该过程仅依赖于训练集，因此可以预先计算。

S1:将高光谱训练数据输入到训练好的CNN分类网络进行分类，分类输出结果是每种类别的所有样本的激活向量,并将CNN分类模型输出的激活向量表示为v(x)＝(v₁(x),v₂(x),...,v_N(x))，其中v₁(x),v₂(x)...v_N(x)是激活向量的元素或分量；

S2将所有属于同一类别且分类正确的样本的激活向量累加并求均值，得到均值激活向量，用该均值激活向量代表该类别的中心，其中，第i个输入样本经过CNN网络后被正确分类为第j类，第i个输入样本表示为x_i,j，样本x_i,j经CNN模型处理后输出的激活向量表示为v_j(x_i,j)，取s_i,j＝v_j(x_i,j),训练样本中被正确分类为第j类的训练样本的数量是N₁，求j类激活向量的均值向量公式是：

公式中∑是求和，对N₁个第j类的激活矢量求和，除以N₁得到平均激活向量，这样求得N个类的平均激活向量。

为了实现高光谱未知类别检测功能，概率模型借鉴了元识别(Meta-Recognition)的理论，即借助极值理论(Extreme Value Theorem，简称EVT)对CNN的输出激活向量进行分析。该定理阐述了一个概率分布的极值所具有的统计学特点，同时定义了三种分布函数对这种特点进行数学建模，其中威布尔(Weibull)分布符合未知类别目标检测这一应用场景。在计算每一种类别的威布尔(Weibull)模型时，模型参数的获取可以利用python语言libMR库里面的FitHigh函数完成模型的拟合，计算模型参数。

S3:基于样本的激活向量及每一类别的均值激活向量拟合出属于每一类的威布尔(Weibull)概率模型，拟合结果为每一类的威布尔(Weibull)概率模型的位置参数τ_j、比例参数λ_j、形状参数κ_j；

其中，威布尔分布的概率密度函数为式中，λ_j是比例参数，κ_j是形状参数，τ_j是位置参数，x是随机变量；

其中，第j类激活向量的τ_j,κ_j,λ_j可利用利用python语言libMR库里面的FitHigh函数计算得到，其计算方法为：

首先，利用S2中计算得到的平均激活向量μ_j计算最远距离η_j，η_j是第j类的所有激活向量到平均激活向量μ_j距离中的最大值；

进而，通过平均激活向量计算归一化向量是激活向量s_i,j减去平均激活向量μ_j再除以第j类激活向量的方差得到；

最后，使用计算得到的数值调用python语言libMR库里面的FitHigh函数计算出j类的τ_j,κ_j,λ_j，其中，j＝1,...,N；τ_j,κ_j,λ_j的计算公式是并把计算得到的参数τ_j,κ_j,λ_j保存；

图3示出了检测未知目标部分计算流程，由于该过程涉及到真实数据的处理，因此需要在线完成计算，这一步对应的是计算机视觉中的推理步骤。这个算法中未知类别目标的下标索引是0。如图所示，检测部分的输入为CNN的输出激活向量(即测试数据的激活向量)以及在前面部分中计算的每种类别的威布尔(Weibull)模型参数。

S4:基于每个类别的威布尔(Weibull)拟合结果，将新的高光谱测试数据的激活向量输入到每一类的威布尔分布模型，并计算属于未知类别的概率，具体步骤如下：

(4a)测试数据经过CNN网络处理后输出的激活向量是v(x)＝(v₁(x),v₂(x),...,v_N(x))，对激活向量v(x)＝v₁(x),v₂(x),...,v_N(x)的所有分量按照从小到大顺序返回各分量在激活向量中的位置下标，其中，s(i)＝argsort(v_j(x))表示对激活向量分量v_j(x)的分量按照从小到大排序，并返回分量下标号,s(i)是v_j(x)下标号，预设调整系数ω_j＝1，且j＝1,2,3...N；

(4b)对α个顶级的类别进行调整,计算调整系数，其计算方式为：

式中，i的取值是1,2，...,α；τ_s(i)、λ_s(i)、κ_s(i)表示第s(i)类的位置参数、比例参数、形状参数，ω_s(i)(x)是计算后的调整系数，由计算后α个调整系数ω_s(i)(x)，s(i)＝1,2,...,α和其余N-α个没有调整的ω_j，其中，ω_j＝1，j＝α+1,α+2,...,N，共N个分量组成调整向量ω(x)＝(ω₁(x),ω₂(x),...,ω_α(x),1,...,1)T,T表示向量转置；

(4c)使用(4b)计算得到的调整向量ω(x)对激活向量进行调整，调整方式如下：

式中，表示两向量相乘，两个向量对应元素相乘得到新向量对应元素，v(x)＝(v₁(x),v₂(x),...,v_N(x))是激活向量，ω(x)是调整系数构成的调整向量，v(x)和ω(x)进行向量乘后得到调整的激活向量

(4d)计算未知类别激活调整分量

式中，∑表示求和,i的取值从1到α,v_i(x)是激活向量的第i个元素或分量,ω_i(x)是调整系数，计算结果是

(4e)运用SoftMax函数，以和作为输入计算输入的测试数据属于未知类别目标的概率，其中，属于第j个类别概率的计算公式为：

式中，j的取值范围是0到N,表示对调整后的激活向量的分量求e为底的指数后相加，输入测试样本属于第j类的概率等于调整后的激活向量的第j个激活分量取e为底的指数后除以这样计算出N+1个概率；

取N+1个概率中的最大概率的类别编号：

y*＝argmaxj P(y＝j|x),j＝0,1,2,...,N

式中，argmaxj表示取N+1个概率中最大值的类别编号，j＝0是未知目标类别编号；如果最大概率类别号等于0，即y*＝0，或者最大概率小于阈值ε,用概率表示是P(y＝y*|x)<ε，那么判定测试输入x属于未知类别目标。

在上述计算过程中，使用python语言中的joblib库完成所有中间数据的存储，包括威布尔(Weibull)分布的模型参数以及所有类别的平均激活向量(MAV)等。

以上所述仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (1)

1.基于概率模型和深度学习的高光谱未知类别目标检测方法，其特征在于：包括如下步骤：

S1:将高光谱训练数据输入到训练好的CNN分类网络进行分类，分类输出结果是每种类别的所有样本的激活向量,并将CNN分类模型输出的激活向量表示为v(x)＝(v₁(x),v₂(x),...,v_N(x))，其中v₁(x),v₂(x)...v_N(x)是激活向量的元素或分量；

S2:将所有属于同一类别且分类正确的样本的激活向量累加并求均值，得到均值激活向量，用该均值激活向量代表该类别的中心，其中，第i个输入样本经过CNN网络后被正确分类为第j类，第i个输入样本表示为x_i,j，样本x_i,j经CNN模型处理后输出的激活向量表示为v_j(x_i,j)，取s_i,j＝v_j(x_i,j),训练样本中被正确分类为第j类的训练样本的数量是N₁，求j类激活向量的均值向量公式是：

公式中∑是求和，对N₁个第j类的激活矢量求和，除以N₁得到平均激活向量，这样计算N次，求得N个类的平均激活向量；

S3:基于样本的激活向量及每一类别的均值激活向量拟合出属于每一类的威布尔概率模型，拟合结果为每一类的威布尔概率模型的位置参数τ_j、比例参数λ_j、形状参数κ_j；

其中，威布尔分布的概率密度函数为式中，λ_j是比例参数，κ_j是形状参数，τ_j是位置参数，x是随机变量；

其中，第j类激活向量的τ_j,κ_j,λ_j可利用利用python语言libMR库里面的FitHigh函数计算得到，其计算方法为：

首先，利用S2中计算得到的平均激活向量μ_j计算最远距离η_j，η_j是第j类的所有激活向量到平均激活向量μ_j距离中的最大值；

进而，通过平均激活向量计算归一化向量 是激活向量s_i,j减去平均激活向量μ_j再除以第j类激活向量的方差得到；

最后，使用计算得到的μ_j,η_j,数值调用python语言libMR库里面的FitHigh函数计算出j类的τ_j,κ_j,λ_j，其中，j＝1,...,N；τ_j,κ_j,λ_j的计算公式是并把计算得到的参数τ_j,κ_j,λ_j保存；

S4:基于每个类别的威布尔拟合结果，将新的高光谱测试数据的激活向量输入到每一类的威布尔分布模型，并计算属于未知类别的概率，具体步骤如下：

(4a)测试数据经过CNN网络处理后输出的激活向量是v(x)＝(v₁(x),v₂(x),...,v_N(x))，对激活向量v(x)＝v₁(x),v₂(x),...,v_N(x)的所有分量按照从小到大顺序返回各分量在激活向量中的位置下标，其中，s(i)＝argsort(v_j(x))表示对激活向量分量v_j(x)的分量按照从小到大排序，并返回分量下标号,s(i)是v_j(x)下标号，预设调整系数ω_j＝1，且j＝1,2,3...N；

(4b)对α个顶级的类别进行调整,计算调整系数，其计算方式为：

式中，i的取值是1,2，...,α；τ_s(i)、λ_s(i)、κ_s(i)表示第s(i)类的位置参数、比例参数、形状参数，ω_s(i)(x)是计算后的调整系数，由计算后α个调整系数ω_s(i)(x)，s(i)＝1,2,...,α和其余N-α个没有调整的ω_j，其中，ω_j＝1，j＝α+1,α+2,...,N，共N个分量组成调整向量ω(x)＝(ω₁(x),ω₂(x),...,ω_α(x),1,...,1)^T,T表示向量转置；

(4c)使用(4b)计算得到的调整向量ω(x)对激活向量进行调整，调整方式如下：

式中，表示两向量相乘，两个向量对应元素相乘得到新向量对应元素，v(x)＝(v₁(x),v₂(x),...,v_N(x))是激活向量，ω(x)是调整系数构成的调整向量，v(x)和ω(x)进行向量乘后得到调整的激活向量

(4d)计算未知类别激活调整分量

式中，∑表示求和,i的取值从1到α,v_i(x)是激活向量的第i个元素或分量,ω_i(x)是调整系数，计算结果是

(4e)运用SoftMax函数，以和作为输入计算输入的测试数据属于未知类别目标的概率，其中，属于第j个类别概率的计算公式为：

式中，j的取值范围是0到N,表示对调整后的激活向量的分量求e为底的指数后相加，输入测试样本属于第j类的概率等于调整后的激活向量的第j个激活分量取e为底的指数后除以这样计算出N+1个概率；

取N+1个概率中的最大概率的类别编号：

y^*＝argmaxj P(y＝j|x),j＝0,1,2,...,N

式中，argmaxj表示取N+1个概率中最大值的类别编号，j＝0是未知目标类别编号；如果最大概率类别号等于0，即y^*＝0，或者最大概率小于阈值ε,用概率表示是P(y＝y^*|x)<ε，那么判定测试输入x属于未知类别目标。