CN115410088B - 一种基于虚拟分类器的高光谱图像领域自适应方法 - Google Patents

Abstract

本发明公开了一种基于虚拟分类器的高光谱图像领域自适应方法，其用于无监督高光谱图像分类任务。首先，通过基于空‑谱近邻图的图卷积网络来提取高光谱图像的领域不变特征；然后，构建一个基于特征相似性度量的虚拟分类器来输出目标域样本的类别概率；此外，通过最小化真实和虚拟分类器之间的分歧，以使不同领域但具有相似特征的像素被分为同一个类别；最后，通过构造一个软原型对比损失并将其最小化，以对齐不同领域特征相似的样本且使不相似的样本互相远离。

Description

一种基于虚拟分类器的高光谱图像领域自适应方法

技术领域

本发明属于高光谱遥感图像处理技术领域，具体涉及一种基于虚拟分类器的软实例级的高光谱图像领域自适应方法。

背景技术

高光谱图像(HSI)包含了能反映地物反射特性的上百个光谱波段，对HSI进行分析能够发现传统视觉难以发现的信息。与多光谱遥感图像相比，HSI不仅在光谱信息的丰富程度上有了极大的提高，也为能够进行更为合理、有效的分析处理技术提供了可能。因此，HSI技术不仅引起了遥感界的关注，同时也引起了其它领域(如城市发展、环境检测、医学、农学、食品)的极大兴趣。HSI分类旨在根据地物独有的光谱特征对每个像素的地物进行分类。然而，标记HSI通常需要专家花费大量时间和精力，这使得只有很少或没有标记像素可用于训练模型。一种合理的解决方案是利用在不同条件下捕获的充分标记和相关的HSI来帮助学习更准确的分类器。另外，由于拍摄条件的多样性(例如大气条件、土壤湿度、光照条件等)导致的光谱偏移，传统的分类方法无法取得令人满意的结果。为此，众多领域自适应方法被应用于多时相和跨场景的HSI分类任务中。领域自适应旨在借助一个包含大量标记像素的HSI(源域)来帮助提高少标记或无标记的HSI(目标域)的分类精度。

随着深度学习的快速发展，深度神经网络凭借其强大的特征提取能力被广泛应用于领域自适应，能够帮助改善传统领域自适应方法在面对HSI迁移任务时因有限的非线性映射能力而面临的欠适配问题。如利用来自辅助数据源的标记HSI数据来最小化跨域类内样本与类间样本在潜在空间中的距离比，对两个域的分布进行适配。再如考虑HSI 不同地物之间潜在的拓扑关系，用卷积神经网络提取的特征来动态构建图，通过图最优传输和最大均值差异(MMD)分别对两个域的拓扑关系和特征分布进行适配。

生成对抗网络在许多领域都有出色的表现，它独特的对抗机制也被应用于领域自适应。例如域对抗神经网络(DANN)，通过特征提取器与领域判别器之间的对抗，特征提取器最终可以提取出两个域的域不变特征。然而，DANN主要是对整个源域和目标域分布进行适配，没有考虑数据分布背后复杂的多模结构。再如多对抗领域自适应(MADA) 来捕获数据的多模式结构，实现基于多个领域判别器的不同数据分布的细粒度适配。将这种类级对抗适应网络引入HSI分类任务，提出类级分布适应网络，在MADA的基础上，将基于概率预测MMD方法与类级对抗适应相结合，实现了HSI更精细的无监督分类。然而，使用多个领域判别器会大量增加网络的参数，导致网络的训练需要大量的时间。例如将图神经网络(GNN)和类级相关性对齐(CORAL)引入HSI无监督领域自适应任务中，GNN作为特征提取器，不仅考虑光谱波段之间的信息，还考虑近邻节点之间的关系，同时将联合CORAL领域适应策略引入GNN，用较少的网络参数实现了域级和类级的领域适应。

样本级的信息会比类级的信息更加精细，最近有许多工作通过利用样本级别的相似性来更精细的对跨域样本进行适配。例如，一种基于实例级亲和力的领域自适应方法，通过使用多样本对比损失识别源域和目标域之间的成对相似性关系来执行样本级亲和力感知迁移，成功利用样本级相似性的形式来更精细的改进领域自适应的过程。再如，通过设计基于图的特征传播模块，将样本级和类级结构信息整合到两个邻域，来缓解在潜在空间中样本级和类级的数据结构可能在对抗学***衡和数据隐私的问题。

然而，上述类级和实例级领域自适应方法有两大局限性，不能直接应用于HSI迁移任务。一方面，它们中的大多数都是通过最小化潜在空间中两个域的相似样本之间的统计距离来减少领域偏移。这些操作的一个直观前提是，如果目标域样本在潜在空间中接近某一类源域簇，则它们应该属于同一类。然而，在不同拍摄条件下获得的高光谱图像往往存在光谱特征偏移现象，从而导致具有相似光谱特征的像素可能属于不同的类别。另一方面，这些方法大多都依赖于伪标签的准确性。不幸的是，伪标签不可能完全可靠，噪声伪标签会导致不相关类之间的负迁移。

发明内容

发明目的：针对上述现有技术，提出一种基于虚拟分类器的软实例级的高光谱图像领域自适应方法。

技术方案：一种基于虚拟分类器的高光谱图像领域自适应方法，包括如下步骤：

步骤1：利用高光谱图像的光谱向量和空间坐标构建空-谱近邻图，并将光谱向量和空-谱近邻图联合输入到图卷积网络中，从而得到高光谱图像的高层特征，所述高层特征包括源域高层特征和目标域高层特征；

步骤2：构建一个基于特征相似性度量的虚拟分类器来输出目标域样本的类别概率，通过最小化真实和虚拟分类器的确定性差异损失来增强真实和虚拟分类器的预测一致性，以使不同领域但具有相似特征的像素被分为同一个类别；

步骤3：为目标域样本的正负样本分配置信系数，构造一个软原型对比损失并将其最小化，以对齐不同领域特征相似的样本且使不相似的样本互相远离；

步骤4：通过领域对抗策略减少两个领域的整体分布差异。

进一步的，所述步骤1中，给定源域高光谱图像及其对应空间坐标/>其中，/>为第i个源域样本，/>和/>分别为第i个源域样本的横纵坐标，/>n^(S)为源域样本总数，b为特征维度；定义一个无向图G^(S)＝(V^(S)，A^(S))，其中V^(S)为节点/>的集合，每个节点/>表示一个像素的特征向量；/>为一个对称且稀疏的近邻矩阵，其矩阵元素/>表示连接节点/>和/>的边的权重；定义度矩阵/>其中/>为第i行近邻矩阵A^(S)的和；每个节点选择与之相似度最大的k个节点作为其近邻，并用高斯核函数来度量节点之间的相似度，则/>被定义为：

式中，为/>近邻点的集合，σ为高斯核函数的带宽，dist(·，·)为距离度量函数，此处采用空-谱距离/>表示为：

式中，为两个节点的光谱向量之间的欧式距离，为两个节点的空间坐标之间的欧式距离，ψ为控制光谱距离和空间距离相对重要程度的权重因子；若两节点越相似，则/>越小，/>越大；对近邻矩阵A^(S)进行规范化处理：

式中，I为单位矩阵，为(A^(S)+I)对应的度矩阵；规范化操处理得到的/>每行的和与每列的和均为1，则第(m+1)层图卷积网络提取到的特征表示为：

式中，φ(·)为修正线性单元，H^(S)m+1和H^(S)m分别表示图卷积网络第(m+1)层的输出和输入特征，H^(S)0＝X^(S)；W^m为图卷积网络第m层的滤波器矩阵；最终，经过图卷积网络提取的源域高层特征表示为：

式中，为特征提取器，θ_F为特征提取器的网络参数。

进一步的，所述步骤2中，虚拟分类器能够输出目标域样本与源域每类原型的特征相似度；首先计算一个相似度矩阵其中n^(T)是目标域的样本总数，n^C是类别总数；

表示第i个目标域样本与源域第j类原型的特征相似度；源域类原型的计算方式为：

式中，为源域第c类样本，/>为源域第c类样本总数；利用修改后的归一化的逆欧氏距离来计算目标域样本与源域每类原型的特征相似度：

式中，为最小-最大归一化后的欧式距离，/>为目标域高层特征；虚拟分类器的输出表示为：

式中， 表示虚拟分类器对第i个目标域样本的类别概率预测；

真实分类器对第i个目标域样本的类别预测表示为：

式中，为真实分类器，θ_C为真实分类器的网络参数，/>为第i个目标域样本，/>为softmax的概率输出；最小化以下目标函数：

式中，表示为交叉熵损失，/>为第i个源域样本的类别标签，/>为真实分类器将第i个源域样本分到第c类的概率；构建预测相关矩阵：

式中，为真实分类器将第i个目标域样本分到第j类的概率，j＝1，2...n^C；为虚拟分类器将第i个目标域样本分到第j类的概率，j＝1，2...n^C，最大化/>的对角线上的元素并最小化剩余的元素，定义真实和虚拟分类器的确定性差异损失：

式中，表示/>的第m行和第n列的元素，/>

进一步的，所述步骤3中，使用相似度矩阵来计算软原型对比损失；将与目标域样本相似度最高的源域类原型作为正样本其中/>[·]_v表示第v个元素；其余的源域类原型作为负样本，真实分类器的输出/>作为正负样本对相似度的置信系数；软原型对比损失表示为：

式中，是目标域样本和正样本之间的相似度，/>是真实分类器将目标域样本分配给第v类的概率，将/>作为/>是/>正样本的置信系数。

进一步的，所述步骤4中，领域对抗策略通过领域判别器和特征提取器之间的对抗来实现；领域判别损失定义为：

式中，为二元交叉熵损失，d_i为样本x_i的对应领域标签，/>为领域判别器，θ_D为领域判别器的网络参数；在领域判别器和特征提取器之间添加梯度反转层，梯度反转层没有可更新的网络参数，只定义了前向和后向传播的计算规则：

R(x)＝x

式中，R(x)为梯度反转层的伪函数，x为梯度反转层的输入，λ为适应参数，λ从0逐渐变化为1，定义为：

式中，α为决定λ从0到1的增长速度的参数，ρ∈[0，1]是当前迭代次数与总迭代次数的比率。

有益效果：基于对抗学习的高光谱图像领域自适应方法通常通过最小化不同高光谱图像中相似像素之间的统计距离来适应概率分布。然而，在不同拍摄条件下获得的高光谱图像往往存在光谱特征偏移现象，从而导致具有相似光谱特征的像素可能属于不同的类别。因此，直接减少潜在空间中相似像素的统计距离将加剧像素误分。为此，本发明提出了一种基于虚拟分类器的软实例级领域自适应方法，并将其用于无监督高光谱图像分类任务。本发明的主要优点：(1)构建一个基于特征相似度度量的虚拟分类器，以输出目标域样本的类别概率作为辅助变量。通过最小化真实和虚拟分类器的确定性差异损失，鼓励具有相似特征的跨域样本归为同一类，从而增强隐藏层特征的可判别性；(2) 为了减少噪声伪标签的影响，将置信系数分配给目标域像素的正样本和负样本。这不仅会减少潜在空间中相似样本之间的距离，还会增强目标域样本的预测确定性。

附图说明

图1是本发明方法的流程图。

具体实施方式

下面结合附图对本发明做更进一步的解释。

如图1所示，一种基于虚拟分类器的高光谱图像领域自适应方法，包括如下步骤：

步骤1：利用高光谱图像的光谱向量和空间坐标构建空-谱近邻图，并将光谱向量和空-谱近邻图联合输入到图卷积网络中，从而得到高光谱图像的高层特征。

步骤1中，给定源域高光谱图像及其对应空间坐标其中，/>为第i个源域样本，/>和/>分别为第i个源域样本的横纵坐标，/>n^(S)为源域样本总数，b为特征维度；定义一个无向图G^(S)＝(V^(S)，A^(S))，其中V^(S)为节点/>的集合，每个节点/>表示一个像素的特征向量；/>为一个对称且稀疏的近邻矩阵，其矩阵元素/>表示连接节点/>和的边的权重。定义度矩阵/>其中/>为第i行近邻矩阵A^(S)的和。每个节点选择与之相似度最大的k个节点作为其近邻，并用高斯核函数来度量节点之间的相似度，则/>被定义为：

式中，为/>近邻点的集合，σ为高斯核函数的带宽，dist(·，·)为距离度量函数，此处采用空-谱距离/>表示为：

式中，为两个节点的光谱向量之间的欧式距离，为两个节点的空间坐标之间的欧式距离，ψ为控制光谱距离和空间距离相对重要程度的权重因子；若两节点越相似，则/>越小，/>越大。相较于只考虑光谱距离的方法，使用基于空-谱近邻图的图卷积神经网络(GCN) 可以缓解由环境、大气、时间等多种因素带来的同物异谱、异物同谱的影响。为避免在卷积运算中可能带来的数值不稳定和梯度消失的问题，对近邻矩阵A^(S)进行规范化处理：

式中，I为单位矩阵，(A^(S)+I)是为了使图卷积操作在聚合周围节点信息时也能保留自身节点的信息，为(A^(S)+I)对应的度矩阵；规范化操处理得到的/>每行的和与每列的和均为1，则第(m+1)层图卷积网络提取到的特征表示为：

式中，φ(·)为修正线性单元，H^(S)m+1和H^(S)m分别表示图卷积网络第(m+1)层的输出和输入特征，H^(S)0＝X^(S)；W^m为图卷积网络第m层的滤波器矩阵；最终，经过图卷积网络提取的源域高层特征表示为：

式中，为特征提取器，θ_F为特征提取器的网络参数；目标域高层特征/>可用相同的方法得到。

步骤2：构建一个基于特征相似性度量的虚拟分类器来输出目标域样本的类别概率，通过最小化真实和虚拟分类器的确定性差异损失来增强真实和虚拟分类器的预测一致性，以使不同领域但具有相似特征的像素被分为同一个类别。

如果目标域样本在潜在空间中与某个类的源域簇接近，则它们应该属于同一类；然而，由于HSI中光谱特征的偏移以及对抗学习会降低特征的判别性的问题，潜在空间中的特征将包含许多对分类无益的信息。这将导致相似的样本可能被分类不同的类别，从而加剧了负迁移的问题。为此，本发明构建了一个虚拟分类器来执行基于特征相似性度量的分类。通过减少真实和虚拟分类器之间的分歧，鼓励具有相似特征的跨域样本被分到同一类中。

虚拟分类器能够输出目标域样本与源域每类原型的特征相似度。首先计算一个相似度矩阵其中n^(T)是目标域的样本总数，n^C是类别总数；/>表示第i个目标域样本与源域第j类原型的特征相似度；源域类原型的计算方式为：

式中，为源域第c类样本，/>为源域第c类样本总数；为了使特征之间的差异在不同数量级的计算中更具可比性，利用修改后的归一化的逆欧氏距离来计算目标域样本与源域每类原型的特征相似度：

式中，为最小-最大归一化后的欧式距离。此处，softmax函数被加入到虚拟分类器的输出后，从而使得到的向量可以同时表示：1)目标域样本与源域每类原型的相似度；2)目标域样本被分为每个类别的可能性。虚拟分类器的输出表示为：

式中， 表示虚拟分类器对第i个目标域样本的类别概率预测；

真实分类器对第i个目标域样本的类别预测表示为：

式中，为真实分类器，θ_C为真实分类器的网络参数，/>为第i个目标域样本，/>为softmax的概率输出。为了减少源域的经验风险，最小化以下目标函数：

式中，表示为交叉熵损失，/>为第i个源域样本的类别标签，/>为真实分类器将第i个源域样本分到第c类的概率。为了研究真实和虚拟分类器的分歧，构建预测相关矩阵：

式中，为真实分类器将第i个目标域样本分到第j类的概率，j＝1，2...n^C；为虚拟分类器将第i个目标域样本分到第j类的概率，j＝1，2...n^C，/>是由真实和虚拟分类器的预测概率的乘积得到的，因此，A^RV可以有效地表示来自虚拟分类器的相似性信息和来自真实分类器的预测可能性之间的关系。然后，为了增强真实和虚拟分类器的预测一致性，需要最大化/>的对角线上的元素并最小化剩余的元素，定义真实和虚拟分类器的确定性差异(RVCDD)损失：

式中，表示/>的第m行和第n列的元素，/> 包含了真实和虚拟分类器预测不一致的所有概率。因此，通过最小化RVCDD损失可以使真实和虚拟分类器的输出一致，从而使隐藏层特征包含更多利于分类的信息。

步骤3：为目标域样本的正负样本分配置信系数，构造一个软原型对比损失并将其最小化，以对齐不同领域特征相似的样本且使不相似的样本互相远离。

大多数类级和实例级领域自适应方法都依赖于伪标签的准确性。然而，伪标签不可能完全可靠。为了减少噪声伪标签的影响，本发明提出了一种软实例级领域自适应方法，它使用相似度矩阵来计算软原型对比损失(SPC)损失。将与目标域样本相似度最高的源域类原型作为正样本其中/>[·]_v表示第v个元素；其余的源域类原型作为负样本，真实分类器的输出/>作为正负样本对相似度的置信系数；软原型对比损失表示为：

式中，是目标域样本和正样本之间的相似度，/>是真实分类器将目标域样本分配给第v类的概率，将/>作为/>是/>正样本的置信系数。最小化/>不仅可以减小目标域样本和正样本之间的距离，还可以增加目标域样本和负样本之间的距离。此外，通过增加置信系数，可以增强分类器的确定性。

与一般的实例级领域自适应方法相比，本发明具有以下优点：1)一般的实例级领域自适应方法会对齐离群源域样本与目标域样本，这将导致类内方差较高。相比之下，本专利将对齐目标域样本和源域的簇中心，降低了对齐离群源域样本与目标域样本的风险；2)一般的对比学习旨在根据伪标签区分正负样本，忽略了噪声伪标签的负面影响。相比之下，本发明为每个正负样本分配相应的置信系数，从而减轻噪声伪标签的影响。

步骤4：通过领域对抗策略减少两个领域的整体分布差异。

领域对抗策略旨在减少源域和目标域之间的整体分布差异，通过领域判别器和特征提取器之间的对抗来实现；领域判别器试图区分源域和目标域特征，而特征提取器试图欺骗领域判别器。领域判别损失定义为：

式中，为二元交叉熵损失，d_i为样本x_i的对应领域标签，/>为领域判别器，θ_D为领域判别器的网络参数；为了实现领域对抗策略，在领域判别器和特征提取器之间添加了梯度反转层(GRL)，梯度反转层没有可更新的网络参数，只定义了前向和后向传播的计算规则：

R(x)＝x

式中，R(x)为梯度反转层的伪函数，x为梯度反转层的输入，λ为适应参数，为了抑制领域判别器在训练初期真实分类器的影响，λ从0逐渐变化为1，定义为：

式中，α为决定λ从0到1的增长速度的参数，ρ∈[0，1]是当前迭代次数与总迭代次数的比率。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (2)

1.一种基于虚拟分类器的高光谱图像领域自适应方法，其特征在于，包括如下步骤：

步骤1：利用高光谱图像的光谱向量和空间坐标构建空-谱近邻图，并将光谱向量和空-谱近邻图联合输入到图卷积网络中，从而得到高光谱图像的高层特征，所述高层特征包括源域高层特征和目标域高层特征；

步骤2：构建一个基于特征相似性度量的虚拟分类器来输出目标域样本的类别概率，通过最小化真实和虚拟分类器的确定性差异损失来增强真实和虚拟分类器的预测一致性，以使不同领域但具有相似特征的像素被分为同一个类别；

步骤3：为目标域样本的正负样本分配置信系数，构造一个软原型对比损失并将其最小化，以对齐不同领域特征相似的样本且使不相似的样本互相远离；

步骤4：通过领域对抗策略减少两个领域的整体分布差异；

所述步骤1中，给定源域高光谱图像及其对应空间坐标其中，/>为第i个源域样本，/>和/>分别为第i个源域样本的横纵坐标，/>i＝1，2...n^(S)，n^(S)为源域样本总数，b为特征维度；定义一个无向图G^(S)＝(V^(S)，A^(S))，其中V^(S)为节点/>的集合，每个节点/>表示一个像素的特征向量；/>为一个对称且稀疏的近邻矩阵，其矩阵元素/>表示连接节点/>和/>的边的权重；定义度矩阵/>其中/>为第i行近邻矩阵A^(S)的和；每个节点选择与之相似度最大的k个节点作为其近邻，并用高斯核函数来度量节点之间的相似度，则/>被定义为：

式中，为/>近邻点的集合，σ为高斯核函数的带宽，dist(·，·)为距离度量函数，此处采用空-谱距离/>表示为：

式中，为两个节点的光谱向量之间的欧式距离，为两个节点的空间坐标之间的欧式距离，ψ为控制光谱距离和空间距离相对重要程度的权重因子；若两节点越相似，则/>越小，/>越大；对近邻矩阵A^(S)进行规范化处理：

式中，I为单位矩阵，为(A^(S)+I)对应的度矩阵；规范化操处理得到的/>每行的和与每列的和均为1，则第(m+1)层图卷积网络提取到的特征表示为：

式中，φ(·)为修正线性单元，H^(S)m+1和H^(S)m分别表示图卷积网络第(m+1)层的输出和输入特征，H^(s)0＝X^(S)；W^m为图卷积网络第m层的滤波器矩阵；最终，经过图卷积网络提取的源域高层特征表示为：

式中，为特征提取器，θ_F为特征提取器的网络参数；

所述步骤2中，虚拟分类器能够输出目标域样本与源域每类原型的特征相似度；首先计算一个相似度矩阵其中n^(T)是目标域的样本总数，n^C是类别总数；/>表示第i个目标域样本与源域第j类原型的特征相似度；源域类原型的计算方式为：

式中，为源域第c类样本，/>为源域第c类样本总数；利用修改后的归一化的逆欧氏距离来计算目标域样本与源域每类原型的特征相似度：

式中，为最小-最大归一化后的欧式距离，/>为目标域高层特征；虚拟分类器的输出表示为：

式中，表示虚拟分类器对第i个目标域样本的类别概率预测；

真实分类器对第i个目标域样本的类别预测表示为：

式中，为真实分类器，θ_C为真实分类器的网络参数，/>为第i个目标域样本，为softmax的概率输出；最小化以下目标函数：

式中，表示为交叉熵损失，/>为第i个源域样本的类别标签，/>为真实分类器将第i个源域样本分到第c类的概率；构建预测相关矩阵：

式中，为真实分类器将第i个目标域样本分到第j类的概率，j＝1，2...n^C；/>为虚拟分类器将第i个目标域样本分到第j类的概率，j＝1，2...n^C，最大化/>的对角线上的元素并最小化剩余的元素，定义真实和虚拟分类器的确定性差异损失：

式中，表示/>的第m行和第n列的元素，/>

所述步骤3中，使用相似度矩阵来计算软原型对比损失；将与目标域样本相似度最高的源域类原型作为正样本其中/>[·]_v表示第v个元素；其余的源域类原型作为负样本，真实分类器的输出/>作为正负样本对相似度的置信系数；软原型对比损失表示为：

式中，是目标域样本和正样本之间的相似度，/>是真实分类器将目标域样本分配给第v类的概率，将/>作为/>是/>正样本的置信系数。

2.根据权利要求1所述的基于虚拟分类器的高光谱图像领域自适应方法，其特征在于：所述步骤4中，领域对抗策略通过领域判别器和特征提取器之间的对抗来实现；领域判别损失定义为：

式中，为二元交叉熵损失，d_i为样本x_i的对应领域标签，/>为领域判别器，θ_D为领域判别器的网络参数；在领域判别器和特征提取器之间添加梯度反转层，梯度反转层没有可更新的网络参数，只定义了前向和后向传播的计算规则：

R(x)＝x

式中，R(x)为梯度反转层的伪函数，x为梯度反转层的输入，λ为适应参数，λ从0逐渐变化为1，定义为：

式中，α为决定λ从0到1的增长速度的参数，ρ∈[0，1]是当前迭代次数与总迭代次数的比率。