CN116310810A - 基于空间注意力引导可变卷积的跨域高光谱图像分类方法 - Google Patents

基于空间注意力引导可变卷积的跨域高光谱图像分类方法 Download PDF

Info

Publication number
CN116310810A
CN116310810A CN202310192074.9A CN202310192074A CN116310810A CN 116310810 A CN116310810 A CN 116310810A CN 202310192074 A CN202310192074 A CN 202310192074A CN 116310810 A CN116310810 A CN 116310810A
Authority
CN
China
Prior art keywords
sad
conv
domain
convolution
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310192074.9A
Other languages
English (en)
Other versions
CN116310810B (zh
Inventor
赵春晖
朱文祥
赵晨
李凯俊
黄先日
张强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao Chrystar Electronic Technology Co ltd
Original Assignee
Qingdao Chrystar Electronic Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao Chrystar Electronic Technology Co ltd filed Critical Qingdao Chrystar Electronic Technology Co ltd
Publication of CN116310810A publication Critical patent/CN116310810A/zh
Application granted granted Critical
Publication of CN116310810B publication Critical patent/CN116310810B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/194—Terrestrial scenes using hyperspectral data, i.e. more or other wavelengths than RGB
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Biophysics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Remote Sensing (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于空间注意力引导可变卷积的跨域高光谱图像分类方法，包括以下步骤：步骤1，结合可变形卷积D‑Conv和空间注意力得到空间注意力引导可变卷积SAD‑Conv；步骤2，利用步骤1得到的SAD‑Conv组成空间注意力引导可变卷积特征提取网络SAD‑ConvNet；对步骤二得到的SAD‑ConvNet进行迁移学习训练，通过交叉熵损失和源域聚类损失进行监督训练SAD‑ConvNet网络，随后将源域网络
Figure DDA0004105869040000011
的网络参数加载到目标域网络
Figure DDA0004105869040000012
上，通过多层级的特征对齐损失训练SAD‑ConvNet网络。本发明采用上述结构的基于空间注意力引导可变卷积的跨域高光谱图像分类方法，能够更准确、更纯粹地提取源域和目标域的各个类别的空间光谱特征，进而可以实现目标域高光谱图像的精确分类。

Description

基于空间注意力引导可变卷积的跨域高光谱图像分类方法
技术领域
本发明涉及高光谱图像分类技术领域，特别是涉及一种基于空间注意力引导可变卷积的跨域高光谱图像分类方法。
背景技术
遥感技术是通过获取各类电磁波的反射和折射并对其处理的一门综合技术。高光谱遥感技术有效地结合了二维成像技术与光谱技术，其具有纳米级的光谱分辨率，能够获得地表物体在0.4-2.5um(即可见光、近红外、短波红外、中红外等)电磁波谱段上几十个至几百个连续谱段的信息。与RGB图像和多光谱图像相比，高光谱遥感技术所得到的高光谱图像不再是一个二维图像，而是同时包含了光谱信息和地表物体空间信息的三维图像，如图1所示，图中展示了两个像素点的光谱曲线，并标注出了Red，Green，Blue三个波段的位置。0.4-2.5um的光谱范围和较高的光谱分辨率使得高光谱图像能够提供地面物体更多的光谱特性，具有全色图像、RGB图像和多光谱图像无法比拟的优势，这也会使得地物光谱的全局特征将更加完整，局部细微特征将更加明显。
高光谱图像分类就是赋予图像中每一个像素点一个特定类别，属于像素级分类任务，是高光谱图像用于后续实际应用任务的基础。因此，高光谱遥感图像处理技术被广泛应用于精准农业、智慧农业、矿物勘测、环境保护、森林树种监测、国防军事战略等多个领域，具有重要的研究意义。
早期高光谱图像分类任务大多通过目视解译方法实现，并且为了准确性还需要进行实地考察，这一过程往往需要耗费大量的人力物力和财力，且非常耗时。如今，随着机器学习和深度学习的兴起，高光谱图像分类算法也可以分为基于机器学习的算法和基于深度学习的算法。传统的基于机器学习的算法大多以统计学习为理论基础，希望利用数学模型找到高光谱图像数据之间的联系，但是基于机器学习的算法只能提取高光谱数据的浅层特征，无法提取到深层特征，使得分类效果不佳。而基于深度学习的算法可以借助较深的特征提取网络，提取到高光谱数据的深层特征，对各类别的光谱曲线的表征能力和拟合能力更强。因此，基于深度学习的高光谱图像分类算法逐渐成为研究主流。
深度学习在各个领域虽然都已经取得了非常好的应用效果，但现阶段的深度学习算法大部分严重依赖大量的训练样本才能取得理想的性能，而获得标记样本是耗时耗力的。现实中，新获取的数据往往是没有标记样本的，研究如何在无标记样本下完成对高光谱图像的分类任务具有研究意义和现实意义。
此外，基于深度学习的算法还要求训练数据和测试数据是同分布的，同时不同场景的高光谱图像具有明显的光谱偏移和分布差异，这意味着在现有数据集上训练好的模型直接迁移到其他场景的高光谱图像上，无法获得较高的分类精度。为了减少两个数据集之间的分布差异，域自适应技术被提出来，并应用到了跨场景高光谱图像分类任务中。域自适应是迁移学习的一种，具体是指源域(SD)有标签，目标域(TD)无标签，源域和目标域具有不同的数据分布，相同的分类任务。在高光谱图像分类领域，域自适应算法可以分为基于分类器对齐的和基于特征对齐的两大类。
另一方面，由图1可知，高光谱图像的空间分辨率相对较低，同时物体边缘和纹理信息复杂，地面物体的形状不规则。普通的卷积神经网络使用的是固定形状的卷积核，该卷积核的采样点是固定的，会无差别的引入中心像素的邻域像素点的信息。在这种情况下，固定形状的卷积核会不可避免的引入不同类别的光谱特征，进而使得卷积神经网络不能准确地提取地面物体的空谱特征。正如之前介绍的，高光谱图像包含丰富的空间纹理信息，但如果不区分有用信息和干扰信息，就会导致每个类别的深层特征不准确，这自然会影响后续域自适应中的特征对齐。然而，到目前为止，在跨域高光谱图像分类领域还没有提出解决这一问题的方案。
发明内容
本发明的目的是提供一种基于空间注意力引导可变卷积的跨域高光谱图像分类方法，能够更准确、更纯粹地提取源域和目标域的各个类别的空间光谱特征，进而可以实现目标域高光谱图像的精确分类。
为实现上述目的，本发明提供了一种基于空间注意力引导可变卷积的跨域高光谱图像分类方法，包括以下步骤：
步骤1，结合可变形卷积D-Conv和空间注意力得到空间注意力引导可变卷积SAD-Conv，具体方法如下：
1)空间注意力
在空间注意力的分支中，假设输入特征图为X，通过三个1×1-conv参数更新后分别输出得到第一个特征图Q、第二个特征图K和第三个特征图V，三个1×1-conv共享参数，所以Q＝K＝V，并且Q表示为：
Q＝σ(BN(W·X+b))
其中，BN(·)和σ(·)表示特征归一化和激活函数，W,b分别表示1×1-conv的权重和偏置；
为了表示X中每个像素与其中心像素的相似性，空间注意力矩阵M显示为：
Figure BDA0004105869020000031
其中，Q(i0,j0)是Q的中心像素的特征，K是第二个特征图，||·||2表示2-Norm算子，S是输入特征图的大小；
因此，空间注意力分支的输出Ysa，可设为
Ysa＝VM
其中，V是第三个特征图；
2)可变形卷积D-Conv
在可变形卷积D-Conv的分支中，通过偏移量改变卷积核的采样位置的过程实现了D-Conv，其主要思想可以表述如下：
Figure BDA0004105869020000041
其中，p0是输出特征的像素，W1(pn)是卷积权值，pn列举了X中的位置，可以设置为pn∈R＝{(-1,-1),(-1,0),…,(0,1),(1,1)}，poffset表示X中的偏移位置，
Figure BDA0004105869020000042
此公式是为了将相似度低的采样位置与相似度高的采样位置相抵消，其中M为从空间注意力矩阵得到的偏移量，Sort(M)表示将M从小到大排序，/>
Figure BDA0004105869020000043
分别表示列表中第一个ε％和最后一个ε％的位置，ε是可手动设置的常数；
3)空间注意力引导可变卷积SAD-Conv的输出
最后，SAD-Conv的输出被表示为
Figure BDA0004105869020000044
其中，θ是为了控制两个分支的权重而引入的自适应参数，它是一个可训练的参数；
步骤2，利用步骤1得到的SAD-Conv组成空间注意力引导可变卷积特征提取网络SAD-ConvNet，SAD-ConvNet网络可以表示为
Figure BDA0004105869020000045
SAD-ConvNet包括三个Block-A、一个Block-B和一个全连接层Fully connected，Block-A包括空间注意力引导可变卷积SAD-Conv、普通的卷积层Conv、归一化层BN和激活函数层ReLU，Block-B包括普通的卷积层Conv、归一化层BN和激活函数层ReLU、普通的卷积层Conv、归一化层BN和激活函数层ReLU、最大池化层MaxPool、普通的卷积层Conv、归一化层BN和激活函数层ReLU、平均池化层AvgPool2d；
步骤3，对步骤二得到的SAD-ConvNet进行迁移学***均分类精度(AA)和Kappa系数作为衡量实验结果的指标，三个值越高表明分类结果越好，具体训练方法为：
1)通过交叉熵损失和源域聚类损失进行监督训练SAD-ConvNet网络，使得源域网络
Figure BDA0004105869020000051
能够在源域数据集上获得较高的分类精度，具体为：
交叉熵损失表示为：
Figure BDA0004105869020000052
其中C是类别数，
Figure BDA0004105869020000053
表示源域中第i个训练样本，/>
Figure BDA0004105869020000054
是/>
Figure BDA0004105869020000055
的标签；
源域聚类损失表示为：
Figure BDA0004105869020000056
其中
Figure BDA0004105869020000057
Ddis表示欧氏距离，Λ(a,b)表示如果a等于b，输出为1，否则输出为0；
2)将1)中得到的源域网络
Figure BDA0004105869020000058
的网络参数加载到目标域网络/>
Figure BDA0004105869020000059
上，通过多层级的特征对齐损失训练SAD-ConvNet网络，多层级的特征对齐损失由三部分组成，可以分别表示为：
Figure BDA00041058690200000510
其中，φ()是希尔伯特空间中的内核，C是类别数，ns,nt是源域和目标域的样本个数，
Figure BDA00041058690200000511
是已经训练好的源域网络，/>
Figure BDA00041058690200000512
是目标域网络/>
Figure BDA00041058690200000513
的特征输出；
Figure BDA0004105869020000061
其中，Dcos(a,b)表示a,b的余弦相似度，ES(c)表示为
Figure BDA0004105869020000062
ns,nt是源域和目标域的样本个数，C是类别数；
Figure BDA0004105869020000063
其中，ET(c)表示为
Figure BDA0004105869020000064
C是类别数。
优选的，在第一个Block-A的末端加入最大池化层MaxPool。
优选的，在Block-B的末端加入Dropout以减小过拟合。
优选的，SAD-ConvNet输入的数据块Patch大小为21*21，循环次数Epoch设置为20次，运行SAD-ConvNet的主要硬件参数是：CPU：Xeon Silver 4210R，GPU：GTX-3090，和RAM内存：49G。
优选的，SAD-ConvNet使用PyTorch深度学习框架设计网络，初始学习率设置为0.005，使用的优化器为随机梯度下降(SGD)。
因此，本发明采用上述结构的基于空间注意力引导可变卷积的跨域高光谱图像分类方法，能够更准确、更纯粹地提取源域和目标域的各个类别的空间光谱特征，进而可以实现目标域高光谱图像的精确分类。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
图1是本发明背景技术中提到的高光谱图像示意图；
图2是本发明中空间注意力引导可变卷积SAD-Conv的示意图；
图3是本发明中空间注意力引导可变卷积特征提取网络SAD-ConvNet的示意图；
图4是本发明中SAD-ConvNet的Block-A的示意图；
图5是本发明中SAD-ConvNet的Block-B的示意图；
图6是本发明使用的PaviaU-PaviaC(UC)数据集的假色高光谱图像和真值标签示意图；
图7是本发明使用的Pavia 1-Pavia 2(PA12)数据集的假色高光谱图像和真值标签示意图；
图8是本发明使用的Houston2013-Houston2018(HS38)数据集的假色高光谱图像和真值标签示意图；
图9是本发明SAD-ConvNet在PaviaC数据集的分类结果；
图10是本发明SAD-ConvNet在Pavia 2数据集的分类结果；
图11是本发明SAD-ConvNet在Houston2018数据集的分类结果；
图12是本发明中对SAD-ConvNet进行迁移学习训练的流程图。
具体实施方式
下面结合附图对本发明的实施方式做进一步的说明。
一种基于空间注意力引导可变卷积的跨域高光谱图像分类方法，包括以下步骤：
步骤1，结合可变形卷积D-Conv和空间注意力得到空间注意力引导可变卷积SAD-Conv，SAD-Conv的具体实现方法如下：
1)空间注意力
在空间注意力的分支中，假设输入特征图为X，通过三个1×1-conv参数更新后分别输出得到第一个特征图Q、第二个特征图K和第三个特征图V，三个1×1-conv共享参数，所以Q＝K＝V，并且Q表示为：
Q＝σ(BN(W·X+b))
其中，BN(·)和σ(·)表示特征归一化和激活函数，W,b分别表示1×1-conv的权重和偏置。
为了表示X中每个像素与其中心像素的相似性，空间注意力矩阵M显示为：
Figure BDA0004105869020000081
其中，Q(i0,j0)是Q的中心像素的特征，K是第二个特征图，||·||2表示2-Norm算子，S是输入特征图的大小。
因此，空间注意力分支的输出Ysa，可设为
Ysa＝VM
其中，V是第三个特征图。
2)可变形卷积D-Conv
在可变形卷积D-Conv的分支中，通过偏移量改变卷积核的采样位置的过程实现了D-Conv，其主要思想可以表述如下：
Figure BDA0004105869020000082
其中，p0是输出特征的像素，W1(pn)是卷积权值，pn列举了X中的位置，可以设置为pn∈R＝{(-1,-1),(-1,0),…,(0,1),(1,1)}，poffset表示X中的偏移位置，
Figure BDA0004105869020000083
此公式是为了将相似度低的采样位置与相似度高的采样位置相抵消，其中M为从空间注意力矩阵得到的偏移量，Sort(M)表示将M从小到大排序，/>
Figure BDA0004105869020000084
分别表示列表中第一个ε％和最后一个ε％的位置，ε是可手动设置的常数。
3)空间注意力引导可变卷积SAD-Conv的输出
最后，SAD-Conv的输出被表示为
Figure BDA0004105869020000091
其中，θ是为了控制两个分支的权重而引入的自适应参数，它是一个可训练的参数。
SAD-Conv的详细图解如图2所示，
Figure BDA0004105869020000092
表示特征串联，/>
Figure BDA0004105869020000093
表示乘积。由图2我们可以直观地看出空间注意力矩阵为D-Conv提供了偏移量，SAD-Conv通过空间注意力矩阵和偏移量，保留了与输入特征图的中心像素相似的特征，实现了更纯粹的输出特征图。同时，通过大小为1×1的卷积核(1×1-conv)参数的更新，空间注意力矩阵也更准确地反映了像素之间的相似性，因此得到的偏移量与地面物体的分布更加一致。
步骤2，利用步骤1得到的SAD-Conv组成空间注意力引导可变卷积特征提取网络SAD-ConvNet，SAD-ConvNet网络可以表示为
Figure BDA0004105869020000094
SAD-ConvNet包括三个Block-A、一个Block-B和一个全连接层Fully connected，Block-A包括空间注意力引导可变卷积SAD-Conv、普通的卷积层Conv、归一化层BN和激活函数层ReLU，Block-B包括普通的卷积层Conv、归一化层BN和激活函数层ReLU、普通的卷积层Conv、归一化层BN和激活函数层ReLU、最大池化层MaxPool、普通的卷积层Conv、归一化层BN和激活函数层ReLU、平均池化层AvgPool2d。
步骤3，对步骤二得到的SAD-ConvNet进行迁移学***均分类精度(AA)和Kappa系数作为衡量实验结果的指标，三个值越高表明分类结果越好。SAD-ConvNet的具体训练方法为：
1)通过交叉熵损失和源域聚类损失进行监督训练SAD-ConvNet网络，使得源域网络
Figure BDA0004105869020000101
能够在源域数据集上获得较高的分类精度，具体为：
交叉熵损失表示为：
Figure BDA0004105869020000102
其中C是类别数，
Figure BDA0004105869020000103
表示源域中第i个训练样本，/>
Figure BDA0004105869020000104
是/>
Figure BDA0004105869020000105
的标签；
源域聚类损失表示为：
Figure BDA0004105869020000106
其中
Figure BDA0004105869020000107
Ddis表示欧氏距离，Λ(a,b)表示如果a等于b，输出为1，否则输出为0，/>
Figure BDA0004105869020000108
可使同类别的样本相互靠近，非同类别的样本相互远离。
2)将1)中得到的源域网络
Figure BDA0004105869020000109
的网络参数加载到目标域网络/>
Figure BDA00041058690200001010
上，通过多层级的特征对齐损失训练SAD-ConvNet网络，多层级的特征对齐损失由三部分组成，可以分别表示为：
Figure BDA00041058690200001011
其中，φ()是希尔伯特空间中的内核，C是类别数，ns,nt是源域和目标域的样本个数，
Figure BDA00041058690200001012
是已经训练好的源域网络，/>
Figure BDA00041058690200001013
是目标域网络/>
Figure BDA00041058690200001014
的特征输出；
Figure BDA00041058690200001015
其中，Dcos(a,b)表示a,b的余弦相似度，ES(c)表示为
Figure BDA0004105869020000111
ns,nt是源域和目标域的样本个数，C是类别数；
Figure BDA0004105869020000112
其中，ET(c)表示为
Figure BDA0004105869020000113
C是类别数。
本实施例中，在第一个Block-A的末端加入最大池化层MaxPool，在Block-B的末端加入Dropout以减小过拟合。SAD-ConvNet使用PyTorch深度学习框架设计网络，初始学习率设置为0.005，使用的优化器为随机梯度下降(SGD)。SAD-ConvNet输入的数据块Patch大小为21*21，循环次数Epoch设置为20次。运行SAD-ConvNet的主要硬件参数是：1)CPU：XeonSilver 4210R，2)GPU：GTX-3090，和3)RAM内存：49G。SAD-ConvNet的详细实施方式，如下表1所示：
Figure BDA0004105869020000114
Figure BDA0004105869020000121
本实施例中采用了三个数据集来验证本发明内容的有效性，分别是：Pavia 1-Pavia 2(PA12)数据集、Houston2013-Houston2018(HS38)数据集和PaviaU-PaviaC(UC)数据集。
本发明使用的PaviaU-PaviaC(UC)数据集的假色高光谱图像和真值标签如图6所示，本发明的SAD-ConvNet在PaviaC数据集的分类结果如图9所示；本发明使用的Pavia 1-Pavia 2(PA12)数据集的假色高光谱图像和真值标签如图7所示，本发明的SAD-ConvNet在Pavia 2数据集的分类结果如图10所示；本发明使用的Houston2013-Houston2018(HS38)数据集的假色高光谱图像和真值标签如图8所示，本发明的SAD-ConvNet在Houston2018数据集的分类结果如图11所示。从图6-11可以看出，本发明的有效性在以上三个跨域数据集上得到了很好的验证。
另外，本实施例中选择了七个相关的算法，并将七个相关算法在以上三个数据集上的分类精度与本发明所提出的分类算法在以上三个数据集上的分类精度进行了比较，七个相关的算法分别是SVM，2DCNN，GVB，CDAN，DMM，TST和DCA。本发明所提出的分类算法与七个相关算法在目标域PaviaC数据集上的分类精度如下表2所示：
Figure BDA0004105869020000131
本发明所提出的分类算法与七个相关算法在目标域Pavia 1数据集上的分类精度如下表3所示：
Figure BDA0004105869020000132
本发明所提出的分类算法与七个相关算法在目标域Houston2018数据集上的分类精度如下表4所示：
Figure BDA0004105869020000133
从表2-表4可以看出，本发明提出的SAD-ConvNet在三个数据集上都取得了最优的分类精度，并且SAD-ConvNet在PaviaC数据集上的整体分类精度OA达到88.52％，在Pavia 1数据集上的整体分类精度OAD达到91.11％，在Houston2018数据集上的整体分类精度OA达到83.31％。说明本发明跨域高光谱图像分类方法中SAD-Conv利用注意力机制有效地控制了卷积核的采样点的偏移量，SAD-ConvNet能够提取更加纯净和准确的深层空间光谱特征。
因此，本发明采用上述结构的基于空间注意力引导可变卷积的跨域高光谱图像分类方法，能够更准确、更纯粹地提取源域和目标域的各个类别的空间光谱特征，进而可以实现目标域高光谱图像的精确分类。
最后应说明的是：以上实施例仅用以说明本发明的技术方案而非对其进行限制，尽管参照较佳实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对本发明的技术方案进行修改或者等同替换，而这些修改或者等同替换亦不能使修改后的技术方案脱离本发明技术方案的精神和范围。

Claims (5)

1.一种基于空间注意力引导可变卷积的跨域高光谱图像分类方法，其特征在于：包括以下步骤：
步骤1，结合可变形卷积D-Conv和空间注意力得到空间注意力引导可变卷积SAD-Conv，具体方法如下：
1)空间注意力
在空间注意力的分支中，假设输入特征图为X，通过三个1×1-conv参数更新后分别输出得到第一个特征图Q、第二个特征图K和第三个特征图V，三个1×1-conv共享参数，所以Q＝K＝V，并且Q表示为：
Q＝σ(BN(W·X+b))
其中，BN(·)和σ(·)表示特征归一化和激活函数，W,b分别表示1×1-conv的权重和偏置；
为了表示X中每个像素与其中心像素的相似性，空间注意力矩阵M显示为：
Figure FDA0004105869010000011
其中，Q(i0,j0)是Q的中心像素的特征，K是第二个特征图，||·||2表示2-Norm算子，S是输入特征图的大小；
因此，空间注意力分支的输出Ysa，可设为
Ysa＝VM
其中，V是第三个特征图；
2)可变形卷积D-Conv
在可变形卷积D-Conv的分支中，通过偏移量改变卷积核的采样位置的过程实现了D-Conv，其主要思想可以表述如下：
Figure FDA0004105869010000012
其中，p0是输出特征的像素，W1(pn)是卷积权值，pn列举了X中的位置，可以设置为pn∈R＝{(-1,-1),(-1,0),…,(0,1),(1,1)}，poffset表示X中的偏移位置，
Figure FDA0004105869010000021
此公式是为了将相似度低的采样位置与相似度高的采样位置相抵消，其中M为从空间注意力矩阵得到的偏移量，Sort(M)表示将M从小到大排序，/>
Figure FDA0004105869010000022
分别表示列表中第一个ε％和最后一个ε％的位置，ε是可手动设置的常数；
3)空间注意力引导可变卷积SAD-Conv的输出
最后，SAD-Conv的输出被表示为
YSAD-Conv＝Cat|Ysa,θYD-Conv|
其中，θ是为了控制两个分支的权重而引入的自适应参数，它是一个可训练的参数；
步骤2，利用步骤1得到的SAD-Conv组成空间注意力引导可变卷积特征提取网络SAD-ConvNet，SAD-ConvNet网络可以表示为
Figure FDA0004105869010000023
SAD-ConvNet包括三个Block-A、一个Block-B和一个全连接层Fully connected，Block-A包括空间注意力引导可变卷积SAD-Conv、普通的卷积层Conv、归一化层BN和激活函数层ReLU，Block-B包括普通的卷积层Conv、归一化层BN和激活函数层ReLU、普通的卷积层Conv、归一化层BN和激活函数层ReLU、最大池化层MaxPool、普通的卷积层Conv、归一化层BN和激活函数层ReLU、平均池化层AvgPool2d；
步骤3，对步骤二得到的SAD-ConvNet进行迁移学***均分类精度(AA)和Kappa系数作为衡量实验结果的指标，三个值越高表明分类结果越好，具体训练方法为：
1)通过交叉熵损失和源域聚类损失进行监督训练SAD-ConvNet网络，使得源域网络
Figure FDA0004105869010000031
能够在源域数据集上获得较高的分类精度，具体为：
交叉熵损失表示为：
Figure FDA0004105869010000032
其中C是类别数，
Figure FDA0004105869010000033
表示源域中第i个训练样本，/>
Figure FDA0004105869010000034
是/>
Figure FDA0004105869010000035
的标签；
源域聚类损失表示为：
Figure FDA0004105869010000036
其中
Figure FDA0004105869010000037
Ddis表示欧氏距离，Λ(a,b)表示如果a等于b，输出为1，否则输出为0；
2)将1)中得到的源域网络
Figure FDA0004105869010000038
的网络参数加载到目标域网络/>
Figure FDA0004105869010000039
上，通过多层级的特征对齐损失训练SAD-ConvNet网络，多层级的特征对齐损失由三部分组成，可以分别表示为：
Figure FDA00041058690100000310
其中，φ()是希尔伯特空间中的内核，C是类别数，ns,nt是源域和目标域的样本个数，
Figure FDA00041058690100000311
是已经训练好的源域网络，/>
Figure FDA00041058690100000312
是目标域网络/>
Figure FDA00041058690100000313
的特征输出；
Figure FDA00041058690100000314
其中，Dcos(a,b)表示a,b的余弦相似度，ES(c)表示为
Figure FDA00041058690100000315
ns,nt是源域和目标域的样本个数，C是类别数；
Figure FDA0004105869010000041
其中，ET(c)表示为
Figure FDA0004105869010000042
C是类别数。
2.根据权利要求1所述的基于空间注意力引导可变卷积的跨域高光谱图像分类方法，其特征在于：在第一个Block-A的末端加入最大池化层MaxPool。
3.根据权利要求2所述的基于空间注意力引导可变卷积的跨域高光谱图像分类方法，其特征在于：在Block-B的末端加入Dropout以减小过拟合。
4.根据权利要求3所述的基于空间注意力引导可变卷积的跨域高光谱图像分类方法，其特征在于：SAD-ConvNet输入的数据块Patch大小为21*21，循环次数Epoch设置为20次，运行SAD-ConvNet的主要硬件参数是：CPU：Xeon Silver 4210R，GPU：GTX-3090，和RAM内存：49G。
5.根据权利要求4所述的基于空间注意力引导可变卷积的跨域高光谱图像分类方法，其特征在于：SAD-ConvNet使用PyTorch深度学习框架设计网络，初始学习率设置为0.005，使用的优化器为随机梯度下降(SGD)。
CN202310192074.9A 2022-12-06 2023-03-02 基于空间注意力引导可变卷积的跨域高光谱图像分类方法 Active CN116310810B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202211553844X 2022-12-06
CN202211553844 2022-12-06

Publications (2)

Publication Number Publication Date
CN116310810A true CN116310810A (zh) 2023-06-23
CN116310810B CN116310810B (zh) 2023-09-15

Family

ID=86825129

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310192074.9A Active CN116310810B (zh) 2022-12-06 2023-03-02 基于空间注意力引导可变卷积的跨域高光谱图像分类方法

Country Status (1)

Country Link
CN (1) CN116310810B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021068528A1 (zh) * 2019-10-11 2021-04-15 平安科技（深圳）有限公司 基于卷积神经网络的注意力权重计算方法、装置及设备
CN113033686A (zh) * 2021-04-02 2021-06-25 哈尔滨工程大学 基于核引导可变卷积和双窗联合双边滤波器的高光谱图分类方法及***
CN114758170A (zh) * 2022-04-02 2022-07-15 内蒙古农业大学 一种结合d3d的三分支三注意力机制高光谱图像分类方法
CN115147731A (zh) * 2022-07-28 2022-10-04 北京航空航天大学 一种基于全空间编码注意力模块的sar图像目标检测方法
CN115170961A (zh) * 2022-07-06 2022-10-11 哈尔滨理工大学 一种基于深度跨域少样本学习的高光谱图像分类方法及***

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021068528A1 (zh) * 2019-10-11 2021-04-15 平安科技（深圳）有限公司 基于卷积神经网络的注意力权重计算方法、装置及设备
CN113033686A (zh) * 2021-04-02 2021-06-25 哈尔滨工程大学 基于核引导可变卷积和双窗联合双边滤波器的高光谱图分类方法及***
CN114758170A (zh) * 2022-04-02 2022-07-15 内蒙古农业大学 一种结合d3d的三分支三注意力机制高光谱图像分类方法
CN115170961A (zh) * 2022-07-06 2022-10-11 哈尔滨理工大学 一种基于深度跨域少样本学习的高光谱图像分类方法及***
CN115147731A (zh) * 2022-07-28 2022-10-04 北京航空航天大学 一种基于全空间编码注意力模块的sar图像目标检测方法

Also Published As

Publication number Publication date
CN116310810B (zh) 2023-09-15

Similar Documents

Publication Publication Date Title
Chouhan et al. Applications of computer vision in plant pathology: a survey
Sarıgül et al. Differential convolutional neural network
Kaya et al. Application of artificial neural network for automatic detection of butterfly species using color and texture features
CN108052966B (zh) 基于卷积神经网络的遥感图像场景自动提取和分类方法
Zhao et al. ApLeaf: An efficient android-based plant leaf identification system
Wang et al. Identification of apple leaf diseases by improved deep convolutional neural networks with an attention mechanism
CN109615008B (zh) 基于堆叠宽度学习的高光谱图像分类方法和***
CN110533077B (zh) 用于高光谱图像分类的形状自适应卷积深度神经网络方法
Yang et al. High-throughput soybean seeds phenotyping with convolutional neural networks and transfer learning
CN112308152B (zh) 基于光谱分割与同质区域检测的高光谱图像地物分类方法
Cai et al. Residual-capsule networks with threshold convolution for segmentation of wheat plantation rows in UAV images
CN109784192B (zh) 基于超像素特征提取神经网络算法的高光谱影像分类方法
Miao et al. Classification of farmland images based on color features
CN105160351B (zh) 基于锚点稀疏图的半监督高光谱分类方法
Reddy et al. Optimized convolutional neural network model for plant species identification from leaf images using computer vision
Sabri et al. Nutrient deficiency detection in maize (Zea mays L.) leaves using image processing
CN111222545A (zh) 基于线性规划增量学习的图像分类方法
Amoda et al. Detection and classification of plant diseases by image processing
CN109034213B (zh) 基于相关熵原则的高光谱图像分类方法和***
CN113435254A (zh) 一种基于哨兵二号影像的耕地深度学习提取方法
CN115170961A (zh) 一种基于深度跨域少样本学习的高光谱图像分类方法及***
Tombe et al. Adaptive deep co-occurrence feature learning based on classifier-fusion for remote sensing scene classification
Song et al. Using dual-channel CNN to classify hyperspectral image based on spatial-spectral information
CN113011506A (zh) 一种基于深度重分形频谱网络的纹理图像分类方法
Olisah et al. Understanding unconventional preprocessors in deep convolutional neural networks for face identification

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant