CN116310810A - 基于空间注意力引导可变卷积的跨域高光谱图像分类方法 - Google Patents
基于空间注意力引导可变卷积的跨域高光谱图像分类方法 Download PDFInfo
- Publication number
- CN116310810A CN116310810A CN202310192074.9A CN202310192074A CN116310810A CN 116310810 A CN116310810 A CN 116310810A CN 202310192074 A CN202310192074 A CN 202310192074A CN 116310810 A CN116310810 A CN 116310810A
- Authority
- CN
- China
- Prior art keywords
- sad
- conv
- domain
- convolution
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 31
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 44
- 238000012549 training Methods 0.000 claims abstract description 21
- 238000000605 extraction Methods 0.000 claims abstract description 6
- 230000004913 activation Effects 0.000 claims description 13
- 238000013135 deep learning Methods 0.000 claims description 13
- 230000006870 function Effects 0.000 claims description 13
- 238000010606 normalization Methods 0.000 claims description 13
- 238000005070 sampling Methods 0.000 claims description 11
- 238000002474 experimental method Methods 0.000 claims description 9
- 238000011176 pooling Methods 0.000 claims description 8
- 239000011159 matrix material Substances 0.000 claims description 6
- 230000003044 adaptive effect Effects 0.000 claims description 5
- 238000013526 transfer learning Methods 0.000 claims description 5
- 238000012544 monitoring process Methods 0.000 claims description 4
- 230000008569 process Effects 0.000 claims description 4
- BQCADISMDOOEFD-UHFFFAOYSA-N Silver Chemical compound [Ag] BQCADISMDOOEFD-UHFFFAOYSA-N 0.000 claims description 3
- 238000013461 design Methods 0.000 claims description 3
- 229910052709 silver Inorganic materials 0.000 claims description 3
- 239000004332 silver Substances 0.000 claims description 3
- 238000001228 spectrum Methods 0.000 abstract description 8
- 238000013508 migration Methods 0.000 abstract 1
- 230000005012 migration Effects 0.000 abstract 1
- 238000004422 calculation algorithm Methods 0.000 description 14
- 230000003595 spectral effect Effects 0.000 description 11
- 238000007635 classification algorithm Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 238000009826 distribution Methods 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 4
- 238000011160 research Methods 0.000 description 4
- 230000006978 adaptation Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 230000007123 defense Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 229910052500 inorganic mineral Inorganic materials 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000011707 mineral Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/194—Terrestrial scenes using hyperspectral data, i.e. more or other wavelengths than RGB
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
- Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Medical Informatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Databases & Information Systems (AREA)
- Biophysics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Remote Sensing (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于空间注意力引导可变卷积的跨域高光谱图像分类方法,包括以下步骤:步骤1,结合可变形卷积D‑Conv和空间注意力得到空间注意力引导可变卷积SAD‑Conv;步骤2,利用步骤1得到的SAD‑Conv组成空间注意力引导可变卷积特征提取网络SAD‑ConvNet;对步骤二得到的SAD‑ConvNet进行迁移学习训练,通过交叉熵损失和源域聚类损失进行监督训练SAD‑ConvNet网络,随后将源域网络的网络参数加载到目标域网络上,通过多层级的特征对齐损失训练SAD‑ConvNet网络。本发明采用上述结构的基于空间注意力引导可变卷积的跨域高光谱图像分类方法,能够更准确、更纯粹地提取源域和目标域的各个类别的空间光谱特征,进而可以实现目标域高光谱图像的精确分类。
Description
技术领域
本发明涉及高光谱图像分类技术领域,特别是涉及一种基于空间注意力引导可变卷积的跨域高光谱图像分类方法。
背景技术
遥感技术是通过获取各类电磁波的反射和折射并对其处理的一门综合技术。高光谱遥感技术有效地结合了二维成像技术与光谱技术,其具有纳米级的光谱分辨率,能够获得地表物体在0.4-2.5um(即可见光、近红外、短波红外、中红外等)电磁波谱段上几十个至几百个连续谱段的信息。与RGB图像和多光谱图像相比,高光谱遥感技术所得到的高光谱图像不再是一个二维图像,而是同时包含了光谱信息和地表物体空间信息的三维图像,如图1所示,图中展示了两个像素点的光谱曲线,并标注出了Red,Green,Blue三个波段的位置。0.4-2.5um的光谱范围和较高的光谱分辨率使得高光谱图像能够提供地面物体更多的光谱特性,具有全色图像、RGB图像和多光谱图像无法比拟的优势,这也会使得地物光谱的全局特征将更加完整,局部细微特征将更加明显。
高光谱图像分类就是赋予图像中每一个像素点一个特定类别,属于像素级分类任务,是高光谱图像用于后续实际应用任务的基础。因此,高光谱遥感图像处理技术被广泛应用于精准农业、智慧农业、矿物勘测、环境保护、森林树种监测、国防军事战略等多个领域,具有重要的研究意义。
早期高光谱图像分类任务大多通过目视解译方法实现,并且为了准确性还需要进行实地考察,这一过程往往需要耗费大量的人力物力和财力,且非常耗时。如今,随着机器学习和深度学习的兴起,高光谱图像分类算法也可以分为基于机器学习的算法和基于深度学习的算法。传统的基于机器学习的算法大多以统计学习为理论基础,希望利用数学模型找到高光谱图像数据之间的联系,但是基于机器学习的算法只能提取高光谱数据的浅层特征,无法提取到深层特征,使得分类效果不佳。而基于深度学习的算法可以借助较深的特征提取网络,提取到高光谱数据的深层特征,对各类别的光谱曲线的表征能力和拟合能力更强。因此,基于深度学习的高光谱图像分类算法逐渐成为研究主流。
深度学习在各个领域虽然都已经取得了非常好的应用效果,但现阶段的深度学习算法大部分严重依赖大量的训练样本才能取得理想的性能,而获得标记样本是耗时耗力的。现实中,新获取的数据往往是没有标记样本的,研究如何在无标记样本下完成对高光谱图像的分类任务具有研究意义和现实意义。
此外,基于深度学习的算法还要求训练数据和测试数据是同分布的,同时不同场景的高光谱图像具有明显的光谱偏移和分布差异,这意味着在现有数据集上训练好的模型直接迁移到其他场景的高光谱图像上,无法获得较高的分类精度。为了减少两个数据集之间的分布差异,域自适应技术被提出来,并应用到了跨场景高光谱图像分类任务中。域自适应是迁移学习的一种,具体是指源域(SD)有标签,目标域(TD)无标签,源域和目标域具有不同的数据分布,相同的分类任务。在高光谱图像分类领域,域自适应算法可以分为基于分类器对齐的和基于特征对齐的两大类。
另一方面,由图1可知,高光谱图像的空间分辨率相对较低,同时物体边缘和纹理信息复杂,地面物体的形状不规则。普通的卷积神经网络使用的是固定形状的卷积核,该卷积核的采样点是固定的,会无差别的引入中心像素的邻域像素点的信息。在这种情况下,固定形状的卷积核会不可避免的引入不同类别的光谱特征,进而使得卷积神经网络不能准确地提取地面物体的空谱特征。正如之前介绍的,高光谱图像包含丰富的空间纹理信息,但如果不区分有用信息和干扰信息,就会导致每个类别的深层特征不准确,这自然会影响后续域自适应中的特征对齐。然而,到目前为止,在跨域高光谱图像分类领域还没有提出解决这一问题的方案。
发明内容
本发明的目的是提供一种基于空间注意力引导可变卷积的跨域高光谱图像分类方法,能够更准确、更纯粹地提取源域和目标域的各个类别的空间光谱特征,进而可以实现目标域高光谱图像的精确分类。
为实现上述目的,本发明提供了一种基于空间注意力引导可变卷积的跨域高光谱图像分类方法,包括以下步骤:
步骤1,结合可变形卷积D-Conv和空间注意力得到空间注意力引导可变卷积SAD-Conv,具体方法如下:
1)空间注意力
在空间注意力的分支中,假设输入特征图为X,通过三个1×1-conv参数更新后分别输出得到第一个特征图Q、第二个特征图K和第三个特征图V,三个1×1-conv共享参数,所以Q=K=V,并且Q表示为:
Q=σ(BN(W·X+b))
其中,BN(·)和σ(·)表示特征归一化和激活函数,W,b分别表示1×1-conv的权重和偏置;
为了表示X中每个像素与其中心像素的相似性,空间注意力矩阵M显示为:
其中,Q(i0,j0)是Q的中心像素的特征,K是第二个特征图,||·||2表示2-Norm算子,S是输入特征图的大小;
因此,空间注意力分支的输出Ysa,可设为
Ysa=VM
其中,V是第三个特征图;
2)可变形卷积D-Conv
在可变形卷积D-Conv的分支中,通过偏移量改变卷积核的采样位置的过程实现了D-Conv,其主要思想可以表述如下:
其中,p0是输出特征的像素,W1(pn)是卷积权值,pn列举了X中的位置,可以设置为pn∈R={(-1,-1),(-1,0),…,(0,1),(1,1)},poffset表示X中的偏移位置,此公式是为了将相似度低的采样位置与相似度高的采样位置相抵消,其中M为从空间注意力矩阵得到的偏移量,Sort(M)表示将M从小到大排序,/>分别表示列表中第一个ε%和最后一个ε%的位置,ε是可手动设置的常数;
3)空间注意力引导可变卷积SAD-Conv的输出
最后,SAD-Conv的输出被表示为
其中,θ是为了控制两个分支的权重而引入的自适应参数,它是一个可训练的参数;
步骤2,利用步骤1得到的SAD-Conv组成空间注意力引导可变卷积特征提取网络SAD-ConvNet,SAD-ConvNet网络可以表示为SAD-ConvNet包括三个Block-A、一个Block-B和一个全连接层Fully connected,Block-A包括空间注意力引导可变卷积SAD-Conv、普通的卷积层Conv、归一化层BN和激活函数层ReLU,Block-B包括普通的卷积层Conv、归一化层BN和激活函数层ReLU、普通的卷积层Conv、归一化层BN和激活函数层ReLU、最大池化层MaxPool、普通的卷积层Conv、归一化层BN和激活函数层ReLU、平均池化层AvgPool2d;
步骤3,对步骤二得到的SAD-ConvNet进行迁移学***均分类精度(AA)和Kappa系数作为衡量实验结果的指标,三个值越高表明分类结果越好,具体训练方法为:
交叉熵损失表示为:
源域聚类损失表示为:
其中,Dcos(a,b)表示a,b的余弦相似度,ES(c)表示为
ns,nt是源域和目标域的样本个数,C是类别数;
其中,ET(c)表示为
C是类别数。
优选的,在第一个Block-A的末端加入最大池化层MaxPool。
优选的,在Block-B的末端加入Dropout以减小过拟合。
优选的,SAD-ConvNet输入的数据块Patch大小为21*21,循环次数Epoch设置为20次,运行SAD-ConvNet的主要硬件参数是:CPU:Xeon Silver 4210R,GPU:GTX-3090,和RAM内存:49G。
优选的,SAD-ConvNet使用PyTorch深度学习框架设计网络,初始学习率设置为0.005,使用的优化器为随机梯度下降(SGD)。
因此,本发明采用上述结构的基于空间注意力引导可变卷积的跨域高光谱图像分类方法,能够更准确、更纯粹地提取源域和目标域的各个类别的空间光谱特征,进而可以实现目标域高光谱图像的精确分类。
下面通过附图和实施例,对本发明的技术方案做进一步的详细描述。
附图说明
图1是本发明背景技术中提到的高光谱图像示意图;
图2是本发明中空间注意力引导可变卷积SAD-Conv的示意图;
图3是本发明中空间注意力引导可变卷积特征提取网络SAD-ConvNet的示意图;
图4是本发明中SAD-ConvNet的Block-A的示意图;
图5是本发明中SAD-ConvNet的Block-B的示意图;
图6是本发明使用的PaviaU-PaviaC(UC)数据集的假色高光谱图像和真值标签示意图;
图7是本发明使用的Pavia 1-Pavia 2(PA12)数据集的假色高光谱图像和真值标签示意图;
图8是本发明使用的Houston2013-Houston2018(HS38)数据集的假色高光谱图像和真值标签示意图;
图9是本发明SAD-ConvNet在PaviaC数据集的分类结果;
图10是本发明SAD-ConvNet在Pavia 2数据集的分类结果;
图11是本发明SAD-ConvNet在Houston2018数据集的分类结果;
图12是本发明中对SAD-ConvNet进行迁移学习训练的流程图。
具体实施方式
下面结合附图对本发明的实施方式做进一步的说明。
一种基于空间注意力引导可变卷积的跨域高光谱图像分类方法,包括以下步骤:
步骤1,结合可变形卷积D-Conv和空间注意力得到空间注意力引导可变卷积SAD-Conv,SAD-Conv的具体实现方法如下:
1)空间注意力
在空间注意力的分支中,假设输入特征图为X,通过三个1×1-conv参数更新后分别输出得到第一个特征图Q、第二个特征图K和第三个特征图V,三个1×1-conv共享参数,所以Q=K=V,并且Q表示为:
Q=σ(BN(W·X+b))
其中,BN(·)和σ(·)表示特征归一化和激活函数,W,b分别表示1×1-conv的权重和偏置。
为了表示X中每个像素与其中心像素的相似性,空间注意力矩阵M显示为:
其中,Q(i0,j0)是Q的中心像素的特征,K是第二个特征图,||·||2表示2-Norm算子,S是输入特征图的大小。
因此,空间注意力分支的输出Ysa,可设为
Ysa=VM
其中,V是第三个特征图。
2)可变形卷积D-Conv
在可变形卷积D-Conv的分支中,通过偏移量改变卷积核的采样位置的过程实现了D-Conv,其主要思想可以表述如下:
其中,p0是输出特征的像素,W1(pn)是卷积权值,pn列举了X中的位置,可以设置为pn∈R={(-1,-1),(-1,0),…,(0,1),(1,1)},poffset表示X中的偏移位置,此公式是为了将相似度低的采样位置与相似度高的采样位置相抵消,其中M为从空间注意力矩阵得到的偏移量,Sort(M)表示将M从小到大排序,/>分别表示列表中第一个ε%和最后一个ε%的位置,ε是可手动设置的常数。
3)空间注意力引导可变卷积SAD-Conv的输出
最后,SAD-Conv的输出被表示为
其中,θ是为了控制两个分支的权重而引入的自适应参数,它是一个可训练的参数。
SAD-Conv的详细图解如图2所示,表示特征串联,/>表示乘积。由图2我们可以直观地看出空间注意力矩阵为D-Conv提供了偏移量,SAD-Conv通过空间注意力矩阵和偏移量,保留了与输入特征图的中心像素相似的特征,实现了更纯粹的输出特征图。同时,通过大小为1×1的卷积核(1×1-conv)参数的更新,空间注意力矩阵也更准确地反映了像素之间的相似性,因此得到的偏移量与地面物体的分布更加一致。
步骤2,利用步骤1得到的SAD-Conv组成空间注意力引导可变卷积特征提取网络SAD-ConvNet,SAD-ConvNet网络可以表示为SAD-ConvNet包括三个Block-A、一个Block-B和一个全连接层Fully connected,Block-A包括空间注意力引导可变卷积SAD-Conv、普通的卷积层Conv、归一化层BN和激活函数层ReLU,Block-B包括普通的卷积层Conv、归一化层BN和激活函数层ReLU、普通的卷积层Conv、归一化层BN和激活函数层ReLU、最大池化层MaxPool、普通的卷积层Conv、归一化层BN和激活函数层ReLU、平均池化层AvgPool2d。
步骤3,对步骤二得到的SAD-ConvNet进行迁移学***均分类精度(AA)和Kappa系数作为衡量实验结果的指标,三个值越高表明分类结果越好。SAD-ConvNet的具体训练方法为:
交叉熵损失表示为:
源域聚类损失表示为:
其中,Dcos(a,b)表示a,b的余弦相似度,ES(c)表示为
ns,nt是源域和目标域的样本个数,C是类别数;
其中,ET(c)表示为
C是类别数。
本实施例中,在第一个Block-A的末端加入最大池化层MaxPool,在Block-B的末端加入Dropout以减小过拟合。SAD-ConvNet使用PyTorch深度学习框架设计网络,初始学习率设置为0.005,使用的优化器为随机梯度下降(SGD)。SAD-ConvNet输入的数据块Patch大小为21*21,循环次数Epoch设置为20次。运行SAD-ConvNet的主要硬件参数是:1)CPU:XeonSilver 4210R,2)GPU:GTX-3090,和3)RAM内存:49G。SAD-ConvNet的详细实施方式,如下表1所示:
本实施例中采用了三个数据集来验证本发明内容的有效性,分别是:Pavia 1-Pavia 2(PA12)数据集、Houston2013-Houston2018(HS38)数据集和PaviaU-PaviaC(UC)数据集。
本发明使用的PaviaU-PaviaC(UC)数据集的假色高光谱图像和真值标签如图6所示,本发明的SAD-ConvNet在PaviaC数据集的分类结果如图9所示;本发明使用的Pavia 1-Pavia 2(PA12)数据集的假色高光谱图像和真值标签如图7所示,本发明的SAD-ConvNet在Pavia 2数据集的分类结果如图10所示;本发明使用的Houston2013-Houston2018(HS38)数据集的假色高光谱图像和真值标签如图8所示,本发明的SAD-ConvNet在Houston2018数据集的分类结果如图11所示。从图6-11可以看出,本发明的有效性在以上三个跨域数据集上得到了很好的验证。
另外,本实施例中选择了七个相关的算法,并将七个相关算法在以上三个数据集上的分类精度与本发明所提出的分类算法在以上三个数据集上的分类精度进行了比较,七个相关的算法分别是SVM,2DCNN,GVB,CDAN,DMM,TST和DCA。本发明所提出的分类算法与七个相关算法在目标域PaviaC数据集上的分类精度如下表2所示:
本发明所提出的分类算法与七个相关算法在目标域Pavia 1数据集上的分类精度如下表3所示:
本发明所提出的分类算法与七个相关算法在目标域Houston2018数据集上的分类精度如下表4所示:
从表2-表4可以看出,本发明提出的SAD-ConvNet在三个数据集上都取得了最优的分类精度,并且SAD-ConvNet在PaviaC数据集上的整体分类精度OA达到88.52%,在Pavia 1数据集上的整体分类精度OAD达到91.11%,在Houston2018数据集上的整体分类精度OA达到83.31%。说明本发明跨域高光谱图像分类方法中SAD-Conv利用注意力机制有效地控制了卷积核的采样点的偏移量,SAD-ConvNet能够提取更加纯净和准确的深层空间光谱特征。
因此,本发明采用上述结构的基于空间注意力引导可变卷积的跨域高光谱图像分类方法,能够更准确、更纯粹地提取源域和目标域的各个类别的空间光谱特征,进而可以实现目标域高光谱图像的精确分类。
最后应说明的是:以上实施例仅用以说明本发明的技术方案而非对其进行限制,尽管参照较佳实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对本发明的技术方案进行修改或者等同替换,而这些修改或者等同替换亦不能使修改后的技术方案脱离本发明技术方案的精神和范围。
Claims (5)
1.一种基于空间注意力引导可变卷积的跨域高光谱图像分类方法,其特征在于:包括以下步骤:
步骤1,结合可变形卷积D-Conv和空间注意力得到空间注意力引导可变卷积SAD-Conv,具体方法如下:
1)空间注意力
在空间注意力的分支中,假设输入特征图为X,通过三个1×1-conv参数更新后分别输出得到第一个特征图Q、第二个特征图K和第三个特征图V,三个1×1-conv共享参数,所以Q=K=V,并且Q表示为:
Q=σ(BN(W·X+b))
其中,BN(·)和σ(·)表示特征归一化和激活函数,W,b分别表示1×1-conv的权重和偏置;
为了表示X中每个像素与其中心像素的相似性,空间注意力矩阵M显示为:
其中,Q(i0,j0)是Q的中心像素的特征,K是第二个特征图,||·||2表示2-Norm算子,S是输入特征图的大小;
因此,空间注意力分支的输出Ysa,可设为
Ysa=VM
其中,V是第三个特征图;
2)可变形卷积D-Conv
在可变形卷积D-Conv的分支中,通过偏移量改变卷积核的采样位置的过程实现了D-Conv,其主要思想可以表述如下:
其中,p0是输出特征的像素,W1(pn)是卷积权值,pn列举了X中的位置,可以设置为pn∈R={(-1,-1),(-1,0),…,(0,1),(1,1)},poffset表示X中的偏移位置,此公式是为了将相似度低的采样位置与相似度高的采样位置相抵消,其中M为从空间注意力矩阵得到的偏移量,Sort(M)表示将M从小到大排序,/>分别表示列表中第一个ε%和最后一个ε%的位置,ε是可手动设置的常数;
3)空间注意力引导可变卷积SAD-Conv的输出
最后,SAD-Conv的输出被表示为
YSAD-Conv=Cat|Ysa,θYD-Conv|
其中,θ是为了控制两个分支的权重而引入的自适应参数,它是一个可训练的参数;
步骤2,利用步骤1得到的SAD-Conv组成空间注意力引导可变卷积特征提取网络SAD-ConvNet,SAD-ConvNet网络可以表示为SAD-ConvNet包括三个Block-A、一个Block-B和一个全连接层Fully connected,Block-A包括空间注意力引导可变卷积SAD-Conv、普通的卷积层Conv、归一化层BN和激活函数层ReLU,Block-B包括普通的卷积层Conv、归一化层BN和激活函数层ReLU、普通的卷积层Conv、归一化层BN和激活函数层ReLU、最大池化层MaxPool、普通的卷积层Conv、归一化层BN和激活函数层ReLU、平均池化层AvgPool2d;
步骤3,对步骤二得到的SAD-ConvNet进行迁移学***均分类精度(AA)和Kappa系数作为衡量实验结果的指标,三个值越高表明分类结果越好,具体训练方法为:
交叉熵损失表示为:
源域聚类损失表示为:
其中,Dcos(a,b)表示a,b的余弦相似度,ES(c)表示为
ns,nt是源域和目标域的样本个数,C是类别数;
其中,ET(c)表示为
C是类别数。
2.根据权利要求1所述的基于空间注意力引导可变卷积的跨域高光谱图像分类方法,其特征在于:在第一个Block-A的末端加入最大池化层MaxPool。
3.根据权利要求2所述的基于空间注意力引导可变卷积的跨域高光谱图像分类方法,其特征在于:在Block-B的末端加入Dropout以减小过拟合。
4.根据权利要求3所述的基于空间注意力引导可变卷积的跨域高光谱图像分类方法,其特征在于:SAD-ConvNet输入的数据块Patch大小为21*21,循环次数Epoch设置为20次,运行SAD-ConvNet的主要硬件参数是:CPU:Xeon Silver 4210R,GPU:GTX-3090,和RAM内存:49G。
5.根据权利要求4所述的基于空间注意力引导可变卷积的跨域高光谱图像分类方法,其特征在于:SAD-ConvNet使用PyTorch深度学习框架设计网络,初始学习率设置为0.005,使用的优化器为随机梯度下降(SGD)。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211553844X | 2022-12-06 | ||
CN202211553844 | 2022-12-06 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116310810A true CN116310810A (zh) | 2023-06-23 |
CN116310810B CN116310810B (zh) | 2023-09-15 |
Family
ID=86825129
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310192074.9A Active CN116310810B (zh) | 2022-12-06 | 2023-03-02 | 基于空间注意力引导可变卷积的跨域高光谱图像分类方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116310810B (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021068528A1 (zh) * | 2019-10-11 | 2021-04-15 | 平安科技(深圳)有限公司 | 基于卷积神经网络的注意力权重计算方法、装置及设备 |
CN113033686A (zh) * | 2021-04-02 | 2021-06-25 | 哈尔滨工程大学 | 基于核引导可变卷积和双窗联合双边滤波器的高光谱图分类方法及*** |
CN114758170A (zh) * | 2022-04-02 | 2022-07-15 | 内蒙古农业大学 | 一种结合d3d的三分支三注意力机制高光谱图像分类方法 |
CN115147731A (zh) * | 2022-07-28 | 2022-10-04 | 北京航空航天大学 | 一种基于全空间编码注意力模块的sar图像目标检测方法 |
CN115170961A (zh) * | 2022-07-06 | 2022-10-11 | 哈尔滨理工大学 | 一种基于深度跨域少样本学习的高光谱图像分类方法及*** |
-
2023
- 2023-03-02 CN CN202310192074.9A patent/CN116310810B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021068528A1 (zh) * | 2019-10-11 | 2021-04-15 | 平安科技(深圳)有限公司 | 基于卷积神经网络的注意力权重计算方法、装置及设备 |
CN113033686A (zh) * | 2021-04-02 | 2021-06-25 | 哈尔滨工程大学 | 基于核引导可变卷积和双窗联合双边滤波器的高光谱图分类方法及*** |
CN114758170A (zh) * | 2022-04-02 | 2022-07-15 | 内蒙古农业大学 | 一种结合d3d的三分支三注意力机制高光谱图像分类方法 |
CN115170961A (zh) * | 2022-07-06 | 2022-10-11 | 哈尔滨理工大学 | 一种基于深度跨域少样本学习的高光谱图像分类方法及*** |
CN115147731A (zh) * | 2022-07-28 | 2022-10-04 | 北京航空航天大学 | 一种基于全空间编码注意力模块的sar图像目标检测方法 |
Also Published As
Publication number | Publication date |
---|---|
CN116310810B (zh) | 2023-09-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Chouhan et al. | Applications of computer vision in plant pathology: a survey | |
Sarıgül et al. | Differential convolutional neural network | |
Kaya et al. | Application of artificial neural network for automatic detection of butterfly species using color and texture features | |
CN108052966B (zh) | 基于卷积神经网络的遥感图像场景自动提取和分类方法 | |
Zhao et al. | ApLeaf: An efficient android-based plant leaf identification system | |
Wang et al. | Identification of apple leaf diseases by improved deep convolutional neural networks with an attention mechanism | |
CN109615008B (zh) | 基于堆叠宽度学习的高光谱图像分类方法和*** | |
CN110533077B (zh) | 用于高光谱图像分类的形状自适应卷积深度神经网络方法 | |
Yang et al. | High-throughput soybean seeds phenotyping with convolutional neural networks and transfer learning | |
CN112308152B (zh) | 基于光谱分割与同质区域检测的高光谱图像地物分类方法 | |
Cai et al. | Residual-capsule networks with threshold convolution for segmentation of wheat plantation rows in UAV images | |
CN109784192B (zh) | 基于超像素特征提取神经网络算法的高光谱影像分类方法 | |
Miao et al. | Classification of farmland images based on color features | |
CN105160351B (zh) | 基于锚点稀疏图的半监督高光谱分类方法 | |
Reddy et al. | Optimized convolutional neural network model for plant species identification from leaf images using computer vision | |
Sabri et al. | Nutrient deficiency detection in maize (Zea mays L.) leaves using image processing | |
CN111222545A (zh) | 基于线性规划增量学习的图像分类方法 | |
Amoda et al. | Detection and classification of plant diseases by image processing | |
CN109034213B (zh) | 基于相关熵原则的高光谱图像分类方法和*** | |
CN113435254A (zh) | 一种基于哨兵二号影像的耕地深度学习提取方法 | |
CN115170961A (zh) | 一种基于深度跨域少样本学习的高光谱图像分类方法及*** | |
Tombe et al. | Adaptive deep co-occurrence feature learning based on classifier-fusion for remote sensing scene classification | |
Song et al. | Using dual-channel CNN to classify hyperspectral image based on spatial-spectral information | |
CN113011506A (zh) | 一种基于深度重分形频谱网络的纹理图像分类方法 | |
Olisah et al. | Understanding unconventional preprocessors in deep convolutional neural networks for face identification |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |