CN116664954A - 基于图卷积与卷积融合的高光谱地物分类方法 - Google Patents
基于图卷积与卷积融合的高光谱地物分类方法 Download PDFInfo
- Publication number
- CN116664954A CN116664954A CN202310791825.9A CN202310791825A CN116664954A CN 116664954 A CN116664954 A CN 116664954A CN 202310791825 A CN202310791825 A CN 202310791825A CN 116664954 A CN116664954 A CN 116664954A
- Authority
- CN
- China
- Prior art keywords
- feature extraction
- image
- layer
- graph
- convolution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 54
- 230000004927 fusion Effects 0.000 title claims abstract description 18
- 238000000605 extraction Methods 0.000 claims abstract description 82
- 238000012549 training Methods 0.000 claims abstract description 31
- 238000012360 testing method Methods 0.000 claims abstract description 16
- 238000011478 gradient descent method Methods 0.000 claims abstract description 5
- 239000011159 matrix material Substances 0.000 claims description 39
- 238000011176 pooling Methods 0.000 claims description 20
- 230000006870 function Effects 0.000 claims description 13
- 238000013507 mapping Methods 0.000 claims description 13
- 230000003595 spectral effect Effects 0.000 claims description 10
- 238000004422 calculation algorithm Methods 0.000 claims description 8
- 230000008447 perception Effects 0.000 claims description 2
- 238000007781 pre-processing Methods 0.000 claims description 2
- 230000011218 segmentation Effects 0.000 claims description 2
- 230000005540 biological transmission Effects 0.000 claims 1
- 238000006243 chemical reaction Methods 0.000 abstract description 5
- 238000011161 development Methods 0.000 abstract description 2
- 238000012544 monitoring process Methods 0.000 abstract description 2
- 238000004088 simulation Methods 0.000 description 14
- 238000012706 support-vector machine Methods 0.000 description 8
- 241001466077 Salina Species 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 238000001228 spectrum Methods 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 238000007637 random forest analysis Methods 0.000 description 3
- 244000068988 Glycine max Species 0.000 description 2
- 235000010469 Glycine max Nutrition 0.000 description 2
- 240000008042 Zea mays Species 0.000 description 2
- 235000005824 Zea mays ssp. parviglumis Nutrition 0.000 description 2
- 235000002017 Zea mays subsp mays Nutrition 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 235000005822 corn Nutrition 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000015654 memory Effects 0.000 description 2
- 241000218631 Coniferophyta Species 0.000 description 1
- 240000008067 Cucumis sativus Species 0.000 description 1
- 235000010799 Cucumis sativus var sativus Nutrition 0.000 description 1
- 235000007688 Lycopersicon esculentum Nutrition 0.000 description 1
- 240000005160 Parkia speciosa Species 0.000 description 1
- 235000017333 Parkia speciosa Nutrition 0.000 description 1
- 235000008331 Pinus X rigitaeda Nutrition 0.000 description 1
- 241000018646 Pinus brutia Species 0.000 description 1
- 235000011613 Pinus brutia Nutrition 0.000 description 1
- 240000003768 Solanum lycopersicum Species 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 239000010426 asphalt Substances 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000003331 infrared imaging Methods 0.000 description 1
- 230000002401 inhibitory effect Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 239000004575 stone Substances 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
- Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于图卷积与卷积融合的高光谱地物分类方法，主要解决现有技术对图像分类依赖大量样本训练，无法充分捕获到图像长距离依赖关系的问题。其实现方案是：从公开网站上获取高光谱数据集和数据标注集，划分出训练集和测试集样本；构建由区域级特征提取模块、特征融合转换模块、像素级特征提取模块串联组成的特征提取网络；利用训练集通过交叉熵损失函数计算整个网络的损失，利用随机梯度下降法迭代优化网络参数，得到训练好的提取网络；将测试集输入到训练好的提取网络，得到高光谱图像分类结果。本发明能充分挖掘遥感图像特征的深层次信息，捕获图像区域间的依赖关系，提升图像特征的提取能力，可用于城市发展、环境监测及资源勘探。
Description
技术领域
本发明属于图像处理技术领域，特别涉及一种基于高光谱地物的分类方法，可用于城市发展、资源勘探及环境监测。
背景技术
高光谱遥感影像地物分类在遥感领域中起着至关重要的作用，并因其广泛的实际应用而受到越来越多的关注。
现有的高光谱分类技术主要分为以下两类：
第一类是基于机器学习的高光谱分类方法，即支持向量机SVM、随机森林RF等传统的机器学习算法已经被广泛的应用于对遥感图像地物的准确分类。它们提取的特征主要包含浅层特征，如纹理特征、形状特征和颜色特征。由于高光谱遥感图像所涉及的场景复杂多样，且伴随着高光谱“同物异谱”和“同谱异物”的问题，因而该类方法不能很好地表示高光谱遥感影像中复杂的内容。
第二类是基于深度学习的高光谱遥感影像地物分类方法，其最有代表性的是基于卷积神经网络，图卷积神经网络方法。该类方法可以提取遥感影像中的高级语义特征，分类效果也比较好，是目前广泛使用的高光谱遥感影像分类方法之一。虽然基于深度卷积神经网络的方法已经在高光谱遥感影像分类任务中取得了较大的成功，但由于其擅长从遥感影像中捕获全局信息，因而无法彻底挖掘隐藏在复杂遥感影像中的局部知识和来自光谱上的波段信息；同时由于其采用特定的高光谱遥感数据划分，会受到数据划分块数的干扰，对遥感数据划分的块的数量通常很小，故导致在特征提取中误用了很多的嘈杂信息，影响对图像特征的学习能力。
针对现有高光谱遥感影像分类技术中存在的问题和缺陷，如何提供一种能同时提取高光谱中的空间信息和光谱信息并且能够有效的过滤掉特征提取时的光谱通道上的嘈杂信息是本领域技术人员需要解决的难题。
牟李超等人发表在电气电子工程师学会IEEE期刊中的文章提出了一种非局部图卷积网络，其通过计算整幅图像中像素之间的关系来提高分类精度。但该方法对内存资源的消耗大，且在训练阶段要消耗大量的时间。
万生等人发表在电气电子工程师学会IEEE期刊中的文章提出了多尺度图卷积的方法，该方法首先使用简单线性迭代聚类算法将原始图像划分为若干个超像素，并利用欧式距离公式来衡量像素块之间的相关性，从而构造出输入图神经网络中的邻接矩阵及像素块区域内和像素之间的映射函数，同时利用多尺度技术来有效的补充空间信息的提取能力。然而，为防止在构造节点关系时丢失关键信息，小样本数据由于所占空间较小所以更倾向于构造更多节点的关系图，而由较少节点构造的关系图更好的表征大样本数据。因此该方法利用简单线性迭代聚类算法构造的超像素在样本不均衡的条件下很容易影响特征提取能力。
徐克杰等人发表在电气电子工程师学会IEEE期刊中的文章提出了专门为高光谱特点设计的基于图注意卷积的高光谱图像分类。其首先利用光谱残差模块提取光谱判别特征；再利用图注意力网络表征目标节点与邻域节点的关系；然后使用全连接层计算出多组注意力系数，通过特征拼接和加权平均的操作，多方位的挖掘不同邻居节点对中心节点贡献的重要程度，自适应的突出重要邻居节点，抑制噪声节点，以获取具有表现力的特征。但是由于图卷积仍然受限于浅层的特征提取，导致分类效果还有待于进一步提高。
发明内容
本发明的目的在于针对上述现有技术的不足，提出一种基于图卷积与卷积融合的高光谱地物分类方法，以增强对样本的特征提取能力，减小计算资源，提高分类精度。
为实现上述目的，本发明的技术方案包括如下步骤：
(1)从公开网站获取高光谱图像的原始数据集和数据标注集，并从数据标注集中选取一定比例不为0的标签构成训练集，将剩下的所有样本构成测试样本集；
(2)对高光谱图像的原始数据集进行预处理：
2a)采用简单线性迭代算法对高光谱图像进行分割；
2b)对分割后的图像计算其区域矩阵V、邻接关系矩阵A、区域与像素映射关系矩阵Q；
3)搭建特征提取网络：
3a)建立由三个图卷积层，一个图池化层，一个图反池化层构成的区域级特征提取模块，用于提取区域之间的依赖关系；
3b)搭建由多尺度特征提取层与现有的注意力层组成的像素级特征提取模块，用于提取单个像素上的光谱信息和空间特征；
3c)建立用于融合3a)和3b)特征的融合模块；
3d)将区域级特征提取模块与像素级特征模块并联连接，再与融合模块串联构成特征提取网络，并将交叉熵损失函数作为该特征提取网络的损失函数；
(4)对特征提取网络进行训练：
4a)将原始图像以及区域矩阵V、邻接关系矩阵M、区域与像素映射关系矩阵Q输入到特征提取网络，计算特征提取网络输出与训练集真实标签的损失值；
4b)使用随机梯度下降法，逐渐降低损失函数的值，以对网络参数进行更新，直到完成设定的最大迭代次数，得到训练好的特征提取网络；
(5)利用训练好的特征提取网络，得到测试集高光谱图像分类结果：
5a)将原始图像以及区域矩阵V、邻接关系矩阵M、区域与像素映射关系矩阵Q输入到训练好的特征提取网络中，得到输出向量F；
5b)对输出向量F的通道维度使用argmax函数计算通道维度上最大值所在的位置索引，该位置索引即为整幅图像中所有像素点的类别；
5c)从整幅图像中所有像素点的类别，找到测试集对应坐标的值，即是测试集的分类结果。
本发明与现有技术相比，具有如下优点：
1)本发明由于构建了一个基于区域级特征提取模块和像素级特征提取模块并联，再与特征融合模块串联的特征提取网络，因而可同时提取高光谱图像中区域之间的依赖关系和单个像素上的空间和光谱特征，实现以端到端的方式进行高光谱分类，且能充分解译高光谱遥感影像内的复杂内容，极大程度的提升分类的性能。
2)本发明在特征提取网络中由于建立了一个由多尺度特征提取层和注意力层组成的像素级特征提取模块，通过将位置信息嵌入到通道注意机制中来充分提取每个像素上的光谱特征和像素级区域内局部空间特征，进一步增强了小样本特征提取能力。
3)本发明在特征提取网络中由于建立了区域级特征提取模块，通过逐步融合浅层的特征和深层的特征来实现对图像中区域之间的关系建模，使得网络能够学习到更多的深层特征。
仿真实验表明，本发明的分类精度均优于其他现有方法，且总体分类效果更加稳定。
附图说明
图1是本发明的实现流程示意图；
图2是本发明中使用简单线性迭代算法对高光谱图像的分割示意图；
图3是本发明中像素级特征提取模块结构示意图；
具体实施方式
下面结合附图对本发明的实例和效果作进一步详细说明。
参照图1，本实例基于图卷积与卷积融合的高光谱地物分类方法包含五个模块：训练集和测试集的选取，图像预处理模块，区域级特征提取模块，像素级特征提取模块，特征转换与融合模块.具体实现步骤如下：
步骤一:选取训练集和测试集。
从公开网站获取高光谱图像的原始数据集和数据标注集；
从数据标注集中去掉标签为0的样本构成前景数据集，从前景数据集中选取部分样本作为训练集，将剩下的所有样本构成测试样本集。
步骤二：对高光谱图像的原始数据集进行预处理。
2.1)采用简单线性迭代算法对高光谱图像进行分割，得到分割后的高光谱图像P'
p'＝Slic(p,Z)
其中，P∈H×W×B为原高光谱图像，Z＝(H×W)/a为划分的块数，H,W,B分别表示图像的长度，宽度，高度，a是用来控制超像素大小的超参数，分割后的图像如图2所示；
2.2)对分割后的图像P',计算其区域矩阵V：
其中，Si表示第i个超像素块，表示存在于Si中的第j个像素点，Nz表示超像素块SZ中包含的像素数量；
2.3)对分割后的图像P',计算区域邻接关系矩阵A：
其中表示矩阵A中第i行第j列的元素，即第i个超像素块Vi与第j个超像素块Vj的关系，N(·)表示超像素的邻域，y表示设定的超参数。
2.4)对分割后的图像P',计算区域与像素映射关系矩阵Q：
其中，Q∈(Z,H×W)，Z是超像素块数，H，W分别为图像长度和宽度；Qi,j表示矩阵Q中第i行第j列的元素，即超像素块Sj与像素Xi的映射关系，其值确定如下：
步骤三：搭建特征提取网络。
3.1构建区域级特征提取模块：
3.1.1)建立包括三个图卷积层，一个图池化层，一个图反池化层的区域级特征提取网络；
该第一图卷积层，第二图卷积层，均包含一个维度参数为128的图卷积；
该第三图卷积层，包含一个维度参数为M的图卷积，M表示图像类别数；
该第一图池化层，包含一个超参数为K的池化操作，本实例设置但不限于K为0.5，该第一图反池化层，包含一个反池化操作；
3.1.2)建立各层的连接关系，得到区域级特征提取模块的输出特征F：
输入特征依次经过第一图卷积层得到输出第一特征F1；该F1依次经过第一图池化层、第二图卷积层、第一图反池化层得到第二特征F2；第一图卷积层的输出特征F1与第一图反池化层的输出特征F2相加之后，经过第三图卷积层输出最终区域级特征提取模块的特征F。
3.2)建立像素级特征提取模块：
3.2.1)建立包括一个点卷积层分别与3个逐通道卷积层并联连接再相加组成的多尺度特征提取层，用于提取像素中的光谱特征和空间特征；
该点卷积层的卷积核大小为1×1，通道维度参数设置为128；
该第一逐通道卷积层的卷积核大小为3×3，填充层参数设置为1；
该第二逐通道卷积层的卷积核大小为5×5，填充层参数设置为2；
该第三逐通道卷积层的卷积核大小为7×7，填充层参数设置为3；
经过3个逐通道卷积层输出的特征分别为F11、F21、F31，相加之后输出特征为F41，即，F41＝F11+F21+F31；
3.2.2)选用现有注意力层，用于将位置信息嵌入到特征学习当中，增加对空间位置信息的特征感知能力；
3.2.3)参照图3，将3个逐通道卷积层分别与现有注意力层串联，组成该像素级特征提取模块；该像素级特征提取模块的输出的特征CNNres表示如下
CNNres＝attention(F41)
其中，attention()表示现有注意力层。
3.3)特征融合与转换模块:
3.3.1)对3.1.2)的输出特征F进行转换，得到图转换特征GCNres：
GCNres＝Q×F
其中，Q表示区域与像素映射关系矩阵；
3.3.2)对步骤3.3.1)和步骤3.2.3)得到的两种输出特征进行融合，得到的输出特征F5表示如下：
F5＝Softmax(Concat(GCNres,CNNres))
其中，Concat表示拼接操作；
3.4)将区域级特征提取模块与特征融合转换模块、像素级特征提取模块进行串联，构成特征提取网络，用于对输入到区域级特征提取模块的原始图像X及区域矩阵V、邻接关系矩阵M、区域与像素映射关系矩阵Q经过特征融合模块进行特征转换，其输出特征再与像素级特征提取模块的输出特征进行融合后，输出网络特征。
步骤四：训练特征提取网络。
4.1)将原始图像以及区域矩阵V、邻接关系矩阵M、区域与像素映射关系矩阵Q输入进特征提取网络中，计算特征提取网络的输出与训练集标签的交叉熵损失函数Loss：
Loss＝-[y1logy'+(1-y1)log(1-y')]
其中，θ是随机初始化得到的网络的初始参数，y1是真实标签，y'是网络的输出。
4.2)使用梯度下降法更新网络模型参数θ：
设初始训练批次m＝0，预训练阶段最大迭代次数T＝200；
计算当前训练更新后的网络模型参数θm+1：
其中，α是训练阶段的学习率，θm是当前训练更新前的网络参数，L1(θ)是对当前网络参数；
4.3)重复步骤4.2)，使其达到预训练阶段的最大迭代次数T，停止训练，得到训练好的特征提取网络。
步骤五：获得测试集的分类结果。
5.1)将原始图像以及区域矩阵V、邻接关系矩阵M、区域与像素映射关系矩阵Q输入进特征提取网络中输出特征向量F6；
5.2)使用argsmax函数计算得到向量F6通道维度上最大值所在的索引：Fout＝argmax(F6)其中，Fout表示图像的最大位置索引，Fout∈H×W×1，F6∈H×W×k为输出的特征向量，H，W分别为图像长度，宽度，k为类别总数。
5.3)从整幅图像中所有像素点中，找到测试集对应坐标的值，即是测试集的分类结果。
本发明的效果可通过以下仿真进一步说明：
一.仿真条件
本发明的仿真环境选取了python 3.8+pytorch 1.7的框架，在GeForce RTX2080Ti和11G内存的工作站上完成。
仿真使用的四个数据集分别是Indian Pines数据集，paviaU数据集，Houston2013数据集和Salinas数据集，其中
Indian Pines数据集由机载可见/红外成像光谱仪AVIRIS传感器在印第安纳州西北部的一片农田区域采集的，原始高光谱图像波长范围在0.4-2.5微米之间。空间分辨率为20m。它所选择的区域大小包含了145×145个像素点，在经过去除噪声和经过大气校正过程之后，选择200个光谱波段进行实验。该数据集包含了针叶林和农田等真实场景中的多种物体和材质，例如玉米、大豆、松树，共有16个不同的地物类别，其中共包含了10249个人工标记的数据样本，其余10776个像素均为背景像素。
paivaU数据集是使用反射光学***成像光谱仪ROSIS-3HS传感器在帕维亚大学附近区域获得的高光谱遥感图像数据集。光谱覆盖范围为430-860nm之间，像素的几何分辨率在1.3m，在去除受到噪声影响的波段之后，选择103个光谱波段进行实验。该区域大小包含了610×340个像素，其中有标签的像素点总共有42776个，共分为9个土地类别。主要括沥青、草地、碎石等物体。
Houston2013数据集是2012年利用机载传感器ITRES-CASI1500在休斯顿大学及其邻近地区所拍摄的。经过校正之后，选择了144个光谱波段进行实验。其空间分辨率为2.5m，该数据集是在2013年被发表于IEEE地球科学与遥感学会数据融合大赛中。该区域十分复杂。为了实验的一致性，将提供的数据集训练集和测试集进行融合，所获得的数据集包含了349×1905个像素。其中有标签的像素点共有15029个。一共包含15个类别。
Salinas数据集由AVIRIS传感器在加利福尼亚州Salinas Valley拍摄，空间分辨率为3.7米，含有224个连续波段，去掉20个吸水带(108-112、154-167、224)，实际用于训练的波段是204。该区域包含了512×340个像素，主要包含有玉米、大豆、黄瓜、番茄等16个地物类别。
二.仿真内容
仿真1，在上述仿真条件下，分别用本发明和现有七个高光谱遥感图像分类方法CEGCN,MDGCN,S2GAT,3DOCT-SSAN,A2S2K-ResNet,SVM,RF-200在Indian Pines数据集上进行分类，计算各自的总体精度OA、平均分类精度AA、Kappa系数，以进行性能对比，结果如表1。
表1本发明与现有7种方法在Indian Pines数据集进行分类的性能对比
仿真2，在上述仿真条件下，分别用本发明和现有七个高光谱遥感图像分类方法CEGCN,MDGCN,S2GAT,3DOCT-SSAN,A2S2K-ResNet,SVM,RF-200在paviaU数据集上进行分类，计算各自的总体精度OA、平均分类精度AA、Kappa系数，以进行性能对比，结果如表2。
表2本发明与现有7种方法在paviaU数据集进行分类的性能对比
仿真3，在上述仿真条件下，分别用本发明和现有七个高光谱遥感图像分类方法CEGCN,MDGCN,S2GAT,3DOCT-SSAN,A2S2K-ResNet,SVM,RF-200在Houston2013数据集上进行分类，计算各自的总体精度OA、平均分类精度AA、Kappa系数，以进行性能对比，结果如表3。
表3本发明与现有7种方法在Houston2013数据集进行分类的性能对比
仿真4，在上述仿真条件下，分别用本发明和现有七个高光谱遥感图像分类方法CEGCN,MDGCN,S2GAT,3DOCT-SSAN,A2S2K-ResNet,SVM,RF-200在Salinas数据集上进行分类，计算各自的总体精度OA、平均分类精度AA、Kappa系数进行性能对比，结果如表4。
表4本发明与现有7种方法在Salinas数据集进行分类的性能对比
所述七个现有技术的出处：
CEGCN是刘启超等人在IEEE上发表的用于高光谱图像分类的方法，即：Liu Q,XiaoL,Yang J,et al.CNN-enhanced graph convolutional network with pixel-andsuperpixel-level feature fusion for hyperspectral image classification[J].IEEE Transactions on Geoscience and Remote Sensing,2020,59(10):8657-8671.
MDGCN在IEEE上发表的用于高光谱图像分类的方法，即：Wan S,Gong C,Zhong P,et al.Multiscale dynamic graph convolutional network for hyperspectral imageclassification[J].IEEE Transactions on Geoscience andRemote Sensing,2019,58(5):3162-3177.
S2GAT在IEEE上发表的用于高光谱图像分类的方法，即：WShaA,Wang B,Wu X,etal.Semisupervised classification for hyperspectral images using graphattention networks[J].IEEE Geoscience and Remote Sensing Letters,2020,18(1):157-161.
3DOCT-SSAN在IEEE上发表的用于高光谱图像分类的方法，即：X.Tang,F.Meng,X.Zhang,Y.-M.Cheung,J.Ma,F.Liu,and L.Jiao,“Hyperspectral image classificationbased on3-d octave convolution with spatial–spectral attention network,”IEEETransactions on Geoscience and Remote Sensing,vol.59,no.3,pp.2430–2447,2020.
A2S2K-ResNet在IEEE上发表的用于高光谱图像分类的方法，即：S.K.Roy,S.Manna,T.Song,and L.Bruzzone,“Attention based adaptive spectral-spatialkernel resnet for hyperspectral image classification,”IEEE Transactions onGeoscience and Remote Sensing,2020.
SVM在IEEE上发表的用于高光谱图像分类的方法，即：J.A.Gualtieri andS.Chettri,“Support vector machines for classifification ofhyperspectraldata,”in Proc.IEEE Int.Geosci.Remote Sens.Symp.(IGARSS),vol.2,Jul.2000,pp.813–815.
RF-200在IEEE上发表的用于高光谱图像分类的方法，即：J.Ham,Y.Chen,M.M.Crawford,and J.Ghosh,“Investigation of the random forest framework forclassifification ofhyperspectral data,”IEEE Trans.Geosci.Remote Sens.,vol.43,no.
3,pp.492–501,Mar.2005.
从表1到表4中明显可见，本发明相对于七种现有方法在四个常用的高光谱遥感数据集中总体分类精度，平均分类精度更高，表明本发明相比现有方法具有更好的图像分类性能。
Claims (10)
1.一种基于图卷积与卷积融合的高光谱图像分类方法，其特征在于，包括如下步骤：
(1)从公开网站获取高光谱图像的原始数据集和数据标注集，并从数据标注集中选取不为0的标签构成训练集，将剩下的所有样本构成测试样本集；
(2)对高光谱图像的原始数据集进行预处理：
2a)采用简单线性迭代算法对高光谱图像进行分割；
2b)对分割后的图像计算其区域矩阵V、邻接关系矩阵A、区域与像素映射关系矩阵Q；
3)搭建特征提取网络：
3a)建立由三个图卷积层，一个图池化层，一个图反池化层构成的区域级特征提取模块，用于提取区域之间的依赖关系；
3b)搭建由多尺度特征提取层与现有的注意力层组成的像素级特征提取模块，用于提取单个像素上的光谱信息和空间特征；
3c)建立用于融合3a)和3b)特征的融合模块；
3d)将区域级特征提取模块与像素级特征模块并联连接，再与融合模块串联构成特征提取网络，并将交叉熵损失函数作为该特征提取网络的损失函数；
(4)对特征提取网络进行训练：
4a)将原始图像以及区域矩阵V、邻接关系矩阵M、区域与像素映射关系矩阵Q输入到特征提取网络，计算特征提取网络输出与训练集真实标签的损失值；
4b)使用随机梯度下降法，逐渐降低损失函数的值，以对网络参数进行更新，直到完成设定的最大迭代次数，得到训练好的特征提取网络；
(5)利用训练好的特征提取网络，得到测试集高光谱图像分类结果：
5a)将原始图像以及区域矩阵V、邻接关系矩阵M、区域与像素映射关系矩阵Q输入到训练好的特征提取网络中，得到输出向量F；
5b)对输出向量F的通道维度使用argmax函数计算通道维度上最大值所在的位置索引，该位置索引即为整幅图像中所有像素点的类别；
5c)在整幅图像中所有像素点的类别中，找到测试集对应坐标的值，即是测试集的分类结果。
2.根据权利要求1所述的方法，其特征在于，步骤2a)中用简单线性迭代算法对高光谱图像进行分割，是通过如下公式进行：
p'＝Slic(p,Z)
其中，P'为分割后的图形，P∈H×W×B为原高光谱图像，Z＝(H×W)/a为划分的块数，H,W,B分别表示图像的长度，宽度，高度，a是用来控制超像素大小的超参数。
3.根据权利要求1所述的方法，其特征在于，步骤2b)中对分割后的图像计算其区域矩阵V，公式如下：
其中，Si表示第i个超像素块，表示存在于Si中的第j个像素点，Nz表示超像素块SZ中包含的像素数量。
4.根据权利要求1所述的方法，其特征在于，步骤2b)中对分割后的图像计算其邻接关系矩阵A，公式如下：
其中表示矩阵A中第i行第j列的元素，即第i个超像素块Vi与第j个超像素块Vj的关系，N(·)表示超像素的邻域，y表示设定的超参数。
5.根据权利要求1所述的方法，其特征在于，步骤2b)中对分割后的图像，计算其区域与像素映射关系矩阵Q，公式如下：
其中，Q∈(Z,H×W)，Z是超像素块数，H，W分别为图像长度和宽度；Qi,j表示矩阵Q中第i行第j列的元素，即超像素块Sj与像素Xi的映射关系，其值确定如下：
6.根据权利要求1所述的方法，其特征在于，步骤3a)中构成区域级特征提取模块中三个图卷积层，一个图池化层，一个图反池化层，其结构参数及传输关系如下：
所述第一图卷积层，第二图卷积层，均包含一个维度参数为128的图卷积；
所述第三图卷积层，包含一个维度参数为M的图卷积，M表示图像类别数；
所述第一图池化层，包含一个池化操作；
所述第一图反池化层，包含一个反池化操作；
输入特征依次经过第一图卷积层得到输出第一特征F1，该F1依次经过第一图池化层、第二图卷积层、第一图反池化层得到第二特征F2；第一图卷积层的输出特征F1与第一图反池化层的输出F2相加之后，经过第三图卷积层输出最终区域级特征提取模块的特征F。
7.根据权利要求1所述的方法，其特征在于，步骤3b)搭建由多尺度特征提取层与现有的注意力层组成的像素级特征提取模块，实现如下：
3b1)建立由一个点卷积层分别与3个逐通道卷积层并联连接再相加组成多尺度特征提取层，用于提取像素中的光谱特征和空间特征，其中：
点卷积层的卷积核大小为1×1；
第一逐通道卷积层的卷积核大小为3×3；
第二逐通道卷积层的卷积核大小为5×5；
第三逐通道卷积层的卷积核大小为7×7；
经过3个逐通道卷积层输出的特征分别为F11、F21、F31，相加之后输出特征为F41，
其中，F41＝F11+F21+F31；
3b2)选用现有的注意力层，用于将位置信息嵌入到特征学习当中，增加对空间位置信息的特征感知能力；
3b3)将多尺度特征提取层与注意力层串联，组成该像素级特征提取模块。
8.根据权利要求1所述的方法，其特征在于，步骤4a)中计算特征提取网络输出与训练集真实标签的损失值，公式如下：
L1(θ)＝-[y1 logy'+(1-y1)log(1-y')]
其中，θ是随机初始化得到网络的初始参数，y1是真实标签，y'是整个网络的输出。
9.根据权利要求1所述的方法，其特征在于，步骤4b)中使用随机梯度下降法，逐渐降低损失函数的值，以对网络参数进行更新，实现如下：
4b1)始训练批次m＝0，训练阶段最大迭代次数T＝200，学习率α；
4b2)根据特征提取网络输出与训练集真实标签的损失值，计算当前训练更新后的特征提取网络参数θm+1：
其中，θ是随机初始化得到网络的初始参数，θm是当前训练更新前的网络参数；
4b3)重复步骤4b2)直到达到最大迭代次数T，完成对特征提取网络的训练。
10.根据权利要求1所述的方法，其特征在于，步骤5b)对输出向量F的通道维度使用argmax函数计算通道维度上最大值所在的位置索引，公式如下：
Fout＝argmax(F)
其中，Fout表示图像的最大位置索引，Fout∈H×W×1，F∈H×W×k为输出的特征向量，H，W分别为图像长度，宽度，k为类别总数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310791825.9A CN116664954A (zh) | 2023-06-30 | 2023-06-30 | 基于图卷积与卷积融合的高光谱地物分类方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310791825.9A CN116664954A (zh) | 2023-06-30 | 2023-06-30 | 基于图卷积与卷积融合的高光谱地物分类方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116664954A true CN116664954A (zh) | 2023-08-29 |
Family
ID=87726239
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310791825.9A Pending CN116664954A (zh) | 2023-06-30 | 2023-06-30 | 基于图卷积与卷积融合的高光谱地物分类方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116664954A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116934754A (zh) * | 2023-09-18 | 2023-10-24 | 四川大学华西第二医院 | 基于图神经网络的肝脏影像识别方法及装置 |
| CN117830848A (zh) * | 2024-01-03 | 2024-04-05 | 中国科学院长春光学精密机械与物理研究所 | 基于类引导注意力机制的高光谱图像分类方法 |
-
2023
- 2023-06-30 CN CN202310791825.9A patent/CN116664954A/zh active Pending
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116934754A (zh) * | 2023-09-18 | 2023-10-24 | 四川大学华西第二医院 | 基于图神经网络的肝脏影像识别方法及装置 |
| CN116934754B (zh) * | 2023-09-18 | 2023-12-01 | 四川大学华西第二医院 | 基于图神经网络的肝脏影像识别方法及装置 |
| CN117830848A (zh) * | 2024-01-03 | 2024-04-05 | 中国科学院长春光学精密机械与物理研究所 | 基于类引导注意力机制的高光谱图像分类方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111986099B (zh) | 基于融合残差修正的卷积神经网络的耕地监测方法及*** | |
| CN108573276B (zh) | 一种基于高分辨率遥感影像的变化检测方法 | |
| CN109543630B (zh) | 基于深度学习的遥感影像林地提取方法及***、存储介质、电子设备 | |
| Hosseinpour et al. | CMGFNet: A deep cross-modal gated fusion network for building extraction from very high-resolution remote sensing images | |
| CN110929607B (zh) | 一种城市建筑物施工进度的遥感识别方法和*** | |
| CN105069468B (zh) | 基于脊波和深度卷积网络的高光谱图像分类方法 | |
| CN108052966B (zh) | 基于卷积神经网络的遥感图像场景自动提取和分类方法 | |
| EP3022686B1 (en) | Automatic generation of multi-scale descriptors from overhead imagery through manipulation of alpha-tree data structures | |
| CN111274865A (zh) | 一种基于全卷积神经网络的遥感图像云检测方法及装置 | |
| CN116664954A (zh) | 基于图卷积与卷积融合的高光谱地物分类方法 | |
| CN110728197B (zh) | 基于深度学习的单木级树种识别方法 | |
| CN107067405B (zh) | 基于尺度优选的遥感影像分割方法 | |
| CN112052755A (zh) | 基于多路注意力机制的语义卷积高光谱图像分类方法 | |
| CN113705580B (zh) | 基于深度迁移学习的高光谱图像分类方法 | |
| CN111639587A (zh) | 基于多尺度谱空卷积神经网络的高光谱图像分类方法 | |
| Chen et al. | Object-based multi-modal convolution neural networks for building extraction using panchromatic and multispectral imagery | |
| CN112818920B (zh) | 一种双时相高光谱图像空谱联合变化检测方法 | |
| CN114463637A (zh) | 一种基于深度学习的冬小麦遥感识别分析方法和*** | |
| CN111738052B (zh) | 基于深度学习的多特征融合高光谱遥感地物分类方法 | |
| CN113435254A (zh) | 一种基于哨兵二号影像的耕地深度学习提取方法 | |
| Singh et al. | A hybrid approach for information extraction from high resolution satellite imagery | |
| Guo et al. | Dual-concentrated network with morphological features for tree species classification using hyperspectral image | |
| CN111079807A (zh) | 一种地物分类方法及装置 | |
| Wang et al. | Multispectral point cloud superpoint segmentation | |
| Al-Ghrairi et al. | Classification of satellite images based on color features using remote sensing |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |