CN116258971A - 一种多源融合的林业遥感影像智能解译方法 - Google Patents

一种多源融合的林业遥感影像智能解译方法 Download PDF

Info

Publication number
CN116258971A
CN116258971A CN202310543222.7A CN202310543222A CN116258971A CN 116258971 A CN116258971 A CN 116258971A CN 202310543222 A CN202310543222 A CN 202310543222A CN 116258971 A CN116258971 A CN 116258971A
Authority
CN
China
Prior art keywords
remote sensing
feature
image
features
fusion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310543222.7A
Other languages
English (en)
Other versions
CN116258971B (zh
Inventor
梁北大
李翔
陈云龙
王洪辉
魏霞
李锟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangxi Woodpecker Bee Technology Co ltd
Original Assignee
Jiangxi Woodpecker Bee Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangxi Woodpecker Bee Technology Co ltd filed Critical Jiangxi Woodpecker Bee Technology Co ltd
Priority to CN202310543222.7A priority Critical patent/CN116258971B/zh
Publication of CN116258971A publication Critical patent/CN116258971A/zh
Application granted granted Critical
Publication of CN116258971B publication Critical patent/CN116258971B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/188—Vegetation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种多源融合的林业遥感影像智能解译方法，涉及遥感图像处理技术领域；该方法包括以下的步骤：S10、将采集的林业遥感影像输入至多源影像融合模块中，多源影像融合模块对林业遥感影像进行特征修正和特征融合后，获得多源多粒度的林业遥感影像特征；S20、将林业遥感影像特征输入至多源多粒度特征融合模块内，多源多粒度特征融合模块为一个自顶向下和自底向上的双向融合骨干网络，通过双向融合骨干网络实现特征双向融合；S30、经特征双向融合的特征被送入林业遥感影像解译模块内进行解译；本发明的有益效果是：解决了林业遥感影像中小目标特征难以提取的问题。

Description

一种多源融合的林业遥感影像智能解译方法
技术领域
本发明涉及遥感图像处理技术领域，更具体的说，本发明涉及一种多源融合的林业遥感影像智能解译方法。
背景技术
地球观测技术的巨大进步，为观测和理解地球表面变化提供了源源不断的遥感影像数据。如何充分利用海量遥感影像，对其进行有效分析和理解已成为当前迫切需要研究的热点和难点问题。遥感影像场景分类技术(RSISC)是遥感影像理解的重要内容之一，其主要任务是给大幅遥感影像中的切片添加预定义的标签信息，如机场、港口、农田、居民区等。预定义的场景类别标签通常是根据影像所覆盖地面范围功能确定，因此同一类型的遥感影像场景通常包含了多种类型的地物。不同于像素级信息和目标级信息，遥感影像场景分类是一种语义级的遥感影像分析方法，在森林和农田覆盖调查、地质灾害监测、目标检测和识别、城市环境规划和评估等方面具有广泛且重要的应用价值。
目前绝大多数遥感数据处理软件内置分类方法仅仅利用了遥感影像数据本身，从影像的结构出发构建解译方法进行解译，精度难以进一步提高，普遍存在着林业遥感影像中小目标特征难以提取的问题。
发明内容
为了克服现有技术的不足，本发明提供一种多源融合的林业遥感影像智能解译方法。
本发明解决其技术问题所采用的技术方案是：一种多源融合的林业遥感影像智能解译方法，其改进之处在于，该方法包括以下的步骤：
S10、将采集的林业遥感影像输入至多源影像融合模块中，多源影像融合模块对林业遥感影像进行特征修正和特征融合后，获得多源多粒度的林业遥感影像特征；
S20、将林业遥感影像特征输入至多源多粒度特征融合模块内，多源多粒度特征融合模块为一个自顶向下和自底向上的双向融合骨干网络，通过双向融合骨干网络实现特征双向融合；
S30、经特征双向融合的特征被送入林业遥感影像解译模块内进行解译。
进一步的，所述步骤S10中，多源影像融合模块包含两个并行的神经网络，通过神经网络分别从林业遥感RGB图像特征和另一种模态影像特征中提取特征，并对特征进行特征修正和特征融合。
进一步的，所述的另一种模态影像特征为全色图像、高光谱图像或多光谱图像。
进一步的，对特征进行特征修正包括以下的步骤：
S101、输入林业遥感RGB图像特征和另一种模态影像特征后，将两个输入进行拼接，随后进行全局池化，以保留更多的信息；
S102、使用多层神经网络mlp得到特征映射，并将其进一步分割为两个通道注意力向量
Figure SMS_1
和/>
Figure SMS_2
，再与原始的输入进行相乘，其中RGB主干特征与注意力向量/>
Figure SMS_3
相乘后与另一种模态影像特征按元素相加，另一种模态影像特征与注意力向量/>
Figure SMS_4
相乘后与林业遥感RGB图像特征按元素相加，其公式如下：
Figure SMS_5
；
Figure SMS_6
和/>
Figure SMS_7
分别代表RGB主干特征与另一种模态影像特征的输入特征图，其中||表示来自两种模式的特征图的连接，/>
Figure SMS_8
表示全局平均池化操作；
Figure SMS_9
；
其中
Figure SMS_10
为sigmoid函数，/>
Figure SMS_11
表示MLP网络，/>
Figure SMS_12
将结果分成/>
Figure SMS_13
和/>
Figure SMS_14
，分别代表RGB主干特征与另一种模态影像特征的通道权重向量；
Figure SMS_15
；
Figure SMS_16
；
Figure SMS_17
和/>
Figure SMS_18
分别表示RGB主干特征与另一种模态影像特征的输入经过通道特征修正后的特征图；
S103、多源影像融合模块包括有林业遥感特征修正模块，进入林业遥感特征修正模块后，经过两个输出通道为1的1X1卷积，获得两个空间注意力向量，经过softmax获得相似度矩阵，将空间注意力向量分开为
Figure SMS_19
和/>
Figure SMS_20
，与步骤S102中的输出相乘后再相加，得到特征修正后的林业遥感RGB图像特征和另一种模态影像特征进行输出：
Figure SMS_21
；
Figure SMS_22
；
Figure SMS_23
；
Figure SMS_24
；
其中
Figure SMS_25
为RELU函数，Conv1×1(·)表示经过1×1卷积，/>
Figure SMS_26
将结果分为
Figure SMS_27
和/>
Figure SMS_28
，分别代表RGB主干特征与另一种模态影像特征的空间权重向量；/>
Figure SMS_29
和
Figure SMS_30
分别表示RGB主干特征与另一种模态影像特征的输入经过空间特征修正后的特征图。
进一步的，对特征进行特征融合包括以下的步骤：
S104、多源影像融合模块包括有林业遥感特征融合模块，林业遥感特征融合模块接收来自林业遥感特征修正模块输出的林业遥感RGB图像特征和另一种模态影像特征；
S105、将接收的林业遥感RGB图像特征和另一种模态影像特征进行按元素作差的操作，将得到的特征经过全局池化层和sigmoid函数后得到注意力向量
Figure SMS_31
，将其与输入的林业遥感RGB图像特征按元素相乘后，在与输入的另一种模态影像特征按元素相加后，编完成该层的特征融合操作，其公式如下：/>
Figure SMS_32
；
林业遥感特征融合模块的输出为：
Figure SMS_33
。
进一步的，所述步骤S10中，获得多源多粒度的林业遥感影像特征C2、C3、C4、C5，且林业遥感影像特征C2、C3、C4、C5为不同层所输出的多种尺度的特征；
所述步骤S20中，多源多粒度特征融合模块实现特征双向融合包括以下步骤：
S201、特征C5经过一个1X1卷积得到特征P5；
S202、特征C4、C3、C2 在经过1X1卷积后进行上采样，自顶向下的与下一层经过1X1卷积的特征进行单位加，依次得到特征P4、P3、P2；
S203、特征P2单独经过一个3X3卷积得到特征N2；随后将特征P2、P3、P4经过3X3卷积和一个步长为2的3X3卷积，对其进行降采样，然后自底向上的与上一层的输出进行单位加，各自经过一个3X3卷积后依次得到特征N3、N4、N5。
进一步的，所述特征C3在经过一个1X1卷积与上采样后的特征P4进行单位加得到P3，通过一个步长为2的3X3的卷积对特征N2进行降采样；
再通过单位加的方式将特征P3和降采样之后的特征N2进行特征融合；再使用 3X3的卷积，增加特征融合之后的特征的表征能力；
使用ReLU激活函数对特征进行非线性化得到特征N3：
Figure SMS_34
；
Figure SMS_35
。
进一步的，所述步骤S30中，多源多粒度融合后的特征N2，N3，N4，N5送入林业遥感影像解译模块内，根据不同的林业遥感影像解译任务选择不同的林业遥感影像解译模块。
本发明的有益效果是：林业遥感特征修正模块利用不同模态信息互补对各模态的噪声进行修正和校准；林业遥感特征融合模块逐像素相减可以有效地突出特征的差异，使得不同模态特征的融合在训练过程中得到更好的效果；另外提出了多源多粒度特征融合模块，解决了林业遥感影像中小目标特征难以提取的问题。
附图说明
图1为本发明的一种多源融合的林业遥感影像智能解译方法的流程示意图。
图2为本发明中林业遥感特征修正模块的结构示意图。
图3为本发明中林业遥感特征融合模块的结构示意图。
图4为本发明中多源多粒度特征融合模块的结构示意图。
具体实施方式
下面结合附图和实施例对本发明进一步说明。
以下将结合实施例和附图对本发明的构思、具体结构及产生的技术效果进行清楚、完整地描述，以充分地理解本发明的目的、特征和效果。显然，所描述的实施例只是本发明的一部分实施例，而不是全部实施例，基于本发明的实施例，本领域的技术人员在不付出创造性劳动的前提下所获得的其他实施例，均属于本发明保护的范围。另外，专利中涉及到的所有联接/连接关系，并非单指构件直接相接，而是指可根据具体实施情况，通过添加或减少联接辅件，来组成更优的联接结构。本发明创造中的各个技术特征，在不互相矛盾冲突的前提下可以交互组合。
本发明提供了一种多源融合的林业遥感影像智能解译方法，结合图1所示，即为多源融合的林业遥感影像智能解译方法的流程示意图，主要包括多源影像融合的步骤、多源多粒度特征融合的步骤以及林业遥感影像翻译的步骤。
继续参照图1至图3所示，本发明的一种多源融合的林业遥感影像智能解译方法，在本实施例中，包括以下的步骤：
S10、将采集的林业遥感影像输入至多源影像融合模块中，多源影像融合模块对林业遥感影像进行特征修正和特征融合后，获得多源多粒度的林业遥感影像特征。
在本实施例中，多源影像融合模块包含两个并行的神经网络，通过神经网络分别从林业遥感RGB图像特征和另一种模态影像特征（图2、图3中简称A模态）中提取特征，并对特征进行特征修正和特征融合。其中，所述的另一种模态影像特征为全色图像、高光谱图像或多光谱图像；本实施例中，另一种模态影像特征为全色图像。
在本发明中，对于所述的特征修正，本发明提供了一具体实施例，多源影像融合模块包括有林业遥感特征修正模块，如图2所示，即为林业遥感特征修正模块的结构示意图（图2中简称为特征修正模块）。
林业遥感影像通常存在一定噪声，虽然来自不同模态的特征有其特定的噪声测量和校正，但是会因此损失其语义信息。由于来自不同感知模态的信息通常是互补的，根据这一思想，本发明提出了林业遥感特征修正模块。林业遥感特征修正模块作为多源融合林业遥感影像中最重要的模块之一，其主体分为两个部分:1、通道特征修正；2、空间特征修正。本实施例中，对特征进行特征修正包括以下的步骤：
S101、输入林业遥感RGB图像特征和另一种模态影像特征后，将两个输入进行拼接，随后进行全局池化，以保留更多的信息；
S102、使用多层神经网络mpl获取信息，将通道注意力向量分开为分开为
Figure SMS_36
和
Figure SMS_37
，再与原始的输入进行相乘，其中RGB主干特征与注意力向量/>
Figure SMS_38
相乘后与另一种模态影像特征按元素相加，另一种模态影像特征主干特征与注意力向量/>
Figure SMS_39
相乘后与林业遥感RGB图像特征按元素相加，其公式如下：
Figure SMS_40
；
Figure SMS_41
和/>
Figure SMS_42
分别代表RGB主干特征与另一种模态影像特征的输入特征图，其中||表示来自两种模式的特征图的连接，/>
Figure SMS_43
表示全局平均池化操作；
Figure SMS_44
；
其中
Figure SMS_45
为sigmoid函数，/>
Figure SMS_46
表示MLP网络，/>
Figure SMS_47
将结果分成/>
Figure SMS_48
和/>
Figure SMS_49
，分别代表RGB主干特征与另一种模态影像特征的通道权重向量；
Figure SMS_50
；/>
Figure SMS_51
；
Figure SMS_52
和/>
Figure SMS_53
分别表示RGB主干特征与另一种模态影像特征的输入经过通道特征修正后的特征图；
S103、多源影像融合模块包括有林业遥感特征修正模块，进入林业遥感特征修正模块后，经过两个输出通道为1的1X1卷积，获得两个空间注意力向量，经过softmax获得相似度矩阵，将空间注意力向量分开为
Figure SMS_54
和/>
Figure SMS_55
，与步骤S102中的输出相乘后再相加，得到特征修正后的林业遥感RGB图像特征和另一种模态影像特征进行输出：
Figure SMS_56
；
Figure SMS_57
；
Figure SMS_58
；
Figure SMS_59
；
其中
Figure SMS_60
为RELU函数，Conv1×1(·)表示经过1×1卷积，/>
Figure SMS_61
将结果分为
Figure SMS_62
和/>
Figure SMS_63
，分别代表RGB主干特征与另一种模态影像特征的空间权重向量；/>
Figure SMS_64
和
Figure SMS_65
分别表示RGB主干特征与另一种模态影像特征的输入经过空间特征修正后的特征图。
本发明提出的林业遥感特征修正模块，利用不同模态特征信息互补对各模态特征进行过滤和校准，在减少语义信息损失的同时处理不同模态的噪声，从而实现更好的多模态特征提取和信息交互。
更进一步的，对于上述的特征融合，多源影像融合模块包括有林业遥感特征融合模块，参照图3所示，即为林业遥感特征融合模块的结构示意图（图3中简称特征融合模块）。在林业遥感特征融合模块中，得到相邻的特征节点的互补信息，然后用于从RGB层和另一模态融合重建信息；基于这一思想，本发明提出了一个简单而有效的特征融合模块。
在本实施例中，对特征进行特征融合包括以下的步骤：
S104、多源影像融合模块包括有林业遥感特征融合模块，林业遥感特征融合模块接收来自林业遥感特征修正模块输出的林业遥感RGB图像特征和另一种模态影像特征；
S105、将接收的林业遥感RGB图像特征和另一种模态影像特征进行按元素作差的操作，将得到的特征经过全局池化层和sigmoid函数后得到注意力向量
Figure SMS_66
，将其与输入的林业遥感RGB图像特征按元素相乘后，在与输入的另一种模态影像特征按元素相加后，编完成该层的特征融合操作，其公式如下：
Figure SMS_67
；
林业遥感特征融合模块的输出为：
Figure SMS_68
。
在消融实验中，将按元素作差换为逐元素相加，效果明显下降。证明相比于逐像素相加，逐像素相减可以有效地突出特征的差异，使得不同模态特征的融合在训练过程中得到更好的效果。
S20、将林业遥感影像特征输入至多源多粒度特征融合模块内，多源多粒度特征融合模块为一个自顶向下和自底向上的双向融合骨干网络，通过双向融合骨干网络实现特征双向融合；
高层神经元对整体特征敏感，而低层神经元更容易被局部特征激活，这表明，一条自上而下的路径，能够传播语义上强的特征。模型通过传播低层特征来进一步增强整个特征层次的能力，为此，本发明建立了一条从低层到顶层的横向连接的路径实现了特征双向融合。
在本实施例中，所述步骤S10中，获得多源多粒度的林业遥感影像特征C2、C3、C4、C5，且林业遥感影像特征C2、C3、C4、C5为不同层所输出的多种尺度的特征。
对于多源多粒度特征融合模块实现特征双向融合，结合图4所示，本发明提供了一具体实施例，所述步骤S20中，多源多粒度特征融合模块实现特征双向融合包括以下步骤：
S201、特征C5经过一个1X1卷积得到特征P5；
S202、特征C4、C3、C2 在经过1X1卷积后进行上采样，自顶向下的与下一层经过1X1卷积的特征进行单位加，依次得到特征P4、P3、P2；
S203、特征P2单独经过一个3X3卷积得到特征N2；随后将特征P2、P3、P4经过3X3卷积和一个步长为2的3X3卷积，对其进行降采样，然后自底向上的与上一层的输出进行单位加，各自经过一个3X3卷积后依次得到特征N3、N4、N5。
本实施例中，以特征N2到特征N3的计算为例：所述特征C3在经过一个1X1卷积与上采样后的特征P4进行单位加得到P3，通过一个步长为2的3X3的卷积对特征N2进行降采样；再通过单位加的方式将特征P3和降采样之后的特征N2进行特征融合；再使用 3X3的卷积，增加特征融合之后的特征的表征能力；使用ReLU激活函数对特征进行非线性化得到特征N3：
Figure SMS_69
；
Figure SMS_70
。
S30、经特征双向融合的特征被送入林业遥感影像解译模块内进行解译。
所述步骤S30中，多源多粒度融合后的特征N2，N3，N4，N5送入林业遥感影像解译模块内，根据不同的林业遥感影像解译任务选择不同的林业遥感影像解译模块。例如，林业影像分类任务使用全连接层，林业影像目标检测任务使用Faster RCNN等Head，林业影像分割任务使用FCN等Head。
基于此，本发明提出了多源影像融合模块，其中林业遥感特征修正模块利用不同模态信息互补对各模态的噪声进行修正和校准；林业遥感特征融合模块逐像素相减可以有效地突出特征的差异，使得不同模态特征的融合在训练过程中得到更好的效果。另外，提出了多源多粒度特征融合模块，它能较好的让各个不同尺度的特征都具有较强的语义信息，进一步完善林业遥感影像特征；解决了林业遥感影像中小目标特征难以提取的问题。
以上是对本发明的较佳实施进行了具体说明，但本发明创造并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims (8)

1.一种多源融合的林业遥感影像智能解译方法，其特征在于，该方法包括以下的步骤：
S10、将采集的林业遥感影像输入至多源影像融合模块中，多源影像融合模块对林业遥感影像进行特征修正和特征融合后，获得多源多粒度的林业遥感影像特征；
S20、将林业遥感影像特征输入至多源多粒度特征融合模块内，多源多粒度特征融合模块为一个自顶向下和自底向上的双向融合骨干网络，通过双向融合骨干网络实现特征双向融合；
S30、经特征双向融合的特征被送入林业遥感影像解译模块内进行解译。
2.根据权利要求1所述的一种多源融合的林业遥感影像智能解译方法，其特征在于，所述步骤S10中，多源影像融合模块包含两个并行的神经网络，通过神经网络分别从林业遥感RGB图像特征和另一种模态影像特征中提取特征，并对特征进行特征修正和特征融合。
3.根据权利要求2所述的一种多源融合的林业遥感影像智能解译方法，其特征在于，所述另一种模态影像特征为全色图像、高光谱图像或多光谱图像。
4.根据权利要求2所述的一种多源融合的林业遥感影像智能解译方法，其特征在于，对特征进行特征修正包括以下的步骤：
S101、输入林业遥感RGB图像特征和另一种模态影像特征后，将两个输入进行拼接，随后进行全局池化，以保留更多的信息；
S102、使用多层神经网络mlp得到特征映射，并将其进一步分割为两个通道注意力向量
Figure QLYQS_1
和/>
Figure QLYQS_2
，再与原始的输入进行相乘，其中RGB主干特征与注意力向量/>
Figure QLYQS_3
相乘后与另一种模态影像特征按元素相加，另一种模态影像特征与注意力向量/>
Figure QLYQS_4
相乘后与林业遥感RGB图像特征按元素相加，其公式如下：
Figure QLYQS_5
；
Figure QLYQS_6
和/>
Figure QLYQS_7
分别代表RGB主干特征与另一种模态影像特征的输入特征图，其中||表示来自两种模式的特征图的连接，/>
Figure QLYQS_8
表示全局平均池化操作；
Figure QLYQS_9
；
其中
Figure QLYQS_10
为sigmoid函数，/>
Figure QLYQS_11
表示MLP网络，/>
Figure QLYQS_12
将结果分成/>
Figure QLYQS_13
和/>
Figure QLYQS_14
，分别代表RGB主干特征与另一种模态影像特征的通道权重向量；
Figure QLYQS_15
；
Figure QLYQS_16
；
Figure QLYQS_17
和/>
Figure QLYQS_18
分别表示RGB主干特征与另一种模态影像特征的输入经过通道特征修正后的特征图；
S103、多源影像融合模块包括有林业遥感特征修正模块，进入林业遥感特征修正模块后，经过两个输出通道为1的1X1卷积，获得两个空间注意力向量，经过softmax获得相似度矩阵，将空间注意力向量分开为
Figure QLYQS_19
和/>
Figure QLYQS_20
，与步骤S102中的输出相乘后再相加，得到特征修正后的林业遥感RGB图像特征和另一种模态影像特征进行输出：/>
Figure QLYQS_21
；
Figure QLYQS_22
；
Figure QLYQS_23
；
Figure QLYQS_24
；
其中
Figure QLYQS_25
为RELU函数，Conv1×1(·)表示经过1×1卷积，/>
Figure QLYQS_26
将结果分为/>
Figure QLYQS_27
和
Figure QLYQS_28
，分别代表RGB主干特征与另一种模态影像特征的空间权重向量；/>
Figure QLYQS_29
和/>
Figure QLYQS_30
分别表示RGB主干特征与另一种模态影像特征的输入经过空间特征修正后的特征图。
5.根据权利要求4所述的一种多源融合的林业遥感影像智能解译方法，其特征在于，对特征进行特征融合包括以下的步骤：
S104、多源影像融合模块包括有林业遥感特征融合模块，林业遥感特征融合模块接收来自林业遥感特征修正模块输出的林业遥感RGB图像特征和另一种模态影像特征；
S105、将接收的林业遥感RGB图像特征和另一种模态影像特征进行按元素作差的操作，将得到的特征经过全局池化层和sigmoid函数后得到注意力向量
Figure QLYQS_31
，将其与输入的林业遥感RGB图像特征按元素相乘后，在与输入的另一种模态影像特征按元素相加后，编完成该层的特征融合操作，其公式如下：
Figure QLYQS_32
；
林业遥感特征融合模块的输出为：
Figure QLYQS_33
。
6.根据权利要求1所述的一种多源融合的林业遥感影像智能解译方法，其特征在于，所述步骤S10中，获得多源多粒度的林业遥感影像特征C2、C3、C4、C5，且林业遥感影像特征C2、C3、C4、C5为不同层所输出的多种尺度的特征；
所述步骤S20中，多源多粒度特征融合模块实现特征双向融合包括以下步骤：
S201、特征C5经过一个1X1卷积得到特征P5；
S202、特征C4、C3、C2 在经过1X1卷积后进行上采样，自顶向下的与下一层经过1X1卷积的特征进行单位加，依次得到特征P4、P3、P2；
S203、特征P2单独经过一个3X3卷积得到特征N2；随后将特征P2、P3、P4经过3X3卷积和一个步长为2的3X3卷积，对其进行降采样，然后自底向上的与上一层的输出进行单位加，各自经过一个3X3卷积后依次得到特征N3、N4、N5。
7.根据权利要求6所述的一种多源融合的林业遥感影像智能解译方法，其特征在于，所述特征C3在经过一个1X1卷积与上采样后的特征P4进行单位加得到P3，通过一个步长为2的3X3的卷积对特征N2进行降采样；
再通过单位加的方式将特征P3和降采样之后的特征N2进行特征融合；再使用 3X3的卷积，增加特征融合之后的特征的表征能力；使用ReLU激活函数对特征进行非线性化得到特征N3：
Figure QLYQS_34
；/>
Figure QLYQS_35
。
8.根据权利要求7所述的一种多源融合的林业遥感影像智能解译方法，其特征在于，所述步骤S30中，多源多粒度融合后的特征N2，N3，N4，N5送入林业遥感影像解译模块内，根据不同的林业遥感影像解译任务选择不同的林业遥感影像解译模块。
CN202310543222.7A 2023-05-15 2023-05-15 一种多源融合的林业遥感影像智能解译方法 Active CN116258971B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310543222.7A CN116258971B (zh) 2023-05-15 2023-05-15 一种多源融合的林业遥感影像智能解译方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310543222.7A CN116258971B (zh) 2023-05-15 2023-05-15 一种多源融合的林业遥感影像智能解译方法

Publications (2)

Publication Number Publication Date
CN116258971A true CN116258971A (zh) 2023-06-13
CN116258971B CN116258971B (zh) 2023-08-08

Family

ID=86681100

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310543222.7A Active CN116258971B (zh) 2023-05-15 2023-05-15 一种多源融合的林业遥感影像智能解译方法

Country Status (1)

Country Link
CN (1) CN116258971B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117387634A (zh) * 2023-12-13 2024-01-12 江西啄木蜂科技有限公司 基于用户偏好的变色木林区无人机路径多目标规划方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170140253A1 (en) * 2015-11-12 2017-05-18 Xerox Corporation Multi-layer fusion in a convolutional neural network for image classification
CN110197182A (zh) * 2019-06-11 2019-09-03 中国电子科技集团公司第五十四研究所 基于上下文信息和注意力机制的遥感影像语义分割方法
CN112800964A (zh) * 2021-01-27 2021-05-14 中国人民解放军战略支援部队信息工程大学 基于多模块融合的遥感影像目标检测方法及***
CN113469094A (zh) * 2021-07-13 2021-10-01 上海中科辰新卫星技术有限公司 一种基于多模态遥感数据深度融合的地表覆盖分类方法
CN114936993A (zh) * 2022-05-13 2022-08-23 常熟理工学院 高分辨率与像素关系强化注意力的强融合遥感图像分割方法
CN115170979A (zh) * 2022-06-30 2022-10-11 国家能源投资集团有限责任公司 一种多源数据融合的矿区精细用地分类方法
US11521377B1 (en) * 2021-10-26 2022-12-06 Nanjing University Of Information Sci. & Tech. Landslide recognition method based on laplacian pyramid remote sensing image fusion
US20220405883A1 (en) * 2021-06-21 2022-12-22 Ping An Technology (Shenzhen) Co., Ltd. System and method for super-resolution image processing in remote sensing
CN116012722A (zh) * 2022-09-08 2023-04-25 中国人民解放军战略支援部队信息工程大学 一种遥感影像场景分类方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170140253A1 (en) * 2015-11-12 2017-05-18 Xerox Corporation Multi-layer fusion in a convolutional neural network for image classification
CN110197182A (zh) * 2019-06-11 2019-09-03 中国电子科技集团公司第五十四研究所 基于上下文信息和注意力机制的遥感影像语义分割方法
CN112800964A (zh) * 2021-01-27 2021-05-14 中国人民解放军战略支援部队信息工程大学 基于多模块融合的遥感影像目标检测方法及***
US20220405883A1 (en) * 2021-06-21 2022-12-22 Ping An Technology (Shenzhen) Co., Ltd. System and method for super-resolution image processing in remote sensing
CN113469094A (zh) * 2021-07-13 2021-10-01 上海中科辰新卫星技术有限公司 一种基于多模态遥感数据深度融合的地表覆盖分类方法
US11521377B1 (en) * 2021-10-26 2022-12-06 Nanjing University Of Information Sci. & Tech. Landslide recognition method based on laplacian pyramid remote sensing image fusion
CN114936993A (zh) * 2022-05-13 2022-08-23 常熟理工学院 高分辨率与像素关系强化注意力的强融合遥感图像分割方法
CN115170979A (zh) * 2022-06-30 2022-10-11 国家能源投资集团有限责任公司 一种多源数据融合的矿区精细用地分类方法
CN116012722A (zh) * 2022-09-08 2023-04-25 中国人民解放军战略支援部队信息工程大学 一种遥感影像场景分类方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
PENG-BO WANG ET AL.: "Remote sensing image fusion techniques based on statistical model", PROCEEDINGS OF THE IET INTERNATIONAL CONFERENCE ON INFORMATION SCIENCE AND CONTROL ENGINEERING 2012 (ICISCE 2012), pages 1 - 5 *
孙梓超;谭喜成;洪泽华;董华萍;沙宗尧;周松涛;杨宗亮;: "基于深度卷积神经网络的遥感影像目标检测", 上海航天, no. 05, pages 18 - 24 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117387634A (zh) * 2023-12-13 2024-01-12 江西啄木蜂科技有限公司 基于用户偏好的变色木林区无人机路径多目标规划方法
CN117387634B (zh) * 2023-12-13 2024-02-27 江西啄木蜂科技有限公司 基于用户偏好的变色木林区无人机路径多目标规划方法

Also Published As

Publication number Publication date
CN116258971B (zh) 2023-08-08

Similar Documents

Publication Publication Date Title
CN108764063B (zh) 一种基于特征金字塔的遥感影像时敏目标识别***及方法
Li et al. Deep learning based cloud detection for medium and high resolution remote sensing images of different sensors
Mateo-García et al. Transferring deep learning models for cloud detection between Landsat-8 and Proba-V
Chen et al. Semantic segmentation for partially occluded apple trees based on deep learning
US9230168B2 (en) Automatic generation of built-up layers from high resolution satellite image data
CN116258971B (zh) 一种多源融合的林业遥感影像智能解译方法
Maniat et al. Deep learning-based visual crack detection using Google Street View images
Dibs et al. Multi-fusion algorithms for detecting land surface pattern changes using multi-high spatial resolution images and remote sensing analysis
CN112801158A (zh) 基于级联融合和注意力机制的深度学习小目标检测方法及装置
Jiang et al. Intelligent image semantic segmentation: a review through deep learning techniques for remote sensing image analysis
CN117274608B (zh) 基于空间细节感知和注意力引导的遥感图像语义分割方法
Zhao et al. Airborne multispectral LiDAR point cloud classification with a feature reasoning-based graph convolution network
CN113901900A (zh) 一种同源或异源遥感图像用无监督变化检测方法及***
CN113610070A (zh) 一种基于多源数据融合的滑坡灾害识别方法
Ren et al. A dual-stream high resolution network: Deep fusion of GF-2 and GF-3 data for land cover classification
Li et al. Progressive fusion learning: A multimodal joint segmentation framework for building extraction from optical and SAR images
CN117876836B (zh) 基于多尺度特征提取和目标重建的图像融合方法
CN115457396A (zh) 一种基于遥感影像的地表目标地物检测方法
Thati et al. A systematic extraction of glacial lakes for satellite imagery using deep learning based technique
Lu et al. Citrus green fruit detection via improved feature network extraction
Liang et al. Hybrid transformer-CNN networks using superpixel segmentation for remote sensing building change detection
CN111967516B (zh) 一种逐像素分类方法、存储介质及分类设备
CN116935240A (zh) 多尺度感知金字塔的地表覆盖分类***和方法
CN112767351A (zh) 一种基于敏感位置依赖分析的变电设备缺陷检测方法
Touati et al. Partly uncoupled siamese model for change detection from heterogeneous remote sensing imagery

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant