CN117765410B - 遥感影像双分支特征融合固废识别方法、***及电子设备 - Google Patents

遥感影像双分支特征融合固废识别方法、***及电子设备 Download PDF

Info

Publication number
CN117765410B
CN117765410B CN202410018256.9A CN202410018256A CN117765410B CN 117765410 B CN117765410 B CN 117765410B CN 202410018256 A CN202410018256 A CN 202410018256A CN 117765410 B CN117765410 B CN 117765410B
Authority
CN
China
Prior art keywords
feature
map
layer
feature map
fusion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202410018256.9A
Other languages
English (en)
Other versions
CN117765410A (zh
Inventor
刘明超
储国中
舒弥
杨超群
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Spacetime Intelligence Big Data Xi'an Co ltd
Zhejiang Shizizhizi Big Data Co ltd
Original Assignee
Spacetime Intelligence Big Data Xi'an Co ltd
Zhejiang Shizizhizi Big Data Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Spacetime Intelligence Big Data Xi'an Co ltd, Zhejiang Shizizhizi Big Data Co ltd filed Critical Spacetime Intelligence Big Data Xi'an Co ltd
Priority to CN202410018256.9A priority Critical patent/CN117765410B/zh
Publication of CN117765410A publication Critical patent/CN117765410A/zh
Application granted granted Critical
Publication of CN117765410B publication Critical patent/CN117765410B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Processing (AREA)

Abstract

本发明公开了一种遥感影像双分支特征融合固废识别方法、***及电子设备,其方法包括:S1、构建双分支特征融合模型,将遥感影像样本标签数据集输入双分支特征融合模型中进行模型训练,改进EfficientNet特征提取分支与Transformer特征提取分支进行并行特征提取;S2、双分支特征融合模型的四层特征融合模块对四层特征图依次进行多层次特征融合并输出融合特征图,对融合特征图进行卷积处理得到最终融合特征图;S3、获取遥感影像数据并进行切片处理得到若干个影像片,将各个影像片依次输入双分支特征融合模型中并依次得到影像片对应的固废识别结果。本发明更加聚焦固废所在区域的关键信息,对小面积的固废区域特征挖掘能力增强,减轻了固废尺度随机性对模型识别的干扰。

Description

遥感影像双分支特征融合固废识别方法、***及电子设备
技术领域
本发明涉及城市遥感图像固废识别处理领域,尤其涉及一种遥感影像双分支特征融合固废识别方法、***及电子设备。
背景技术
城市固废是指在人类生产建设、日常生活和其他活动中产生的固态或半固态的废弃物体。城市固废的连年增长成为了制约城市可持续发展的重要负担,因此及时准确的获取城市固废堆积物的空间分布和面积大小能够为土地资源管理、城市生态环境监控提供重要的参考信息。传统的城市固废监测和管理主要依赖人工实地考察和现场测量,此类方法存在时效性差、耗时费力、无法全方位监测的弊端。随着卫星遥感影像数据获取渠道的增加和遥感图像解译方法的发展,利用遥感影像提取城市固废图斑和面积测量已经成为及时监测城市固废的重要方法和手段。
目前已经有很多利用遥感影像数据特别是高分辨遥感影像开展精细化城市固废识别任务的方法,包括基于光谱的识别方法、面向对象分类方法以及机器学习识别方法。传统的基于光谱特征和面向对象的固废识别方法,难以解决固废多样性和地区差异性导致识别正确率低的问题;基于机器学习算法的固废识别方法是通过特征提取算法进行样本特征提取然后将特征向量输入分类器训练并预测得到固废感兴趣区的方法,此类方法对特征提取算法和分类器类型都有一定要求,且难以在实际任务中表现出足够的泛化能力。随着深度学习方法的发展,众多基于卷积神经网络的分类方法被用于高分辨遥感影像城市固废识别任务中。卷积神经网络能够自动学习图像特征,可以通过模型预训练、多模型融合等方式提高语义分割精度,识别结果优于传统光谱识别方法和经典机器学习方法。然而,城市固废在遥感影像中的空间分布和几何大小具有随机性,且固废堆积物内部结构紊乱,各类型固废存在光谱混淆导致遥感影像中展现出较大的异质性,从而增加了精细化固废识别的难度。因此,现有技术均无法有效地实现利用城市遥感图像的高精度固废识别,存在模型泛化性能不足和迁移性能不足的问题。
发明内容
本发明的目的在于克服背景技术所指出的技术问题,提供一种遥感影像双分支特征融合固废识别方法、***及电子设备,采用改进EfficientNet特征提取分支、Transformer特征提取分支并联结构,同时通过四层特征融合模块并联于两个特征提取分支之间,形成四层并联结构,具备对局部信息的获取能力以及全局特征的挖掘能力,增强了多个尺度的特征交流与特征融合,在城市固废识别任务中具有更好的鲁棒性。
本发明的目的通过下述技术方案实现:
一种遥感影像双分支特征融合固废识别方法,其方法包括:
S1、构建遥感影像样本标签数据集,遥感影像样本标签数据集存储有影像片样本与对应的固废标签,固废标签中城市固废和非城市固废;构建双分支特征融合模型,将遥感影像样本标签数据集输入双分支特征融合模型中进行模型训练,双分支特征融合模型包括改进EfficientNet特征提取分支与Transformer特征提取分支;改进EfficientNet特征提取分支包括EfficientNet-B3模型,EfficientNet-B3模型对输入的影像片样本依次通过四层改进EfficientNet模块捕获空间细节特征,经过1×1的逐点卷积按照扩展比例对特征进行升维,接着经过深度卷积、坐标注意力处理获取特征的通道关系与位置信息,四层改进EfficientNet模块依次输出四个尺度的特征图~特征图/>
Transformer特征提取分支将输入的影像片样本均匀分成N个图像块,将各个图像块采用线性映射嵌入并获取嵌入序列;Transformer特征提取分支包括四层Transformer模块,Transformer模块通过L层多头注意力机制与多层感知器进行信息聚合,四层Transformer模块依次输出四个尺度的特征图~特征图/>
S2、双分支特征融合模型还包括四层特征融合模块,四层特征融合模块、四层改进EfficientNet模块、四层Transformer模块按层依次对应设置,四层特征融合模块均包括通道注意力ECA模块和注意力CBAM模块,四层特征融合模块的通道注意力ECA模块分别对特征图~特征图/>进行通道注意力处理并依次得到特征图/>~特征图/>;四层特征融合模块的注意力CBAM模块分别对特征图/>~特征图/>进行空间注意力加权处理并依次得到特征图/>~特征图/>;四层特征融合模块将同层Transformer模块的特征图与改进EfficientNet模块的特征图融合并依次得到特征图/>~特征图/>四层特征融合模块分别将同层得到的三个特征图融合处理并依次得到输出的特征图/>~特征图/>;四层特征融合模块对特征图/>~特征图/>依次进行多层次特征融合并输出融合特征图,对融合特征图进行卷积处理得到最终融合特征图;双分支特征融合模型建立影像片样本的最终融合特征图与固废标签的关系;
S3、获取遥感影像数据并进行切片处理得到若干个影像片,将各个影像片依次输入双分支特征融合模型中并依次得到影像片对应的固废识别结果;或者获取遥感影像数据输入双分支特征融合模型,双分支特征融合模型对遥感影像数据逐像元固废识别并获取所有像元的固废识别结果;或者获取遥感影像数据输入双分支特征融合模型,并采用滑窗形式进行固废识别。
为了更好地实现本发明,在步骤S2中,四层特征融合模块获取特征图~特征图方法如下:
第一层特征融合模块的通道注意力ECA模块对特征图进行一维卷积操作、全局平均池化操作、激活函数操作获得其通道注意力权重,并与特征图/>进行逐元素相乘得到特征图/>
第二层特征融合模块的通道注意力ECA模块对特征图进行一维卷积操作、全局平均池化操作、激活函数操作获得其通道注意力权重,并与特征图/>进行逐元素相乘得到特征图/>
第三层特征融合模块的通道注意力ECA模块对特征图进行一维卷积操作、全局平均池化操作、激活函数操作获得其通道注意力权重,并与特征图/>进行逐元素相乘得到特征图/>
第四层特征融合模块的通道注意力ECA模块对特征图进行一维卷积操作、全局平均池化操作、激活函数操作获得其通道注意力权重,并与特征图/>进行逐元素相乘得到特征图/>
本发明优选的技术方案是:在步骤S2中,四层特征融合模块的注意力CBAM模块均包括通道注意力CAM模块和空间注意力SAM模块,获取特征图~特征图/>方法如下:
第一层特征融合模块的注意力CBAM模块对特征图进行如下处理:对特征图在空间维度上进行全局平均池化处理得到每个通道的平均值,利用全连接层获取通道权重并与输入特征图/>进行加权处理得到通道加权后的特征图;对特征图/>在通道维度进行全局最大池化、全局平均池化处理并分别得到每个通道的最大值与平均值,将最大值和平均值串联后通过全连接层得到空间加权后的特征图,将通道加权后的特征图与空间加权后的特征图进行逐元素相乘得到特征图/>
第二层特征融合模块的注意力CBAM模块对特征图进行如下处理:对特征图在空间维度上进行全局平均池化处理得到每个通道的平均值,利用全连接层获取通道权重并与输入特征图/>进行加权处理得到通道加权后的特征图;对特征图/>在通道维度进行全局最大池化、全局平均池化处理并分别得到每个通道的最大值与平均值,将最大值和平均值串联后通过全连接层得到空间加权后的特征图,将通道加权后的特征图与空间加权后的特征图进行逐元素相乘得到特征图/>
第三层特征融合模块的注意力CBAM模块对特征图进行如下处理:对特征图在空间维度上进行全局平均池化处理得到每个通道的平均值,利用全连接层获取通道权重并与输入特征图/>进行加权处理得到通道加权后的特征图;对特征图/>在通道维度进行全局最大池化、全局平均池化处理并分别得到每个通道的最大值与平均值,将最大值和平均值串联后通过全连接层得到空间加权后的特征图,将通道加权后的特征图与空间加权后的特征图进行逐元素相乘得到特征图/>
第四层特征融合模块的注意力CBAM模块对特征图进行如下处理:对特征图在空间维度上进行全局平均池化处理得到每个通道的平均值,利用全连接层获取通道权重并与输入特征图/>进行加权处理得到通道加权后的特征图;对特征图/>在通道维度进行全局最大池化、全局平均池化处理并分别得到每个通道的最大值与平均值,将最大值和平均值串联后通过全连接层得到空间加权后的特征图,将通道加权后的特征图与空间加权后的特征图进行逐元素相乘得到特征图/>
本发明优选的技术方案是:在步骤S2中,四层特征融合模块获取特征图~特征图/>方法如下:
第四层特征融合模块将第四层得到的特征图、特征图/>、特征图/>进行特征融合处理得到第四层输出的特征图/>;第三层特征融合模块将第三层得到的特征图、特征图/>、特征图/>进行特征融合处理得到第三层输出的特征图/>;第二层特征融合模块将第二层得到的特征图/>、特征图/>、特征图/>进行特征融合处理得到第二层输出的特征图/>;第一层特征融合模块将第一层得到的特征图/>、特征图/>、特征图进行特征融合处理得到第一层输出的特征图/>
本发明优选的技术方案是:在步骤S2中,融合特征图采用3x3卷积处理得到最终融合特征图。
本发明优选的技术方案是:在步骤S1中,影像片样本大小为512像素×512像素,特征图~特征图/>尺寸分别为/>、/>、/>、/>;在输入EfficientNet-B3模型之前的影像片样本经过3×3卷积的特征提取、批归一化、Sigmoid加权线性单元函数处理;特征图/>~特征图/>尺寸分别为/>、/>、/>
优选地,双分支特征融合模型的总损失函数表达式如下:
;其中/>表示预测结果损失,/>表示改进EfficientNet特征提取分支损失函数,/>表示Transformer特征提取分支损失函数,/>与/>表示权重。
优选地,双分支特征融合模型对输入的遥感影像数据采用预设滑窗尺寸、重叠度进行裁剪成影像块,逐个影像块进行固废识别并保留影像块中心区域的固废识别结果,得到无拼接痕迹的固废预测结果。
一种遥感影像双分支特征融合固废识别***,包括双分支特征融合模型,双分支特征融合模型包括存储模块、改进EfficientNet特征提取分支与Transformer特征提取分支,存储模块存储有遥感影像样本标签数据集和遥感影像数据,遥感影像样本标签数据集存储有影像片样本与对应的固废标签,固废标签中城市固废和非城市固废;改进EfficientNet特征提取分支包括EfficientNet-B3模型,EfficientNet-B3模型对输入的影像片样本依次通过四层改进EfficientNet模块捕获空间细节特征,经过1×1的逐点卷积按照扩展比例对特征进行升维,接着经过深度卷积、坐标注意力处理获取特征的通道关系与位置信息,四层改进EfficientNet模块依次输出四个尺度的特征图~特征图/>;Transformer特征提取分支将输入的影像片样本均匀分成N个图像块,将各个图像块采用线性映射嵌入并获取嵌入序列,Transformer特征提取分支还包括四层Transformer模块,Transformer模块通过L层多头注意力机制与多层感知器进行信息聚合,四层Transformer模块依次输出四个尺度的特征图/>~特征图/>;双分支特征融合模型还包括四层特征融合模块,四层特征融合模块、四层改进EfficientNet模块、四层Transformer模块按层依次对应设置,四层特征融合模块均包括通道注意力ECA模块和注意力CBAM模块,四层特征融合模块的通道注意力ECA模块分别对特征图/>~特征图/>行通道注意力处理并依次得到特征图/>~特征图/>;四层特征融合模块的注意力CBAM模块分别对特征图/>~特征图/>进行空间注意力加权处理并依次得到特征图/>~特征图/>;四层特征融合模块将同层Transformer模块的特征图与改进EfficientNet模块的特征图融合并依次得到特征图~特征图/>;四层特征融合模块分别将同层得到的三个特征图融合处理并依次得到输出的特征图/>~特征图/>;四层特征融合模块对特征图/>~特征图/>依次进行多层次特征融合并输出融合特征图,对融合特征图进行卷积处理得到最终融合特征图;双分支特征融合模型建立影像片样本的最终融合特征图与固废标签的关系;双分支特征融合模型对遥感影像数据进行切片处理得到若干个影像片,并依次得到影像片对应的固废识别结果;或者双分支特征融合模型对遥感影像数据逐像元固废识别并获取所有像元的固废识别结果;或者双分支特征融合模型对遥感影像数据采用滑窗形式进行固废识别。
一种电子设备,包括至少一个处理器、至少一个存储器和数据总线;其中:所述处理器与所述存储器通过数据总线完成相互间的通信;所述存储器存储有被所述处理器执行的程序指令,所述处理器调用所述程序指令以执行实现本发明遥感影像双分支特征融合固废识别方法的步骤。
本发明较现有技术相比,具有以下优点及有益效果:
(1)本发明采用改进EfficientNet特征提取分支、Transformer特征提取分支并联结构,同时通过四层特征融合模块并联于两个特征提取分支之间,形成四层并联结构,具备对局部信息的获取能力以及全局特征的挖掘能力,增强了多个尺度的特征交流与特征融合,在城市固废识别任务中具有更好的鲁棒性。
(2)本发明改进EfficientNet特征提取分支的核心四层EfficientNet模块能够更好地捕获空间细节特征,以及采用注意力机制获取更加精确的通道关系与位置信息,Transformer特征提取分支的核心四层Transformer模块进行信息聚合;本发明更加聚焦固废所在区域的关键信息,对小面积的固废区域特征挖掘能力增强,减轻了固废尺度随机性对模型识别的干扰。
(3)本发明核心四层特征融合模块中注意力CBAM模块与通道注意力ECA模块实现了特征信息的有效融合,能够更高效地捕捉全局上下文信息,有助于更好地理解整体图像结构;避免了直接融合时特征图的差异,能够提高模型融合的效率、减少空间信息丢失,提高了分割精度与固废识别精度。
附图说明
图1为本发明双分支特征融合固废识别方法的流程示意图;
图2为本发明双分支特征融合模型的原理示意图;
图3为实施例中改进EfficientNet特征提取分支、Transformer特征提取分支、特征融合模块结合的原理示意图;
图4为实施例中特征融合模块内ECA模块的结构示意图;
图5为实施例中改进EfficientNet模块的结构示意图;
图6为实施例中特征融合模块内CBAM模块的结构示意图;
图7为本发明双分支特征融合固废识别***的原理结构框图。
实施方式
下面结合实施例对本发明作进一步地详细说明:
实施例
如图1所示,一种遥感影像双分支特征融合固废识别方法,其方法包括:
S1、构建遥感影像样本标签数据集,遥感影像样本标签数据集存储有影像片样本(在本实施例中,影像片样本大小举例为512像素×512像素,影像片样本大小可以根据实际情况选择其他尺寸。在一些实施例中,影像片样本需要进行数据裁剪、样本筛选、数据增强、样本数据集划分的数据预处理操作)与对应的固废标签,固废标签中城市固废和非城市固废。在一些实施例中,影像片样本还进行包括辐射校正、正射校正、影像融合的处理操作,影像片样本进行矢量标注,其中城市固废赋值为1,非城市固废区域赋值为0,然后栅格化处理后得到研究区的遥感影像样本标签数据集(包括影像片样本与固废标签),可以采用如下方法进行扩容处理:遥感影像样本源(影像片样本切片数据源)、固废标签数据按照25%的重叠度采用滑动窗口裁剪的方式获取切片,影像片样本大小举例为512像素×512像素;对获取到的影像片样本进行旋转、缩放、色彩度变换和添加噪声等操作,增加样本的数量和多样性。
如图2所示,构建双分支特征融合模型,将遥感影像样本标签数据集输入双分支特征融合模型中进行模型训练,遥感影像样本标签数据集的数据按照7:2:1的比例划分成训练集、验证集和测试集;训练集用于双分支特征融合模型训练,进行特征学习;验证集用于评估双分支特征融合模型训练阶段的性能,便于调整训练参数;测试集用于测试评估双分支特征融合模型训练完成时网络的识别效果和精度。
双分支特征融合模型包括改进EfficientNet特征提取分支与Transformer特征提取分支。改进EfficientNet特征提取分支包括EfficientNet-B3模型,EfficientNet-B3模型对输入的影像片样本依次通过四层改进EfficientNet模块捕获空间细节特征(优选地,在输入EfficientNet-B3模型之前的影像片样本经过3×3卷积的特征提取、批归一化、Sigmoid加权线性单元函数处理;由此可以更有利于捕获多层次的空间细节,每经过一次图像分辨率减半,通道数翻倍),经过1×1的逐点卷积按照扩展比例对特征进行升维,接着经过深度卷积、坐标注意力处理获取特征的通道关系与位置信息(提高了对小目标固废图像的特征提取能力),如图5所示,四层改进EfficientNet模块依次输出四个尺度的特征图~特征图/>(在本实施例的举例中,特征图/>~特征图/>尺寸分别为/>、/>、/>)。
Transformer特征提取分支将输入的影像片样本(图像记为)均匀分成N个图像块,/>(其中,/>和/>代表输入特征的高和宽,本实施例举例/>的取值为16)。将各个图像块采用线性映射嵌入并获取嵌入序列(优选地,各个图像块扁平化传递到输出维度为/>的线性嵌入中,获取原始的嵌入序列/>)。Transformer特征提取分支包括四层Transformer模块,Transformer模块通过L层多头注意力机制与多层感知器进行信息聚合,四层Transformer模块依次输出四个尺度的特征图/>~特征图/>(在本实施例的举例中,对最后一层Transformer模块的输出进行层归一化,得到编码后的序列,然后通过逐层上采样的方式空间分辨率恢复,特征图/>~特征图/>尺寸分别为/>、/>、/>)。
S2、双分支特征融合模型还包括四层特征融合模块,四层特征融合模块、四层改进EfficientNet模块、四层Transformer模块按层依次对应设置,四层特征融合模块均包括通道注意力ECA模块和注意力CBAM模块,四层特征融合模块的通道注意力ECA模块分别对特征图~特征图/>进行通道注意力处理并依次得到特征图/>~特征图/>。四层特征融合模块的注意力CBAM模块分别对特征图/>~特征图/>进行空间注意力加权处理并依次得到特征图/>~特征图/>。四层特征融合模块将同层Transformer模块的特征图与改进EfficientNet模块的特征图融合并依次得到特征图/>~特征图/>;优选地,第一层的特征图特征图/>与特征图/>直接融合得到特征图/>,第二层的特征图特征图/>与特征图/>直接融合得到特征图/>,第三层的特征图特征图/>与特征图/>直接融合得到特征图/>,第四层的特征图特征图/>与特征图/>直接融合得到特征图/>;以特征图/>作为代表,则/>,其中/>表示一维卷积操作,⊙表示Hadamard积操作。如图3所示,四层特征融合模块分别将同层得到的三个特征图融合处理并依次得到输出的特征图/>~特征图/>。四层特征融合模块对特征图/>~特征图/>依次进行多层次特征融合并输出融合特征图,对融合特征图进行卷积处理得到最终融合特征图(优选地,融合特征图还采用3x3卷积处理得到最终融合特征图)。双分支特征融合模型建立影像片样本的最终融合特征图与固废标签的关系。
在一些实施例中,以代表第/>层的输出特征图,则。使用Attentain Gate(AG)模块进行多层次特征融合,得到编码阶段最终的特征图为:/>,且有/>。其中/>表示上采样操作、/>表示跳跃连接、/>代表融合模块的层数,/>表示Hadamard积操作。
在一些优选的实施例中,如图4所示,四层特征融合模块获取特征图~特征图方法如下:
第一层特征融合模块的通道注意力ECA模块对特征图进行一维卷积操作、全局平均池化操作、激活函数操作获得其通道注意力权重,并与特征图/>进行逐元素相乘得到特征图/>。进一步的技术方案是:特征图/>可以采用如下表达式:/>;其中/>表示激活函数、/>表示一维卷积操作、/>表示全局平均池化操作、/>是全连接层,/>表示逐元素相乘,即输入通道注意力ECA模块对的特征/>与通道注意力权重相乘得到经过通道注意力ECA模块后的输出。
第二层特征融合模块的通道注意力ECA模块对特征图进行一维卷积操作、全局平均池化操作、激活函数操作获得其通道注意力权重,并与特征图/>进行逐元素相乘得到特征图/>。进一步的技术方案是:特征图/>可以采用如下表达式:;其中/>表示激活函数、/>表示一维卷积操作、表示全局平均池化操作、/>是全连接层,/>表示逐元素相乘,即输入通道注意力ECA模块对的特征/>与通道注意力权重/>相乘得到经过通道注意力ECA模块后的输出。
第三层特征融合模块的通道注意力ECA模块对特征图进行一维卷积操作、全局平均池化操作、激活函数操作获得其通道注意力权重,并与特征图/>进行逐元素相乘得到特征图/>。进一步的技术方案是:特征图/>可以采用如下表达式:;其中/>表示激活函数、/>表示一维卷积操作、表示全局平均池化操作、/>是全连接层,/>表示逐元素相乘,即输入通道注意力ECA模块对的特征/>与通道注意力权重/>相乘得到经过通道注意力ECA模块后的输出。
第四层特征融合模块的通道注意力ECA模块对特征图进行一维卷积操作、全局平均池化操作、激活函数操作获得其通道注意力权重,并与特征图/>进行逐元素相乘得到特征图/>。进一步的技术方案是:特征图/>可以采用如下表达式:;其中/>表示激活函数、/>表示一维卷积操作、表示全局平均池化操作、/>是全连接层,/>表示逐元素相乘,即输入通道注意力ECA模块对的特征/>与通道注意力权重/>相乘得到经过通道注意力ECA模块后的输出。
在一些优选的实施例中,如图5所示,四层特征融合模块的注意力CBAM模块均包括通道注意力CAM模块和空间注意力SAM模块,获取特征图~特征图/>方法如下:
第一层特征融合模块的注意力CBAM模块对特征图进行如下处理:对特征图在空间维度上进行全局平均池化处理得到每个通道的平均值,利用全连接层获取通道权重并与输入特征图/>进行加权处理得到通道加权后的特征图,对特征图/>在通道维度进行全局最大池化、全局平均池化处理并分别得到每个通道的最大值与平均值(表达式为/>),将最大值和平均值串联后通过全连接层得到空间加权后的特征图,将通道加权后的特征图与空间加权后的特征图进行逐元素相乘得到特征图/>
第二层特征融合模块的注意力CBAM模块对特征图进行如下处理:对特征图在空间维度上进行全局平均池化处理得到每个通道的平均值,利用全连接层获取通道权重并与输入特征图/>进行加权处理得到通道加权后的特征图。对特征图/>在通道维度进行全局最大池化、全局平均池化处理并分别得到每个通道的最大值与平均值,将最大值和平均值串联后通过全连接层得到空间加权后的特征图,将通道加权后的特征图与空间加权后的特征图进行逐元素相乘得到特征图/>
第三层特征融合模块的注意力CBAM模块对特征图进行如下处理:对特征图在空间维度上进行全局平均池化处理得到每个通道的平均值,利用全连接层获取通道权重并与输入特征图/>进行加权处理得到通道加权后的特征图。对特征图/>在通道维度进行全局最大池化、全局平均池化处理并分别得到每个通道的最大值与平均值,将最大值和平均值串联后通过全连接层得到空间加权后的特征图,将通道加权后的特征图与空间加权后的特征图进行逐元素相乘得到特征图/>
第四层特征融合模块的注意力CBAM模块对特征图进行如下处理:对特征图在空间维度上进行全局平均池化处理得到每个通道的平均值,利用全连接层获取通道权重并与输入特征图/>进行加权处理得到通道加权后的特征图。对特征图/>在通道维度进行全局最大池化、全局平均池化处理并分别得到每个通道的最大值与平均值,将最大值和平均值串联后通过全连接层得到空间加权后的特征图,将通道加权后的特征图与空间加权后的特征图进行逐元素相乘得到特征图/>
在一些优选实施例中,进一步的技术方案是:CBAM模块结构中包含两个子模块,两个子模块分别为通道注意力CAM模块和空间注意力SAM模块,CBAM模块结构中空间注意力加权特征输出计算过程如下:对输入特征进行空间维度上的全局平均池化得到每个通道的平均值,利用全连接层学***均池化得到每个通道的最大值/>和平均值/>, 将最大值和平均值串联后通过全连接层学***均池化操作、/>是全连接层,/>表示逐元素相乘。
在一些优选实施例中,四层特征融合模块获取特征图~特征图/>方法如下:
第四层特征融合模块将第四层得到的特征图、特征图/>、特征图/>进行特征融合处理得到第四层输出的特征图/>。第三层特征融合模块将第三层得到的特征图/>、特征图/>、特征图/>进行特征融合处理得到第三层输出的特征图/>。第二层特征融合模块将第二层得到的特征图/>、特征图/>、特征图/>进行特征融合处理得到第二层输出的特征图/>。第一层特征融合模块将第一层得到的特征图/>、特征图/>、特征图/>进行特征融合处理得到第一层输出的特征图/>
S3、获取遥感影像数据(优选为高分辨遥感影像)并进行切片处理得到若干个影像片,将各个影像片依次输入双分支特征融合模型中并依次得到影像片对应的固废识别结果。或者获取遥感影像数据输入双分支特征融合模型,双分支特征融合模型对遥感影像数据逐像元固废识别并获取所有像元的固废识别结果。或者获取遥感影像数据输入双分支特征融合模型,并采用滑窗形式进行固废识别。
在一些优选实施例中,双分支特征融合模型的总损失函数表达式如下:。其中/>表示预测结果损失,/>表示改进EfficientNet特征提取分支损失函数,/>表示Transformer特征提取分支损失函数,/>与/>表示权重。
在一些优选实施例中,其步骤S3还可以采用如下方法:双分支特征融合模型对输入的遥感影像数据采用预设滑窗尺寸、重叠度进行裁剪成影像块,逐个影像块进行固废识别并保留影像块中心区域的固废识别结果,得到无拼接痕迹的固废预测结果。
如图7所示,一种遥感影像双分支特征融合固废识别***,包括双分支特征融合模型,双分支特征融合模型包括存储模块、改进EfficientNet特征提取分支与Transformer特征提取分支,存储模块存储有遥感影像样本标签数据集和遥感影像数据,遥感影像样本标签数据集存储有影像片样本与对应的固废标签,固废标签中城市固废和非城市固废。改进EfficientNet特征提取分支包括EfficientNet-B3模型,EfficientNet-B3模型对输入的影像片样本依次通过四层改进EfficientNet模块捕获空间细节特征,经过1×1的逐点卷积按照扩展比例对特征进行升维,接着经过深度卷积、坐标注意力处理获取特征的通道关系与位置信息,四层改进EfficientNet模块依次输出四个尺度的特征图~特征图/>。Transformer特征提取分支将输入的影像片样本均匀分成N个图像块,将各个图像块采用线性映射嵌入并获取嵌入序列,Transformer特征提取分支还包括四层Transformer模块,Transformer模块通过L层多头注意力机制与多层感知器进行信息聚合,四层Transformer模块依次输出四个尺度的特征图/>~特征图/>。双分支特征融合模型还包括四层特征融合模块,四层特征融合模块、四层改进EfficientNet模块、四层Transformer模块按层依次对应设置,四层特征融合模块均包括通道注意力ECA模块和注意力CBAM模块,四层特征融合模块的通道注意力ECA模块分别对特征图/>~特征图/>进行通道注意力处理并依次得到特征图/>~特征图/>。四层特征融合模块的注意力CBAM模块分别对特征图/>~特征图/>进行空间注意力加权处理并依次得到特征图/>~特征图/>。四层特征融合模块将同层Transformer模块的特征图与改进EfficientNet模块的特征图融合并依次得到特征图/>~特征图/>。四层特征融合模块分别将同层得到的三个特征图融合处理并依次得到输出的特征图/>~特征图/>。四层特征融合模块对特征图/>~特征图/>依次进行多层次特征融合并输出融合特征图,对融合特征图进行卷积处理得到最终融合特征图。双分支特征融合模型建立影像片样本的最终融合特征图与固废标签的关系。双分支特征融合模型对遥感影像数据进行切片处理得到若干个影像片,并依次得到影像片对应的固废识别结果。或者双分支特征融合模型对遥感影像数据逐像元固废识别并获取所有像元的固废识别结果。或者双分支特征融合模型对遥感影像数据采用滑窗形式进行固废识别。
一种电子设备,包括至少一个处理器、至少一个存储器和数据总线。其中:处理器与存储器通过数据总线完成相互间的通信。存储器存储有被处理器执行的程序指令,处理器调用程序指令以执行实现本发明遥感影像双分支特征融合固废识别方法的步骤。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。

Claims (10)

1.一种遥感影像双分支特征融合固废识别方法,其特征在于:其方法包括:
S1、构建遥感影像样本标签数据集,遥感影像样本标签数据集存储有影像片样本与对应的固废标签,固废标签中城市固废和非城市固废;构建双分支特征融合模型,将遥感影像样本标签数据集输入双分支特征融合模型中进行模型训练,双分支特征融合模型包括改进EfficientNet特征提取分支与Transformer特征提取分支;改进EfficientNet特征提取分支包括EfficientNet-B3模型,EfficientNet-B3模型对输入的影像片样本依次通过四层改进EfficientNet模块捕获空间细节特征,经过1×1的逐点卷积按照扩展比例对特征进行升维,接着经过深度卷积、坐标注意力处理获取特征的通道关系与位置信息,四层改进EfficientNet模块依次输出四个尺度的特征图~特征图/>
Transformer特征提取分支将输入的影像片样本均匀分成N个图像块,将各个图像块采用线性映射嵌入并获取嵌入序列;Transformer特征提取分支包括四层Transformer模块,Transformer模块通过L层多头注意力机制与多层感知器进行信息聚合,四层Transformer模块依次输出四个尺度的特征图~特征图/>
S2、双分支特征融合模型还包括四层特征融合模块,四层特征融合模块、四层改进EfficientNet模块、四层Transformer模块按层依次对应设置,四层特征融合模块均包括通道注意力ECA模块和注意力CBAM模块,四层特征融合模块的通道注意力ECA模块分别对特征图~特征图/>进行通道注意力处理并依次得到特征图/>~特征图/>;四层特征融合模块的注意力CBAM模块分别对特征图/>~特征图/>进行空间注意力加权处理并依次得到特征图/>~特征图/>;四层特征融合模块将同层Transformer模块的特征图与改进EfficientNet模块的特征图融合并依次得到特征图/>~特征图/>;四层特征融合模块分别将同层得到的三个特征图融合处理并依次得到输出的特征图/>~特征图/>;四层特征融合模块对特征图/>~特征图/>依次进行多层次特征融合并输出融合特征图,对融合特征图进行卷积处理得到最终融合特征图;双分支特征融合模型建立影像片样本的最终融合特征图与固废标签的关系;
S3、获取遥感影像数据并进行切片处理得到若干个影像片,将各个影像片依次输入双分支特征融合模型中并依次得到影像片对应的固废识别结果;或者获取遥感影像数据输入双分支特征融合模型,双分支特征融合模型对遥感影像数据逐像元固废识别并获取所有像元的固废识别结果;或者获取遥感影像数据输入双分支特征融合模型,并采用滑窗形式进行固废识别。
2.按照权利要求1所述的遥感影像双分支特征融合固废识别方法,其特征在于:在步骤S2中,四层特征融合模块获取特征图~特征图/>方法如下:
第一层特征融合模块的通道注意力ECA模块对特征图进行一维卷积操作、全局平均池化操作、激活函数操作获得其通道注意力权重,并与特征图/>进行逐元素相乘得到特征图/>
第二层特征融合模块的通道注意力ECA模块对特征图进行一维卷积操作、全局平均池化操作、激活函数操作获得其通道注意力权重,并与特征图/>进行逐元素相乘得到特征图/>
第三层特征融合模块的通道注意力ECA模块对特征图进行一维卷积操作、全局平均池化操作、激活函数操作获得其通道注意力权重,并与特征图/>进行逐元素相乘得到特征图/>
第四层特征融合模块的通道注意力ECA模块对特征图进行一维卷积操作、全局平均池化操作、激活函数操作获得其通道注意力权重,并与特征图/>进行逐元素相乘得到特征图/>
3.按照权利要求1所述的遥感影像双分支特征融合固废识别方法,其特征在于:在步骤S2中,四层特征融合模块的注意力CBAM模块均包括通道注意力CAM模块和空间注意力SAM模块,获取特征图~特征图/>方法如下:
第一层特征融合模块的注意力CBAM模块对特征图行如下处理:对特征图/>在空间维度上进行全局平均池化处理得到每个通道的平均值,利用全连接层获取通道权重并与输入特征图/>进行加权处理得到通道加权后的特征图;对特征图/>在通道维度进行全局最大池化、全局平均池化处理并分别得到每个通道的最大值与平均值,将最大值和平均值串联后通过全连接层得到空间加权后的特征图,将通道加权后的特征图与空间加权后的特征图进行逐元素相乘得到特征图/>
第二层特征融合模块的注意力CBAM模块对特征图进行如下处理:对特征图/>在空间维度上进行全局平均池化处理得到每个通道的平均值,利用全连接层获取通道权重并与输入特征图/>进行加权处理得到通道加权后的特征图;对特征图/>在通道维度进行全局最大池化、全局平均池化处理并分别得到每个通道的最大值与平均值,将最大值和平均值串联后通过全连接层得到空间加权后的特征图,将通道加权后的特征图与空间加权后的特征图进行逐元素相乘得到特征图/>
第三层特征融合模块的注意力CBAM模块对特征图进行如下处理:对特征图/>在空间维度上进行全局平均池化处理得到每个通道的平均值,利用全连接层获取通道权重并与输入特征图/>进行加权处理得到通道加权后的特征图;对特征图/>在通道维度进行全局最大池化、全局平均池化处理并分别得到每个通道的最大值与平均值,将最大值和平均值串联后通过全连接层得到空间加权后的特征图,将通道加权后的特征图与空间加权后的特征图进行逐元素相乘得到特征图/>
第四层特征融合模块的注意力CBAM模块对特征图进行如下处理:对特征图/>在空间维度上进行全局平均池化处理得到每个通道的平均值,利用全连接层获取通道权重并与输入特征图/>进行加权处理得到通道加权后的特征图;对特征图/>在通道维度进行全局最大池化、全局平均池化处理并分别得到每个通道的最大值与平均值,将最大值和平均值串联后通过全连接层得到空间加权后的特征图,将通道加权后的特征图与空间加权后的特征图进行逐元素相乘得到特征图/>
4.按照权利要求1所述的遥感影像双分支特征融合固废识别方法,其特征在于:在步骤S2中,四层特征融合模块获取特征图~特征图/>方法如下:
第四层特征融合模块将第四层得到的特征图、特征图/>、特征图/>进行特征融合处理得到第四层输出的特征图/>;第三层特征融合模块将第三层得到的特征图/>、特征图/>、特征图/>进行特征融合处理得到第三层输出的特征图/>;第二层特征融合模块将第二层得到的特征图/>、特征图/>、特征图/>进行特征融合处理得到第二层输出的特征图/>;第一层特征融合模块将第一层得到的特征图/>、特征图/>、特征图/>进行特征融合处理得到第一层输出的特征图/>
5.按照权利要求1所述的遥感影像双分支特征融合固废识别方法,其特征在于:在步骤S2中,融合特征图采用3x3卷积处理得到最终融合特征图。
6.按照权利要求1所述的遥感影像双分支特征融合固废识别方法,其特征在于:在步骤S1中,影像片样本大小为512像素×512像素,特征图~特征图/>尺寸分别为、/>、/>、/>;在输入EfficientNet-B3模型之前的影像片样本经过3×3卷积的特征提取、批归一化、Sigmoid加权线性单元函数处理;特征图/>~特征图/>尺寸分别为/>、/>、/>、/>
7.按照权利要求1所述的遥感影像双分支特征融合固废识别方法,其特征在于:所述双分支特征融合模型的总损失函数表达式如下:
;其中/>表示预测结果损失,/>表示改进EfficientNet特征提取分支损失函数,/>表示Transformer特征提取分支损失函数,/>与/>表示权重。
8.按照权利要求1所述的遥感影像双分支特征融合固废识别方法,其特征在于:双分支特征融合模型对输入的遥感影像数据采用预设滑窗尺寸、重叠度进行裁剪成影像块,逐个影像块进行固废识别并保留影像块中心区域的固废识别结果,得到无拼接痕迹的固废预测结果。
9.一种遥感影像双分支特征融合固废识别***,其特征在于:包括双分支特征融合模型,双分支特征融合模型包括存储模块、改进EfficientNet特征提取分支与Transformer特征提取分支,存储模块存储有遥感影像样本标签数据集和遥感影像数据,遥感影像样本标签数据集存储有影像片样本与对应的固废标签,固废标签中城市固废和非城市固废;改进EfficientNet特征提取分支包括EfficientNet-B3模型,EfficientNet-B3模型对输入的影像片样本依次通过四层改进EfficientNet模块捕获空间细节特征,经过1×1的逐点卷积按照扩展比例对特征进行升维,接着经过深度卷积、坐标注意力处理获取特征的通道关系与位置信息,四层改进EfficientNet模块依次输出四个尺度的特征图~特征图/>Transformer特征提取分支将输入的影像片样本均匀分成N个图像块,将各个图像块采用线性映射嵌入并获取嵌入序列,Transformer特征提取分支还包括四层Transformer模块,Transformer模块通过L层多头注意力机制与多层感知器进行信息聚合,四层Transformer模块依次输出四个尺度的特征图/>~特征图/>;双分支特征融合模型还包括四层特征融合模块,四层特征融合模块、四层改进EfficientNet模块、四层Transformer模块按层依次对应设置,四层特征融合模块均包括通道注意力ECA模块和注意力CBAM模块,四层特征融合模块的通道注意力ECA模块分别对特征图/>~特征图/>进行通道注意力处理并依次得到特征图/>~特征图/>;四层特征融合模块的注意力CBAM模块分别对特征图/>~特征图/>进行空间注意力加权处理并依次得到特征图/>~特征图/>;四层特征融合模块将同层Transformer模块的特征图与改进EfficientNet模块的特征图融合并依次得到特征图/>~特征图/>;四层特征融合模块分别将同层得到的三个特征图融合处理并依次得到输出的特征图/>~特征图/>;四层特征融合模块对特征图/>~特征图/>依次进行多层次特征融合并输出融合特征图,对融合特征图进行卷积处理得到最终融合特征图;双分支特征融合模型建立影像片样本的最终融合特征图与固废标签的关系;双分支特征融合模型对遥感影像数据进行切片处理得到若干个影像片,并依次得到影像片对应的固废识别结果;或者双分支特征融合模型对遥感影像数据逐像元固废识别并获取所有像元的固废识别结果;或者双分支特征融合模型对遥感影像数据采用滑窗形式进行固废识别。
10.一种电子设备,其特征在于:包括至少一个处理器、至少一个存储器和数据总线;其中:所述处理器与所述存储器通过数据总线完成相互间的通信;所述存储器存储有被所述处理器执行的程序指令,所述处理器调用所述程序指令以执行实现权利要求1至8任一项所述的遥感影像双分支特征融合固废识别方法的步骤。
CN202410018256.9A 2024-01-05 2024-01-05 遥感影像双分支特征融合固废识别方法、***及电子设备 Active CN117765410B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410018256.9A CN117765410B (zh) 2024-01-05 2024-01-05 遥感影像双分支特征融合固废识别方法、***及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410018256.9A CN117765410B (zh) 2024-01-05 2024-01-05 遥感影像双分支特征融合固废识别方法、***及电子设备

Publications (2)

Publication Number Publication Date
CN117765410A CN117765410A (zh) 2024-03-26
CN117765410B true CN117765410B (zh) 2024-05-28

Family

ID=90318369

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410018256.9A Active CN117765410B (zh) 2024-01-05 2024-01-05 遥感影像双分支特征融合固废识别方法、***及电子设备

Country Status (1)

Country Link
CN (1) CN117765410B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115249332A (zh) * 2022-09-23 2022-10-28 山东锋士信息技术有限公司 基于空谱双分支卷积网络的高光谱图像分类方法及设备
WO2023045231A1 (zh) * 2021-09-22 2023-03-30 浙江大学 一种解耦分治的面神经分割方法和装置
CN116310701A (zh) * 2022-11-25 2023-06-23 中国人民解放军战略支援部队信息工程大学 基于注意力效率网络的跨视角图像地理定位方法及装置
CN116665053A (zh) * 2023-05-30 2023-08-29 浙江时空智子大数据有限公司 顾及阴影信息的高分辨遥感影像建筑物识别方法及***

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023045231A1 (zh) * 2021-09-22 2023-03-30 浙江大学 一种解耦分治的面神经分割方法和装置
CN115249332A (zh) * 2022-09-23 2022-10-28 山东锋士信息技术有限公司 基于空谱双分支卷积网络的高光谱图像分类方法及设备
CN116310701A (zh) * 2022-11-25 2023-06-23 中国人民解放军战略支援部队信息工程大学 基于注意力效率网络的跨视角图像地理定位方法及装置
CN116665053A (zh) * 2023-05-30 2023-08-29 浙江时空智子大数据有限公司 顾及阴影信息的高分辨遥感影像建筑物识别方法及***

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于注意力机制的遥感图像分割模型;刘航;汪西莉;;激光与光电子学进展;20201231(04);第170-180页 *

Also Published As

Publication number Publication date
CN117765410A (zh) 2024-03-26

Similar Documents

Publication Publication Date Title
CN109800736B (zh) 一种基于遥感影像和深度学习的道路提取方法
CN110021425B (zh) 一种比较检测器及其构建方法与***细胞检测方法
CN111986099A (zh) 基于融合残差修正的卷积神经网络的耕地监测方法及***
US20240233313A1 (en) Model training method, image processing method, computing and processing device and non-transient computer-readable medium
CN113378792B (zh) 融合全局和局部信息的弱监督宫颈细胞图像分析方法
CN113988147B (zh) 基于图网络的遥感图像场景多标签分类方法及装置、多标签检索方法及装置
CN115471448A (zh) 基于人工智能的胸腺瘤组织病理的分型方法及装置
CN113887472A (zh) 基于级联颜色及纹理特征注意力的遥感图像云检测方法
CN114972378A (zh) 一种基于掩码注意力机制的脑肿瘤mri图像分割方法
CN114445356A (zh) 基于多分辨率的全视野病理切片图像肿瘤快速定位方法
Jenifa et al. Classification of cotton leaf disease using multi-support vector machine
CN113435254A (zh) 一种基于哨兵二号影像的耕地深度学习提取方法
CN115909006A (zh) 基于卷积Transformer的乳腺组织图像分类方法及***
CN114387270B (zh) 图像处理方法、装置、计算机设备和存储介质
CN115187530A (zh) 超声自动乳腺全容积图像的识别方法、装置、终端及介质
CN113111716A (zh) 一种基于深度学习的遥感影像半自动标注方法和装置
CN111242028A (zh) 基于U-Net的遥感图像地物分割方法
Rappazzo et al. EeLISA: Combating global warming through the rapid analysis of eelgrass wasting disease
CN117830788A (zh) 一种多源信息融合的图像目标检测方法
Abishek et al. Soil Texture Prediction Using Machine Learning Approach for Sustainable Soil Health Management
CN117765410B (zh) 遥感影像双分支特征融合固废识别方法、***及电子设备
CN116758419A (zh) 针对遥感图像的多尺度目标检测方法、装置和设备
CN116258914A (zh) 基于机器学习及局部和全局特征融合的遥感图像分类方法
CN113961734B (zh) 基于停车数据和app操作日志的用户和车辆画像构建方法
Wang et al. Strawberry ripeness classification method in facility environment based on red color ratio of fruit rind

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant