CN117237188A - 基于遥感图像的多尺度注意网络的显著性目标检测方法 - Google Patents
基于遥感图像的多尺度注意网络的显著性目标检测方法 Download PDFInfo
- Publication number
- CN117237188A CN117237188A CN202311185844.3A CN202311185844A CN117237188A CN 117237188 A CN117237188 A CN 117237188A CN 202311185844 A CN202311185844 A CN 202311185844A CN 117237188 A CN117237188 A CN 117237188A
- Authority
- CN
- China
- Prior art keywords
- tensor
- feature
- scale
- upsampling
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 13
- 238000000605 extraction Methods 0.000 claims abstract description 30
- 238000000034 method Methods 0.000 claims abstract description 23
- 230000006835 compression Effects 0.000 claims abstract description 17
- 238000007906 compression Methods 0.000 claims abstract description 17
- 230000004927 fusion Effects 0.000 claims abstract description 10
- 238000011176 pooling Methods 0.000 claims description 10
- 238000012545 processing Methods 0.000 claims description 10
- 238000010586 diagram Methods 0.000 claims description 7
- 230000003044 adaptive effect Effects 0.000 claims description 6
- 238000005457 optimization Methods 0.000 claims description 4
- 238000012937 correction Methods 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 230000009467 reduction Effects 0.000 claims description 2
- 238000000926 separation method Methods 0.000 claims description 2
- 238000005065 mining Methods 0.000 abstract 1
- 230000001902 propagating effect Effects 0.000 abstract 1
- 230000003287 optical effect Effects 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 3
- 241000282326 Felis catus Species 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 208000033830 Hot Flashes Diseases 0.000 description 1
- 206010060800 Hot flush Diseases 0.000 description 1
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 239000011800 void material Substances 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种基于遥感图像的多尺度注意网络的显著性目标检测方法，采用轻量级骨干网络进行特征编码；在编码器顶部通过压缩操作挖掘高级语义信息，并将其自顶向下传播；在编码器后加入语义信息引导的多尺度提取模块扩大感受野增强多尺度特征表示；加入残差融合模块消除编码器中的冗余信息与噪声；加入二维残差注意模块以捕捉空间和通道之间的依赖性，从而提高小目标检测准确率。本发明能够提取任意给定图像中最具吸引力的内容，更关注小物体，抑制背景干扰。
Description
技术领域
本发明涉及一种多尺度注意网络的显著性目标检测方法，尤其涉及一种基于遥感图像的多尺度注意网络的显著性目标检测方法，属于计算机视觉技术领域。
背景技术
随着信息技术与智能技术的迅猛发展和广泛应用，全球范围内掀起了一股“智能化”的热潮，人工智能和深度学***衡，其可以很好的保留小目标信息，提高对小目标的检测能力。这为检测出完整的显著物体开辟了新途径。
迄今为止，显著性目标检测已经从自然图像领域扩展到光学遥感图像领域，光学遥感图像通常是以高分辨率的鸟瞰视角拍摄的，大多数物体可能是小尺寸的，结构更加复杂。许多研究者针对光学遥感图像的显著性目标检测提出了深度模型。Cong等人2022年在IEEE Transactions on Geoscience and Remote Sensing期刊发表论文“RRNet:Relational reasoning network with parallel multi-scale attention for salientobject detection in optical remote sensing images”，引入并行多尺度注意模块恢复显著对象细节信息，解决多尺度变化问题，但仍然存在检测不完整的局限性。Lin等人2022年在Artificial Neural Networks and Machine Learning国际会议发表论文“Attentionguided network for salient object detection in optical remote sensingimages”，联合采用通道注意力和空间注意力从不同的维度中提取多个特征，但显著对象边界不够清晰。这些方法都是单独采用一个维度，忽略了维度间的相关性和依赖性。因此，需要建模通道维度和空间维度的相关性来提高小目标检测的准确率。
发明内容
本发明的目的在于提供一种基于遥感图像的多尺度注意网络的显著性目标检测方法。
为解决上述技术问题，本发明采用的技术方案是：一种基于遥感图像的多尺度注意网络的显著性目标检测方法，包括以下步骤：
步骤1、图像预处理：使用SRGAN模型将输入图像大小调整为预设大小的输入张量X；
步骤2、建立二维多尺度注意网络：二维多尺度注意网络包括第一至第五特征处理单元E1-E5和语义压缩操作；语义压缩操作包含深度可分离卷积层DSConv和自适应平均池化层AP；张量X依次经特征编码器E1-E5处理后，得到第一至第五特征张量；第五特征张量经过语义压缩操作得到全局语义信息K；将全局语义信息K前馈到多尺度提取模块SMEM1-SMEM4中，第五特征张量上采样后与第四特征张量拼接后输入多尺度提取模块SMEM4，多尺度提取模块SMEM4的输出上采样后与第三特征张量拼接后输入多尺度提取模块SMEM3，多尺度提取模块SMEM3的输出上采样后与第二特征张量拼接后输入多尺度提取模块SMEM2，多尺度提取模块SMEM2的输出上采样后与第一特征张量拼接后输入多尺度提取模块SMEM1，多尺度提取模块SMEM1-SMEM4分别输出解码特征张量F1 s-F4 s；特征张量F4 s的输出上采样后与解码特征张量F3 s拼接得到联合解码特征张量F34 s，特征张量F3 s的输出上采样后与解码特征张量F2 s拼接得到联合解码特征张量F23 s，特征张量F2 s的输出上采样后与解码特征张量F1 s拼接得到联合解码特征张量F12 s，联合解码特征张量F12 s、F23 s、F34 s输入残差融合模块RFM；残差融合模块RFM输出多尺度特征张量Fr；多尺度特征张量Fr输入二维残差注意模块BRAM，二维残差注意模块BRAM输出解码特征张量Fsa作为显著性图；
步骤3、检测显著性图：待检测图像输入二维多尺度注意网络，输出显著性图。
进一步，输入张量X的尺寸为224×224×3，第一至第五特征张量的尺寸分别为112×112×16、56×56×24、28×28×32、14×14×96、7×7×320。
进一步，对第五特征张量进行语义压缩操作，首先对其应用3×3的深度可分离卷积，得到7×7×64的特征图，然后再应用自适应平均池化，得到5×5×64的特征图。
进一步，第五特征张量通过卷积和池化，计算出高级语义特征张量K：
K＝avgpool(DSConv3×3(E5))
进一步，解码器特征的输出为：
其中，UP表示采用双线性插值法进行上采样，cat表示在通道维度进行连接。依次将深层编码特征上采样与上一层特征两两组合在通道维度进行拼接，然后经过SMEM处理后得到多尺度特征Fi s，将Fi s重复上述操作输入到RFM优化校正。
更进一步，BRAM解码后使用双线性插值法上采样得到原来尺寸的输出特征图Fsa。
采用上述技术方案，本发明取得如下技术效果：
本发明通过引入数据增强和多尺度注意策略，能够提升原始图像的清晰度，提高模型的实用性和准确性。通过压缩高级特征来增强语义信息表示能力，将语义信息馈送到SMEM中进行多尺度特征交互，捕捉更加有效的多尺度信息，解决尺度复杂问题；构造RFM融合语义信息与细节信息，进一步捕捉显著线索，提高低级特征的细节表示能力；设计BRAM建模空间和通道之间的相关性，并将两者融合以抑制背景干扰，提高小目标检测的准确性。
附图说明
图1是本发明的框架图。
图2是本发明的语义信息引导的多尺度提取模块SMEM的结构图。
图3是本发明的残差融合模块RFM的结构图。
图4是本发明的二维残差注意模块BRAM的结构图。
图5是本发明实施例1的输入图像。
图6是本发明实施例1检测的显著性图。
具体实施方式
以下实施例用于说明本发明。
实施例1
参照图1，一种基于光学遥感图像的二维多尺度注意网络的显著性目标检测方法，包括以下步骤：
步骤1、图像预处理：使用SRGAN模型提高图像的细粒度，将输入图像大小调整为预设大小的张量X，本实施例中张量尺寸为224×224×3；
步骤2、建立二维多尺度注意网络：二维多尺度注意网络包括第一至第五特征处理单元E1-E5和语义压缩操作；语义压缩操作包含深度可分离卷积层DSConv和自适应平均池化层AP；张量X依次经特征编码器E1-E5处理后，得到第一至第五特征张量；第五特征张量经过语义压缩操作得到全局语义信息K；将全局语义信息K前馈到多尺度提取模块SMEM1-SMEM4中，第五特征张量上采样后与第四特征张量拼接后输入多尺度提取模块SMEM4，多尺度提取模块SMEM4的输出上采样后与第三特征张量拼接后输入多尺度提取模块SMEM3，多尺度提取模块SMEM3的输出上采样后与第二特征张量拼接后输入多尺度提取模块SMEM2，多尺度提取模块SMEM2的输出上采样后与第一特征张量拼接后输入多尺度提取模块SMEM1，多尺度提取模块SMEM1-SMEM4分别输出解码特征张量F1 s-F4 s；特征张量F4 s的输出上采样后与解码特征张量F3 s拼接得到联合解码特征张量F34 s，特征张量F3 s的输出上采样后与解码特征张量F2 s拼接得到联合解码特征张量F23 s，特征张量F2 s的输出上采样后与解码特征张量F1 s拼接得到联合解码特征张量F12 s，联合解码特征张量F12 s、F23 s、F34 s输入残差融合模块RFM；残差融合模块RFM输出多尺度特征张量Fr；多尺度特征张量Fr输入二维残差注意模块BRAM，二维残差注意模块BRAM输出解码特征张量Fsa作为显著性图；
步骤3、检测显著性图：输入张量，经二维多尺度注意网络处理后得到显著性图。
本实施例中第一至第五特征张量的尺寸分别为112×112×16、56×56×24、28×28×32、14×14×96、7×7×320。
对第五特征张量进行语义压缩操作，首先对其应用3×3的深度可分离卷积进行降维，得到7×7×64的深度分离特征图，然后再应用自适应平均池化进行空间压缩，得到5×5×64的压缩特征图。
第五特征张量通过卷积和池化，计算出高级语义特征张量K：
K＝avgpool(DSConv3×3(E5))
将全局语义信息K依次前馈与各级编码特征张量融合输入到模块SMEM中来缓解尺度变化与复杂背景造成的干扰。参照图3，将输入分别经过两个1×1卷积得到两个特征张量，一个特征张量输入到三个并行的动态深度卷积中提取多尺度信息，其空洞率为r＝1,2,3；另外一个特征张量采用传统的3×3卷积细化；再将输入特征张量通过最大池化和平均池化操作被压缩为一个一维向量。然后将这两个一维向量通过一个1×1卷积、Sigmoid函数和SELayer层增强显著特征；最后，将这三部分上下文信息聚合，输出4组不同分辨率大小的特征张量F1 s-F4 s，尺寸分别为112×112×64、56×56×64、28×28×64、14×14×64；
然后将特征张量F1 s-F4 s依次在通道维度上进行连接，得到的3组解码特征张量F12 s、F23 s、F34 s作为残差融合模块RFM的输入，尺寸分别为112×112×64、56×56×64、28×28×64。参照图4，RFM将语义信息与细节信息逐层融合，实现有效的多尺度特征融合，得到一个多尺度特征张量Fr，尺寸为112×112×64；
将多尺度特征张量Fr输入到二维残差注意模块BRAM中处理。参照图5，首先采用多尺度策略对输入进行多尺度特征提取，从而获得多尺度特征；然后沿着通道和空间维度探索二维注意力，解决了注意损失和多尺度变化问题，恢复显著物体的细节信息，输出的解码特征张量Fsa作为显著性图，其尺寸为112×112×64。解码器中每个模块的输出过程如下：
其中，UP采用双线性插值法进行上采样，cat表示在通道维度进行连接，SMEM、RFM和BRAM表示三个模块的操作。
最后对输出特征图进行2倍上采样到与原来尺寸相同，即224×224×64。
需要说明，目前，本发明的技术方案已经进行了小范围应用调研，调研结果表明用户满意度较高。现在已开始着手准备技术转化应用，同时开展了知识产权风险预警调研。
Claims (9)
1.一种基于遥感图像的多尺度注意网络的显著性目标检测方法，其特征在于，包括以下步骤：
步骤1、图像预处理：使用SRGAN模型将输入图像大小调整为预设大小的输入张量X；
步骤2、建立二维多尺度注意网络：二维多尺度注意网络包括第一至第五特征处理单元E1-E5和语义压缩操作；语义压缩操作包含深度可分离卷积层DSConv和自适应平均池化层AP；张量X依次经特征编码器E1-E5处理后，得到第一至第五特征张量；第五特征张量经过语义压缩操作得到全局语义信息K；将全局语义信息K前馈到多尺度提取模块SMEM1-SMEM4中，第五特征张量上采样后与第四特征张量拼接后输入多尺度提取模块SMEM4，多尺度提取模块SMEM4的输出上采样后与第三特征张量拼接后输入多尺度提取模块SMEM3，多尺度提取模块SMEM3的输出上采样后与第二特征张量拼接后输入多尺度提取模块SMEM2，多尺度提取模块SMEM2的输出上采样后与第一特征张量拼接后输入多尺度提取模块SMEM1，多尺度提取模块SMEM1-SMEM4分别输出解码特征张量F1 s-F4 s；特征张量F4 s的输出上采样后与解码特征张量F3 s拼接得到联合解码特征张量F34 s，特征张量F3 s的输出上采样后与解码特征张量F2 s拼接得到联合解码特征张量F23 s，特征张量F2 s的输出上采样后与解码特征张量F1 s拼接得到联合解码特征张量F12 s，联合解码特征张量F12 s、F23 s、F34 s输入残差融合模块RFM；残差融合模块RFM输出多尺度特征张量Fr；多尺度特征张量Fr输入二维残差注意模块BRAM，二维残差注意模块BRAM输出解码特征张量Fsa作为显著性图；
步骤3、检测显著性图：待检测图像输入二维多尺度注意网络，输出显著性图。
2.根据权利要求1所述的基于遥感图像的多尺度注意网络的显著性目标检测方法，其特征在于，输入张量尺寸为224×224×3，第一至第五特征张量的尺寸分别为112×112×16、56×56×24、28×28×32、14×14×96、7×7×320。
3.根据权利要求2所述的基于遥感图像的多尺度注意网络的显著性目标检测方法，其特征在于，语义压缩操作对第五特征张量进行，首先对其应用3×3的深度可分离卷积进行降维，得到7×7×64的深度分离特征图，然后再应用自适应平均池化进行空间压缩，得到5×5×64的压缩特征图。
4.根据权利要求1所述的基于遥感图像的多尺度注意网络的显著性目标检测方法，其特征在于，解码器特征器的输出为：
依次将深层编码特征上采样与上一层特征两两组合在通道维度进行拼接，然后经过SMEM处理后得到多尺度特征Fi s，将Fi s重复上述操作输入到RFM优化校正。
5.根据权利要求1所述的基于遥感图像的多尺度注意网络的显著性目标检测方法，其特征在于，特征张量F4 s的输出用双线性插值法上采样后与解码特征张量F3 s拼接得到联合解码特征张量F34 s。
6.根据权利要求1所述的基于遥感图像的多尺度注意网络的显著性目标检测方法，其特征在于，特征张量F3 s的输出用双线性插值法上采样后与解码特征张量F2 s拼接得到联合解码特征张量F23 s。
7.根据权利要求1所述的基于遥感图像的多尺度注意网络的显著性目标检测方法，其特征在于，特征张量F2 s的输出用双线性插值法上采样后与解码特征张量F1 s拼接得到联合解码特征张量F12 s。
8.根据权利要求1所述的基于遥感图像的多尺度注意网络的显著性目标检测方法，其特征在于，将特征张量F34 s、特征张量F23 s和特征张量F12 s输入到RFM优化校正。
9.根据权利要求1所述的基于遥感图像的多尺度注意网络的显著性目标检测方法，其特征在于，BRAM解码后使用双线性插值法上采样得到原来尺寸的输出特征图Fsa。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311185844.3A CN117237188A (zh) | 2023-09-14 | 2023-09-14 | 基于遥感图像的多尺度注意网络的显著性目标检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311185844.3A CN117237188A (zh) | 2023-09-14 | 2023-09-14 | 基于遥感图像的多尺度注意网络的显著性目标检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117237188A true CN117237188A (zh) | 2023-12-15 |
Family
ID=89092400
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311185844.3A Pending CN117237188A (zh) | 2023-09-14 | 2023-09-14 | 基于遥感图像的多尺度注意网络的显著性目标检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117237188A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117994506A (zh) * | 2024-04-07 | 2024-05-07 | 厦门大学 | 一种动态知识集成的遥感图像显著性目标检测方法 |
-
2023
- 2023-09-14 CN CN202311185844.3A patent/CN117237188A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117994506A (zh) * | 2024-04-07 | 2024-05-07 | 厦门大学 | 一种动态知识集成的遥感图像显著性目标检测方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112329800B (zh) | 一种基于全局信息引导残差注意力的显著性目标检测方法 | |
| Yeh et al. | Multi-scale deep residual learning-based single image haze removal via image decomposition | |
| Kim et al. | Fully deep blind image quality predictor | |
| CN111488865B (zh) | 图像优化方法、装置、计算机存储介质以及电子设备 | |
| CN111242238B (zh) | 一种rgb-d图像显著性目标获取的方法 | |
| CN111754438B (zh) | 基于多分支门控融合的水下图像复原模型及其复原方法 | |
| CN112801901A (zh) | 基于分块多尺度卷积神经网络的图像去模糊算法 | |
| CN112288627B (zh) | 一种面向识别的低分辨率人脸图像超分辨率方法 | |
| CN111612711A (zh) | 一种基于生成对抗网络改进的图片去模糊方法 | |
| Huang et al. | High-quality face image generated with conditional boundary equilibrium generative adversarial networks | |
| Kim et al. | Deeply aggregated alternating minimization for image restoration | |
| CN117237188A (zh) | 基于遥感图像的多尺度注意网络的显著性目标检测方法 | |
| CN115457568B (zh) | 一种基于生成对抗网络的历史文档图像降噪方法及*** | |
| CN114926734B (zh) | 基于特征聚合和注意融合的固体废弃物检测装置及方法 | |
| CN116645287B (zh) | 一种基于扩散模型的图像去模糊方法 | |
| Hongmeng et al. | A detection method for deepfake hard compressed videos based on super-resolution reconstruction using CNN | |
| CN117274059A (zh) | 基于图像编码-解码的低分辨率图像重构方法及其*** | |
| Liu et al. | Overview of image inpainting and forensic technology | |
| CN113837290A (zh) | 一种基于注意力生成器网络的无监督非成对图像翻译方法 | |
| Gao | A method for face image inpainting based on generative adversarial networks | |
| Yu et al. | A review of single image super-resolution reconstruction based on deep learning | |
| CN104252715B (zh) | 一种基于单幅线条图像的三维立体重建方法 | |
| Zhang et al. | AG-Net: An advanced general CNN model for steganalysis | |
| CN115965844B (zh) | 基于视觉显著性先验知识的多聚焦图像融合方法 | |
| CN117217997A (zh) | 一种基于上下文感知边缘增强的遥感图像超分辨率方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |