CN113408540B - 一种合成孔径雷达图像叠掩区提取方法及存储介质 - Google Patents

一种合成孔径雷达图像叠掩区提取方法及存储介质 Download PDF

Info

Publication number
CN113408540B
CN113408540B CN202110534938.1A CN202110534938A CN113408540B CN 113408540 B CN113408540 B CN 113408540B CN 202110534938 A CN202110534938 A CN 202110534938A CN 113408540 B CN113408540 B CN 113408540B
Authority
CN
China
Prior art keywords
feature
image
feature map
map
channel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110534938.1A
Other languages
English (en)
Other versions
CN113408540A (zh
Inventor
潘舟浩
张昭
赵琳
王卫红
范强
李鹏
陈立福
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Academy of Electronic and Information Technology of CETC
Original Assignee
China Academy of Electronic and Information Technology of CETC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Academy of Electronic and Information Technology of CETC filed Critical China Academy of Electronic and Information Technology of CETC
Priority to CN202110534938.1A priority Critical patent/CN113408540B/zh
Publication of CN113408540A publication Critical patent/CN113408540A/zh
Application granted granted Critical
Publication of CN113408540B publication Critical patent/CN113408540B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • G01S13/90—Radar or analogous systems specially adapted for specific applications for mapping or imaging using synthetic aperture techniques, e.g. synthetic aperture radar [SAR] techniques
    • G01S13/9021—SAR image post-processing techniques
    • G01S13/9027—Pattern recognition for feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种合成孔径雷达图像叠掩区提取方法及存储介质，其中方法包括：获取合成孔径雷达SAR图像、所述SAR图像对应的相干系数图和干涉相位图；分别提取所述SAR图像、对应的相干系数图和干涉相位图中的一个图像通道，并按照预设规则将提取的三个图像通道进行合成，获得合成图像；然后进行子样本划分，通过在子样本上提取到的特征图和细化特征进行融合，获得融合特征图，利用预设滑窗拼接策略提取所述融合特征图中的叠掩区域，由此实现了高分辨率SAR图像的叠掩区域自动提取。

Description

一种合成孔径雷达图像叠掩区提取方法及存储介质
技术领域
本发明涉及合成孔径雷达技术领域，尤其涉及一种合成孔径雷达图像叠掩区提取方法及存储介质。
背景技术
合成孔径雷达(Synthetic Aperture Radar，SAR)是一种高分辨率成像雷达，具有全天候、精度高且不受天气影响等优势。合成孔径雷达干涉测量(InterferometricSynthetic Aperture Radar，InSAR)是一种新型主动式地表形变监测技术，是SAR领域的一个重要应用。
随着InSAR技术的不断成熟，其在地质灾害监测领域中的应用越来越广泛，这对InSAR技术的监测精度和监测数据有了更高的要求。
在滑坡等地质灾害多发在地形起伏较大的山区，坡度角和背坡角都比较大，极容易在SAR影像数据采集过程中产生叠掩现象。叠掩是指山顶回波比山脚部分回波更早被雷达接收，从而使山顶影像在斜距上出现在山底之前的现象，也称为顶底倒置。叠掩的存在严重破坏了干涉相位的连续性，导致InSAR技术在数据处理工作中无法准确滤波和解缠。因此叠掩区域的有效检测与提取，对InSAR技术在地质灾害监测领域获得准确的监测成果具有重要意义。
叠掩的有效检测能够促进InSAR技术更好地在地质灾害领域中发挥作用。在有关叠掩检测的研究中，使用数学几何模型等方法检测叠掩较多。利用SAR图像的频谱搬移特征识别叠掩区域。使用极大似然估计法，融合相位图与数学高程模型(Digital Elevationmodel，DEM)提取叠掩区域。用基于干涉信号自相关矩阵的方法进行叠掩检测，但该方法计算原理较为复杂，计算时间较长，且涉及多种信息论信息个数估计准则，***误差较大。
发明内容
本发明实施例提供一种合成孔径雷达图像叠掩区提取方法及存储介质，用以实现高分辨率SAR图像的叠掩区域自动提取。
本发明实施例提出一种合成孔径雷达图像叠掩区提取方法，包括：
获取合成孔径雷达SAR图像、所述SAR图像对应的相干系数图和干涉相位图；
分别提取所述SAR图像、对应的相干系数图和干涉相位图中的一个图像通道，并按照预设规则将提取的三个图像通道进行合成，获得合成图像；
将所述合成图像划分成若干子样本，并对若干所述子样本进行特征提取，获得特征图；
基于所述特征图进行特征再提取，获得细化特征；
基于所述特征图和所述细化特征进行融合，获得融合特征图；
利用预设滑窗拼接策略提取所述融合特征图中的叠掩区域。
在一示例中，所述对若干所述子样本进行特征提取，获得特征图包括：
利用改进的骨干网络若干所述子样本进行特征提取，获得四个通道数递增的第一层级特征、第二层级特征、第三层级特征和第四层级特征；
其中，所述改进的骨干网络为将快速训练残差网络ResNet_101池化层后面的三个运算块中的普通二维卷积分别替换为包含不同尺度和深度的金字塔卷积，以及利用预设规格的卷积级联模块替换所述ResNet_101的最后一个卷积层获得，且所述金字塔卷积的核大小递增，卷积深度递减。
在一示例中，所述基于所述特征图进行特征再提取，获得细化特征包括：
将所述第四层级特征输入多感受野并行注意池化工作层，获得图像级特征和对应感受野的上下文信息；以及
通过预设目标语义池化支路对所述第四层级特征进行特征提取，获得池化上下文信息；
根据所述图像级特征、各感受野的上下文信息以及所述池化上下文信息确定第一融合特征；
其中，所述多感受野并行注意池化工作层包括并行的四个不同空洞率的卷积以及一个全局平均池化。
在一示例中，所述将所述第四层级特征输入多感受野并行注意池化工作层，获得图像级特征和对应感受野的上下文信息包括：
将所述第四层级特征输入并行的四个不同空洞率的卷积层，获得四路特征图输出；
将四路特征图输出输入对应支路的通道空间注意力模块，以通过所述通道空间注意力模块提取对应的特征图输出中的通道信息和空间信息；
根据四路特征图输出以及对应的所述通道信息和所述空间信息确定对应感受野的上下文信息。
在一示例中，所述通过所述通道空间注意力模块提取对应的特征图输出中的通道信息和空间信息包括：
通过所述通道空间注意力模块的平均池化和最大池化对对应支路的特征图输出进行压缩；
将压缩后的特征图输入指定共享网络进行处理，将处理获得的结果通过第一Sigmoid函数进行特征调整，并根据调整结果映射为一维的通道注意力特征图，其中所述指定共享网络包括多层感知机和隐藏层；
将所述一维的通道注意力特征图与热图相乘获得通道维度上的特征图，并将所述通道维度上的特征图通过最大池化和平均池化学习目标特征，根据所述目标特征将所述一维的通道注意力特征图和通道维度上的特征图进行合并，将合并结果通过卷积操作和第二Sigmoid函数进行特征调整，并根据调整结果映射为二维的空间注意力特征图，以实现提取对应的特征图输出中的通道信息和空间信息。
在一示例中，所述通过预设目标语义池化支路对所述第四层级特征进行特征提取，获得池化上下文信息包括：
计算所述第四层级特征中单个像素和所有像素之间的相似性，以获得目标语义与每一个像素的语义映射关系；
聚合所述语义映射关系上的所有像素，计算当前单个像素的标签；
重复计算所述第四层级特征中所有像素的标签，以获得池化上下文信息。
在一示例中，所述基于所述特征图进行特征再提取，获得细化特征还包括：
将所述第二层级特征和所述第三层级特征进行多模态循环MCF融合；
对MCF融合获得的特征图进行边缘细化，获得第二融合特征。
在一示例中，所述基于所述特征图和所述细化特征进行融合，获得融合特征图包括：
将所述第一融合特征和第二融合特征进行拼接融合，获得第三融合特征；
将所述第三融合特征与所述第一层级特征进行连接以及特征细化，获得融合特征图。
在一示例中，所述利用预设滑窗拼接策略提取所述融合特征图中的叠掩区域包括：
利用预设规格的滑动窗口按照预设步长对所述融合特征图进行剪切，获得若干剪切样本；
对获得的若干剪切样本进行分类，以获得各剪切样本的分类得分图；
根据各剪切样本的分类得分图提取SAR图像的叠掩区域。
本发明实施例还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现前述的合成孔径雷达图像叠掩区提取方法的步骤。
本发明实施例通过进行SAR图像合成，然后进行子样本划分，通过在子样本上提取到的特征图和细化特征进行融合，获得融合特征图，利用预设滑窗拼接策略提取所述融合特征图中的叠掩区域，由此实现了高分辨率SAR图像的叠掩区域自动提取，取得了积极的技术效果。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1为本发明实施例基本流程图；
图2为本发明实施例框架流程图；
图3为本发明实施例叠掩样本示意图；
图4为本发明实施例改进骨干网络结构示意图；
图5为本发明实施例金字塔卷积示意图；
图6为本发明实施例通道空间注意力模块；
图7为本发明实施例目标语义池化模块；
图8为本发明实施例语义嵌入分支示意图；
图9为本发明实施例拼接策略示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
深度学习在语义分割方向上发展十分迅速。语义分割是基于图像像素点进行特征学习，从而实现图像不同类别划分的深度学习方法。叠掩的检测需要提取所有叠掩特征，这一原理也和语义分割思想相一致。目前大多数学者是用传统检测方法来对SAR图像进行叠掩检测，但要区分SAR图像中的隐式特征，深度学习方法更为合适。因此，将主流深度学习算法和高分辨率SAR图像叠掩提取相结合具有重大意义。结合深度学习卷积网络和基于对象的图像分析，利用光学图像、干涉相干数据和数学高程模型DEM做成数据集进行分割，从而实现对叠掩的分类提取。使用用于干涉语义分割的卷积神经网络(CNN-ISS)和卷积长短期记忆网络(CLSTM-ISS)进行叠掩区域的分类提取。一种干涉图分割辅助的相位估计方法，利用改进的全卷积网络FCN将干涉图像元中的叠掩区域提取出来。一种高分辨率SAR图像目标提取的深度学习网络MDDA(Multi-level and densely dual attention)，它能实现高精度目标提取，但网络对数据集要求较高且训练时间较长。一种高效提取目标的深度学习方法，但是其更适用于小样本数据集。
本发明实施例提出一种合成孔径雷达图像叠掩区提取方法，如图1所示，包括：
S101、获取合成孔径雷达SAR图像、所述SAR图像对应的相干系数图和干涉相位图；
S102、分别提取所述SAR图像、对应的相干系数图和干涉相位图中的一个图像通道，并按照预设规则将提取的三个图像通道进行合成，获得合成图像。
如图2所示，本发明的框架包括图像通道融合、编码模块和解码模块，本实施例中首先，将SAR图像对应的相干系数图和干涉相位图分别提取一个通道，按照预设规则，例如按照r、g、b的顺序生成一张三通道合成图像，使得样本中叠掩的信息更容易被识别，如图3所示，图3中，(a)、(b)、(c)分别是SAR图像及其对应的相干系数图和干涉相位图，(d)为三通道合成图像。可以看到在融合图中叠掩区域更明显地区别于背景区域。
S103、将所述合成图像划分成若干子样本，并对若干所述子样本进行特征提取，获得特征图；
S104、基于所述特征图进行特征再提取，获得细化特征；
如图2所示，编码模块包括改进骨干网络PyresNet_101、多尺度空间注意金字塔(Multi-scale Channel and spatial pyramid，MCSP)、语义嵌入分支(SemanticEmbedding Branch，SEB)。具体实施中可以将合成图像进行滑窗切分成小样本进行训练，通过改进骨干网络PyresNet_101对若干所述子样本进行特征提取，然后通过多尺度空间注意金字塔(Multi-scale Channel and spatial pyramid，MCSP)、语义嵌入分支(SemanticEmbedding Branch，SEB)基于特征图进行特征再提取，获得细化特征。
S105、基于所述特征图和所述细化特征进行融合，获得融合特征图；
S106、利用预设滑窗拼接策略提取所述融合特征图中的叠掩区域。
可以通过编码模块完成特征的融合，获得融合特征图，通过改进的滑窗拼接策略完整提取叠掩区域，实现高分辨SAR图像的叠掩区域检测。
通过本发明的SAR图像叠掩区提取方法实现了高分辨率SAR图像的叠掩区域快速自动提取。
在一示例中，所述对若干所述子样本进行特征提取，获得特征图包括：
利用改进的骨干网络若干所述子样本进行特征提取，获得四个通道数递增的第一层级特征、第二层级特征、第三层级特征和第四层级特征；
其中，所述改进的骨干网络为将快速训练残差网络ResNet_101池化层后面的三个运算块中的普通二维卷积分别替换为包含不同尺度和深度的金字塔卷积，以及利用预设规格的卷积级联模块替换所述ResNet_101的最后一个卷积层获得，且所述金字塔卷积的核大小递增，卷积深度递减。
本示例中提出一种改进的骨干网络PyResNet_101，采用带有金字塔卷积和空洞卷积的ResNet_101作为骨干网络。ResNet具有跳跃连接、优化残差等特点，其结构可以加速训练，提高模型准确度，非常适用于搭建语义分割网络。金字塔卷积包含不同尺度与深度的卷积核，从而可以对目标物体进行多尺度特征的提取；空洞卷积可以使靠后的卷积层输出保持较大的特征图尺寸，这样在保留更多语义信息的同时也会包含更多的细节信息，比如边缘等，解决了网络池化操作中存在的容易丢失细节特征的问题。
图4、图5给出了本示例中对ResNet_101的改进结构部分，本示例中将ResNet_101池化层后面的三个block中的普通二维卷积分别替换为包含不同尺度和深度的金字塔卷积，金字塔卷积的核大小在增加，卷积深度在减小，使得卷积层可以在多个尺度上并行解析输入以捕获更详细的信息，这有助于提高网络的识别性能。在一些示例中可以使用单个空洞率分别为2、4、8的3*3卷积级联模块替换最后一个卷积层，加深了网络层数，丰富特征图的语义信息，只对原图进行16倍下采样，在增大感受野的同时维持了特征的分辨率，使得ResNet_101最终输出的特征在保持较多的语义信息的同时也可以拥有更多的细节信息。
在一示例中，所述基于所述特征图进行特征再提取，获得细化特征包括：
将所述第四层级特征输入多感受野并行注意池化工作层，获得图像级特征和对应感受野的上下文信息；以及
通过预设目标语义池化支路对所述第四层级特征进行特征提取，获得池化上下文信息；
根据所述图像级特征、各感受野的上下文信息以及所述池化上下文信息确定第一融合特征；
其中，所述多感受野并行注意池化工作层包括并行的四个不同空洞率的卷积以及一个全局平均池化。
如图2所示，本示例中对多尺度空间注意金字塔(Multi-scale Channel andspatial pyramid，MCSP)进行介绍。本示例中MCSP包括两部分：多感受野并行注意池化工作层和OCP支路。由于改进之后的骨干网络的输出的第四层级特征图包含2048个通道和丰富的语义信息，本示例中将特征同时输入到多感受野并行注意池化工作层和OCP支路中。作为一种示例的多感受野并行注意池化工作可以包括一个空洞率为1的1×1卷积、三个空洞率分别为6,12,18的3×3卷积、一个全局平均池化(GAP)并行搭建而成。本示例中四个不同空洞率的空洞卷积能有效从不同感受野上捕捉图像的上下文信息；加入全局平均池化对特征做降采样处理，提取图像级特征，然后通过双线性插值上采样恢复输入尺寸，使特征图能够包含更多的全局信息；OCP组成另一条支路，显示地增强物体信息，更灵活地提取特征的上下文信息。
在一示例中，所述将所述第四层级特征输入多感受野并行注意池化工作层，获得图像级特征和对应感受野的上下文信息包括：
将所述第四层级特征输入并行的四个不同空洞率的卷积层，获得四路特征图输出；
将四路特征图输出输入对应支路的通道空间注意力模块，以通过所述通道空间注意力模块提取对应的特征图输出中的通道信息和空间信息；
根据四路特征图输出以及对应的所述通道信息和所述空间信息确定对应感受野的上下文信息。
如图6所示，本示例中对通道空间注意力模块(Channel and Spacial AttentionModule，CSAM)。
本示例中注意力模块在深度学***均池化和最大池化对特征图在空间维度上进行压缩，再输入由多层感知机MLP(multi-layer perceptron)和一个隐藏层组成的共享网络，再经过一个Sigmoid函数来重新调整输入的特征图，映射为一维的通道注意力特征图Mc∈RC×1×1。将一维的通道注意力热图与特征图相乘得到通道维度上的特征图，然后通过最大池化和平均池化学习特定特征，将两个特征图concat，再通过卷积操作和一个Sigmoid函数来调整特征图，最终映射为二维的空间注意力特征图Ms∈R1×H×W，达到提取有用通道和空间信息的作用。当输入的特征图大小为X∈RC×H×W，通道注意力映射Mc∈RC ×1×1，空间注意力映射Ms∈R1×H×W，计算如下：
Figure BDA0003069243930000101
Figure BDA0003069243930000102
Figure BDA0003069243930000103
其中σ表示sigmoid激活函数，W0∈RC/r×C，W1∈RC×C/r，r是减少比率，MLP的权重W0和W1两个输入共享，W0后使用ReLU作为激活函数,
Figure BDA0003069243930000104
表示逐像素相乘。
CSAM组成的残差支路的输入X分别来自四条空洞卷积组成的多尺度特征提取支路。将通道特征注意力和空间注意力共同应用到多尺度特征图中，既考虑不同通道像素的重要性，又考虑了同一通道不同位置像素的重要性，会使得多尺度特征的信息更加丰富，实现了特征再筛选，之后基于残差再将空洞卷积支路输出的多尺度特征图与再筛选之后的特征进行加权，平衡特征。
在一示例中，所述通过所述通道空间注意力模块提取对应的特征图输出中的通道信息和空间信息包括：
通过所述通道空间注意力模块的平均池化和最大池化对对应支路的特征图输出进行压缩；
将压缩后的特征图输入指定共享网络进行处理，将处理获得的结果通过第一Sigmoid函数进行特征调整，并根据调整结果映射为一维的通道注意力特征图，其中所述指定共享网络包括多层感知机和隐藏层；
将所述一维的通道注意力特征图与热图相乘获得通道维度上的特征图，并将所述通道维度上的特征图通过最大池化和平均池化学习目标特征，根据所述目标特征将所述一维的通道注意力特征图和通道维度上的特征图进行合并，将合并结果通过卷积操作和第二Sigmoid函数进行特征调整，并根据调整结果映射为二维的空间注意力特征图，以实现提取对应的特征图输出中的通道信息和空间信息。
在一示例中，所述通过预设目标语义池化支路对所述第四层级特征进行特征提取，获得池化上下文信息包括：
计算所述第四层级特征中单个像素和所有像素之间的相似性，以获得目标语义与每一个像素的语义映射关系；
聚合所述语义映射关系上的所有像素，计算当前单个像素的标签；
重复计算所述第四层级特征中所有像素的标签，以获得池化上下文信息。
本示例中对MCSP的另一个分支目标语义池化OCP(object-contextual pooling)进行说明。目标语义池化通过利用属于同一物体的像素集合的信息来得到某一个该物体包含的像素的标签，不再逐像素的进行预测而是将相似的像素点聚集后进行语义分割。
OCP作为MCSP的一个分支，如图7所示，输入X为骨干网络的最后一层特征图，P为对应的位置特征图，W为通过注意力机制产生的语义映射，C为OCP最终的输出标签。1)计算单个像素和所有像素之间的相似性从而得到目标语义和每一个像素的映射，表示为wp，具体计算如下；2)聚合目标语义映射上的所有像素来计算当前像素的标签，具体计算如下。
Figure BDA0003069243930000111
Figure BDA0003069243930000112
其中xp是像素p和i的表征向量，标准化参数Zp是所有相似性的和，其中
Figure BDA0003069243930000113
fq(.)和fk(.)分别表示遍历转换函数和关键转换函数,
Figure BDA0003069243930000114
是值转换函数。
由于卷积操作中的局部感受野，相同标签的像素对应的特征可能不同，这种差异会导致类内的不一致性，从而会影响识别准确率。因此，通过目标语义池化在特征之间使用注意力机制建立关联，进而从全局的角度自适应地集成任何尺度上的相似特征。相较于使用固定空间表示来提取上下文信息时会同时包含物体信息和背景信息，本示例中OCP关注于全局视图中对象之间的关系，可以显示增强物体信息，且更具有灵活性。
在一示例中，所述基于所述特征图进行特征再提取，获得细化特征还包括：
将所述第二层级特征和所述第三层级特征进行多模态循环MCF融合；
对MCF融合获得的特征图进行边缘细化，获得第二融合特征。
本示例中对语义嵌入分支SEB(semantic embedding branch)进行介绍。
语义嵌入分支包括MCF特征融合模块和GBR边缘细化模块。MCF融合模块融合了骨干网络pyres2和pyres3输出的特征图，也即第二层级特征和第三层级特征，这样使得后续上采样时图像中像素的连续性更强，还原出来的像素值更加逼近特征图下采样之前的像素值。再将融合后的特征图通过GBR边缘细化模块进行边缘细化，进一步从全局信息上提高编码块的边缘提取能力。
高级语义嵌入把更多的语义信息引入低级特征，解决了低级特征包含很少的语义信息而导致不足以复原语义分辨率的问题。边缘细化模块中的GCN和BR单元能有效解决语义分割中像素点分类和定位问题。如图8给出了语义嵌入分支的详细结构。
MCF将包含更多语义信息的高层特征图通过双线性插值上采样至低层特征图相同的分辨率，然后使用逐像素相乘的方式进行特征融合。使得低级的特征包含更多了语义信息。将MCF输出的融合特征输入全局边缘细化模块(GBR)，GBR包括GCN和BR单元。GCN使用对称的独立卷积核1×k+k×1和k×1+1×k组成大尺度的卷积核，并且中间不使用Relu激活函数，相较直接使用k×k的卷积核可以明显降低参数量和计算量，这里选取k＝7，提高网络处理不同分辨率特征图的能力，能够更好地获取全局信息，有效提高分类能力。为了减少物体边界像素错分的情况，进一步提高目标边界附近的定位能力，让GCN的输出特征再经过由小卷积核组成的残差模块BR进行平衡，提高边缘激活值，实现边缘细化。
在一示例中，所述基于所述特征图和所述细化特征进行融合，获得融合特征图包括：
将所述第一融合特征和第二融合特征进行拼接融合，获得第三融合特征；
将所述第三融合特征与所述第一层级特征进行连接以及特征细化，获得融合特征图。
如图2所示，解码部分包含三个输入，一是MCSP输出的高级特征，二是骨干网络输出的低级特征，三是SEB语义嵌入分支输出的融合特征。将MCSP输出的特征上采样二倍与SEB输出的特征进行拼接融合，这样通过一次上采样将高级特征与中级特征融合，兼顾图像的语义信息和细节信息，减少了直接对高级特征空间维度恢复造成的误差。之后经过1x1卷积进行降维，再被双线性插值2倍上采样，而后与来自相同空间分辨率的骨干网络的低级特征连接，因为低级特征包含大量通道，所以本示例同样采取1x1卷积来减少通道数，减少网络不必要的通道计算。连接之后再经过3x3的卷积层进行特征细化，经过一次双线性插值四倍上采样后输入全局边缘细化模块GBR，进行进一步的边界细化，最终实现叠掩的提取。
在一示例中，所述利用预设滑窗拼接策略提取所述融合特征图中的叠掩区域包括：
利用预设规格的滑动窗口按照预设步长对所述融合特征图进行剪切，获得若干剪切样本；
对获得的若干剪切样本进行分类，以获得各剪切样本的分类得分图；
根据各剪切样本的分类得分图提取SAR图像的叠掩区域。
本示例中，经过网络训练生成的模型可以用来对高分辨率SAR图像进行分类，为了获取更好的结果，本示例中使用了滑窗拼接检测策略，将高分辨率SAR图像切割为一定尺寸的小图像样本进行训练。
由于对图像切割往往会破坏目标的完整性，并且由于直接测试拼接时分类结果在两个相邻窗***界处的不连续性，会造成边缘区域的检测错误。基于此，本示例中使用图9所示的滑窗拼接方法来拼接两张相邻的图像。具体操作为：在使用训练模型进行叠掩提取时，使用一个预设规格的滑动窗口，例如512×512大小的滑动窗口来剪切高分辨率SAR图像，步长设置为412，具体如图9中的S11，S12，S21和Smn所示，两个相邻窗口有100像素是重叠的。两个窗口都测试完之后，重叠区域的分类结果将会由相邻窗口取平均值生成。通过这样的拼接方法，可以得到最小分类边界误差的得分图。
本发明改进的网络能够实现对SAR图像叠掩区域的快速自动提取。并且改进网络很轻便，大大缩短了网络层迭代时间，减少了网络训练时间和图片测试时间。MCSP使得网络能够更灵活地从多尺度全方位学习全局特征并编码有效特征，SEB融合骨干网络中间层特征，解决了高低级特征直接融合造成的特征不对齐的问题，全局边缘细化模块GBR使边缘信息能被完全解码并提取。综合提取精度、数据集训练时间和图片测试时间来看，本发明的方法在毫米波数据中能够对叠掩进行更加有效的提取。
本发明实施例还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现前述的合成孔径雷达图像叠掩区提取方法的步骤。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。

Claims (4)

1.一种合成孔径雷达图像叠掩区提取方法，其特征在于，包括：
获取合成孔径雷达SAR图像、所述SAR图像对应的相干系数图和干涉相位图；
分别提取所述SAR图像、对应的相干系数图和干涉相位图中的一个图像通道，并按照预设规则将提取的三个图像通道进行合成，获得合成图像；
将所述合成图像划分成若干子样本，并对若干所述子样本进行特征提取，获得特征图；
基于所述特征图进行特征再提取，获得细化特征；
基于所述特征图和所述细化特征进行融合，获得融合特征图；
利用预设滑窗拼接策略提取所述融合特征图中的叠掩区域；
所述对若干所述子样本进行特征提取，获得特征图包括：
利用改进的骨干网络若干所述子样本进行特征提取，获得四个通道数递增的第一层级特征、第二层级特征、第三层级特征和第四层级特征；
其中，所述改进的骨干网络为将快速训练残差网络ResNet_101池化层后面的三个运算块中的普通二维卷积分别替换为包含不同尺度和深度的金字塔卷积，以及利用预设规格的卷积级联模块替换所述ResNet_101的最后一个卷积层获得，且所述金字塔卷积的核大小递增，卷积深度递减；
所述基于所述特征图进行特征再提取，获得细化特征包括：
将所述第四层级特征输入多感受野并行注意池化工作层，获得图像级特征和对应感受野的上下文信息；以及
通过预设目标语义池化支路对所述第四层级特征进行特征提取，获得池化上下文信息；
根据所述图像级特征、各感受野的上下文信息以及所述池化上下文信息确定第一融合特征；
其中，所述多感受野并行注意池化工作层包括并行的四个不同空洞率的卷积以及一个全局平均池化；
所述将所述第四层级特征输入多感受野并行注意池化工作层，获得图像级特征和对应感受野的上下文信息包括：
将所述第四层级特征输入并行的四个不同空洞率的卷积层，获得四路特征图输出；
将四路特征图输出输入对应支路的通道空间注意力模块，以通过所述通道空间注意力模块提取对应的特征图输出中的通道信息和空间信息；
根据四路特征图输出以及对应的所述通道信息和所述空间信息确定对应感受野的上下文信息；
所述通过预设目标语义池化支路对所述第四层级特征进行特征提取，获得池化上下文信息包括：
计算所述第四层级特征中单个像素和所有像素之间的相似性，以获得目标语义与每一个像素的语义映射关系；
聚合所述语义映射关系上的所有像素，计算当前单个像素的标签；
重复计算所述第四层级特征中所有像素的标签，以获得池化上下文信息；
所述基于所述特征图进行特征再提取，获得细化特征还包括：
将所述第二层级特征和所述第三层级特征进行多模态循环MCF融合；
对MCF融合获得的特征图进行边缘细化，获得第二融合特征；
所述利用预设滑窗拼接策略提取所述融合特征图中的叠掩区域包括：
利用预设规格的滑动窗口按照预设步长对所述融合特征图进行剪切，获得若干剪切样本；
对获得的若干剪切样本进行分类，以获得各剪切样本的分类得分图；
根据各剪切样本的分类得分图提取SAR图像的叠掩区域。
2.如权利要求1所述的合成孔径雷达图像叠掩区提取方法，其特征在于，所述通过所述通道空间注意力模块提取对应的特征图输出中的通道信息和空间信息包括：
通过所述通道空间注意力模块的平均池化和最大池化对对应支路的特征图输出进行压缩；
将压缩后的特征图输入指定共享网络进行处理，将处理获得的结果通过第一Sigmoid函数进行特征调整，并根据调整结果映射为一维的通道注意力特征图，其中所述指定共享网络包括多层感知机和隐藏层；
将所述一维的通道注意力特征图与热图相乘获得通道维度上的特征图，并将所述通道维度上的特征图通过最大池化和平均池化学习目标特征，根据所述目标特征将所述一维的通道注意力特征图和通道维度上的特征图进行合并，将合并结果通过卷积操作和第二Sigmoid函数进行特征调整，并根据调整结果映射为二维的空间注意力特征图，以实现提取对应的特征图输出中的通道信息和空间信息。
3.如权利要求1所述的合成孔径雷达图像叠掩区提取方法，其特征在于，所述基于所述特征图和所述细化特征进行融合，获得融合特征图包括：
将所述第一融合特征和第二融合特征进行拼接融合，获得第三融合特征；
将所述第三融合特征与所述第一层级特征进行连接以及特征细化，获得融合特征图。
4.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至3中任一项所述的合成孔径雷达图像叠掩区提取方法的步骤。
CN202110534938.1A 2021-05-17 2021-05-17 一种合成孔径雷达图像叠掩区提取方法及存储介质 Active CN113408540B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110534938.1A CN113408540B (zh) 2021-05-17 2021-05-17 一种合成孔径雷达图像叠掩区提取方法及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110534938.1A CN113408540B (zh) 2021-05-17 2021-05-17 一种合成孔径雷达图像叠掩区提取方法及存储介质

Publications (2)

Publication Number Publication Date
CN113408540A CN113408540A (zh) 2021-09-17
CN113408540B true CN113408540B (zh) 2022-11-18

Family

ID=77678793

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110534938.1A Active CN113408540B (zh) 2021-05-17 2021-05-17 一种合成孔径雷达图像叠掩区提取方法及存储介质

Country Status (1)

Country Link
CN (1) CN113408540B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113469191B (zh) * 2021-06-15 2022-09-09 长沙理工大学 基于多层特征融合注意力机制的sar图像叠掩区提取方法
CN114265062B (zh) * 2021-11-11 2023-11-10 电子科技大学 一种基于相位梯度估计网络的InSAR相位解缠方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110618409A (zh) * 2019-09-09 2019-12-27 长沙理工大学 顾及叠掩及阴影的多通道InSAR干涉图仿真方法及***
CN112083422A (zh) * 2020-08-26 2020-12-15 长沙理工大学 基于多级深度学习网络的单航过InSAR***端对端分类方法
CN112183432A (zh) * 2020-10-12 2021-01-05 中国科学院空天信息创新研究院 一种基于中分辨率sar图像的建筑区提取方法以及***
CN112766154A (zh) * 2021-01-19 2021-05-07 中国地质大学（武汉） 一种高分辨率sar图像建筑物叠掩提取方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110618409A (zh) * 2019-09-09 2019-12-27 长沙理工大学 顾及叠掩及阴影的多通道InSAR干涉图仿真方法及***
CN112083422A (zh) * 2020-08-26 2020-12-15 长沙理工大学 基于多级深度学习网络的单航过InSAR***端对端分类方法
CN112183432A (zh) * 2020-10-12 2021-01-05 中国科学院空天信息创新研究院 一种基于中分辨率sar图像的建筑区提取方法以及***
CN112766154A (zh) * 2021-01-19 2021-05-07 中国地质大学（武汉） 一种高分辨率sar图像建筑物叠掩提取方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Deep learning networks for selection of measurement pixels in multi-temporal SAR interferometric processing;AshutoshTiwari 等;《ISPRS Journal of Photogrammetry and Remote Sensing》;20200831;全文 *
Improved InSAR Layover and Shadow Detection using Multi-Feature;Siyuan Wang 等;《IGARSS 2020 - 2020 IEEE International Geoscience and Remote Sensing Symposium》;20210217;全文 *
OCNet: Object Context Network for Scene Parsing;Yuhui Yuan 等;《arXiv:1809.00916 [cs.CV]》;20180904;全文 *
卫星雷达遥感在滑坡灾害探测和监测中的应用:挑战与对策;李振洪等;《武汉大学学报(信息科学版)》;20190514(第07期);全文 *

Also Published As

Publication number Publication date
CN113408540A (zh) 2021-09-17

Similar Documents

Publication Publication Date Title
CN111080629B (zh) 一种图像拼接篡改的检测方法
CN109636742B (zh) 基于对抗生成网络的sar图像和可见光图像的模式转换方法
CN112083422B (zh) 基于多级深度学习网络的单航过InSAR***端对端分类方法
CN112396607A (zh) 一种可变形卷积融合增强的街景图像语义分割方法
CN113408540B (zh) 一种合成孔径雷达图像叠掩区提取方法及存储介质
Fang et al. SAR-optical image matching by integrating Siamese U-Net with FFT correlation
US10755146B2 (en) Network architecture for generating a labeled overhead image
CN113610070A (zh) 一种基于多源数据融合的滑坡灾害识别方法
CN114862844A (zh) 一种基于特征融合的红外小目标检测方法
CN113554032B (zh) 基于高度感知的多路并行网络的遥感图像分割方法
CN115937697A (zh) 一种遥感影像变化检测方法
Xu et al. Feature-based constraint deep CNN method for mapping rainfall-induced landslides in remote regions with mountainous terrain: An application to Brazil
CN116258976A (zh) 一种分层次Transformer的高分辨率遥感图像语义分割方法及***
CN115546640A (zh) 遥感影像的云检测方法、装置、电子设备及存储介质
CN117788296B (zh) 基于异构组合深度网络的红外遥感图像超分辨率重建方法
Li et al. Enhanced bird detection from low-resolution aerial image using deep neural networks
Hou et al. RFSDAF: A new spatiotemporal fusion method robust to registration errors
CN115456957B (zh) 一种全尺度特征聚合的遥感影像变化检测的方法
CN108154107B (zh) 一种确定遥感图像归属的场景类别的方法
Amirkolaee et al. Convolutional neural network architecture for digital surface model estimation from single remote sensing image
Du et al. IMG2HEIGHT: height estimation from single remote sensing image using a deep convolutional encoder-decoder network
CN114549992A (zh) 一种跨分辨率的建筑物影像提取方法及装置
CN113780305A (zh) 一种基于两种线索交互的显著性目标检测方法
CN115457120A (zh) 一种gps拒止条件下的绝对位置感知方法与***
Zhang et al. U-SeqNet: learning spatiotemporal mapping relationships for multimodal multitemporal cloud removal

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant