CN112419155B - 一种全极化合成孔径雷达影像超分辨率重建方法 - Google Patents

一种全极化合成孔径雷达影像超分辨率重建方法 Download PDF

Info

Publication number
CN112419155B
CN112419155B CN202011348480.2A CN202011348480A CN112419155B CN 112419155 B CN112419155 B CN 112419155B CN 202011348480 A CN202011348480 A CN 202011348480A CN 112419155 B CN112419155 B CN 112419155B
Authority
CN
China
Prior art keywords
resolution
training
image
aperture radar
attention
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011348480.2A
Other languages
English (en)
Other versions
CN112419155A (zh
Inventor
沈焕锋
林镠鹏
李�杰
袁强强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University WHU
Original Assignee
Wuhan University WHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University WHU filed Critical Wuhan University WHU
Priority to CN202011348480.2A priority Critical patent/CN112419155B/zh
Publication of CN112419155A publication Critical patent/CN112419155A/zh
Application granted granted Critical
Publication of CN112419155B publication Critical patent/CN112419155B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10044—Radar image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

本发明提出一种基于多尺度注意力机制的全极化孔径雷达影像超分辨率重建方法，构建了内嵌特征层上采样、空间注意力、通道注意力、多尺度注意力、自适应损失函数等模块的残差卷积神经网络，联合监督型与零投型训练机制，获得训练收敛的网络。通过训练好的网络，对待处理低分辨率合成孔径雷达影像进行超分辨率重建，得到高分辨率全极化合成孔径雷达影像，在保持影像极化信息的同时，对其空间信息进行有效重建。

Description

一种全极化合成孔径雷达影像超分辨率重建方法
技术领域
本发明设计遥感影像处理以及计算机视觉领域，具体设计基于多尺度注意力机制的全极化合成孔径雷达影像超分辨率重建方法。
背景技术
全极化合成孔径雷达能通过不同的极化方式获得单一场景中地物的多种散射信息，因而在舰船识别、地震灾后评估、土地利用分类等应用中发挥重要作用。然而，受合成孔径雷达***信号带宽、天线尺寸等多种因素的限制，在获得多极化信息的同时，不可避免地会降低影像的空间分辨率。因此，利用超分辨率重建技术对空间分辨率进行重建，是提升全极化合成孔径雷达空间信息的重要途径。
现有全极化合成孔径雷达影像超分辨率方法主要有三类。第一类是基于傅里叶变换移位特性的频率域方法。该类方法能处理线性降质模型，但难以较好地处理全极化合成孔径雷达复杂降质模型。第二类是基于影像先验信息的空间域的方法。该类方法仅使用了影像自身的先验信息，未对外部信息进行有效利用。第三类方法是基于深度学习的方法。该类方法依赖于外部数据库，能较好地拟合复杂降质过程，但目前该类方法所使用的网络结构相对简单，对于影像内部特征的利用相对较少。因此，开发一种能够拟合全极化合成孔径雷达复杂降质过程，并且能够在保持极化信息的同时高效重建其空间分辨率的技术是非常有必要的。
发明内容
为解决现有超分辨率重建算法存在的技术问题，本发明提供一种基于多尺度注意力机制的全极化合成孔径雷达影像超分辨率重建方法，以获得具有高空间分辨率的全极化合成孔径雷达影像。
本发明提供的技术方案是：一种基于多尺度注意力机制的全极化合成孔径雷达影像超分辨率重建方法，包括以下步骤：
步骤1，建立全极化合成孔径雷达影像的观测模型，该模型提供高空间分辨率全极化合成孔径雷达影像与低空间分辨率全极化合成孔径雷达影像之间的退化关系；
步骤2，影像预处理，利用预处理后的影像构建训练数据集；
步骤3，构建基于多尺度注意力机制的全极化合成孔径雷达影像超分辨率重建网络；
所述超分辨率重建网络是以低分辨率合成孔径雷达影像为输入，通过卷积进行升维度操作，再通过特征层上采样得到高分辨率特征层；随后，将得到的高分辨率特征层输入到多尺度注意力模块中，进行多个尺度的特征提取，并对提取到的特征层进行级联操作；其中，每个尺度注意力模块均包含空间注意力模块、通道注意力模块、注意力融合模块三个内嵌模块；最后，通过卷积，对多尺度注意力模块得到的特征层进行降维度操作，得到高分辨率合成孔径雷达影像；
步骤4，使用步骤2构建的训练数据集，对步骤3构建的超分辨率重建网络进行训练至收敛；
步骤5，利用步骤4训练收敛的超分辨率重建网络，对低分辨率合成孔径雷达影像进行超分辨率重建，获得高分辨率全极化合成孔径雷达影像。
进一步的，步骤1中的观测模型构建如下，
将高分辨率全极化合成孔径雷达影像表示为x，将降质的低分辨率全极化合成孔径雷达影像表示为y，则全极化合成孔径雷达影像的观测模型表示为：
y＝fds(x) (1)
其中fds(.)表示降采样函数。
进一步的，步骤2包括以下两个部分；
步骤2.1，对影像进行预处理，包括辐射校正、地形校正、多视处理，得到校正后的影像；根据步骤1建立的观测模型，对高分辨分辨率影像进行降采样处理，得到低分辨率影像。通过裁剪得到包含相同地物的高、低分辨率全极化合成孔径雷达影像对，构建数据集；
步骤2.2，对步骤2.1构建的数据集进行增强，包括旋转90°、旋转180°、旋转270°以及翻转处理，得到训练数据集。
进一步的，步骤3中的超分辨率重建网络具体包括；
步骤3.1，构建特征层上采样模块，该模块用于从特征层层面，对卷积得到的低分辨率特征层结果进行上采样操作，以获得高分辨率特征层，该模块定义为：
Fhr＝fus(Flr) (2)
其中，Fhr表示高分辨率特征层，Flr表示低分辨率特征层，fus(.)表示上采样函数；
步骤3.2：构建空间注意力模块，该模块用于对全极化合成孔径雷达特征层的空间权重进行重赋权，用于增强全极化合成孔径雷达影像的空间分辨率，该模块定义为：
Figure BDA0002800581920000021
其中，
Figure BDA0002800581920000022
表示经过空间注意力模块重赋权的特征层，
Figure BDA0002800581920000023
表示特征层的空间域，C,H,W分别表示特征层的通道数、高度与宽度，
Figure BDA0002800581920000031
表示空间注意力输入特征层，
Figure BDA0002800581920000032
表示空间注意力权重图，
Figure BDA0002800581920000033
表示元素乘操作；空间注意力权重图计算方法如下：
Figure BDA0002800581920000034
其中，Fspa表示输入特征层，σ(.)与δ(.)分别表示Sigmoid激活函数与ReLU激活函数，
Figure BDA0002800581920000035
表示卷积操作，
Figure BDA0002800581920000036
与
Figure BDA0002800581920000037
分别表示空间注意力模块的两个权重项与两个偏置项；
步骤3.3，构建通道注意力模块，该模块用于对全极化合成孔径雷达特征层的极化通道权重进行重赋权，用于保持各通道的极化信息，该模块定义为：
Figure BDA0002800581920000038
其中，
Figure BDA0002800581920000039
表示经过通道注意力模块重赋权的特征层，
Figure BDA00028005819200000310
表示通道注意力输入特征层，
Figure BDA00028005819200000311
表示通道注意力权重图，
Figure BDA00028005819200000312
表示元素乘操作；通道注意力权重图计算方法如下：
Figure BDA00028005819200000313
其中，Fcha表示输入特征层,Pavg(.)表示平均池化操作，
Figure BDA00028005819200000314
与
Figure BDA00028005819200000315
分别表示通道注意力的两个权重项与两个偏置项，其中，
Figure BDA00028005819200000316
步骤3.4，注意力融合模块，该模块用于对步骤3.2与步骤3.3中得到空间注意力重赋权结果以及通道注意力重赋权结果进行信息融合，该模块定义为：
Figure BDA00028005819200000317
其中，Ffus为融合结果，Concat(.)表示特征层级联操作，Wfus与bfus分别表示注意力融合模块的权重项与偏置项；
步骤3.5，构建多尺度注意力模块，该模块包括三个尺度，分别为原始尺度，原始尺度降尺度，原始尺度升尺度；原始尺度用于提取常规尺寸目标的特征，原始尺度降尺度用于提取小型目标的特征，原始尺度升尺度用于提取大型目标的特征；该模块内嵌了步骤3.2-3.4描述的注意力机制，其定义为：
Figure BDA00028005819200000318
其中，Fms表示多尺度注意力模块的特征层，Wms与bms分别表示多尺度注意力模块的权重项与偏置项；
原始尺度特征层计算方法如下：
Fs0＝Ffus(F) (9)
其中，Fs0表示原始尺度特征层，Ffus(.)表示内嵌的注意力融合模块，F表示输入的特征层，原始尺度降尺度特征层计算方法如下：
Fs1＝fds(Ffus(fus(F))) (10)
其中，Fs1表示原始尺度降尺度特征层，fds(.)表示降采样函数，fus(.)表示上采样函数，原始尺度升尺度特征层计算方法如下：
Fs2＝fus(Ffus(fds(F))) (11)
其中，Fs2表示原始尺度升尺度特征层；
步骤3.6，构建自适应损失函数，自适应损失函数由两部分组成，包括用于避免异常值导致的网络参数过拟合的L1损失函数、以及用于保持数值关系的L2损失函数，该自适应损失函数定义为以下形式：
Ltotal(Θ)＝αL1(Θ)+βL2(Θ) (12)
其中，Ltotal(Θ)表示自适应损失函数，L1(Θ)表示L1损失函数，L2(Θ)表示L2损失函数，Θ为神经网络参数，α和β为正则化参数，用于调整L1损失函数与L2损失函数的权重；具体地，L1损失函数定义为：
Figure BDA0002800581920000041
其中，N表示训练影像对
Figure BDA0002800581920000042
的数量，xi,yi分别表示第i对训练影像对的高分辨率全极化合成孔径雷达影像与低分辨率全极化合成孔径雷达影像，ρi表示特征层上采样结果与高分辨率合成孔径雷达影像的残差，ξ(.)表示超分辨率重建网络的输出；
L2损失函数定义为：
Figure BDA0002800581920000043
自适应正则化参数的计算方法为：
Figure BDA0002800581920000044
进一步的，步骤4中所采用的训练机制包括：监督型训练机制和零投型训练机制；通过使用监督型训练机制对超分辨率重建网络进行训练，得到收敛的预训练网络，随后，使用零投型训练机制对预训练网络进行进一步训练，得到收敛的重建网络；
步骤4.1，监督训练机制，该机制为使用外部数据库进行监督训练；即使用步骤2构建的训练数据集，通过外部数据集配对的低高分合成孔径雷达影像对，对超分辨率重建网络进行有监督的训练，得到收敛的预训练网络，通过该机制，充分利用外部数据集的外部信息；
步骤4.2，零投训练机制，该机制为使用数据内部信息进行训练，即利用低分合成孔径雷达影像自身进行预训练网络的训练；具体地，该训练机制使用公式(1)对待处理的低分辨率影像进行降质处理，得到降采样结果，在该训练机制中，降采样结果作为预训练网络的目标影像，待处理的低分辨率影像作为预训练网络的参考影像，构建低分影像的降采样结果与低分影像自身的配对关系，对预训练网络进行自身监督的训练，通过该机制，充分利用待处理影像自身的内部信息。
本发明的优点在于：
(1)通过端到端的残差卷积神经网络，可直接对待处理影像进行超分辨率重建，得到高分辨率全极化合成孔径雷达。
(2)通过在多尺度模块中内嵌空间注意力和通道注意力，以及设计L1与L2自适应损失函数，构建了一个能有效提取多尺度目标空间信息和极化信息的网络。
(3)通过两种训练机制，能有效利用外部数据库信息以及影像内部信息。
附图说明
图1是本发明实施例的超分辨率重建方法的流程图。
图2是本发明实施例的网络框架示意图。
具体实施方式
以下结合附图和实施例，详细说明本发明技术方案。
步骤1：建立全极化合成孔径雷达影像的观测模型，实施例将高分辨率全极化合成孔径雷达影像表示为x，将降质的低分辨率全极化合成孔径雷达影像表示为y，则全极化合成孔径雷达影像的观测模型可表示为：
y＝fds(x) (1)
其中fds(.)表示降采样函数。
步骤2：影像预处理。
步骤2.1：对影像进行辐射校正、地形校正、多视处理等预处理，得到校正后的影像。根据步骤1建立的观测模型，对高分辨率影像进行降采样处理，得到低分辨率影像。通过裁剪得到包含相同地物的高、低分辨率全极化合成孔径雷达影像对，其中，影像对与影像对之间的重叠区域为20％。
步骤2.2：对步骤2.1构建的数据集进行增强，包括旋转90°、旋转180°、旋转270°以及翻转处理，对数据集进行有效扩充。
步骤3：构建基于多尺度注意力机制的全极化合成孔径雷达影像超分辨率重建网络，该网络为端到端的残差卷积神经网络。如图2所示，所述残差卷积神经网络包括：以低分辨率合成孔径雷达影像为输入，通过1×1卷积进行升维度操作，再通过特征层上采样得到高分辨率特征层。随后，将得到的高分辨率特征层输入到多尺度注意力模块中，进行三个尺度的特征提取，并对提取到的特征层进行级联操作。其中，每个尺度注意力模块均包含空间注意力模块、通道注意力模块、注意力融合模块三个内嵌模块。最后，通过1×1卷积，对多尺度注意力模块得到的特征层进行降维度操作，得到高分辨率合成孔径雷达影像。该残差卷积神经网络中内嵌六个子模块，包括：特征层上采样模块、空间注意力模块、通道注意力模块、注意力融合模块、多尺度注意力模块、自适应损失函数。
步骤3.1：构建特征层上采样模块。该模块用于从特征层层面，对卷积得到的低分辨率特征层结果进行上采样操作，以获得与高分辨率特征层，该模块可定义为：
Fhr＝fus(Flr) (2)
其中，Fhr表示高分辨率特征层，Flr表示低分辨率特征层，fus(.)表示上采样函数。
步骤3.2：构建空间注意力模块。该模块用于对全极化合成孔径雷达特征层的空间权重进行重赋权，用于增强全极化合成孔径雷达影像的空间分辨率。该模块可以定义为：
Figure BDA0002800581920000061
其中，
Figure BDA0002800581920000062
表示经过空间注意力模块重赋权的特征层，
Figure BDA0002800581920000063
表示特征层的空间域，C,H,W分别表示特征层的通道数、高度与宽度，
Figure BDA0002800581920000064
表示空间注意力输入特征层，
Figure BDA0002800581920000065
表示空间注意力权重图，
Figure BDA0002800581920000066
表示元素乘操作。空间注意力权重图计算方法如下：
Figure BDA0002800581920000067
其中，Fspa表示输入特征层，σ(.)与δ(.)分别表示Sigmoid激活函数与ReLU激活函数，
Figure BDA0002800581920000068
表示卷积操作。
Figure BDA0002800581920000071
与
Figure BDA0002800581920000072
分别表示空间注意力模块的两个权重项与两个偏置项。
步骤3.3：构建通道注意力模块。该模块用于对全极化合成孔径雷达特征层的极化通道权重进行重赋权，用于保持各通道的极化信息。该模块可定义为：
Figure BDA0002800581920000073
其中，
Figure BDA0002800581920000074
表示经过通道注意力模块重赋权的特征层，
Figure BDA0002800581920000075
表示通道注意力输入特征层，
Figure BDA0002800581920000076
表示通道注意力权重图，
Figure BDA0002800581920000077
表示元素乘操作。通道注意力权重图计算方法如下：
Figure BDA0002800581920000078
其中，Fcha表示输入特征层,Pavg(.)表示平均池化操作，
Figure BDA0002800581920000079
与
Figure BDA00028005819200000710
分别表示通道注意力的两个权重项与两个偏置项，其中，
Figure BDA00028005819200000711
步骤3.4：注意力融合模块。该模块用于对步骤3.2与步骤3.3中得到空间注意力重赋权结果以及通道注意力重赋权结果进行信息融合。该模块可定义为：
Figure BDA00028005819200000712
其中，Ffus为融合结果，Concat(.)表示特征层级联操作，Wfus与bfus分别表示注意力融合模块的权重项与偏置项。
步骤3.5：构建多尺度注意力模块。该模块包括三个尺度，分别为原始尺度，原始尺度降尺度，原始尺度升尺度。原始尺度用于提取常规尺寸目标的特征，原始尺度降尺度用于提取小型目标的特征，原始尺度升尺度用于提取大型目标的特征。该模块内嵌了步骤3.2-3.4描述的注意力机制，其定义为：
Figure BDA00028005819200000713
其中，Fms表示多尺度注意力模块的特征层，Wms与bms分别表示多尺度注意力模块的权重项与偏置项。
原始尺度特征层计算方法如下：
Fs0＝Ffus(F) (9)
其中，Fs0表示原始尺度特征层，Ffus(.)表示内嵌的注意力融合模块，F表示输入的特征层。
原始尺度降尺度特征层计算方法如下：
Fs1＝fds(Ffus(fus(F))) (10)
其中，Fs1表示原始尺度降尺度特征层，fds(.)表示降采样函数，fus(.)表示上采样函数。
原始尺度升尺度特征层计算方法如下：
Fs2＝fus(Ffus(fds(F))) (11)
其中，Fs2表示原始尺度升尺度特征层。
步骤3.6：构建自适应损失函数。自适应损失函数由两部分组成，包括用于避免异常值导致的网络参数过拟合的L1损失函数、以及用于保持数值关系的L2损失函数，该自适应损失函数可定义为以下形式：
Ltotal(Θ)＝αL1(Θ)+βL2(Θ) (12)
其中，Ltotal(Θ)表示自适应损失函数，L1(Θ)表示L1损失函数，L2(Θ)表示L2损失函数，Θ为神经网络参数，α和β为正则化参数，用于调整L1损失函数与L2损失函数的权重。具体地，L1损失函数可定义为：
Figure BDA0002800581920000081
其中，N表示训练影像对
Figure BDA0002800581920000082
的数量，xi,yi分别表示第i对训练影像对的高分辨率全极化合成孔径雷达影像与低分辨率全极化合成孔径雷达影像，ρi表示特征层上采样结果与高分辨率合成孔径雷达影像的残差，ξ(.)表示超分辨率重建网络的输出。
L2损失函数可定义为：
Figure BDA0002800581920000083
自适应正则化参数的计算方法为：
Figure BDA0002800581920000084
步骤4：使用步骤2构建的训练数据集，对步骤3构建的超分辨率重建网络进行训练。本发明所采用的训练机制包括：监督型训练机制和零投型训练机制。通过使用监督型训练机制对超分辨率重建网络进行训练，得到收敛的预训练网络。随后，使用零投型训练机制对预训练网络进行进一步训练，得到收敛的超分辨率重建网络。
步骤4.1：监督型训练机制。该机制为使用外部数据库进行监督训练，其特征为使用步骤2构建好的训练数据集，通过外部数据集配对的低高分合成孔径雷达影像对，对超分辨率重建网络进行有监督的训练,得到收敛的预训练网络。通过该机制，充分利用外部数据集的外部信息。
步骤4.2：零投型训练机制。该机制为使用数据内部信息进行训练，其特征为利用低分合成孔径雷达影像自身进行预训练网络的训练。具体地，该训练机制使用公式(1)对待处理的低分辨率影像进行降质处理，得到降采样结果。在该训练机制中，降采样结果作为预训练网络的目标影像，待处理的低分辨率影像作为预训练网络的参考影像，构建低分影像的降采样结果与低分影像自身的配对关系，对预训练网络进行自身监督的训练。通过该机制，充分利用待处理影像自身的内部信息。
步骤5：待处理影像超分辨率重建。利用步骤4训练收敛的超分辨率卷积神经网络，对待处理的低分辨率合成孔径雷达影像进行超分辨率重建，获得高分辨率全极化合成孔径雷达影像。
本文中所描述的具体实施例仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (7)

1.一种全极化合成孔径雷达影像超分辨率重建方法，其特征在于，包括以下步骤：
步骤1，建立全极化合成孔径雷达影像的观测模型，该模型提供高空间分辨率全极化合成孔径雷达影像与低空间分辨率全极化合成孔径雷达影像之间的退化关系；
步骤2，影像预处理，利用预处理后的影像构建训练数据集；
步骤3，构建基于多尺度注意力机制的全极化合成孔径雷达影像超分辨率重建网络；
所述超分辨率重建网络是以低分辨率合成孔径雷达影像为输入，通过卷积进行升维度操作，再通过特征层上采样得到高分辨率特征层；随后，将得到的高分辨率特征层输入到多尺度注意力模块中，进行多个尺度的特征提取，并对提取到的特征层进行级联操作；其中，每个尺度注意力模块均包含空间注意力模块、通道注意力模块、注意力融合模块三个内嵌模块；最后，通过卷积，对多尺度注意力模块得到的特征层进行降维度操作，得到高分辨率合成孔径雷达影像；
步骤4，使用步骤2构建的训练数据集，对步骤3构建的超分辨率重建网络进行训练至收敛；
步骤5，利用步骤4训练收敛的超分辨率重建网络，对低分辨率合成孔径雷达影像进行超分辨率重建，获得高分辨率全极化合成孔径雷达影像。
2.如权利要求1所述的方法，其特征在于：步骤1中的观测模型构建如下，
将高分辨率全极化合成孔径雷达影像表示为x，将降质的低分辨率全极化合成孔径雷达影像表示为y，则全极化合成孔径雷达影像的观测模型表示为：
y＝fds(x) (1)
其中fds(.)表示降采样函数。
3.如权利要求1所述的方法，其特征在于：步骤2包括以下两个部分；
步骤2.1，对影像进行预处理，包括辐射校正、地形校正、多视处理，得到校正后的影像；根据步骤1建立的观测模型，对高分辨率影像进行降采样处理，得到低分辨率影像，通过裁剪得到包含相同地物的高、低分辨率全极化合成孔径雷达影像对，构建数据集；
步骤2.2，对步骤2.1构建的数据集进行数据增强，得到训练数据集。
4.如权利要求1所述的方法，其特征在于：步骤3中的超分辨率重建网络具体包括；
步骤3.1，构建特征层上采样模块，该模块用于从特征层层面，对卷积得到的低分辨率特征层结果进行上采样操作，以获得高分辨率特征层，该模块定义为：
Fhr＝fus(Flr) (2)
其中，Fhr表示高分辨率特征层，Flr表示低分辨率特征层，fus(.)表示上采样函数；
步骤3.2：构建空间注意力模块，该模块用于对全极化合成孔径雷达特征层的空间权重进行重赋权，用于增强全极化合成孔径雷达影像的空间分辨率；该模块定义为：
Figure FDA0002800581910000021
其中，
Figure FDA0002800581910000022
表示经过空间注意力模块重赋权的特征层，
Figure FDA0002800581910000023
表示特征层的空间域，C,H,W分别表示特征层的通道数、高度与宽度，
Figure FDA0002800581910000024
表示空间注意力输入特征层，
Figure FDA0002800581910000025
表示空间注意力权重图，
Figure FDA0002800581910000026
表示元素乘操作；空间注意力权重图计算方法如下：
Figure FDA0002800581910000027
其中，Fspa表示输入特征层，σ(.)与δ(.)分别表示Sigmoid激活函数与ReLU激活函数，
Figure FDA0002800581910000028
表示卷积操作，
Figure FDA0002800581910000029
与
Figure FDA00028005819100000210
分别表示空间注意力模块的两个权重项与两个偏置项；
步骤3.3，构建通道注意力模块，该模块用于对全极化合成孔径雷达特征层的极化通道权重进行重赋权，用于保持各通道的极化信息；该模块定义为：
Figure FDA00028005819100000211
其中，
Figure FDA00028005819100000212
表示经过通道注意力模块重赋权的特征层，
Figure FDA00028005819100000213
表示通道注意力输入特征层，
Figure FDA00028005819100000214
表示通道注意力权重图，
Figure FDA00028005819100000215
表示元素乘操作；通道注意力权重图计算方法如下：
Figure FDA00028005819100000216
其中，Fcha表示输入特征层,Pavg(.)表示平均池化操作，
Figure FDA00028005819100000217
与
Figure FDA00028005819100000218
分别表示通道注意力的两个权重项与两个偏置项，其中，
Figure FDA00028005819100000219
步骤3.4，注意力融合模块，该模块用于对步骤3.2与步骤3.3中得到空间注意力重赋权结果以及通道注意力重赋权结果进行信息融合，该模块定义为：
Figure FDA00028005819100000220
其中，Ffus为融合结果，Concat(.)表示特征层级联操作，Wfus与bfus分别表示注意力融合模块的权重项与偏置项；
步骤3.5，构建多尺度注意力模块，该模块包括三个尺度，分别为原始尺度，原始尺度降尺度，原始尺度升尺度；原始尺度用于提取常规尺寸目标的特征，原始尺度降尺度用于提取小型目标的特征，原始尺度升尺度用于提取大型目标的特征；该模块内嵌了步骤3.2-3.4描述的注意力机制，其定义为：
Figure FDA0002800581910000031
其中，Fms表示多尺度注意力模块的特征层，Wms与bms分别表示多尺度注意力模块的权重项与偏置项；
原始尺度特征层计算方法如下：
Fs0＝Ffus(F) (9)
其中，Fs0表示原始尺度特征层，Ffus(.)表示内嵌的注意力融合模块，F表示输入的特征层，原始尺度降尺度特征层计算方法如下：
Fs1＝fds(Ffus(fus(F))) (10)
其中，Fs1表示原始尺度降尺度特征层，fds(.)表示降采样函数，fus(.)表示上采样函数，原始尺度升尺度特征层计算方法如下：
Fs2＝fus(Ffus(fds(F))) (11)
其中，Fs2表示原始尺度升尺度特征层；
步骤3.6，构建自适应损失函数，自适应损失函数由两部分组成，包括用于避免异常值导致的网络参数过拟合的L1损失函数、以及用于保持数值关系的L2损失函数，该自适应损失函数定义为以下形式：
Ltotal(Θ)＝αL1(Θ)+βL2(Θ) (12)
其中，Ltotal(Θ)表示自适应损失函数，L1(Θ)表示L1损失函数，L2(Θ)表示L2损失函数，Θ为神经网络参数，α和β为正则化参数，用于调整L1损失函数与L2损失函数的权重；具体地，L1损失函数定义为：
Figure FDA0002800581910000032
其中，N表示训练影像对
Figure FDA0002800581910000033
的数量，xi,yi分别表示第i对训练影像对的高分辨率全极化合成孔径雷达影像与低分辨率全极化合成孔径雷达影像，ρi表示特征层上采样结果与高分辨率合成孔径雷达影像的残差，ξ(.)表示超分辨率重建网络的输出；
L2损失函数定义为：
Figure FDA0002800581910000041
自适应正则化参数的计算方法为：
Figure FDA0002800581910000042
5.如权利要求2所述的方法，其特征在于：步骤4中所采用的训练机制包括：监督型训练机制和零投型训练机制；通过使用监督型训练机制对超分辨率重建网络进行训练，得到收敛的预训练网络，随后，使用零投型训练机制对预训练网络进行进一步训练，得到收敛的重建网络；
步骤4.1，监督训练机制，该机制为使用外部数据库进行监督训练；即使用步骤2构建的训练数据集，通过外部数据集配对的低高分合成孔径雷达影像对，对超分辨率重建网络进行有监督的训练，得到收敛的预训练网络，通过该机制，充分利用外部数据集的外部信息；
步骤4.2，零投训练机制，该机制为使用数据内部信息进行训练，即利用低分合成孔径雷达影像自身进行预训练网络的训练；具体地，该训练机制使用公式(1)对待处理的低分辨率影像进行降质处理，得到降采样结果，在该训练机制中，降采样结果作为预训练网络的目标影像，待处理的低分辨率影像作为预训练网络的参考影像，构建低分影像的降采样结果与低分影像自身的配对关系，对预训练网络进行自身监督的训练，通过该机制，充分利用待处理影像自身的内部信息。
6.如权利要求2所述的方法，其特征在于：步骤2.1中影像对与影像对之间的重叠区域为20％。
7.如权利要求2所述的方法，其特征在于：步骤2.2中的数据增强包括旋转90°、旋转180°、旋转270°以及翻转处理。
CN202011348480.2A 2020-11-26 2020-11-26 一种全极化合成孔径雷达影像超分辨率重建方法 Active CN112419155B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011348480.2A CN112419155B (zh) 2020-11-26 2020-11-26 一种全极化合成孔径雷达影像超分辨率重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011348480.2A CN112419155B (zh) 2020-11-26 2020-11-26 一种全极化合成孔径雷达影像超分辨率重建方法

Publications (2)

Publication Number Publication Date
CN112419155A CN112419155A (zh) 2021-02-26
CN112419155B true CN112419155B (zh) 2022-04-15

Family

ID=74842530

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011348480.2A Active CN112419155B (zh) 2020-11-26 2020-11-26 一种全极化合成孔径雷达影像超分辨率重建方法

Country Status (1)

Country Link
CN (1) CN112419155B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112801928B (zh) * 2021-03-16 2022-11-29 昆明理工大学 一种基于注意力机制的毫米波雷达与视觉传感器融合方法
CN113052848B (zh) * 2021-04-15 2023-02-17 山东大学 一种基于多尺度注意力网络的小鸡图像分割方法及***
CN113658047A (zh) * 2021-08-18 2021-11-16 北京石油化工学院 一种结晶图像超分辨率重建方法
CN113793267B (zh) * 2021-09-18 2023-08-25 中国石油大学(华东) 基于跨维度注意力机制的自监督单遥感图像超分辨率方法
CN114254715B (zh) * 2022-03-02 2022-06-03 自然资源部第一海洋研究所 一种gf-1 wfv卫星影像超分辨率方法、***及应用
CN114972041B (zh) * 2022-07-28 2022-10-21 中国人民解放军国防科技大学 基于残差网络的极化雷达图像超分辨率重建方法和装置
CN116128727B (zh) * 2023-02-02 2023-06-20 中国人民解放军国防科技大学 极化雷达图像超分辨方法、***、设备及介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109584161A (zh) * 2018-11-29 2019-04-05 四川大学 基于通道注意力的卷积神经网络的遥感图像超分辨率重建方法
CN109903228A (zh) * 2019-02-28 2019-06-18 合肥工业大学 一种基于卷积神经网络的图像超分辨率重建方法
CN110992270A (zh) * 2019-12-19 2020-04-10 西南石油大学 基于注意力的多尺度残差注意网络图像超分辨率重建方法
AU2020100200A4 (en) * 2020-02-08 2020-06-11 Huang, Shuying DR Content-guide Residual Network for Image Super-Resolution

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109584161A (zh) * 2018-11-29 2019-04-05 四川大学 基于通道注意力的卷积神经网络的遥感图像超分辨率重建方法
CN109903228A (zh) * 2019-02-28 2019-06-18 合肥工业大学 一种基于卷积神经网络的图像超分辨率重建方法
CN110992270A (zh) * 2019-12-19 2020-04-10 西南石油大学 基于注意力的多尺度残差注意网络图像超分辨率重建方法
AU2020100200A4 (en) * 2020-02-08 2020-06-11 Huang, Shuying DR Content-guide Residual Network for Image Super-Resolution

Also Published As

Publication number Publication date
CN112419155A (zh) 2021-02-26

Similar Documents

Publication Publication Date Title
CN112419155B (zh) 一种全极化合成孔径雷达影像超分辨率重建方法
Song et al. Spatiotemporal satellite image fusion using deep convolutional neural networks
Zou et al. Ship detection in spaceborne optical image with SVD networks
CN112507997B (zh) 一种基于多尺度卷积和感受野特征融合的人脸超分辨***
WO2020056791A1 (zh) 一种多尺度空洞卷积神经网络超分辨率重构方法及装置
CN109102469B (zh) 一种基于卷积神经网络的遥感图像全色锐化方法
CN109727207B (zh) 基于光谱预测残差卷积神经网络的高光谱图像锐化方法
CN112287978A (zh) 一种基于自注意力上下文网络的高光谱遥感图像分类方法
CN107358260B (zh) 一种基于表面波cnn的多光谱图像分类方法
CN108734171A (zh) 一种深度协同稀疏编码网络的合成孔径雷达遥感图像海洋浮筏识别方法
CN114283120B (zh) 一种基于领域自适应的端到端多源异质遥感影像变化检测方法
CN111161271A (zh) 一种超声图像分割方法
CN113793289A (zh) 基于cnn和nsct的多光谱图像和全色图像模糊融合方法
CN113239736A (zh) 一种基于多源遥感数据的土地覆盖分类标注图获取方法、存储介质及***
CN117788296B (zh) 基于异构组合深度网络的红外遥感图像超分辨率重建方法
CN115331109A (zh) 基于旋转等变卷积通道注意力增强和多尺度特征融合的遥感图像目标检测方法
CN115457509A (zh) 基于改进时空图卷积的交通标志图像分割算法
CN116563682A (zh) 一种基于深度霍夫网络的注意力方案和条带卷积语义线检测的方法
CN112446256A (zh) 一种基于深度isa数据融合的植被类型识别方法
CN114092803A (zh) 基于遥感图像的云检测方法、装置、电子设备及介质
CN114724023A (zh) 一种基于孪生网络的水体变化检测方法
Lv et al. Novel Distribution Distance based on Inconsistent Adaptive Region for Change Detection Using Hyperspectral Remote Sensing Images
Jiang et al. Semantic segmentation network combined with edge detection for building extraction in remote sensing images
CN116758388A (zh) 基于多尺度模型和残差的遥感图像时空融合方法及装置
CN113610125B (zh) 一种基于编码器-解码器图神经网络的高光谱分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant