CN118038086B - 一种基于多尺度和深度监督耦合增益的sar转光学图像方法 - Google Patents
一种基于多尺度和深度监督耦合增益的sar转光学图像方法 Download PDFInfo
- Publication number
- CN118038086B CN118038086B CN202410430415.6A CN202410430415A CN118038086B CN 118038086 B CN118038086 B CN 118038086B CN 202410430415 A CN202410430415 A CN 202410430415A CN 118038086 B CN118038086 B CN 118038086B
- Authority
- CN
- China
- Prior art keywords
- image
- sar
- scale
- module
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 29
- 230000008878 coupling Effects 0.000 title claims abstract description 23
- 238000010168 coupling process Methods 0.000 title claims abstract description 23
- 238000005859 coupling reaction Methods 0.000 title claims abstract description 23
- 230000003287 optical effect Effects 0.000 claims abstract description 58
- 238000012549 training Methods 0.000 claims abstract description 25
- 238000013519 translation Methods 0.000 claims abstract description 21
- 238000000354 decomposition reaction Methods 0.000 claims description 48
- 230000006870 function Effects 0.000 claims description 30
- 238000004364 calculation method Methods 0.000 claims description 25
- 238000001914 filtration Methods 0.000 claims description 22
- 230000004913 activation Effects 0.000 claims description 18
- 230000002776 aggregation Effects 0.000 claims description 18
- 238000004220 aggregation Methods 0.000 claims description 18
- 238000012937 correction Methods 0.000 claims description 17
- 238000000605 extraction Methods 0.000 claims description 16
- 238000013507 mapping Methods 0.000 claims description 14
- 230000004931 aggregating effect Effects 0.000 claims description 12
- 230000004044 response Effects 0.000 claims description 12
- 230000011218 segmentation Effects 0.000 claims description 12
- 230000007246 mechanism Effects 0.000 claims description 11
- 230000014509 gene expression Effects 0.000 claims description 10
- 238000012795 verification Methods 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 9
- 238000005070 sampling Methods 0.000 claims description 8
- 230000004927 fusion Effects 0.000 claims description 7
- 238000002156 mixing Methods 0.000 claims description 7
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 230000005540 biological transmission Effects 0.000 claims description 5
- 238000007670 refining Methods 0.000 claims description 5
- 230000000694 effects Effects 0.000 claims description 4
- 239000011159 matrix material Substances 0.000 claims description 4
- 230000003044 adaptive effect Effects 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims description 3
- 230000002452 interceptive effect Effects 0.000 claims description 3
- 238000012544 monitoring process Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 230000001932 seasonal effect Effects 0.000 claims description 3
- 238000003702 image correction Methods 0.000 claims description 2
- 230000003993 interaction Effects 0.000 claims description 2
- 239000013598 vector Substances 0.000 claims description 2
- 230000002708 enhancing effect Effects 0.000 claims 1
- 230000002195 synergetic effect Effects 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 9
- 238000010606 normalization Methods 0.000 description 8
- 238000003384 imaging method Methods 0.000 description 6
- 239000000284 extract Substances 0.000 description 4
- 238000011160 research Methods 0.000 description 3
- 238000009825 accumulation Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000012512 characterization method Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明涉及一种基于多尺度和深度监督耦合增益的SAR转光学图像方法，所述方法包括以下步骤：获取成对光学遥感影像和SAR影像数据集；构建基于多尺度和深度监督耦合增益的SAR转光学图像模型；基于多尺度和深度监督耦合增益的SAR转光学图像模型训练；获取待翻译SAR影像数据；获取SAR影像翻译成光学影像结果。与现有技术相比，通过构建多层次的SAR转光学图像模型，充分利用不同尺度下SAR的图像特征的一致性与互补性，保证每一层的图像翻译都是有方向的；同时本发明对每种尺度下的翻译结果进行深度监督，对聚合的多尺度特征进行有效过滤；在二者的协同作用下，最终实现局部纹理保持和全局色调一致的SAR转光学图像。
Description
技术领域
本发明涉及遥感影像处理技术领域，具体来说是一种基于多尺度和深度监督耦合增益的SAR转光学图像方法。
背景技术
合成孔径雷达SAR（Synthetic Aperture Radar，SAR）采用主动成像的方法，发射微波并接收地面物体的反射信号，可以在不受大气或天气条件的影响下，实现全天时、全天候监测，是实现对地观测任务的一种重要手段。但是，与光学影像相比，由于其复杂的电磁散射和成像机理，无法直观解读，即使是专业人员也无法精确识别目标信息。为了使得SAR影像更易于理解，增强影像的可读性和视觉效果，提高SAR数据的利用率，研究SAR影像到光学影像的翻译技术十分必要。
多源遥感影像的翻译技术，是以图像表达为目的，在图像理解的基础上，将不同传感器成像的内容转换成易于理解或常用的表现形式，可以实现多源遥感信息的传递和共享，更有效地发挥遥感数据的价值。将SAR影像翻译成光学影像能够辅助对SAR影像的解译，但是，由于SAR的成像机理与光学影像差异较大，而且SAR成像易受斑点噪声干扰，难以通过简单方法在两者间建立映射关系，实现高质量图像翻译。
对于光学影像和SAR影像协同解译的研究主要聚焦于图像融合，从翻译角度进行研究和相关应用往往受限于传统图像处理方法的特征表征能力，得益于深度学习强大的非线性建模能力，充分挖掘SAR和光学遥感影像的互补特征，有效建立二者映射关系成为可能。本发明设计模型辅助下的深度学习模型，运用拉普拉斯金字塔分解将不同尺度下图像具有不同的细节表征能力这一先验知识整合到深度学习框架中，通过卷积操作提取特征建立映射关系，并采用深度监督注意力机制对聚合的多尺度信息进行特征过滤，阻止错误累积和有效信息的传递，最终实现局部纹理保持和全局色调一致的SAR－光学图像翻译输出。
发明内容
本发明的目的是为现有SAR转光学图像方法对不同空间尺度下SAR影像的特征提取不充分、难以与对应的光学影像建立有效映射，提供一种基于多尺度和深度监督耦合增益的SAR转光学图像方法来解决上述问题。
为了实现上述目的，本发明的技术方案如下：
一种基于多尺度和深度监督耦合增益的SAR转光学图像方法包括以下步骤：
11）获取成对光学遥感影像和合成孔径雷达SAR（Synthetic Aperture Radar，SAR）影像数据集：基于在季节尺度上具有全球数据的大规模遥感数据集SEN12MS-CR构建数据集用于模型训练及验证，按不同地物覆盖类型数据的分布情况从原数据集中进行随机采样；
SEN12MS-CR数据集包含经过校正和地理配准后成对的哨兵1号SAR 影像、哨兵2号无云光学影像和哨兵2号有云光学影像，所有数据的空间分辨率均为256×256,对于SAR转光学图像任务而言，仅需从上述数据集中获取成对的哨兵1号SAR影像和哨兵2号无云光学影像；获取哨兵2号无云光学影像的可见光和近红外（NIR）、红色（Red）、绿色（Green）和蓝色（Blue）波段，对应13个波段中的B8、B4、B3和B2波段，组成SAR转光学图像的4波段参考光学影像；获取哨兵1号SAR影像的VV和VH偏振图像，采用灰度共生矩阵对其进行纹理复杂度分析，统计影像下垫面类型，按不同纹理复杂度进行随机采样，进行随机采样，最终获得包含农田、山脉、植被、居民区、荒漠和高原在内的6类图像共10000个成对的光学影像和SAR影像数据子集，将子集按8:2划分为训练集和验证集；
12）构建基于多尺度和深度监督耦合增益的SAR转光学图像模型：该模型由多尺度层次分解模块、多尺度权重校正模块、多尺度图像重建模块和多尺度深度监督模块组成，四个模块逐层耦合，保证每一层的图像翻译都是有方向的；
13）基于多尺度和深度监督耦合增益的SAR转光学图像模型训练：将获取的SAR影像数据作为输入，以与之配对的光学遥感影像作为参考对模型进行监督训练，迭代训练多次，保存最佳模型参数用于SAR转光学图像结果验证；
14）待翻译SAR影像数据的获得及处理；
15）获取SAR影像翻译成光学影像结果。
所述构建基于多尺度和深度监督耦合增益的SAR转光学图像模型：
21）基于拉普拉斯金字塔构建用于获取不同空间尺度图像的多尺度层次分解模块；
211）首先将输入的SAR影像分解成它的拉普拉斯金字塔，每级分解所得的特征图作为各级分支的输入，拉普拉斯分解公式如下：
，
其中，表示输入的SAR影像，表示分解的不同层级，表示第级高斯金字塔
分解获得的特征图，表示第级高斯金字塔分解获得的特征图，upsample表示上采
样操作，表示第级拉普拉斯金字塔图像；
212）在模型构建中选择对输入SAR影像进行4级拉普拉斯金字塔分解，即，获得的分别作为后续模型结构层次一、层次二、层次三和层次四
四个分支的输入；
22）构建用于聚合不同空间尺度下图像特征对多尺度重建结果进行自适应加权的多尺度权重校正模块，该模块由切分、拼接、权重卷积和空间复原四个子模块组成；
221）构建用于将不同空间分辨率分支的图像特征聚合到同一维度的切分子模块，该模块获取SAR不同空间尺度下的拉普拉斯金字塔特征图像集作为输入，通过切分将不同尺度的原始输入均展开为空间维度为8×8大小的图像块并将来自不同分支的图像块均在通道维进行拼接；
222）构建用于自适应计算不同空间尺度的特征图像校正权重的权重卷积子模块，该子模块由三个分支组成，第一个分支由一个卷积核大小为1×1的卷积层和一个S形非线性激活函数层组成，第二个分支由一个逐像素相乘操作和一个卷积核大小为1×1的卷积层组成，第三个分支由一个逐像素相加操作组成，逐分支依次聚合多尺度信息；
223）对通过自适应计算权重后的空间维度为8×8大小的权重响应图通过空间变形复原子模块恢复成原始空间尺度，重新获得四个不同尺度权重响应图；
23）构建用于建立不同空间尺度下SAR图像特征与对应光学影像之间映射关系的多尺度图像重建模块，该模块由特征提取子模块和细化重建子模块组成；
231）构建用于提取不同尺度下SAR图像特征的特征提取子模块，在前期通过拉普拉斯金字塔分解获得的具有方向限制的不同尺度的图像特征的前提下，通过卷积操作进一步加强SAR图像特征的表达能力；
每个分支均采用相同结构的特征提取子模块，该子模块分为两个阶段，第一阶段由一个层归一化层、卷积核大小为1×1和3×3的卷积层、一个Relu激活层和一个卷积核大小为1×1的卷积层堆叠而成，最后接一个逐像素求和操作；由一个层归一化层、两个卷积核大小为1×1的卷积层，卷积层中间嵌入一个Relu激活层组成第二阶段，同样，第二阶段结束也进行逐像素求和操作；
232）构建用于细化重建的翻译图像的全局色调和局部纹理的细化重建子模块，该模块接收来自两种尺度下的特征图，通过三个分支不同卷积核大小的卷积操作的对不同尺度下的特征信息进行聚合，同时采用两次分支交互融合模块加强不同分支间的特征聚合；
24）构建用于对多尺度信息聚合操作进行有效特征过滤的多尺度深度监督模块，该模块在对不同空间尺度的SAR转光学图像进行深度监督，即目标函数计算损失进行梯度回传，同时对监督过程中生成的特征图通过注意力机制计算其响应图，利用该响应图对传递过程中各层间多尺度信息的聚合进行权重校正。
所述训练基于多尺度和深度监督耦合增益的SAR转光学图像模型包括以下步骤：
31）将用于模型训练的子数据集中的哨兵1号SAR影像输入多尺度层次分解模块，进行四层拉普拉斯金字塔图像分解，获取256×256, 128×128, 64×64和32×32四种空间分辨率下的不同图像细节表现的SAR特征图，分别作为后续模型结构层次一、层次二、层次三和层次四四个分支的输入；
32）将分解获得的不同尺度的SAR特征图作为多尺度权重校正模块的输入，聚合多尺度特征信息，进行自适应加权的权重计算，计算所得权重将作为后续对重建阶段提取到SAR影像特征的进行信息过滤的依据；
321）对来自不同层级的拉普拉斯分解特征图进行切分，所有特征图均展开至空间分辨率为8×8大小的图像块集合；
以空间分辨率为32×32的特征图的切分展开操作为例，在空间维度上，该特征图将被按8×8大小的窗口进行无重叠切分，共获得16个8×8大小的图像块集合，切分获得的图像块在通道维进行拼接，该操作可视为在图像信息无任何损失的前提下进行下采样操作，将在通道维上对减少的空间维度进行补偿；每种空间尺度的特征图均采取相同操作，即64×64切分成64个8×8大小的图像块集合，128×128切分成256个8×8大小的图像块集合，256×256切分成1024个8×8大小的图像块集合；
322）将所有尺度下获取的切分后的图像块进行通道维拼接，即可获得来自不同维度的特征信息的图像块集合，该集合将作为自适应权重计算的输入；
323）对聚合所有层级的特征信息的图像块进行自适应权重计算，该计算过程由三个分支组成，逐层聚合注意力权重；
3231）分支一以所有尺度特征拼接而成的8×8大小的图像块集合为输入，该输入执行一次卷积核大小为1×1的卷积操作和S形非线性激活函数非线性激活操作后获得输出；
3232）分支二以所有尺度特征拼接而成的8×8大小的图像块集合为输入和分支一的输出作为输入，两个输入进行逐像素相乘，即分支一的输出对原始输入的图像块集合进行加权相乘操作后获得的结果由卷积操作得到输出；
3233）分支三以所有尺度特征拼接而成的8×8大小的图像块集合为输入和分支二的输出作为输入，两个输入进行逐像素相加即可获得计算所得的自适应权重；
324）将基于空间分辨率大小为8×8计算所得的权重图恢复原始空间分辨率，即按照步骤321）操作的逆操作将通道维的图像块重新补偿到空间维，获得256×256,128×128,64×64和32×32四种空间分辨率下注意力权重，作为重建阶段提取的各尺度SAR影像特征进行信息过滤的依据；
33）将分解获得的不同尺度的SAR特征图作为多尺度图像重建模块的输入，在不同尺度下构建SAR图像特征与对应光学影像之间的映射关系；
331）经拉普拉斯金字塔分解后获得层次四的输入为空间分辨率大小为32×32的SAR特征图，该输入首先经过特征提取子模块两阶段操作，第一阶段执行一次层归一化层操作，两次卷积核大小分别为1×1和3×3的卷积操作，一次Relu激活操作后再经一次1×1卷积操作获得第一阶段输出；
第一阶段输出与原输入进行逐像素求和后的结果作为第二阶段输入，该输入执行一次层归一化层操作，两次1×1卷积操作，第一次卷积操作后进行一次Relu激活操作，获得第二阶段输出，该输出与第二阶段输入进行逐像素求和后即获得提取到的特征图；
332）特征提取子模块获得的特征图经由步骤32）获得的32×32大小的注意力权重进行加权操作进行信息过滤后，作为细化重建的翻译图像的全局色调和局部纹理的细化重建子模块的输入；
333）将进行信息过滤的32×32大小的特征图输入该层级的细化重建子模块，由于分解层级仅为四级，层次四的细化重建子模块仅有一个输入，其余三层输入均由当前层次特征图和由深度监督注意力模块进行权重过滤后的低层次特征图经上采样后的结果逐像素求和作为输入，该输入将经过三个分支分别提取不同尺度感受野的图像特征，并通过通道混合操作对不同尺度感受野提取到的特征进行交互融合；
三个分支分别采用卷积核大小为7×7、5×5、3×3的卷积操作，分别提取不同卷积感受野下的图像特征，通过通道混合操作聚合来自三个分支的特征图，在聚合过程中执行两次1×1卷积操作和3×3卷积操作；
将充分混合的特征图重新切分为三份再次经由三个卷积核大小为7×7、5×5、3×3的卷积操作和Relu激活操作提取尺度差异特征，最终将三个分支的特征图进行逐像素求和实现二次聚合，作为当前尺度层次下的细化重建子模块的输出；
334）其余层次三、层次二、层次一依次执行步骤331）到步骤333）操作，最终获得与原输入SAR影像相同分辨率的图像翻译输出结果；
34）将采用深度监督机制对经过多尺度重建模块的输出依次进行逐像素损失约束，同时以此特征图计算注意力权重对聚集的多尺度特征进行信息过滤；
341） 使用L1损失函数作为各个尺度深度监督的损失函数；
L1损失函数表达式如下：
，
其中， 表示参考的光学影像经过第级高斯金字塔分解获得的特征图，表
示输入的SAR影像经过第级拉普拉斯金字塔分解获得的特征图，表示第层SAR图
像翻译的结果；
342）损失计算的结果作为权重对聚合到下一层细化重建子模块的当前层重建特征图进行加权，该加权操作在层次四、层次三和层次二重建分支深度监督损失计算后执行；
343）使用L1损失函数进行多个层次损失监督和SSIM损失函数对层次
一重建分支获得的最终SAR转光学图像结果进行约束；最终用于监督网络训练的损失函数
计算公式如下：
，
其中，表示用于监督网络训练的整体损失，表示分支层次，用共有四个分支
的重建结果用于计算最终损失，即，的取值为，表示每一分支重建损失
的权重值，表示分支重建结果的L1损失函数值，由步骤341）计算公式计算所得；为SSIM损失函数，该函数计算表达式为： ，
其中，表示SAR翻译成的光学影像，是对应的光学影像，和分别表示均
值， 和表示标准差，表示协方差，、是用来维持稳定的常
数，是像素值的动态范围， ，；
344）通过各个层次的深度监督计算获得的损失值反向传播确定梯度向量，更新模型参数；
35）保存验证集SAR转光学图像效果最佳模型参数。
有益效果
本发明涉及一种基于多尺度和深度监督耦合增益的SAR转光学图像方法，针对现有SAR转光学图像方法对不同空间尺度下SAR影像的特征提取不充分、难以与对应的光学影像建立有效映射的问题，本发明提出多尺度层次分解模块，利用拉普拉斯金字塔和多尺度权重校正模块充分提取不同尺度下图像细节特征表现的差异，增强SAR与对应光学影像建立映射关系的方向性引导。同时，为减少基于SAR影像重建光学影像难以保持局部纹理和保证全局色调一致的现象，本发明提出多尺度图像重建模块和多尺度深度监督模块，利用多尺度重建的特征提取和重建细化子模块加强映射关系的两种影像数据间映射关系的建立，以及基于深度监督和多尺度聚合特征过滤，避免重建错误累积，提高最终生成的由SAR翻译成光学影像的图像质量。
附图说明
图1为本发明的方法顺序图；
图2为本发明所涉及的SAR转光学图像模型模型整体结构图；
图3为本发明所涉及的多尺度权重校正模块结构图；
图4为本发明所涉及的多尺度图像重建模块结构图；
图5为SAR转光学图像结果图。
具体实施方式
为使对本发明的结构特征及所达成的功效有更进一步的了解与认识，用以较佳的实施例及附图配合详细的说明，说明如下：
如图1所示，本发明所述的一种基于多尺度和深度监督耦合增益的SAR转光学图像方法，包括以下步骤：
第一步，获取成对光学遥感影像和合成孔径雷达SAR（Synthetic ApertureRadar，SAR）影像数据集：基于在季节尺度上具有全球数据的大规模遥感数据集SEN12MS-CR，考虑不同地物覆盖类型数据的分布情况，构建数据集，具体步骤如下：
（1）基于SEN12MS-CR数据集，获取经过校正和地理配准后成对的哨兵1号SAR影像和哨兵2号无云光学影像；下面以国产SAR卫星为例对数据预处理中的校正和地理配准方法进行说明：首先选取符合条件的对称几何立体SAR影像进行距离多普勒几何定位模型构建，同名点匹配后进行平差获取同名点三维坐标，然后以平差获取的平面坐标去相应区域的1：2000DEM以及SRTM30m DEM提取高程更新高程坐标，形成参考数据。利用对称几何构型约束和DEM生成的参考数据和高精度三维控制数据，对SAR影像进行标定定标对比，结果表明利用严格对称几何构型的SAR立体影像以及高精度1：2000 DEM提取出参考点的标定精度与利用高精度三维控制点的标定结果相比，斜距定标参数平均差异0.3m，方位向定标参数平均差异0.03m；利用严格对称几何构型的SAR立体影像以及SRTM30m DEM平坦区域提取出参考点的标定结果相比，斜距定标参数相差2.1m，方位向定标参数相差0.2m。由此说明在符合特殊几何构型的影像对条件下，对称几何构型约束下的无地面控制定标方法与基于控制的定标方法精度相当，由于一些不理想因素，比如未能严格对称，几何定标精度略低于传统基于控制的定标方法，但可以支撑快速、常态化定标，有效的提升精度。
（2）基于哨兵2号无云光学影像的可见光和近红外（NIR）、红色（Red）、绿色（Green）和蓝色（Blue）波段，对应13个波段中的B8、B4、B3和B2波段，组成SAR转光学图像的4波段参考光学影像；
（3）基于哨兵1号SAR影像，获取VV和VH偏振图像，利用灰度共生矩阵，对其进行纹理复杂度分析，统计影像下垫面类型；
（4）基于哨兵1号SAR影像数据集和灰度共生矩阵，按不同纹理复杂度进行随机采样，最终获得包含农田、山脉、植被、居民区、荒漠和高原在内的6类图像共10000个成对的光学影像和SAR影像数据子集，其中8000对作为训练集，2000对作为验证集。
第二步，构建基于多尺度和深度监督耦合增益的SAR转光学图像模型，如图2所示，该模型由基于拉普拉斯金字塔构建的用于获取不同空间尺度图像的多尺度层次分解模块、聚合不同空间尺度下图像特征对多尺度重建结果进行自适应加权的多尺度权重校正模块、建立不同空间尺度下SAR图像特征与对应光学影像之间映射关系的多尺度图像重建模块和对多尺度信息聚合操作进行有效特征过滤的多尺度深度监督模块四大模块组成，构建各模块的具体步骤如下：
（1）如图2所示，基于拉普拉斯金字塔构建的用于获取不同空间尺度图像的多尺度层次分解模块的具体步骤如下：
首先将输入的SAR影像分解成它的拉普拉斯金字塔，每级分解所得的特征图作为各级分支的输入；在模型构建中选择对输入SAR影像进行4级拉普拉斯金字塔分解，获得的1~4级SAR层级分解特征图分别作为后续模型结构层次一、层次二、层次三和层次四四个分支的输入；
（2）如图3所示，用于聚合不同空间尺度下图像特征对多尺度重建结果进行自适应加权的多尺度权重校正模块由切分、拼接、权重卷积和空间复原四个子模块组成，构建各子模块的具体步骤如下：
（2-1）切分、拼接子模块以拉普拉斯金字塔分解获得的不同空间尺度下的SAR特征图像集作为输入，通过切分把不同尺度的原始输入均展开为空间维度为8×8大小的图像块，并将所获得的图像块在通道维进行拼接；
（2-2）权重卷积子模块以步骤（2-1）中的输出为输入，由三个分支组成。第一个分支由一个卷积核大小为1×1的卷积层和一个S形非线性激活函数层组成，第二个分支由一个逐像素相乘操作和一个卷积核大小为1×1的卷积层组成，第三个分支由一个逐像素相加操作组成，逐分支依次聚合多尺度信息；
（2-3）空间复原子模块，将通过自适应计算权重后的空间维度为8×8大小的权重响应图通过空间变形复原子模块恢复成原始空间尺度，重新获得32×32、64×64、128×128、256×256四个不同尺度权重的响应图。
（3）由图4所示，用于建立不同空间尺度下SAR图像特征与对应光学影像之间映射关系的多尺度图像重建模块由特征提取子模块和细化重建子模块组成，构建各子模块的具体步骤如下：
（3-1）特征提取子模块分为两个阶段，第一阶段由一个层归一化层、卷积核大小为1×1和3×3的卷积层、一个Relu激活层和一个卷积核大小为1×1的卷积层堆叠而成，最后接一个逐像素求和操作；第二阶段由一个层归一化层、两个卷积核大小为1×1的卷积层，卷积层中间嵌入一个Relu激活层组成，同样，第二阶段结束也进行逐像素求和操作；
（3-2）细化重建子模块接收来自两种尺度下的特征图，对低空间尺度的特征图进行上采样操作并与高空间尺度的特征图进行逐像素相加，对不同尺度下的特征信息进行聚合；后续细化卷积模块采用三个分支进行卷积，每个分支设计不同卷积核大小的卷积操作，分支一由卷积核大小为7×7，分支二采用卷积核大小分别为5×5，分支三采用卷积核大小分别为3×3，第一次分支聚合采用通道混合策略，第二次融合采用通过逐像素求和对不同分支特征图进行聚合，最终获得细化重建子模块的输出；
（4）构建用于对多尺度信息聚合操作进行有效特征过滤的多尺度深度监督模块，该模块对不同空间尺度的SAR转光学图像进行深度监督，即目标函数计算损失进行梯度回传，同时对监督过程中生成的特征图通过注意力机制计算其响应图，利用该响应图对传递过程中各层间多尺度信息的聚合进行权重校正。
第三步，训练基于多尺度和深度监督耦合增益的SAR转光学图像模型，将由哨兵1号SAR影像数据作为输入和采用深度监督机制利用哨兵2号获取的对应的光学影像对经过多尺度重建模块的输出依次进行逐像素损失约束，迭代训练多次，获取最佳参数权重，具体步骤如下：
（1）将用于模型训练的子数据集中的哨兵1号SAR影像输入多尺度层次分解模块，进行四层拉普拉斯金字塔图像分解，获取256×256, 128×128, 64×64和32×32四种空间分辨率下的具有不同图像细节表现的SAR特征图；
（2）将分解获得的不同尺度的SAR特征图作为多尺度权重校正模块的输入，聚合多尺度特征信息，进行自适应加权的权重计算；
（2-1）对来自不同层级的拉普拉斯分解特征图进行切分，所有特征图均展开至空间分辨率为8×8大小的图像块集合；
（2-2）将所有尺度下获取的切分后的图像块进行通道维拼接，获得来自不同维度的特征信息的图像块集合；
（2-3）对聚合所有层级的特征信息的图像块进行自适应权重计算，逐层聚合注意力权重；
（2-3-1）以所有尺度特征拼接而成的8×8大小的图像块集合为输入，该输入执行一次卷积核大小为1×1的卷积操作和S形非线性激活函数非线性激活操作后获得输出；
（2-3-2）以所有尺度特征拼接而成的8×8大小的图像块集合为输入和步骤（2-3-1）的输出作为输入，两个输入进行逐像素相乘，相乘操作后获得的结果执行一次卷积核大小为1×1的卷积操作获得该步骤的输出；
（2-3-3）以所有尺度特征拼接而成的8×8大小的图像块集合为输入和步骤（2-3-2）的输出作为输入，两个输入进行逐像素相加即可获得计算所得的自适应权重；
（2-4）将基于空间分辨率大小为8×8计算所得的权重图恢复原始空间分辨率，即按照步骤（2-1）操作的逆操作将通道维的图像块重新补偿到空间维，获得256×256,128×128,64×64和32×32四种空间分辨率下注意力权重；
（3）将分解获得的不同尺度的SAR特征图作为多尺度图像重建模块的输入，在不同尺度下构建SAR图像特征与对应光学影像之间的映射关系；
（3-1）经拉普拉斯金字塔分解后获得层次四的输入为空间分辨率大小为32×32的SAR特征图，该输入首先经过特征提取子模块两阶段操作，第一阶段执行一次层归一化层操作，两次卷积核大小分别为1×1和3×3的卷积操作，一次Relu激活操作后再经一次1×1卷积操作获得第一阶段输出；
第一阶段输出与原输入进行逐像素求和后的结果作为第二阶段输入，该输入执行一次层归一化层操作，两次1×1卷积操作，第一次卷积操作后进行一次Relu激活操作，获得第二阶段输出，该输出与第二阶段输入进行逐像素求和后即获得提取到的特征图；
（3-2）特征提取子模块获得的特征图经由步骤（2）获得的32×32大小的注意力权重进行加权操作进行信息过滤后，作为细化重建的翻译图像的全局色调和局部纹理的细化重建子模块的输入；
（3-3）将进行信息过滤的32×32大小的特征图输入该层级的细化重建子模块，由于分解层级仅为四级，层次四的细化重建子模块仅有一个输入，其余三层输入均由当前层次特征图和由深度监督注意力模块进行权重过滤后的低层次特征图经上采样后的结果逐像素求和作为输入，该输入将经过三个分支分别提取不同尺度感受野的图像特征，并通过通道混合操作对不同尺度感受野提取到的特征进行交互融合；
三个分支分别采用卷积核大小为7×7、5×5、3×3的卷积操作，分别提取不同卷积感受野下的图像特征，通过通道混合操作聚合来自三个分支的特征图，在聚合过程中执行两次次1×1卷积操作和3×3卷积操作；
将充分混合的特征图重新切分为三份再次经由三个卷积核大小为7×7、5×5、3×3的卷积操作和Relu激活操作提取尺度差异特征，最终将三个分支的特征图进行逐像素求和实现二次聚合，作为当前尺度层次下的细化重建子模块的输出；
（3-4）其余层次三、层次二、层次一依次执行步骤（3-1）到步骤（3-3）操作，最终获得与原输入SAR影像相同分辨率的图像翻译输出结果；
（4）将采用深度监督机制对经过多尺度重建模块的输出依次进行逐像素损失约束，同时以此特征图计算注意力权重对聚集的多尺度特征进行信息过滤；
（4-1）使用L1损失函数作为各个尺度深度监督的损失函数，由高斯金字塔分
解获得的特征图与SAR图像翻译的结果进行计算得到损失；
（4-2）损失计算的结果作为权重对聚合到下一层细化重建子模块的当前层重建特征图进行加权，该加权操作在层次四、层次三和层次二重建分支深度监督损失计算后执行；
（4-3）使用L1损失函数和SSIM损失函数作为基于多尺度和深度监督
耦合增益的SAR转光学图像模型的损失函数，仅对层次一重建分支获得的最终SAR转光学图
像结果进行SSIM损失约束，所有层次均进行L1损失函数约束，最终获得的重建结果为层次
一的输出；
（5）按设定的训练轮数迭代训练多次，保存验证集SAR转光学图像效果最佳模型参数。
第四步，待转换的SAR影像数据的获得及预处理。
第五步，将应SAR影像数据输入网络，得到结果，如图5所示，我们的方法能够获得局部纹理保持和全局色调一致的SAR转光学图像。
以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是本发明的原理，在不脱离本发明精神和范围的前提下本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明的范围内。本发明要求的保护范围由所附的权利要求书及其等同物界定。
Claims (2)
1.一种基于多尺度和深度监督耦合增益的SAR转光学图像方法，其特征在于，包括以下步骤：
11)获取成对光学遥感影像和合成孔径雷达SAR(Synthetic Aperture Radar，SAR)影像数据集：基于在季节尺度上具有全球数据的大规模遥感数据集SEN12MS-CR构建数据集用于模型训练及验证，按不同地物覆盖类型数据的分布情况从原数据集中进行随机采样；
SEN12MS-CR数据集包含经过校正和地理配准后成对的哨兵1号SAR影像、哨兵2号无云光学影像和哨兵2号有云光学影像，所有数据的空间分辨率均为256×256,对于SAR转光学图像任务而言，仅需从上述数据集中获取成对的哨兵1号SAR影像和哨兵2号无云光学影像；获取哨兵2号无云光学影像的近红外NIR、红色Red、绿色Green和蓝色Blue波段，对应13个波段中的B8、B4、B3和B2波段，组成SAR转光学图像的4波段参考光学影像；获取哨兵1号SAR影像的VV和VH偏振图像，采用灰度共生矩阵对其进行纹理复杂度分析，统计影像下垫面类型，按不同纹理复杂度进行随机采样，最终获得包含农田、山脉、植被、居民区、荒漠和高原在内的6类图像共10000个成对的光学影像和SAR影像数据子集，将子集按8:2划分为训练集和验证集；
12)构建基于多尺度和深度监督耦合增益的SAR转光学图像模型：该模型由多尺度层次分解模块、多尺度权重校正模块、多尺度图像重建模块和多尺度深度监督模块组成，四个模块逐层耦合，保证每一层的图像翻译都是有方向的；
121)基于拉普拉斯金字塔构建用于获取不同空间尺度图像的多尺度层次分解模块；
1211)首先将输入的SAR影像分解成它的拉普拉斯金字塔，每级分解所得的特征图作为各级分支的输入，拉普拉斯分解公式如下：
Ln(x)＝Gn(x)-upsample(Gn+1(x))，
其中，x表示输入的SAR影像，n表示分解的不同层级，Gn表示第n级高斯金字塔分解获得的特征图，Gn+1表示第n+1级高斯金字塔分解获得的特征图，upsample表示上采样操作，Ln(x)表示第n级拉普拉斯金字塔图像；
1212)在模型构建中选择对输入SAR影像进行4级拉普拉斯金字塔分解，即n＝1,2,3,4，获得的L1,L2,L3,L4分别作为后续模型结构层次一、层次二、层次三和层次四四个分支的输入；
122)构建用于聚合不同空间尺度下图像特征对多尺度重建结果进行自适应加权的多尺度权重校正模块，该模块由切分、拼接、权重卷积和空间复原四个子模块组成；
1221)切分子模块用于将不同空间分辨率分支的图像特征进行切分，并通过拼接操作聚合到同一维度；
1222)权重卷积子模块用于自适应计算不同空间尺度的特征图像校正权重，该子模块由三个分支组成，逐分支卷积，依次聚合多尺度信息；
1223)空间复原子模块将通过自适应计算权重后的权重响应图恢复成原始空间尺度，重新获得四个不同尺度权重响应图；
123)构建用于建立不同空间尺度下SAR图像特征与对应光学影像之间映射关系的多尺度图像重建模块，该模块由特征提取子模块和细化重建子模块组成；
1231)构建用于提取不同尺度下SAR图像特征的特征提取子模块，在前期通过拉普拉斯金字塔分解获得的具有方向限制的不同尺度的图像特征的前提下，通过多层卷积操作加强SAR图像特征的表达能力；
1232)构建用于细化重建的翻译图像的全局色调和局部纹理的细化重建子模块，该模块接收来自两种尺度下的特征图，通过三个分支不同卷积核大小的卷积操作的对不同尺度下的特征信息进行聚合，同时采用两次分支交互融合模块加强不同分支间的特征聚合；
124)构建用于对多尺度信息聚合操作进行有效特征过滤的多尺度深度监督模块，该模块在对不同空间尺度的SAR转光学图像进行深度监督，即目标函数计算损失进行梯度回传，同时对监督过程中生成的特征图通过注意力机制计算其响应图，利用该响应图对传递过程中各层间多尺度信息的聚合进行权重校正；
13)基于多尺度和深度监督耦合增益的SAR转光学图像模型训练：将获取的SAR影像数据作为输入，以与之配对的光学遥感影像作为参考对模型进行监督训练，迭代训练多次，保存最佳模型参数用于SAR转光学图像结果验证；
14)待翻译SAR影像数据的获得及处理；
15)获取SAR影像翻译成光学影像结果。
2.根据权利要求1所述的一种基于多尺度和深度监督耦合增益的SAR转光学图像方法，其特征在于，基于多尺度和深度监督耦合增益的SAR转光学图像模型训练包括以下步骤：
21)将用于模型训练的子数据集中的哨兵1号SAR影像输入多尺度层次分解模块，进行四层拉普拉斯金字塔图像分解，获取256×256,128×128,64×64和32×32四种空间分辨率下的不同图像细节表现的SAR特征图，分别作为后续模型结构层次一、层次二、层次三和层次四四个分支的输入；
22)将分解获得的不同尺度的SAR特征图作为多尺度权重校正模块的输入，聚合多尺度特征信息，进行自适应加权的权重计算，计算所得权重将作为后续对重建阶段提取到SAR影像特征的进行信息过滤的依据；
221)对来自不同层级的拉普拉斯分解特征图进行切分，所有特征图均展开至空间分辨率为8×8大小的图像块集合；
以空间分辨率为32×32的特征图的切分展开操作为例，在空间维度上，该特征图将被按8×8大小的窗口进行无重叠切分，共获得16个8×8大小的图像块集合，切分获得的图像块在通道维进行拼接，该操作为在图像信息无任何损失的前提下进行下采样操作，将在通道维上对减少的空间维度进行补偿；每种空间尺度的特征图均采取相同操作，即64×64切分成64个8×8大小的图像块集合，128×128切分成256个8×8大小的图像块集合，256×256切分成1024个8×8大小的图像块集合；
222)将所有尺度下获取的切分后的图像块进行通道维拼接，作为自适应权重计算的输入；
223)对聚合所有层级的特征信息的图像块进行自适应权重计算，该计算过程由三个分支组成，逐层聚合注意力权重；
2231)分支一以所有尺度特征拼接而成的8×8大小的图像块集合为输入，该输入执行卷积操作和非线性激活操作后获得输出；
2232)分支二以所有尺度特征拼接而成的8×8大小的图像块集合为输入和分支一的输出作为输入，两个输入进行逐像素相乘，即分支一的输出对原始输入的图像块集合进行加权相乘后，通过卷积操作获得分支二的输出；
2233)分支三以所有尺度特征拼接而成的8×8大小的图像块集合为输入和分支二的输出作为输入，两个输入进行逐像素相加即获得计算所得的自适应权重；
224)将基于空间分辨率大小为8×8计算所得的权重图恢复原始空间分辨率，即按照步骤321)操作的逆操作将通道维的图像块重新补偿到空间维，获得256×256,128×128,64×64和32×32四种空间分辨率下注意力权重，作为重建阶段提取的各尺度SAR影像特征进行信息过滤的依据；
23)将分解获得的不同尺度的SAR特征图作为多尺度图像重建模块的输入，在不同尺度下构建SAR图像特征与对应光学影像之间的映射关系；
231)经拉普拉斯金字塔分解后获得层次四的输入为空间分辨率大小为32×32的SAR特征图，该输入首先经过特征提取子模块两阶段操作，第一阶段输出与原输入进行逐像素求和后的结果作为第二阶段输入，该输入与第二阶段输出进行逐像素求和后即获得提取到的特征图；
232)特征提取子模块获得的特征图经由步骤32)获得的32×32大小的注意力权重进行加权操作进行信息过滤后，作为细化重建的翻译图像的全局色调和局部纹理的细化重建子模块的输入；
233)将进行信息过滤的32×32大小的特征图输入该层级的细化重建子模块，由于分解层级仅为四级，层次四的细化重建子模块仅有一个输入，其余三层输入均由当前层次特征图和由深度监督注意力模块进行权重过滤后的低层次特征图经上采样后的结果逐像素求和作为输入，该输入将经过三个分支分别提取不同尺度感受野的图像特征，并通过通道混合操作对不同尺度感受野提取到的特征进行交互融合；
三个分支分别采用卷积核大小为7×7、5×5、3×3的卷积操作，提取不同尺度感受野下的图像特征，通过通道混合操作聚合来自三个分支的特征图，在聚合过程中执行两次1×1卷积操作和3×3卷积操作；
将充分混合的特征图重新切分为三份再次经由三个卷积核大小为7×7、5×5、3×3的卷积操作和Relu激活操作提取尺度差异特征，最终将三个分支的特征图进行逐像素求和实现二次聚合，作为当前尺度层次下的细化重建子模块的输出；
234)其余层次三、层次二、层次一依次执行步骤331)到步骤333)操作，最终获得与原输入SAR影像相同分辨率的图像翻译输出结果；
24)将采用深度监督机制对经过多尺度重建模块的输出依次进行逐像素损失约束，同时以此特征图计算注意力权重对聚集的多尺度特征进行信息过滤；
241)使用L1损失函数lossLn作为各个尺度深度监督的损失函数；
L1损失函数表达式如下：
lossLn＝|yn-fn(xn)|1，
其中，yn表示参考的光学影像经过第n级高斯金字塔分解获得的特征图，xn表示输入的SAR影像经过第n级拉普拉斯金字塔分解获得的特征图，fn(xn)表示第n层SAR图像翻译的结果；
242)损失计算的结果作为权重对聚合到下一层细化重建子模块的当前层重建特征图进行加权，该加权操作在层次四、层次三和层次二重建分支深度监督损失计算后执行；
243)使用L1损失函数lossLn和SSIM损失函数lossssim作为基于多尺度和深度监督耦合增益的SAR转光学图像模型的损失函数，仅对层次一重建分支获得的最终SAR转光学图像结果进行SSIM损失约束，所有层次均进行L1损失函数约束；最终用于监督网络训练的损失函数计算公式如下：
其中，lossall表示用于监督网络训练的整体损失，i表示分支层次，用共有四个分支的重建结果用于计算最终损失，即n＝4，i的取值为{1,2,3,4}与每个分支相对应，wi表示每一分支重建损失的权重值，lossLi表示分支i重建结果的L1损失函数值，由步骤341)计算公式计算所得；lossssim为SSIM损失函数，该函数计算表达式如下：
其中，x表示SAR翻译成的光学影像，y是对应的光学影像，μx和μy分别表示均值，和/>表示标准差，σxy表示协方差，C1＝(k1L)2、C2＝(k2L)2是用来维持稳定的常数，L是像素值的动态范围，k1＝0.01，k2＝0.03；
244)通过各个层次的深度监督计算获得的损失值反向传播确定梯度向量，更新模型参数；
25)最终保存验证集SAR转光学图像效果最佳模型参数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410430415.6A CN118038086B (zh) | 2024-04-11 | 2024-04-11 | 一种基于多尺度和深度监督耦合增益的sar转光学图像方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410430415.6A CN118038086B (zh) | 2024-04-11 | 2024-04-11 | 一种基于多尺度和深度监督耦合增益的sar转光学图像方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN118038086A CN118038086A (zh) | 2024-05-14 |
| CN118038086B true CN118038086B (zh) | 2024-06-25 |
Family
ID=90989552
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410430415.6A Active CN118038086B (zh) | 2024-04-11 | 2024-04-11 | 一种基于多尺度和深度监督耦合增益的sar转光学图像方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN118038086B (zh) |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180172824A1 (en) * | 2015-06-16 | 2018-06-21 | Urthecast Corp | Systems and methods for enhancing synthetic aperture radar imagery |
| CN111784560A (zh) * | 2019-04-04 | 2020-10-16 | 复旦大学 | 基于级联残差生成对抗网络的sar和光学图像双向翻译方法 |
| CN112819688A (zh) * | 2021-02-01 | 2021-05-18 | 西安研硕信息技术有限公司 | 一种sar图像转类光学图像的转换方法及*** |
| CN114494371A (zh) * | 2021-12-31 | 2022-05-13 | 西安电子科技大学 | 基于多尺度相位一致性的光学图像和sar图像配准方法 |
| CN116343023A (zh) * | 2022-11-21 | 2023-06-27 | 北京理工大学长三角研究院(嘉兴) | 基于多尺度光谱波段学习的高光谱图像分类方法及*** |
| CN115859606A (zh) * | 2022-11-25 | 2023-03-28 | 南京航空航天大学 | 基于图像评估与特征选择的sar-光学图像翻译方法及*** |
| CN117036754A (zh) * | 2023-07-24 | 2023-11-10 | 中央财经大学 | 一种sar与光学图像匹配方法 |
| CN116740524A (zh) * | 2023-07-28 | 2023-09-12 | 湖北工业大学 | 多分支多尺度拉普拉斯渐进式遥感图像融合方法及*** |
-
2024
- 2024-04-11 CN CN202410430415.6A patent/CN118038086B/zh active Active
Non-Patent Citations (2)
| Title |
|---|
| Multiscale Generative Adversarial Network Based on Wavelet Feature Learning for SAR-to-Optical Image Translation;Huihui Li et.al;《IEEE Transactions on Geoscience and Remote Sensing》;20221005;第60卷;1-15 * |
| Sar2color Learning Imaging Characteristics of SAR Images for SAR-to-Optical Transformation;Zhe Guo et.al;《Remote Sensing Image Processing》;20220804;第14卷(第15期);1-18 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN118038086A (zh) | 2024-05-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108038445B (zh) | 一种基于多视角深度学习框架的sar自动目标识别方法 | |
| CN112488924A (zh) | 一种图像超分辨率模型训练方法、重建方法及装置 | |
| CN113065467B (zh) | 一种基于深度学习的卫星图像低相干区域识别方法及装置 | |
| CN115147731A (zh) | 一种基于全空间编码注意力模块的sar图像目标检测方法 | |
| CN113222819B (zh) | 一种基于深度卷积神经网络的遥感图像超分辨重建方法 | |
| CN116935214B (zh) | 一种卫星多源遥感数据的时空谱融合方法 | |
| CN116977311B (zh) | 一种洪涝灾害区域检测方法、***、电子设备及存储介质 | |
| CN117788296B (zh) | 基于异构组合深度网络的红外遥感图像超分辨率重建方法 | |
| CN113313180A (zh) | 一种基于深度对抗学习的遥感图像语义分割方法 | |
| Gao et al. | Multiscale curvelet scattering network | |
| CN117689579B (zh) | 一种渐进式双解耦的sar辅助遥感影像厚云去除方法 | |
| Feng et al. | Guided filter‐based multi‐scale super‐resolution reconstruction | |
| Wang et al. | Poissonian blurred hyperspectral imagery denoising based on variable splitting and penalty technique | |
| Shi et al. | A pansharpening method based on hybrid-scale estimation of injection gains | |
| CN114092803A (zh) | 基于遥感图像的云检测方法、装置、电子设备及介质 | |
| CN111967516B (zh) | 一种逐像素分类方法、存储介质及分类设备 | |
| CN118038086B (zh) | 一种基于多尺度和深度监督耦合增益的sar转光学图像方法 | |
| CN117058367A (zh) | 高分辨率遥感影像建筑物语义分割方法及装置 | |
| CN115937302A (zh) | 结合边缘保持的高光谱图像亚像元定位方法 | |
| CN108109153A (zh) | 基于sar-kaze特征提取的sar图像分割方法 | |
| CN114821074A (zh) | 机载liDAR点云语义分割方法、电子设备及存储介质 | |
| CN115660979A (zh) | 一种基于注意力机制的双判别器图像修复方法 | |
| Lee et al. | CFCA-SET: Coarse-to-Fine Context-Aware SAR-to-EO Translation With Auxiliary Learning of SAR-to-NIR Translation | |
| Gu et al. | A gan-based method for sar image despeckling | |
| Yu et al. | High-resolution polsar classification model based on the fully convolutional neural network and polarimetric parameters |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |