CN114972989B - 一种基于深度学习算法的单幅遥感影像高度信息估算方法 - Google Patents

一种基于深度学习算法的单幅遥感影像高度信息估算方法 Download PDF

Info

Publication number
CN114972989B
CN114972989B CN202210547696.4A CN202210547696A CN114972989B CN 114972989 B CN114972989 B CN 114972989B CN 202210547696 A CN202210547696 A CN 202210547696A CN 114972989 B CN114972989 B CN 114972989B
Authority
CN
China
Prior art keywords
feature
module
height information
attention mechanism
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210547696.4A
Other languages
English (en)
Other versions
CN114972989A (zh
Inventor
杜守航
邢江河
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China University of Mining and Technology Beijing CUMTB
Original Assignee
China University of Mining and Technology Beijing CUMTB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China University of Mining and Technology Beijing CUMTB filed Critical China University of Mining and Technology Beijing CUMTB
Priority to CN202210547696.4A priority Critical patent/CN114972989B/zh
Publication of CN114972989A publication Critical patent/CN114972989A/zh
Application granted granted Critical
Publication of CN114972989B publication Critical patent/CN114972989B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A30/00—Adapting or protecting infrastructure or their operation
    • Y02A30/60—Planning or developing urban green infrastructure

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深度学习算法的单幅遥感影像高度信息估算方法，其方法如下：A、基于TensorFlow搭建高度信息估算网络模型，采集遥感影像数据与nDSM数据进行配准、裁剪得到影像块，训练网络模型；B、将研究区影像裁剪为影像块并输入高度信息估算网络模型通过ResNet、DenseASPP模块、通道注意力机制模块、空间注意力机制跳跃连接模块和可变形卷积模块进行模型处理并输出高度估算结果。本发明高度信息估算网络模型先提取低层和深层特征，通过DenseASPP模块聚合语义特征，接着通过通道注意力机制模块捕获通道维度全局依赖关系，通过空间注意力机制跳跃连接模块构建跳跃连接聚合ResNet低层特征与多尺度高层特征，最后通过可变形卷积模块输出精度高、信息可靠的高度估算结果。

Description

一种基于深度学习算法的单幅遥感影像高度信息估算方法
技术领域
本发明涉及遥感影像处理、深度学习语义分割领域，尤其涉及一种基于深度学习算法的单幅遥感影像高度信息估算方法。
背景技术
城市三维垂直信息作为城市化垂直空间的体现，其在城市化研究中具有重要的参考价值及研究意义，其与能源消耗、碳排放和城市热岛效应等密切相关，同时，对于城市规划、城市可持续发展至关重要。如何实现快速精确的高度信息提取成为近年来三维城市信息提取研究的热点之一。但是，可用的大范围城市垂直维信息数据仍然缺乏。针对高度信息提取，目前可以通过三种数据来获取：①LiDAR；②SAR数据；③高分辨率光学影像。LiDAR可以高精度测量地物三维信息，然而LiDAR的采集成本高而且覆盖范围仍然有限。SAR图像在建筑物高度估算方面具有很大的潜力，然而由于采用侧视几何，SAR图像通常记录来自不同微波散射机制的混合信号，导致高度估算的不确定性相对较高。随着立体/多视角影像的可用性增加，高度信息可以通过立体匹配方法进行计算；但是，由于建筑物的遮挡或者影像质量差异，通常存在匹配失败的问题。对于单幅遥感影像，可以从相邻的阴影中估算建筑物的高度，但在很大程度上依赖于阴影检测的准确性。最近，有研究开始探索利用深度学习技术从单幅遥感影像预测高度信息的可行性。在此背景下，深度学习为高度估算开辟了一条新的途径；虽然单幅遥感影像的高度估算在一定程度上取得了成功，但它仍然是一个不适定和具有挑战性的问题。综上，采用单幅遥感影像进行高度信息估算具有低成本、高效率等优势，目前还没有被有效解决，也是高度信息未来研究的重要方向。
发明内容
针对现有技术存在的不足之处，本发明的目的在于提供一种基于深度学习算法的单幅遥感影像高度信息估算方法，高度信息估算网络模型首先通过ResNet提取低层和高层特征以解决梯度消失的问题；其次由于城市场景复杂，地物尺度各异，通过DenseASPP有效聚合多尺度的空间信息覆盖大范围的语义信息，从而有利于高度信息的估算预测；然后，在解码阶段构建跳跃连接和空间注意力机制聚合ResNet低层特征与多尺度高层特征逐渐恢复影像的大小，通过空间注意力机制学习低层特征图不同位置的信息，从而可以恢复精确的地物边缘信息；最后利用可变形卷积来增加对于城市场景中地物形状和尺度差异的敏感性，进而得到精度高、获取成本低且高效的高度估算结果。
本发明的目的通过下述技术方案实现：
一种基于深度学习算法的单幅遥感影像高度信息估算方法，其方法如下：
A、制作高度信息估算网络模型的训练样本数据集，方法如下：
A1、将遥感影像数据和遥感影像数据所对应的nDSM数据进行配准作为高度信息估算网络模型的数据源；
A1、将配准后的遥感影像数据、nDSM数据对应裁剪为500×500的影像块作为样本数据集，将样本数据集分为训练集和测试集，对训练集的影像块分别进行数据增强处理，数据增强处理包括翻转、平移、尺度变化、对比度变化、高斯噪声处理；
B、基于TensorFlow搭建高度信息估算网络模型，高度信息估算网络模型采用ResNet为基础网络架构，高度信息估算网络模型包括ResNet特征提取模块、DenseASPP模块、通道注意力机制模块、空间注意力机制跳跃连接模块和可变形卷积模块；高度信息估算网络模型利用训练样本数据集进行模型训练，高度信息估算网络模型的训练方法如下：
B1、高度信息估算网络模型利用训练样本数据集进行模型训练，高度信息估算网络模型中具有损失函数L约束训练，损失函数L由berHu函数、坡度值差异Lslope和高度波动Lroughness联合构建，其损失函数L公式如下；
L＝αLberHu+βLslope+γLroughness，其中LberHu为berHu
函数，Lslope为坡度值差异，Lroughness为高度波动，α，β，γ为权重系数；
C、采集研究区的遥感影像数据，将遥感影像数据对应裁剪为500×500的影像块输入到高度信息估算网络模型(本发明高度信息估算网络模型在训练时对于训练集的影像块处理也采用如下方法)中进行如下处理：
C1、将影像块输入到高度信息估算网络模型中，通过卷积层和ResNet提取影像块的低层特征和高层特征；
C2、将ResNet提取影像块的高层特征输入到DenseASPP模块中捕获不同尺度的语义特征、聚合多尺度的空间信息输出特征图G1；
C3、将特征图G1输入到通道注意力机制模块中捕获通道维度上的全局依赖关系并得到通道注意力权重，将特征图G1与通道注意力权重进行乘积运算并输出结果，对输出结果使用1×1卷积进行通道压缩输出得到特征图G2；
C4、通过空间注意力机制跳跃连接模块将特征图G2与影像块的低层特征融合叠加输出特征图R1；
C5、可变形卷积模块包括3×3卷积和卷积核，将特征图R1输入到可变形卷积模块中，可变形卷积模块通过3×3卷积输出得到可变形卷积所需的九个偏移量，然后将九个偏移量作用于卷积核上输出高度估算结果。
优选地，本发明在步骤B1中，berHu函数的公式如下：
Figure BDA0003650125330000031
其中，x为预测值与真值之间的差异，c是每个batch中最大误差的20％。
优选地，本发明在步骤C2中，DenseASPP模块包括五个不同扩张率的空洞卷积，五个空洞卷积的空洞率分别为3、8、12、18、24，DenseASPP模块的处理方法包括：
C21、ResNet提取影像块的高层特征经过五个空洞卷积分别进行密集卷积计算得到五个大小相同的特征图并将五个特征图与原始高层特征叠加输出特征图G1。
优选地，本发明在步骤C3中，通道注意力机制模块包括自适应最大池化层、自适应平均池化层、两层共享连接层、元素相加及Sigmoid激活模块，自适应最大池化层、自适应平均池化层相互并行组成，通道注意力机制模块处理方法包括：
C31、将特征图G1输入到通道注意力机制模块的自适应最大池化层、自适应平均池化层分别得到两个特征图G11，然后将两个特征图G11分别输入到两层共享连接层的神经网络输出两个特征图G12，并对两个特征图G12通过元素相加及Sigmoid激活模块进行对应元素相加与Sigmoid激活处理得到通道注意力权重，将特征图G1与通道注意力权重进行乘积运算并输出结果，对输出结果使用1×1卷积进行通道压缩输出得到特征图G2。
优选地，本发明在步骤C1中，通过卷积层和ResNet提取影像块的四个低层特征和一个高层特征，其中高层特征按照C2、C3依序处理得到特征图G2，四个低层特征分别为第一低层特征、第二低层特征、第三低层特征、第四低层特征；在步骤C4中，特征图G2与影像块的低层特征融合叠加输出特征图R1处理方法如下：
C41、通过空间注意力机制跳跃连接模块将特征图G2与高层特征融合叠加输出特征图G21；
C42、通过空间注意力机制跳跃连接模块将特征图G21与第四低层特征融合叠加输出特征图G22；
C43、通过空间注意力机制跳跃连接模块将特征图G22与第三低层特征融合叠加输出特征图G23；
C44、通过空间注意力机制跳跃连接模块将特征图G23与第二低层特征融合叠加输出特征图G24；
C45、通过空间注意力机制跳跃连接模块将特征图G24与第一低层特征融合叠加输出特征图R1。
本发明优选的空间注意力机制跳跃连接模块包括自适应最大池化层、自适应平均池化层，空间注意力机制跳跃连接模块经过自适应最大池化层、自适应平均池化层对输入特征数据进行依次处理，然后进行通道拼接和7×7卷积得到特征数据，再进行Sigmoid激活处理得到空间注意力权重，然后将特征数据与空间注意力权重进行乘积计算得到空间注意力输出结果，经过上采样并在解码阶段得到融合后的特征数据。
优选地，所述高度信息估算网络模型采用边缘信息舍弃方法将研究区的影像块进行拼接，以获取研究区的高度估算结果。
本发明较现有技术相比，具有以下优点及有益效果：
(1)本发明主要包括高度信息估算网络模型、损失函数和预测估算原理等三个方面技术创新，高度信息估算网络模型首先通过卷积层和ResNet提取低层和高层特征以解决梯度消失的问题；其次由于城市场景复杂，地物尺度各异，通过DenseASPP有效聚合多尺度的空间信息覆盖大范围的语义信息，从而有利于高度信息的估算预测；然后，在解码阶段构建跳跃连接和空间注意力机制聚合ResNet低层特征与多尺度高层特征逐渐恢复影像的大小，通过空间注意力机制学习低层特征图不同位置的信息，从而可以恢复精确的地物边缘信息；最后利用可变形卷积来增加对于城市场景中地物形状和尺度差异的敏感性，进而得到精度高、获取成本低、高效且信息可靠全面的高度估算结果。
(2)本发明高度信息估算网络模型在模型训练时采用联合berHu函数、坡度值和粗糙度构建损失函数，可以快速、高效地得到更好的训练效果；对于较大区域的研究区可以采用边缘信息舍弃方法将预测结果影像块拼接为大的预测结果影像，采用边缘信息舍弃的方法能够将网络模型输出的影像块拼接成大的影像结果，可以减小边缘拼接处高度估算的差异，提高了遥感影像地物高度信息估算精度。
(3)本发明使用密集空洞空间金字塔池化模块提取多尺度地物信息，有助于在城市场景下，通过更大的范围聚合多尺度语义信息来提取地物高度信息估算的精度；使用通道注意力机制学习密集空洞空间金字塔池化模块中得到的各个特征图各个波段的重要性权重，从而增强有用特征；在解码阶段通过引入空间注意力机制跳跃连接模块构建跳跃连接，将低层特征与高层语义特征进行融合，两个特征融合可以保留更多重要特征细节信息，减少网络逐层卷积池化导致的边缘信息损失，提高地物边缘位置地物高度估算精度；使用可变形卷积以产生不同尺寸和形状的卷积核来增加对城市场景下不同尺度和形状地物的敏感性；同时，空间注意力机制跳跃连接模块可以筛选低层特征中更有用的语义信息，抑制干扰信息，增强了高度信息估算网络模型的估算能力。
(4)本发明利用单幅遥感影像实现高度信息估算，相较于LiDAR、SAR以及立体影像，是一种低成本、高效的技术手段，能够普遍满足实际需求。
附图说明
图1为实施例中单幅遥感影像高度信息估算方法的流程示意图；
图2为实施例中高度信息估算网络模型的原理示意简图；
图3为实施例中ResNet基础网络架构中残差网络结构的原理示意图；
图4为实施例中DenseASPP模块的原理示意图；
图5为实施例中通道注意力机制模块的原理示意图；
图6为实施例中空间注意力机制跳跃连接模块的原理示意图；
图7为实施例中可变形卷积模块的原理示意图；
具体实施方式
下面结合实施例对本发明作进一步地详细说明：
实施例
如图1～图7所示，一种基于深度学习算法的单幅遥感影像高度信息估算方法，其方法如下：
A、制作高度信息估算网络模型的训练样本数据集，方法如下：
A1、将遥感影像数据和遥感影像数据所对应的nDSM数据进行配准作为高度信息估算网络模型的数据源，nDSM数据为归一化数字表面数据(normalized Digital SurfaceModel，缩写nDSM)，归一化数字表面模型是一种反映地物到地面的垂直高度的高程模型。
A2、将配准后的遥感影像数据、nDSM数据对应裁剪为500×500的影像块作为样本数据集，将样本数据集分为训练集和测试集，对训练集影像块分别进行数据增强处理并得到训练样本数据集，数据增强处理包括翻转、平移、尺度变化、对比度变化、高斯噪声处理，可以在高度信息估算网络模型训练时增强模型的泛化能力。本实施例通过训练集的影像块进行高度信息估算网络模型训练，通过测试集进行高度信息估算网络模型的测试。
B、基于TensorFlow搭建高度信息估算网络模型，高度信息估算网络模型采用ResNet为基础网络架构，高度信息估算网络模型包括ResNet特征提取模块(ResNet特征提取模块为ResNet基础网络架构下的特征提取模块)、DenseASPP模块(中文名称为密集空洞空间金字塔池化结构模块)、通道注意力机制模块、空间注意力机制跳跃连接模块和可变形卷积模块。
B1、高度信息估算网络模型利用训练样本数据集进行模型训练，高度信息估算网络模型中具有损失函数L(即联合损失函数)约束训练，损失函数L由berHu函数、坡度值差异Lslope和高度波动Lroughness联合构建，其损失函数L公式如下；
L＝αLberHU+βLslope+γLroughness，其中LberHU为berHu函数，Lslope为坡度值差异(可以采用相邻像素进行计算像素的坡度值差异，坡度值含有物体结构信息，特别是建筑物和裸地之间的高度跳跃)，Lroughness为高度波动(高度波动有助于提高估算高度值的性能)，α，β，γ为权重系数。
本发明联合berHu函数、坡度值差异和高度波动(又称粗糙度)构建损失函数，berHu损失是L1和L2两个范数之间很好的平衡，因为有L2项，可以提高同一个像素中有高的残差项的权重，对于小的残差项L1项比L2项有更大影响，因此可以得到更好的训练效果。坡度值含有物体结构信息，特别是建筑物和裸地之间的高度跳跃；高度波动(又称粗糙度)有助于提高估算高度值的性能。
LberHU为berHu函数，为估算高度值与参考数据之间的偏移，其公式可以表示为：
Figure BDA0003650125330000081
x为预测值与真值之间的差异，c是每个batch中最大误差的20％；当x在-c到c之间的时候，是|x|的L1范数；当在这个范围之外则是
Figure BDA0003650125330000082
的L2范数。
C、参见图2，采集研究区的遥感影像数据，将遥感影像数据对应裁剪为500×500的影像块，将研究区的影像块输入高度信息估算网络模型进行如下处理(本发明高度信息估算网络模型在训练时对于训练集的影像块处理也采用同样处理过程)：
C1、将影像块输入到高度信息估算网络模型中，通过卷积层和ResNet(ResNet为残差网络结构，残差网络结构如图2、图3所示，ResNet能够缓解梯度消失的问题并有助于提取深层次特征)提取影像块的低层特征和高层特征，影像块会经过一个卷积层以及ResNet基础网络架构中残差网络结构的四次残差卷积处理(四次残差卷积处理详见图3所示)，分别得到四个低层特征和一个高层特征。其中高层特征按照如下步骤C2、C3依序处理得到特征图G2，四个低层特征分别为第一低层特征、第二低层特征、第三低层特征、第四低层特征。
C2、将ResNet提取影像块的高层特征输入到DenseASPP模块(即密集空洞空间金字塔池化结构模块)中捕获不同尺度的语义特征、聚合多尺度的空间信息输出特征图G1。
在步骤C2中，本实施例优选的技术方案如下：DenseASPP模块包括五个不同扩张率的空洞卷积(可以在不增加参数前提下增大感受野并提升网络对多形状和多尺度的地物感知的敏感性、增强局部模糊特征的感知能力，其结构原理如图4所示)，五个空洞卷积的空洞率分别为3、8、12、18、24，DenseASPP模块的处理方法包括：
C21、ResNet提取影像块的高层特征经过五个空洞卷积分别进行密集卷积计算得到五个大小相同的特征图并将五个特征图与原始高层特征叠加输出特征图G1(本实施例特征图G1尺寸大小为2048×32×32)。
C3、将特征图G1输入到通道注意力机制模块中捕获通道维度上的全局依赖关系并得到通道注意力权重(本实施例通道注意力机制模块学习各个特征图各个波段的权重，以解决特征图存在异质高维问题，本实施例通道注意力机制模块的通道注意力机制对于与任务相关性较大的通道赋予较大权值以增强有用特征，而对于任务无关的通道将赋予较小权值以抑制无关特征)，将特征图G1与通道注意力权重进行乘积运算并输出结果，对输出结果使用1×1卷积进行通道压缩输出得到特征图G2。
在步骤C3中，本实施例优选的技术方案如下：通道注意力机制模块包括自适应最大池化层、自适应平均池化层、两层共享连接层、元素相加及Sigmoid激活模块(本实施例通道注意力机制模块结构原理如图5所示)，自适应最大池化层、自适应平均池化层相互并行组成，通道注意力机制模块处理方法包括：
C31、将特征图G1(本实施例特征图G1尺寸大小为2048×32×32)输入到通道注意力机制模块的自适应最大池化层、自适应平均池化层分别得到两个特征图G11(本实施例的两个特征图G11尺寸大小为2048×1×1)，然后将两个特征图G11分别输入到两层共享连接层的神经网络输出两个特征图G12(本实施例的两个特征图G12尺寸大小均为2048×1×1)，并对两个特征图G12通过元素相加及Sigmoid激活模块进行对应元素相加与Sigmoid激活操作处理得到通道注意力权重，将特征图G1与通道注意力权重进行乘积运算并输出结果，对输出结果使用1×1卷积进行通道压缩输出得到1024×32×32大小的特征图G2。
C4、通过空间注意力机制跳跃连接模块将特征图G2与影像块的低层特征融合叠加输出特征图R1。如图6所示，本发明优选的空间注意力机制跳跃连接模块包括自适应最大池化层、自适应平均池化层，空间注意力机制跳跃连接模块经过自适应最大池化层、自适应平均池化层对输入特征数据(以尺寸大小为128×256×256的特征图为例进行处理原理介绍)进行依次处理，然后进行通道拼接和7×7卷积得到1×256×256的特征数据，再进行Sigmoid激活处理得到空间注意力权重，然后将特征数据与空间注意力权重进行乘积计算得到空间注意力输出结果(尺寸大小为128×512×512的特征图)，经过上采样并在解码阶段得到融合后的特征数据。由于不同深度的网络层中包含的原始影像信息有所不同，高层特征包含更多全局信息但是缺乏局部细节信息，而低层特征包含更多局部细节信息却拥有较小的感受野，因此在每次进行上采样操作之前将高层特征与编码阶段得到的对应低层特征进行叠加，以融合两种数据的信息；同时为了学习低层特征局部位置的不同高度信息，本发明在进行低层特征与高层特征叠加之前，对低层特征跳跃连接过程中加入空间注意力机制(如图6所示)，用于学习低层特征图不同位置的权重信息。
根据本发明的一个优选实施例，在步骤C1中，通过卷积层(本实施例卷积层包含卷积、归一化、RELU激活处理)和ResNet提取影像块的四个低层特征和一个高层特征(如图2所示上部的前四个低层特征图与最后一个特征图)，其中高层特征按照C2、C3依序处理得到特征图G2，四个低层特征分别为第一低层特征、第二低层特征、第三低层特征、第四低层特征，如图2所示，第一低层特征为经过卷积层包含卷积、归一化、RELU激活依次处理得到，第二低层特征、第三低层特征、第四低层特征分别通过ResNet提取得到；在步骤C4中，特征图G2与影像块的低层特征融合叠加输出特征图R1处理方法如下：
C41、通过空间注意力机制跳跃连接模块(采用跳跃连接与空间注意力机制)将特征图G2与高层特征融合叠加输出特征图G21，参见图2。
C42、通过空间注意力机制跳跃连接模块将特征图G21与第四低层特征融合叠加输出特征图G22，参见图2。
C43、通过空间注意力机制跳跃连接模块将特征图G22与第三低层特征融合叠加输出特征图G23，参见图2。
C44、通过空间注意力机制跳跃连接模块将特征图G23与第二低层特征融合叠加输出特征图G24，参见图2。
C45、通过空间注意力机制跳跃连接模块将特征图G24与第一低层特征融合叠加输出特征图R1。
C5、可变形卷积模块(可变形卷积模块能够增强对于地物形状和尺度差异的敏感程度，从而恢复输入图像的大小，能够更好的提取多尺度异质地物的DSM信息，本实施例可变形卷积模块的结构原理如图7所示)包括3×3卷积和卷积核，将特征图R1输入到可变形卷积模块中，可变形卷积模块通过3×3卷积输出得到可变形卷积所需的九个偏移量，然后将九个偏移量作用于卷积核上输出1×512×512的高度估算结果。
根据本发明的一个优选实施例，本发明高度信息估算网络模型可以采用边缘信息舍弃方法将研究区的影像块进行拼接，以获取研究区的高度估算结果。通常研究区域将会对应较大的遥感影像，由于内存限制，并不能将影像数据直接输入到高度信息估算网络模型中，因此需要对预测影像采用裁剪影像块的方式进行预测，高度信息估算网络模型处理完之后将影像块进行拼接，但是拼接后的影像块往往有明显的拼接线存在。针对这种情况，本发明采用边缘信息舍弃的策略，采用矩形框选择每一个预测结果的有效区域，矩形框外的区域被舍弃，矩形框的大小为w；也就是说，预测一幅较大的影像时，将会对其进行均匀裁剪(而实际裁剪区域大小包括有效区域与矩形框外舍弃区域)，保留大小为w的高度估算结果，这个区域将会被输入到高度信息估算网络模型中进行估算，最后将预测结果矩形框中的区域进行拼接，得到最后研究区的高度估算结果。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于深度学习算法的单幅遥感影像高度信息估算方法，其特征在于：其方法如下：
A、制作高度信息估算网络模型的训练样本数据集，方法如下：
A1、将遥感影像数据和遥感影像数据所对应的nDSM数据进行配准作为高度信息估算网络模型的数据源；
A1、将配准后的遥感影像数据、nDSM数据对应裁剪为500×500的影像块作为样本数据集，将样本数据集分为训练集和测试集，对训练集的影像块分别进行数据增强处理，数据增强处理包括翻转、平移、尺度变化、对比度变化、高斯噪声处理；
B、基于TensorFlow搭建高度信息估算网络模型，高度信息估算网络模型采用ResNet为基础网络架构，高度信息估算网络模型包括ResNet特征提取模块、DenseASPP模块、通道注意力机制模块、空间注意力机制跳跃连接模块和可变形卷积模块；高度信息估算网络模型利用训练样本数据集进行模型训练，高度信息估算网络模型的训练方法如下：
B1、高度信息估算网络模型利用训练样本数据集进行模型训练，高度信息估算网络模型中具有损失函数L约束训练，损失函数L由berHu函数、坡度值差异Lslope和高度波动Lroughness联合构建，其损失函数L公式如下；
L＝αLberHu+βLslope+γLroughness，其中LberHu为berHu函数，Lslope为坡度值差异，Lroughness为高度波动，α，β，γ为权重系数；
C、采集研究区的遥感影像数据，将遥感影像数据对应裁剪为500×500的影像块输入到高度信息估算网络模型中进行如下处理：
C1、将影像块输入到高度信息估算网络模型中，通过一个卷积层和ResNet基础网络架构的四次残差卷积处理提取影像块的低层特征和高层特征，由此得到四个低层特征和一个高层特征；
C2、将ResNet提取影像块的高层特征输入到DenseASPP模块中捕获不同尺度的语义特征、聚合多尺度的空间信息输出特征图G1；
C3、将特征图G1输入到通道注意力机制模块中捕获通道维度上的全局依赖关系并得到通道注意力权重，将特征图G1与通道注意力权重进行乘积运算并输出结果，对输出结果使用1×1卷积进行通道压缩输出得到特征图G2；
C4、通过空间注意力机制跳跃连接模块将特征图G2与影像块的低层特征融合叠加输出特征图R1；
C5、可变形卷积模块包括3×3卷积和卷积核，将特征图R1输入到可变形卷积模块中，可变形卷积模块通过3×3卷积输出得到可变形卷积所需的九个偏移量，然后将九个偏移量作用于卷积核上输出高度估算结果。
2.按照权利要求1所述的一种基于深度学习算法的单幅遥感影像高度信息估算方法，其特征在于：步骤B1中，berHu函数的公式如下：
Figure FDA0003897028890000021
其中，x为预测值与真值之间的差异，c是每个batch中最大误差的20％。
3.按照权利要求1所述的一种基于深度学习算法的单幅遥感影像高度信息估算方法，其特征在于：在步骤C2中，DenseASPP模块包括五个不同扩张率的空洞卷积，五个空洞卷积的空洞率分别为3、8、12、18、24，DenseASPP模块的处理方法包括：
C21、ResNet提取影像块的高层特征经过五个空洞卷积分别进行密集卷积计算得到五个大小相同的特征图并将五个特征图与原始高层特征叠加输出特征图G1。
4.按照权利要求1所述的一种基于深度学***均池化层、两层共享连接层、元素相加及Sigmoid激活模块，自适应最大池化层、自适应平均池化层相互并行组成，通道注意力机制模块处理方法包括：
C31、将特征图G1输入到通道注意力机制模块的自适应最大池化层、自适应平均池化层分别得到两个特征图G11，然后将两个特征图G11分别输入到两层共享连接层的神经网络输出两个特征图G12，并对两个特征图G12通过元素相加及Sigmoid激活模块进行对应元素相加与Sigmoid激活处理得到通道注意力权重，将特征图G1与通道注意力权重进行乘积运算并输出结果，对输出结果使用1×1卷积进行通道压缩输出得到特征图G2。
5.按照权利要求1所述的一种基于深度学习算法的单幅遥感影像高度信息估算方法，其特征在于：在步骤C1中，通过卷积层和ResNet提取影像块的四个低层特征和一个高层特征，其中高层特征按照C2、C3依序处理得到特征图G2，四个低层特征分别为第一低层特征、第二低层特征、第三低层特征、第四低层特征；在步骤C4中，特征图G2与影像块的低层特征融合叠加输出特征图R1处理方法如下：
C41、通过空间注意力机制跳跃连接模块将特征图G2与高层特征融合叠加输出特征图G21；
C42、通过空间注意力机制跳跃连接模块将特征图G21与第四低层特征融合叠加输出特征图G22；
C43、通过空间注意力机制跳跃连接模块将特征图G22与第三低层特征融合叠加输出特征图G23；
C44、通过空间注意力机制跳跃连接模块将特征图G23与第二低层特征融合叠加输出特征图G24；
C45、通过空间注意力机制跳跃连接模块将特征图G24与第一低层特征融合叠加输出特征图R1。
6.按照权利要求5所述的一种基于深度学***均池化层，空间注意力机制跳跃连接模块经过自适应最大池化层、自适应平均池化层对输入特征数据进行依次处理，然后进行通道拼接和7×7卷积得到特征数据，再进行Sigmoid激活处理得到空间注意力权重，然后将特征数据与空间注意力权重进行乘积计算得到空间注意力输出结果，经过上采样并在解码阶段得到融合后的特征数据。
7.按照权利要求1所述的一种基于深度学习算法的单幅遥感影像高度信息估算方法，其特征在于：所述高度信息估算网络模型采用边缘信息舍弃方法将研究区的影像块进行拼接，以获取研究区的高度估算结果。
CN202210547696.4A 2022-05-18 2022-05-18 一种基于深度学习算法的单幅遥感影像高度信息估算方法 Active CN114972989B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210547696.4A CN114972989B (zh) 2022-05-18 2022-05-18 一种基于深度学习算法的单幅遥感影像高度信息估算方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210547696.4A CN114972989B (zh) 2022-05-18 2022-05-18 一种基于深度学习算法的单幅遥感影像高度信息估算方法

Publications (2)

Publication Number Publication Date
CN114972989A CN114972989A (zh) 2022-08-30
CN114972989B true CN114972989B (zh) 2023-01-10

Family

ID=82985850

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210547696.4A Active CN114972989B (zh) 2022-05-18 2022-05-18 一种基于深度学习算法的单幅遥感影像高度信息估算方法

Country Status (1)

Country Link
CN (1) CN114972989B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115457390A (zh) * 2022-09-13 2022-12-09 中国人民解放军国防科技大学 遥感影像变化检测方法、装置、计算机设备和存储介质
CN115546649B (zh) * 2022-10-24 2023-04-18 中国矿业大学(北京) 一种单视遥感影像高度估计和语义分割多任务预测方法
CN116503464B (zh) * 2023-06-25 2023-10-03 武汉理工大学三亚科教创新园 基于遥感图像的农田建筑物高度预测方法
CN116503744B (zh) * 2023-06-28 2023-09-29 航天宏图信息技术股份有限公司 高度等级引导的单视角遥感影像建筑高度估计方法和装置
CN117671437B (zh) * 2023-10-19 2024-06-18 中国矿业大学(北京) 基于多任务卷积神经网络的露天采场识别与变化检测方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111401436A (zh) * 2020-03-13 2020-07-10 北京工商大学 一种融合网络和双通道注意力机制的街景图像分割方法
CN113706482A (zh) * 2021-08-16 2021-11-26 武汉大学 一种高分辨率遥感影像变化检测方法
CN113887459A (zh) * 2021-10-12 2022-01-04 中国矿业大学(北京) 一种基于改进Unet++的露天矿区采场变化区域检测方法
CN114092824A (zh) * 2020-08-23 2022-02-25 西南科技大学 结合密集注意力和并行上采样的遥感图像道路分割方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110070488B (zh) * 2019-04-25 2023-01-03 北京工业大学 一种基于卷积神经网络的多角度遥感影像森林高度提取方法
CN113378897A (zh) * 2021-05-27 2021-09-10 浙江省气候中心 基于神经网络的遥感图像分类方法、计算设备及存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111401436A (zh) * 2020-03-13 2020-07-10 北京工商大学 一种融合网络和双通道注意力机制的街景图像分割方法
CN114092824A (zh) * 2020-08-23 2022-02-25 西南科技大学 结合密集注意力和并行上采样的遥感图像道路分割方法
CN113706482A (zh) * 2021-08-16 2021-11-26 武汉大学 一种高分辨率遥感影像变化检测方法
CN113887459A (zh) * 2021-10-12 2022-01-04 中国矿业大学(北京) 一种基于改进Unet++的露天矿区采场变化区域检测方法

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
DenseASPP for Semantic Segmentation in Street Scenes;Kun Yu 等;《2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition》;20181216;全文 *
Functional Classification of Urban Parks Based on Urban Functional Zone and Crowd-Sourced Geographical Data;Su Cao 等;《ISPRS International of Geo-Information》;20211206;全文 *
一种改进的DenseASPP网络在遥感图像分割中的应用;张斌 等;《计算机应用于软件》;20210731;第38卷(第7期);全文 *
基于DeepLab v3+与GF-2高分辨率影像的露天煤矿区土地利用分类;张成业 等;《煤田地质与勘探》;20220511;全文 *
基于注意力密集连接金字塔网络的新增建设用地变化检测;潘建平 等;《测绘通报》;20220331(第3期);全文 *
基于深度学习的图像语义分割算法研究;王囡;《中国优秀硕士学位论文全文数据库信息科技辑》;20220215(第2期);第4章 *

Also Published As

Publication number Publication date
CN114972989A (zh) 2022-08-30

Similar Documents

Publication Publication Date Title
CN114972989B (zh) 一种基于深度学习算法的单幅遥感影像高度信息估算方法
CN111640159B (zh) 一种基于孪生卷积神经网络的遥感影像变化检测方法
CN111738110A (zh) 基于多尺度注意力机制的遥感图像车辆目标检测方法
CN111126359B (zh) 基于自编码器与yolo算法的高清图像小目标检测方法
CN110728658A (zh) 一种基于深度学习的高分辨率遥感影像弱目标检测方法
CN114565860B (zh) 一种多维度增强学习合成孔径雷达图像目标检测方法
CN114638794A (zh) 基于深度学习和slam技术的裂缝检测与三维定位方法
CN117152443B (zh) 一种基于语义前导指引的图像实例分割方法及***
CN113554032A (zh) 基于高度感知的多路并行网络的遥感图像分割方法
CN115564692A (zh) 顾及幅宽差异下的全色-多光谱-高光谱一体化融合方法
CN114092824A (zh) 结合密集注意力和并行上采样的遥感图像道路分割方法
CN116503709A (zh) 一种基于改进YOLOv5的雾霾天气下车辆检测方法
CN115035172A (zh) 基于置信度分级及级间融合增强的深度估计方法及***
CN112633123B (zh) 一种基于深度学习的异源遥感影像变化检测方法及装置
CN114943888A (zh) 基于多尺度信息融合的海面小目标检测方法、电子设备及计算机可读介质
CN116912675B (zh) 一种基于特征迁移的水下目标检测方法及***
CN117612153A (zh) 基于图像与点云信息补全的三维目标识别与定位方法
CN116363610A (zh) 一种基于改进YOLOv5的航拍车辆旋转目标检测方法
CN116129234A (zh) 一种基于注意力的4d毫米波雷达与视觉的融合方法
CN113763261B (zh) 一种海雾气象条件下的远小目标实时检测方法
CN115482280A (zh) 一种基于自适应直方图均衡化的视觉定位方法
CN111967292B (zh) 一种轻量级的sar图像船只检测方法
CN112464989A (zh) 一种基于目标检测网络的闭环检测方法
CN117523205B (zh) 少样本ki67多类别细胞核的分割识别方法
KR102516199B1 (ko) 특징검출을 위한 필터가 포함된 인공신경망을 이용한 비전 검사를 위한 장치 및 이를 위한 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant