CN111797703A - 基于鲁棒深度语义分割网络的多源遥感影像分类方法 - Google Patents
基于鲁棒深度语义分割网络的多源遥感影像分类方法 Download PDFInfo
- Publication number
- CN111797703A CN111797703A CN202010529478.9A CN202010529478A CN111797703A CN 111797703 A CN111797703 A CN 111797703A CN 202010529478 A CN202010529478 A CN 202010529478A CN 111797703 A CN111797703 A CN 111797703A
- Authority
- CN
- China
- Prior art keywords
- semantic segmentation
- remote sensing
- robust
- loss function
- deep semantic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 75
- 238000000034 method Methods 0.000 title claims abstract description 39
- 230000006870 function Effects 0.000 claims abstract description 76
- 238000004364 calculation method Methods 0.000 claims description 20
- 238000012549 training Methods 0.000 claims description 14
- 230000003044 adaptive effect Effects 0.000 claims description 12
- 238000011176 pooling Methods 0.000 claims description 12
- 238000000605 extraction Methods 0.000 claims description 10
- 230000004913 activation Effects 0.000 claims description 6
- 238000010606 normalization Methods 0.000 claims description 6
- 238000013507 mapping Methods 0.000 claims description 5
- 238000005070 sampling Methods 0.000 claims description 5
- 238000002372 labelling Methods 0.000 abstract description 8
- 230000002411 adverse Effects 0.000 description 5
- 238000005457 optimization Methods 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000002401 inhibitory effect Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 230000002829 reductive effect Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 239000011800 void material Substances 0.000 description 1
- 230000003313 weakening effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/13—Satellite images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Multimedia (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Astronomy & Astrophysics (AREA)
- Remote Sensing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于鲁棒深度语义分割网络的多源遥感影像分类方法(Robust Loss Function of Remote Sensing Imagery,RSRLF),该方法由容错性损失函数与自适应类别权重组成。基于开源土地覆盖分类数据集进行遥感语义分割能够极大地减少样本标注工作,但是开源土地覆盖分类数据集中包含一定的标注错误样本。本发明中的容错性损失函数能够抑制模型学习噪声标签,避免模型对噪声标签过拟合;类别均衡约束模块能够解决地物类别在全球分布样本规模差异大、类别间混淆度不一致的问题。两者结合能够有效解决使用开源土地覆盖分类数据集进行遥感语义分割中噪声标签与类别样本不均衡问题,提高基于开源土地覆盖分类数据集进行地物分类的精度。
Description
技术领域
本发明属于遥感解译与人工智能的交叉领域,涉及一种基于鲁棒深度语义分割网络的多源遥感影像分类方法,具体包含容错性深度学习和自适应类别均衡权重协同学习的遥感语义分割鲁棒学习方法。
背景技术
土地利用与土地覆盖变化直接地影响着世界范围内的气候与生物多样性。快速、有效地获取真实、可靠的土地覆盖数据,能够为全球气候变化研究、土地覆盖变化检测、生态模型建立提供重要支持。随着遥感影像的空间分辨率的不断提高,大范围土地覆盖分类制图的分辨率也在不断的提升。如何快速、准确地获取土地覆盖分类制图受到国内外学者地广泛关注。
深度学习的优越性能高度依赖数据集标签的规模与质量。随着越来越多卫星载荷的在轨运行,遥感卫星数据可以更容易、更便捷地获取,但可靠的标注数据却仍旧耗费大量人力物力。开源土地覆盖分类产品能够一定程度上替代标注数据,如2005年欧盟发布的1km分辨率土地覆盖分类制图GLC2000、2019年清华大学发布的10米分辨率土地覆盖制图FROM-GLC10等。利用现有开源地物覆盖分类产品来创建深度学习亟需的标签数据,能够克服面向大范围土地覆盖分类所呈现出的标签监督数据收集困难的问题。然而,开源地物覆盖分类产品中不可避免地存在一定的错误。利用开源地物覆盖产品进行深度语义分割网络训练的核心问题是解决噪声标签对深度语义分割网络训练带来的不利影响。
容错性方法旨在抑制或消除噪声标签在网络训练过程中的不利影响,从而达到甚至超越无噪声训练模型。近年来,容错性方法在机器视觉领域的目标识别任务中发展迅速。如Goldberger等提出在softmax层后添加一个全连接层,从而更新噪声转换矩阵。噪声转换矩阵定义了一类转换为另一类的可能性,能够修正损失函数,从而获取噪声鲁棒的模型。Wang等提出的Symmetric Cross Entropy(SCE)损失函数,通过使用Reverse CrossEntropy(RCE)抑制简单类学习,从而达到简单类与困难类共同提升的目的,避免简单类噪声已经过拟合,困难类却出现欠拟合的现象。Yuan等提出Iterative Cross Learning(ICL)结构,使用多个独立的神经网络进行学习,由于每个网络输入数据是独立的,因此不同的网络的分类性能存在差异,通过多模型投票进行标签修正,能够减少噪声标签。再基于更新后的数据再次进行模型训练。遥感影像区别于自然图像,一方面遥感影像受到季节、拍摄角度等原因存在类内差异大、类间相似度高等问题,另一方面,全球范围内不同地物类别的样本规模差异大,不同地物类别间混淆度不同。现有的容错性方法多用于解决计算机视觉领域的目标识别问题,针对遥感图像语义分割问题的容错性学习方法研究较少,因此亟待发展适用于遥感影像语义分割的容错性学习技术。
发明内容
本发明主要是解决现有技术在基于开源土地覆盖分类数据的遥感影像地物分类过程中所存在的分类结果精度低问题,提供了一种基于鲁棒深度语义分割网络的多源遥感影像分类方法(Robust Loss Function of Remote Sensing Imagery,RSRLF),由容错性损失函数与自适应类别均衡权重组成,可以有效地提高基于开源土地覆盖分类数据集的遥感影像地物分类的精度。
深度语义分割的优越性能依赖于大量高质量的数据集标签,人工标注标签耗费大量的人力物力。基于开源土地覆盖分类数据集进行遥感语义分割能够极大地减少人工标注工作,但是开源土地覆盖分类数据集中存在一定的标注错误。噪声标签会对模型学***均绝对误差(MAE)、对称交叉熵(SCE)等容错性损失函数,以及迭代交叉学习(ICL)、联合优化(JointOptimization)等标签修订机制。但是在遥感语义分割领域,容错性相关研究较少,现有容错性方法无法简单地扩展到遥感语义分割问题中。遥感语义分割中,不同类别混淆都不一致且样本规模差异大。在保留噪声鲁棒性的基础上解决以上遥感语义分割问题,即可得到适用于遥感语义分割的容错性方法。
在遥感影像语义分割时,当A1地物类别存在相似度高类别{Ai,…,Ak},且A1地物在相似度高类别中的样本规模较小时,隐性学习权重较小,模型难以学习到准确的A1与其相似度高类别间分类边界,导致A1地物的分类性能低。为了解决这个问题,本发明提出基于自适应类别均衡权重。在此基础上,联合容错性损失函数与自适应类别均衡权重能够有效地解决基于开源土地覆盖分类数据的遥感语义分割问题,既利用了容错性方法善于抑制噪声标签过拟合的优点,又结合了自适应类别均衡权重的减弱样本不均衡学习特点。容错性损失函数方法抑制预测概率小的样本学习,从而抑制模型噪声过拟合;自适应类别均衡权重可以促进易混淆且样本规模小类别学习,避免容错性方法过度抑制导致的分类问题。本发明可以在基于开源土地覆盖分类数据深度语义分割方法的基础上进一步提高地物分类的精度。
本发明所采用的技术方案是:基于鲁棒深度语义分割网络的多源遥感影像分类方法(RSRLF),包括以下步骤:
步骤1,以遥感影像数据集作为深度语义分割网络的输入数据进行训练,所述深度语义分割网络中的损失函数为RSRLF鲁棒损失函数,RSRLF鲁棒损失函数包括容错性损失函数和自适应类别均衡权重,,通过后向传播算法随机梯度下降(Stochastic GradientDescent,SGD)优化深度语义分割网络,得到鲁棒遥感深度语义分割模型;
步骤2,基于开源土地覆盖分类数据集计算自适应类别均衡权重,修正RSRLF鲁棒损失函数以优化鲁棒遥感深度语义分割模型;
步骤3,最后利用优化后的鲁棒遥感深度语义分割模型对多源遥感影像数据进行分类。
进一步的,步骤1所述深度语义分割网络为编码器-解码器结构;编码器中特征提取网络使用ResNet,ResNet由1个输入模块和4个计算模块组成,输入模块由卷积层与最大池化层组成,计算模块由不同数量的残差单元组成;在特征提取网络后使用空洞空间金字塔池化ASPP进行高层次特征提取,包含4个并行的卷积层与1个全局平均池化层,共5个分支,最后,将ASPP不同分支的输出结果拼接到一起,输入到1×1卷积层,得到高层次特征;解码器通过对低层次特征与高层次特征进行融合,并上采样到输入图像大小,得到更加清晰的物体边界;其中低层次特征为编码器中1个计算模块的输出特征,解码器先将低层次特征输入1×1卷积层,再将输出特征与上采样4倍的高层次特征拼接在一起,然后输入3×3卷积层,最后上采样4倍得到分割结果。
进一步的,4个计算模块均使用瓶颈块残差单元,瓶颈块由1×1、3×3、1×1卷积层堆叠组成,卷积层中使用批归一化和ReLU激活函数;4个计算模块分别有3、4、23、3个瓶颈块残差单元,计算模块1残差单元中卷积层通道数为64、64、256,计算模块2残差单元中卷积层通道数为128、128、512,计算模块3残差单元中卷积层通道数为256、256、1024,计算模块4残差单元中卷积层使用空洞卷积,膨胀率分别为2、4、8,通道数为512、512、2048。
进一步的,ASPP的4个并行的卷积层中使用批归一化和ReLU激活函数,分别为1个1×1与3个3×3卷积层,3个3×3的卷积层的扩张率分别为6、12、18,所有分支包含256个通道,其中全局池化层输出特征通过双线性上采样输出还原到对应尺寸。
进一步的,步骤1中,利用输入影像及其对应的开源地物覆盖分类标签来训练深度语义分割网络,假设遥感影像原始数据为X,样本X大小为W×H,令θ为深度语义分割网络的模型参数,如式壹所示,对于观测样本X的给定i列j行像素属于类别k的预测概率为f(i,j)(k|X;θ);
RSRLF鲁棒损失函数如式贰,通过后向传播算法随机梯度下降优化深度语义分割网络;
LRSRLF=LGCE×wk (式贰)
其中,LGCE为容错性损失函数,wk为自适应类别均衡权重;
RSRLF鲁棒损失函数中容错性损失函数使用广义交叉熵损失函数GCE,表示如式叁所示:
其中,K为分类类别的数量,q∈(0,1],e(i,j)(k|X)表示样本X在标签上的真实分布,如果该类别与样本的类别相同,e(i,j)(k|X)为1,否则为0;由洛必达法则可知,limq→0LGCE=LCE,当q=1时,GCE等价于MAE损失函数;因此GCE目标函数是CE与MAE的归一化形式,GCE损失函数的梯度如式肆所示:
RSRLF损失函数的梯度如式伍所示:
进一步的,步骤2中,自适应类别均衡权重具体内容如下:
k类的类别均衡权重的具体计算公式如式陆所示:
其中,Bk为k类占相似度高类别的比例;
其中,Bk为k类在相似度高类别中的比例,Rk为k类在开源土地覆盖分类数据集中的比例,L为k类相似度高类别数,Ri为k类相似度高类在开源土地覆盖分类数据集中的比例。
本发明具有以下优点:通过引入自适应类别均衡权重解决了遥感语义分割中的不同类别混淆度差异和样本规模差异大问题。同时将计算机视觉领域的容错性损失函数引入遥感语义分割领域,消除了开源土地覆盖分类数据中噪声标签对语义分割的不利影响。使用本发明方法能够使用开源土地覆盖分类数据进行遥感语义分割工作,开源土地覆盖分类数据减少了样本标注工作。
附图说明
图1:本发明实施例的总体流程图。
图2:本发明实施例的深度语义分割网络结构图
图3:本发明实施例的地物分类结果示意图。
具体实施方式
为了便于本领域普通技术人员理解和实施本发明,下面结合附图及实施例对本发明作进一步的详细描述,应当理解,此处所描述的实施示例仅用于说明和解释本发明,并不用于限定本发明。
请见图1,本发明提供的一种基于鲁棒深度语义分割网络的多源遥感影像分类方法,由容错性损失函数与自适应类别权重组成。包括以下步骤:
步骤1:深度语义分割网络训练和地物分类。以遥感影像数据集作为深度语义分割网络的输入数据进行训练,所述深度语义分割网络中的损失函数为RSRLF鲁棒损失函数,RSRLF鲁棒损失函数包括容错性损失函数和自适应类别均衡权重,通过后向传播算法随机梯度下降(Stochastic Gradient Descent,SGD)优化深度语义分割网络。本发明基于2020IEEE Data Fusion Contest(DFC2020)提供的SEN12MS遥感地物分类数据集与FROM-GLC10地物分类产品创建的SEN12GLC数据集为例,该数据集的地物类别包括8类,分别为森林(Forest)、裸地(Barren)、灌木(Shrubland)、草原(Grassland)、水体(Water)、湿地(Wetlands)、耕地(Cropland)和城市/建筑用地(Urban)。训练集共包含180662组数据,验证集与测试集为DFC2020提供的精确标注的标签数据,共包含986组数据。随机选取300组数据作为验证集数据,剩余数据为测试集数据。本发明利用验证集数据对模型进行优选;
步骤2:基于步骤1中创建的SEN12GLC数据集计算自适应类别均衡权重,修正RSRLF鲁棒损失函数以优化鲁棒遥感深度语义分割模型;
步骤3,最后利用优化后的鲁棒遥感深度语义分割模型对多源遥感影像数据进行分类。
本发明中的深度语义分割网络的网络结构请见图2,该深度语义分割网络为编码器-解码器结构。编码器中特征提取网络使用ResNet,ResNet由1个输入模块和4个计算模块组成,输入模块由步长为2的7×7×64卷积层与步长为2的3×3最大池化层组成;计算模块由不同数量的残差单元组成,本发明使用瓶颈块残差单元,瓶颈块由1×1、3×3、1×1卷积层堆叠组成,卷积层中使用批归一化和ReLU激活函数。本发明使用ResNet101,四个计算模块分别有3、4、23、3个瓶颈块残差单元,计算模块1残差单元中卷积层通道数为64、64、256,计算模块2残差单元中卷积层通道数为128、128、512,计算模块3残差单元中卷积层通道数为256、256、1024,计算模块4残差单元中卷积层使用空洞卷积,膨胀率分别为2、4、8,通道数为512、512、2048。在特征提取网络后使用空洞空间金字塔池化(ASPP)进行特征提取,包含4个并行的卷积层与1个全局平均池化层,共5个分支,卷积层中使用批归一化和ReLU激活函数,分别为1个1×1与3个3×3卷积层(扩张率分别为6、12、18),所有分支包含256个通道。其中全局池化层输出特征通过双线性上采样输出还原到对应尺寸。最后,将ASPP不同分支的输出结果拼接到一起,输入到1×1卷积层,得到高层次特征。解码器通过对低层次特征与高层次特征进行融合,并上采样到输入图像大小,得到更加清晰的物体边界。其中低层次特征为编码器中计算模块1的输出特征。解码器先将低层次特征输入1×1卷积层,再将输出特征与上采样4倍的高层次特征拼接在一起,然后输入3×3卷积层,最后上采样4倍得到分割结果。
利用输入影像及其对应的开源地物覆盖分类标签来训练DeepLabv3+网络,假设遥感影像原始数据为X,样本X大小为W×H,令θ为深度语义分割网络的模型参数,如式壹所示,对于观测样本X的给定i列j行像素属于类别k的预测概率为f(i,j)(k|X;θ)。本发明考虑映射函数为常见的具有softmax输出层的分类器,即输出概率
RSRLF鲁棒损失函数如式贰,通过后向传播算法随机梯度下降(StochasticGradient Descent,SGD)优化深度语义分割网络,发明方法分类结果如图3所示;
LRSRLF=LGCE×wk (式贰)
其中,LGCE为容错性损失函数,wk为自适应类别均衡权重;
RSRLF中容错性损失函数使用广义交叉熵损失函数(GCE),表示如式叁所示:
其中,K为分类类别的数量,q∈(0,1],e(i,j)(k|X)表示样本X在标签上的真实分布,如果该类别与样本的类别相同,e(i,j)(k|X)为1,否则为0。由洛必达法则可知,limq→0LGCE=LCE,当q=1时,GCE等价于MAE损失函数。因此GCE目标函数是CE与MAE的归一化形式。GCE损失函数的梯度如式肆所示:
RSRLF损失函数的梯度如式伍所示:
当f(i,j)(k|X;θ)较小时,f(i,j)(k|X;θ)q-1较小,使用GCE损失函数进行训练时,将更少地关注softmax输出与标签一致性差的样本,从而提升了模型对噪声标签的鲁棒性。与MAE相比,将q设置在0到1之间,能够在噪声鲁棒性与更好的学***衡,从而控制反向传播时对某些类别的学习倾向程度。GCE损失函数可以针对特定数据集调整参数,从而获得适应该数据集的鲁棒损失函数。正是基于该特性,本发明使用GCE损失函数作为RSRLF中的容错性损失函数。
自适应类别均衡权重用于解决由于类别样本规模差异导致的隐性学习权重。如湿地类别在全球范围较少,开源地物分类数据中湿地样本规模小,因此模型难以学习湿地类。通过自适应类别均衡权重能够人为地修正模型类别学习权重,从而保证遥感语义分割时各个类别都能够得到有效的学习。k类的类别均衡权重具体实现方法如式陆所示:
其中,Bk为k类占相似度高类别(相似度大于20%)的比例;
其中,Bk为k类在相似度高类别中的比例,Rk为k类在SEN12GLC数据集中的比例,L为k类相似度高类别数(包含k类),Ri为k类相似度高类在SEN12GLC数据集中比例;
与仅使用GCE损失函数相比,本发明方法在SEN12GLC数据集训练得到的模型在OA(overall accuracy)与mIoU上分别提升了1.08%、2.35%,分类结果见图3。本发明方法由容错性深度学习方法与自适应类别均衡权重联合优化深度语义分割网络组成。在进行优化前,基于开源土地覆盖分类数据集计算自适应类别均衡权重,并将自适应类别均衡权重加入容错性损失函数中,组成RSRLF鲁棒损失函数。基于RSRLF鲁棒损失函数进行深度语义分割网络优化,得到噪声鲁棒深度语义分割模型。使用开源土地覆盖分类数据集极大地减少了样本标注工作,本发明有效解决了开源地物分类数据集错误标签导致的不利影响,提高了基于开源土地覆盖分类数据集的遥感影像地物分类方法的分类精度。
本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代,但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。
Claims (6)
1.一种基于鲁棒深度语义分割网络的多源遥感影像分类方法,其特征在于,包括以下步骤:
步骤1,以遥感影像数据集作为深度语义分割网络的输入数据进行训练,所述深度语义分割网络中的损失函数为RSRLF鲁棒损失函数,RSRLF鲁棒损失函数包括容错性损失函数和自适应类别均衡权重,通过后向传播算法随机梯度下降优化深度语义分割网络,得到鲁棒遥感深度语义分割模型;
步骤2,基于开源土地覆盖分类数据集计算自适应类别均衡权重,修正RSRLF鲁棒损失函数以优化鲁棒遥感深度语义分割模型;
步骤3,最后利用优化后的鲁棒遥感深度语义分割模型对多源遥感影像数据进行分类。
2.根据权利要求1所述的基于鲁棒深度语义分割网络的多源遥感影像分类方法,其特征在于:步骤1所述深度语义分割网络为编码器-解码器结构;编码器中特征提取网络使用ResNet,ResNet由1个输入模块和4个计算模块组成,输入模块由卷积层与最大池化层组成,计算模块由不同数量的残差单元组成;在特征提取网络后使用空洞空间金字塔池化ASPP进行高层次特征提取,包含4个并行的卷积层与1个全局平均池化层,共5个分支,最后,将ASPP不同分支的输出结果拼接到一起,输入到1×1卷积层,得到高层次特征;解码器通过对低层次特征与高层次特征进行融合,并上采样到输入图像大小,得到更加清晰的物体边界;其中低层次特征为编码器中1个计算模块的输出特征,解码器先将低层次特征输入1×1卷积层,再将输出特征与上采样4倍的高层次特征拼接在一起,然后输入3×3卷积层,最后上采样4倍得到分割结果。
3.根据权利要求2所述的基于鲁棒深度语义分割网络的多源遥感影像分类方法,其特征在于:4个计算模块均使用瓶颈块残差单元,瓶颈块由1×1、3×3、1×1卷积层堆叠组成,卷积层中使用批归一化和ReLU激活函数;4个计算模块分别有3、4、23、3个瓶颈块残差单元,计算模块1残差单元中卷积层通道数为64、64、256,计算模块2残差单元中卷积层通道数为128、128、512,计算模块3残差单元中卷积层通道数为256、256、1024,计算模块4残差单元中卷积层使用空洞卷积,膨胀率分别为2、4、8,通道数为512、512、2048。
4.根据权利要求2所述的基于鲁棒深度语义分割网络的多源遥感影像分类方法,其特征在于:ASPP的4个并行的卷积层中使用批归一化和ReLU激活函数,分别为1个1×1与3个3×3卷积层,3个3×3的卷积层的扩张率分别为6、12、18,所有分支包含256个通道,其中全局池化层输出特征通过双线性上采样输出还原到对应尺寸。
5.根据权利要求1所述的一种基于鲁棒深度语义分割网络的多源遥感影像分类方法,其特征在于:步骤1中,利用输入影像及其对应的开源地物覆盖分类标签来训练深度语义分割网络,假设遥感影像原始数据为X,样本X大小为W×H,令θ为深度语义分割网络的模型参数,如式壹所示,对于观测样本X的给定i列j行像素属于类别k的预测概率为f(i,j)(k|X;θ);
RSRLF鲁棒损失函数如式贰,通过后向传播算法随机梯度下降优化深度语义分割网络;
LRSRLF=LGCE×wk (式贰)
其中,LGCE为容错性损失函数,wk为自适应类别均衡权重;
RSRLF鲁棒损失函数中容错性损失函数使用广义交叉熵损失函数GCE,表示如式叁所示:
其中,K为分类类别的数量,q∈(0,1],e(i,j)(k|X)表示样本X在标签上的真实分布,如果该类别与样本的类别相同,e(i,j)(k|X)为1,否则为0;由洛必达法则可知,limq→0LGCE=LCE,当q=1时,GCE等价于MAE损失函数;因此GCE目标函数是CE与MAE的归一化形式,GCE损失函数的梯度如式肆所示:
RSRLF损失函数的梯度如式伍所示:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010529478.9A CN111797703B (zh) | 2020-06-11 | 2020-06-11 | 基于鲁棒深度语义分割网络的多源遥感影像分类方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010529478.9A CN111797703B (zh) | 2020-06-11 | 2020-06-11 | 基于鲁棒深度语义分割网络的多源遥感影像分类方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111797703A true CN111797703A (zh) | 2020-10-20 |
CN111797703B CN111797703B (zh) | 2022-04-01 |
Family
ID=72803246
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010529478.9A Active CN111797703B (zh) | 2020-06-11 | 2020-06-11 | 基于鲁棒深度语义分割网络的多源遥感影像分类方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111797703B (zh) |
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112070078A (zh) * | 2020-11-16 | 2020-12-11 | 武汉思众空间信息科技有限公司 | 基于深度学习的土地利用分类方法及*** |
CN112465840A (zh) * | 2020-12-10 | 2021-03-09 | 重庆紫光华山智安科技有限公司 | 语义分割模型训练方法、语义分割方法及相关装置 |
CN112560716A (zh) * | 2020-12-21 | 2021-03-26 | 浙江万里学院 | 一种基于低层特征融合的高分辨率遥感影像水体提取方法 |
CN112560577A (zh) * | 2020-11-13 | 2021-03-26 | 空间信息产业发展股份有限公司 | 一种基于语义分割的遥感图像地物分类方法 |
CN112767413A (zh) * | 2021-01-06 | 2021-05-07 | 武汉大学 | 综合区域连通和共生知识约束的遥感影像深度语义分割方法 |
CN113011513A (zh) * | 2021-03-29 | 2021-06-22 | 华南理工大学 | 一种基于通用域自适应的图像大数据分类方法 |
CN113112484A (zh) * | 2021-04-19 | 2021-07-13 | 山东省人工智能研究院 | 一种基于特征压缩和噪声抑制的心室图像分割方法 |
CN113255676A (zh) * | 2021-05-21 | 2021-08-13 | 福州大学 | 基于多源数据融合的高分遥感影像语义分割模型及方法 |
CN113449594A (zh) * | 2021-05-25 | 2021-09-28 | 湖南省国土资源规划院 | 一种多层网络组合的遥感影像地类语义分割与面积计算方法 |
CN113537317A (zh) * | 2021-06-30 | 2021-10-22 | 中国海洋大学 | 基于可解释深度学习的遥感图像跨域分类方法 |
CN113918700A (zh) * | 2021-10-15 | 2022-01-11 | 浙江百世技术有限公司 | 一种带噪的半监督意图识别模型训练方法 |
CN114067177A (zh) * | 2021-11-18 | 2022-02-18 | 中国人民解放军国防科技大学 | 一种基于自监督学习的遥感图像分类网络鲁棒性提升方法 |
CN114119621A (zh) * | 2021-11-30 | 2022-03-01 | 云南电网有限责任公司输电分公司 | 基于深度编解码融合网络的sar遥感图像水域分割方法 |
CN117611817A (zh) * | 2023-11-29 | 2024-02-27 | 中山大学 | 基于堆叠深度残差网络的遥感图像语义分割方法及*** |
CN118230176A (zh) * | 2024-05-23 | 2024-06-21 | 江西师范大学 | 基于多源遥感与时空深度集成学习的湿地分类方法及*** |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108537192A (zh) * | 2018-04-17 | 2018-09-14 | 福州大学 | 一种基于全卷积网络的遥感影像地表覆盖分类方法 |
AU2018101336A4 (en) * | 2018-09-12 | 2018-10-11 | Hu, Yuan Miss | Building extraction application based on machine learning in Urban-Suburban-Integration Area |
CN109255334A (zh) * | 2018-09-27 | 2019-01-22 | 中国电子科技集团公司第五十四研究所 | 基于深度学习语义分割网络的遥感影像地物分类方法 |
CN110728187A (zh) * | 2019-09-09 | 2020-01-24 | 武汉大学 | 一种基于容错性深度学习的遥感影像场景分类方法 |
CN110796105A (zh) * | 2019-11-04 | 2020-02-14 | 中国矿业大学 | 一种基于多模态数据融合的遥感图像语义分割方法 |
CN110826458A (zh) * | 2019-10-31 | 2020-02-21 | 河海大学 | 一种基于深度学习的多光谱遥感图像变化检测方法及*** |
CN110929696A (zh) * | 2019-12-16 | 2020-03-27 | 中国矿业大学 | 一种基于多模态注意与自适应融合的遥感图像语义分割方法 |
CN111079649A (zh) * | 2019-12-17 | 2020-04-28 | 西安电子科技大学 | 基于轻量化语义分割网络的遥感图像地物分类方法 |
CN111127493A (zh) * | 2019-11-12 | 2020-05-08 | 中国矿业大学 | 基于注意力多尺度特征融合的遥感图像语义分割方法 |
US20200151497A1 (en) * | 2018-11-12 | 2020-05-14 | Sony Corporation | Semantic segmentation with soft cross-entropy loss |
CN111178316A (zh) * | 2020-01-06 | 2020-05-19 | 武汉大学 | 一种基于深度架构自动搜索的高分辨率遥感影像土地覆盖分类方法 |
-
2020
- 2020-06-11 CN CN202010529478.9A patent/CN111797703B/zh active Active
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108537192A (zh) * | 2018-04-17 | 2018-09-14 | 福州大学 | 一种基于全卷积网络的遥感影像地表覆盖分类方法 |
AU2018101336A4 (en) * | 2018-09-12 | 2018-10-11 | Hu, Yuan Miss | Building extraction application based on machine learning in Urban-Suburban-Integration Area |
CN109255334A (zh) * | 2018-09-27 | 2019-01-22 | 中国电子科技集团公司第五十四研究所 | 基于深度学习语义分割网络的遥感影像地物分类方法 |
US20200151497A1 (en) * | 2018-11-12 | 2020-05-14 | Sony Corporation | Semantic segmentation with soft cross-entropy loss |
CN110728187A (zh) * | 2019-09-09 | 2020-01-24 | 武汉大学 | 一种基于容错性深度学习的遥感影像场景分类方法 |
CN110826458A (zh) * | 2019-10-31 | 2020-02-21 | 河海大学 | 一种基于深度学习的多光谱遥感图像变化检测方法及*** |
CN110796105A (zh) * | 2019-11-04 | 2020-02-14 | 中国矿业大学 | 一种基于多模态数据融合的遥感图像语义分割方法 |
CN111127493A (zh) * | 2019-11-12 | 2020-05-08 | 中国矿业大学 | 基于注意力多尺度特征融合的遥感图像语义分割方法 |
CN110929696A (zh) * | 2019-12-16 | 2020-03-27 | 中国矿业大学 | 一种基于多模态注意与自适应融合的遥感图像语义分割方法 |
CN111079649A (zh) * | 2019-12-17 | 2020-04-28 | 西安电子科技大学 | 基于轻量化语义分割网络的遥感图像地物分类方法 |
CN111178316A (zh) * | 2020-01-06 | 2020-05-19 | 武汉大学 | 一种基于深度架构自动搜索的高分辨率遥感影像土地覆盖分类方法 |
Non-Patent Citations (3)
Title |
---|
XIN W.等: "A new semantic segmentation model for remote sensing images", 《2017 IEEE INTERNATIONAL GEOSCIENCE AND REMOTE SENSING SYMPOSIUM (IGARSS)》 * |
李欣 等: "利用深度残差网络的高分遥感影像语义分割", 《应用科学学报》 * |
林锦发: "基于深度学习的遥感图像语义分割方法研究", 《中国优秀硕士学位论文全文数据库 (工程科技II辑)》 * |
Cited By (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112560577A (zh) * | 2020-11-13 | 2021-03-26 | 空间信息产业发展股份有限公司 | 一种基于语义分割的遥感图像地物分类方法 |
CN112070078A (zh) * | 2020-11-16 | 2020-12-11 | 武汉思众空间信息科技有限公司 | 基于深度学习的土地利用分类方法及*** |
CN112070078B (zh) * | 2020-11-16 | 2021-01-19 | 武汉思众空间信息科技有限公司 | 基于深度学习的土地利用分类方法及*** |
CN112465840A (zh) * | 2020-12-10 | 2021-03-09 | 重庆紫光华山智安科技有限公司 | 语义分割模型训练方法、语义分割方法及相关装置 |
CN112560716A (zh) * | 2020-12-21 | 2021-03-26 | 浙江万里学院 | 一种基于低层特征融合的高分辨率遥感影像水体提取方法 |
CN112560716B (zh) * | 2020-12-21 | 2024-05-28 | 浙江万里学院 | 一种基于低层特征融合的高分辨率遥感影像水体提取方法 |
CN112767413B (zh) * | 2021-01-06 | 2022-03-15 | 武汉大学 | 综合区域连通和共生知识约束的遥感影像深度语义分割方法 |
CN112767413A (zh) * | 2021-01-06 | 2021-05-07 | 武汉大学 | 综合区域连通和共生知识约束的遥感影像深度语义分割方法 |
CN113011513A (zh) * | 2021-03-29 | 2021-06-22 | 华南理工大学 | 一种基于通用域自适应的图像大数据分类方法 |
CN113011513B (zh) * | 2021-03-29 | 2023-03-24 | 华南理工大学 | 一种基于通用域自适应的图像大数据分类方法 |
CN113112484B (zh) * | 2021-04-19 | 2021-12-31 | 山东省人工智能研究院 | 一种基于特征压缩和噪声抑制的心室图像分割方法 |
CN113112484A (zh) * | 2021-04-19 | 2021-07-13 | 山东省人工智能研究院 | 一种基于特征压缩和噪声抑制的心室图像分割方法 |
CN113255676A (zh) * | 2021-05-21 | 2021-08-13 | 福州大学 | 基于多源数据融合的高分遥感影像语义分割模型及方法 |
CN113449594B (zh) * | 2021-05-25 | 2022-11-11 | 湖南省国土资源规划院 | 一种多层网络组合的遥感影像地类语义分割与面积计算方法 |
CN113449594A (zh) * | 2021-05-25 | 2021-09-28 | 湖南省国土资源规划院 | 一种多层网络组合的遥感影像地类语义分割与面积计算方法 |
CN113537317A (zh) * | 2021-06-30 | 2021-10-22 | 中国海洋大学 | 基于可解释深度学习的遥感图像跨域分类方法 |
CN113537317B (zh) * | 2021-06-30 | 2023-12-22 | 中国海洋大学 | 基于可解释深度学习的遥感图像跨域分类方法 |
CN113918700A (zh) * | 2021-10-15 | 2022-01-11 | 浙江百世技术有限公司 | 一种带噪的半监督意图识别模型训练方法 |
CN113918700B (zh) * | 2021-10-15 | 2022-07-12 | 浙江百世技术有限公司 | 一种带噪的半监督意图识别模型训练方法 |
CN114067177A (zh) * | 2021-11-18 | 2022-02-18 | 中国人民解放军国防科技大学 | 一种基于自监督学习的遥感图像分类网络鲁棒性提升方法 |
CN114119621A (zh) * | 2021-11-30 | 2022-03-01 | 云南电网有限责任公司输电分公司 | 基于深度编解码融合网络的sar遥感图像水域分割方法 |
CN117611817A (zh) * | 2023-11-29 | 2024-02-27 | 中山大学 | 基于堆叠深度残差网络的遥感图像语义分割方法及*** |
CN118230176A (zh) * | 2024-05-23 | 2024-06-21 | 江西师范大学 | 基于多源遥感与时空深度集成学习的湿地分类方法及*** |
Also Published As
Publication number | Publication date |
---|---|
CN111797703B (zh) | 2022-04-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111797703B (zh) | 基于鲁棒深度语义分割网络的多源遥感影像分类方法 | |
CN113850825B (zh) | 基于上下文信息和多尺度特征融合的遥感图像道路分割方法 | |
WO2022011681A1 (zh) | 一种基于迭代补全的知识图谱融合方法 | |
CN106650789B (zh) | 一种基于深度lstm网络的图像描述生成方法 | |
CN111797779A (zh) | 基于区域注意力多尺度特征融合的遥感图像语义分割方法 | |
CN109101975A (zh) | 基于全卷积神经网络的图像语义分割方法 | |
CN114092832B (zh) | 一种基于并联混合卷积网络的高分辨率遥感影像分类方法 | |
CN112712488B (zh) | 基于自注意力融合的遥感图像超分辨率重建方法 | |
CN110033054B (zh) | 基于协同笔画优化的个性化手写体迁移方法和*** | |
CN105550649A (zh) | 基于全耦合局部约束表示的极低分辨率人脸识别方法及*** | |
CN113971764B (zh) | 一种基于改进YOLOv3的遥感图像小目标检测方法 | |
CN112580694B (zh) | 基于联合注意力机制的小样本图像目标识别方法及*** | |
CN113191357A (zh) | 基于图注意力网络的多层次图像-文本匹配方法 | |
CN113362242B (zh) | 基于多特征融合网络的图像修复方法 | |
CN114419449A (zh) | 一种自注意力多尺度特征融合的遥感图像语义分割方法 | |
CN113393370A (zh) | 中国书法文字图像风格迁移的方法、***、智能终端 | |
CN110555461A (zh) | 基于多结构卷积神经网络特征融合的场景分类方法及*** | |
CN113112020A (zh) | 一种基于生成网络与知识蒸馏的模型网络提取和压缩方法 | |
CN114581560A (zh) | 基于注意力机制的多尺度神经网络红外图像彩色化方法 | |
CN116258990A (zh) | 一种基于跨模态亲和力的小样本参考视频目标分割方法 | |
CN116543228A (zh) | 一种基于单阶段网络的红外图像车辆检测方法 | |
CN116258854A (zh) | 一种基于密集连接策略和图像梯度的路面裂缝分割方法 | |
CN117274750B (zh) | 一种知识蒸馏半自动可视化标注方法及*** | |
CN112232102A (zh) | 一种基于深度神经网络和多任务学习的建筑物目标识别方法和*** | |
CN115601745A (zh) | 一种面向应用端的多视图三维物体识别方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |