CN113449640A - 基于多任务cnn+gcn的遥感影像建筑物语义分割边缘优化方法 - Google Patents

基于多任务cnn+gcn的遥感影像建筑物语义分割边缘优化方法 Download PDF

Info

Publication number
CN113449640A
CN113449640A CN202110725267.7A CN202110725267A CN113449640A CN 113449640 A CN113449640 A CN 113449640A CN 202110725267 A CN202110725267 A CN 202110725267A CN 113449640 A CN113449640 A CN 113449640A
Authority
CN
China
Prior art keywords
building
semantic segmentation
edge
gcn
cnn
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110725267.7A
Other languages
English (en)
Other versions
CN113449640B (zh
Inventor
刘修国
邓睿哲
陈奇
张丛珊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China University of Geosciences
Original Assignee
China University of Geosciences
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China University of Geosciences filed Critical China University of Geosciences
Priority to CN202110725267.7A priority Critical patent/CN113449640B/zh
Publication of CN113449640A publication Critical patent/CN113449640A/zh
Application granted granted Critical
Publication of CN113449640B publication Critical patent/CN113449640B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于多任务CNN+GCN的遥感影像建筑物语义分割边缘优化方法，采用CNN从遥感影像中提取建筑物的高级语义特征，采用GCN快速地对高分辨率原始影像进行图推理；再采用若干次上采样、横向连接及卷积操作将来自CNN分辨率较低的深层特征重新映射到原始影像，并以此进行建筑物边缘提取和初次建筑物语义分割；将深层特征与边缘提取结果进行整合，对约束初次建筑物语义分割结果的边缘；最后采用图特征自适应优化模块促使GCN特征有效地对约束后的建筑物语义分割结果进行优化，输出边缘表现优异的建筑物语义分割结果。本发明的有益效果是：自适应地优化了基于CNN的遥感影像建筑物语义分割结果的边缘细节，提升了建筑物自动测图结果的精度与应用价值。

Description

基于多任务CNN+GCN的遥感影像建筑物语义分割边缘优化 方法
技术领域
本发明涉及测绘科学与技术领域，具体涉及一种利用多任务CNN+GCN语义分割模型，进行遥感影像建筑物语义分割边缘优化，尤其涉及一种基于多任务CNN+GCN的遥感影像建筑物语义分割边缘优化方法。
背景技术
从高分辨率遥感影像中获取精确建筑物矢量轮廓信息，可为城市规划、土地调查、违章建筑检测以及军事侦察等诸多应用领域提供重要依据。由于基于人力的高分辨率遥感影像的目视解译及标签标注工作时间成本颇高，因此利用基于CNN的语义分割方法对遥感影像建筑物进行智能化快速提取，并采用轮廓提取与规则化处理生成建筑物矢量数据，是一种更为经济且效率较高的信息获取方式。但由于基于CNN的遥感影像语义分割方法因多次下采样导致局部细节纹理消失，且受限于感受野只能随着网络深度而线性缓慢增加，导致网络难以捕捉到大范围的全局语义信息，最终语义分割结果在边缘上的表现难以令人满意，要实现高精度遥感影像建筑物自动化矢量仍十分困难。因此遥感影像建筑物语义分割边缘优化技术对于提升自动化矢量的精度、质量和应用价值具有重要意义。
现有的基于CNN的遥感影像建筑物语义分割边缘优化技术主要可分为基于传统结构建模的边缘优化方法、基于CNN特征增强的边缘优化方法、基于边缘信息指导的边缘优化方法及基于图信息整合的边缘优化方法，但上述方法均未考虑CNN因池化尺度、平移、旋转不变性的特点和卷积逐渐抽象化特征的特点，难以提取各像素点在空间上精细的位置信息，如何利用非CNN的方式准确感知各像素点在空间上的精确位置以优化基于CNN的遥感影像建筑物语义分割结果目前尚无明确解决方案。
发明内容
本发明要解决的技术问题在于，针对现有技术采用CNN难以准确感知各像素点在空间上的精确位置的缺陷，本发明提供了一种基于多任务CNN+GCN的遥感影像建筑物语义分割边缘优化方法，主要包括以下步骤：
S1、构建遥感影像建筑物样本集；
S2、利用所述建筑物样本集，以ResNet和GCN为骨架构建多任务CNN+GCN语义分割模型；
S3、对步骤S2输出的建筑物的高级语义特征，将其分辨率重新映射回所述原始影像，并进行建筑物边缘提取和初次建筑物语义分割，分别得到建筑物边缘提取概率图和初次建筑物语义分割结果；
S4、将步骤S3输出的所述建筑物边缘提取概率图与步骤S2输出的建筑物的高级语义特征进行特征整合，对基于边缘约束的建筑物特征进行语义分割，得到基于边缘约束的建筑物语义分割结果；
S5、采用图特征自适应优化模块促使步骤S1输出的GCN推理特征对步骤S4输出的所述基于边缘约束的建筑物语义分割结果进行优化，输出边缘表现优异的建筑物语义分割结果；
S6、采用后向传播和随机梯度下降算法，利用步骤S3、S4和S5输出的三次建筑物语义分割结果和建筑物边缘提取概率图对所述多任务CNN+GCN语义分割模型进行训练，达到预设精度后即得到训练好的多任务CNN+GCN语义分割模型，将实际建筑物的遥感影像输入该训练好的多任务CNN+GCN语义分割模型即可得到更为优化的该实际建筑物边缘语义分割结果。
进一步地，构建所述遥感影像建筑物样本集的具体步骤如下：
S11、将原始建筑物矢量栅格转化为二值化的建筑物语义标签图像，并将遥感影像范围调整到与二值图像相同；
S12、对建筑物二值图像标签进行轮廓提取，得到建筑物边缘二值图像标签；
S13、以以预设尺寸和预设步长的窗口在遥感影像、建筑物语义标签图像和建筑物边缘标签图像同时滑动，并统计窗口内像素点，以像素点个数来标记建筑物的比例，若该比例大于预设比例值则进行影像裁剪工作；
S14、裁剪工作完成后，按照7：3的比例将样本集划分为训练集与测试集，70％的数据用于训练，30％的数据用于测试训练后的性能。
进一步地，ResNet提取得到建筑物的高级语义特征是采用一系列的卷积和池化操作来实现的，将其分辨率重新映射回所述原始影像是采用若干次上采样、横向连接及卷积操作来实现的。
进一步地，基于边缘约束的建筑物语义分割的过程如下，设CNN深层特征图为CF、建筑物边缘提取概率图为BP，以CF×(1+BP)的方式，用边缘信息对深层语义特征进行整合约束，进而采用全卷积网络完成基于边缘约束的建筑物语义分割，该过程由建筑物语义标签监督学习得到。
进一步地，利用GCN对原始影像进行图推理的过程，其数学表达式为：
Figure BDA0003137462310000031
其中，A是代表像素点空间位置及相互潜在关系的邻接矩阵，H(l+1)和H(l)是第l层和第l+1层的顶点特征，
Figure BDA0003137462310000032
是第l层可学习的训练权重，σ为非线性激活函数，当l＝0时，H0为输入的遥感影像进行维度变换后的二维图结构，其维度为(m×m)×n，m×m为窗口的预设尺寸，n为输入影像通道，m和n均为正整数。
进一步地，以任何拉普拉斯矩阵都能对角化为基本原理，通过卷积及矩阵运算快速地构建邻接矩阵A，其数学表达式为：
A＝φ(BP)diag(ρ(BP))φT(BP)
其中，BP为建筑物边缘提取概率图，φ(·)采用常规卷积操作，用于维度变化，ρ(·)为自适应池化，diag(·)为对角化操作，(·)T为矩阵转置操作，通过矩阵运算的乘法结合律省略了庞大的中间结果邻接矩阵A的存储，降低了显存开销，保证了网络效率，实现了GCN在高分辨率原始影像上快速推理的过程，其数学表达式为：
Figure BDA0003137462310000033
进一步地，所述图特征自适应优化模块是通过增强空间细节特征来优化CNN建筑物语义分割结果的，该图特征自适应优化模块以基于边缘约束的建筑物语义分割结果和GCN特征的级联特征为输入，通过常规卷积操作生成一个空间局部细节丰富的注意力图，并依据此注意力图使得GCN特征对基于边缘约束的建筑物语义分割结果进行优化，其数学表达式为：
Seg3＝δ(Seg2+δ(Concat(GF,Seg2))*GF)
其中，Seg3为建筑物语义分割优化结果，Seg2为基于边缘约束的建筑物语义分割结果，GF为GCN特征，δ(·)为常规卷积操作，Concat(·)为特征级联。
进一步地，在训练过程中，利用损失函数计算多任务CNN+GCN语义分割模型的损失值Loss，具体的数学公式为：
Figure BDA0003137462310000041
其中，
Figure BDA0003137462310000042
为第i次语义分割结果与地表真实类别差异的损失，其具体的数学公式为：
Figure BDA0003137462310000043
其中，n表示样本序号，segn,i表示语义分割结果中像素是否为建筑物的预测概率，segn,1表示初次建筑物语义分割结果，segn,2为基于边缘约束的建筑物语义分割结果，segn,3表示基于GCN边缘优化的建筑物语义分割结果，
Figure BDA0003137462310000044
表示与其对应的真值，存在建筑物为1，不存在建筑物为0；
Ledge为建筑物边缘检测结果与建筑物真实边缘差异的损失，其具体的数学公式为：
Figure BDA0003137462310000045
其中，n表示样本序号，BPn表示边缘检测中像素是否为建筑物边缘的概率，
Figure BDA0003137462310000046
表示与其对应的真值，是建筑物边缘为1，不是建筑物边缘为0。
进一步地，对损失函数应用梯度下降算法，当损失值Loss趋近于收敛时，即达到预设精度，所述多任务CNN+GCN语义分割模型训练完毕。
进一步地，训练过程中，还需根据试验情况对包括正负样本比例、学习率、批次大小以及权值衰减系数超参数进行调试。
本发明提供的技术方案带来的有益效果是：
1、本发明通过矩阵对角化运算模拟了邻接矩阵的构建过程，并利用简单的矩阵乘法结合率省略了邻接矩阵的存储过程，使GCN网络直接作用在CNN高分辨率空间域特征图上成为可能，利用GCN探索各像素点之间的潜在空间关系并准确感知各像素点在空间上的精确位置，相比基于CNN的方法精准获取建筑物边缘信息具备更强的可行性；
2、本发明提出的可端对端训练和预测的多任务CNN+GCN语义分割模型，通过一种图特征自适应优化模块，利用富含精确位置信息的GCN特征对CNN语义分割结果进行优化，进而提升建筑物自动提取结果的精度与应用价值。
附图说明
下面将结合附图及实施例对本发明作进一步说明，附图中：
图1是本发明实施例中一种遥感影像建筑物语义分割边缘优化方法的多任务CNN+GCN语义分割模型结构示意图；
图2是本发明实施例中一种遥感影像建筑物语义分割边缘优化方法中建筑物样本集构建流程图；
图3是本发明实施例中一种遥感影像建筑物语义分割边缘优化方法中GCN进行快速图推理的结构示意图；
图4是本发明实施例中一种遥感影像建筑物语义分割边缘优化方法中图特征自适应优化模块结构示意图。
具体实施方式
为了对本发明的技术特征、目的和效果有更加清楚的理解，现对照附图详细说明本发明的具体实施方式。
本发明的实施例提供了一种基于多任务CNN+GCN的遥感影像建筑物语义分割边缘优化方法。
请参考图1，图1是本发明实施例中一种遥感影像建筑物语义分割边缘优化方法的多任务CNN+GCN语义分割模型结构示意图，具体步骤包括：
S1、构建遥感影像建筑物样本集，请参考图2，构建遥感影像建筑物样本集具体包括以下步骤：
S11、将原始建筑物矢量栅格转化为二值化的建筑物语义标签图像，并将高分辨率遥感影像范围调整到与二值图像相同；
S12、对建筑物二值图像标签进行轮廓提取得到建筑物边缘二值图像标签；
S13、以尺寸为400×400、步长为100的窗口在高分辨遥感影像、建筑物语义标签图像、建筑物边缘标签图像同时滑动，并统计窗口内像素点，以像素点个数来标记建筑物的比例，若该比例大于10％则进行影像裁剪工作；
S14、裁剪工作完成后，按照7：3的比例将样本集划分为训练集与测试集，70％的数据用于训练，30％的数据用于考察模型训练后的性能。
S2、利用步骤S1中构建的建筑物样本集，以ResNet和GCN为骨架构建多任务CNN+GCN语义分割模型，其中ResNet通过一系列的卷积、池化操作提取建筑物的高级语义特征，GCN则通过常规图卷积操作高分辨率原始影像进行快速图推理，挖掘各像素之间潜在的空间相关性。
请参考图3，利用GCN对高分辨率原始影像进行快速图推理的过程，其数学表达式为：
Figure BDA0003137462310000061
其中，A是代表像素点空间位置及相互潜在关系的邻接矩阵，H(l+1)和H(l)是第l层和第l+1层的顶点特征，
Figure BDA0003137462310000062
是第l层可学习的训练权重，σ为非线性激活函数，当l＝0时，H0为输入的遥感影像进行维度变换后的二维图结构，其维度为(400×400)×3，400×400为裁剪后的图像尺寸，即步骤S13的窗口尺寸，3为输入影像通道。
以任何拉普拉斯矩阵都能对角化为基本原理，通过卷积及矩阵运算快速地构建邻接矩阵A，其数学表达式为：
A＝φ(BP)diag(ρ(BP))φT(BP)
其中，BP为建筑物边缘提取概率图，φ(·)采用常规卷积操作，用于维度变化，ρ(·)为自适应池化，diag(·)为对角化操作，(·)T为矩阵转置操作，通过矩阵运算的乘法结合律省略了庞大的中间结果邻接矩阵A的存储，降低了显存开销，保证了网络效率，实现了GCN在高分辨率原始影像上快速推理的过程，其数学表达式为：
Figure BDA0003137462310000063
其中H(l+1)和H(l)是第l层和第l+1层的顶点特征，BP为建筑物边缘提取概率图，φ(·)采用常规卷积操作，用于维度变化，ρ(·)为自适应池化，diag(·)为对角化操作，(·)T为矩阵转置操作，
Figure BDA0003137462310000064
是第l层可学习的训练权重，σ为非线性激活函数。当l＝0时，H0为输入高分辨率遥感影像进行维度变换后的二维图结构，其维度为(400×400)×3。通过矩阵运算的乘法结合律省略了庞大的中间结果邻接矩阵A的存储，降低了显存开销，保证了网络效率，实现了GCN在高分辨率原始影像上快速推理的过程。
S3、对步骤S2输出的建筑物的高级语义特征采用若干次上采样、横向连接及卷积操作将其分辨率重新映射回原始影像，并进行建筑物边缘提取和初次建筑物语义分割。将高级语义特征的分辨率重新映射回原始影像时采用特征金字塔结构，以融合遥感影像中建筑物深层语义特征与浅层纹理特征，并采用多任务学习的思路同时进行建筑物边缘提取及语义分割。
S4、将步骤S3输出的建筑物边缘提取概率图与步骤S2输出的建筑物的高级语义特征进行特征整合，对基于边缘约束的建筑物特征进行语义分割。
本实施例中，设CNN深层特征图为CF、建筑物边缘存在概率图为BP，该过程以CF×(1+BP)的方式用边缘信息对深层语义特征进行整合约束，进而采用全卷积网络完成基于边缘约束的建筑物语义分割，该约束过程由建筑物语义标签监督学习。
S5、采用图特征自适应优化模块促使步骤S1输出的GCN推理特征对步骤S4输出的基于边缘约束的建筑物语义分割结果进行优化，输出边缘表现优异的建筑物语义分割结果。所述图特征自适应优化模块，是以基于边缘约束的建筑物语义分割结果和GCN特征的级联特征为输入，通过常规卷积操作生成一个空间局部细节丰富的注意力图，并依据此注意力图使得GCN特征对基于边缘约束的建筑物语义分割结果进行优化，数学表达式为：
Seg3＝δ(Seg2+δ(Concat(GF,Seg2))*GF)
其中Seg3为建筑物语义分割优化结果，Seg2为基于边缘约束的建筑物语义分割结果，GF为GCN特征，Concat(·)为特征级联，δ(·)为常规卷积操作，具体请参考图4。
S6、所述多任务CNN+GCN语义分割模型同时监督步骤S3、S4、S5输出的三次建筑物语义分割结果和一次边缘提取结果，采用后向传播和随机梯度下降算法进行训练，进而得到训练好的的多任务CNN+GCN语义分割模型，将实际建筑物的遥感影像输入该训练好的多任务CNN+GCN语义分割模型即可得到更为优化的该实际建筑物边缘语义分割结果。
本实施例中，根据模型输出项，利用损失函数计算所述多任务CNN+GCN语义分割模型的损失值Loss，其具体的数学公式为：
Figure BDA0003137462310000071
其中，
Figure BDA0003137462310000081
为第i次语义分割结果与地表真实类别差异的损失，其具体的数学公式为：
Figure BDA0003137462310000082
其中，n表示样本序号，segn,i表示语义分割结果中像素是否为建筑物的预测概率，segn,1表示初次建筑物语义分割结果，segn,2为基于边缘约束的建筑物语义分割结果，segn,3表示基于GCN边缘优化的建筑物语义分割结果，
Figure BDA0003137462310000083
表示与其对应的真值，存在建筑物为1，不存在建筑物为0。
Ledge为建筑物边缘检测结果与建筑物真实边缘差异的损失，具体的数学公式为：
Figure BDA0003137462310000084
其中，n表示样本序号，BPn表示边缘检测中像素是否为建筑物边缘的概率，
Figure BDA0003137462310000085
表示与其对应的真值，是建筑物边缘为1，不是建筑物边缘为0。
对损失函数应用梯度下降算法，当损失值Loss趋近于收敛时，所述多任务CNN+GCN语义分割模型训练完毕，并将其应用于实际的执行步骤中，此外，训练过程中还需根据试验情况对正负样本比例、学习率、批次大小以及权值衰减系数等超参数进行调试。
本发明的有益效果是：
1、本发明通过矩阵对角化运算模拟了邻接矩阵的构建过程，并利用简单的矩阵乘法结合率省略了邻接矩阵的存储过程，使GCN网络直接作用在CNN高分辨率空间域特征图上成为可能，利用GCN探索各像素点之间的潜在空间关系并准确感知各像素点在空间上的精确位置，相比基于CNN的方法精准获取建筑物边缘信息具备更强的可行性；
2、本发明提出的可端对端训练和预测的多任务CNN+GCN语义分割模型，通过一种图特征自适应优化模块，利用富含精确位置信息的GCN特征对CNN语义分割结果进行优化，进而提升建筑物自动提取结果的精度与应用价值。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于多任务CNN+GCN的遥感影像建筑物语义分割边缘优化方法，其特征在于：包括以下步骤：
S1、构建遥感影像建筑物样本集；
S2、利用所述建筑物样本集，以ResNet和GCN为骨架构建多任务CNN+GCN语义分割模型；
S3、对步骤S2中由ResNet提取得到的建筑物的高级语义特征，将其分辨率重新映射回所述原始影像，并进行建筑物边缘提取和初次建筑物语义分割，分别得到建筑物边缘提取概率图和初次建筑物语义分割结果；
S4、将步骤S3输出的所述建筑物边缘提取概率图与步骤S2输出的建筑物的高级语义特征进行特征整合，对基于边缘约束的建筑物特征进行语义分割，得到基于边缘约束的建筑物语义分割结果；
S5、采用图特征自适应优化模块促使步骤S1输出的GCN推理特征对步骤S4输出的所述基于边缘约束的建筑物语义分割结果进行优化，输出边缘表现优异的建筑物语义分割结果；
S6、采用后向传播和随机梯度下降算法，利用步骤S3、S4和S5输出的三次建筑物语义分割结果和建筑物边缘提取概率图对所述多任务CNN+GCN语义分割模型进行训练，进而得到训练好的多任务CNN+GCN语义分割模型，将实际建筑物的遥感影像输入该训练好的多任务CNN+GCN语义分割模型即可得到更为优化的该实际建筑物边缘语义分割结果。
2.如权利要求1所述的一种基于多任务CNN+GCN的遥感影像建筑物语义分割边缘优化方法，其特征在于：步骤S1中，构建所述遥感影像建筑物样本集的具体步骤如下：
S11、将原始建筑物矢量栅格转化为二值化的建筑物语义标签图像，并将遥感影像范围调整到与二值图像相同；
S12、对建筑物二值图像标签进行轮廓提取，得到建筑物边缘二值图像标签；
S13、以预设尺寸和预设步长的窗口在遥感影像、建筑物语义标签图像和建筑物边缘标签图像同时滑动，并统计窗口内像素点，以像素点个数来标记建筑物的比例，若该比例大于预设比例值则进行影像裁剪工作；
S14、裁剪工作完成后，按照7：3的比例将样本集划分为训练集与测试集，70％的数据用于训练，30％的数据用于测试训练后的性能。
3.如权利要求1所述的一种基于多任务CNN+GCN的遥感影像建筑物语义分割边缘优化方法，其特征在于：ResNet提取得到建筑物的高级语义特征是采用一系列的卷积和池化操作来实现的，将其分辨率重新映射回所述原始影像是采用若干次上采样、横向连接及卷积操作来实现的。
4.如权利要求1所述的一种基于多任务CNN+GCN的遥感影像建筑物语义分割边缘优化方法，其特征在于：步骤S4中，基于边缘约束的建筑物语义分割的过程如下，设CNN深层特征图为CF、建筑物边缘提取概率图为BP，以CF×(1+BP)的方式，用边缘信息对深层语义特征进行整合约束，进而采用全卷积网络完成基于边缘约束的建筑物语义分割，该过程由建筑物语义标签监督学习得到。
5.如权利要求1所述的一种基于多任务CNN+GCN的遥感影像建筑物语义分割边缘优化方法，其特征在于：步骤S2中，利用GCN通过常规图卷积操作对所述建筑物的原始影像进行图推理，其数学表达式为：
H(l+1)＝σ(AH(l)w(l))
其中，A是代表像素点空间位置及相互潜在关系的邻接矩阵，H(l+1)和H(l)是第l层和第l+1层的顶点特征，w(l)是第l层可学习的训练权重，σ为非线性激活函数，当l＝0时，H0为输入的遥感影像进行维度变换后的二维图结构，其维度为(m×m)×n，m×m为窗口的预设尺寸，n为输入影像通道，m和n均为正整数。
6.如权利要求4所述的一种基于多任务CNN+GCN的遥感影像建筑物语义分割边缘优化方法，其特征在于：以任何拉普拉斯矩阵都能对角化为基本原理，通过卷积及矩阵运算快速地构建邻接矩阵A，其数学表达式为：
A＝φ(BP)diag(ρ(BP))φT(BP)
其中，BP为建筑物边缘提取概率图，φ(·)采用常规卷积操作，用于维度变化，ρ(·)为自适应池化，diag(·)为对角化操作，(·)T为矩阵转置操作，通过矩阵运算的乘法结合律省略了庞大的中间结果邻接矩阵A的存储，降低了显存开销，保证了网络效率，实现了GCN在高分辨率原始影像上快速推理的过程，其数学表达式为：
Figure FDA0003137462300000021
7.如权利要求1所述的一种基于多任务CNN+GCN的遥感影像建筑物语义分割边缘优化方法，其特征在于：步骤S5中，所述图特征自适应优化模块是通过增强空间细节特征来优化CNN建筑物语义分割结果的，该图特征自适应优化模块以基于边缘约束的建筑物语义分割结果和GCN特征的级联特征为输入，通过常规卷积操作生成一个空间局部细节丰富的注意力图，并依据此注意力图使得GCN特征对基于边缘约束的建筑物语义分割结果进行优化，其数学表达式为：
Seg3＝δ(Seg2+δ(Concat(GF,Seg2))*GF)
其中，Seg3为建筑物语义分割优化结果，Seg2为基于边缘约束的建筑物语义分割结果，GF为GCN特征，δ(·)为常规卷积操作，Concat(·)为特征级联。
8.如权利要求1所述的一种基于多任务CNN+GCN的遥感影像建筑物语义分割边缘优化方法，其特征在于：步骤S6中，在训练过程中，利用损失函数计算多任务CNN+GCN语义分割模型的损失值Loss，具体的数学公式为：
Figure FDA0003137462300000031
其中，
Figure FDA0003137462300000032
为第i次语义分割结果与地表真实类别差异的损失，其具体的数学公式为：
Figure FDA0003137462300000033
其中，n表示样本序号，segn,i表示语义分割结果中像素是否为建筑物的预测概率，segn,1表示初次建筑物语义分割结果，segn,2为基于边缘约束的建筑物语义分割结果，segn,3表示基于GCN边缘优化的建筑物语义分割结果，
Figure FDA0003137462300000034
表示与其对应的真值，存在建筑物为1，不存在建筑物为0；
Ledge为建筑物边缘检测结果与建筑物真实边缘差异的损失，其具体的数学公式为：
Figure FDA0003137462300000035
其中，n表示样本序号，BPn表示边缘检测中像素是否为建筑物边缘的概率，
Figure FDA0003137462300000036
表示与其对应的真值，是建筑物边缘为1，不是建筑物边缘为0。
9.如权利要求8所述的一种基于多任务CNN+GCN的遥感影像建筑物语义分割边缘优化方法，其特征在于：对损失函数应用梯度下降算法，当损失值Loss趋近于收敛时，所述多任务CNN+GCN语义分割模型训练完毕。
10.如权利要求1所述的一种基于多任务CNN+GCN的遥感影像建筑物语义分割边缘优化方法，其特征在于：步骤S6中，训练过程中，还需根据试验情况对包括正负样本比例、学习率、批次大小以及权值衰减系数超参数进行调试。
CN202110725267.7A 2021-06-29 2021-06-29 基于多任务cnn+gcn的遥感影像建筑物语义分割边缘优化方法 Active CN113449640B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110725267.7A CN113449640B (zh) 2021-06-29 2021-06-29 基于多任务cnn+gcn的遥感影像建筑物语义分割边缘优化方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110725267.7A CN113449640B (zh) 2021-06-29 2021-06-29 基于多任务cnn+gcn的遥感影像建筑物语义分割边缘优化方法

Publications (2)

Publication Number Publication Date
CN113449640A true CN113449640A (zh) 2021-09-28
CN113449640B CN113449640B (zh) 2022-02-11

Family

ID=77813823

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110725267.7A Active CN113449640B (zh) 2021-06-29 2021-06-29 基于多任务cnn+gcn的遥感影像建筑物语义分割边缘优化方法

Country Status (1)

Country Link
CN (1) CN113449640B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114821315A (zh) * 2022-04-24 2022-07-29 福州大学 结合边缘检测和多任务学习的遥感影像耕地地块提取方法
CN116052006A (zh) * 2023-03-29 2023-05-02 山东建筑大学 基于多任务学习与对偶彩票假说的建筑物边缘优化方法
CN116052018A (zh) * 2023-03-31 2023-05-02 北京数慧时空信息技术有限公司 基于终身学习的遥感影像解译方法
CN116434009A (zh) * 2023-04-19 2023-07-14 应急管理部国家减灾中心(应急管理部卫星减灾应用中心) 一种损毁建筑物深度学习样本集的构建方法及***
CN116977750A (zh) * 2023-09-25 2023-10-31 中国地质大学（武汉） 土地覆盖场景分类模型构建方法及分类方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109903314A (zh) * 2019-03-13 2019-06-18 腾讯科技（深圳）有限公司 一种图像区域定位的方法、模型训练的方法及相关装置
CN110889449A (zh) * 2019-11-27 2020-03-17 中国人民解放军国防科技大学 一种增强边缘的、多尺度的遥感影像建筑物语义特征提取方法
CN111461258A (zh) * 2020-04-26 2020-07-28 武汉大学 耦合卷积神经网络和图卷积网络的遥感影像场景分类方法
US10984245B1 (en) * 2018-06-11 2021-04-20 Facebook, Inc. Convolutional neural network based on groupwise convolution for efficient video analysis
CN112712127A (zh) * 2021-01-07 2021-04-27 北京工业大学 一种结合图卷积神经网络的图像情感极性分类方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10984245B1 (en) * 2018-06-11 2021-04-20 Facebook, Inc. Convolutional neural network based on groupwise convolution for efficient video analysis
CN109903314A (zh) * 2019-03-13 2019-06-18 腾讯科技（深圳）有限公司 一种图像区域定位的方法、模型训练的方法及相关装置
CN110889449A (zh) * 2019-11-27 2020-03-17 中国人民解放军国防科技大学 一种增强边缘的、多尺度的遥感影像建筑物语义特征提取方法
CN111461258A (zh) * 2020-04-26 2020-07-28 武汉大学 耦合卷积神经网络和图卷积网络的遥感影像场景分类方法
CN112712127A (zh) * 2021-01-07 2021-04-27 北京工业大学 一种结合图卷积神经网络的图像情感极性分类方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
YANSHENG LI等: "A CNN-GCN FRAMEWORK FOR MULTI-LABEL AERIAL IMAGE SCENE CLASSIFICATION", 《IGARSS 2020》 *
张新良等: "融合图卷积和差异性池化函数的点云数据分类分割模型", 《中国图象图形学报》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114821315A (zh) * 2022-04-24 2022-07-29 福州大学 结合边缘检测和多任务学习的遥感影像耕地地块提取方法
CN114821315B (zh) * 2022-04-24 2024-06-07 福州大学 结合边缘检测和多任务学习的遥感影像耕地地块提取方法
CN116052006A (zh) * 2023-03-29 2023-05-02 山东建筑大学 基于多任务学习与对偶彩票假说的建筑物边缘优化方法
CN116052018A (zh) * 2023-03-31 2023-05-02 北京数慧时空信息技术有限公司 基于终身学习的遥感影像解译方法
CN116052018B (zh) * 2023-03-31 2023-10-27 北京数慧时空信息技术有限公司 基于终身学习的遥感影像解译方法
CN116434009A (zh) * 2023-04-19 2023-07-14 应急管理部国家减灾中心(应急管理部卫星减灾应用中心) 一种损毁建筑物深度学习样本集的构建方法及***
CN116434009B (zh) * 2023-04-19 2023-10-24 应急管理部国家减灾中心(应急管理部卫星减灾应用中心) 一种损毁建筑物深度学习样本集的构建方法及***
CN116977750A (zh) * 2023-09-25 2023-10-31 中国地质大学（武汉） 土地覆盖场景分类模型构建方法及分类方法
CN116977750B (zh) * 2023-09-25 2023-12-12 中国地质大学（武汉） 土地覆盖场景分类模型构建方法及分类方法

Also Published As

Publication number Publication date
CN113449640B (zh) 2022-02-11

Similar Documents

Publication Publication Date Title
CN113449640B (zh) 基于多任务cnn+gcn的遥感影像建筑物语义分割边缘优化方法
CN111898507B (zh) 一种预测无标签遥感影像地表覆盖类别的深度学习方法
CN106547880B (zh) 一种融合地理区域知识的多维度地理场景识别方法
CN112132149B (zh) 一种遥感影像语义分割方法及装置
CN114022408A (zh) 基于多尺度卷积神经网络的遥感图像云检测方法
CN112950617A (zh) 基于连续旋转图像增强和条件生成对抗网络的潮流机叶片附着物识别方法
CN116977872A (zh) 一种CNN+Transformer遥感图像检测方法
CN114550014A (zh) 道路分割方法及计算机装置
CN112801029B (zh) 基于注意力机制的多任务学习方法
CN117455868A (zh) 基于显著融合差异图和深度学习的sar图像变化检测方法
CN115359304B (zh) 一种面向单幅图像特征分组的因果不变性学习方法及***
CN111985487A (zh) 一种遥感影像目标提取方法、电子设备及存储介质
CN116486030A (zh) 基于地表图像的三维地质体模型的建模方法和相关装置
CN115147727A (zh) 一种遥感影像不透水面提取方法及***
CN113177546A (zh) 一种基于稀疏注意力模块的目标检测方法
Guo et al. A Siamese global learning framework for multi-class change detection
CN116958148B (zh) 输电线路关键部件缺陷的检测方法、装置、设备、介质
Jia et al. Target detection method based on improved YOLOv3
Pal et al. MAML-SR: Self-adaptive super-resolution networks via multi-scale optimized attention-aware meta-learning
CN115019168B (zh) 基于混合注意力网络的sar图像水体提取方法及***
CN117475155B (zh) 基于半监督学习的轻量级遥感图像分割方法
Zhang et al. Instance Segmentation of Low-texture Industrial Parts Based on Deep Learning
Chi et al. Research on medical image segmentation based on machine learning
Papadopoulos et al. Convolutional Neural Network for Detection of Building Contours Using Multisource Spatial Data
Yan et al. Research on Medical Image Segmentation Based on Machine Learning.

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant