CN113312993A - 一种基于PSPNet的遥感数据土地覆盖分类方法 - Google Patents
一种基于PSPNet的遥感数据土地覆盖分类方法 Download PDFInfo
- Publication number
- CN113312993A CN113312993A CN202110539555.3A CN202110539555A CN113312993A CN 113312993 A CN113312993 A CN 113312993A CN 202110539555 A CN202110539555 A CN 202110539555A CN 113312993 A CN113312993 A CN 113312993A
- Authority
- CN
- China
- Prior art keywords
- remote sensing
- image
- nir
- pspnet
- land cover
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 54
- 230000011218 segmentation Effects 0.000 claims abstract description 45
- 230000004927 fusion Effects 0.000 claims abstract description 15
- 238000012549 training Methods 0.000 claims abstract description 12
- 238000004364 calculation method Methods 0.000 claims abstract description 7
- 238000012545 processing Methods 0.000 claims abstract description 6
- 238000013507 mapping Methods 0.000 claims description 23
- 238000005381 potential energy Methods 0.000 claims description 20
- 238000005070 sampling Methods 0.000 claims description 18
- 230000003044 adaptive effect Effects 0.000 claims description 12
- 238000009826 distribution Methods 0.000 claims description 12
- 238000007781 pre-processing Methods 0.000 claims description 10
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims description 7
- 238000010586 diagram Methods 0.000 claims description 5
- 230000000694 effects Effects 0.000 claims description 5
- 238000012805 post-processing Methods 0.000 claims description 5
- 230000008569 process Effects 0.000 claims description 5
- 239000011800 void material Substances 0.000 claims description 5
- 238000000605 extraction Methods 0.000 claims description 4
- 230000000877 morphologic effect Effects 0.000 claims description 4
- 238000012935 Averaging Methods 0.000 claims description 3
- 230000009471 action Effects 0.000 claims description 3
- 238000013527 convolutional neural network Methods 0.000 claims description 3
- 238000011156 evaluation Methods 0.000 claims description 3
- 230000002093 peripheral effect Effects 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 3
- 230000009467 reduction Effects 0.000 claims description 3
- 230000010339 dilation Effects 0.000 claims description 2
- 238000009499 grossing Methods 0.000 claims description 2
- 238000013519 translation Methods 0.000 claims description 2
- 238000004422 calculation algorithm Methods 0.000 abstract description 11
- 238000013508 migration Methods 0.000 abstract description 2
- 230000005012 migration Effects 0.000 abstract description 2
- 230000006870 function Effects 0.000 description 22
- 230000006872 improvement Effects 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 210000000746 body region Anatomy 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 239000004576 sand Substances 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000011435 rock Substances 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/13—Satellite images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Biophysics (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Molecular Biology (AREA)
- Evolutionary Biology (AREA)
- Probability & Statistics with Applications (AREA)
- Astronomy & Astrophysics (AREA)
- Remote Sensing (AREA)
- Image Analysis (AREA)
Abstract
本发明公布了一种基于PSPNet的遥感数据土地覆盖分类方法,采用多尺度融合分割模块构造多尺度特征,对土地覆盖类型进行分析,快速建立辨识模型,通过自适应损失算法,弥补样本稀疏类别不平衡造成的信息损失,自适应样本权重,采用预训练网络迁移的方法,通过图像数据库丰富样本多样性,实现对不同类型雷达遥感图像的辨识分割,其算法复杂度低,计算周期短,可适应样本稀疏不平衡下的遥感图像,并对其像素点进行精准语义分割,将土地图片进行区域类型分类,在图像处理领域具有普适性和高可移植性。
Description
技术领域
本发明属于遥感数据图像处理技术领域,涉及图像语义分割处理技术,具体涉及一种基于PSPNet(Pyramid Scene Parsing Network)的土地遥感数据语义分割获取土地覆盖分类的方法。
背景技术
土地覆盖是指地球陆地表面的各种生物或物理的覆盖类型,包括地表的植被(天然或人工)、建设用地,湖泊、冰川、裸岩和沙漠等,主要描述地球表面的自然属性。遥感通过人造地球卫星、航空等平台上的探测仪器,对地球表面实施远超人类视觉空间的大范围的观测,综合展现了包括地质、水文等多种事物的形态和分布。遥感技术广泛应用于农林、海洋、地质等领域,从中提取的地物信息,在自然灾害应急、农业检测等任务中发挥了重要的作用。利用遥感数据对土地覆盖进行自动语义分类对可持续发展、农业自主发展和城市规划具有重要意义。
目前,国内外针对遥感土地覆盖分类技术大多是利用卷积网络对遥感数据进行语义分割。将任务转化为对像素点的标记问题,利用输入的遥感图像,训练卷积网络对每个像素点进行端到端分类。采用扩展卷积的方法获得全局高分辨率特征图,并通过逐步地下采样和池化得到语义信息丰富但分辨率较低的特征图。近年来涌现出优秀的语义分割模型,U-Net、FCN、SegNet、PSPNet、DeepLab v3+等,使得分割性能有了很大提升。
然而,深度网络往往依赖样本的完备性,受制于专家领域知识的缺乏。由于真实土地表面类型复杂多样,各类型完备遥感样本图像采集困难。由于气候条件、噪音、云层覆盖或其他视觉限制,从卫星遥感图像中收集特定标记样本很困难,造成样本类别不平衡问题,即某些土地覆盖层类别在调查区域中占主导地位,样本稀疏类别不足以支撑模型的建立,限制了分类精度的提高。与此同时,卫星遥感与普通场景不同,目标种类多,结构复杂,尺度不一,既包含河流、湖泊、森林等自然地物,又包含建筑、公路等人工地物,具有特定的特点,物体边缘像素点没有规则或者清晰的边界,特别是外观模糊的小物体边界和颜色,纹理相似的复杂形状物体附近,辨识性能较差。如何避免信息丢失,利用特征描述方法进行准确的土地覆盖分类仍然是一个具有挑战性的课题。遥感影像中包含的丰富的光谱和空间信息,增加了特征提取和表达的复杂性,目前对于复杂遥感信号的精准辨识尚没有形成快速精准诊断方法。因此,现有技术很难实现将智能化技术与遥感数据分析有效结合一起,针对复杂状况的土地覆盖形成完备语义分割,遥感数据土地覆盖分类精度不高。
发明内容
针对上述现有技术的不足,本发明提供一种基于遥感数据土地覆盖分类网络模型PSPNet(Pyramid Scene Parsing Network)的遥感数据土地覆盖分类方法。本方法可以对土地覆盖类型进行分析,快速建立辨识模型,其算法复杂度低,计算周期短以及可移植性高,可适应样本稀疏不平衡下的遥感图像,并对其像素点进行精准语义分割,即将土地图片进行区域类型分类。
本发明从提取样本完备多尺度融合特征的角度,提出一种基于多尺度卷积特征融合的分割方法;是一种从深度学习角度基于Pyramid Scene Parsing Network(PSPNet)的土地覆盖类型辨识方法。
本发明的技术方案是:
一种基于PSPNet的遥感数据土地覆盖分类方法,具体步骤如下:
步骤1:采集土地覆盖类别的遥感图像数据;对已知土地覆盖类型的遥感图像数据样本集进行数据预处理,得到预处理之后的图像(Q,Mg,Mb),Q为近红外通道与红通道融合后像素点,Mg为绿通道像素点,Mb为蓝通道像素点;遥感图像数据样本集共有nsample张图片样本,每张遥感图像尺寸为m*n,m为横向所包含像素点数量,n为纵向所包含像素点数量,遥感图像的四通道包括:近红外(NIR)、红(R)、绿(G)、蓝(B);
步骤1.1:将采集到的第λ张原始的遥感图片像素点表示为(Mi,Mj,k)λ,i≤m,Mi表示横向第i个像素值,j≤n,Mj表示纵向第j个像素值,k≤4,k为通道数。首先将图像分割为包含a*a像素的小块,a为横纵最大像素数量,然后将图像按比例b进行缩放。
步骤1.2:对图片进行过采样,为了扩充稀疏类别的样本数量,如果该稀疏类别样本数量小于总样本数量百分比阈值d,则将该稀疏类别区域进行图像平移后再采样,即过采样。之后进行N*90°翻转,N={1,2,3},加入高斯噪声,处理后小图片像素点表示为 为处理后小图片横向所包含像素点数量,为处理后小图片纵向所包含像素点数量。
步骤1.3.1:在NIR通道和R通道内分别按照维度nir和r进行网格分割。在每一个网格区域Ωnir,r中计算互信息I(Ωnir,r;NIR,R)为:
其中,p(nir,r)是联合分布概率,p(nir)和p(r)是边缘概率分布;计算如下,
其中,I(a∈Ωnir)为落在区域Ωnir内的采样点个数,I(a∈Ωr)为落在区域Ωr内的采样点个数,I(a∈Ωnir,r)为落在区域Ωnir,r内的采样点个数,I(a∈Ω)为样本集采样点总个数。
构建遥感数据土地覆盖分类网络模型PSPNet并训练模型PSPNet,包括步骤2~步骤4。
步骤2.1:利用图像数据集预训练残差网络,将得到的训练好的网络记为NET0;
在ImageNet数据库,包含133万张图片,1000类上用残差网络、空洞卷积和降维卷积预训练残差网络(ResNet 50),得到训练好的网络记为NET0。
步骤2.2:迁移NET0,将步骤1.3.3中得到的预处理之后的图像(称为样本图像)送入NET0网络,通过全局自适应平均方法,将输入的样本图像映射合并,得到特征映射。样本图像的个数为个。经过三次缩小特征图,一次最大池化(maxpool),两次卷积(conv),将输入特征映射的维数降低到1/Nlayer,得到特征映射featuremap{y},其中Nlayer是层数。
步骤2.3:采用双线性插值方法对特征映射featuremap{y}进行扩展。
featuremap{y}被上采样,插值为f(x,y)。扩展过程表示为:
f(x,y)=(1-μ)×(1-ν)×OriImage[n,m]+μ×ν×OriImage[n+1,m+1]+(1-μ)×ν×OriImage[n,m+1]+μ×(1-ν)×OriImage[n+,m].
其中f(x,y)表示改变的像素,OriImage[n,m]表示原始像素。μ,ν是阈值;
再经过卷积层输出特征映射结果featuremap{ym}。
步骤3.1:在空洞卷积率D=1下,提取代表全局的特征映射featuremap{y0}。
步骤3.2:在空洞卷积率D作用下,提取图像局部多尺度的特征映射featuremap{ys}。
步骤3.3:采用一种基于焦点损失(Focal loss)的自适应损失函数训练拟合PSPNet网络模型,表示为:
L(σt)=-(1-αt)(1-p*σt)γlog(σt)
其中,σt为类别标签;αt是权重因子,βt是与类别有关的阈值,σ是标签,t≤K,K为总类别数。
步骤3.4:根据土地覆盖遥感图像特点,提出三种评价指数来计算自适应损失中的βt,包括:植被指数βvegetation,水体指数βwaterbody和形态学指数βmorphology。其中Sw表示水体区域所包含的像素。Sr表示***矩形的最小边框区域中包含的像素点数。
步骤3.5:根据步骤3.4的像素点分类结果,通过步骤3.3和步骤3.4调整αt,βt,可调整像素点对损失L的影响。
步骤3.6:将步骤2.3中特征映射featuremap{ym}和步骤3.2得到的输出特征映射featuremap{ys}进行连接(concate)组合和卷积上采样,得到初步预测分割图。
步骤4:采用一种全连接条件随机场(CRFs)进行数据后处理,结合原始影像(遥感图像)中所有像素之间的关系对步骤3.5中的分类结果图像(初步预测分割图)进行处理,通过计算输出一元势能概率图,优化分类结果图像中粗糙和不确定性的标记,修正细碎的错分区域,同时得到更细致的分割边界。
其中,为能量函数,其中为一元势能函数,为二元势能函数,其中的一元势能函数用于衡量当像素点(Q,Mg,Mb)i,j,k的观测值为p时,该像素点属于类别标签的概率,来自卷积神经网络的后端输出。二元势能函数用于衡量两事件同时发生的概率二元势能函数中的位置信息[i,j,k]和颜色信息由原始影像提供。为标签兼容项,在标签不同时,限制能量的传导。w为权重参数,KG(pi,pj)为特征函数,表示为:
特征函数采用参数[θα,θβ,θγ]的核表征的形式表示了不同像素之间的“关联性”,第一项为表面核,第二项为平滑核。
步骤4.2:迭代最小化能量函数,能量函数越小时,预测的类别标签越准确,迭代至能量函数收敛,得到训练好的模型PSPNet。
步骤5:对待分类的遥感数据,通过训练好的模型PSPNet,得到最优一元势能对应的概率分布图,经过softmax函数运算得到的最终遥感数据土地覆盖分类图。
与现有技术相比,本发明的有益技术效果:
1、采用多尺度融合分割模块构造多尺度特征,分析遥感信号的全局与局部所含信息,为土地覆盖分类提供科学分析依据,提高语义分割方法对类别复杂物体辨识精度。
2、通过自适应损失算法,弥补样本稀疏类别不平衡造成的信息损失,自适应样本权重,鲁棒性强,短时间内进行图像语义分割快速实现遥感土地图像的分类,降低分类失误带来的社会危害。
3、采用预训练网络迁移的方法,通过ImageNet数据库丰富样本多样性,实现对不同类型雷达遥感图像的辨识分割,使网络在图像处理领域具有普适性和可移植性。
附图说明
图1为本发明实施例的一种基于PSPNet的遥感数据土地覆盖分类方法的流程框图;
图2为本发明实施例的自适应损失模块效果对比图;
其中,(a)为未加入自适应损失模块的分类结果图;(b)为加入自适应损失模块的分类结果图。
图3为本发明实施例的多尺度融合分割模块效果对比图;
其中,(a)为两个通道未加入多尺度融合分割模块的分类结果;(b)为加入多尺度融合分割模块的分类结果。
图4为本发明实施例的土地覆盖分类的PSPNet网络模型结构示意图。
图5为本发明实施例的测试样本的土地覆盖分类结果示意图。
图6为本发明实施例在测试样本中各模块提升的Kappa精度对比图;
其中,(1)基线:原始PSPNetRes50;(2)改进1:添加数据预处理;(3)改进2:增加自适应损失;(4)改进3:增加多尺度融合分割模块;(5)改进4:本发明的网络;(2)-(4)改进的有效性平均值分别为0.009、0.018、0.118。
具体实施方式
下面结合附图和具体实施实例,进一步阐述本发明,但不以任何方式限制本发明的范围。
本发明提供一种基于遥感数据土地覆盖分类网络模型PSPNet(Pyramid SceneParsing Network)的遥感数据土地覆盖分类方法。图4为本发明具体实施利提供的土地覆盖分类的PSPNet网络模型的结构示意。
如图1所示,本发明基于PSPNet的遥感数据土地覆盖分类方法主要分为5个步骤:对已知土地覆盖类型的遥感数据进行数据预处理,预处理之后的图像采用ResNet-Net50网络对特征提取,采用一种多尺度融合分割模块对像素点进行分类,采用一种全连接条件随机场(CRFs)进行数据后处理,输出概率分布图经过softmax函数运算得到的最终分割预测图。
本实例中:
原始数据训练集为8张遥感图像,验证集为2张遥感图像,尺寸为6800*7200,类别数K=16;剪裁尺寸a=520,缩放比例b=[0.5-2];空洞卷积率D=[1,2,4,8];过采样阈值d=2%,翻转系数N=1,2,3,4,区域平移1/3后,多采样4张小图像;语义分割算法:U-Net PSP-Net DeepLabV3+DANet;基础模型:VGG-16ResNet-50 ResNet-101;计算机配置如下Ubuntu16.04,NVIDIA Titan-X(12GB);深度学习框架:Keras(Tensorflow),Pytorch;
具体实施如下:
一种基于PSPNet的遥感数据土地覆盖分类方法,具体步骤如下:
步骤1:对已知土地覆盖类型的遥感数据进行数据预处理,样本集共有nsample张图片样本,每张图片尺寸为m*n,所述遥感图片四通道包括:近红外(NIR)、红(R)、绿(G)、蓝(B);
步骤1.1:采集到的第λ张原始的遥感图片像素点表示为(Mi,Mj,k)λ,i≤m,j≤n,k≤4。首先将图像分割为a*a像素的小块,然后将图像按比例b进行缩放。
步骤1.3.1:在NIR通道和R通道内按照nir和r维度进行网格分割。在每一个网格区域Ωnir,r中计算互信息I(Ω;NIR,R)为:
其中,p(nir,r)是联合分布概率,p(nir)和p(r)是边缘概率分布计算如下,
其中,I(a∈Ωnir)为落在区域Ωnir内的采样点个数,I(a∈Ωr)为落在区域Ωr内的采样点个数,I(a∈Ωnir,r)为落在区域Ωnir,r内的采样点个数,I(a∈Ω)为样本集采样点总个数。
步骤2.1:在ImageNet数据库(包含133万张图片,1000类)上用残差网络、空洞卷积和降维卷积预训练网络NET0。
步骤2.2:迁移NET0,将步骤1.2.3中个样本数据送入NET0网络,通过全局自适应平均将输入的样本图像映射合并,分别得到特征映射。经过三次缩小特征图,一次maxpool,两次卷积conv,将输入特征映射的维数降低到1/Nlayer,得到featuremap{y},其中Nlayer是层数。
步骤2.3:采用一种双线性插值对特征映射featuremap{y}进行扩展。featuremap{y}被上采样,插值为f(x,y),其中f(x,y)表示改变的像素,OriImage[n,m]表示原始像素。μ,ν是阈值,经过卷积层输出结果featuremap{ym}。
f(x,y)=(1-μ)×(1-ν)×OriImage[n,m]+μ×ν×OriImage[n+1,m+1]+(1-μ)×ν×OriImage[n,m+1]+μ×(1-ν)×OriImage[n+,m].
步骤3.1:在空洞卷积率D=1下,提取代表全局特征featuremap{y0}。
步骤3.2:在空洞卷积率D作用下,提取代表局部多尺度特征featuremap{ys}。
步骤3.2:采用一种基于Focal loss的自适应损失函数训练拟合网络。
L(σt)=-(1-αt)(1-p*σt)γlog(σt)
其中,αt是权重因子,βt是与类别有关的阈值,σ是标签,t≤K,K为总类别数。
步骤3.3:根据土地覆盖遥感图像特点,提出三种评价指数来计算自适应损失中的βt,植被指数βvegetation,水体指数βwaterbody和形态学指数βmorphology。其中Sw表示水体区域所包含的像素。Sr表示***矩形的最小边框区域中包含的像素数。
步骤3.4:通过调整αt,βt,当像素点分类错误,(1-p*σt)值较高,损失没有较大变化;反之,当分类正确像素点对损失影响被削弱。
步骤3.5:将步骤2.3中特征映射featuremap{ym}和四个输出特征映射featuremap{ys}进行concate组合,以及卷积上采样得到初步预测分割图。
步骤4:采用一种全连接条件随机场(CRFs)进行数据后处理,结合原始影像中所有像素之间的关系对深度学习得到的分类结果进行处理,优化分类图像中粗糙和不确定性的标记,修正细碎的错分区域,同时得到更细致的分割边界。
其中为能量函数,前项为一元势能,后项为二元势能,其中的一元势函数用于衡量当像素点(Q,Mg,Mb)i,j,k的观测值为p时,该像素点属于类别标签的概率,来自卷积神经网络网络的后端输出。二元势函数用于衡量两事件同时发生的概率二元势能中的位置信息和颜色信息由原始影像提供。为标签兼容项,w为权重参数,KG(pi,pj)为特征函数。
步骤4.2:通过迭代最小化能量函数,能量函数越小时,预测的类别标签越准确,迭代至能量函数收敛。
步骤5:得到最优一元势能得到的概率分布图,输出经过softmax函数运算得到的最终分割预测图。
仿真结果说明:
表1:本发明算法与其他语义分割算法仿真结果对比
表1反映了本发明算法在本实例样本分类结果的Kappa的精度。其中本专利算法结果精度最高,较传统方法有0.117的精度提升。
图2、图3、图5,图6分别反映了本发明算法以及各模块在测试样本的分割效果与精度提升,其中多尺度融合分割模块提升精度0.018,自适应损失模块提升精度0.118。以上实验结果验证了算法分割能力和鲁棒性较好,能够实现快速遥感数据土地覆盖分类。
需要注意的是,公布实施例的目的在于帮助进一步理解本发明,但是本领域的技术人员可以理解:在不脱离本发明及所附权利要求的范围内,各种替换和修改都是可能的。
Claims (10)
1.一种基于PSPNet的遥感数据土地覆盖分类方法,包括如下步骤:
步骤1:采集土地覆盖类别的遥感图像数据;对已知土地覆盖类型的遥感图像数据样本集进行数据预处理,得到预处理之后的图像(Q,Mg,Mb),Q为近红外通道与红通道融合后像素点,Mg为绿通道像素点,Mb为蓝通道像素点;遥感图像数据样本集共有nsample张图片样本,每张遥感图像尺寸为m*n,m为横向所包含像素点数量,n为纵向所包含像素点数量;包括:
步骤1.1:将采集到的第λ张原始的遥感图片像素点表示为(Mi,Mj,k)λ,i≤m,Mi表示横向第i个像素值,j≤n,Mj表示纵向第j个像素值,k为通道数;首先将图像分割为包含a*a像素的小块,a为横纵最大像素数量;然后将图像按比例b进行缩放;
步骤1.2:对图片进行过采样;
如果该稀疏类别样本数量小于总样本数量百分比阈值d,则将该稀疏类别区域进行图像平移后再采样,即过采样;之后进行N*90°翻转,N={1,2,3},加入高斯噪声,处理后小图片像素点表示为 为处理后小图片横向所包含像素点数量,为处理后小图片纵向所包含像素点数量;
构建遥感数据土地覆盖分类网络模型PSPNet并训练模型PSPNet,包括步骤2~步骤4;
步骤2.1:利用图像数据集预训练残差网络,将得到的训练好的网络记为NET0;
步骤2.3:采用双线性插值方法对特征映射featuremap{y}进行扩展:将featuremap{y}上采样,插值为f(x,y);再经过卷积层输出特征映射结果featuremap{ym};
步骤3.1:在空洞卷积率D=1下,提取代表全局的特征映射featuremap{y0};
步骤3.2:在空洞卷积率D作用下,提取图像局部多尺度的特征映射featuremap{ys};表示为:
步骤3.3:采用基于焦点损失的自适应损失函数训练拟合PSPNet网络模型,表示为:
L(σt)=-(1-αt)(1-p*σt)γlog(σt)
其中,σt为类别标签;αt是权重因子,βt是与类别有关的阈值,σ是标签,t≤K,K为总类别数;
步骤3.4:采用评价指数计算自适应损失中的βt;βt包括:植被指数βvegetation,水体指数βwaterbody和形态学指数βmorphology;
步骤3.5:根据步骤3.4的像素点分类结果,通过步骤3.3和步骤3.4调整αt,βt,可调整像素点对损失L的影响;
步骤3.6:将特征映射featuremap{ym}和输出特征映射featuremap{ys}进行连接组合和卷积上采样,得到初步预测分割图,即为分类结果图像;
步骤4:进行数据后处理,对步骤3.5中的分类结果图像进行处理,通过计算输出一元势能对应的概率分布图;再优化分类结果图像中粗糙和不确定性的标记,修正细碎的错分区域,得到分割边界;
步骤5:对待分类的遥感数据,通过训练好的模型PSPNet,得到最优一元势能对应的概率分布图,经过softmax函数运算得到的最终遥感数据土地覆盖分类图。
2.如权利要求1所述基于PSPNet的遥感数据土地覆盖分类方法,其特征是,遥感图像的四通道包括:近红外NIR、红R、绿G、蓝B。
3.如权利要求1所述基于PSPNet的遥感数据土地覆盖分类方法,其特征是,步骤1.3具体包括如下步骤:
步骤1.3.1:在NIR通道和R通道内分别按照维度nir和r进行网格分割,在每一个网格区域Ωnir,r中计算互信息I(Ωnir,r;NIR,R),表示为:
其中,p(nir,r)是联合分布概率,p(nir)和p(r)是边缘概率分布;计算如下:
其中,I(a∈Ωnir)为落在区域Ωnir内的采样点个数,I(a∈Ωr)为落在区域Ωr内的采样点个数,I(a∈Ωnir,r)为落在区域Ωnir,r内的采样点个数,I(a∈Ω)为样本集采样点总个数;
4.如权利要求1所述基于PSPNet的遥感数据土地覆盖分类方法,其特征是,步骤2.1具体利用图像数据集ImageNet预训练残差网络;ImageNet包含133万张图片,1000类上用残差网络、空洞卷积和降维卷积预训练残差网络,得到训练好的网络记为NET0。
5.如权利要求1所述基于PSPNet的遥感数据土地覆盖分类方法,其特征是,残差网络采用ResNet-50。
6.如权利要求1所述基于PSPNet的遥感数据土地覆盖分类方法,其特征是,步骤2.2中,具体经过三次缩小特征图,一次最大池化maxpool,两次卷积conv,将输入特征映射的维数降低到1/Nlayer,得到特征映射featuremap{y},Nlayer是层数。
7.如权利要求1所述基于PSPNet的遥感数据土地覆盖分类方法,其特征是,步骤2.3:采用双线性插值方法对特征映射featuremap{y}进行扩展,扩展过程表示为:
f(x,y)=(1-μ)×(1-ν)×OriImage[n,m]+μ×ν×OriImage[n+1,m+1]+(1-μ)×ν×OriImage[n,m+1]+μ×(1-ν)×OriImage[n+,m].
其中f(x,y)表示改变的像素,OriImage[n,m]表示原始像素。μ,ν是阈值。
9.如权利要求1所述基于PSPNet的遥感数据土地覆盖分类方法,其特征是,步骤4采用一种全连接条件随机场CRFs进行数据后处理,包括如下步骤:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110539555.3A CN113312993B (zh) | 2021-05-17 | 2021-05-17 | 一种基于PSPNet的遥感数据土地覆盖分类方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110539555.3A CN113312993B (zh) | 2021-05-17 | 2021-05-17 | 一种基于PSPNet的遥感数据土地覆盖分类方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113312993A true CN113312993A (zh) | 2021-08-27 |
CN113312993B CN113312993B (zh) | 2022-07-26 |
Family
ID=77373739
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110539555.3A Active CN113312993B (zh) | 2021-05-17 | 2021-05-17 | 一种基于PSPNet的遥感数据土地覆盖分类方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113312993B (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113963177A (zh) * | 2021-11-11 | 2022-01-21 | 电子科技大学 | 一种基于cnn的建筑物掩膜轮廓矢量化的方法 |
CN115527123A (zh) * | 2022-10-21 | 2022-12-27 | 河北省科学院地理科学研究所 | 一种基于多源特征融合的土地覆被遥感监测方法 |
CN116129278A (zh) * | 2023-04-10 | 2023-05-16 | 牧马人(山东)勘察测绘集团有限公司 | 一种基于遥感影像的土地利用分类识别*** |
CN117036715A (zh) * | 2023-10-09 | 2023-11-10 | 南京北斗创新应用科技研究院有限公司 | 一种基于卷积神经网络的形变区边界自动提取方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109636905A (zh) * | 2018-12-07 | 2019-04-16 | 东北大学 | 基于深度卷积神经网络的环境语义建图方法 |
CN110781775A (zh) * | 2019-10-10 | 2020-02-11 | 武汉大学 | 一种多尺度特征支持的遥感影像水体信息精确分割方法 |
US20210035304A1 (en) * | 2018-04-10 | 2021-02-04 | Tencent Technology (Shenzhen) Company Limited | Training method for image semantic segmentation model and server |
-
2021
- 2021-05-17 CN CN202110539555.3A patent/CN113312993B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20210035304A1 (en) * | 2018-04-10 | 2021-02-04 | Tencent Technology (Shenzhen) Company Limited | Training method for image semantic segmentation model and server |
CN109636905A (zh) * | 2018-12-07 | 2019-04-16 | 东北大学 | 基于深度卷积神经网络的环境语义建图方法 |
CN110781775A (zh) * | 2019-10-10 | 2020-02-11 | 武汉大学 | 一种多尺度特征支持的遥感影像水体信息精确分割方法 |
Non-Patent Citations (1)
Title |
---|
邵光辉 等: "《具有SE 结构的改进的PSPNet用于紫菜养殖区识别》", 《软件》 * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113963177A (zh) * | 2021-11-11 | 2022-01-21 | 电子科技大学 | 一种基于cnn的建筑物掩膜轮廓矢量化的方法 |
CN115527123A (zh) * | 2022-10-21 | 2022-12-27 | 河北省科学院地理科学研究所 | 一种基于多源特征融合的土地覆被遥感监测方法 |
CN116129278A (zh) * | 2023-04-10 | 2023-05-16 | 牧马人(山东)勘察测绘集团有限公司 | 一种基于遥感影像的土地利用分类识别*** |
CN117036715A (zh) * | 2023-10-09 | 2023-11-10 | 南京北斗创新应用科技研究院有限公司 | 一种基于卷积神经网络的形变区边界自动提取方法 |
Also Published As
Publication number | Publication date |
---|---|
CN113312993B (zh) | 2022-07-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113312993B (zh) | 一种基于PSPNet的遥感数据土地覆盖分类方法 | |
CN115170979B (zh) | 一种多源数据融合的矿区精细用地分类方法 | |
CN111598098B (zh) | 一种基于全卷积神经网络的水尺水位线检测及有效性识别方法 | |
CN109741340B (zh) | 基于fcn-aspp网络的冰盖雷达图像冰层精细化分割方法 | |
CN112950780B (zh) | 一种基于遥感影像的网络地图智能生成方法及*** | |
CN111008664B (zh) | 一种基于空谱联合特征的高光谱海冰检测方法 | |
CN109635726B (zh) | 一种基于对称式深度网络结合多尺度池化的滑坡识别方法 | |
CN113919226B (zh) | 基于权重的采矿植被生态累积效应扰动范围识别方法 | |
CN112561876A (zh) | 基于图像的池塘和水库的水质检测方法及*** | |
CN112949407A (zh) | 一种基于深度学习和点集优化的遥感影像建筑物矢量化方法 | |
CN113642475B (zh) | 基于卷积神经网络模型的大西洋飓风强度估算方法 | |
Feng et al. | Embranchment cnn based local climate zone classification using sar and multispectral remote sensing data | |
CN109961105A (zh) | 一种基于多任务深度学习的高分辨率遥感影像分类方法 | |
CN112419197A (zh) | 一种通用的单、多时相sar影像相干斑噪声去除方法 | |
CN107766810B (zh) | 一种云、影检测方法 | |
CN114943902A (zh) | 基于多尺度特征感知网络的城市植被无人机遥感分类方法 | |
CN116524189A (zh) | 一种基于编解码索引化边缘表征的高分辨率遥感图像语义分割方法 | |
CN116844053A (zh) | 一种小麦种植区域识别方法、***、电子设备及存储介质 | |
CN112446256A (zh) | 一种基于深度isa数据融合的植被类型识别方法 | |
CN114120359A (zh) | 一种基于堆叠沙漏网络的群养猪体尺测量方法 | |
CN116543165B (zh) | 一种基于双通道复合深度网络的遥感图像果树分割方法 | |
CN113705340A (zh) | 一种基于雷达遥感数据的深度学习变化检测方法 | |
Ruiz-Lendínez et al. | Deep learning methods applied to digital elevation models: state of the art | |
CN115588138A (zh) | 利用中分辨多源遥感数据进行滑坡检测的语义分割方法 | |
Jing et al. | Time series land cover classification based on semi-supervised convolutional long short-term memory neural networks |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |