CN110136154B - 基于全卷积网络与形态学处理的遥感图像语义分割方法 - Google Patents
基于全卷积网络与形态学处理的遥感图像语义分割方法 Download PDFInfo
- Publication number
- CN110136154B CN110136154B CN201910410666.7A CN201910410666A CN110136154B CN 110136154 B CN110136154 B CN 110136154B CN 201910410666 A CN201910410666 A CN 201910410666A CN 110136154 B CN110136154 B CN 110136154B
- Authority
- CN
- China
- Prior art keywords
- model
- image
- semantic segmentation
- network
- remote sensing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 104
- 230000000877 morphologic effect Effects 0.000 title claims abstract description 32
- 238000000034 method Methods 0.000 title claims abstract description 26
- 238000012545 processing Methods 0.000 title claims abstract description 25
- 238000012549 training Methods 0.000 claims abstract description 46
- 238000012795 verification Methods 0.000 claims abstract description 12
- 238000004458 analytical method Methods 0.000 claims abstract description 8
- 230000007797 corrosion Effects 0.000 claims abstract description 7
- 238000005260 corrosion Methods 0.000 claims abstract description 7
- 230000004927 fusion Effects 0.000 claims description 11
- 230000010339 dilation Effects 0.000 claims description 3
- 230000003628 erosive effect Effects 0.000 claims description 2
- 239000011159 matrix material Substances 0.000 claims description 2
- 238000005530 etching Methods 0.000 claims 1
- 230000000694 effects Effects 0.000 abstract description 14
- 238000001514 detection method Methods 0.000 abstract description 3
- 238000012360 testing method Methods 0.000 description 16
- 230000003287 optical effect Effects 0.000 description 6
- 238000004088 simulation Methods 0.000 description 5
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 230000008439 repair process Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 239000011148 porous material Substances 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
- G06T5/30—Erosion or dilatation, e.g. thinning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20036—Morphological image processing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明提出了一种基于全卷积网络与形态学处理的遥感图像语义分割方法,主要解决现有的遥感图像语义分割方法分割准确率低的问题,其实现方案为:构建训练样本集和验证样本集,对训练样本集进行数据增强与数据扩充预处理,分别搭建图像级联网络ICNet模型、金字塔场景解析网络PSPNet模型和基于编码器表示的连接网络LinkNet模型这三种全卷积网络模型,训练并验证全卷积网络模型;将待测试的遥感图像输入训练好的全卷积网络中,得到语义分割初次结果,并采用形态学腐蚀与膨胀运算对语义分割图精调,得到最终的语义分割结果。本发明提升了图像的整体分割效果,可用于遥感图像的分割、分类、检测与跟踪任务。
Description
技术领域
本发明属于图像处理技术领域,特别涉及一种图像语义分割方法,可用于图像分类、目标识别、目标跟踪这些要求检测目标的场合。
背景技术
遥感图像的理解与解译是当今数字图像处理领域的研究热点。作为其中的关键性工作,图像语义分割是一种对遥感图像的像素级分类任务,将整幅图像分割为若干个互不重叠的区域,每一个区域代表一种地物类别,也就是对于图像中的每一个像素点给出正确的像素级语义标注。
在深度学习运用到计算机视觉领域之前,早期研究人员采用的图像语义分割方法主要有简单的像素级别“阈值法”、基于像素聚类的分割方法以及“图划分”的分割方法。这些语义分割方法大多是根据图像像素自身的低阶视觉信息来进行图像分割的。这样的方法不需要预先训练,所以计算复杂度不高。但是往往难以利用图像的全局特征,容易造成误检,导致分割准确率降低,所以在较困难的分割任务上无法取得令人满意的分割效果。
近年来,随着深度学习的发展,卷积神经网络被广泛应用于图像分类与识别领域。以AlexNet(Alex Krizhevsky,I Sutskever,G Hinton.ImageNet Classification withDeep Convolutional Neural Networks[C].NIPS 2012:1106-1114.)为代表的经典卷积神经网络在一系列卷积层之后接若干个全连接层,将卷积层产生的特征图映射成一个固定长度的特征向量,即它的输出是当前输入图像属于某些类别的概率向量,其中概率值最大的位置所对应的类别就是网络认为该图像所属的类别。这种结构适合于图像级的分类任务,也就是一幅图像对应一个类别。
2015年,Jonathan Long等人提出了用于语义分割的全卷积网络(Long J,Shelhamer E,Darrell T.Fully Convolutional Networks for Semantic Segmentation[J].IEEE Transactions on Pattern Analysis&Machine Intelligence,2014.),它可以接受任意尺寸的输入图像,对传统分类网络的最后一个卷积层的输出特征图进行上采样,使得上采样的结果恢复到与输入图像相同的尺寸,从而对每一个像素产生一个预测,同时保留了原始输入图像中的空间信息,实现了像素级的图像语义分割。全卷积网络在PASCALVOC 2012挑战赛中达到了62.7%的分割准确率。尽管全卷积网络模型能够实现像素级分类任务,但是它只用到了卷积神经网络的高层图像特征,损失了低层的图像边缘细节信息。
2017年,Zhao Hengshuang等人在全卷积网络的基础上提出了用于高分辨率图像的语义分割网络ICNet(Zhao H,Qi X,Shen X,et al.ICNet for Real-Time SemanticSegmentation on High-Resolution Images[J].2017.),它首先将输入图像下采样为不同的分辨率,使用低分辨率特征图提取语义信息,使用高分辨率特征图获取边缘细节,并引入级联特征融合模块进行融合。该网络中运用的下采样和模型压缩操作虽然可大大加快对图像的处理速度,但是由于这种下采样操作却降低了原始图像和特征图的分辨率,从而降低了图像语义分割的准确率。
发明内容
本发明的目的在于针对上述现有技术存在的缺陷,提出一种基于全卷积网络与形态学处理的遥感图像语义分割方法,以提升图像语义分割的准确率。
为实现上述目的,本发明的技术包括如下:
(1)构建训练样本集和测试样本集:获取M幅遥感图像以及每幅遥感图像对应的类别标签图像,构成样本集D,其中M≥100;从D中选择80%以上的样本作为训练样本集D1,其余的样本作为测试样本集D2;
(2)对训练样本集D1进行预处理:
(2a)对训练样本集D1进行数据平衡处理,得到数据平衡处理后的训练样本集D1′;
(2b)随机改变D1′中的遥感图像清晰度、对比度和色度,将改变后的每幅遥感图像以及其对应的类别标签图像作为新的样本加入到D1′中,得到数据扩充处理后的训练样本集D″1;
(3)搭建全卷积网络模型:
(3a)选用图像级联网络ICNet模型、金字塔场景解析网络PSPNet模型和基于编码器表示的连接网络LinkNet模型,并将34层ResNet-34残差网络作为PSPNet模型的基础网络,将16层VGG卷积网络作为LinkNet模型的基础网络;
(3b)对ICNet模型的所有网络层的参数随机初始化;用在ImageNet数据集上预训练过的ResNet-34残差网络的权重初始化PSPNet模型的基础网络;用在ImageNet数据集上预训练过的VGG卷积网络的权重初始化LinkNet模型的基础网络,PSPNet模型和LinkNet模型的其他网络层参数随机初始化;
(4)对搭建的全卷积网络模型进行训练:
(4a)利用数据扩充后的训练样本集D″1中遥感图像及其对应的类别标签图像,采用随机梯度下降法,对步骤(3b)中的三个网络模型:ICNet模型、PSPNet模型和LinkNet模型,分别进行迭代训练;
(4b)在步骤(4a)的迭代训练过程中,每迭代Q次后分别用训练过的ICNet模型、PSPNet模型和LinkNet模型对测试样本集D2进行验证,Q≥5000,当三个网络模型的验证结果的准确率均达到85%以上时停止训练,得到训练好的三个网络模型ICNet模型、PSPNet模型和LinkNet模型;
(5)对待测试的遥感图像进行语义分割:
(5a)将待测试的遥感图像分别输入到训练好的ICNet模型、PSPNet模型和LinkNet模型中,得到三幅语义分割结果图;
(5b)对步骤(5a)中得到的三幅语义分割结果图运用像素级投票算法进行决策级融合,得到一幅融合后的语义分割结果图;
(6)对步骤(5)中得到的融合后的语义分割结果图进行形态学处理,得到最终的语义分割结果图。
本发明与现有的技术相比,具有以下优点:
1.本发明在数据预处理过程中,进行了数据平衡与数据扩充两种操作,从训练样本集中删除了样本类别极度不平衡的图像以及部分极端天气状况下拍摄的图像,从而减少坏样本的干扰,加快网络收敛速度,有助于后续语义分割效果的提升;随机改变了部分训练样本集中图像的清晰度、对比度和色度,扩充了样本量,有助于提高语义分割网络的泛化性能。
2.本发明在搭建语义分割网络的过程中,为了提升现有的图像语义分割算法的准确率,采用了多模型融合的方式,具体来说,分别搭建了图像级联网络ICNet模型、金字塔场景解析网络PSPNet模型和基于编码器表示的连接网络LinkNet模型三种全卷积网络结构,分别进行训练与测试,再将其在测试图像上分别得到的语义分割图运用像素级投票算法进行融合。结果表明,本发明在继承了现有的基于全卷积网络的图像语义分割算法优异的特征抽象能力的同时,提升了对图像的语义分割的整体准确率以及每一种地物类别的分割准确率。
3.本发明对测试图像上得到的语义分割图进行了形态学处理,具体来说,运用形态腐蚀运算和形态膨胀运算填平了语义分割图中的小孔,修补小的裂缝,而不影响语义分割图的整体形状与位置,从而进一步提升了相关地物类别的分割准确率,同时也提升了对图像整体的语义分割准确率。
附图说明
图1是本发明的实现流程框图;
图2是训练样本集中的一幅光学遥感图像及其对应的真实语义分割图;
图3是本发明与现有的四种全卷积网络的语义分割结果对比图;
具体实施方案
下面结合附图对本发明具体实施例和效果作进一步详细描述:
参照图1,本发明的实现步骤如下:
步骤1,构建训练样本集、验证样本集和测试样本集。
本实施例使用的数据集是2019 IEEE GRSS Data Fusion Contest提供的光学遥感图像,该数据集包含Jacksonville和Omaha两个城市的4901幅高分辨率光学遥感图像,分别以JAX和OMA简化表示,选择其中87.6%的图像,即4292幅作为训练样本集,选择306幅图像作为验证样本集,其余的303幅图像作为测试样本集。所有样本图像均有对应的相同尺寸的真实语义分割图,如图2所示,其表示一幅光学遥感图像及其对应的真实语义分割图。
步骤2,对训练样本集进行数据预处理。
2.1)将训练样本集D1中在多云、大雪、大雾极端天气下拍摄的易产生遮挡或者影响地物地貌特征的图像挑选出来,以减少坏样本对网络学习过程的干扰,计算每张遥感图像对应的类别标签图像中所有目标地物所在区域像素点的个数L,并判断L是否大于该遥感图像所有像素点个数的三分之二:如果是,则将该遥感图像及其对应的类别标签图像保留在D1中,否则,将该遥感图像及其对应的类别标签图像从D1中删除;
2.2)根据训练样本集图像对应的真实语义标签,统计训练样本集图像的每一种地物类别的像素点数量。本实例的训练样本集中,城市JAX每一种地物类别的像素点数量分别为:地面1301726302,占58.0%,高植被353847850,占15.8%,建筑物403999418,占18.0%,水82644533,占3.68%,高架路/桥100685961,占4.49%;城市OMA的每一种地物类别的像素点的数量分别为:地面1667988240,占73.9%,高植被209105060,占9.26%,建筑物309603684,占13.7%,水40346966,占1.79%,高架路/桥30540178,占1.35%;
可以看出,训练样本集存在严重的样本类别不平衡问题,因此需要删去某一地物类别像素点个数超过整幅图像90%的遥感图像,以避免网络出现过拟合;
2.3)随机选择训练样本集D1′中的一部分遥感图像,改变其清晰度、对比度和色度,并将改变后的遥感图像加入训练样本集D1′中,进行数据扩充,得到数据扩充处理后的训练样本集D″1,以增加样本量。
步骤3,搭建输出图像语义分割图的全卷积网络模型。
选用基于图像级联网络ICNet模型的语义分割模型为本实施例的基准模型,该基准模型在验证集和测试集上的语义分割结果与真实值的平均交并比分别为55.5%和50.7%。
为了提升语义分割结果,在基准模型ICNet的基础上,搭建了金字塔场景解析网络PSPNet模型和基于编码器表示的连接网络LinkNet模型这两个全卷积网络模型,构成了包含三个网络的多模型融合的全卷积网络,并将34层ResNet-34残差网络作为PSPNet模型的基础网络,将16层VGG卷积网络作为LinkNet模型的基础网络;
对ICNet模型的所有网络层的参数随机初始化;用在ImageNet数据集上预训练过的ResNet-34残差网络的权重初始化PSPNet模型的基础网络;用在ImageNet数据集上预训练过的VGG卷积网络的权重初始化LinkNet模型的基础网络,PSPNet模型和LinkNet模型的其他网络层参数随机初始化;
基于多模型融合的全卷积网络与基准模型相比,对当前数据集具有更好的表达能力。
步骤4,对搭建的全卷积网络模型进行训练。
采用随机梯度下降法,对步骤3的三个网络模型:ICNet模型、PSPNet模型和LinkNet模型,分别进行迭代训练;在训练过程中,每经过5000次迭代后,分别用训练过的ICNet模型、PSPNet模型和LinkNet模型对验证样本集进行验证,当三个网络模型的验证准确率均达到85%以上时停止训练,得到训练好的三个网络模型ICNet模型、PSPNet模型和LinkNet模型。
步骤5,对测试样本集的遥感图像进行语义分割。
5.1)将测试样本集的303幅遥感图像依次输入到步骤4训练好的ICNet模型、PSPNet模型和LinkNet模型三种语义分割网络中,每一幅遥感图像分别得到三个语义分割图矩阵和矩阵中每个元素的数值Sij∈{1,2,…,Cmax},其中Cmax表示地物类别标签的最大值;
5.3)对测试样本集的每一幅遥感图像得到的三幅语义分割图运用上述像素级投票算法进行决策级融合,得到融合后的303幅语义分割图。
步骤6,对步骤5得到的303幅语义分割图依次进行形态学处理,得到最终的语义分割结果。
6.1)对于一幅语义分割图,分别提取图中的“地面”、“建筑物”、“水”以及“高架路/桥”这四个类别的像素点,并将这些像素点的值置1,其他像素点的值置0,得到该类别的二值图,并取尺寸参数n=m=3的结构元素对二值图做先腐蚀后膨胀的形态学运算,以填平语义分割图中的小孔,修补小的裂缝,而不影响语义分割图的整体形状与位置;
具体来说,对于一幅融合后的语义分割结果图,选择某个地物类别C,C∈{1,2,3,...,Cmax},提取该类别对应的所有像素点,并将这些像素点的值置1,其他像素点的值置0,得到该类别的二值图f,再对二值图f以坐标(x,y)为中心、取尺寸参数n为邻域半径,进行形态腐蚀操作,得到坐标(x,y)处形态腐蚀后的二值图f*(x,y):
对得到的形态腐蚀后的二值图f*(x,y)以坐标(x,y)为中心,取尺寸参数m为邻域半径,进行形态膨胀操作,得到坐标(x,y)处形态膨胀后的二值图f**(x,y):
对得到的f**中的所有像素点,如果像素点的值为1,则判断该像素点属于类别C,否则属于其他类别,这样得到地物类别C的最终分类结果;依次选择其他类别并重复上述操作,得到最终的语义分割结果;
6.2)对测试样本集的所有遥感图像对应的语义分割图依次做6.1)的操作,得到所有测试样本集图像最终的语义分割结果。
以下结合仿真试验,对本发明的效果作进一步说明:
1.仿真条件
本实例的算法仿真平台为:一台惠普Z840工作站,Intel(R)Xeon(R)CPU [email protected],64.0GB的内存,NVIDIA GTX1080 GPU,Ubuntu16.04 64位操作***,Python3.6,PyCharm5.0.3专业版,MATLAB 2018b开发平台。
2.仿真内容
仿真1,用本发明与现有的U-Net模型、图像级联网络ICNet模型、金字塔场景解析网络PSPNet模型和基于编码器表示的连接网络LinkNet模型分别对高分辨率光学遥感图像进行语义分割,分割结果如图3所示,其中,3(a)为原始光学遥感图像,3(b)为现有的U-Net模型得到的语义分割图,3(c)为ICNet模型得到的语义分割图,3(d)为PSPNet模型得到的语义分割图,3(e)为LinkNet模型得到的语义分割图,3(f)为本发明的方法得到的语义分割图。
仿真2,在测试数据集上验证本发明提出的形态学处理对提升图像语义分割效果的有效性,结果如表1所示,其中,第一行是本发明的语义分割网络未加形态学处理的每一种地物类别的语义分割效果和整体语义分割效果,第二行是在得到语义分割图之后加形态学处理的每一种地物类别的语义分割效果和整体语义分割效果。
3.仿真结果分析
参照图3可以看出,本发明的语义分割效果明显优于现有的U-Net、ICNet、PSPNet、LinkNet这四种常用的全卷积网络的语义分割效果,这是因为本发明运用了多模型融合的像素级投票算法,减少了一些区域的地物误分类,同时对于地物边缘细节的刻画也更到位。
表1本发明中未加形态学处理与加形态学处理的图像分割结果对比
参照表1,通过对比本发明得到的图像语义分割图在未加形态学处理和加形态学处理后的图像语义分割结果,可以看出,对“地面”、“建筑物”、“水”以及“高架路/桥”这四种进行了形态学处理的地物类别,其语义分割效果均有不同程度的提升:其中,“地面”的平均交并比IOU-3从0.6434提高到0.6493,提高了0.92%;“建筑物”的平均交并比IOU-3从0.5750提高到0.5766,提高了0.28%;“水”的平均交并比IOU-3从0.8649提高到0.8798,提高了1.72%;“高架路/桥”的平均交并比IOU-3从0.5606提高到0.6204,提高了10.7%;整体分割效果的平均交并比mIOU-3从0.5691提高到0.5855,提高了2.88%。
上述结果表明,本发明采用的形态学处理可以有效提升图像语义分割效果。
Claims (4)
1.一种基于全卷积网络与形态学处理的遥感图像语义分割方法,包括如下步骤:
(1)构建训练样本集和验证样本集:获取M幅遥感图像以及每幅遥感图像对应的类别标签图像,构成样本集D,其中M≥100;从D中选择80%以上的样本作为训练样本集D1,其余的样本作为验证样本集D2;
(2)对训练样本集D1进行预处理:
(2a)对训练样本集D1进行数据平衡处理,得到数据平衡处理后的训练样本集D′1;
(2b)随机改变D′1中的遥感图像清晰度、对比度和色度,将改变后的每幅遥感图像以及其对应的类别标签图像作为新的样本加入到D′1中,得到数据扩充处理后的训练样本集D″1;
(3)搭建全卷积网络模型:
(3a)选用图像级联网络ICNet模型、金字塔场景解析网络PSPNet模型和基于编码器表示的连接网络LinkNet模型,并将34层ResNet-34残差网络作为PSPNet模型的基础网络,将16层VGG卷积网络作为LinkNet模型的基础网络;
(3b)对ICNet模型的所有网络层的参数随机初始化;用在ImageNet数据集上预训练过的ResNet-34残差网络的权重初始化PSPNet模型的基础网络;用在ImageNet数据集上预训练过的VGG卷积网络的权重初始化LinkNet模型的基础网络,PSPNet模型和LinkNet模型的其他网络层参数随机初始化;
(4)对搭建的全卷积网络模型进行训练:
(4a)利用数据扩充后的训练样本集D″1中遥感图像及其对应的类别标签图像,采用随机梯度下降法,对步骤(3b)中的三个网络模型:ICNet模型、PSPNet模型和LinkNet模型,分别进行迭代训练;
(4b)在步骤(4a)的迭代训练过程中,每迭代Q次后分别用训练过的ICNet模型、PSPNet模型和LinkNet模型对验证样本集D2进行验证,Q≥5000,当三个网络模型的验证结果的准确率均达到85%以上时停止训练,得到训练好的三个网络模型ICNet模型、PSPNet模型和LinkNet模型;
(5)对待测试的遥感图像进行语义分割:
(5a)将待测试的遥感图像分别输入到训练好的ICNet模型、PSPNet模型和LinkNet模型中,得到三幅语义分割结果图;
(5b)对步骤(5a)中得到的三幅语义分割结果图运用像素级投票算法进行决策级融合,得到一幅融合后的语义分割结果图;
(6)对步骤(5)中得到的融合后的语义分割结果图进行形态学处理,得到最终的语义分割结果图。
2.根据权利要求1所述的方法,其特征在于,(2a)中对训练样本集D1中的样本进行数据平衡处理,实现如下:
(2a1)将训练样本集D1中在多云、大雪、大雾极端天气状况下拍摄的遥感图像挑选出来,计算每张遥感图像对应的类别标签图像中所有目标地物所在区域像素点的个数L,并判断L是否大于该遥感图像所有像素点个数的三分之二:如果是,则将该遥感图像及其对应的类别标签图像保留在D1中,否则,将该遥感图像及其对应的类别标签图像从D1中删除;
(2a2)提取出(2a1)处理过的D1中的遥感图像对应的类别标签图像,统计每一张类别标签图像中每一种地物类别的像素点数量;
(2a3)根据步骤(2a2)的统计结果,判断每张类别标签图像中是否存在某一种地物所对应的像素点个数大于该类别标签图像所有像素点个数的90%,如果是,则将该类别标签图像及其对应的遥感图像保留在D1中,否则,将该类别标签图像及其对应的遥感图像从D1中删除。
3.根据权利要求1所述的方法,其特征在于,(5b)中对(5a)中得到的三幅语义分割结果图运用像素级投票算法进行决策级融合,实现如下:
(5b1)将长为w、宽为h的待测试遥感图像I分别输入到ICNet模型、PSPNet模型、LinkNet模型,得到尺寸均为w×h的三个语义分割图矩阵和其中i∈{1,2,…,w},j∈{1,2,…,h},矩阵中每个元素的数值Sij∈{1,2,…,Cmax},其中Cmax表示地物类别标签的最大值;
(5b3)按照(5b2)的投票规则,得到语义分割图中所有像素点的投票后的类别。
4.根据权利要求1所述的方法,其特征在于,(6)中对(5)中得到的融合后的语义分割结果图进行形态学处理,实现如下:
(6a)对于一幅融合后的语义分割结果图,选择某个地物类别C,C∈{1,2,3,...,Cmax},提取该类别对应的所有像素点,并将这些像素点的值置1,其他像素点的值置0,得到该类别的二值图f,再对二值图f以坐标(x,y)为中心、取尺寸参数n为邻域半径,进行形态腐蚀操作,得到坐标(x,y)处形态腐蚀后的二值图f*(x,y):
(6b)对(6a)得到的形态腐蚀后的二值图f*(x,y)以坐标(x,y)为中心,取尺寸参数m为邻域半径,进行形态膨胀操作,得到坐标(x,y)处形态膨胀后的二值图f**(x,y):
(6c)对(6b)得到的f**中的所有像素点,如果像素点的值为1,则判断该像素点属于类别C,否则属于其他类别,这样得到地物类别C的最终分类结果,依次选择其他类别并重复(6a)(6b)(6c)的操作,得到最终的语义分割结果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910410666.7A CN110136154B (zh) | 2019-05-16 | 2019-05-16 | 基于全卷积网络与形态学处理的遥感图像语义分割方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910410666.7A CN110136154B (zh) | 2019-05-16 | 2019-05-16 | 基于全卷积网络与形态学处理的遥感图像语义分割方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110136154A CN110136154A (zh) | 2019-08-16 |
CN110136154B true CN110136154B (zh) | 2022-12-06 |
Family
ID=67574846
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910410666.7A Active CN110136154B (zh) | 2019-05-16 | 2019-05-16 | 基于全卷积网络与形态学处理的遥感图像语义分割方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110136154B (zh) |
Families Citing this family (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112683923A (zh) * | 2019-10-17 | 2021-04-20 | 神讯电脑(昆山)有限公司 | 基于人工神经网络的物件表面型态的筛选方法 |
CN110807485B (zh) * | 2019-10-31 | 2022-05-03 | 电子科技大学 | 基于高分遥感影像二分类语义分割图融合成多分类语义图的方法 |
CN111192267A (zh) * | 2019-12-31 | 2020-05-22 | 航天时代飞鸿技术有限公司 | 一种基于unet网络的多源感知融合遥感图像分割方法及应用 |
CN113496148A (zh) * | 2020-03-19 | 2021-10-12 | 中科星图股份有限公司 | 一种多源数据融合方法及*** |
CN111612803B (zh) * | 2020-04-30 | 2023-10-17 | 杭州电子科技大学 | 一种基于图像清晰度的车辆图像语义分割方法 |
CN111738295B (zh) * | 2020-05-22 | 2024-03-22 | 南通大学 | 图像的分割方法及存储介质 |
CN111680667B (zh) * | 2020-07-13 | 2022-06-24 | 北京理工大学重庆创新中心 | 一种基于深度神经网络的遥感图像地物分类方法 |
CN111738268B (zh) * | 2020-07-22 | 2023-11-14 | 浙江大学 | 一种基于随机块的高分遥感图像的语义分割方法及*** |
CN111881883A (zh) * | 2020-08-10 | 2020-11-03 | 晶璞(上海)人工智能科技有限公司 | 一种基于卷积特征提取与形态学处理的表格文档提取方法 |
CN112070722A (zh) * | 2020-08-14 | 2020-12-11 | 厦门骁科码生物科技有限公司 | 一种荧光原位杂交细胞核分割方法及*** |
CN112084923B (zh) * | 2020-09-01 | 2023-12-22 | 西安电子科技大学 | 一种遥感图像语义分割方法、存储介质及计算设备 |
CN112149547B (zh) * | 2020-09-17 | 2023-06-02 | 南京信息工程大学 | 基于图像金字塔引导和像素对匹配的遥感影像水体识别方法 |
CN111914848B (zh) * | 2020-09-21 | 2024-04-12 | 南京航空航天大学 | 一种融合gis数据的遥感图像语义分割方法及*** |
CN112347927B (zh) * | 2020-11-06 | 2022-12-13 | 天津市勘察设计院集团有限公司 | 基于卷积神经网络概率决策融合的高分影像建筑提取方法 |
CN112950655A (zh) * | 2021-03-08 | 2021-06-11 | 甘肃农业大学 | 基于深度学习的土地利用信息自动提取方法 |
CN112883900B (zh) * | 2021-03-12 | 2022-03-04 | 中科三清科技有限公司 | 遥感影像裸地反演可视图的方法及装置 |
CN113780330A (zh) * | 2021-04-13 | 2021-12-10 | 北京沃东天骏信息技术有限公司 | 图像校正方法及装置、计算机存储介质、电子设备 |
CN112990365B (zh) * | 2021-04-22 | 2021-08-17 | 宝略科技(浙江)有限公司 | 一种面向遥感图像语义分割的深度学习模型的训练方法 |
CN113516668B (zh) * | 2021-06-16 | 2024-03-29 | 郑州大学 | 物联网应用中图像语义分割方法 |
CN113255607A (zh) * | 2021-06-30 | 2021-08-13 | 北京道达天际科技有限公司 | 基于多模型融合的遥感房屋检测方法及装置 |
CN113723175A (zh) * | 2021-07-14 | 2021-11-30 | 中国人民解放军战略支援部队信息工程大学 | 一种遥感影像城市建成区提取方法 |
CN113516084B (zh) * | 2021-07-20 | 2023-04-25 | 海南长光卫星信息技术有限公司 | 高分辨率遥感影像半监督分类方法、装置、设备及介质 |
CN113744227B (zh) * | 2021-08-27 | 2023-10-13 | 北京航空航天大学 | 一种基于多种易混淆小部件的语义分割方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017162456A (ja) * | 2016-03-11 | 2017-09-14 | 株式会社東芝 | 道路シーンのセマンティックセグメンテーションのための制約付きデコンボリューションネットワークのトレーニング |
CN107424159A (zh) * | 2017-07-28 | 2017-12-01 | 西安电子科技大学 | 基于超像素边缘和全卷积网络的图像语义分割方法 |
CN109063569A (zh) * | 2018-07-04 | 2018-12-21 | 北京航空航天大学 | 一种基于遥感影像的语义级变化检测方法 |
-
2019
- 2019-05-16 CN CN201910410666.7A patent/CN110136154B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017162456A (ja) * | 2016-03-11 | 2017-09-14 | 株式会社東芝 | 道路シーンのセマンティックセグメンテーションのための制約付きデコンボリューションネットワークのトレーニング |
CN107424159A (zh) * | 2017-07-28 | 2017-12-01 | 西安电子科技大学 | 基于超像素边缘和全卷积网络的图像语义分割方法 |
CN109063569A (zh) * | 2018-07-04 | 2018-12-21 | 北京航空航天大学 | 一种基于遥感影像的语义级变化检测方法 |
Also Published As
Publication number | Publication date |
---|---|
CN110136154A (zh) | 2019-08-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110136154B (zh) | 基于全卷积网络与形态学处理的遥感图像语义分割方法 | |
CN111091105B (zh) | 基于新的边框回归损失函数的遥感图像目标检测方法 | |
CN108154192B (zh) | 基于多尺度卷积与特征融合的高分辨sar地物分类方法 | |
CN109977918B (zh) | 一种基于无监督域适应的目标检测定位优化方法 | |
CN107092870B (zh) | 一种高分辨率影像语义信息提取方法 | |
CN111369572B (zh) | 一种基于图像修复技术的弱监督语义分割方法和装置 | |
CN111191583B (zh) | 基于卷积神经网络的空间目标识别***及方法 | |
CN111179217A (zh) | 一种基于注意力机制的遥感图像多尺度目标检测方法 | |
CN111753828B (zh) | 一种基于深度卷积神经网络的自然场景水平文字检测方法 | |
CN110889449A (zh) | 一种增强边缘的、多尺度的遥感影像建筑物语义特征提取方法 | |
CN110135354B (zh) | 一种基于实景三维模型的变化检测方法 | |
CN105139395B (zh) | 基于小波池化卷积神经网络的sar图像分割方法 | |
CN111027493A (zh) | 一种基于深度学习多网络软融合的行人检测方法 | |
CN111640125A (zh) | 基于Mask R-CNN的航拍图建筑物检测和分割方法及装置 | |
CN109446894B (zh) | 基于概率分割及高斯混合聚类的多光谱图像变化检测方法 | |
CN113449784B (zh) | 基于先验属性图谱的图像多分类方法、装置、设备及介质 | |
CN111126127B (zh) | 一种多级空间上下文特征指导的高分辨率遥感影像分类方法 | |
CN109377511B (zh) | 基于样本组合和深度检测网络的运动目标跟踪方法 | |
CN114694038A (zh) | 基于深度学习的高分辨率遥感影像分类方法及*** | |
CN112733614B (zh) | 一种带有相似尺寸强化识别的害虫图像检测方法 | |
CN111986125A (zh) | 一种用于多目标任务实例分割的方法 | |
CN111986126B (zh) | 一种基于改进vgg16网络的多目标检测方法 | |
CN111310609B (zh) | 基于时序信息和局部特征相似性的视频目标检测方法 | |
CN112418212A (zh) | 一种基于EIoU改进的YOLOv3算法 | |
CN111723660A (zh) | 一种用于长形地面目标检测网络的检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |