CN112712087A - 一种基于深度卷积神经网络的遥感影像地物语义分割方法 - Google Patents

一种基于深度卷积神经网络的遥感影像地物语义分割方法 Download PDF

Info

Publication number
CN112712087A
CN112712087A CN202011602274.XA CN202011602274A CN112712087A CN 112712087 A CN112712087 A CN 112712087A CN 202011602274 A CN202011602274 A CN 202011602274A CN 112712087 A CN112712087 A CN 112712087A
Authority
CN
China
Prior art keywords
neural network
remote sensing
sensing image
semantic segmentation
convolutional neural
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011602274.XA
Other languages
English (en)
Inventor
田禹
张天奇
李铭
马丽娜
李俐频
胡智超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Institute of Technology
Original Assignee
Harbin Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Institute of Technology filed Critical Harbin Institute of Technology
Priority to CN202011602274.XA priority Critical patent/CN112712087A/zh
Publication of CN112712087A publication Critical patent/CN112712087A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Biology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

一种基于深度卷积神经网络的遥感影像地物语义分割方法，属于环境科学与工程与可见光遥感影像场景分类地物标注交叉领域；为了解决采用机器学习分类方法对水质模型进行建立时，存在计算效率低以及人工投入高的问题。本发明的语义分割方法为：制作自主标签的城市水环境“厂网河”遥感影像样本数据集；构建基于Unet融合交叉熵损失的深度卷积神经网络模型；对深度卷积神经网络模型进行语义分割训练，并输出语义分割结果；对语义分割结果进行评估。有益效果为计算效率高，人工投入低。

Description

一种基于深度卷积神经网络的遥感影像地物语义分割方法
技术领域
本发明属于环境科学与工程与可见光遥感影像场景分类地物标注交叉领域。
背景技术
城市“厂网河”水***是由污水处理厂、管网以及河流组成，主要功能为负责处理、输运和排放城市在生产生活过程中产水的雨水和污水，是影响城市水生态健康的重要环节与组成部分；而城市“厂网河”水动力水质模型的建立，可实现城市“厂网河”***的水力模拟、水质预测、洪涝灾害仿真以及相关运行调度方案评估，为城市排水过程的健康发展提供有效的科学依据与技术支持，具有重大意义。
在城市“厂网河”水动力水质模型建立过程中，城市地表土地利用类型解析是建立模型的基础前提；城市不同的地表土地利用类型具有不同的水力效应，如建筑屋顶、道路、绿化、水体和裸露地面，都有各自的水力特征，其透水性、下渗性以及雨水冲刷地表污染物的能力不尽相同，造成各土地利用类型间的水动力水质计算结果差异；因此，提高城市“厂网河”水利水质模型精度的关键点之一即为城市地表利用类型的精准解析。
现有的城市地表土地利用类型解析方法主要为基于地理信息***(GIS)软件进行人工目译+监督分类的机器学习方法，其识别精度直接取决于样本数量和质量，从而导致以大量人力投入换来识别精度的小幅提升，效率低，不能满足城市“厂网河”快速建模的需求。
发明内容
本发明的目的是为了解决采用机器学习分类方法对水质模型进行建立时，存在计算效率低以及人工投入高的问题，提出了一种基于深度卷积神经网络的遥感影像地物语义分割方法。
本发明所述的一种基于深度卷积神经网络的遥感影像地物语义分割方法，该语义分割方法包括以下步骤：
步骤一、制作自主标签的城市水环境“厂网河”遥感影像样本数据集；
步骤二、利用步骤一制作的样本数据集构建基于Unet融合交叉熵损失的深度卷积神经网络模型；
步骤三、对步骤二构建的深度卷积神经网络模型进行语义分割训练，并输出语义分割结果。
本发明的有益效果是将语义分割方向的网络结构运用于城市水环境“厂网河”遥感影像领域；该物语义分割方法训练出最优的参数，具有一定的泛化能力，计算效率较高；提取多个阶段的特征图进行分类，交叉熵损失函数监督网络参数，能进一步提升分类的性能，使得算法在精度和效率上都能保持在较高水平，人工投入低，同时具有较强的鲁棒性，适用于城市水环境“厂网河”遥感影像领域的同时也可推广到其他领域，具有重要意义。
附图说明
图1为具体实施方式一所述的一种基于深度卷积神经网络的遥感影像地物语义分割方法的流程图；
图2为具体实施方式四中对深度卷积神经网络模型进行语义分割训练，并输出语义分割结果的流程图。
具体实施方式
具体实施方式一：结合图1和图2说明本实施方式，本实施方式所述的一种基于深度卷积神经网络的遥感影像地物语义分割方法，该语义分割方法包括以下步骤：
步骤一、制作自主标签的城市水环境“厂网河”遥感影像样本数据集；
步骤二、利用步骤一制作的样本数据集构建基于Unet融合交叉熵损失的深度卷积神经网络模型；
步骤三、对步骤二构建的深度卷积神经网络模型进行语义分割训练，并输出语义分割结果。
在本实施方式中，步骤一中使用的自主标签遥感影像数据集来源于城市区域全色遥感影像(1000x1000x3)，由绝对分辨率为0.26米的RGB彩色影像构成；将带标签的样本图像分为训练集、校验集和测试集三部分。
在本实施方式中，该物语义分割方法训练出最优的参数，具有一定的泛化能力；提取多个阶段的特征图进行分类，交叉熵损失函数监督网络参数，能进一步提升分类的性能，使得算法在精度和效率上都能保持在较高水平，同时具有较强的鲁棒性，适用于城市水环境“厂网河”遥感影像领域的同时也可推广到其他领域，具有重要意义。
具体实施方式二：本实施方式是对具体实施方式一所述的一种基于深度卷积神经网络的遥感影像地物语义分割方法进一步限定，在本实施方式中，步骤一中制作自主标签的城市水环境“厂网河”遥感影像样本数据集的具体方法为：
步骤一一、对全尺寸遥感影像数据矢量化与切割，获取遥感图像样本；其中，全尺寸遥感影像数据来源于城市区域全色遥感影像；运用Arcgis软件，首先将全尺寸遥感影像进行矢量化处理，然后将其切割为1000x1000x3尺寸，最后导出；
步骤一二、对遥感图像样本进行标签；人工利用标注软件对数据集进行六种类型的地物标注，分别是屋顶、裸地、道路、水体、林地、草地；
步骤一三、对标签后的遥感图像样本进行图像数据增强处理，制作出自主标签的城市水环境“厂网河”遥感影像样本数据集。使用python定义特定场景下的翻转、旋转、模糊、亮度调整、增加椒盐噪声等操作函数，对遥感影像样本进行数据增强处理。
具体实施方式三：本实施方式是对具体实施方式一所述的一种基于深度卷积神经网络的遥感影像地物语义分割方法进一步限定，在本实施方式中，步骤二中构建基于Unet融合交叉熵损失的深度卷积神经网络模型的具体方法为：
步骤二一、利用卷积和池化对遥感影像样本数据集进行下采样，获得下采样数据集；
步骤二二、对下采样数据集再次进行多次不同程度的卷积，提取出下采样数据相应层的关键特征；
步骤二三、对相应层的关键特征进行反卷积实现上采样，输出每个像素点对应其种类的图像以及类别数量的特征图；
步骤二四、使用激活函数softmax将每个像素点对应其种类的图像以及类别数量的特征图转换为对应标签的概率图；所述激活函数softmax的公式如下：
Figure BDA0002869130890000031
其中，C为标签类别的个数；i为标签类别，x为输入向量，xi为第i个标签类别的输入向量；N为深度卷积神经网络模型输出节点的个数；j为第j个深度卷积神经网络模型输出节点；
步骤二五、使用交叉熵损失函数对标签的概率图进行网络参数监督，实现训练优化，构建出深度卷积神经网络模型；所述交叉熵损失函数的公式如下：
Figure BDA0002869130890000032
其中，L表示交叉熵损失函数；log表示以e为底数的自然对数；yk代表模型的第k输出，tk代表第k个标签，tk中只有正确解的标签为1，其余均为0；k为第k个深度神经网络模型输出节点。
具体实施方式四：本实施方式是对具体实施方式一所述的一种基于深度卷积神经网络的遥感影像地物语义分割方法进一步限定，在本实施方式中，步骤三中对深度卷积神经网络模型进行语义分割训练，并输出语义分割结果的具体过程为：
步骤三一、训练数据加载：载入自主训练数据集和自主标签的城市水环境“厂网河”遥感影像样本数据集，验证自主训练数据集和自主标签的城市水环境“厂网河”遥感影像样本数据集；
步骤三二、深度卷积神经网络模型初始化：初始化深度卷积神经网络模型，设置深度卷积神经网络模型的分类数、迭代次数、学习率、训练数据数目、训练模型地址、训练参数和目标；
步骤三三、训练度卷积神经网络模型：判断是否循环到训练集总数，如果否，则返回执行步骤三一；如果是，则计算深度卷积神经网络模型在贴有自主标签的测试集上的准确率，并判断该准确率是否满足测试集GIS人工目译+监督分类的精度要求，如果不满足，则返回执行步骤三一；如果满足，则执行步骤三四；
步骤三四、输出语义分割结果。
在本实施方式中，步骤三四输出的城市水环境“厂网河”遥感影像的地物语义分割结果；地物有屋顶、裸地、道路、水体、林地、草地等六类。
具体实施方式五：本实施方式是对具体实施方式一所述的一种基于深度卷积神经网络的遥感影像地物语义分割方法进一步限定，在本实施方式中，该语义分割方法还包括步骤四；
所述步骤四为：对步骤三输出的语义分割结果进行评估。
具体实施方式六：本实施方式是对具体实施方式五所述的一种基于深度卷积神经网络的遥感影像地物语义分割方法进一步限定，在本实施方式中，步骤四中对语义分割结果进行评估的具体方法为：通过计算交互比与准确度评估语义分割结果。

Claims (6)

1.一种基于深度卷积神经网络的遥感影像地物语义分割方法，其特征在于，该语义分割方法包括以下步骤：
步骤一、制作自主标签的城市水环境“厂网河”遥感影像样本数据集；
步骤二、利用步骤一制作的样本数据集构建基于Unet融合交叉熵损失的深度卷积神经网络模型；
步骤三、对步骤二构建的深度卷积神经网络模型进行语义分割训练，并输出语义分割结果。
2.根据权利要求1所述的一种基于深度卷积神经网络的遥感影像地物语义分割方法，其特征在于，步骤一中制作自主标签的城市水环境“厂网河”遥感影像样本数据集的具体方法为：
步骤一一、对全尺寸遥感影像数据矢量化与切割，获取遥感图像样本；其中，全尺寸遥感影像数据来源于城市区域全色遥感影像；
步骤一二、对遥感图像样本进行标签；
步骤一三、对标签后的遥感图像样本进行图像数据增强处理，制作出自主标签的城市水环境“厂网河”遥感影像样本数据集。
3.根据权利要求1所述的一种基于深度卷积神经网络的遥感影像地物语义分割方法，其特征在于，步骤二中构建基于Unet融合交叉熵损失的深度卷积神经网络模型的具体方法为：
步骤二一、利用卷积和池化对遥感影像样本数据集进行下采样，获得下采样数据集；
步骤二二、对下采样数据集再次进行多次不同程度的卷积，提取出下采样数据相应层的关键特征；
步骤二三、对相应层的关键特征进行反卷积实现上采样，输出每个像素点对应其种类的图像以及类别数量的特征图；
步骤二四、使用激活函数softmax将每个像素点对应其种类的图像以及类别数量的特征图转换为对应标签的概率图；所述激活函数softmax的公式如下：
Figure FDA0002869130880000011
其中，C为标签类别的个数；i为标签类别，x为输入向量，xi为第i个标签类别的输入向量；N为深度卷积神经网络模型输出节点的个数；j为第j个深度卷积神经网络模型输出节点；
步骤二五、使用交叉熵损失函数对标签的概率图进行网络参数监督，实现训练优化，构建出深度卷积神经网络模型；所述交叉熵损失函数的公式如下：
Figure FDA0002869130880000021
其中，L表示交叉熵损失函数；log表示以e为底数的自然对数；yk代表模型的第k输出，tk代表第k个标签，tk中只有正确解的标签为1，其余均为0；k为第k个深度神经网络模型输出节点。
4.根据权利要求1所述的一种基于深度卷积神经网络的遥感影像地物语义分割方法，其特征在于，步骤三中对深度卷积神经网络模型进行语义分割训练，并输出语义分割结果的具体过程为：
步骤三一、训练数据加载：载入自主训练数据集和自主标签的城市水环境“厂网河”遥感影像样本数据集，验证自主训练数据集和自主标签的城市水环境“厂网河”遥感影像样本数据集；
步骤三二、深度卷积神经网络模型初始化：初始化深度卷积神经网络模型，设置深度卷积神经网络模型的分类数、迭代次数、学习率、训练数据数目、训练模型地址、训练参数和目标；
步骤三三、训练度卷积神经网络模型：判断是否循环到训练集总数，如果否，则返回执行步骤三一；如果是，则计算深度卷积神经网络模型在贴有自主标签的测试集上的准确率，并判断该准确率是否满足测试集GIS人工目译+监督分类的精度要求，如果不满足，则返回执行步骤三一；如果满足，则执行步骤三四；
步骤三四、输出语义分割结果。
5.根据权利要求1所述的一种基于深度卷积神经网络的遥感影像地物语义分割方法，其特征在于，该语义分割方法还包括步骤四；
所述步骤四为：对步骤三输出的语义分割结果进行评估。
6.根据权利要求5所述的一种基于深度卷积神经网络的遥感影像地物语义分割方法，其特征在于，步骤四中对语义分割结果进行评估的具体方法为：通过计算交互比与准确度评估语义分割结果。
CN202011602274.XA 2020-12-29 2020-12-29 一种基于深度卷积神经网络的遥感影像地物语义分割方法 Pending CN112712087A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011602274.XA CN112712087A (zh) 2020-12-29 2020-12-29 一种基于深度卷积神经网络的遥感影像地物语义分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011602274.XA CN112712087A (zh) 2020-12-29 2020-12-29 一种基于深度卷积神经网络的遥感影像地物语义分割方法

Publications (1)

Publication Number Publication Date
CN112712087A true CN112712087A (zh) 2021-04-27

Family

ID=75546862

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011602274.XA Pending CN112712087A (zh) 2020-12-29 2020-12-29 一种基于深度卷积神经网络的遥感影像地物语义分割方法

Country Status (1)

Country Link
CN (1) CN112712087A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118052377A (zh) * 2024-04-16 2024-05-17 中国环境监测总站 一种基于水生境自动反演的水生态综合评价方法和***

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109255334A (zh) * 2018-09-27 2019-01-22 中国电子科技集团公司第五十四研究所 基于深度学习语义分割网络的遥感影像地物分类方法
US20200151497A1 (en) * 2018-11-12 2020-05-14 Sony Corporation Semantic segmentation with soft cross-entropy loss
CN111192267A (zh) * 2019-12-31 2020-05-22 航天时代飞鸿技术有限公司 一种基于unet网络的多源感知融合遥感图像分割方法及应用
CN111444914A (zh) * 2020-03-23 2020-07-24 复旦大学 一种基于PU-Learning的图像语义分割方法
CN111461258A (zh) * 2020-04-26 2020-07-28 武汉大学 耦合卷积神经网络和图卷积网络的遥感影像场景分类方法
CN111612066A (zh) * 2020-05-21 2020-09-01 成都理工大学 基于深度融合的卷积神经网络的遥感图像分类方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109255334A (zh) * 2018-09-27 2019-01-22 中国电子科技集团公司第五十四研究所 基于深度学习语义分割网络的遥感影像地物分类方法
US20200151497A1 (en) * 2018-11-12 2020-05-14 Sony Corporation Semantic segmentation with soft cross-entropy loss
CN111192267A (zh) * 2019-12-31 2020-05-22 航天时代飞鸿技术有限公司 一种基于unet网络的多源感知融合遥感图像分割方法及应用
CN111444914A (zh) * 2020-03-23 2020-07-24 复旦大学 一种基于PU-Learning的图像语义分割方法
CN111461258A (zh) * 2020-04-26 2020-07-28 武汉大学 耦合卷积神经网络和图卷积网络的遥感影像场景分类方法
CN111612066A (zh) * 2020-05-21 2020-09-01 成都理工大学 基于深度融合的卷积神经网络的遥感图像分类方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118052377A (zh) * 2024-04-16 2024-05-17 中国环境监测总站 一种基于水生境自动反演的水生态综合评价方法和***

Similar Documents

Publication Publication Date Title
CN111598174B (zh) 基于半监督对抗学习的模型训练方法及图像变化分析方法
CN117078943B (zh) 融合多尺度特征和双注意力机制的遥感影像道路分割方法
CN108256464B (zh) 基于深度学习的高分辨率遥感影像城市道路提取方法
CN111028255A (zh) 基于先验信息与深度学习的农田区域预筛选方法及装置
CN112712033B (zh) 一种城市排水管网汇水区自动划分方法
CN111160127A (zh) 一种基于深度卷积神经网络模型的遥感影像处理及检测方法
CN114444791A (zh) 一种基于机器学习的洪涝灾害遥感监测评估方法
CN113505842B (zh) 一种适用于大尺度区域遥感影像城市建筑物自动提取方法
CN114092697B (zh) 注意力融合全局和局部深度特征的建筑立面语义分割方法
CN112418049B (zh) 一种基于高分遥感影像的水体变化检测方法
CN111797920B (zh) 门控特征融合的深度网络不透水面遥感提取方法及***
CN112765300B (zh) 基于ArcGIS空间数据的水利对象关系图谱构建方法
CN111666909A (zh) 基于面向对象和深度学习的疑似污染场地空间识别方法
CN111178149A (zh) 一种基于残差金字塔网络的遥感影像水体自动提取方法
CN115984603A (zh) 基于gf-2与开放地图数据的城市绿地精细化分类方法与***
CN117892167B (zh) 一种替代数值模拟的城市内涝代理模型构建方法
CN112949612A (zh) 一种基于无人机高分辨率遥感影像海岸带地物分类方法
CN116246169A (zh) 基于SAH-Unet的高分辨率遥感影像不透水面提取方法
CN114387446A (zh) 一种高分率遥感影像水体自动提取方法
CN113378642B (zh) 一种对农村违法占地建筑物进行检测的方法
CN112712087A (zh) 一种基于深度卷积神经网络的遥感影像地物语义分割方法
CN113591608A (zh) 一种基于深度学习的高分辨率遥感影像不透水面提取方法
CN117649048A (zh) 一种河湖生态空间重点监管对象的监测方法及装置
CN113158770A (zh) 一种改进的全卷积孪生神经网络的矿区变化检测方法
CN116310628A (zh) 一种基于令牌掩码机制的大尺度城中村提取方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210427