CN112001214A - 一种基于高分辨率遥感图像的土地分类方法 - Google Patents
一种基于高分辨率遥感图像的土地分类方法 Download PDFInfo
- Publication number
- CN112001214A CN112001214A CN202010417497.2A CN202010417497A CN112001214A CN 112001214 A CN112001214 A CN 112001214A CN 202010417497 A CN202010417497 A CN 202010417497A CN 112001214 A CN112001214 A CN 112001214A
- Authority
- CN
- China
- Prior art keywords
- image
- remote sensing
- pairs
- classification method
- erfnet
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/13—Satellite images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Astronomy & Astrophysics (AREA)
- Remote Sensing (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于高分辨率遥感图像的土地分类方法,高分辨率遥感影像的应用能够有效实现对土地利用的动态监测,提高土地管理的科学性;使用ERFNet结合条件随机场(Conditional random field,CRF)可以在减少计算资源的基础上,进一步提高语义分割的精度,有助于更好的完成土地用途分类工作;高效的土地用途分类方法对土地利用、城市规划、环境监测以及军事领域的发展有着重要的促进作用。
Description
技术领域
本发明属于深度学习领域,涉及图像分割技术和土地用途分类算法,使用卷积神经网络作为基本工具,特别涉及一种基于高分辨率遥感图像的土地分类方法。
背景技术
全卷积网络将卷积神经网络中的全连接层替换为卷积层,与传统卷积神经网络相比,全卷积网络的输入图像大小无需是固定的,这方便了卷积神经网络在语义分割方面的应用,此外使用反卷积层进行上采样,推广了使用卷积网络端到端进行语义分割。同时,为了改善语义分割精度,全卷积网络引入跳跃连接改善上采样的粗糙度。
空洞卷积(Dilated Convolution)是在传统的卷积核中加入空洞。池化层在进一步提取抽象特征、减少训练参数的同时,丢弃了像素的位置信息。而语义分割需要对特征图进行精确调整,因此需要尽可能保留舍弃的位置信息。空洞卷积可以在不增加参数的情况下增加感受野,从而进行密集预测。此外空洞卷积支持感受野的指数膨胀,且不丧失分辨率或覆盖范围。
残差网络(Residual Neural Network,ResNet)与传统神经网络直接学习输入输出之间的映射不同,它学习的是输入输出的残差表示。ResNet可以有效地解决当深度神经网络增长至一定的深度后,再增加神经网络层数会导致的网络收敛减慢、精确度下降等问题。实验表明,引入残差学习后,网络不仅能更快地收敛,而且网络模型的性能也得到了提高。
发明内容
本发明的目的在于克服现有技术的不足,提供一种基于高分辨率遥感图像的土地分类方法,高分辨率遥感影像的应用能够有效实现对土地利用的动态监测,提高土地管理的科学性;使用ERFNet结合条件随机场(Conditional random field,CRF)可以在减少计算资源的基础上,进一步提高语义分割的精度,有助于更好的完成土地用途分类工作;高效的土地用途分类方法对土地利用、城市规划、环境监测以及军事领域的发展有着重要的促进作用。
本发明解决其技术问题是通过以下技术方案实现的:
一种基于高分辨率遥感图像的土地分类方法,其特征在于:所述方法的步骤为:
1)将原始的遥感图像切割为适用于网络的尺寸;
2)使用ERFNet对输入的图像进行实时的语义分割;
3)利用条件随机场对分割的结果进一步优化;
4)计算语义分割的交并比。
而且,所述步骤1)中对图像切割的具体操作为:以128像素作为步长,将图片切割成(256,256,3)的小图片,将掩码同样切割为(256,256,1)的小掩码,获得的图片-掩码对共有8401对;切割完成后,以字典的形式对小图片和小掩码进行存储,图片对应的键值为“images”,掩码对应的键值为“masks”。
而且,所述图片-掩码对形成的数据集被分为训练集、验证集及测试集,测试集取前1320对图像-掩码对,验证集取1800对图像-掩码对,训练集取后5281对图像-掩码对。
而且,所述步骤2)语义分割的具体操作为:ERFNet架构使用一个由跳跃连接和一维分解卷积组成的分解残差层,在ERFNet网络中这些分解残差层按顺序被堆叠起来,构建成编码器-解码器体系结构,该结构以与输入图像相同的分辨率产生端到端的语义分割结果。
而且,所述步骤3)进一步优化的具体操作为:条件随机场在ERFNet之后使用,输入遥感卫星影像的原图像和ERFNet的分割图像,输出为优化后的图像。
而且,所述步骤4)中交并比的计算公式为:
其中:pij表示本属于类i但被预测为类j的像素数量;
Pii表示真正的数量;
Pij、pji则分别被解释为假正和假负。
本发明的优点和有益效果为:
1、本发明一种基于高分辨率遥感图像的土地分类方法,通过实验效果可以看出,在引入了条件随机场之后,对高分辨率遥感图像的语义分割效果提升明显,为更加迅速准确的完成土地分类任务创造了条件,可以应用到土地利用、城市规划、环境监测等多个领域。
2、本发明一种基于高分辨率遥感图像的土地分类方法,在基于遥感卫星影像的土地用途分类的实验过程中,通过交并比对语义分割的结果进行了评估,在ERFNet 后加入条件随机场后处理,能够在一定程度上提升语义分割精度,比单纯使用ERFNet 效果更好。
3、本发明设计科学合理,高分辨率遥感影像的应用能够有效实现对土地利用的动态监测,提高土地管理的科学性;使用ERFNet结合条件随机场(Conditional randomfield,CRF)可以在减少计算资源的基础上,进一步提高语义分割的精度,有助于更好的完成土地用途分类工作;高效的土地用途分类方法对土地利用、城市规划、环境监测以及军事领域的发展有着重要的促进作用。
附图说明
图1为本发明的测试集结果对比图。
具体实施方式
下面通过具体实施例对本发明作进一步详述,以下实施例只是描述性的,不是限定性的,不能以此限定本发明的保护范围。
一种基于高分辨率遥感图像的土地分类方法,其特征在于:所述方法的步骤为:
S0101:对于输入数据,以128像素作为步长片切割成(256,256,3)的小图片,将掩码同样切割为(256,256,1)的小掩码,最终获得的图片—掩码对共有8401对,在切割完成后,以字典的形式对小图片和小掩码进行存储,图片对应的键值为“images”,掩码对应的键值为masks”;其中测试集取前1320对图像-掩码对,验证集取数据集的1800对图像-掩码对,训练集取后5281对图像-掩码对。
S0201:采用ERFNet,本发明使用ERFNet进行高效实时的语义分割,输入的数据经过按顺序堆叠起来的分解残差层,端到端的输出与输入图像相同分辨率的语义分割结果,对于一个残差层来说,其输入向量为x,输出向量y为:
y=F(x,{Wi})+Wsx
WS是一个恒等映射,F(x,{Wi})是卷积神经网络要学习的残差映射,在ERFNet的架构中,1-16层构成了编码器部分,由下采样块和非瓶颈-1维模块组成,解码器部分由17-23层组成,目的是对特征图进行上采样,将其恢复至与输入图像相同的分辨率;
S0301:将ERFNet分割后的结果输入到条件随机场,在条件随机场中设 X=(X1,X2,...,Xn),Y=(Y1,Y2,...,Yn)均为线性链表示的随机变量序列,在给定随机变量序列x的情况下,随机变量y的条件概率分布P(Y|X)构成条件随机场,即满足马尔科夫性:P(Yi|X,Y1,Y2,...,Yn)=P(Yi|X,Yi-1,Yi+1),线性链条件随机场的公式为:
其中,si(Yi,X,i)是节点特征函数,该函数定义在y节点上,只和当前节点有关, tk(Yi-1,Yi,X,i)是局部特征函数,该函数定义在y的上下文,只和当前节点与上一节点有关,λk和μl是节点特征函数和局部特征函数的权重,
Z(x)为规范化因子,公式如下:
Z(X)=∑Yexp(∑i,kλktk(Yi-1,Yi,X,i)+∑i,lμlsl(Yi,X,i))
S0401:用交并比作为语义分割效果的评价指标,对ERFNet和ERFNet结合条件随机场的方法进行了对比验证和评价。
本发明中使用交并比(Intersection Over Union,IoU)这个评价指标,对基于高分辨率遥感图像的土地分类模型的效果进行评估.交并比计算两个集合的交集和并集之比,在语义分割的问题中,这两个集合为真实值(ground truth)和预测值(predictedsegmentation)。这个比例可以变形为正真数(intersection)比上真正、假负、假正(并集)之和。可以判断目标的捕获程度(使预测标签与标注尽可能重合),也可以判断模型的精确程度(使并集尽可能重合),交并比(IoU)的计算公式如下:
pij表示本属于类i但被预测为类j的像素数量;
Pii表示真正的数量;
Pij、pji则分别被解释为假正和假负。
对于测试集数据,ERFNet的语义分割结果交并比为0.834,表1展示了ERFNet 的实验结果,条件随机场优化后的交并比为0.837,交并比提高0.3%。而从图1中也能看出条件随机场具有一定的优化效果。但是条件随机场的优化效果是建立在 ERFNet的分割结果基础上的,ERFNet的分割结果很大程度上决定了条件随机场的优化效果。经过实验证明,在ERFNet后加入条件随机场后处理,能够在一定程度上提升语义分割精度,比单纯使用ERFNet效果更好。
表1 ERFNet的实验结果表
本发明基于高分辨率遥感图像的土地分类方法,采用ERFNet,在编码过程中,可以让深层收集到更多的上下文,并有助与减少计算量。在解码器中,对编码器的特征映射进行上采样以匹配输入分辨率,同时使用简单解卷积层,可以简化内存和计算要求。使用条件随机场对ERFNet的结果进行优化,在给定一组输入序列的情况下,对应输出序列的条件概率分布模型,在计算类别概率时,会考虑到当前像素点的周围像素点的类别,提高了语义分割的准确率,使得土地用途分类的任务可以更高效精确的完成。
尽管为说明目的公开了本发明的实施例和附图,但是本领域的技术人员可以理解:在不脱离本发明及所附权利要求的精神和范围内,各种替换、变化和修改都是可能的,因此,本发明的范围不局限于实施例和附图所公开的内容。
Claims (6)
1.一种基于高分辨率遥感图像的土地分类方法,其特征在于:所述方法的步骤为:
1)将原始的遥感图像切割为适用于网络的尺寸;
2)使用ERFNet对输入的图像进行实时的语义分割;
3)利用条件随机场对分割的结果进一步优化;
4)计算语义分割的交并比。
2.根据权利要求1所述的基于高分辨率遥感图像的土地分类方法,其特征在于:所述步骤1)中对图像切割的具体操作为:以128像素作为步长,将图片切割成(256,256,3)的小图片,将掩码同样切割为(256,256,1)的小掩码,获得的图片-掩码对共有8401对;切割完成后,以字典的形式对小图片和小掩码进行存储,图片对应的键值为“images”,掩码对应的键值为“masks”。
3.根据权利要求2所述的基于高分辨率遥感图像的土地分类方法,其特征在于:所述图片-掩码对形成的数据集被分为训练集、验证集及测试集,测试集取前1320对图像-掩码对,验证集取1800对图像-掩码对,训练集取后5281对图像-掩码对。
4.根据权利要求1所述的基于高分辨率遥感图像的土地分类方法,其特征在于:所述步骤2)语义分割的具体操作为:ERFNet架构使用一个由跳跃连接和一维分解卷积组成的分解残差层,在ERFNet网络中这些分解残差层按顺序被堆叠起来,构建成编码器-解码器体系结构,该结构以与输入图像相同的分辨率产生端到端的语义分割结果。
5.根据权利要求1所述的基于高分辨率遥感图像的土地分类方法,其特征在于:所述步骤3)进一步优化的具体操作为:条件随机场在ERFNet之后使用,输入遥感卫星影像的原图像和ERFNet的分割图像,输出为优化后的图像。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010417497.2A CN112001214A (zh) | 2020-05-18 | 2020-05-18 | 一种基于高分辨率遥感图像的土地分类方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010417497.2A CN112001214A (zh) | 2020-05-18 | 2020-05-18 | 一种基于高分辨率遥感图像的土地分类方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112001214A true CN112001214A (zh) | 2020-11-27 |
Family
ID=73461737
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010417497.2A Pending CN112001214A (zh) | 2020-05-18 | 2020-05-18 | 一种基于高分辨率遥感图像的土地分类方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112001214A (zh) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109255334A (zh) * | 2018-09-27 | 2019-01-22 | 中国电子科技集团公司第五十四研究所 | 基于深度学习语义分割网络的遥感影像地物分类方法 |
CN110781775A (zh) * | 2019-10-10 | 2020-02-11 | 武汉大学 | 一种多尺度特征支持的遥感影像水体信息精确分割方法 |
CN111091130A (zh) * | 2019-12-13 | 2020-05-01 | 南京邮电大学 | 基于轻量级卷积神经网络的实时图像语义分割方法及*** |
-
2020
- 2020-05-18 CN CN202010417497.2A patent/CN112001214A/zh active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109255334A (zh) * | 2018-09-27 | 2019-01-22 | 中国电子科技集团公司第五十四研究所 | 基于深度学习语义分割网络的遥感影像地物分类方法 |
CN110781775A (zh) * | 2019-10-10 | 2020-02-11 | 武汉大学 | 一种多尺度特征支持的遥感影像水体信息精确分割方法 |
CN111091130A (zh) * | 2019-12-13 | 2020-05-01 | 南京邮电大学 | 基于轻量级卷积神经网络的实时图像语义分割方法及*** |
Non-Patent Citations (1)
Title |
---|
ABHISHEK V. POTNIS ET AL.: "Multi-Class Segmentation of Urban Floods from Multispectral Imagery Using Deep Learning", 《IGARSS 2019 - 2019 IEEE INTERNATIONAL GEOSCIENCE AND REMOTE SENSING SYMPOSIUM》, pages 1 - 4 * |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109087258B (zh) | 一种基于深度学习的图像去雨方法及装置 | |
CN111340738B (zh) | 一种基于多尺度渐进融合的图像去雨方法 | |
CN111462126A (zh) | 一种基于边缘增强的语义图像分割方法及*** | |
CN113780149A (zh) | 一种基于注意力机制的遥感图像建筑物目标高效提取方法 | |
CN113240683B (zh) | 基于注意力机制的轻量化语义分割模型构建方法 | |
CN113066089B (zh) | 一种基于注意力引导机制的实时图像语义分割方法 | |
CN115393396B (zh) | 一种基于掩码预训练的无人机目标跟踪方法 | |
CN114821050A (zh) | 一种基于transformer的指称图像分割方法 | |
CN112507849A (zh) | 一种基于条件生成对抗网络的动态到静态场景转换方法 | |
CN116704506A (zh) | 一种基于交叉环境注意力的指代图像分割方法 | |
Zhu et al. | Semantic image segmentation with shared decomposition convolution and boundary reinforcement structure | |
CN115965789A (zh) | 一种基于场景感知类注意力的遥感图像语义分割方法 | |
CN114973136A (zh) | 一种极端条件下场景图像识别方法 | |
CN112668662B (zh) | 基于改进YOLOv3网络的野外山林环境目标检测方法 | |
CN114168773A (zh) | 一种基于伪标签和重排序的半监督草图图像检索方法 | |
CN114463340A (zh) | 一种边缘信息引导的敏捷型遥感图像语义分割方法 | |
CN113096133A (zh) | 一种基于注意力机制的语义分割网络的构建方法 | |
CN113569814A (zh) | 一种基于特征一致性的无监督行人重识别方法 | |
CN112418229A (zh) | 一种基于深度学习的无人船海上场景图像实时分割方法 | |
CN117036368A (zh) | 图像数据处理方法、装置、计算机设备和存储介质 | |
CN112990336B (zh) | 基于竞争注意力融合的深度三维点云分类网络构建方法 | |
CN112001214A (zh) | 一种基于高分辨率遥感图像的土地分类方法 | |
CN114494284A (zh) | 一种基于显式监督区域关系的场景解析模型及方法 | |
CN113420834A (zh) | 一种基于关系约束自注意力的图像描述自动生成方法 | |
Wang et al. | Hierarchical Kernel Interaction Network for Remote Sensing Object Counting |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |