CN114419460A - 水体区域提取方法及装置 - Google Patents
水体区域提取方法及装置 Download PDFInfo
- Publication number
- CN114419460A CN114419460A CN202210061048.8A CN202210061048A CN114419460A CN 114419460 A CN114419460 A CN 114419460A CN 202210061048 A CN202210061048 A CN 202210061048A CN 114419460 A CN114419460 A CN 114419460A
- Authority
- CN
- China
- Prior art keywords
- water body
- image
- remote sensing
- sensing image
- determining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 title claims abstract description 343
- 238000000605 extraction Methods 0.000 title claims abstract description 72
- 230000003595 spectral effect Effects 0.000 claims abstract description 62
- 230000011218 segmentation Effects 0.000 claims abstract description 54
- 238000000034 method Methods 0.000 claims abstract description 49
- 210000000746 body region Anatomy 0.000 claims abstract description 39
- 238000010586 diagram Methods 0.000 claims description 30
- 238000012549 training Methods 0.000 claims description 15
- 239000011159 matrix material Substances 0.000 claims description 12
- 238000004364 calculation method Methods 0.000 claims description 11
- 238000002372 labelling Methods 0.000 claims description 4
- 238000012545 processing Methods 0.000 abstract description 11
- 230000008569 process Effects 0.000 description 7
- 238000005070 sampling Methods 0.000 description 6
- 238000002474 experimental method Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 238000012805 post-processing Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000002310 reflectometry Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000000265 homogenisation Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 229940050561 matrix product Drugs 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及遥感图像处理技术领域,提供了一种水体区域提取方法及装置,方法包括:确定冰湖区域的遥感图像,冰湖区域包括冰川和冰川周围的湖泊;对遥感图像进行光谱特征提取,确定用于凸显湖泊对应在遥感图像中的区域的光谱特征图像;基于光谱特征图像,提取遥感图像中的水体区域,确定水体图像,水体图像指示遥感图像中可能表示湖泊的区域;对水体图像进行编码以提取水体特征,确定水体特征;对水体特征图进行解码以分割遥感图像中的水体区域,确定遥感图像对应的水体分割图像,水体分割图像用于区分遥感图像中的湖泊对应的区域和其他的区域。通过本发明实施例的技术方案,可较为准确的分割出遥感图像中表示湖泊的区域。
Description
技术领域
本发明涉及遥感图像处理技术领域,尤其涉及水体区域提取方法及装置。
背景技术
冰湖是发育在冰川周围的一类湖泊,它是高原地区重要的水资源,监测冰湖可为高原地区的生态规划,气候变化等提供依据。而监测冰湖的一个重要手段即从遥感图像中提取冰湖信息。
冰湖提取旨在提供一种能够快速提取影像中冰湖信息的方法。根据输入的遥感图像,捕捉影像中冰湖的特征,突出冰湖信息,以实现快速准确的提取出冰湖。目前,尽管冰湖提取已经取得了一些成果,但大多方法仍不能够实现自动化的高精度提取。
现有的冰湖提取研究方法主要基于先验知识,具体而言,基于先验知识的方法包括:①目视解译。往往需要有经验的专家,对遥感图像中的冰湖信息进行识别,并进行标记,绘制冰湖专题图。这类方法需要对冰湖有一定的了解,才能够较为准确的识别出冰湖信息,且这类方法费时费力,一些小冰湖、易与背景混淆的冰湖往往难以被识别。②基于水体指数的方法。由于冰湖在波长较长波段的反射率低,而在波长短的波段反射率高,因此可以基于这个原理,设计水体指数,突出遥感图像中的水体信息,抑制背景信息,再根据冰湖的水体指数范围,设置阈值,分离出冰湖信息,典型的水体指数包括NDWI[2],MNDWI[3],EWI[4]等。这类方法操作简单,然而误差较大,有很多非冰湖目标,例如山体阴影,熔融状态下的冰川,云层等,也会表现出与冰湖类似的指数特征,设置阈值往往难以直接分离出这些目标,这为后处理工作带来了很多麻烦。③基于图像分割的方法。由于冰湖表面是同质均一的,因此可以基于这个特点,对冰湖信息进行提取。代表方法有C-V模型[5],面向对象方法[6]等。这类方法分割精度较高,但需要多次尝试以确定最佳的分割参数,另外,仍有一部分与冰湖的表面类似,例如云层,冰川,阴影等这些物质的包面同样是均质的,这类目标也需要通过后处理去掉。
但是,上述冰湖提取方法未能较为准确的提取出冰湖的遥感图像中的水体区域。
发明内容
本发明提供了一种水体区域提取方法、装置、计算机可读存储介质及电子设备,可较为准确的分割出遥感图像中表示湖泊的区域。
第一方面,本发明提供了一种水体区域提取方法,包括:
确定冰湖区域的遥感图像,所述冰湖区域包括冰川和冰川周围的湖泊,所述遥感图像为对所述冰湖区域进行远距离探测得到的图像;
对所述遥感图像进行光谱特征提取,确定所述冰湖区域的光谱特征图像,所述光谱特征图像用于凸显所述湖泊对应在所述遥感图像中的区域;
基于所述光谱特征图像,提取所述遥感图像中的水体区域,确定水体图像,所述水体图像指示所述遥感图像中可能表示所述湖泊的区域;
对所述水体图像进行编码以提取水体特征,确定水体特征图,所述水体特征图指示了所述水体图像包括的所述湖泊的信息;
对所述水体特征图进行解码以分割所述遥感图像中的水体区域,确定所述遥感图像对应的水体分割图像,所述水体分割图像用于区分所述遥感图像中的所述湖泊对应的区域和其他的区域。
第二方面,本发明提供了一种水体区域提取装置,包括:
遥感图像确定模块,用于确定冰湖区域的遥感图像,所述冰湖区域包括冰川和冰川周围的湖泊,所述遥感图像为对所述冰湖区域进行远距离探测得到的图像;
光谱图像确定模块,用于对所述遥感图像进行光谱特征提取,确定所述冰湖区域的光谱特征图像,所述光谱特征图像用于凸显所述湖泊对应在所述遥感图像中的区域;
水体提取模块,用于基于所述光谱特征图像,提取所述遥感图像中的水体区域,确定水体图像,所述水体图像指示所述遥感图像中可能表示所述湖泊的区域;
编码模块,用于对所述水体图像进行编码以提取水体特征,确定水体特征图,所述水体特征图指示了所述水体图像包括的所述湖泊的信息;
解码模块,用于对所述水体特征图进行解码以分割所述遥感图像中的水体区域,确定所述遥感图像对应的水体分割图像,所述水体分割图像用于区分所述遥感图像中的所述湖泊对应的区域和其他的区域。
第三方面,本发明提供了一种计算机可读存储介质,包括执行指令,当电子设备的处理器执行所述执行指令时,所述处理器执行如第一方面中任一所述的方法。
第四方面,本发明提供了一种电子设备,包括处理器以及存储有执行指令的存储器,当所述处理器执行所述存储器存储的所述执行指令时,所述处理器执行如第一方面中任一所述的方法。
本发明提供了一种水体区域提取方法、装置、计算机可读存储介质及电子设备,该方法通过确定冰湖区域的遥感图像,冰湖区域包括冰川和冰川周围的湖泊,遥感图像为对冰湖区域进行远距离探测得到的图像;然后,对遥感图像进行光谱特征提取,确定冰湖区域的光谱特征图像,光谱特征图像用于凸显湖泊对应在遥感图像中的区域;然后,基于光谱特征图像,提取遥感图像中的水体区域,确定水体图像,水体图像指示遥感图像中可能表示湖泊的区域;然后,对水体图像进行编码以提取水体特征,确定水体特征图,水体特征图指示了水体图像包括的湖泊的信息;之后,对水体特征图进行解码以分割遥感图像中的水体区域,确定遥感图像对应的水体分割图像,水体分割图像用于区分遥感图像中的湖泊对应的区域和其他的区域。综上所述,通过本发明的技术方案,由于凸显了图像中的水体区域,可以较为准确的定位到图像中的水体区域,进而可较为准确的分割出遥感图像中表示湖泊的区域。
上述的非惯用的优选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。
附图说明
为了更清楚地说明本发明实施例或现有的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明中记载的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种水体提取模型的训练方法的流程示意图;
图2a为本发明实施例提供的水体提取模型的结构示意图一;
图2b为本发明实施例提供的水体提取模型的结构示意图二;
图2c为本发明实施例提供的水体提取模型的结构示意图三;
图2d为本发明实施例提供的水体提取模型的结构示意图四;
图3为本发明实施例提供的第一模型的图像处理的流程示意图;
图4为本发明实施例提供的一种水体区域提取方法的流程示意图;
图5为本发明实施例提供的一种水体区域提取装置的结构示意图;
图6为本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合具体实施例及相应的附图对本发明的技术方案进行清楚、完整地描述。显然,所描述的实施例仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
如图1所示,为本发明实施例提供的一种水体区域提取模型的训练流程示意图。本实施例中,如图2a至2d所示,水体提取模型包括第一模型、第二模型和第三模型,所述水体提取模型的训练流程包括以下步骤:
步骤101、确定训练集,训练集包括多个冰湖区域的多个遥感图像和多个遥感图像各自对应的标注图像,标注图像标注了遥感图像中的湖泊和湖泊之外的区域。
作为一种可行的实现方式,遥感图像的大小为256×256×7像素。
作为一种可行的实现方式,标注图像为二值图像。比如,遥感图像可以为黑白图像,白色表示湖泊,黑色表示湖泊之外的区域。
需要说明的是,冰湖区域包括冰川和冰川周围的湖泊。
步骤102、对于多个遥感图像中的各图像,提取遥感图像的光谱特征,确定遥感图像对应的光谱特征图像。
需要说明的是,光谱特征图像和遥感图像的大小相同,用于凸显遥感图像中的水体区域,从而使得模型可以注意到图像中的水体区域。值得注意的是,光谱特征图像可以表示用于区分图像中的水体和其他物体的光谱的信息。
示例地,由于水体指数可以突出遥感图像中的水体区域,抑制背景区域,因此,光谱特征图像可以为遥感图像经过水体指数处理后的图像。为了较好的表征遥感图像中的冰湖信息,水体指数选择NDWI(Normalized Difference Water Index,归一化水指数)。
步骤103、对于多个遥感图像中的各图像,将遥感图像和对应的光谱特征图像代入第一模型中,确定第一模型输出的水体图像,水体图像指示了遥感图像中可能表示湖泊的区域。
作为一种可行的实现方式,第一模型采用注意力机制。
在一个例子中,第一模型包括键权值矩阵和查询权值矩阵,对应的,第一模型用于基于键权值矩阵确定遥感图像对应的键图;基于查询权值矩阵确定遥感图像对应的查询图;然后,第一模型对键图和查询图进行计算,确定权重图,权重图指示了遥感图像对应的光谱特征图像中每个像素点各自的水体注意力权重;然后,第一模型对权重图和遥感图像对应的光谱特征图像进行计算,确定注意力图,注意力图指示了遥感图像中每个像素点各自的注意力大小,也可以理解为水体注意力权重;之后,第一模型对注意力图和遥感图像进行计算,关注并提取遥感图像中的水体区域,确定水体图像,得到的水体图像可以粗略的表示遥感图像中可能存在的表示湖泊的区域。
示例地,如图3所示,具体可通过如下步骤确定水体图像:
步骤1:用1×1卷积核处理输入的遥感图像,得到遥感图像的键图(key)。
步骤2:用1×1卷积核处理输入的遥感图像,得到遥感图像的查询图(query)。
步骤3,对键图和查询图做矩阵乘积,得到新的具有水体空间位置信息的权重图。
步骤4,将遥感图像对应的光谱特征图像(水体指数NDWI处理后的图像)作为值图(value)。
步骤5,将步骤3得到的权重图和步骤4得到的值图(value)进行矩阵乘积后得到注意力图。
步骤6,将步骤5得到的注意力图和输入的遥感图像做矩阵乘积,得到水体图像,该图像可以理解为水体注意力图像。
步骤104、对于多个遥感图像中的各图像,将遥感图像对应的水体图像代入第二模型中进行编码以提取水体特征,确定第二模型输出的水体特征图。
作为一种可行的实现方式,第二模型包括M个下采样块,水体特征图包括M个下采样块各自的输出。
如图2a至图2d所示,对于M个下采样块中的第i个下采样块,当i=1时,第i个下采样块的输入为水体图像,当i大于1时,第i个下采样块的输入为第i-1个下采样块的输出。
在一个例子中,下采样块包括依次串联的两个卷积层和一个下采样层,下采样层的输出为下采样块的输出。为了确保下采样块可以提取到遥感图像中面积较小的湖泊,下采样层采用卷积的方式替代,充分利用图像的信息,降低信息丢失的可能性。示例地,两个卷积层的卷积核的大小均为3*3,下采样层的卷积核的大小也为3*3。
应当注意的是,M个下采样块各自的输出的特征图的大小不同,从而使得水体特征图可以表示多尺度下的水体特征。
需要说明的是,本实施例并不意图对下采样块的数量进行限定,具体需要结合实际需求确定,比如M=5。
还需要说明的是,上述第三模型仅仅作为示例并不构成具体限定,具体可以结合实际需求确定第三模型的结构。
步骤105、对于多个遥感图像中的各图像,将遥感图像对应的水体特征图代入第三模型中进行解码以分割遥感图像中的水体区域,确定第三模型输出的遥感图像对应的水体分割图像。
需要说明的是,水体分割图像、标注图像和遥感图像的尺寸相同。且水体分割图像为二值图像。
作为一种可行的实现方式,第三模型包括解码单元和水体分类单元,水体分割图像为水体分类单元的输出。解码单元的输入为M个下采样块各自的输出,用于对水体特征图进行解码;水体分类单元的输入为解码单元的输出,或者,解码单元的输出和M个下采样块中至少一个下采样块各自的输出。
其中,解码单元包括N个上采样块。上采样块用于对输入进行解码以确定水体概率图像,该水体概率图像指示了遥感图像中每个像素点的水体概率,值得注意的是,当水体概率图像的尺寸小于遥感图像的尺寸时,水体概率图像中一个像素点可以表示遥感图像中多个像素点共享的水体概率。
在一个例子中,为了确保上采样块可以还原遥感图像中面积较小的湖泊,上采样层采用卷积的方式替代,充分还原图像的信息,降低信息丢失的可能性。示例地,两个卷积层的卷积核的大小均为3*3,上采样层的卷积核的大小也为3*3。
在一个例子中,对于N个上采样块中的第j个上采样块,当j=1时,第j个上采样块的输入为连接的一个下采样块的输出或连接的多个下采样块各自的输出拼接或融合后的结果,当j大于1时,第j个上采样块的输入为连接的第j-1个上采样块的输出或者连接的第j-1个上采样块的输出和连接的至少一个下采样块的输出融合或拼接后的结果;对应的,解码单元的输出为位于末位的上采样块的输出,或者,N个上采样块各自的输出。
示例地,如图2a所示,第二模型包括4个下采样块,解码单元包括4个上采样块。对于4个上采样块中的第j个上采样块,j=1时,上采样块的输入为连接的第4个下采样块输出的特征图;当j>1时,第j个上采样块的输入为第j-1个上采样块的输出和连接的第5-j个下采样块的输出拼接或融合后的结果。对应的,水体分类单元的输入为第4个上采样块的输出。
示例地,如图2b和图2c所示,第二模型包括5个下采样块,解码单元包括4个上采样块。对于4个上采样块中的第j个上采样块,j=1时,上采样块的输入为连接的第4个和第5个下采样块各自的输出融合或拼接后的特征图;当j>1时,第j个上采样块的输入为第j-1个上采样块的输出和连接的第5-j个下采样块的输出拼接或融合后的结果。如图2b所示,水体分类单元的输入为第4个上采样块的输出。如图2c所示,水体分类单元的输入为第1至第4个上采样块各自的输出拼接或融合后的结果。
其中,第j个上采样块的输入的多个图的大小相同,则因此可直接进行融合或拼接。其中,融合可以理解为相加,或者,相加后平均。
在一个例子中,对于N个上采样块中的第j个上采样块,第j个上采样块的输入为连接的一个下采样块的输出或者连接的多个下采样块各自的输出拼接或融合后的结果,水体分类单元的输入为N个上采样块各自的输出。
示例地,如图2d所示,第二模型包括4个上下采样块,解码单元包括4个上采样块。对于4个上采样块中的第j个上采样块,第j个上采样块的输入为连接的第5-j个下采样块输出的特征图。对应的,水体分类单元的输入为4个上采样块各自的输出,用于对N个上采样块各自的输出进行融合后进行水体分类,输出水体分割图像。
需要说明的是,由于水体概率图像的概率范围为0-1,并不是二值图像,因此需要进行水体分类,得到二值图像。
还需要说明的是,上述第三模型仅仅作为示例并不构成具体限定,具体可以结合实际需求确定第三模型的结构。比如,第二模型和第三模型可以为U-net模型。
步骤106、对于多个遥感图像中的各样本,将遥感图像对应的水体分割图像和标注图像代入判别模型进行判断,确定水体分割图像的判断结果,判断结果指示了水体分割图像为标注图像还是水体提取模型生成的图像。
作为一种可行的实现方式,如图2a至图2d所示,判别模型包括水体区域提取层、ResNet、两个全连接层和非线性激活层。水体区域提取层用于基于水体分割图像提取遥感图像中的水体区域作为输出,以及,基于标注图像提取遥感图像中的水体区域作为输出。ResNet用于提取图像处理层输出的图像的水体特征,两个全连接层和非线性激活层用于基于ResNet的输出进行水体分类。
需要说明的是,上述判别模型的结构仅仅作为示例,并不构成具体限定,具体可以结合实际需求确定判别模型的结构。
步骤107、基于多个遥感图像各自对应的标注图像、水体分割图像、水体分割图像的判断结果,对判别模型和水体提取模型进行训练。
判别模型和水体提取模型的损失包括两个部分,一部分是判别模型判别过程的第一损失,另一部分是生成结果(水体分割图像)和真实结果(标注图像)之间的第二损失,比如,L2范数损失。
在实际训练过程中,首先基于第一损失训练判别模型,在判别模型具有较好的表现时,基于第二损失训练水体提取模型,依次轮换训练,最终得到训练好的水体提取模型。
需要说明的是,基于判别模型训练水体提取模型仅仅作为示例,并不构成具体限定,具体可以结合实际需求确定水体提取模型的训练方式,比如,可以直接基于多个遥感图像各自对应的标注图像、水体分割图像,训练水体提取模型。
通过以上技术方案可知,本实施例存在的有益效果是:
一方面,通过判别模型进行水体提取模型的训练,可提升水体提取模型的模型精度。
另一方面,本实施例所提出的水体提取模型中采用卷积的方式进行采样,减少面积较小的湖泊的信息的丢失,可更准确的定位到图像中表示湖泊的区域,更适合于不同尺度下的冰川周围的湖泊的提取研究。
再一方面,本实施例通过注意力关注遥感图像中的水体区域,从而针对遥感图像中的水体区域进行针对性处理,可更准确的定位到图像中表示湖泊的区域,确保遥感图像中表示湖泊的区域的提取的结果的参考价值。
又一方面,无需辅助数据。传统的冰湖提取方法一般只考虑冰湖的光谱特征或空间特征(水体表面均一化),而忽视了其他特征,这就导致冰湖提取往往需要其他辅助数据,来去除和冰湖具有类似特征目标的干扰,比如使用DEM数据去除山体阴影。本实施例提供的水体提取模型,使用卷积操作提取图像中冰湖的卷积特征,使得冰湖提取能够在无需其他辅助数据的情况下也能够有效进行,实现冰湖的自动化提取。另外,本实施例通过对大量样本的学习,可直接快速准确的定位到冰湖区域,实现对冰湖的提取,无需对遥感图像进行预处理或者后处理操作,比如进行像元值转化,数字高程模型生成坡度图和山体晕渲图,进行去噪等处理。本发明所提出的方法无需任何预处理或者后处理。
进一步的,发明人对图2c示出的模型的效果进行了验证。具体的实验过程如下。
1.实验条件
本发明是在中央处理器为i5-9400F 2.9GHz CPU、GTX 1660T 6G GPU、内存16G、WINDOWS 10操作***上,运用python语言编程实现。模型中还涉及到了深度学习框架,本实验所采用的深度学习框架为tensorflow 1.14。实验中使用的数据均从Landsat(卫星)影像上采集得到,所有图像大小为256×256×7。
2.实验内容
实验精度评估的计算方式是采用F1分数。F1分数的具体计算方式如下:
精确率=正确提取的冰湖像元/所有提取出的像元
召回率=正确提取的冰湖像元/所有冰湖像元
F1分数=2×精确率×召回率/(精确率+召回率)
输入图像的尺寸大小设置为256×256×7。关于训练参数,batch size(批次大小)设置为8,epoch(周期)设置为100,dropout设置为0.5防止过拟合,优化器选择AdamOptimizer,学习率设置为0.0001。
为验证本发明实施例的有效性,我们与同样用深度学习做冰湖提取的两篇文献中的模型进行比较,该文献所使用的模型均为U-net。该模型较为简单,而本发明所提出的模型不仅引入了水体注意力模块,还使用了生成对抗网络结构,通过两组损失函数进而优化生成器做冰湖分割的效果,最终模型的精度比较结果如下:
模型名字 | F1分数 |
U-net | 83.53% |
本实施例提出的模型 | 92.17% |
表1
从表1可见,相较于U-net,本发明实施例所提出的模型精度更高。由于引入水体注意力和生成对抗网络,故可以在模型中更准确的定位到冰湖区域,因此其精度更高,更适合于大尺度下的冰湖提取研究。
如图4所示,为本发明实施例提供的一种方法。本发明实施例所提供的方法可应用在电子设备上,具体可以应用于服务器或一般计算机上。本实施例中,所述方法具体包括以下步骤:
步骤401、确定冰湖区域的遥感图像,冰湖区域包括冰川和冰川周围的湖泊,遥感图像为对冰湖区域进行远距离探测得到的图像。
步骤402、对遥感图像进行光谱特征提取,确定冰湖区域的光谱特征图像,光谱特征图像用于凸显湖泊对应在遥感图像中的区域。
本步骤中,通过凸显遥感图像中的水体区域,从而可以更好的定位以提取遥感图像中的水体区域,便于后续的水体分割。
作为一种可行的实现方式,通过水体指数的计算公式确定遥感图像中每个像素点的水体指数值,从而得到光谱特征图像。详细内容参见上文,此处不做过多赘述。
步骤403、基于光谱特征图像,提取遥感图像中的水体区域,确定水体图像,水体图像指示遥感图像中可能表示湖泊的区域。
本步骤中,通过凸显遥感图像中的水体区域,从而可以更好的定位以提取遥感图像中的水体区域,得到便于后续的水体分割的水体图像。
作为一种可行的实现方式,具体可通过如下实现方式确定水体图像:
基于遥感图像,确定光谱特征图像中不同区域的水体注意力权重;基于光谱特征图像中不同区域的水体注意力权重和光谱特征图像,确定遥感图像中不同区域的水体注意力权重;基于遥感图像中不同区域的水体注意力权重,提取遥感图像中的水体区域,确定水体图像。
在一个例子中,具体可通过如下实现方式确定水体注意力权重:
基于键权值矩阵确定遥感图像对应的键图;基于查询权值矩阵确定遥感图像对应的查询图;基于键图和查询图进行注意力计算,确定光谱特征图像中不同区域的水体注意力权重。
在实际应用中,将光谱特征图和遥感图像输入至第一模型,确定第一模型输出水体图像即可。
详细内容可参见上文,此处不再赘述。
步骤404、对水体图像进行编码以提取水体特征,确定水体特征图,水体特征图指示了水体图像包括的湖泊的信息。
本步骤中,关注水体图像中的可能表示湖泊的区域的信息,从而通过水体特征图更好的表征湖泊的情况,便于后续的水体分割。
作为一种可行的实现方式,将水体图像代入第二模型中进行不同尺度的水体特征的提取,从而确定第二模型输出的水体特征图。
在一个例子中,水体特征图包括图像大小相同的多个特征图,这些特征图用于描述遥感图像包括的湖泊的信息。
详细内容参见上文,此处不再赘述。
步骤405、对水体特征图进行解码以分割遥感图像中的水体区域,确定遥感图像对应的水体分割图像,水体分割图像用于区分遥感图像中的湖泊对应的区域和其他的区域。
本步骤中,通过对水体特征图进行解码以还原遥感图像中的水体区域,从而实现水体区域的分割,得到与遥感图像大小相同的水体分割图像。
作为一种可行的实现方式,将水体图像代入第三模型中进行水体特征的提取,从而确定第二模型输出的水体特征图。
详细内容参见上文,此处不再赘述。
通过以上技术方案可知,本实施例存在的有益效果是:
由于凸显了图像中的水体区域,可以较为准确的定位到图像中的水体区域,进而可较为准确的分割出遥感图像中表示湖泊的区域。
基于与本发明方法实施例相同的构思,请参考图5,本发明实施例还提供了一种水体区域提取装置,包括:
遥感图像确定模块501,用于确定冰湖区域的遥感图像,所述冰湖区域包括冰川和冰川周围的湖泊,所述遥感图像为对所述冰湖区域进行远距离探测得到的图像;
光谱图像确定模块502,用于对所述遥感图像进行光谱特征提取,确定所述冰湖区域的光谱特征图像,所述光谱特征图像用于凸显所述湖泊对应在所述遥感图像中的区域;
水体提取模块503,用于基于所述光谱特征图像,提取所述遥感图像中的水体区域,确定水体图像,所述水体图像指示所述遥感图像中可能表示所述湖泊的区域;
编码模块504,用于对所述水体图像进行编码以提取水体特征,确定水体特征图,所述水体特征图指示了所述水体图像包括的所述湖泊的信息;
解码模块505,用于对所述水体特征图进行解码以分割所述遥感图像中的水体区域,确定所述遥感图像对应的水体分割图像,所述水体分割图像用于区分所述遥感图像中的所述湖泊对应的区域和其他的区域。
作为一种可行的实现方式,所述水体提取模块503,包括:第一权重计算单元、第二权重计算单元及提取单元;其中,
所述第一权重计算单元,用于基于所述遥感图像,确定所述光谱特征图像中不同区域的水体注意力权重;
所述第二权重计算单元,用于基于所述光谱特征图像中不同区域的水体注意力权重和所述光谱特征图像,确定所述遥感图像中不同区域的水体注意力权重;
所述提取单元,用于基于所述遥感图像中不同区域的水体注意力权重,提取所述遥感图像中的水体区域,确定水体图像。
作为一种可行的实现方式,第一权重计算单元,包括:键确定子单元、查询确定子单元和权重计算子单元;其中,
所述键确定子单元,用于基于键权值矩阵确定所述遥感图像对应的键图;
所述查询确定子单元,用于基于查询权值矩阵确定所述遥感图像对应的查询图;
所述权重计算子单元,用于基于所述键图和所述查询图进行注意力计算,确定所述光谱特征图像中不同区域的水体注意力权重。
作为一种可行的实现方式,所述水体特征图包括大小不同的多个特征图,所述多个特征图均用于表示所述水体图像包括的所述湖泊的信息。
作为一种可行的实现方式,所述解码模块505,包括:第一解码单元和第一分类单元;其中,
所述第一解码单元,用于对所述多个特征图依次进行解码,确定最后一次解码得到的与所述遥感图像大小一致的水体概率图像,所述水体概率图像指示了所述遥感图像中不同区域各自的水体概率;
所述第一分类单元,用于对所述最后一次解码得到的水体概率图像进行水体分类,确定所述遥感图像对应的水体分割图像。
作为一种可行的实现方式,所述解码模块505,包括:第二解码单元和第二分类单元;其中,
所述第二解码单元,用于对所述多个特征图分别进行解码,确定所述多个特征图各自对应的与所述遥感图像大小一致的水体概率图像,所述水体概率图像指示了所述遥感图像中不同区域各自的水体概率;
所述第二分类单元,用于对所述多个特征图各自对应的水体概率图像进行融合后进行水体分类,确定所述遥感图像对应的水体分割图像。
作为一种可行的实现方式,所述装置还包括:模型确定模块;其中,
所述模型确定模块,用于确定水体提取模型,所述水体提取模型包括第一模型、第二模型和第三模型;其中,所述第一模型用于基于所述光谱特征图,提取所述遥感图像中的水体区域,确定水体图像;所述第二模型用于对所述水体图像进行编码以提取水体特征,确定水体特征图,所述第三模型用于对所述水体特征图进行解码以分割所述遥感图像中的水体区域,确定所述遥感图像对应的水体分割图像。
作为一种可行的实现方式,所述装置还包括:标注图像确定模块、判别模块和训练模块;其中,
所述标注图像确定模块,用于确定所述遥感图像对应的标注图像,所述标注图像用于区分所述遥感图像中的所述湖泊对应的区域和其他的区域;
所述判别模块,用于将所述水体分割图像和所述标注图像代入判别模型进行判断,确定所述水体分割图像的判断结果,所述判断结果指示了所述水体分割图像为标注图像还是所述水体提取模型生成的图像;
所述模型训练模块,用于基于所述判断结果、所述水体分割图像和所述标注图像,对所述水体提取模型和所述判别模型进行训练。
作为一种可行的实现方式,所述第二模型包括串联连接的M下采样块,所述水体特征图包括所述M个下采样块各自输出的特征图;对于所述M个下采样块中的第i个下采样块,用于保留面积较小的湖泊的信息,当i=1时,第i个下采样块的输入为所述水体图像,当i大于1时,第i个下采样块的输入为第i-1个下采样块的输出;
所述第三模型包括解码单元和水体分类单元,所述水体分割图像为所述水体分类单元的输出;所述解码单元的输入为所述M个下采样块各自的输出,用于对所述水体特征图进行解码,所述水体分类单元的输入为所述解码单元的输出,或者,所述解码单元的输出和所述M个下采样块中至少一个下采样块各自的输出。
图6是本发明实施例提供的一种电子设备的结构示意图。在硬件层面,该电子设备包括处理器601以及存储有执行指令的存储器602,可选地还包括内部总线603及网络接口604。其中,存储器602可能包含内存6021,例如高速随机存取存储器(Random-AccessMemory,RAM),也可能还包括非易失性存储器6022(non-volatile memory),例如至少1个磁盘存储器等;处理器601、网络接口604和存储器602可以通过内部总线603相互连接,该内部总线603可以是ISA(Industry Standard Architecture,工业标准体系结构)总线、PCI(Peripheral Component Interconnect,外设部件互连标准)总线或EISA(ExtendedIndustry Standard Architecture,扩展工业标准结构)总线等;内部总线603可以分为地址总线、数据总线、控制总线等,为便于表示,图6中仅用一个双向箭头表示,但并不表示仅有一根总线或一种类型的总线。当然,该电子设备还可能包括其他业务所需要的硬件。当处理器601执行存储器602存储的执行指令时,处理器601执行本发明任意一个实施例中的方法,并至少用于执行如图1或图4所示的方法。
在一种可能实现的方式中,处理器从非易失性存储器中读取对应的执行指令到内存中然后运行,也可从其它设备上获取相应的执行指令,以在逻辑层面上形成一种水体区域提取装置。处理器执行存储器所存放的执行指令,以通过执行的执行指令实现本发明任实施例中提供的一种水体区域提取方法。
处理器可能是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器,包括中央处理器(Central Processing Unit,CPU)、网络处理器(Network Processor,NP)等;还可以是数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
本发明实施例还提供了一种计算机可读存储介质,包括执行指令,当电子设备的处理器执行执行指令时,所述处理器执行本发明任意一个实施例中提供的方法。该电子设备具体可以是如图6所示的电子设备;执行指令是一种水体区域提取装置所对应计算机程序。
本领域内的技术人员应明白,本发明的实施例可提供为方法或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例,或软件和硬件相结合的形式。
本发明中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于装置实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
以上所述仅为本发明的实施例而已,并不用于限制本发明。对于本领域技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本发明的权利要求范围之内。
Claims (10)
1.一种水体区域提取方法,其特征在于,包括:
确定冰湖区域的遥感图像,所述冰湖区域包括冰川和冰川周围的湖泊,所述遥感图像为对所述冰湖区域进行远距离探测得到的图像;
对所述遥感图像进行光谱特征提取,确定所述冰湖区域的光谱特征图像,所述光谱特征图像用于凸显所述湖泊对应在所述遥感图像中的区域;
基于所述光谱特征图像,提取所述遥感图像中的水体区域,确定水体图像,所述水体图像指示所述遥感图像中可能表示所述湖泊的区域;
对所述水体图像进行编码以提取水体特征,确定水体特征图,所述水体特征图指示了所述水体图像包括的所述湖泊的信息;
对所述水体特征图进行解码以分割所述遥感图像中的水体区域,确定所述遥感图像对应的水体分割图像,所述水体分割图像用于区分所述遥感图像中的所述湖泊对应的区域和其他的区域。
2.根据权利要求1所述的方法,其特征在于,所述基于所述光谱特征图,提取所述遥感图像中的水体区域,确定水体图像,包括:
基于所述遥感图像,确定所述光谱特征图像中不同区域的水体注意力权重;
基于所述光谱特征图像中不同区域的水体注意力权重和所述光谱特征图像,确定所述遥感图像中不同区域的水体注意力权重;
基于所述遥感图像中不同区域的水体注意力权重,提取所述遥感图像中的水体区域,确定水体图像。
3.根据权利要求2所述的方法,其特征在于,所述基于所述遥感图像,确定所述光谱特征图像中不同区域的水体注意力权重,包括:
基于键权值矩阵确定所述遥感图像对应的键图;
基于查询权值矩阵确定所述遥感图像对应的查询图;
基于所述键图和所述查询图进行注意力计算,确定所述光谱特征图像中不同区域的水体注意力权重。
4.根据权利要求1所述的方法,其特征在于,所述水体特征图包括大小不同的多个特征图,所述多个特征图均用于表示所述水体图像包括的所述湖泊的信息。
5.根据权利要求4所述的方法,其特征在于,所述对所述水体特征图进行解码以分割所述遥感图像中的水体区域,确定所述遥感图像对应的水体分割图像,包括:
对所述多个特征图依次进行解码,确定最后一次解码得到的与所述遥感图像大小一致的水体概率图像,所述水体概率图像指示了所述遥感图像中不同区域各自的水体概率;
对所述最后一次解码得到的水体概率图像进行水体分类,确定所述遥感图像对应的水体分割图像。
6.根据权利要求4所述的方法,其特征在于,所述对所述水体特征图进行解码以分割所述遥感图像中的水体区域,确定所述遥感图像对应的水体分割图像,包括:
对所述多个特征图分别进行解码,确定所述多个特征图各自对应的与所述遥感图像大小一致的水体概率图像,所述水体概率图像指示了所述遥感图像中不同区域各自的水体概率;
对所述多个特征图各自对应的水体概率图像进行融合后进行水体分类,确定所述遥感图像对应的水体分割图像。
7.根据权利要去1所述的方法,其特征在于,所述方法还包括:
确定水体提取模型,所述水体提取模型包括第一模型、第二模型和第三模型;其中,所述第一模型用于基于所述光谱特征图,提取所述遥感图像中的水体区域,确定水体图像;所述第二模型用于对所述水体图像进行编码以提取水体特征,确定水体特征图,所述第三模型用于对所述水体特征图进行解码以分割所述遥感图像中的水体区域,确定所述遥感图像对应的水体分割图像。
8.根据权利要求7所述的方法,其特征在于,所述方法还包括:
确定所述遥感图像对应的标注图像,所述标注图像用于区分所述遥感图像中的所述湖泊对应的区域和其他的区域;
将所述水体分割图像和所述标注图像代入判别模型进行判断,确定所述水体分割图像的判断结果,所述判断结果指示了所述水体分割图像为标注图像还是所述水体提取模型生成的图像;
基于所述判断结果、所述水体分割图像和所述标注图像,对所述水体提取模型和所述判别模型进行训练。
9.根据权利要求7所述的方法,其特征在于,所述第二模型包括串联连接的M下采样块,所述水体特征图包括所述M个下采样块各自输出的特征图;对于所述M个下采样块中的第i个下采样块,用于保留面积较小的湖泊的信息,当i=1时,第i个下采样块的输入为所述水体图像,当i大于1时,第i个下采样块的输入为第i-1个下采样块的输出;
所述第三模型包括解码单元和水体分类单元,所述水体分割图像为所述水体分类单元的输出;所述解码单元的输入为所述M个下采样块各自的输出,用于对所述水体特征图进行解码,所述水体分类单元的输入为所述解码单元的输出,或者,所述解码单元的输出和所述M个下采样块中至少一个下采样块各自的输出。
10.一种水体区域提取装置,其特征在于,包括:
遥感图像确定模块,用于确定冰湖区域的遥感图像,所述冰湖区域包括冰川和冰川周围的湖泊,所述遥感图像为对所述冰湖区域进行远距离探测得到的图像;
光谱图像确定模块,用于对所述遥感图像进行光谱特征提取,确定所述冰湖区域的光谱特征图像,所述光谱特征图像用于凸显所述湖泊对应在所述遥感图像中的区域;
水体提取模块,用于基于所述光谱特征图像,提取所述遥感图像中的水体区域,确定水体图像,所述水体图像指示所述遥感图像中可能表示所述湖泊的区域;
编码模块,用于对所述水体图像进行编码以提取水体特征,确定水体特征图,所述水体特征图指示了所述水体图像包括的所述湖泊的信息;
解码模块,用于对所述水体特征图进行解码以分割所述遥感图像中的水体区域,确定所述遥感图像对应的水体分割图像,所述水体分割图像用于区分所述遥感图像中的所述湖泊对应的区域和其他的区域。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210061048.8A CN114419460A (zh) | 2022-01-19 | 2022-01-19 | 水体区域提取方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210061048.8A CN114419460A (zh) | 2022-01-19 | 2022-01-19 | 水体区域提取方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114419460A true CN114419460A (zh) | 2022-04-29 |
Family
ID=81274438
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210061048.8A Pending CN114419460A (zh) | 2022-01-19 | 2022-01-19 | 水体区域提取方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114419460A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117409203A (zh) * | 2023-11-14 | 2024-01-16 | 自然资源部国土卫星遥感应用中心 | 一种浅水湖泊面积提取的方法 |
-
2022
- 2022-01-19 CN CN202210061048.8A patent/CN114419460A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117409203A (zh) * | 2023-11-14 | 2024-01-16 | 自然资源部国土卫星遥感应用中心 | 一种浅水湖泊面积提取的方法 |
CN117409203B (zh) * | 2023-11-14 | 2024-04-02 | 自然资源部国土卫星遥感应用中心 | 一种浅水湖泊面积提取的方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111696094B (zh) | 免疫组化pd-l1膜染色病理切片图像处理方法、装置和设备 | |
CN111652217B (zh) | 文本检测方法、装置、电子设备及计算机存储介质 | |
US20190019055A1 (en) | Word segmentation system, method and device | |
CN113139543B (zh) | 目标对象检测模型的训练方法、目标对象检测方法和设备 | |
CN105825243A (zh) | 证件图像检测方法及设备 | |
CN112017192B (zh) | 基于改进U-Net网络的腺体细胞图像分割方法及*** | |
CN111914654B (zh) | 一种文本版面分析方法、装置、设备和介质 | |
CN110503103B (zh) | 一种基于全卷积神经网络的文本行中的字符切分方法 | |
CN112041851A (zh) | 一种识别文本的方法及终端设备 | |
CN111046971A (zh) | 图像识别方法、装置、设备及计算机可读存储介质 | |
CN112700460B (zh) | 图像分割方法及*** | |
CN112149526B (zh) | 一种基于长距离信息融合的车道线检测方法及*** | |
CN113887472A (zh) | 基于级联颜色及纹理特征注意力的遥感图像云检测方法 | |
CN111079825B (zh) | 针对医学图像的细胞核自动检测方法 | |
CN117333669A (zh) | 基于有用信息引导的遥感影像语义分割方法、***及设备 | |
CN114419460A (zh) | 水体区域提取方法及装置 | |
CN110008949B (zh) | 一种图像目标检测方法、***、装置和存储介质 | |
CN112132867B (zh) | 一种遥感影像变化检测方法及装置 | |
CN113888496A (zh) | 基于深度卷积神经网络的***形态识别方法及存储介质 | |
CN117636298A (zh) | 基于多尺度特征学习的车辆重识别方法、***及存储介质 | |
CN115982388B (zh) | 案件质控图谱建立、案件文书质检方法、设备及存储介质 | |
CN112183513B (zh) | 一种图像中文字的识别方法、装置、电子设备及存储介质 | |
CN111931721A (zh) | 年检标签颜色和个数的检测方法、装置及电子设备 | |
CN115953746A (zh) | 一种船只监测方法及装置 | |
CN112613498B (zh) | 一种指针识别方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |