CN109740485B - 基于光谱分析和深度卷积神经网络的水库或塘坝识别方法 - Google Patents

Abstract

本发明公开了一种基于光谱分析和深度卷积神经网络的水库或塘坝识别方法，涉及人工智能，图像识别领域。首先利用光谱分析对高清遥感影像进行处理，提取水域边界信息，将水域边界信息映射到原始图像上，然后利用原始影像上的水域边界信息，将原始图片分割为若干个包含蓄水体的图片块，将这些图片块作为构建的卷积神经网络的输入，利用卷积神经网络对大坝、闸门、泄洪道进行识别分类，最后，利用大坝、闸门、泄洪道对水体进行识别和分类。准确率达到80％以上，大大提高了水体识别的准确度，卷积神经网络在结构上有明显的简化，在运行速度和稳健性上有了极大的提高，处理速度可达23fps，实现了水库、塘坝的快速精准识别。

Description

基于光谱分析和深度卷积神经网络的水库或塘坝识别方法

技术领域

本发明涉及人工智能，图像识别领域，尤其涉及一种基于光谱分析和深度卷积神经网络的水库或塘坝识别方法。

背景技术

中小河流分布广泛，河网密集，对突发性降水的蓄积和疏导能力较弱，分布于中小河流流域的水库、塘坝通过不同的蓄泄洪机制对流域的产汇流产生影响。在中小河流的洪水预报中，水库、塘坝对流域的洪水过程有重要影响，而由于水库、塘坝具有不同的蓄泄洪机制，所以需要分别进行考虑。

水库、塘坝的识别分类是中小河流洪水预报的重要环节，需要通过水库、塘坝的识别，对两者分别予以考虑，通过相应的数字高程和高清遥感影像，结合水库、塘坝不同的蓄泄洪机制，为中小河流洪水预报提供数据支撑。

目前，水库、塘坝的识别分类主要是采用基于深度学习的别方法。这类方法一般使用基于区域的卷积神经网络(R-CNN)，先生成建议框(region proposal)，再对建议框内的特征进行分类，并对建议框进行回归，得到目标的位置和类别。这类方法存在的问题主要是网络结构过于复杂，对计算机硬件条件要求较高，运行速度慢，且对训练集进行标注时需要专业的遥感从业人员，所以在识别过程中将受到较大的局限。

发明内容

本发明的目的在于提供一种基于光谱分析和深度卷积神经网络的水库或塘坝识别方法，从而解决现有技术中存在的前述问题。

为了实现上述目的，本发明采用的技术方案如下：

一种基于光谱分析和深度卷积神经网络的水库或塘坝识别方法，包括如下步骤：

S1，构建卷积神经网络，该网络依次包括输入层、五个卷积层、融合层、一个全连接层和输出层，其中，所述融合层用于将第二卷积层、第三卷积层、第四卷积层、第五卷积层的特征进行融合；

S2，采用基于阈值的多波段谱间关系法对高分辨率卫星遥感影像进行分析，提取水域边界信息，框定水体，得到光谱分析处理后的影像；

S3，将原始影像和光谱分析处理后的影像的坐标统一映射到同一个坐标系下，在同一坐标下将水域边界信息映射到原始影像上，实现在原始影像上水体的框定；

S4，利用原始影像上的水域边界信息，将原始图片分割为若干个包含蓄水体的图片块，将这些图片块作为卷积神经网络的输入；

S5，利用卷积神经网络对输入的包含蓄水体的图片块进行特征提取，对输入图片块中的特征地物：大坝、闸门或泄洪道进行识别；

S6，根据卷积神经网络的输出结果，即是否有大坝、闸门、泄洪道，对输入图片块进行进一步分类，确定水体的具体类型，即水库或者塘坝，结合水域边界信息，实现对水体的识别。

优选地，S1中还包括步骤：使用训练集对所述卷积神经网络进行训练，并使用测试集对训练好的卷积神经网络的准确率进行评估。

优选地，所述训练集和所述测试集为包含有大坝、闸门、泄洪道的高清影像数据集，每张图片的大小均为224×224像素，为普通的灰度图片，训练集和测试集的比例为9:1，训练的最大迭代步数设置为100K。

优选地，所述使用训练集对所述卷积神经网络进行训练，具体为：每次用来训练的图片数量为128，即min_batch＝128；采用动态学习率，在迭代步数小于30K时，学习率的值为0.0001，在迭代步数达到30K时，学习率的值为0.00002，在迭代步数达到80K时，学习率的值为0.00001。

优选地，所述评估的标准为查全率recall、查准率precision、F1和mAP，分别按照如下公式进行计算：

其中，式(1)、(2)中，Truepositive表示被模型预测为正的正样本，即判断为真的正确率；Falsenegative表示被模型预测为负的正样本，即漏报率；Falsepositive表示被模型预测为正的负样本，即误报率；

式(4)中，N为测试集中所有图片的个数，M为目标的类别总数，p(k)表示在能识别出k张图片时precision的值，Δr(k)表示识别图片数从k-1变化到k时recall值的变化情况。

优选地，S2具体为，采用如下公式对高分辨率卫星遥感影像进行分析：

(b3+b4)-(b5+b6)>T (5)

式中，b3为波段3的灰度值；b4为波段4的灰度值；b5为波段5的灰度值；b6为波段6的灰度值；T为通过实验选取的阈值；

使用上式对波段进行运算，满足的即为水体。

本发明的有益效果是：本发明提供的基于光谱分析和深度卷积神经网络的水库或塘坝识别方法，首先利用光谱分析对高清遥感影像进行处理，提取水域边界信息，将水域边界信息映射到原始图像上，然后利用原始影像上的水域边界信息，将原始图片分割为若干个包含蓄水体的图片块，将这些图片块作为构建的卷积神经网络的输入，利用卷积神经网络对大坝、闸门、泄洪道进行识别分类，最后，利用大坝、闸门、泄洪道对水体(水库、塘坝)进行识别和分类。所以，采用本发明提供的方法，准确率达到80％以上，大大提高了水体识别的准确度，卷积神经网络在结构上有明显的简化，在运行速度和稳健性上有了极大的提高，处理速度可达23fps，实现了水库、塘坝的快速精准识别。

附图说明

图1是本发明提供的基于光谱分析和深度卷积神经网络的水库或塘坝识别方法流程示意图；

图2是VGG-16网络结构示意图；

图3是本发明构建的卷积神经网络原理示意图；

图4是使用测试集对卷积神经网络的准确率进行评估的原理示意图；

图5是为原始卫星图片；

图6是经过基于阈值的多波段谱间关系法处理得到的图片；

图7是本发明构建的卷积神经网络结构示意图；

图8是含有大坝、闸门，泄洪道三种类别的地物照片；

图9是数据集的文件结构示意图；

图10是研究区水库的高清卫星影像图；

图11是研究区塘坝的高清卫星影像图；

图12是电磁波谱图；

图13是光谱分析后的水库影像图；

图14是光谱分析后的塘坝影像图。

图7中，①表示神经网络的输入数据，为高分辨率遥感影像。②表示卷积神经网络的输入层，方框③内的结构为五个卷积层，用于提取输入数据的特征。④为特征融合层，用于将第二个卷积层(Ⅱ)的特征⑦，第三个卷积层(Ⅲ)的特征⑧，第四个卷积层(Ⅳ)的特征⑨，第五个卷积层(Ⅴ)的特征⑩进行融合。⑤为全连接层，这一层采用全连接方式，每一个神经元均与其他神经元建立连接。⑥为输出层，即输出神经网络的分类结果。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不用于限定本发明。

如图1所示，本发明提供了一种基于光谱分析和深度卷积神经网络的水库或塘坝识别方法，包括如下步骤：

S1，构建卷积神经网络，该网络依次包括输入层、五个卷积层、融合层、一个全连接层和输出层，其中，所述融合层用于将第二卷积层、第三卷积层、第四卷积层、第五卷积层的特征进行融合；

S2，采用基于阈值的多波段谱间关系法对高分辨率卫星遥感影像进行分析，提取水域边界信息，框定水体，得到光谱分析处理后的影像；

S3，将原始影像和光谱分析处理后的影像的坐标统一映射到同一个坐标系下，在同一坐标下将水域边界信息映射到原始影像上，实现在原始影像上水体的框定；

S4，利用原始影像上的水域边界信息，将原始图片分割为若干个包含蓄水体的图片块，将这些图片块作为卷积神经网络的输入；

S5，利用卷积神经网络对输入的包含蓄水体的图片块进行特征提取，对输入图片块中的特征地物：大坝、闸门或泄洪道进行识别；

S6，根据卷积神经网络的输出结果，即是否有大坝、闸门、泄洪道，对输入图片块进行进一步分类，确定水体的具体类型，即水库或者塘坝，结合水域边界信息，实现对水体的识别。

由于遥感影像地物尺寸较小，受拍摄角度和光照条件的影响较大，随着网络的加深，提取的特征越来越抽象，图片的尺寸也越来越小，采用传统的网络结构在后期会丢失小型地物的信息。因此需要设计出合理的网络结构。解决小型地物的识别问题可以采用将多个卷积层的特征向后传播再融合的方法。

实验表明，几个小滤波器卷积层的组合比一个大滤波器卷积层好。VGG-16网络充分利用了多个卷积层与非线性激活层交替的结构，比单一卷积层的结构更能提取出深层的特征。VGG-16(VGG-16的网络结构如图2所示)网络包含5个卷积层和3个全连接层，每个卷积层由若干个子层组成，所用卷积核的大小均为3×3。5个卷积层输出的特征图谱数分别为64，128，256，512，512，在第一个全连接层将特征展开为4096维向量，在第三个全连接层得到一个3维向量。在输出层输出分类的结果。

本发明中，采用VGG-16网络作为基本结构构建卷积神经网络，在VGG-16的基础上，将第二，第三，第四，第五个卷积层提取的特征进行融合，作为全连接层的输入，如图3所示，提高对小型目标的分类精度。

构建了卷积神经网络之后，可以使用训练集对所述卷积神经网络进行训练，并使用测试集对训练好的卷积神经网络的准确率进行评估。

训练和测试时，使用的数据集为包含有大坝、闸门、泄洪道的高清影像数据集，每张图片的大小均为224×224像素，为普通的灰度图片。数据集中包含的图片数为60000张，训练集和测试集的比例为9:1，即测试集包含54000张图片，测试集包含6000图片。在迭代步数达到100K时即停止训练，保存训练好的模型，用于后续的蓄水体识别。

使用训练集对所述卷积神经网络进行训练，具体为：每次用来训练的图片数量为128；采用动态学习率，在迭代步数小于30K时，学习率的值为0.0001，在迭代步数达到30K时，学习率的值为0.00002，在迭代步数达到80K时，学习率的值为0.00001。

对训练好的神经网络，使用测试集(测试集包含6000张图片)对网络的准确率进行评估，评估的标准为查全率recall，查准率precision，F1和mAP。如图4和式(1)(2)(3)(4)所示。

其中，式(1)、(2)中，True positive表示被模型预测为正的正样本，即判断为真的正确率；False negative表示被模型预测为负的正样本，即漏报率；False positive表示被模型预测为正的负样本，即误报率；

式(4)中，N为测试集中所有图片的个数，M为目标的类别总数，p(k)表示在能识别出k张图片时precision的值，Δr(k)表示识别图片数从k-1变化到k时recall值的变化情况。

在光谱分析中，水体的光谱学特征为：水体的反射主要集中在可见光波段中的蓝绿波段，在近红外波段，水体的反射率开始急速衰减至0。而其他地物如植被和土壤在近红外波段反射率相对水体来说明显更高。因此在近红外遥感影像上，水体由于反射率低，一般呈现出暗色调，植被、土壤等由于反射率远高于水体，一般呈现出亮色调，通过两者的对比可以将水体和其他地物区分开来。

电磁波谱图如图12所示，400nm-700nm为可见光波段，750nm和800nm为近红外波段，在750nm波段，水体的反射率显著衰减，在800nm波段，水体反射率衰减为0。

本发明选用基于阈值的多波段谱间关系法对研究区高清卫星遥感影像进行分析。在Landsat 8 OLI影像中，共含有9个波段，其中，b3为绿光波段，b4为红光波段，b5为近红外波段，b6为短波红外波段，水体独有的谱间特征为b3灰度值与b4灰度值之和大于b5灰度值与b6灰度值之和，因此利用这个谱间关系可以很好地将水体提取出来。

S2具体为，采用如下公式对高分辨率卫星遥感影像进行分析：

(b3+b4)-(b5+b6)>T (5)

式中，b3为波段3的灰度值；b4为波段4的灰度值；b5为波段5的灰度值；b6为波段6的灰度值；T为通过实验选取的阈值，通过比较是实验，T的值为400。

使用式(5)对波段进行运算，满足式(5)的即为水体。

在实际使用过程中，可以对光谱分析的精度进行评估，输入数据为高分辨率遥感影像，评价指标为光谱分析检出的水体数量占实际水体数量的比例ρ和水域边界框定的精度φ。设实际水体数量为δ，检出的水体数量为ε，检出比ρ定义如式(6)所示：

检出比ρ应大于90％。

水域边界框定的精度

是衡量水域边界信息提取准确度的指标。设(x,y)表示实际水域边界框α的左上角坐标，h，w分别表示α的宽度和高度。(x1,y1)表示光谱分析水域边界框β的左上角坐标，h1，w1分别表示β的宽度和高度。β到α的变换可用式(7)(8)(9)(10)表示：

水域边界框定精度

的定义如式(11)所示：

本发明中，在利用光谱分析提取水体和训练网络进行地物分类的基础上，对未知类别的输入进行识别，输出水体的类别位置等信息。利用卷积神经网络对大坝、闸门、泄洪道进行识别，通过对大坝、闸门、泄洪道的识别进一步确定蓄水体的类别。

将光谱分析得到的水***置信息和卷积神经网络得到的水体类别信息进行融合，确定蓄水体的类别和位置，实现蓄水体的识别。

在实际使用过程中，可以对整个模型进行评估。将光谱分析和水体分类联合进行评估，测试整个模型的水体识别精度。水体识别精度τ定义如式(12)所示。

其中，

k₁+k₂+k₃＝1 (13)

可见，采用本发明的方法，实现了水库、塘坝的快速精准识别。现有的目标检测方法主要是基于区域建议(region proposal)的目标识别方法。基于区域建议的方法需要使用额外的网络结构来生成建议框(proposals)，对每一张图片，建议框的数量一般在300左右，生成建议框的计算代价巨大，使得目标检测网络结构复杂，运行速度缓慢，仅为5fps左右，准确度不高，为70％左右。

本发明使用计算代价较小的光谱分析提取水域边界信息，框定水体边界，先一步确定了水体的位置信息，再使用卷积神经网络对水体进行分类。相比传统方法使用建议框回归来预测水***置的做法，本发明大大提高了水体识别的准确度，使得准确率达到80％以上。本发明的水体分类网络使用了简单的卷积神经网络，相比传统方法使用的区域生成网络RPN+基于区域的卷积神经网络R-CNN，本发明的网络在结构上有明显的简化，在运行速度和稳健性上有了极大的提高，处理速度可达23fps。

具体实施例：

本实施例中，选取汉江中上游丹江口地区作为研究区域，该研究区水库、塘坝的高清卫星影像如图10、11所示。

首先，采用本发明提供的方法构建卷积神经网络，网络的权重采用正态分布进行随机初始化，均值为0，方差为0.1，偏置项的初始值为0，学习率初始值为0.0001，训练步数设为100K。在迭代30K后学习率为0.00002，迭代80K后学习率为0.00001。该网络共有5个卷积层和一个全连接层，每个卷积层输出的特征图谱数分别为64,128,256,512,512。在全连接层将特征展开为4096维向量，最后网络输出的维度为3，表示大坝、闸门、泄洪道这3种地物的概率。取概率最高的地物作为本次分类的结果。网络结构如图7所示。

并利用数据集进行训练和测试，本数据集中包含的图片数为60000张，训练集和测试集的比例为9:1，即测试集包含54000张图片，测试集包含6000图片。每张图片的大小均为224×224像素，均为灰度图片。训练集和测试集均含有三种类别的地物，即大坝、闸门，泄洪道。如图8所示，图中第一行为闸门，第二行为大坝，第三行为泄洪道。数据集的文件结构如图9所示。

利用训练集的数据对神经网络进行训练，每次用来训练的图片数量是128，即min_batch＝128。采用动态学习率，即在迭代步数小于30K时，学习率的值为0.0001，在迭代步数达到30K时，学习率为0.00002，在迭代步数达到80K时，学习率为0.00001。利用测试集的数据对模型进行评估，主要指标有查全率，查准率，F1和mAP。本模型的mAP≥0.7。

利用测试集对训练好的网络准确率进行评估，当

时，得到的评估标准查全率recall，查准率precision，F1和mAP分别为：0.9，0.82，0.86，0.70。

本发明中选用基于阈值的多波段谱间关系法对研究区高清卫星遥感影像进行分析，得到的光谱分析结果如图13、14所示，图13表示水库、图14表示塘坝。

在利用光谱分析提取水体和训练网络进行地物分类的基础上，对未知类别的输入进行识别，输出水体的类别位置等信息。利用卷积神经网络对大坝、闸门、泄洪道进行识别，通过对大坝、闸门、泄洪道的识别进一步确定蓄水体的类别。

将光谱分析得到的水***置信息和卷积神经网络得到的水体类别信息进行融合，确定蓄水体的类别和位置，实现蓄水体的识别。

通过采用本发明公开的上述技术方案，得到了如下有益的效果：本发明提供的基于光谱分析和深度卷积神经网络的水库或塘坝识别方法，首先利用光谱分析对高清遥感影像进行处理，提取水域边界信息，将水域边界信息映射到原始图像上，然后利用原始影像上的水域边界信息，将原始图片分割为若干个包含蓄水体的图片块，将这些图片块作为构建的卷积神经网络的输入，利用卷积神经网络对大坝、闸门、泄洪道进行识别分类，最后，利用大坝、闸门、泄洪道对水体(水库、塘坝)进行识别和分类。所以，采用本发明提供的方法，准确率达到80％以上，大大提高了水体识别的准确度，卷积神经网络在结构上有明显的简化，在运行速度和稳健性上有了极大的提高，处理速度可达23fps，实现了水库、塘坝的快速精准识别。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视本发明的保护范围。

Claims (4)

1.一种基于光谱分析和深度卷积神经网络的水库或塘坝识别方法，其特征在于，包括如下步骤：

S1，构建卷积神经网络，该网络依次包括输入层、五个卷积层、融合层、一个全连接层和输出层，其中，所述融合层用于将第二卷积层、第三卷积层、第四卷积层、第五卷积层的特征进行融合；

S2，采用基于阈值的多波段谱间关系法对高分辨率卫星遥感影像进行分析，提取水域边界信息，框定水体，得到光谱分析处理后的影像；

S3，将原始影像和光谱分析处理后的影像的坐标统一映射到同一个坐标系下，在同一坐标下将水域边界信息映射到原始影像上，实现在原始影像上水体的框定；

S4，利用原始影像上的水域边界信息，将原始图片分割为若干个包含蓄水体的图片块，将这些图片块作为卷积神经网络的输入；

S5，利用卷积神经网络对输入的包含蓄水体的图片块进行特征提取，对输入图片块中的特征地物：大坝、闸门或泄洪道进行识别；

S6，根据卷积神经网络的输出结果，即是否有大坝、闸门、泄洪道，对输入图片块进行进一步分类，确定水体的具体类型，即水库或者塘坝，结合水域边界信息，实现对水体的识别；

S1中还包括步骤：使用训练集对所述卷积神经网络进行训练，并使用测试集对训练好的卷积神经网络的准确率进行评估；

所述评估的标准为查全率recall、查准率precision、F1和mAP，分别按照如下公式进行计算：

其中，式(1)、(2)中，True positive表示被模型预测为正的正样本，即判断为真的正确率；False negative表示被模型预测为负的正样本，即漏报率；False positive表示被模型预测为正的负样本，即误报率；

式(4)中，N为测试集中所有图片的个数，M为目标的类别总数，p(k)表示在能识别出k张图片时precision的值，Δr(k)表示识别图片数从k-1变化到k时recall值的变化情况

所述方法还包括对光谱分析的精度进行评估，具体评价指标为光谱分析检出的水体数量占实际水体数量的比例ρ和水域边界框定的精度

所述检出的水体数量占实际水体数量的比例计算公式为：

其中，实际水体数量为δ，检出的水体数量为ε；

水域边界框定的精度

是衡量水域边界信息提取准确度的指标，设(x,y)表示实际水域边界框α的左上角坐标，h，w分别表示α的宽度和高度；(x₁,y₁)表示光谱分析水域边界框β的左上角坐标，h₁，w₁分别表示β的宽度和高度; β到α的变换可用式(7)(8)(9)(10)表示：

水域边界框定精度

的定义如式(11)所示：

还包括对水体识别精度进行判断，水体识别精度τ定义如下式：

其中，

k₁+k₂+k₃＝1

。

2.根据权利要求1所述的基于光谱分析和深度卷积神经网络的水库或塘坝识别方法，其特征在于，所述训练集和所述测试集为包含有大坝、闸门、泄洪道的高清影像数据集，每张图片的大小均为224×224像素，为普通的灰度图片，训练集和测试集的比例为9:1，训练的最大迭代步数设置为100K。

3.根据权利要求2所述的基于光谱分析和深度卷积神经网络的水库或塘坝识别方法，其特征在于，所述使用训练集对所述卷积神经网络进行训练，具体为：每次用来训练的图片数量为128，即min_batch＝128；采用动态学习率，在迭代步数小于30K时，学习率的值为0.0001，在迭代步数达到30K时，学习率的值为0.00002，在迭代步数达到80K时，学习率的值为0.00001。

4.根据权利要求1所述的基于光谱分析和深度卷积神经网络的水库或塘坝识别方法，其特征在于，S2具体为，采用如下公式对高分辨率卫星遥感影像进行分析：

(b3+b4)-(b5+b6)>T (5)

式中，b3为波段3的灰度值；b4为波段4的灰度值；b5为波段5的灰度值；b6为波段6的灰度值；T为通过实验选取的阈值；

使用上式对波段进行运算，满足的即为水体。

Images