CN113033390A

CN113033390A - 一种基于深度学习的大坝遥感智能检测方法

Info

Publication number: CN113033390A
Application number: CN202110310464.2A
Authority: CN
Inventors: 刘亚岚; 任玉环; 荆亚菲; 余静娴
Original assignee: Aerospace Information Research Institute of CAS
Current assignee: Aerospace Information Research Institute of CAS
Priority date: 2021-03-23
Filing date: 2021-03-23
Publication date: 2021-06-25
Anticipated expiration: 2041-03-23
Also published as: CN113033390B

Abstract

本发明公开了一种基于深度学习的大坝遥感智能检测方法，步骤是：A、收集大坝遥感影像样本，建立大坝遥感影像样本集；B、基于深度学习模型YOLOv3框架，利用轻量级网络ShuffleNet2替代原始主干网络Darknet53，对模型进行训练与测试，得到基于改进YOLOv3的大坝目标检测模型；C、以一幅大幅面遥感影像作为输入，根据分割步长进行滑动窗口分割；D、基于上述改进YOLOv3的大坝目标检测模型，对分割影像进行大坝目标检测；E、根据分割步长与检测边界框置信度，将分割影像重新合并为与原始遥感影像相同大小的影像。本发明可对光学遥感影像进行大坝目标快速智能检测，有效提高目标判读的效率，为灾害应急管理、大坝安全风险管理等提供高质量的目标检测数据。

Description

一种基于深度学习的大坝遥感智能检测方法

技术领域

本发明属于遥感影像处理与分析技术领域，更具体涉及一种基于深度学习的大坝遥感智能检测方法，适用于分辨率为0.5m-2m的光学遥感影像。

背景技术

大坝是指截河拦水的堤堰，水库、江河等的拦水大堤。大坝是我国的重要基础设施，是我国综合防洪工程体系的重要组成部分。大坝的主要作用是提高江河下游的防洪标准，利用水能发电，改善河道航运，为下游供水及灌溉，服务地区经济建设。而这些目标的数据大多分散在不同的部门，不能满足重大地震灾害应急联动及国防安全对大坝目标情报快速获取的需求。随着对地观测技术的发展，遥感作为一种能够快速获取大区域范围遥感影像的综合技术，民用和军用遥感应用日趋广泛和深入。基于遥感影像的目标自动识别在灾害应急管理和军事情报获取中发挥着越来越重要的作用。然而现有的遥感影像分析技术仍未达到实际应用的需求。尤其随着影像分辨率的提高、数据量的剧增，尤其单幅影像大小的显著增大，对遥感数据的利用率、自动化处理效率和可靠性均提出了严峻的挑战。

高分辨率光学遥感影像能获取地物更多的形状纹理信息，能更加直观的展示地表情况，是未来遥感领域的重点。利用可见光高分辨率遥感影像对大坝目标进行检测是本发明的侧重点。大坝目标检测的目的是从可见光高分辨率遥感影像中识别出大坝目标并对其进行定位。朱然提出先准确分割出水域目标，然后利用水域对水坝目标进行识别。李勇发等人通过引入交叉熵距离测度提出一种改进的模糊C均值(Fuzzy C-means，FCM)聚类方法，对某水电站大坝遥感影像进行分割后得到大坝目标。沈叶健等人利用梯度直方图及区域增长方法，在中高分辨率可见光影像中提取了水坝上游的大面积水域，再用链码表示大面积水域找寻下游水域，分割可能包含水坝的区域，最后在此基础上提取了大坝目标的一组特征参数，实现了水坝的识别。上述方法都是针对单个大坝目标进行识别，可迁移性差，不适用于不同类型、不同尺度、大范围的大坝目标检测；而现有的机器学习方法，速度慢、自动化检测程度低，基本是面向小范围、小目标的影像，且不适用于大幅面遥感影像中像大坝这类大目标检测。

发明内容

针对上述现有技术存在的缺陷，本发明的目的在于提供了一种基于深度学习的大坝遥感智能检测方法，方法易行，操作方便，通过获取不同地区、不同种类的大坝，可以通过光学遥感影像大坝目标的快速智能识别与检测，快速锁定目标，提高目标检测的自动化处理效率和可靠性，有助于在重大灾情发生后第一时间快速掌握大坝的状况，增强灾害应急管理与军事情报信息收集能力。

为进一步实现上述目的，本发明采用以下技术方案：

本发明的构思为：首先，建立高分辨率大坝样本集；其次，对大坝样本进行训练和测试，得到大坝目标检测模型；然后，对大幅面遥感影像进行分割，以满足深度学习模型输入要求；之后，对分割后的遥感影像进行大坝目标检测；最后，将分割后的遥感影像合并成与原始大幅面遥感影像相同大小的大坝目标检测结果。

一种基于深度学习的大坝遥感智能检测方法，其步骤是：

A、大坝遥感影像样本集建立：收集大坝遥感影像样本并标注，建立大坝遥感影像样本集；

B、基于改进YOLOv3的大坝目标检测模型建立：基于YOLOv3(YOLO(You Only LookOnce))框架，利用轻量级网络ShuffleNetV2替代原始主干网络Darknet53，对模型进行训练与测试，得到基于改进YOLOv3的大坝目标检测模型；

C、大幅面遥感影像分割：根据分割步长，对输入的大幅面遥感影像利用滑动窗口进行分割；

D、大坝目标检测：基于改进YOLOv3的大坝目标检测模型，对分割后的遥感影像数据进行大坝目标检测；

E、大坝目标检测结果后处理：根据分割步长与检测边界框置信度，将分割后的遥感影像重新合并为原始遥感影像大小。

可选的，在步骤A中，首先收集了高分辨率卫星影像、航空影像和无人机拍摄遥感影像，开展遥感数据对大坝目标检测的适应性分析，筛选出适合大坝目标检测的遥感数据源。同时，由于目标检测深度神经网络需要大量的数据，因此从GoogleEarth获取了大坝目标的遥感影像作为补充。通过多源遥感平台的数据集的收集，获得了2000个大小为416×416像素的影像作为样本集，每个影像至少包含一个大坝目标，共有2302个大坝样本。然后利用深度学习目标检测标记工具LabelImg对大坝目标进行标记，并将大坝的外接矩形框和类别保存在XML文件中。

可选的，在步骤B中，首先，将YOLOv3的主干网络由Darknet53换为轻量级网络ShuffleNetV2，减少模型复杂度，提升模型运行速度。然后，对模型进行训练，当验证数据的损失函数收敛，且测试数据的精度满足要求时，完成模型的建立，否则，调参直至模型精度满足要求。

可选的，在步骤C中，深度学***移，使其边缘和原始大幅面遥感影像边缘重合，最终实现大幅面遥感影像的分割。

公式(1)如下：

其中，Image是原始大幅面遥感影像，cropImage是分割后影像，i和j分别表示从列方向和行方向上第几块分割影像，nh和nw分别是列方向和行方向上需要分割的次数，height和width表示大幅面遥感影像列方向和行方向的像素个数；side表示目标影像大小(目标影像长和宽相同)；stride表示滑动窗口分割的分割步长。

进一步的，确定大幅面遥感影像大坝目标识别前的预处理方案后，需要解决分割步长的选择问题。主要思路是根据大坝的坝顶长度确定大坝在不同分辨率遥感影像上所占像素个数的范围，然后确定不同分辨率遥感影像上的分割步长。

更进一步的，通过对国家能源局大坝安全监察中心大坝数据中随机选取的100个大坝的坝顶长度统计得出，95％以上大坝的坝顶长度在50-600m之间。利用2008年“5·12”汶川地震分辨率为2m遥感影像，对分割步长的确定进行试验。在2m分辨率遥感影像中，大坝坝长所占像素范围一般在20-300个像素。当分割步长过长、分割块数过多时，检测速度和精度有所下降，为选取合适的分割步长，通过0、50、100、150、200、250、300像素的不同分割步长进行了试验。

试验区域为四川省汶川县部分地区2008年5月15日和2008年5月17日的航空遥感影像。经试验，分割步长为100时，大幅面遥感影像中的大坝目标都能被检测出来，实现了精度与效率的均衡，因此，对于2m分辨率的遥感影像，选择长度为100个像素的分割步长相对合适。对更高分辨率的遥感影像可以按照公式(2)计算分割步长。

其中，r是影像的分辨率，stride是分割步长。

可选的，在步骤D中，将分割后的遥感影像输入到训练好的基于改进YOLOv3的大坝目标检测模型中，为每张分割影像进行大坝目标的检测。

可选的，在步骤E中，分割后影像经过基于改进YOLOv3的大坝目标检测模型检测后，需要后处理合并成原影像大小，具体过程是根据分割步长将检测后影像分别按行按列合并。由于分割而成的子影像之间彼此有重叠，因此合并时需要根据重叠部分是否检测出目标来确定两个相邻子影像哪一块重叠部分完全保留(剩下一块待合并子影像需要舍弃掉重叠部分，仅保留与相邻子影像非重叠的部分)。YOLOv3网络中置信度为P_r(Object)*IOU_truth ^pred，其中，P_r(object)表示边界框中包含一个目标的概率，IOU_truth ^pred表示预测边界框与真实边界框之间的交并比。当预测框中有物体时，置信度等于IOU_truth ^pred，当预测框中没有物体时，置信度为0。当两块相邻影像重叠部分都检测出同一个大坝目标，则根据目标的边界框置信度高低确定保留的部分，将置信度高的边界框保留，置信度低的边界框舍弃。

由上，通过前述五个步骤的技术措施，可以实现基于改进YOLOv3的大坝目标检测模型对大坝目标的检测。因为原始YOLOv3模型并不能直接对大幅面遥感影像进行目标检测，所以在关键的步骤C和E中，将遥感影像按照一定的分割步长进行分割，并将深度学习模型的检测结果按照一定分割步长进行合并。该创新点成功解决了原始YOLOv3的目标检测模型无法直接从大幅面遥感影像中自动提取大坝目标信息的问题。

随着遥感卫星技术的发展，卫星遥感影像的分辨率大幅提升。2014年发射成功的高分二号卫星，分辨率达到0.8米，幅宽达到45千米，标志着我国的卫星遥感技术也进入到了亚米级的“高分时代”。高分辨率和大幅面可以带来识别效果的提升，但也增大了数据量。同时，大幅面意味着一幅遥感影像中包含更多的地物信息，需要识别的目标存在于复杂的地物背景中，识别容易受到形似的伪目标干扰。针对以上问题，本发明收集高分辨率卫星影像、航空相片和无人机拍摄影像，并从Google Earth上在全球范围内获取不同季节、不同光照条件、不同传感器的大坝样本，保证大坝样本集的多样性。此外，选择YOLOv3网络作为目标检测网络，并针对单目标检测对网络进行改进，将YOLOv3的主干网络Darknet53换为轻量级网络ShuffleNetV2。使得深度学习模型具有鲁棒性和可迁移性，应对不同时间、不同地点大坝目标的提取。

在自然影像中，感兴趣目标通常在整张图片中占较大比例。但是一幅遥感影像像素数量巨大且地理范围较大，感兴趣目标相对于背景来说通常非常小。一幅大幅面遥感影像无法直接输入深度学习目标检测网络。针对以上问题，本发明在一幅大幅面遥感影像输入深度学习目标检测网络之前，通过滑动窗口裁剪使之可以正常输入深度学习目标检测与识别网络中，并在检测之后通过一定的后处理还原到原影像的大小，最终得到大幅面遥感影像大坝信息提取结果。有效解决深度学习网络无法直接对大幅面遥感影像进行目标检测的问题。

由于应急管理的需要，需要在第一时间快速掌握大坝的状况，因此本发明实现了快速、精确获取遥感影像中的大坝信息。

本发明与现有技术相比，至少具有以下优点和效果：

(1)本发明建立的大坝遥感影像样本集数量多、空间分辨率高，目标检测网络能够提取更为丰富的特征，使得基于改进YOLOv3的大坝目标检测模型能够在复杂遥感背景下更为稳健的自动检测出大坝目标，速度快，模型精度更高、鲁棒性更强。

(2)本发明通过获取不同种类的大坝，可以对光学遥感影像进行大坝目标的快速智能识别与检测；本发明通过对大幅面遥感影像进行滑动窗口裁剪和合并后处理，使得可以直接针对大幅面遥感影像进行大坝目标的识别与检测。

(3)本发明利用基于改进YOLOv3的大坝目标检测模型对大坝目标进行智能化提取，提高了计算效率，减少了大坝目标检测的时间。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为基于深度学习的大坝遥感智能检测方法流程图；

图2为改进YOLOv3目标检测模型的网络结构；

图3为改进YOLOv3网络模型训练过程中训练数据和验证数据的损失值；

图4为采用一定分割步长的完整遥感影像分割的预处理示例；

图5为统计得到的100座大坝坝顶高度统计散点图；

图6为确定最优分割步长所做试验采取的遥感影像；

图7为采用一定分割步长的大坝目标智能检测结果的后处理示例；

图8为实施例的大坝待检测遥感影像图；

图9为实施例中大坝检测结果图；

图10算法1为本发明滑动窗口裁剪算法伪代码。

本发明建立了大规模、多样性强的大坝遥感影像样本集，并利用改进的YOLOv3目标检测网络从中提取更深层次的特征进行大坝目标检测与识别，使得检测结果具有更高的准确性、更强的鲁棒性和更灵活的可迁移性。从大范围影像中检测小物体是遥感影像分析的主要问题之一，因此在大幅面遥感影像分割过程中，通过检测前根据分割步长进行滑动窗口裁剪，与检测后根据分割步长与目标检测框置信度进行合并两个步骤，避免了大坝被切割导致目标漏检的问题，提高了检测精度。以重点地震灾害应急救援应用为例，为快速锁定震后大坝目标，帮助救援人员快速掌握大坝的情况，为应急救援赢得时间，对2008年“5·12汶川地震”后的一幅大幅面遥感影像进行试验(实施例1)，可以准确检测出影像中的两个大坝目标，并得到大坝的位置及其边界框，验证了本发明的有效性。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图1-10对本发明实施方式作进一步地详细描述。

如图1-图10所示，为解决传统遥感灾情信息提取工作量大和时效性低等问题，本发明利用卷积神经网络(Convolutional Neural Network，CNN)自动选择最优特征，建立大坝目标检测模型。但由于遥感影像像素数量巨大，一幅大幅面遥感影像无法直接输入深度学习目标检测网络，因此，本发明提出一种基于深度学习的大坝遥感智能检测方法，选择速度较快的YOLOv3网络作为框架，通过将主干网络Darknet53换为轻量级网络ShuffleNetV2，提高目标检测速度，并通过对大幅面遥感影像进行检测前分割和检测后合并两个步骤，解决CNN无法直接针对大幅面遥感影像进行检测的问题。通过本发明提出的一种基于深度学习的大坝遥感智能检测方法，可以实现大坝目标的智能化提取，第一时间精确获取大坝目标信息。

本发明的基于深度学习的大坝遥感智能检测方法流程如图1所示，包括7个单元，主要包括大坝目标检测模型建立和大幅面遥感影像大坝目标检测两个部分。大坝目标检测模型建立的过程为：首先对震后遥感影像收集与预处理，然后建立大坝遥感影像样本集，进而建立基于改进YOLOv3的大坝目标检测模型。为了获取大幅面遥感影像大坝目标检测结果，首先对大幅面遥感影像分割，然后对分割后的影像进行大坝目标检测，得到大坝信息提取结果，最后对大坝信息提取结果后处理。

本发明提出的基于深度学习的大坝遥感智能检测方法，选择YOLOv3网络作为基础框架，网络结构如图2所示。YOLOv3通过多尺度预测，可以有效提高小目标检测准确率。图3为改进YOLOv3网络模型训练过程中训练数据和验证数据的损失值。在此基础上，对大幅面遥感影像进行检测前分割和检测后合并，检测前分割方法是滑动窗口裁剪，如图4所示，具体算法流程如算法1(图10)所示，解决了直接分割可能导致完整大坝目标不完整的问题，对随机选取的100个大坝目标进行坝顶长度的统计，统计散点图如图5所示。根据大坝坝顶长度与遥感影像的分辨率，通过如图6所示的四川省汶川县的两幅遥感影像进行最优分割步长试验，试验结果如表1所示，合并的目的是将小块影像检测结果合并呈原始影像大小，如图7所示。

表1本发明确定最优分割步长试验结果统计表

实施例1：

一种基于深度学习的大坝遥感智能检测方法，其步骤是：

100、遥感影像收集及预处理：以2008年“5·12地震”为例，收集汶川地震灾区部分高分辨率卫星影像、航空相片和无人机拍摄影像，筛选出适合大坝目标检测的遥感数据源，并对遥感影像进行预处理，包括辐射校正、几何校正、影像融合等。

101、大坝遥感影像样本集建立：收集大坝遥感影像样本并标注，建立大坝遥感影像样本集。

102、大坝目标检测模型建立：基于YOLOv3框架，利用轻量级网络ShuffleNet2替代原始主干网络Darknet53，对模型进行训练与测试，模型精度到达71.89％，进而得到基于改进YOLOv3的大坝目标检测模型。

103、大幅面遥感影像分割：输入影像是一幅2008年“5·12地震”汶川灾区的遥感影像，分辨率为1.5m。设置分割步长为133，对输入遥感影像进行滑动窗口裁剪。

104、大坝目标检测：基于改进YOLOv3的大坝目标检测模型，将每个滑动窗口裁剪后影像输入基于改进YOLOv3的大坝目标检测模型，得到每幅小影像的大坝目标检测结果；

105、大坝信息提取结果后处理：根据分割步长133，将分割后小块影像重新合并为原始大幅面遥感影像大小。

106、输出大坝目标检测结果图，给出大坝目标的位置以及外接边界框信息。

本发明的实施例在PC平台上实现，经试验验证，能够得到较理想的结果。

本发明提出的一种基于深度学习的大坝遥感智能检测方法，解决了传统方法和现有机器学习方法在目标检测中工作量大和时效性低且较少针对大幅面遥感影像等问题。通过对2008年“5·12地震”汶川灾区大幅面遥感影像的大坝目标检测试验验证发现，该方法可以有效提高大坝目标检测效率，图8中2个大坝目标可以全部精确检测，大坝目标检测边界框如图9所示。

上述实施例仅为本发明的较佳的实施方式，并非对本发明实施方式的限定。在上述实施例的基础上还可以做出其它不同形式的变化或变动，这里无法穷举所有实施方式。凡是属于本发明的技术方案所引申出的显而易见的变化与改动仍属于本发明的保护范围之内。

Claims

1.一种基于深度学习的大坝遥感智能检测方法，其步骤是：

A、大坝遥感影像样本集建立：收集大坝遥感影像样本并对大坝目标进行标注，进而建立大坝遥感影像样本集；

B、基于改进YOLOv3的大坝目标检测模型建立：基于YOLOv3框架，利用轻量级网络ShuffleNetV2替代原始主干网络Darknet53，对模型进行训练与测试，得到基于改进YOLOv3的大坝目标检测模型；

E、大坝目标检测结果后处理：根据分割步长与检测边界框置信度，将分割后的遥感影像重新合并为与原始遥感影像大小相同的影像。

2.根据权利要求1所述的一种基于深度学习的大坝遥感智能检测方法，其特征在于，所述的步骤(A)中，首先利用高分辨率卫星影像、航空影像和无人机拍摄遥感影像，开展对大坝目标检测的适应性分析，筛选出大坝目标检测的数据源，进而建立大坝遥感影像样本集，然后在此基础上，利用深度学习目标检测标记工具LabelImg对目标进行标记，将大坝的外接矩形框和类别保存在XML文件中。

3.根据权利要求1所述的一种基于深度学习的大坝遥感智能检测方法，其特征在于，所述的步骤(B)中，基于YOLOv3模型框架，将其主干网络由Darknet53换为轻量级网络ShuffleNet2进行模型训练；当模型训练完成后，将待检测影像输入到训练好的基于改进YOLOv3的大坝目标检测模型中，生成对应的大坝目标检测结果。

4.根据权利要求1所述的一种基于深度学习的大坝遥感智能检测方法，其特征在于，所述的步骤(C)中，YOLOv3网络输入影像的大小是416×416像素，将遥感影像输入网络之前，先采用滑动窗口裁剪算法进行分割操作，利用相应的分割步长保证相邻影像块之间有重叠，以便模型能够检测比较完整的大坝目标。

5.根据权利要求4所述的一种基于深度学***移，使其边缘和原始大幅面遥感影像的边缘重合，最终实现一幅完整遥感影像的分割；

公式(1)如下：

式(1)中，Image是原始大幅面遥感影像；cropImage是分割后影像；i和j分别表示从列方向和行方向上第几块分割影像；nh和nw分别是列方向和行方向上需要分割的次数；height和width表示大幅面遥感影像列方向和行方向的像素个数；side表示目标影像大小，目标影像长和宽相同；stride表示滑动窗口分割的分割步长。

6.根据权利要求4所述的一种基于深度学习的大坝遥感智能检测方法，其特征在于，所述的步骤(C)中，根据大坝坝顶长度确定大坝在不同分辨率遥感影像上所占像素的范围及分割步长；通过从国家能源局大坝安全监察中心公开的大坝数据中随机选择100个大坝的坝顶长度统计发现，95％以上的大坝坝顶长度在50-600m之间，而对2m分辨率遥感影像的分割步长试验得到，当分割步长为100时，可检测出完整的大坝目标；对更高分辨率的遥感影像则可按照公式(2)计算分割的步长：

式(2)中，r是影像的分辨率，stride是分割步长。

7.根据权利要求1所述的一种基于深度学习的大坝遥感智能检测方法，其特征在于，所述步骤(D)中，将分割后大小为416×416像素的遥感影像分别输入到训练好的大坝目标检测模型中，得到相应大小的大坝目标检测结果。

8.根据权利要求1所述的一种基于深度学习的大坝遥感智能检测方法，其特征在于，所述步骤(E)中，首先根据分割步长将检测后影像分别按行按列进行合并，YOLOv3网络中置信度为P_r(Object)*IOU_truth ^pred，其中，P_r(object)表示边界框中包含一个目标的概率，IOU_truth ^pred表示预测边界框与真实边界框之间的交并比，当预测框中有目标时，置信度等于IOU_truth ^pred，当预测框中没有目标时，置信度为0，当两块相邻影像重叠部分都检测出同一个大坝目标，则根据目标的边界框置信度高低确定保留的部分，将置信度高的边界框保留，置信度低的边界框舍弃。