CN110751075A

CN110751075A - 一种基于实例分割的遥感影像养殖塘检测方法

Info

Publication number: CN110751075A
Application number: CN201910970847.5A
Authority: CN
Inventors: 胡永利; 朱济帅; 李海霞
Original assignee: Hainan Changguang Satellite Information Technology Co Ltd
Current assignee: Hainan Changguang Satellite Information Technology Co Ltd
Priority date: 2019-10-12
Filing date: 2019-10-12
Publication date: 2020-02-04

Abstract

本发明公开了一种基于实例分割的遥感影像养殖塘检测方法。本发明首先对亚米级遥感影像进行裁剪分块处理，并同时存储每一影像块的索引信息，索引信息中包含地理信息。然后通过Mask R‑CNN模型对遥感影像进行实例分割，分布式多GPU进行计算。在实例分割的后续操作中，根据每个养殖塘位置的二值掩模图，计算轮廓信息，得到每个遥感影像块的多边形矢量，根据影像块的索引信息，对相邻影像块的多边形矢量进行空间分析、合并，最后输出整个遥感影像的养殖塘矢量Shp文件。本发明利用深度学习技术训练养殖塘实例分割模型，提取结果准确、鲁棒性好、适应性高；并且设计、实现了遥感影像养殖塘实例分割生产一体化流程，人工参与程度较低，计算效率高。

Description

一种基于实例分割的遥感影像养殖塘检测方法

技术领域

本发明属于计算机视觉，深度学习，遥感影像处理领域，主要涉及到实例分割算法以及相关空间拓扑分析算法。

背景技术

水产养殖是指商业性的饲养水生生物(包括鱼类、软体动物、甲壳类动物和水生植物)的活动，按操作的基面性质可分为陆地、水面和滩涂等3大类。以陆地为主的***主要包括池塘、稻田以及陆地建造的其他设施；以水面为基础的研制***包括拦湾、围栏、网箱及筏式养殖，通常位于设有围场的沿海或内陆水域；以滩涂为基础的养殖***包括基塘养殖和高位池养殖。我国是世界第一水产养殖大国，也是世界唯一的养殖产量超过捕捞产量的国家，而且目前水产养殖规模仍在继续快速增长中。为满足世界水产品需求做出巨大贡献的同时，我国的水产养殖正面临着水环境状况的日益恶化、社会舆论的监督、政策与法规的监控及水产品品质要求日益提高等各方面的压力，水产养殖日益成为当前研究热点之一。

由于海岸带陆域范围内水产养殖的便利性和经济性，大量养殖塘建设在海岸带生态保护区域内，养殖塘内氮磷超标的废水经暗管直接排入海里，海防林地被不法侵占，造成生态环境极大破坏。而遥感具有探测范围广、获取资料速度、周期短、时效性强、成本低、经济效益大等优点。近年来，随着遥感技术的发展，多平台、多种类、多分辨率的遥感数据为水产养殖信息获取提供了契机，利用遥感影像可以快速识别和定位养殖塘。

遥感图像的养殖塘提取方法主要有目视解译，即根据解译标志(位置、形状、大小、色调、阴影、纹理等)和解译经验，这对解译人员专业水平要求较高，同时存在工作量大、费工费时，对海量空间信息定量化分析的时效性较低；其次，基于空间结构分析的方法不适合对分布孤立、斑块小的养殖塘提取；另外，面向对象的信息提取方法首先将图像分割成具有一定意义的图像对象，然后综合运用地物的光谱特征、纹理、形状、邻近关系等信息确定分割对象的类别，受特征选取影响较大，需要结合目视解译方法。

基于深度卷积神经网络的语义分割算法在计算机视觉领域已取得了较好的效果，早期以AlexNet、VGGNet、GoogleNet等标签分类的网络结构作为基础设计的语义分割算法取得了较好的效果。Long等人通过将卷积神经网络的全连接层替换为卷积层，通过插值方法进行上采用，逐步恢复，生成与原始输入尺寸相同的语义分割掩模图,这种结构的神经网络结构称为全卷积神经网络。Noh等人通过将网络划分为卷积与反卷积网络，提升了分割细节。Badri等人提出了由编码器和解码器组成的语义分割结构，在解码器中，通过上采样过程降低了占用计算机内存空间。随着网络结构的不断深化，出现了U-Net、PSPNet、DeepLab、DeepLabV1、DeepLabV2、DeepLabV3、DeepLabV3Plus等多种形式语义分割架构，从不同角度增加特征感受野，捕获更多的上下文语义信息。

虽然语义分割算法可以效、快速地提取养殖塘信息，得到遥感影像中养殖塘二值掩模图，但是无法获取每个养殖塘具体的边界区域，信息价值有限，为准确获取每个养殖塘的边界区域，提出一种基于实例分割的遥感影像养殖塘检测方法。

发明内容

本发明的目的是提出一种基于实例分割的遥感影像养殖塘检测方法，该方法能够有效且快速地识别遥感影像中的养殖塘信息，避免传统方法受人为干预影像较大、费时费力的特点，为养殖塘监管、保护海岸带生态环境提供技术支持和依据。

本发明提出的一种基于实例分割的遥感影像养殖塘检测方法，包括以下步骤：

步骤一、建立养殖塘实例分割样本库；

步骤二、图像预处理：对训练样本进行形态学滤波，图像随机翻转，裁剪，像素归一化，图像增强处理；

步骤三、构建Mask R-CNN养殖塘实例分割检测模型，并进行训练；

步骤四、利用训练好的实例分割模型，设计针对亚米级遥感影像养殖塘检测的工程生产流程，自动裁剪分块，在Mask R-CNN模型推理中采用多GPU分布式并行处理，提高计算效率；

步骤五、根据模型计算得到的每个养殖塘位置二值掩模图，计算轮廓信息，得到每个遥感影像块的多边形矢量，根据影像块的索引信息，对相邻影像块的多边形矢量进行空间分析、合并，最后输出整个遥感影像的养殖塘矢量Shp文件。

进一步的，所述步骤一中的建立养殖塘实例分割样本库，采用LabelMe图像标注工具进行亚米级遥感影像的养殖塘标注，包含各种状态、环境下的养殖塘，以此作为训练数据集，完成对Mask R-CNN模型的训练。

进一步的，所述步骤二中的图像预处理，为了扩充训练样本，以及去除噪声和图片尺度因素的影响，便于模型网络的训练与推理。

进一步的，所述步骤三中的构建ask R-CNN养殖塘实例分割模型，该模型继承于Faster R-CNN，在Faster R-CNN的基础上增加Mask Prediction模块，优化了RoI Pooling，提出了RoI Align，结合了Faster R-CNN和FCN，同时完成目标检测、分类以及分割三类任务，模型的训练主要分为两个阶段，分别为：第一阶段训练区域生成网络RPN，第二阶段使用RoI Align将RPN生成的RoI映射到feature map对应位置，将映射后的生成的特征图进行分类、坐标回归和二值掩模图输出，具体如下：

a)首先输入图像进入主干特征提取框架，该框架采用了ResNet101网络，通过直接将输入信息绕道传到输出，保护信息的完整性；分为五部分输出，从C1级到C5级；

b)然后将提取到C2级到C5级特征输入到FPN(Feature Pyramid Network)网络中，得到P2到P6的5级特征，融合了从底层到高层的Feature Maps，能够充分利用提取到各个阶段的特征；

c)根据得到的特征图[P2,P3,P4,P5,P6]的每个像素点都生成Anchor锚框，借助锚框，通过计算每个Anchor与图片上真实的Ground Truth之间的IoU，阈值大于0.7作为正样本，阈值小于0.3作为负样本，建立RPN网络训练时的正类和负类，并且计算Anchor Box与Ground Truth之间的偏移量；通过RPN网络前向传播得到的分类概率值以及回归偏移量即可计算RPN网络的边框分类损失以及边框的回归损失；

d)根据RPN网络前向传播计算得到的正样本得分获取2000个分数最高的Anchor，对筛选得到的RoI框，采取非极大值抑制算法NMS剔除重复框，进一步筛选样本；

e)计算每个RoI与真实框之间的IoU，阈值为0.5得到正负样本，同样计算正样本RoI与Ground Truth Box之间的偏移量以及相应的掩模信息；

f)RoI Align操作，采用双线性插值的方法，可以消除在池化操作的误差，更好的提升分割效果，将RoI区域映射到Feature Map的相应位置上，将Featur Map的RoI区域进行RoI Align操作得到固定尺寸的特征图，同样将得到的新Feature Map输入到边框分类、边界回归以及Mask生成层，得到分割后的养殖塘信息；

g)在训练过程中采用随机梯度下降法，L_total表示总损失，L_{rpn_cls}表示RPN网络的边框分类损失，L_{rpn_reg}表示RPN网络的边框回归损失，L_{box_cls}表示边框分支的分类损失，L_{box_reg}表示边框分支的回归损失，L_mask表示分割掩模图损失，采用的损失函数如下：

L_total＝L_{rpn_cls}+L_{rpn_reg}+L_{box_cls}+L_{box_reg}+L_mask。

进一步的，所述步骤四中的遥感影像裁剪分块，具体裁剪标准由预设的块大小以及重叠区域大小决定，具体如下：

a)设置裁剪参数，其中裁剪影像块像素尺寸大小设置为1024*1024，重合区域长度的像素大小为144，用o表示；

b)对原亚米级遥感影像以按行顺序进行分块裁剪，存储的索引信息为(x,y,w,h)，其中x为遥感影像块在原亚米级影像中的列号，y为遥感影像块在原亚米级影像中的行号，w、h为遥感影像块的宽和高，这里统一设置为1024。

进一步的，所述步骤四中的养殖塘实例分割模型推理，针对分割后的遥感影像块进行分布式多GPU并行处理，提高计算效率。

进一步的，所述步骤五中的养殖塘Shp矢量文件生成，首先根据模型计算得到的每个养殖塘位置二值掩模图，采用Suzuki基于边界跟踪的拓扑分析算法，计算二值化掩模图轮廓信息，得到每个遥感影像块的多边形矢量，由于相邻的遥感影像块边界存在重叠，根据影像块的索引信息，对相邻影像块的多边形矢量进行空间分析，如果多边形矢量存在重叠，将重叠多边形矢量合并，由此得到整个遥感影像的养殖塘多边形矢量，最后生成养殖塘Shp矢量文件。

与现有技术相比，本发明具有以下有益效果：

本发明提出的基于实例分割的遥感影像养殖塘检测方法，相比于传统方法，提高了模型的普适性，可以有效提取出相对模糊、色彩有偏差的遥感影像中的养殖塘信息；

本发明提取的养殖塘信息包含每个养殖塘的边界轮廓信息，并且含有具体的地理信息，信息价值较高；

本发明设计了针对亚米级遥感影像养殖塘检测的工程生产流程，即输入遥感影像，输出直接为含有养殖塘信息的Shp矢量文件，无需人为干预，自动化程度较高。

附图内容

图1是本发明遥感影像养殖塘检测方法的整体流程图。

图2是本发明遥感影像养殖塘检测方法的实例分割模型框架图。

图3是本发明实例分割模型主干网络ResNet101结构示意图。

图4是本发明实例分割模型中FPN特征融合图。

图5是本发明实施例中的亚米级遥感影像。

图6是本发明亚米级遥感影像养殖塘提取整体效果图。

具体实施方式

下面结合附图，对本发明的技术方案进行详细说明：

图1是本发明遥感影像养殖塘检测方法的整体流程图，包括以下步骤：

步骤一、建立养殖塘实例分割样本库，采用LabelMe图像标注工具进行亚米级遥感影像的养殖塘标注，包含各种状态、环境下的养殖塘，以此作为训练数据集，完成对Mask R-CNN模型的训练。

步骤二、图像预处理：对训练样本进行形态学滤波，图像随机翻转，裁剪，像素归一化，图像增强处理。为了扩充训练样本，以及去除噪声和图片尺度因素的影响，便于模型网络的训练与推理。

步骤三、构建Mask R-CNN养殖塘实例分割模型，并进行训练，该模型继承于FasterR-CNN，在Faster R-CNN的基础上增加Mask Prediction模块，优化了RoI Pooling，提出了RoI Align，结合了Faster R-CNN和FCN，同时完成目标检测、分类以及分割三类任务，模型的训练主要分为两个阶段，分别为：第一阶段训练区域生成网络RPN，第二阶段使用RoIAlign将RPN生成的RoI映射到feature map对应位置，将映射后的生成的特征图进行分类、坐标回归和二值掩模图输出，如图2所示为模型的整体框架图，具体如下：

a)首先输入图像进入主干特征提取框架，该框架采用了ResNet101网络，通过直接将输入信息绕道传到输出，保护信息的完整性；分为五部分输出，从C1级到C5级。ResNet是一种深度残差网络，传统的卷积网络或者全连接网络在信息传递的时候或多或少会存在信息丢失，损耗等问题，同时还有导致梯度消失或者梯度***，导致很深的网络无法训练。ResNet在一定程度上解决了这个问题，通过直接将输入信息绕道传到输出，保护信息的完整性，整个网络只需要学习输入、输出差别的那一部分，简化学习目标和难度。如图3所示为ResNet101网络框架图，分为五部分输出，从C1级到C5级。

b)然后将提取到C2级到C5级特征输入到FPN(Feature Pyramid Network)网络中，得到P2到P6的5级特征，融合了从底层到高层的Feature Maps，能够充分利用提取到各个阶段的特征，如图4所示为FPN特征融合框架图。

c)根据得到的特征图[P2,P3,P4,P5,P6]的每个像素点都生成Anchor锚框，借助锚框，通过计算每个Anchor与图片上真实的Ground Truth之间的IoU，阈值大于0.7作为正样本，阈值小于0.3作为负样本，建立RPN网络训练时的正类和负类，并且计算Anchor Box与Ground Truth之间的偏移量。通过RPN网络前向传播得到的分类概率值以及回归偏移量即可计算RPN网络的边框分类损失以及边框的回归损失。

d)根据RPN网络前向传播计算得到的正样本得分获取2000个分数最高的Anchor，对筛选得到的RoI框，采取非极大值抑制算法NMS剔除重复框，进一步筛选样本。

e)计算每个RoI与真实框之间的IoU，阈值为0.5得到正负样本，同样计算正样本RoI与Ground Truth Box之间的偏移量以及相应的掩模信息。

f)RoI Align操作，采用双线性插值的方法，可以消除在池化操作的误差，更好的提升分割效果，将RoI区域映射到Feature Map的相应位置上，将Featur Map的RoI区域进行RoI Align操作得到固定尺寸的特征图，同样将得到的新Feature Map输入到边框分类、边界回归以及Mask生成层，得到分割后的养殖塘信息。

L_total＝L_{rpn_cls}+L_{rpn_reg}+L_{box_cls}+L_{box_reg}+L_mask。

步骤四、利用训练好的实例分割模型，设计针对亚米级遥感影像养殖塘检测的工程生产流程，自动裁剪分块，在Mask R-CNN模型推理中采用多GPU分布式并行处理，提高计算效率。

首先遥感影像裁剪分块，具体裁剪标准由预设的块大小以及重叠区域大小决定，具体如下：

然后是养殖塘实例分割模型推理，针对分割后的遥感影像块进行分布式多GPU并行处理，提高计算效率。

步骤五、养殖塘Shp矢量文件生成，首先根据模型计算得到的每个养殖塘位置二值掩模图，针对数字化二值图像的拓扑结构分析，采用Suzuki基于边界跟踪的拓扑分析算法，计算二值化掩模图轮廓信息，得到每个遥感影像块的多边形矢量，由于相邻的遥感影像块边界存在重叠，根据影像块的索引信息，对相邻影像块的多边形矢量进行空间分析，如果多边形矢量存在重叠，将重叠多边形矢量合并，由此得到整个遥感影像的养殖塘多边形矢量，最后生成养殖塘Shp矢量文件。如图5、6所示为输入亚米级遥感影像图与对应提取的养殖塘信息。

以上实施方式仅用于说明本发明，而并非对本发明的限制，有关技术领域的普通技术人员，在不脱离本发明的精神和范围的情况下，还可以做出各种变化和变型，因此所有等同的技术方案也属于本发明的范畴，本发明的专利保护范围应有权利要求限定。

Claims

1.一种基于实例分割的遥感影像养殖塘检测方法，其特征在于，包括以下步骤：

步骤一、建立养殖塘实例分割样本库；

2.如权利要求1所述的一种基于实例分割的遥感影像养殖塘检测方法，其特征在于，所述步骤一中的建立养殖塘实例分割样本库，采用LabelMe图像标注工具进行亚米级遥感影像的养殖塘标注，包含各种状态、环境下的养殖塘，以此作为训练数据集，完成对Mask R-CNN模型的训练。

3.如权利要求1所述的一种基于实例分割的遥感影像养殖塘检测方法，其特征在于，所述步骤二中的图像预处理，为了扩充训练样本，以及去除噪声和图片尺度因素的影响，便于模型网络的训练与推理。

4.如权利要求1-3任一所述的一种基于实例分割的遥感影像养殖塘检测方法，其特征在于，所述步骤三中的构建Mask R-CNN养殖塘实例分割模型，该模型继承于Faster R-CNN，在Faster R-CNN的基础上增加Mask Prediction模块，优化了RoIPooling，提出了RoIAlign，结合了Faster R-CNN和FCN，同时完成目标检测、分类以及分割三类任务，模型的训练主要分为两个阶段，分别为：第一阶段训练区域生成网络RPN，第二阶段使用RoI Align将RPN生成的RoI映射到feature map对应位置，将映射后的生成的特征图进行分类、坐标回归和二值掩模图输出，具体如下：

f)RoI Align操作，采用双线性插值的方法，可以消除在池化操作的误差，更好的提升分割效果，将RoI区域映射到Feature Map的相应位置上，将Featur Map的RoI区域进行RoIAlign操作得到固定尺寸的特征图，同样将得到的新Feature Map输入到边框分类、边界回归以及Mask生成层，得到分割后的养殖塘信息；

L_total＝L_{rpn_cls}+L_{rpn_reg}+L_{box_cls}+L_{box_reg}+L_mask。

5.如权利要求4所述的一种基于实例分割的遥感影像养殖塘检测方法，其特征在于，所述步骤四中的遥感影像裁剪分块，具体裁剪标准由预设的块大小以及重叠区域大小决定，具体如下：

6.如权利要求5所述的一种基于实例分割的遥感影像养殖塘检测方法，其特征在于，所述步骤四中的养殖塘实例分割模型推理，针对分割后的遥感影像块进行分布式多GPU并行处理，提高计算效率。

7.如权利要求1或6所述的一种基于实例分割的遥感影像养殖塘检测方法，其特征在于，所述步骤五中的养殖塘Shp矢量文件生成，首先根据模型计算得到的每个养殖塘位置二值掩模图，采用Suzuki基于边界跟踪的拓扑分析算法，计算二值化掩模图轮廓信息，得到每个遥感影像块的多边形矢量，由于相邻的遥感影像块边界存在重叠，根据影像块的索引信息，对相邻影像块的多边形矢量进行空间分析，如果多边形矢量存在重叠，将重叠多边形矢量合并，由此得到整个遥感影像的养殖塘多边形矢量，最后生成养殖塘Shp矢量文件。