CN113095169A - 大空间范围储油罐提取方法 - Google Patents

Abstract

本发明公开了一种大空间范围储油罐提取方法，该方法中通过读取卫星图像中是否包含储油罐，对储油罐数量、规模与空间分布进行监测，实现VOCs排放源的精准定位，从而为臭氧及挥发性有机物治理提供有效的技术支撑，其中，通过构建储油罐提取模型来快速识别图像中的储油罐，在构建储油罐提取模型的过程中，通过翻转变换、随机裁剪和噪声干扰的方法增加样本数量，从而提高模型的准确性、实用性和普适性。

Description

大空间范围储油罐提取方法

技术领域

本发明涉及识别卫星图像中储油罐识别提取方法，具体涉及一种大空间范围储油罐提取方法。

背景技术

基于光学影像的储油罐提取，多基于影像的光谱、纹理几何和形状等特征。其方法主要分为两类：(1)基于像素的提取方法：以每个像素为研究对象，统计图像中各像素的光谱和纹理特征，通过影像增强和霍夫变换等影像变换等方法，设置阈值对储油罐进行提取。但此类方法仅考虑单个像元的特征，缺少像元所属地物的整体属性，以及像元之间的空间关系，提取的油罐多比较琐碎，而且受影像成像角度和光照条件影响较大。(2)面向对象的提取方法：以区域为研究对象，通过设置的区域增长规则对具有相似光谱和纹理特征的相邻像素进行合并以形成区域，并统计图像中各区域的光谱、纹理、几何和形状特征设置阈值，进而对储油罐进行提取。该类方法受增长后得到的区域对目标地物表达代表性影响较大，一旦合并的区域中包含很多背景地物，或者缺失很多目标地物像元，直接会影响后续的提取精度。

上述两类方法为传统的提取储油罐的方法，均需要大量的人工阈值设定工作，而且方法迁移性不强，受限于影像内储油罐的种类(颜色、大小)、背景地物复杂度以及影像的成像条件和空间分辨率等因素。机器学习方法可以通过构建模型对用于油罐提取的特征阈值基于训练样本进行自动学习，并也得到了广泛的应用。但是这类方法仍然需要大量的人工对油罐提取特征进行提取，对研究人员的背景知识要求比较高，而且训练得到的模型鲁棒性受遥感影像地物的分布与模型训练采用的训练样本分布一致性影响较大。

由于上述原因，本发明人对现有的储油罐提取方法做了深入研究，设计出一种能够解决上述问题的新的大空间范围储油罐提取方法。

发明内容

为了克服上述问题，本发明人进行了锐意研究，设计出一种大空间范围储油罐提取方法，该方法中通过读取卫星图像中是否包含储油罐，对储油罐数量、规模与空间分布进行监测，实现VOCs排放源的精准定位，从而为臭氧及挥发性有机物治理提供有效的技术支撑，其中，通过构建储油罐提取模型来快速识别图像中的储油罐，在构建储油罐提取模型的过程中，通过翻转变换、随机裁剪和噪声干扰的方法增加样本数量，从而提高模型的准确性、实用性和普适性，从而完成本发明。

具体来说，本发明的目的在于提供的大空间范围储油罐提取方法，该方法包括如下步骤：

S1，调取包含待分析区域的卫星多光谱高分影像，

S2，对图像做预处理，得到标准图像块，

S3，将标准图像块输入到储油罐提取模型中，得到储油罐位置信息。

其中，所述图像预处理的过程为：

将所述卫星多光谱高分影像分割成多个标准像素大小的图像块，所述标准像素大小的图像块即为标准图像块；

优选地，标准图像块为512x512像素大小的图像块。

其中，所述储油罐提取模型的搭建过程包括如下步骤：

步骤1，调取不同卫星的多光谱高分影像；

步骤2，获得多光谱高分影像中油罐的真实分布图；

步骤3，通过翻转变换、随机裁剪和噪声干扰的方法增加样本数量；

步骤4，采用U-net网络构建模型，并利用步骤3中得到的样本对该模型进行训练，得到储油罐提取模型。

其中，在步骤2中，针对每一帧包含储油罐的多光谱高分影像，通过影像中像素点的经纬度信息获得储油罐的位置坐标，再获取储油罐的直径尺寸信息。

其中，在步骤3中，所述翻转变换包括将图像旋转30°、90°、180°和270°后作为新的样本。

其中，在步骤3中，所述随机裁剪包括将图像裁剪成像素大小为512±(40,68)的图像。

其中，在步骤4中，采用ADAM学习策略，其中循环次数为50，学习率为1e-3。

本发明所具有的有益效果包括：

(1)根据本发明提供的大空间范围储油罐提取方法使用U-net网络根据具有各类光谱、纹理、几何特征的大量多源卫星数据(包括高分一号(GF1)、六号(GF6)和资源三号02星(ZY3-02)多光谱影像)制作的储油罐样本进行模型训练，方法面向不同侧视角的多源卫星数据，具备较强的普适性；

(2)根据本发明提供的大空间范围储油罐提取方法较传统的储油罐提取方法省时省力，可实现大空间范围内储油罐快速自动提取；

(3)根据本发明提供的大空间范围储油罐提取方法通过对合成影像的储油罐特征进行提取，避免了影像的辐射校正和异常值，为方案的实用性提供保障。

附图说明

图1示出根据本发明一种优选实施方式的大空间范围储油罐提取方法整体结构逻辑图；

图2示出本发明实施例中山东省东营市对应的假彩色显示的高分一号的多光谱高分图像；

图3示出本发明实施例中山东省东营市对应的假彩色显示的高分六号的多光谱高分图像；

图4示出本发明实施例中山东省东营市对应的假彩色显示的资源三号02的多光谱高分图像；

图5示出本发明实施例中一帧多光谱高分图像和对应的油罐的真实分布图；

图6示出本发明实施例中又一帧多光谱高分图像和对应的油罐的真实分布图；

图7示出本发明实施例中标准图像块和经过储油罐提取模型得到的储油罐位置信息图；

图8示出本发明实施例中Attention U-net神经网络的结构图。

具体实施方式

下面通过附图和实施例对本发明进一步详细说明。通过这些说明，本发明的特点和优点将变得更为清楚明确。

在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。

根据本发明提供的大空间范围储油罐提取方法，如图1中所示，该方法包括如下步骤：

S1，调取包含待分析区域的卫星多光谱高分影像，

S2，对图像做预处理，得到标准图像块，

S3，将标准图像块输入到储油罐提取模型中，得到储油罐位置信息。

其中，所述图像预处理的过程为：

将所述卫星多光谱高分影像分割成多个标准像素大小的图像块，所述标准像素大小的图像块即为标准图像块；

优选地，标准图像块为512x512像素大小的图像块。

优选地，所述预处理过程还包括对多光谱高分影像做过滤处理，即保留绿光波段、红光波段和近红外波段三个波段，滤除其他所有的光波段，使得得到的图像为假彩色显示图像。通过该过滤处理，能够使得得到的光信息都是用于储油罐识别的最佳波段信息，提高储油罐的识别效率和处理学习效率。

本申请人发现，采用近红外波段，红光波段和绿光波段组合可以更好地将储油罐光谱信息表征出来。蓝色波段对储油罐和建筑物等地物均比较敏感，容易将其混淆，所以滤除蓝色波段；而近红外波段对植被信息比较敏感，可以提高植被与储油罐的区分能力。因此采用近红外波段代替蓝波段，将近红外波段与红光波段、绿光波段组合，作为模型的输入数据。

优选地，在所述预处理过程中，还要对所述多光谱高分影像做降位处理，即将像素位深由原16位降位至8位，使得图像的光谱范围为0-255，以满足储油罐识别的需求。

在一个优选的实施方式中，所述储油罐提取模型的搭建过程包括如下步骤：

步骤1，调取不同卫星的多光谱高分影像；

步骤2，获得到多光谱高分影像中油罐的真实分布图；

步骤3，通过翻转变换、随机裁剪和噪声干扰的方法增加样本数量；

步骤4，采用U-net网络构建模型，并利用步骤3中得到的样本对该模型进行训练，得到储油罐提取模型。

其中，在步骤1中，所述不同卫星包括高分一号、高分六号和资源三号02星等多种卫星，可以选择更多种类的卫星图像，以便于进一步提高储油罐提取模型的普适性；

在步骤1中，还对所述多光谱高分影像做过滤处理，即保留绿光波段、红光波段和近红外波段三个波段，滤除其他所有的光波段，得到的图像也可以称之为2-3-4波段合成的图像，即为假彩色图像。

优选地，在步骤1中，还对所述多光谱高分影像做降位处理，即将像素位深由原16位降位至8位，以便于进一步提高后续的学习效率。

优选地，步骤2获得真实分布图的过程包括如下子步骤：

子步骤1，寻找多光谱高分影像中亮度较高的区域，具体来说，对一帧多光谱高分影像中的全部像素点按照亮度高低进行排序，选取其中排在前1～3％的像素点，优选为2％；所述选出的像素点最集中的区域即为所述亮度较高的区域；更优选地，在划定所述亮度较高的区域时，控制该区域的面积在影像总面积的5％以下。

子步骤2，确定该区域的边界轮廓形状，从而分析该区域是否为储油罐，具体来说，将该区域的边界轮廓形状与预存的数据库中储油罐边界轮廓相比较，如果与数据库中任意一个储油罐边界轮廓的相似度在90％以上，则认为该区域可能是储油罐，对其进行框选，否则忽略该区域；优选地，本申请所述的储油罐中，大型储罐的直径可大于50m，中型储罐的直径一般为30-50m，小型储罐的直径一般为10-30m，迷你型储罐的直径一般小于10m，所述多光谱高分影像中能够识别出罐顶面积在50平方米以上的储油罐。

子步骤3，将带有选框的多光谱高分影像逐一在显示屏幕上显示，并由人工审核选框是否准确，若不准确且多光谱高分影像中包含储油罐时，人工追踪储油罐边缘矢量信息；

子步骤4，锁定选框内的储罐边缘轮廓矢量信息并转换为栅格数据，核查轮廓以外的背景区域的像素点，仅保留储罐边缘轮廓内的像素点，作为提取储油罐分布图。

在一个优选的实施方式中，在步骤2中，在确定储罐位置以后，根据卫星影像中像素点的经纬度信息确定储油罐的位置坐标，即为储油罐的中心点坐标，再获得储油罐罐顶的直径尺寸，进而根据储油罐的直径尺寸获知其规格型号和面积。

在一个优选的实施方式中，在步骤3中，所述翻转变换包括将图像旋转30°、90°、180°和270°后作为新的样本，为了获得更多的样本数量，还可以将图像旋转成其他角度。

优选地，在步骤3中，所述随机裁剪包括将图像裁剪成像素大小为512±(40,68)的图像。通过所述随机剪裁也能够进一步提高样本数量，即一帧图像经过不同尺寸的多次剪裁后，可以得到多帧样本图像，本申请人发现，将裁剪后的图像限定为长512±40、宽512±68的图像，确保样本质量的情况下即可以确保图像能够涵盖储油罐的整体外形，也能够确保为后续机器学习提供足够多的样本。

所述噪声干扰的方法为采用高斯噪声处理图像，得到新的样本图像，本申请中通过高斯噪声处理图像得到更多随机噪声样本，该处理方式能够提高样本多样性，进一步增强储油罐提取模型对于多源高分数据的普适性。

优选地，通过步骤3中的方法，能够在样本质量不降低的情况下使得所述样本数量增加4倍以上，从而提高后续的学习效果，提高最终得到的储油罐提取模型的处理精度。

优选地，在步骤3中获得的多组样本，每组样本中都包括2-3-4波段合成的多光谱高分影像图像块、对应的提取储油罐分布图、图中储油罐直径信息和储油罐的中心点坐标。

在一个优选的实施方式中，在步骤4中，采用U-net网络结构构建储油罐提取模型，所述U-net为语义分割模型，对图像的每个像素都赋予一个标签，即类别，其网络结构呈U型，共分为两部分，特征提取和上采样；输出与输入图像大小一致。由于本发明只对储油罐进行提取，因此模型输出为标签是0和1的二值图。

在一个优选的实施方式中，在步骤4中，通过下述子步骤对多组样本做初步处理，得到可用样本，进而再通过可用样本进行训练，得到储油罐提取模型。

子步骤a，将多组样本分为两个部分，即为训练样本和验证样本，随机分配样本数据到两个样本中，所述训练样本中数据量占所述多组样本总数的85％；

子步骤b，利用训练样本中的数据冲刷采用U-net网络结构构建的模型，再用验证样本中的每个数据逐一验证该模型，并分别记录验证样本中每个数据的验证结果；

优选地，所述验证结果包括验证通过和验证不通过；其中，验证通过是指将验证样本中多光谱高分影像图像块带入到模型中，得到的储油罐分布图、储油罐直径信息和储油罐的中心坐标信息都与该验证样本中的储油罐分布图、储油罐直径信息和储油罐的中心坐标信息基本一致。其中，所述储油罐分布图中，在储油罐的轮廓外设置有选框，当两幅图像中选框的重叠率达到95％以上时，判断这两幅图像基本一致；在所述直径信息中，其单位是米，得到的储油罐直径信息与验证样本中真实的储油罐直径信息相比较，若其个位及以前的数据相同时，判断这两组直径信息基本一致，例如，当得到的储油罐直径为15.3米，验证样本中真实的储油罐直径为15.5米，其十位数据相同，个位数据也相同，则判断这两组直径信息基本一致；对于所述储油罐的中心坐标信息来说，两幅图像中坐标信息偏差在1米以下时认为二者基本一致。

验证不通过是指将验证样本中多光谱高分影像图像块带入到模型中，得到的储油罐分布图与验证样本中的储油罐分布图不一致，或者得到的储油罐直径信息与验证样本中的储油罐直径信息不一致，或者得到的储油罐的中心坐标信息与验证样本中的储油罐的中心坐标信息不一致。

子步骤c，多次重复上述子步骤a和子步骤b，使得每个样本数据至少10次被分配到验证样本中，得到每个样本数据对应的平均验证结果；

其中，每次重复子步骤a和子步骤b，可使得15％个样本数据都获得一个对应的验证结果，至少需要重复执行子步骤a和子步骤b共67次；优选地，每次重复子步骤a时，获得的样本数据分组情况都是不同的。

每当一个样本数据被分配到验证样本中，即可获得该样本数据对应的一个验证结果，每个样本数据最终都会获得至少10个验证结果；所述平均通过率为一个样本数据对应的验证结果中验证通过的数量与该样本数据对应的验证结果的总数量之比。

子步骤d，按照平均通过率从大到小的顺序给样本数据排序，删除平均通过率最小的10个样本数据，并通过步骤3中的方法，再次随机获得10个样本数据，使得样本数据的总量不变；

子步骤e，重复子步骤c和子步骤d，直至最小的平均通过率达到85％以上，或者累计删除的样本数据数量达到总样本数据数量的60％，此时停止子步骤e，得到的样本数据即为可用样本。

在一个优选的实施方式中，用全部的可用样本冲刷训练采用U-net网络结构构建的模型，即可得到S3中的所述储油罐提取模型；具体来说，在步骤4中，模型训练基于Pytorch平台，基于NVIDIA公司的TITANX GPU、采用ADAM学习策略，本发明人发现，将具体学习参数设如下既能够提高学习效率，还能够获得足够的模型识别精度：循环次数为50，学习率为1e-3。

在另外一个优选的实施方式中，所述储油罐提取模型的搭建过程中：

步骤4，采用Attention U-net神经网络构建模型，并利用步骤3中得到的样本对该Attention U-net神经网络构建模型进行训练，得到储油罐提取模型；

基于Attention U-net神经网络结构构建储油罐提取模型，可以更好的学习储油罐特征。

所述Attention U-net神经网络结构如图8中所示，该Attention U-net神经网络基于传统的U-net网络结构增加了注意力模块，通过该注意力模块来对中间形成的特征图做进一步筛选，从而增强对储油罐特征的提取效果。

在一个优选的实施方式中，在S3中，得到的储油罐位置信息包括提取储油罐分布图、图中储油罐直径信息和储油罐的中心点坐标。

实施例1：

获得储油罐提取模型；

调取山东省东营市高分一号(GF1)(2020年3月14日)的多光谱高分图像，如图2中所示；调取山东省东营市高分六号(GF6)(2019年9月22日)的多光谱高分图像，如图3中所示；调取山东省东营市资源三号02星(ZY3-02)(2020年4月29日)多光谱高分图像，如图4中所示；已知各个图像的空间分辨率均为2米；

根据储油罐的分布，分别对不同遥感图像截取了不同部分。GF1的影像大小为17557x14821像素；GF6采用了三块影像，大小分别为5268x7301像素、5032x7415像素和5704x6845像素；ZY302采用了4块影像，大小分别为9394x7946像素、8507x6263像素、8881x4861像素和3505x4300像素。基于这些影像，采用人工目视解译方法得到多光谱高分影像中油罐的真实分布图，其中两幅图及其油罐的真实分布图如图5和图6中所示；

通过翻转变换、随机裁剪和噪声干扰的方法增加样本数量，其中裁剪得到的图像长度像素为512±40，宽度像素为512±68；供获得500帧图像，即为500份样本数据；

子步骤a，将500份样本数据随机分为训练样本和验证样本两部分，训练样本中425份样本数据，验证样本中75份样本数据；

子步骤b，利用训练样本中的数据冲刷采用U-net网络结构构建的模型，再用验证样本中的每个数据逐一验证该模型，并分别记录验证样本中每个数据的验证结果；

子步骤c，重复上述子步骤a和子步骤b共80次，使得每个样本数据至少10次被分配到验证样本中，得到每个样本数据对应的平均验证结果；

子步骤d，按照平均通过率从大到小的顺序给样本数据排序，删除平均通过率最小的10个样本数据，并通过随机地对原始的多光谱高分图像做翻转变换、随机裁剪和噪声干扰操作，再次随机获得10个样本数据，使得样本数据的总量不变；

子步骤e，重复子步骤c和子步骤d，持续关注最小的平均通过率，直至更换的样本数据达到300份时，最低的平均通过率一直保持在77％以下，此时得到的样本数据即为可用样本。

用全部的可用样本冲刷训练采用U-net网络结构构建的模型。模型训练基于Pytorch平台，采用NVIDIA公司的TITANX GPU，采用ADAM学习策略；最终得到储油罐提取模型。

在得到储油罐提取模型后，执行下述验证步骤：

S1，调取包含山东省东营市卫星多光谱高分影像，作为待测影像，

S2，对影像做预处理，得到标准图像块，如图7a中所示，

S3，将该标准图像块输入到所述储油罐提取模型中，得到的储油罐位置信息；

所述储油罐位置信息中的提取储油罐分布图如图7b中所示，从该提取储油罐分布图中读取出储油罐直径信息为：1个31米直径的圆形截面储油罐和4个10.5米直径的圆形截面储油罐，5个储油罐的中心坐标是东京118.3625，北纬37.4195。

S4，通过目视解意的方式获得S1中调取的卫星多光谱高分影像中储油罐的面积和位置，并与S3中得到的储油罐位置信息做比较，得到对应的IOU值为0.8235、卫星多光谱高分影像中储油罐被识别出，识别准确。

重复99次上述步骤S1至S4，且每次S1中调取的卫星多光谱高分影像彼此之间都不相同，

计算上述100次验证过程中的平均IOU、平均生产者精度和平均用户精度，得到的结果如下表所示：

表1精度评价

平均IOU	平均生产者精度	平均用户精度
			0.8111	87％	95％

通过上述数据能够表明，大空间范围储油罐提取方法及其中的储油罐提取模型具有极高的精度和可靠性。

其中，所述IOU是指两个区域重叠部分除以两个区域的集合部分得到的结果，本实验例中具体来说是指待测影像中卫星多光谱高分图像上的储油罐区域与提取储油罐分布图中的储油罐区域之间重叠部分的面积除以该两个区域集合部分的面积，所述平均IOU是指全部100个待测影像得到的100个IOU值的平均值；

所述生产者精度是指一份待测影像中多光谱高分图像的储油罐区域被储油罐提取模型识别认定为储油罐的概率；所述平均生产者精度是指全部100个待测影像中储油罐区域被识别认定为储油罐的平均概率；

用户精度是指待测影像多光谱高分图像中的一个区域被储油罐提取模型识别认定为储油罐区域时，该认定是准确认定的概率；所述平均用户精度是指全部100个待测影像对应的准确认定的平均概率。

实施例2：

选取与实施例1中相同的多光谱高分图像来获得储油罐提取模型；

其获得过程中，与实施例1中的区别在于：

在获得可用样本的过程中用到的模型是Attention U-net神经网络构建模型，相应地，在获得可用样本后进行冲刷训练的模型也是该Attention U-net神经网络构建模型；

所述Attention U-net神经网络的结构图如图8中所示，该神经网络中设置了注意力模块，通过该注意力模块来对中间形成的特征图做进一步筛选；

在得到储油罐提取模型后，执行与实施例1中相同的验证步骤，且在S1中调取的卫星多光谱高分影像都完全一致：得到的平均IOU、平均生产者精度和用户精度，得到的结果如下表所示：

表2精度评价

平均IOU	平均生产者精度	平均用户精度
			0.8421	91％	98％

通过上述实施例2可知，采用Attention U-net神经网络构建模型相对于采用的U-net神经网络构建模型，能够进一步提高大空间范围储油罐提取方法的精度。

以上结合了优选的实施方式对本发明进行了说明，不过这些实施方式仅是范例性的，仅起到说明性的作用。在此基础上，可以对本发明进行多种替换和改进，这些均落入本发明的保护范围内。

Claims (7)

1.一种大空间范围储油罐提取方法，其特征在于，该方法包括如下步骤：

S1，调取包含待分析区域的卫星多光谱高分影像，

S2，对图像做预处理，得到标准图像块，

S3，将标准图像块输入到储油罐提取模型中，得到储油罐位置信息。

2.根据权利要求1所述的大空间范围储油罐提取方法，其特征在于，

所述图像预处理的过程为：

将所述卫星多光谱高分影像分割成多个标准像素大小的图像块，所述标准像素大小的图像块即为标准图像块；

优选地，标准图像块为512x512像素大小的图像块。

3.根据权利要求1所述的大空间范围储油罐提取方法，其特征在于，

所述储油罐提取模型的搭建过程包括如下步骤：

步骤1，调取不同卫星的多光谱高分影像；

步骤2，获得多光谱高分影像中油罐的真实分布图；

步骤3，通过翻转变换、随机裁剪和噪声干扰的方法增加样本数量；

步骤4，采用U-net网络构建模型，并利用步骤3中得到的样本对该模型进行训练，得到储油罐提取模型。

4.根据权利要求3所述的大空间范围储油罐提取方法，其特征在于，

在步骤2中，针对每一帧包含储油罐的多光谱高分影像，通过影像中像素点的经纬度信息获得储油罐的位置坐标，再获取储油罐的直径尺寸信息。

5.根据权利要求3所述的大空间范围储油罐提取方法，其特征在于，

在步骤3中，所述翻转变换包括将图像旋转30°、90°、180°和270°后作为新的样本。

6.根据权利要求3所述的大空间范围储油罐提取方法，其特征在于，

在步骤3中，所述随机裁剪包括将图像裁剪成像素大小为512±(40,68)的图像。

7.根据权利要求3所述的大空间范围储油罐提取方法，其特征在于，

在步骤4中，采用ADAM学习策略，其中循环次数为50，学习率为1e-3。

Images