CN110321794B - 一种融入语义模型的遥感图像油罐检测方法 - Google Patents

Abstract

本发明公开了一种融入语义模型的遥感图像油罐检测方法。所述方法包括以下步骤：采集数据：获取遥感图像样本数据并进行预处理；构建模型：构建油罐检测模型和语义模型；模型训练：将所述处理后的图像输入到所述油罐检测模型中进行训练，得到特征图以及特征图检测信息，将所述预处理后的图像分类信息建立关系，保存并建立情景知识库，将所述情景知识库的信息关系输入到所述语义模型中进行训练，得到图像情景上下文信息；及模型融合：将所述特征图的检测信息与所述图像情景上下文信息进行融合。采用这种方法，油罐检测根据不同图像尺度运行，增强了图像信息，实现了更好的油罐检测精度。

Description

一种融入语义模型的遥感图像油罐检测方法

【技术领域】

本发明属于图像处理技术领域，特别涉及一种融入语义模型的遥感图像油罐检测方法。

【背景技术】

随着人工智能的不断发展，目标检测已经受到学术界、工业界的广泛关注。油罐作为资源存储的重要工具，针对遥感图像的油罐检测对于军事、地理等方面都提供极大帮助。传统的油罐目标检测方法通常是候选目标区域，用训练模型提取特征并将对象分类到不同的类别，获得分类区域的边界框进行检测，受到拍摄角度、气候条件以及目标密度的影响，至今未能具有一种通用的方法来检测遥感图像中的油罐与图像情景上下文信息相融合。

目前，比较常用的检测油罐的方法主要通过CNN模型提取周围特征与局部特征相结合、使用BING技术获得候选目标区域、使用图形的超像素分割等。这些方法在某些方面产生了比较好的效果，但是遥感图像受到很多因素的影响，需要设计一种能够将遥感图像的目标与图像情景上下文信息相融入的方法。

【发明内容】

本发明提供了一种融入语义模型的遥感图像油罐检测方法，其目的在于，设计一种能够遥感图像的目标与图像情景上下文信息相融入的方法，运用深度学习来提高油罐检测的精度，克服传统油罐检测不能与图像情景上下文信息相融入的问题。

本发明提供了一种融入语义模型的遥感图像油罐检测方法。一种融入语义模型的遥感图像油罐检测方法，包括如下步骤：采集数据：获取遥感图像样本数据并对所述遥感图像样本数据进行预处理，得到预处理后的图像；构建模型：构建构建油罐检测模型和语义模型；模型训练：将步骤采集数据所得的预处理后的图像输入到步骤构建模型的油罐检测模型中进行训练，得到特征图以及特征图检测信息，将所述预处理后的图像分类信息建立关系，保存并建立情景知识库，将所述情景知识库的信息关系输入到步骤构建模型的语义模型中进行训练，得到图像情景上下文信息；及模型融合：将步骤模型训练所得的特征图的检测信息与图像情景上下文信息进行融合，实现油罐检测与图像情景上下文信息融入。

在本发明所提供一种融入语义模型的遥感图像油罐检测方法的一种较佳实施例中，在步骤采集数据中，遥感图像样本数据包括遥感图像以及预处理后的图像，其获取包括如下步骤：提供油罐检测过程中获得的遥感图像；对步骤S111提供的遥感图像进行预处理(区域标注信息)得到预处理后的图像：{目标边框中心坐标为Tx、Ty，目标边框的宽为W以及目标边框的高为H，以及分类信息C}。

在本发明所提供一种融入语义模型的遥感图像油罐检测方法的一种较佳实施例中，在步骤构建模型中的油罐检测模型加载了权值文件，仅加载在batch norm层和卷积层，这些层的权值与网络中对应的层顺序完全相同存储。

在本发明所提供一种融入语义模型的遥感图像油罐检测方法的一种较佳实施例中，在步骤模型训练中，步骤构建模型的油罐检测模型中的神经网络包括卷积神经和激活函数，其中卷积神经中的卷积层使用1*1卷积与 3*3卷积级联的方式，使用具有步幅2的卷积层来对特征图进行下采样，激活操作使用RELU激活函数。生成anchors操作产生9个矩形共有3种形状，宽高比为width:height∈{1:1,1:2,2:1}三种。将anchors放入特征图中与区域标注信息进行修正，计算它们之间的损失值使用所述检测目标位置边界框的损失函数。通过非最大抑制函数(NMS)去除不符合的边界框，通过全连接层进行输出；目标分类计算它们之间的损失值使用所述分类损失函数，并使用softmax函数进行输出。最终获得特征图的检测信息中每张图像的目标边框为B＝{1,2,3,...,B}，分配标签c∈C到每个目标边框b∈B的概率为p(l|b)，将这些概率编码成矩阵P，例如P_b,l＝p(l|b)。在这个过程中使用随机梯度下降(SGD)对学习参数进行更新。神经网络训练包括目标边框检测和目标分类检测。

在本发明所提供一种融入语义模型的遥感图像油罐检测方法的一种较佳实施例中，在步骤模型训练中，采用分类置信度表示检测到的对象属于特定类的概率，神经网络训练期间的分类损失函数为：

l(x,y)＝L＝{l₁,...,l_N}^T

l_n＝-w_n[y_n*log x_n+(1-y_n)*log(1-x_n)]

中N代表批次数量，n代表批次序号，w为权值，y为目标值，x为输入。

在本发明所提供一种融入语义模型的遥感图像油罐检测方法的一种较佳实施例中，在步骤模型训练中，用于检测目标位置边界框的损失函数为：

l(x,y)＝L＝{l₁,...,l_N}^T

l_n＝(x_n-y_n)²

其中N为批次大小，n代表批次序号，x为输入值，y为目标值。

在本发明所提供一种融入语义模型的遥感图像油罐检测方法的一种较佳实施例中，在步骤模型训练中，对图像分类信息得出概念之间的语义一致性，产生了一个新矩阵

不同于所述矩阵P。

在本发明所提供一种融入语义模型的遥感图像油罐检测方法的一种较佳实施例中，在步骤模型训练中，起始的关系C经过t步之后，获得关系C”，在语义一致性上，使用随机游走表示：

其中p(r_t＝C”|r₀＝C；α)表示从C开始，在t步骤中达到关系C”的概率。在大量情景知识库中，可以有效计算矩阵S：

在本发明所提供一种融入语义模型的遥感图像油罐检测方法的一种较佳实施例中，在步骤模型融合中，对步骤模型训练中所述目标边框b可能被分配了新的标签为

在本发明所提供一种融入语义模型的遥感图像油罐检测方法的一种较佳实施例中，在步骤模型融合中，给定一个量化成对关系之间语义一致性的矩阵，需要进一步将其与检测信息集成，以实现对目标的检测与图像情景的融入，通过获取语义一致性约束的最小化代价函数：

其中b,b'代表同一图像中的两个不同的边界框，B||S_l,*||₁是平方误差，平衡不同的语义关系，ε是超参数ε∈(0,1)。

本发明提供了一种融入语义模型的遥感图像油罐检测方法，其目的在于，设计一种能够遥感图像的目标与图像情景相融入的方法，运用深度学习的语义模型与图像情景的结合，有效减小拍摄角度、气候条件以及目标密度对目标检测的影响，油罐检测根据不同图像尺度运行，增强了图像信息，实现了更好的油罐检测精度，克服传统油罐检测不能与图像情景上下文相融入的问题。

【附图说明】

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图，其中：

图1为融入语义模型的遥感图像油罐检测方法流程图；

图2为实施例中通过对情景知识库的信息关系进行训练，所获得的语义模型的图像情景上下文节点之间的关系图；

图3为实施例中待检测的遥感油罐图像；

图4为实施例中已用本发明方法检测出的遥感图像。

【具体实施方式】

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

下面结合附图及实施例对本发明作更进一步的说明。

请参考图1所示，在本实施例中，提供一种所述融入语义模型的遥感图像油罐检测方法可以包括以下步骤：

步骤101、采集数据：获取遥感图像样本数据并对所述遥感图像样本数据进行预处理，得到预处理后的图像；

在步骤101中，遥感图像样本数据包括遥感图像以及预处理后的图像，其获取包括如下步骤：

请参阅图3所示，步骤1011、提供油罐检测过程中获得的遥感图像；

步骤1012、对步骤1011提供的遥感图像进行预处理(区域标注信息) 得到预处理后的图像：{目标边框中心坐标为Tx、Ty，目标边框的宽为W 以及目标边框的高为H，以及分类信息C}。

在步骤101中，图像采集的效果直接影响了图像标注、图像分割和图像检测的优劣，采集图像为高标准的图像时，对于图像标注、图像分割和图像检测的过程会大大减轻难度。

步骤102、构建模型：构建构建油罐检测模型和语义模型；

请参阅图2所示，步骤103、模型训练：将步骤101所得的预处理后的图像输入到步骤102构建的油罐检测模型中进行训练，得到特征图以及特征图检测信息，将所述预处理后的图像分类信息建立关系，保存并建立情景知识库，将情景知识库的信息关系输入到步骤102构建的语义模型中进行训练，得到图像情景上下文信息；

在步骤103中，步骤102构建的油罐检测模型中的神经网络包括卷积神经和激活函数，其中卷积神经中的卷积层使用1＊1卷积与3＊3卷积级联的方式，使用具有步幅2的卷积层来对特征图进行下采样，激活操作使用 RELU激活函数。生成anchors操作产生9个矩形共有3种形状，宽高比为 width:height∈{1:1,1:2,2:1}三种。将anchors放入特征图中与区域标注信息进行修正，计算它们之间的损失值使用所述检测目标位置边界框的损失函数。通过非最大抑制函数(NMS)去除不符合的边界框，通过全连接层进行输出；目标分类计算它们之间的损失值使用所述分类损失函数，并使用 softmax函数进行输出。最终获得特征图的检测信息中每张图像的目标边框为B＝{1,2,3,...,B}，分配标签c∈C到每个目标边框b∈B的概率为p(l|b)，将这些概率编码成矩阵P，例如P_b,l＝p(l|b)。在这个过程中使用随机梯度下降(SGD)对学习参数进行更新。神经网络训练包括目标边框检测和目标分类检测。

在步骤103中，当所述遥感图像数量很大时，油罐之间的关系就越多。

请参考图4所示，为实施例中已用本发明方法检测出的遥感图像，其中标签0代表工业用地，标签1代表油罐。

在步骤103中，采用分类置信度表示检测到的对象属于特定类的概率，神经网络训练期间的分类损失函数为：

l(x,y)＝L＝{l₁,...,l_N}^T

l_n＝-w_n[y_n*log x_n+(1-y_n)*log(1-x_n)] 其中N代表批次数量，n代表批次序号，w为权值，y为目标值，x为输入。

在步骤103中，用于检测目标位置边界框的损失函数为：

l(x,y)＝L＝{l₁,...,l_N}^T

l_n＝(x_n-y_n)²

其中N为批次大小，n代表批次序号，x为输入值，y为目标值。

在步骤103中，对图像分类信息得出概念之间的语义一致性，产生了一个新矩阵

不同于所述矩阵P。

在步骤103中，起始的关系C经过t步之后，获得关系C”，在语义一致性上，使用随机游走表示：

其中p(r_t＝C”|r₀＝C；α)表示从C开始，在t步骤中达到关系C”的概率。在大量情景知识库中，可以有效计算矩阵S：

步骤104、模型融合：将步骤103所得的特征图的检测信息与图像情景上下文信息进行融合，实现油罐检测与图像情景上下文信息融入。

在步骤104中，对步骤103中所述目标边框b可能被分配了新的标签为

在步骤104中，给定一个量化成对关系之间语义一致性的矩阵，需要进一步将其与检测信息集成，以实现对目标的检测与图像情景的融入，通过获取语义一致性约束的最小化代价函数：

其中b,b'代表同一图像中的两个不同的边界框，B||S_l,*||₁是平方误差，平衡不同的语义关系，ε是超参数ε∈(0,1)。

本实例包括从获取遥感图像，在图像处理器中对区域标注信息排列，利用深度学习模型进行图像检测，包括特征提取、边界框预测、类预测以及预测不同的图像比例等一系列操作。考虑实际情况，通过这种方法对遥感图像的油罐检测，降低了人工成本；提高了遥感图像中的油罐准确率，使得目标检测与图形情景具有更好的融入性。

以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制。虽然本发明已以较佳实施例揭露如上，然而并非用以限定本发明。任何熟悉本领域的技术人员，在不脱离本发明技术方案范围情况下，都可利用上述揭示的方法和技术内容对本发明技术方案做出许多可能的变动和修饰，或修改为等同变化的等效实施例。

因此，凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所做的任何简单修改、等同变化及修饰，均仍属于本发明技术方案保护的范围内。

Claims (10)

1.一种融入语义模型的遥感图像油罐检测方法，其特征在于，所述方法包括以下步骤：

S1、采集数据：获取遥感图像样本数据并对所述遥感图像样本数据进行预处理，得到预处理后的图像；

S2、构建模型：构建油罐检测模型和语义模型；

S3、模型训练：将步骤S1所得的预处理后的图像输入到步骤S2构建的油罐检测模型中进行训练，得到特征图以及特征图检测信息，将所述预处理后的图像分类信息建立关系，保存并建立情景知识库，将所述情景知识库的信息关系输入到步骤S2构建的语义模型中进行训练，得到图像情景上下文信息；及

S4、模型融合：将步骤S3所得的特征图的检测信息与图像情景上下文信息进行融合，实现油罐检测与图像情景上下文信息融入。

2.根据权利要求1所述的一种融入语义模型的遥感图像油罐检测方法，其特征在于，在步骤S1中遥感图像样本数据包括遥感图像以及预处理后的图像，其获取包括如下步骤：

S111、提供油罐检测过程中获得的遥感图像，所述遥感图像包括区域标注信息；

S112、对步骤S111提供的遥感图像进行预处理，得到预处理后的图像，目标边框中心坐标为Tx、Ty，所述目标边框的宽为W，所述目标边框的高为H，分类信息为C，所述目标边框与所述区域标注信息相对应。

3.根据权利要求1所述的一种融入语义模型的遥感图像油罐检测方法，其特征在于，在步骤S2中的油罐检测模型加载了权值文件，仅加载在batch norm层和卷积层，这些层的权值与网络中对应的层顺序完全相同存储。

4.根据权利要求3所述的一种融入语义模型的遥感图像油罐检测方法，其特征在于，在步骤S3中，步骤S2构建的油罐检测模型中的神经网络包括卷积神经和激活函数，其中卷积神经中的卷积层使用1*1卷积与3*3卷积级联的方式，使用具有步幅2的卷积层来对特征图进行下采样，激活操作使用RELU激活函数，生成anchors操作产生9个矩形共有3种形状，宽高比为width:height∈{1:1,1:2,2:1}三种，将anchors放入特征图中与区域标注信息进行修正，计算它们之间的损失值使用检测目标位置边界框的分类损失函数，通过非最大抑制函数(NMS)去除不符合的边界框，通过全连接层进行输出；目标分类计算它们之间的损失值使用所述分类损失函数，并使用softmax函数进行输出， 最终获得特征图的检测信息中每张图像的目标边框为B＝{1,2,3,...,B}，分配标签c∈C到每个目标边框b∈B的概率为p(l|b)，将这些概率编码成矩阵P，在这个过程中使用随机梯度下降(SGD)对学习参数进行更新，神经网络训练包括目标边框检测和目标分类检测。

5.根据权利要求4所述的一种融入语义模型的遥感图像油罐检测方法，其特征在于，在步骤S3中，采用分类置信度表示检测到的对象属于特定类的概率，神经网络训练期间的分类损失函数为：

l(x,y)＝L＝{l₁,...,l_N}^T

l_n＝-w_n[y_n*log x_n+(1-y_n)*log(1-x_n)]

中N代表批次数量，n代表批次序号，w为权值，y为目标值，x为输入。

6.根据权利要求5所述的一种融入语义模型的遥感图像油罐检测方法，其特征在于，在步骤S3中，用于检测目标位置边界框的损失函数为：

l(x,y)＝L＝{l₁,...,l_N}^T

l_n＝(x_n-y_n)²

其中N为批次大小，n代表批次序号，x为输入值，y为目标值。

7.根据权利要求6所述的一种融入语义模型的遥感图像油罐检测方法，其特征在于，在步骤S3中，对图像分类信息得出概念之间的语义一致性，产生了一个新矩阵

不同于所述矩阵P。

8.根据权利要求7所述的一种融入语义模型的遥感图像油罐检测方法，其特征在于，在步骤S3中，起始的关系C经过t步之后，获得关系C”，在语义一致性上，使用随机游走表示：

其中p(r_t＝C”|r₀＝C；α)表示从C开始，在t步骤中达到关系C”的概率，在大量情景知识库中，可以有效计算矩阵S：

9.根据权利要求8所述的一种融入语义模型的遥感图像油罐检测方法，其特征在于，在步骤S4中，为步骤S3中所述目标边框b分配新的标签，所述新的标签为

10.根据权利要求9所述的一种融入语义模型的遥感图像油罐检测方法，其特征在于，在步骤S4中，给定一个量化成对关系之间语义一致性的矩阵，需要进一步将其与检测信息集成，以实现对目标的检测与图像情景的融入，通过获取语义一致性约束的最小化代价函数：

其中b,b'代表同一图像中的两个不同的边界框，B||S_l,*||₁是平方误差，平衡不同的语义关系，ε是超参数ε∈(0,1)。

Images