CN114627372A - 基于域内迁移学习的宽幅遥感影像舰船目标快速检测方法 - Google Patents

Abstract

本发明提供了一种基于域内迁移学习的宽幅遥感影像舰船目标快速检测方法，属于卫星影像识别领域，首先，创建多谱段分类网络模型，预训练特征提取网络；其次，建立单阶段旋转目标检测模型，微调特征提取网络，对目标检测网络进行权重更新；再次，采用基于风格迁移算法的薄云去除网络对遥感图像进行薄云去除训练；然后，在预测阶段利用全球30米地表覆盖精细分类产品对遥感图像进行海陆分割；最后，结合海面及海岸线掩膜及区域失活方式对目标检测网络进行轻量化处理，提高检测速度。相较于以往的检测方法，本发明在特征提取器训练、薄云去除、模型轻量化等多个角度进行改进，实现更高精度，更快速度的宽幅遥感影像舰船目标检测。

Description

基于域内迁移学习的宽幅遥感影像舰船目标快速检测方法

技术领域

本发明属于卫星影像识别领域，更具体地涉及一种基于域内迁移学习的宽幅遥感影像舰船目标快速检测方法。

背景技术

随着遥感技术的快速发展，卫星的时间分辨率、空间分辨率和光谱分辨率大幅提升，使得遥感数据量***式增长，为了从遥感大数据中提取有效信息，国内外研究者们做出了大量研究，其中遥感影像舰船目标检测是一个重要的研究方向。近些年，深度学习在计算机视觉领域的成功应用，为遥感图像处理带来了新方法，现有的遥感影像目标检测方法大都基于迁移学习方法，即采用大规模自然场景下的图像数据集对特征提取器进行预训练，使得卷积神经网络具备提取边缘、角点、纹理、语义等特征的能力，然后在此基础上进行特征工程设计和专用的损失函数设计，达到遥感目标检测的能力。但是这种迁移学习是跨域的，是采用自然图像域的图像训练遥感图像域的特征提取器，存在两个问题，其一是自然图像多采用8位存储，而遥感图像多采用16位存储，16比特位深图像包含的信息要比8比特位深图像多很多；其二是自然图像的目标模式与遥感图像的目标模式差距较大，采用自然图像预训练的特征提取器，其特征表示范围不足。此外，深度学习模型运算量大，检测速度慢。

发明内容

本发明的目的是针对跨域迁移学习的弊端和深度学习模型运算效率低的问题，提出一种基于域内迁移学习的宽幅遥感影像舰船目标快速检测方法。

本发明采用的技术方案为：

一种基于域内迁移学习的宽幅遥感影像舰船目标快速检测方法，包括：

步骤1：创建多谱段分类网络模型，并使用原始遥感影像对多谱段分类网络模型进行场景分类训练，得到预训练的特征提取网络；

步骤2：构造目标检测网络，将预训练的特征提取网络的输出特征作为目标检测网络的输入，从而建立单阶段旋转目标检测模型，并利用舰船目标检测数据集对单阶段旋转目标检测模型进行目标检测训练，得到训练后的特征提取网络和目标检测网络；

步骤3：构建基于风格迁移算法的薄云去除网络，将无云遥感影像、含云遥感影像和噪声影像作为训练后的特征提取网络的输入，将特征提取网络的输出特征作为薄云去除网络的输入，对薄云去除网络模型进行训练，得到训练后的薄云去除网络；

步骤4：在预测阶段，利用地表覆盖精细分类产品对遥感影像进行海陆分割，得到海面及海岸线掩膜；

步骤5：将训练后的特征提取网络、薄云去除网络和目标检测网络进行级联，将海面及海岸线掩膜和待检测遥感影像一同输入到特征提取网络中，利用区域失活方式对特征提取网络进行轻量化处理，并对海岸线附近及海面舰船进行特征提取、薄云去除和目标检测。

进一步的，步骤1具体为：

创建多谱段分类网络模型，多谱段分类网络模型除输入层和输出层外，采用Darknet53网络结构；输入层采用4通道，输入16位原始遥感影像；输出层采用45维交叉熵损失，45表示场景分类的类别数量，并对场景标签进行平滑正则化处理，得到预训练的特征提取网络。

进一步的，步骤2中，目标检测网络采用YOLOv4检测算法，YOLOv4检测算法的检测框描述方式具体为：使用4个顶点，8个坐标参数的形式进行检测框的描述：{x₁,y₁,x₂,y₂,x₃,y₃,x₄,y₄}；同时，采用任意四边形IOU计算方式取代矩形IOU计算方式。

进一步的，步骤3具体为：

构建基于风格迁移算法的薄云去除网络，将含云遥感影像作为风格图像a，将无云遥感影像作为内容图像p，将风格图像a、内容图像p以及随机噪声图像x作为训练后的特征提取网络的输入，分别提取风格图像的真实地物的多尺度风格特征和云雾的模糊纹理特征A^l、内容图像的锐化纹理特征P^l以及随机噪声图像的风格特征G^l和锐化纹理特征F^l，l表示特征层编号；并建立随机噪声图像与风格图像之间风格特征的损失函数

以及随机噪声图像与内容图像之间的锐化纹理特征的损失函数

利用特征提取网络的输出训练薄云去除网络，通过迭代训练，使得随机噪声图像具备风格图像的风格特征和内容图像的锐化纹理特征，此时，得到的随机噪声图像即为含云遥感影像去云后的图像；其中，w^l和v^l表示损失函数第l层的权重系数。

进一步的，步骤5中，利用区域失活方式对特征提取网络进行轻量化处理，具体为：

将待检测遥感影像和海面及海岸线掩膜同时作为特征提取网络的输入，对海陆分割掩膜中陆地部分所对应的卷积层和池化层进行区域失活处理，从而减少特征提取网络的计算量。

本发明相对于现有技术优点为：

(1)在特征提取网络训练阶段，采用基于域迁移学习的方法，可以使特征提取网络提取的特征更丰富，更适应遥感影像目标检测。

(2)在薄云去除阶段，采用风格迁移网络进行薄云去除，无需创建有云-无云影像对，节省了标注成本。

(3)在预测阶段，采用区域失活的方式进行模型轻量化处理，既不损失检测精度，又可以降低虚警，同时能够提高检测速度。

附图说明

图1为本发明提出方法的总体技术流程图。

图2为本发明使用的薄云去除算法的示意图。

图3(a)为待检测遥感影像，图3(b)为与待检测遥感影像对应的30米地表覆盖精细分类产品，图3(c)为将待检测影像与30米地表覆盖精细分类产品进行配准后的结果，图3(d)为根据海陆分割掩膜进行区域失活操作的示意图，图3(e)为根据海陆分割掩膜和待检测影像有效范围进行区域失活操作的示意图。

具体实施方式

深度学习在计算机视觉领域的成功应用，为遥感图像处理带来了新方法，而现有的遥感影像目标检测方法大都基于跨域迁移学习方法，本发明针对跨域迁移学习的弊端和深度学习模型运算效率低的问题，设计了一种基于域内迁移学习的宽幅遥感影像舰船目标快速检测方法，具体流程图如图1所示。

下面结合附图对本发明的具体实施方式和基本原理做进一步的说明。

步骤1：创建多谱段分类网络模型，除输入层和输出层外，多谱段分类网络采用Darknet53网络结构；输入层采用4通道，16位原始遥感影像，避免了通道剔除和影像拉伸带来的信息损失；输出层采用45维交叉熵损失，45表示场景分类的类别数量，并且对场景标签进行平滑正则化处理，降低网络学习难度，加快收敛速度。然后，使用16位原始遥感影像对多谱段分类网络模型进行场景分类训练，得到预训练的特征提取网络，使其具备遥感影像特征提取能力。预训练后的特征提取网络将在后续步骤中使用，具体如图1所示；

步骤2：构造目标检测网络，将预训练的特征提取网络的输出特征作为目标检测网络的输入，从而建立单阶段旋转目标检测模型；目标检测网络采用改进的YOLOv4检测算法，在目标定位阶段对检测框描述方式进行改进，使用4个顶点，8个坐标参数的形式进行检测框的描述：{x₁,y₁,x₂,y₂,x₃,y₃,x₄,y₄}。同时，采用任意四边形IOU计算方式取代矩形IOU计算方式。然后，利用舰船目标检测数据集对单阶段旋转目标检测模型进行目标检测训练，对特征提取器进行微调，对目标检测网络进行权重更新，本阶段微调训练后的特征提取网络在后续步骤中仍将沿用，本阶段训练的目标检测网络将直接用于模型预测阶段，如图1所示；

步骤3构建基于风格迁移算法的薄云去除网络，将无云遥感影像、含云遥感影像和噪声影像作为训练后的特征提取网络的输入，将特征提取网络的输出特征作为薄云去除网络的输入，对薄云去除网络模型进行训练，得到训练后的薄云去除网络；如图2所示，构建基于风格迁移算法的薄云去除网络，将含云遥感影像作为风格图像a，将无云遥感影像作为内容图像p，将风格图像a、内容图像p以及随机噪声图像x作为训练后的特征提取网络的输入，分别提取风格图像的真实地物的多尺度风格特征和云雾的模糊纹理特征A^l、内容图像的锐化纹理特征P^l以及随机噪声图像的风格特征G^l和锐化纹理特征F^l，l表示特征层编号；并建立随机噪声图像与风格图像之间风格特征的损失函数

以及随机噪声图像与内容图像之间的锐化纹理特征的损失函数

利用特征提取网络的输出训练薄云去除网络，通过迭代训练，使得随机噪声图像具备风格图像的风格特征和内容图像的锐化纹理特征，此时，得到的随机噪声图像即为含云遥感影像去云后的图像；其中，w^l和v^l表示损失函数第l层的权重系数。

步骤4：在预测阶段，利用全球30米地表覆盖精细分类产品GLC_FCS30对遥感图像进行海陆分割，得到海面及海岸线掩膜，待检测遥感影像如图3(a)所示，与待检测遥感影像对应的30米地表覆盖精细分类产品如图3(b)所示，图3(c)为将待检测影像与30米地表覆盖精细分类产品进行配准后的结果；

步骤5：将训练后的特征提取网络、薄云去除网络和目标检测网络进行级联，将海面及海岸线掩膜和待检测遥感影像一同输入到特征提取网络中，利用区域失活方式对特征提取网络进行轻量化处理，并对海岸线附近及海面舰船进行特征提取、薄云去除和目标检测。如图1所示，将待检测遥感图像和海陆分割掩膜同时作为输入；区域失活策略如图3所示，首先根据海陆分割掩膜进行区域失活操作，如图3(d)所示，对与陆地掩膜对应的卷积和池化操作进行失活处理，使其不参与运算；其次，根据海陆分割掩膜和待检测影像有效范围进行区域失活操作，如图3(e)所示，对输入影像中无效区域同样进行失活处理，从而减少计算量，提高预测速度，降低虚警。

本发明针对跨域迁移学习的弊端和深度学习模型运算效率低的问题，设计了一种基于域内迁移学习的宽幅遥感影像舰船目标快速检测方法。本发明提供的基于域迁移学习的方法，可以使特征提取网络提取的特征更丰富。同时，本发明采用风格迁移网络进行薄云去除，无需创建有云-无云影像对，节省了标注成本。并且，本发明采用区域失活的方式进行模型轻量化处理，既不损失检测精度，又可以降低虚警，同时能够提高检测速度。

Claims (5)

1.一种基于域内迁移学习的宽幅遥感影像舰船目标快速检测方法，其特征在于，包括：

步骤1：创建多谱段分类网络模型，并使用原始遥感影像对多谱段分类网络模型进行场景分类训练，得到预训练的特征提取网络；

步骤2：构造目标检测网络，将预训练的特征提取网络的输出特征作为目标检测网络的输入，从而建立单阶段旋转目标检测模型，并利用舰船目标检测数据集对单阶段旋转目标检测模型进行目标检测训练，得到训练后的特征提取网络和目标检测网络；

步骤3：构建基于风格迁移算法的薄云去除网络，将无云遥感影像、含云遥感影像和噪声影像作为训练后的特征提取网络的输入，将特征提取网络的输出特征作为薄云去除网络的输入，对薄云去除网络模型进行训练，得到训练后的薄云去除网络；

步骤4：在预测阶段，利用地表覆盖精细分类产品对遥感影像进行海陆分割，得到海面及海岸线掩膜；

步骤5：将训练后的特征提取网络、薄云去除网络和目标检测网络进行级联，将海面及海岸线掩膜和待检测遥感影像一同输入到特征提取网络中，利用区域失活方式对特征提取网络进行轻量化处理，并对海岸线附近及海面舰船进行特征提取、薄云去除和目标检测。

2.根据权利要求1所述的一种基于域内迁移学习的宽幅遥感影像舰船目标快速检测方法，其特征在于，步骤1具体为：

创建多谱段分类网络模型，多谱段分类网络模型除输入层和输出层外，采用Darknet53网络结构；输入层采用4通道，输入16位原始遥感影像；输出层采用45维交叉熵损失，45表示场景分类的类别数量，并对场景标签进行平滑正则化处理，得到预训练的特征提取网络。

3.根据权利要求书1所述的一种基于域内迁移学习的宽幅遥感影像舰船目标快速检测方法，其特征在于，步骤2中，目标检测网络采用YOLOv4检测算法，YOLOv4检测算法的检测框描述方式具体为：使用4个顶点，8个坐标参数的形式进行检测框的描述：{x₁,y₁,x₂,y₂,x₃,y₃,x₄,y₄}；同时，采用任意四边形IOU计算方式取代矩形IOU计算方式。

4.根据权利要求1所述的一种基于域内迁移学习的宽幅遥感影像舰船目标快速检测方法，其特征在于，步骤3具体为：

构建基于风格迁移算法的薄云去除网络，将含云遥感影像作为风格图像a，将无云遥感影像作为内容图像p，将风格图像a、内容图像p以及随机噪声图像x作为训练后的特征提取网络的输入，分别提取风格图像的真实地物的多尺度风格特征和云雾的模糊纹理特征A^l、内容图像的锐化纹理特征P^l以及随机噪声图像的风格特征G^l和锐化纹理特征F^l，l表示特征层编号；并建立随机噪声图像与风格图像之间风格特征的损失函数

以及随机噪声图像与内容图像之间的锐化纹理特征的损失函数

利用特征提取网络的输出训练薄云去除网络，通过迭代训练，使得随机噪声图像具备风格图像的风格特征和内容图像的锐化纹理特征，此时，得到的随机噪声图像即为含云遥感影像去云后的图像；其中，w^l和v^l表示损失函数第l层的权重系数。

5.根据权利要求1所述的一种基于域内迁移学习的宽幅遥感影像舰船目标快速检测方法，其特征在于，步骤5中，利用区域失活方式对特征提取网络进行轻量化处理，具体为：

将待检测遥感影像和海面及海岸线掩膜同时作为特征提取网络的输入，对海陆分割掩膜中陆地部分所对应的卷积层和池化层进行区域失活处理，从而减少特征提取网络的计算量。

Images