CN115797633A - 一种遥感图像分割方法、***、存储介质和电子设备 - Google Patents

Abstract

本发明公开了一种遥感图像分割方法、***、存储介质和电子设备，包括：构建包含卷积特征提取网络、边缘语义辅助网络、结合边缘增强与高斯位置编码的transformer网络和分割网络的第一遥感图像分割模型；卷积特征提取网络、边缘语义辅助网络和分割网络分别与结合边缘增强与高斯位置编码的transformer网络连接；基于多个遥感图像样本，对第一遥感图像分割模型进行训练，得到第二遥感图像分割模型，并删除第二遥感图像分割模型中的边缘语义辅助网络，得到目标遥感图像分割模型；将待测遥感图像输入至目标遥感图像分割模型，得到待测遥感图像的目标图像分割结果。本发明提高了图像中目标密集分布情况下的精细准确分割能力。

Description

一种遥感图像分割方法、***、存储介质和电子设备

技术领域

本发明涉及图像处理技术领域，尤其涉及一种遥感图像分割方法、***、存储介质和电子设备。

背景技术

在高空间分辨率光学遥感图像中，存在着丰富的纹理细节。图像中地物密集分布，比如房屋紧密相邻、树木密集生长且遮挡覆盖房屋等，造成目标边缘信息严重丢失。同时，图像中复杂场景信息如光照、阴影等的干扰作用明显，这也给图像的精细准确分割带来了巨大挑战。

注意力机制技术已广泛应用于遥感图像分割中，并取得了显著的效果。近来，transformer模型因其在全局信息提取方面的优势，在计算机视觉领域受到越来越多的关注。然而，在面对目标密集分布等复杂场景下光学遥感图像时，边缘信息丢失较多，分割精度有待提高。

因此，亟需提供一种技术方案解决上述技术问题。

发明内容

为解决上述技术问题，本发明提供了一种遥感图像分割方法、***、存储介质和电子设备。

本发明的一种遥感图像分割方法的技术方案如下：

构建包含卷积特征提取网络、边缘语义辅助网络、结合边缘增强与高斯位置编码的transformer网络和分割网络的第一遥感图像分割模型；其中，所述卷积特征提取网络、所述边缘语义辅助网络和所述分割网络分别与所述结合边缘增强与高斯位置编码的transformer网络连接；

基于多个遥感图像样本，对所述第一遥感图像分割模型进行训练，得到第二遥感图像分割模型，并删除所述第二遥感图像分割模型中的所述边缘语义辅助网络，得到目标遥感图像分割模型；

将待测遥感图像输入至所述目标遥感图像分割模型，得到所述待测遥感图像的目标图像分割结果。

本发明的一种遥感图像分割方法的有益效果如下：

本发明的方法通过卷积特征提取网络、结合边缘增强与高斯位置编码的transformer网络和分割网络对遥感图像进行分割处理，提高了图像中目标密集分布情况下的精细准确分割能力。

在上述方案的基础上，本发明的一种遥感图像分割方法还可以做如下改进。

进一步，还包括：

获取多个遥感图像样本，并对任一遥感图像样本中的至少两种类别进行标注，得到该遥感图像样本对应的语义标注图像，直至得到每个遥感图像样本对应的语义标注图像。

进一步，所述基于多个遥感图像样本，对所述第一遥感图像分割模型进行训练，得到第二遥感图像分割模型的步骤，包括：

将任一遥感图像样本输入所述卷积特征提取网络，得到该遥感图像样本对应的初始特征图，并对该遥感图像样本对应的语义标注图像进行边缘提取，得到并将该遥感图像样本对应的第一边缘图像输入所述边缘语义辅助网络，得到该遥感图像样本对应的边缘语义特征图；

将所述任一遥感图像样本对应的初始特征图和边缘语义特征图输入所述结合边缘增强与高斯位置编码的transformer网络，得到并将该遥感图像样本对应的增强特征图输入所述分割网络，得到该遥感图像样本的第一图像分割结果；

根据所述任一遥感图像样本对应的第一图像分割结果和语义标注图像，得到该遥感图像样本的损失值，直至得到每个遥感图像样本的损失值；

基于所有的损失值，对所述第一遥感图像分割模型进行优化，得到优化后的遥感图像分割模型，并将所述优化后的遥感图像分割模型作为第一遥感图像分割模型并返回执行所述将任一遥感图像样本输入所述卷积特征提取网络的步骤，直至满足预设迭代训练条件时，将所述优化后的遥感图像分割模型确定为所述第二遥感图像分割模型。

进一步，所述卷积特征提取网络包括：至少一个第一卷积层；所述将任一遥感图像样本输入所述卷积特征提取网络，得到该遥感图像样本对应的初始特征图的步骤，包括：

将所述任一遥感图像样本输入所述卷积特征提取网络，以分别通过每个第一卷积层进行特征提取，得到该遥感图像样本对应的初始特征图。

进一步，所述边缘语义辅助网络包括：依次连接设置的边缘向量、非边缘向量和边缘语义层；将所述任一遥感图像样本对应的第一边缘图像输入所述边缘语义辅助网络，得到该遥感图像样本对应的边缘语义特征图的步骤，包括：

将所述任一遥感图像样本对应的第一边缘图像、边缘向量和非边缘向量输入所述边缘语义层进行特征提取，得到该遥感图像样本对应的边缘语义特征图。

进一步，所述结合边缘增强与高斯位置编码的transformer网络包括：至少一个边缘位置transformer模块，每个边缘位置transformer模块包括：依次设置的融合层、位置编码层、第一相加层、多头注意力层、第二相加层、全连接层和第三相加层；将所述任一遥感图像样本对应的初始特征图和边缘语义特征图输入所述结合边缘增强与高斯位置编码的transformer网络，得到该遥感图像样本对应的增强特征图的步骤，包括：

将所述任一遥感图像样本对应的初始特征图和边缘语义特征图输入首个边缘位置transformer模块的融合层进行融合，得到该遥感图像样本对应第一融合特征图，并通过所述首个边缘位置transformer模块的位置编码层对该遥感图像样本对应的第一融合特征图中的每个像素点进行位置编码，得到该第一融合特征图的二维位置编码信息；

将所述任一遥感图像样本对应的第一融合特征图和该第一融合特征图的二维位置编码信息输入所述首个边缘位置transformer模块的第一相加层进行相加，得到该遥感图像样本对应的第一中间特征图；

将所述任一遥感图像样本对应的第一中间特征图输入依次连接设置的首个边缘位置transformer模块的多头注意力层、第二相加层、全连接层和第三相加层进行处理，得到该遥感图像样本对应的第二中间特征图，并将该第二中间特征图作为下一个边缘位置transformer模块的初始特征图，直至通过所有的边缘位置transformer模块进行处理，得到该遥感图像样本对应的增强特征图。

采用上述进一步技术方案的有益效果是：能够进一步充分利用网络中增强的目标边缘信息及二维位置信息，加强对遥感图像分割模型的训练，以提高图像中目标密集分布情况下的精细准确分割能力。

进一步，所述分割网络包括：至少一个第二卷积层；将所述任一遥感图像样本对应的增强特征图输入所述分割网络，得到该遥感图像样本的第一图像分割结果的步骤，包括：

将所述任一遥感图像样本对应的增强特征图输入所述分割网络，以分别通过每个第二卷积层进行特征提取，得到该遥感图像样本的第一图像分割结果。

本发明的一种遥感图像分割***的技术方案如下：

包括：模型构建模块、模型训练模块和图像分割模块；

所述模型构建模块用于：构建包含卷积特征提取网络、边缘语义辅助网络、结合边缘增强与高斯位置编码的transformer网络和分割网络的第一遥感图像分割模型；其中，所述卷积特征提取网络、所述边缘语义辅助网络和所述分割网络分别与所述结合边缘增强与高斯位置编码的transformer网络连接；

所述模型训练模块用于：基于多个遥感图像样本，对所述第一遥感图像分割模型进行训练，得到第二遥感图像分割模型，并删除所述第二遥感图像分割模型中的所述边缘语义辅助网络，得到目标遥感图像分割模型；

所述图像分割模块用于：将待测遥感图像输入至所述目标遥感图像分割模型，得到所述待测遥感图像的目标图像分割结果。

本发明的一种遥感图像分割***的有益效果如下：

本发明的***通过卷积特征提取网络、结合边缘增强与高斯位置编码的transformer网络和分割网络对遥感图像进行分割处理，提高了图像中目标密集分布情况下的精细准确分割能力。

本发明的一种存储介质的技术方案如下：

存储介质中存储有指令，当计算机读取所述指令时，使所述计算机执行如本发明的一种遥感图像分割方法的步骤。

本发明的一种电子设备的技术方案如下：

包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时，使所述计算机执行如本发明的一种遥感图像分割方法的步骤。

附图说明

图1示出了本发明提供的一种遥感图像分割方法的实施例的流程示意图；

图2示出了本发明提供的一种遥感图像分割方法的实施例中步骤120的流程示意图；

图3示出了本发明提供的一种遥感图像分割方法的实施例中的第一遥感图像分割模型的第一结构示意图；

图4示出了本发明提供的一种遥感图像分割方法的实施例中的第一遥感图像分割模型的第二结构示意图；

图5示出了本发明提供的一种遥感图像分割***的实施例的结构示意图。

具体实施方式

图1示出了本发明提供的一种遥感图像分割方法的第一实施例的流程示意图。如图1所示，该方法包括如下步骤：

步骤110：构建包含卷积特征提取网络N1、边缘语义辅助网络N2、结合边缘增强与高斯位置编码的transformer网络N3和分割网络N4的第一遥感图像分割模型。

其中，①所述卷积特征提取网络N1、所述边缘语义辅助网络N2和所述分割网络N4分别与所述结合边缘增强与高斯位置编码的transformer网络N3连接。②卷积特征提取网络N1用于：提取具有局部上下文信息的初始特征图。③边缘语义辅助网络N2用于：获取包含目标边缘丰富的语义信息的边缘语义特征图。④结合边缘增强与高斯位置编码的transformer网络N3用于：基于初始特征图、边缘语义特征图和二维位置编码向量，提取具有边缘语义增强、含有丰富全局信息的增强特征图。⑤分割网络N4用于：基于增强特征图获取图像分割结果。⑥第一遥感图像分割模型为：待训练的遥感图像分割模型。

步骤120：基于多个遥感图像样本，对所述第一遥感图像分割模型进行训练，得到第二遥感图像分割模型，并删除所述第二遥感图像分割模型中的所述边缘语义辅助网络N2，得到目标遥感图像分割模型。

其中，①遥感图像样本为：随机采集的遥感图像，用于对第一遥感图像分割模型进行训练。②第二遥感图像分割模型为：训练好的第一遥感图像分割模型。③目标遥感图像分割模型为：将训练好的第一遥感图像分割模型中的边缘语义辅助网络N2进行删除后所得到的模型，该模型包括：依次连接设置的卷积特征提取网络N1、结合边缘增强与高斯位置编码的transformer网络N3和分割网络N4。

步骤130：将待测遥感图像输入至所述目标遥感图像分割模型，得到所述待测遥感图像的目标图像分割结果。

其中，①待测遥感图像为：任意选取的遥感图像。②目标图像分割结果包括：待测遥感图像的多类别分割得分图。

较优地，还包括：

获取多个遥感图像样本，并对任一遥感图像样本中的至少两种类别进行标注，得到该遥感图像样本对应的语义标注图像，直至得到每个遥感图像样本对应的语义标注图像。

其中，语义标注图像为：包含至少两个类别的遥感图像。

需要说明的是，对遥感图像样本进行类别标注过程为：预先设置至少两种用于区分像素的类别。例如，可以至少设置为需要识别的目标以及背景，设置为2个类别。也可以设置为需要识别的目标A、目标B以及背景，设置为3个类别。以识别建筑物为例，可以对遥感图像中的每个像素进行建筑物和背景的标注，将建筑物识别出来，然后将每个像素标注为建筑物或背景。

较优地，如图2所示，步骤120包括：

步骤121：将任一遥感图像样本输入所述卷积特征提取网络N1，得到该遥感图像样本对应的初始特征图，并对该遥感图像样本对应的语义标注图像进行边缘提取，得到并将该遥感图像样本对应的第一边缘图像输入所述边缘语义辅助网络N2，得到该遥感图像样本对应的边缘语义特征图。

其中，①卷积特征提取网络N1可以包括：第一卷积层{C_i ¹}(i∈{1,…,n_c ¹},n_c ¹≥1)；i为变量，n_c ¹表示第一卷积层的层数。②初始特征图为：遥感图像样本经过第一卷积层{C_i ¹}进行特征提取所得到的特征图。③对语义标注图像进行边缘提取，得到第一边缘图像的过程为现有技术，在此不过多赘述。④边缘语义辅助网络N2可以包括：边缘向量v_e，非边缘向量v_ne，边缘语义层{E_i ²}(i∈{1,…,n_e ²},n_e ²≥1)，门控层{G_i ²}(i∈{1,…,n_g ²},n_g ²≥0)；i为变量，n_e ²表示边缘语义层的层数，n_g ²表示门控层的层数。边缘向量v_e和非边缘向量v_ne为可学习的向量。⑤边缘语义特征图为：第一边缘图像经边缘语义辅助网络N2处理后所得到的特征图。

需要说明的是：①边缘语义辅助网络N2中的边缘语义层E_i，输入为第一边缘图、边缘向量v_e和非边缘向量v_ne，输出为边缘语义特征图E_if。首先，将输入图像对应的语义标注图像进行边缘提取得到第一边缘图像；然后，将第一边缘图像进行膨胀操作，得到边缘膨胀图像；接着，判断边缘膨胀图像中像素(i,j)是否为0，如果为0，则用非边缘向量v_ne对初始边缘语义特征图E_if的像素(i,j)进行赋值，如果不为0，则用边缘向量v_e对初始边缘语义特征图E_if的像素(i,j)进行赋值；基于此，直至对初始边缘语义特征图E_if中的每个像素进行赋值后，即可得到所需的边缘语义特征图E_if。②边缘语义辅助网络N2中的门控层G_i，用于更新边缘语义特征图E_if，其输入为边缘膨胀图像、边缘语义特征图E_if、结合边缘增强与高斯位置编码的transformer网络N3中边缘位置transformer模块输出的特征图EGTB_if，输出为更新后的边缘语义特征图E_(i+1)f。首先，判断边缘膨胀图像中像素(i,j)是否为0，如果为0，则边缘语义特征图中像素(i,j)的取值不更新，如果不为0，则将E_if和EGTB_if中像素(i,j)的取值相加，作为更新后的边缘语义特征图E_(i+1)f像素(i,j)的取值；基于此，即可得到更新后的边缘语义特征图E_(i+1)f。

步骤122：将所述任一遥感图像样本对应的初始特征图和边缘语义特征图输入所述结合边缘增强与高斯位置编码的transformer网络N3，得到并将该遥感图像样本对应的增强特征图输入所述分割网络N4，得到该遥感图像样本的第一图像分割结果。

其中，①结合边缘增强与高斯位置编码的transformer网络N3可以包括：边缘位置transformer模块{EGTB_i ³}(i∈{1，...，n_egtb ³}，n_egtb ³≥1)，下采样层{D_i ³}(i∈{1，...，n_d ³}，nd³≥0)；i为变量，n_egtb ³表示边缘位置transformer模块的个数，n_d ³表示下采样层的层数。每个边缘位置transformer模块包含融合层M，位置编码层P，多头注意力层MA，全连接层FC和相加层{第一相加层A₁，第二相加层A₂，第三相加层A₃}。②增强特征图为：初始特征图和边缘语义特征图经过所述结合边缘增强与高斯位置编码的transformer网络N3进行处理后所得到的特征图。③分割网络N4可以包括第二卷积层{C_i ⁴或S_i ⁴}(i∈{1，...，n_c ⁴}，n_c ⁴≥1)，上采样层{U_i ⁴}(i∈{1，...，n_u ⁴}，n_u ⁴≥0)；i为变量，n_c ⁴表示卷积层的层数，n_u ⁴表示上采样层的层数。④第一图像分割结果为：遥感图像样本对应的多类别分割得分图。

需要说明的是：结合边缘增强与高斯位置编码的transformer网络N3中的位置编码层P，采用K个二维高斯函数计算特征图中每个像素(i，j)的位置编码，公式如下：

其中，p∈R^K×d为可学习的编码矩阵，d为位置编码的维度，μ₁∈R^K、μ₂∈R^K为可学习的均值向量，σ₁∈R^K、σ₂∈R^K为可学习的标准差向量，ρ∈R^K为可学习的紧密程度参数向量，ω为K个二维高斯分布的贡献权重，P为最终得到的二维位置编码。通过采用多个二维高斯分布来计算位置编码，可自适应捕捉图像中不同位置的目标分布情况，为图像的精细准确分割提供有效的位置分布信息。

步骤123：根据所述任一遥感图像样本对应的第一图像分割结果和语义标注图像，得到该遥感图像样本的损失值，直至得到每个遥感图像样本的损失值。

具体地，对任一遥感图像样本对应的第一图像分割结果和语义标注图像进行比较，并基于第一遥感图像分割模型的损失函数，得到该遥感图像样本的损失值，重复上述方式，直至得到每个遥感图像样本的损失值。

步骤124：基于所有的损失值，对所述第一遥感图像分割模型进行优化，得到优化后的遥感图像分割模型，并将所述优化后的遥感图像分割模型作为第一遥感图像分割模型并返回执行步骤121，直至满足预设迭代训练条件时，将所述优化后的遥感图像分割模型确定为所述第二遥感图像分割模型。

其中，①预设迭代训练条件为：达到最大迭代训练次数或损失函数收敛等。②优化后的遥感图像分割模型为：经过一次迭代训练后所得到的遥感图像分割模型。

具体地，根据所有的损失值，对第一遥感图像分割模型的参数进行优化，得到优化后的遥感图像分割模型，判断优化后的遥感图像分割模型是否满足预设迭代训练条件；若是，则将优化后的遥感图像分割模型确定为第二遥感图像分割模型；若否，则将优化后的遥感图像分割模型作为第一遥感图像分割模型并返回执行步骤121，直至满足预设迭代训练条件时，将优化后的遥感图像分割模型确定为第二遥感图像分割模型。

较优地，所述卷积特征提取网络N1包括：至少一个第一卷积层；所述将任一遥感图像样本输入所述卷积特征提取网络N1，得到该遥感图像样本对应的初始特征图的步骤，包括：

将所述任一遥感图像样本输入所述卷积特征提取网络N1，以分别通过每个第一卷积层进行特征提取，得到该遥感图像样本对应的初始特征图。

其中，图3示出了第一遥感图像分割模型的第一结构图。如图3所示，卷积特征提取网络N1包括：至少一个卷积层C₁ ¹。

较优地，所述边缘语义辅助网络N2包括：依次连接设置的边缘向量、非边缘向量和边缘语义层。

其中，如图3所示，边缘语义辅助网络N2包括依次设置的边缘向量v_e，非边缘向量v_ne和一个边缘语义层E₁ ²。

将所述任一遥感图像样本对应的第一边缘图像输入所述边缘语义辅助网络N2，得到该遥感图像样本对应的边缘语义特征图的步骤，包括：

将所述任一遥感图像样本对应的第一边缘图像、边缘向量和非边缘向量输入所述边缘语义层进行特征提取，得到该遥感图像样本对应的边缘语义特征图。

较优地，所述结合边缘增强与高斯位置编码的transformer网络N3包括：至少一个边缘位置transformer模块，每个边缘位置transformer模块包括：依次设置的融合层、位置编码层、第一相加层、多头注意力层、第二相加层、全连接层和第三相加层。

其中，如图3所示，结合边缘增强与高斯位置编码的transformer网络N3包括一个边缘位置transformer模块，该模块中包括：依次连接设置的一个融合层M₁ ³、一个位置编码层P₁ ³、一个第一相加层A₁₁ ³、一个多头注意力层MA₁ ³、一个第二相加层A₁₂ ³、一个全连接层FC₁ ³和一个第三相加层A₁₃ ³。

将所述任一遥感图像样本对应的初始特征图和边缘语义特征图输入所述结合边缘增强与高斯位置编码的transformer网络N3，得到该遥感图像样本对应的增强特征图的步骤，包括：

将所述任一遥感图像样本对应的初始特征图和边缘语义特征图输入首个边缘位置transformer模块的融合层进行融合，得到该遥感图像样本对应第一融合特征图，并通过所述首个边缘位置transformer模块的位置编码层对该感图像样本对应的第一融合特征图中的每个像素点进行位置编码，得到该第一融合特征图的二维位置编码信息。

其中，①第一融合特征图为边缘位置transformer模块的融合层对遥感图像样本对应的初始特征图和边缘语义特征图进行融合所得到的特征图。②二维位置编码信息根据位置编码层P₁ ³对第一融合特征图中的像素进行位置编码所得到。

将所述任一遥感图像样本对应的第一融合特征图和该第一融合特征图的二维位置编码信息输入所述首个边缘位置transformer模块的第一相加层进行相加，得到该遥感图像样本对应的第一中间特征图。

需要说明的是，在训练阶段，由于第一遥感图像分割模型中包含有边缘语义辅助网络N2，故第一融合特征图由初始特征图和边缘语义特征图融合得到。在测试阶段，由于目标遥感图像分割模型中不包含边缘语义辅助网络N2，故第一融合特征图为初始特征图。

将所述任一遥感图像样本对应的第一中间特征图输入依次连接设置的首个边缘位置transformer模块的多头注意力层、第二相加层、全连接层和第三相加层进行处理，得到该遥感图像样本对应的第二中间特征图，并将该第二中间特征图作为下一个边缘位置transformer模块的初始特征图，直至通过所有的边缘位置transformer模块进行处理，得到该遥感图像样本对应的增强特征图。

较优地，所述分割网络N4包括：至少一个第二卷积层。

其中，如图3所示，分割网络N4包括：一个卷积层S₁ ⁴。

将所述任一遥感图像样本对应的增强特征图输入所述分割网络N4，得到该遥感图像样本的第一图像分割结果的步骤，包括：

将所述任一遥感图像样本对应的增强特征图输入所述分割网络N4，以分别通过每个第二卷积层进行特征提取，得到该遥感图像样本的第一图像分割结果。

此外，图4示出了第一遥感图像分割模型的第二结构图。如图4所示，卷积特征提取网络N1包括依次设置的第一卷积层C₁ ¹和第一卷积层C₂ ¹；即在卷积特征提取网络N1中，共包括n_c ¹＝2个卷积层。

边缘语义辅助网络N2包括依次设置的边缘向量v_e、非边缘向量v_ne、边缘语义层E₁ ²、门控层G₁ ²和门控层G₂ ²；即在边缘语义辅助网络N2中，共包括n_e ²＝1个边缘语义层，n_g ²＝2个门控层。

结合边缘增强与高斯位置编码的transformer网络N3包括依次设置的边缘位置transformer模块EGTB₁ ³、下采样层D₁ ³、边缘位置transformer模块EGTB₂ ³、下采样层D₂ ³、边缘位置transformer模块EGTB₃ ³。其中，每个边缘位置transformer模块中包括依次设置的融合层M₁ ³、位置编码层P₁ ³、第一相加层A₁₁ ³、多头注意力层MA₁ ³、第二相加层A₁₂ ³、全连接层FC₁ ³和第三相加层A₁₃ ³。即在结合边缘增强与高斯位置编码的transformer网络N3中，共包括n₁+n₂+n₃个融合层，n₁+n₂+n₃个位置编码层，n₁+n₂+n₃个多头注意力层，n₁+n₂+n₃个全连接层，3×(n₁+n₂+n₃)个相加层，2个下采样层；共包括n_egtb ³＝n₁+n₂+n₃个EGTB模块，以及n_d ³＝2个下采样层。

需要说明的是，图4中的边缘位置transformer模块框出的部分，可以将融合层M₁ ³、位置编码层P₁ ³、多头注意力层MA₁ ³、全连接层FC₁ ³和相加层{A₁₁ ³,A₁₂ ³,A₁₃ ³}作为一组处理层，用于提取全局上下文信息，得到增强特征图，那么还包括并列设置的其余多组相同结构。

分割网络N4包括依次设置的第二卷积层C₁ ⁴、第二卷积层C₂ ⁴、上采样层U₁ ⁴、第二卷积层C₃ ⁴、第二卷积层C₄ ⁴、上采样层U₂ ⁴、第二卷积层C₅ ⁴、第二卷积层C₆ ⁴和第二卷积层S₁ ⁴。也就是说，在分割网络N4中，共包括n_c ⁴＝7个卷积层，n_u ⁴＝2个上采样层。

需要说明的是，①下采样层可以利用池化操作或带有步进大于1的卷积操作实现，对特征进行降维。上采样层可以利用转置卷积操作或双线性插值操作或上池化操作实现，对特征进行升维。融合层可以利用加法操作或串接操作或均值操作实现，对多个特征进行信息融合。②C代表卷积核为3×3的卷积层，S代表卷积核为1×1的卷积层。③卷积特征提取网络N1中的卷积层用于提取具有局部上下文信息的初始特征图。④边缘语义辅助网络N2中边缘语义层用于提取包含丰富目标边缘信息的边缘语义特征图；门控层基于不断学习的特征图来更新边缘语义特征图。⑤结合边缘增强与高斯位置编码的transformer网络N3中融合层用于充分融合初始特征图和边缘语义特征图；位置编码层用于自适应捕捉图像中不同位置的目标分布情况，提供有效的目标位置分布信息；多头注意力层、相加层和全连接层用于提取全局上下文信息，得到增强特征图。⑥分割网络N4中上采样层用于对图像特征进行升维，逐步达到原始图像大小；卷积层用于细化特征图，其中最后一层卷积层用于生成得分图，得到图像分割结果。

本实施例的技术方案适用于目标密集分布等复杂场景下的遥感图像分割，通过卷积特征提取网络N1、结合边缘增强与高斯位置编码的transformer网络N3和分割网络N4对遥感图像进行分割处理，能够充分利用网络中增强的目标边缘信息及二维位置信息，提高遥感图像中目标密集分布情况下的精细准确分割能力。

图5示出了本发明提供的一种遥感图像分割***的实施例的结构示意图。如图5所示，该***200包括：模型构建模块210、模型训练模块220和图像分割模块230。

所述模型构建模块210用于：构建包含卷积特征提取网络N1、边缘语义辅助网络N2、结合边缘增强与高斯位置编码的transformer网络N3和分割网络N4的第一遥感图像分割模型；其中，所述卷积特征提取网络N1、所述边缘语义辅助网络N2和所述分割网络N4分别与所述结合边缘增强与高斯位置编码的transformer网络N3连接；

所述模型训练模块220用于：基于多个遥感图像样本，对所述第一遥感图像分割模型进行训练，得到第二遥感图像分割模型，并删除所述第二遥感图像分割模型中的所述边缘语义辅助网络N2，得到目标遥感图像分割模型；

所述图像分割模块230用于：将待测遥感图像输入至所述目标遥感图像分割模型，得到所述待测遥感图像的目标图像分割结果。

本实施例的技术方案适用于目标密集分布等复杂场景下的遥感图像分割，通过卷积特征提取网络N1、结合边缘增强与高斯位置编码的transformer网络N3和分割网络N4对遥感图像进行分割处理，能够充分利用网络中增强的目标边缘信息及二维位置信息，提高遥感图像中目标密集分布情况下的精细准确分割能力。

上述关于本实施例的一种遥感图像分割***200中的各参数和各个模块实现相应功能的步骤，可参考上文中关于一种遥感图像分割方法的实施例中的各参数和步骤，在此不做赘述。

本发明实施例提供的一种存储介质，包括：存储介质中存储有指令，当计算机读取所述指令时，使所述计算机执行如一种遥感图像分割方法的步骤，具体可参考上文中一种遥感图像分割方法的实施例中的各参数和步骤，在此不做赘述。

计算机存储介质例如：优盘、移动硬盘等。

本发明实施例提供的一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时，使所述计算机执行如一种遥感图像分割方法的步骤，具体可参考上文中的一种遥感图像分割方法的实施例中的各参数和步骤，在此不做赘述。

所属技术领域的技术人员知道，本发明可以实现为方法、***、存储介质和电子设备。

因此，本发明可以具体实现为以下形式，即：可以是完全的硬件、也可以是完全的软件(包括固件、驻留软件、微代码等)，还可以是硬件和软件结合的形式，本文一般称为“电路”、“模块”或“***”。此外，在一些实施例中，本发明还可以实现为在一个或多个计算机可读介质中的计算机程序产品的形式，该计算机可读介质中包含计算机可读的程序代码。可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是但不限于——电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)，只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行***、装置或者器件使用或者与其结合使用。尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种遥感图像分割方法，其特征在于，包括：

构建包含卷积特征提取网络、边缘语义辅助网络、结合边缘增强与高斯位置编码的transformer网络和分割网络的第一遥感图像分割模型；其中，所述卷积特征提取网络、所述边缘语义辅助网络和所述分割网络分别与所述结合边缘增强与高斯位置编码的transformer网络连接；

基于多个遥感图像样本，对所述第一遥感图像分割模型进行训练，得到第二遥感图像分割模型，并删除所述第二遥感图像分割模型中的所述边缘语义辅助网络，得到目标遥感图像分割模型；

将待测遥感图像输入至所述目标遥感图像分割模型，得到所述待测遥感图像的目标图像分割结果。

2.根据权利要求1所述的遥感图像分割方法，其特征在于，还包括：

获取多个遥感图像样本，并对任一遥感图像样本中的至少两种类别进行标注，得到该遥感图像样本对应的语义标注图像，直至得到每个遥感图像样本对应的语义标注图像。

3.根据权利要求2所述的遥感图像分割方法，其特征在于，所述基于多个遥感图像样本，对所述第一遥感图像分割模型进行训练，得到第二遥感图像分割模型的步骤，包括：

将任一遥感图像样本输入所述卷积特征提取网络，得到该遥感图像样本对应的初始特征图，并对该遥感图像样本对应的语义标注图像进行边缘提取，得到并将该遥感图像样本对应的第一边缘图像输入所述边缘语义辅助网络，得到所述该遥感图像样本对应的边缘语义特征图；

将所述任一遥感图像样本对应的初始特征图和边缘语义特征图输入所述结合边缘增强与高斯位置编码的transformer网络，得到并将该遥感图像样本对应的增强特征图输入所述分割网络，得到该遥感图像样本的第一图像分割结果；

根据所述任一遥感图像样本对应的第一图像分割结果和语义标注图像，得到该遥感图像样本的损失值，直至得到每个遥感图像样本的损失值；

基于所有的损失值，对所述第一遥感图像分割模型进行优化，得到优化后的遥感图像分割模型，并将所述优化后的遥感图像分割模型作为第一遥感图像分割模型并返回执行所述将任一遥感图像样本输入所述卷积特征提取网络的步骤，直至满足预设迭代训练条件时，将所述优化后的遥感图像分割模型确定为所述第二遥感图像分割模型。

4.根据权利要求3所述的遥感图像分割方法，其特征在于，所述卷积特征提取网络包括：至少一个第一卷积层；所述将任一遥感图像样本输入所述卷积特征提取网络，得到该遥感图像样本对应的初始特征图的步骤，包括：

将所述任一遥感图像样本输入所述卷积特征提取网络，以分别通过每个第一卷积层进行特征提取，得到该遥感图像样本对应的初始特征图。

5.根据权利要求3所述的遥感图像分割方法，其特征在于，所述边缘语义辅助网络包括：依次连接设置的边缘向量、非边缘向量和边缘语义层；将所述任一遥感图像样本对应的第一边缘图像输入所述边缘语义辅助网络，得到该遥感图像样本对应的边缘语义特征图的步骤，包括：

将所述任一遥感图像样本对应的第一边缘图像、边缘向量和非边缘向量输入所述边缘语义层进行特征提取，得到该遥感图像样本对应的边缘语义特征图。

6.根据权利要求3所述的遥感图像分割方法，其特征在于，所述结合边缘增强与高斯位置编码的transformer网络包括：至少一个边缘位置transformer模块，每个边缘位置transformer模块包括：依次设置的融合层、位置编码层、第一相加层、多头注意力层、第二相加层、全连接层和第三相加层；将所述任一遥感图像样本对应的初始特征图和边缘语义特征图输入所述结合边缘增强与高斯位置编码的transformer网络，得到该遥感图像样本对应的增强特征图的步骤，包括：

将所述任一遥感图像样本对应的初始特征图和边缘语义特征图输入首个边缘位置transformer模块的融合层进行融合，得到该遥感图像样本对应第一融合特征图，并通过所述首个边缘位置transformer模块的位置编码层对该遥感图像样本对应的第一融合特征图中的每个像素点进行位置编码，得到该第一融合特征图的二维位置编码信息；

将所述任一遥感图像样本对应的第一融合特征图和该第一融合特征图的二维位置编码信息输入所述首个边缘位置transformer模块的第一相加层进行相加，得到该遥感图像样本对应的第一中间特征图；

将所述任一遥感图像样本对应的第一中间特征图输入依次连接设置的首个边缘位置transformer模块的多头注意力层、第二相加层、全连接层和第三相加层进行处理，得到该遥感图像样本对应的第二中间特征图，并将该第二中间特征图作为下一个边缘位置transformer模块的初始特征图，直至通过所有的边缘位置transformer模块进行处理，得到该遥感图像样本对应的增强特征图。

7.根据权利要求3所述的遥感图像分割方法，其特征在于，所述分割网络包括：至少一个第二卷积层；将所述任一遥感图像样本对应的增强特征图输入所述分割网络，得到该遥感图像样本的第一图像分割结果的步骤，包括：

将所述任一遥感图像样本对应的增强特征图输入所述分割网络，以分别通过每个第二卷积层进行特征提取，得到该遥感图像样本的第一图像分割结果。

8.一种遥感图像分割***，其特征在于，包括：模型构建模块、模型训练模块和图像分割模块；

所述模型构建模块用于：构建包含卷积特征提取网络、边缘语义辅助网络、结合边缘增强与高斯位置编码的transformer网络和分割网络的第一遥感图像分割模型；其中，所述卷积特征提取网络、所述边缘语义辅助网络和所述分割网络分别与所述结合边缘增强与高斯位置编码的transformer网络连接；

所述模型训练模块用于：基于多个遥感图像样本，对所述第一遥感图像分割模型进行训练，得到第二遥感图像分割模型，并删除所述第二遥感图像分割模型中的所述边缘语义辅助网络，得到目标遥感图像分割模型；

所述图像分割模块用于：将待测遥感图像输入至所述目标遥感图像分割模型，得到所述待测遥感图像的目标图像分割结果。

9.一种存储介质，其特征在于，所述存储介质中存储有指令，当计算机读取所述指令时，使所述计算机执行如权利要求1至7中任一项所述的遥感图像分割方法。

10.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时，使所述计算机执行如权利要求1至7中任一项所述的遥感图像分割方法。

Images