CN116630610A - 基于语义分割模型和条件随机场的roi区域提取方法 - Google Patents

Abstract

本发明公开了基于语义分割模型和条件随机场的ROI区域提取方法，包括以下步骤：获取遥感影像初始数据集，得到遥感影像数据集；对遥感影像数据集进行预处理；将预处理后的遥感影像数据集按照一定的比例划分为训练数据集、验证数据集；建立改进的BCNet语义分割模型，利用训练集训练各变量值，利用验证集验证准确度，得到最佳的初步语义分割模型；将待预测ROI区域图像输入训练好的语义分割模型，得到ROI区域预测概率图，采用平均场算法推断出各像素标签得到最终的语义分割结果，输出ROI区域。本发明能有效针对遥感图像目标尺度不一致，目标区域的条状部位在深度卷积神经网络中进行特征提取时，小目标特征逐渐遗失等问题，同时获得更高的分割精度。

Description

基于语义分割模型和条件随机场的ROI区域提取方法

技术领域

本发明属于图像处理技术领域，具体涉及一种基于语义分割模型和条件随机场的ROI区域提取方法。

背景技术

语义分割是计算机视觉领域的关键问题之一，旨在对每个像素进行密集的预测来赋予每个像素所属的类别。在遥感领域，各种语义分割方法被广泛地用于遥感影像分类，在国土信息资源领域，遥感影像语义分割可以为空间规划、国土资源普查提供依据。语义分割简化了图像，提炼了图像的信息，便于场景理解与高层视觉任务，研究快速、鲁棒以及准确的语义分割方法具有重要意义。

遥感图像具有分辨率高、背景复杂，目标尺度不一致、维度高等特点，从遥感图像中自动进行类别提取和分割，并获取其精确的边缘轮廓信息，始终是遥感图像自动化解译方向追求的目标。传统的分割方法无法针对遥感图像自身特点，获取高精度的分割结果，同时在图像解译等方面耗费大量的人力物力。而近年来深度学习由于其智能化程度高在遥感图像领域得到充分发展。

目前，应用于遥感影像语义分割的模型主要采用全卷积神经网络，主要以FCN(Fully Convolutional Networks)为代表，由于其能够对输入的影像特征进行由低到高的逐层提取，并能对特征进行整合生成合适的模型，故其在遥感影像语义分割上应用比较广泛。

FCN通过上采样过程来还原图像的大小，通过将最后的全连接层更换为卷积层，实现了像素级别的分类。典型反卷积网络如SegNet网络、U-Net网络，两者都是采用编码解码结构，其中上采样部分采用了反卷积，SegNet包含了池化索引结构，U-Net包含了跨层特征融合结构，都能够将位置信息与语义信息结合，对语义分割的完整性有较大的提升。

SegNet仅仅考虑了通道注意力，忽略了空间注意；BAM和CBAM考虑了通道注意力和空间注意力，但仍存在两个最重要的缺点：(1)没有捕获不同尺度的空间信息来丰富特征空间；(2)空间注意力仅仅考虑了局部区域的信息，而无法建立远距离的依赖。后续出现的PyConv，Res2Net和HS-ResNet都用于解决CBAM的这两个缺点，但计算量太大。

发明内容

为解决上述问题，本发明针对建筑物被周围地物遮挡的情况，提出一种基于语义分割模型和条件随机场的ROI区域提取方法，改进的BCNet网络可以解决小目标特征逐渐遗失的问题，同时获得更高的分割精度；CRF模型同时利用原始图像和标签图像的上下文信息，直接对类后验概率进行建模，上下文模型可提高分割结果的正确性和平滑性。通过CRF模型的二阶势函数考虑空间上下文信息，提高了图像语义分割精度。

具体方案如下：

基于语义分割模型和条件随机场的ROI区域提取方法，其特征在于，包括以下步骤：

1)获取遥感影像初始数据集，并对遥感影像初始数据集中每张遥感图像中的像素点进行地物类别标记，得到遥感影像数据集；

2)对遥感影像数据集进行预处理，所述预处理包括归一化处理、裁剪处理、数据扩增处理，对预处理后的遥感影像数据集进行标注得到多个标注ROI区域的标注样本；

3)将预处理后的遥感影像数据集按照一定的比例划分为训练数据集、验证数据集；

4)建立改进的BCNet语义分割模型，利用训练集训练深度学习语义分割模型的各变量值，利用验证集验证深度学习语义分割模型的准确度，准确度达到预设范围时，得到最佳的初步语义分割模型；

5)将待预测ROI区域图像输入训练好的语义分割模型，得到ROI区域预测概率图，通过全连接条件随机场(Conditional Random Field，CRF)模型进行语义分割结果优化，将改进的BCNet模型输出作为一阶势，借助能量函数的构造将上下文信息融入CRF模型构建过程，更好地定位边界，最后采用平均场算法推断出各像素标签得到最终的语义分割结果，输出ROI区域。

作为本发明的进一步改进，所述步骤4)中构建的改进的BCNet语义分割模型为基于金字塔切分注意力模块(Pyramid Split Attention，PSA)的BCNet语义分割模型，在BCNet语义分割模型基础上，加入金字塔切分注意力模块PSA来融合不同尺度的上下文信息，并产生更好的像素级注意力；将原有BCNet语义分割模型的add替换为concat，把分辨率最小但语义最强的特征图增加分辨率，增加描述图像本身的特征数，解决小目标特征逐渐遗失的问题，同时获得更高的分割精度。

作为本发明的进一步改进，CRF模型同时利用原始图像和标签图像的上下文信息，直接对类后验概率进行建模，

对于观测随机场X:{X₁，X₂，…X_n}和I：{I₁，I₂，…，I_n}，当给定标记随机场I，X的条件分布满足马尔可夫性质；

p(X_i|I,X_j,j≠i,j∈S)＝p(X_i|I,X_j,j∈N_i) (1)

式中，S为像素集合，N_i为像素i的邻域位置集合，那么(X,I)就称为一个条件随机场。对于影像图像语义分割而言，假定I表示给定的影像图像，X表示相应的标签图像，总共有n个像素，其标签类别有K个，I_i为像素i的信息，X_i为像素i的类别标签，其取值范围为L＝{l₁，l₂，…，l_k}。

根据Hammersley-Clifford定理，标记场X的后验概率服从Gibbs分布

式中，Z(I)为归一化因子，φ_c是定义在基团c上带有待估参数的势函数，根据基团所包含变量个数不同，势函数通常分为一阶势、二阶势以及高阶势。标记值x∈L^K对应的Gibbs能量表示如下：

标记推断的目标就是求出使后验概率P(x|I)最大，Gibbs能量E(x|I)最小的标记x^*。Gibbs能量函数E(xI)表示如下(以下公式中均默认给I)

ψ₁(x_i)＝-ln P(x_i) (6)

式中，ψ₁为一阶势函数，描述单像素点观测信息与其相应标记之间的关系。P(x_i)为上一步DFN模型计算出的像素i位置被分配为各标签的概率。ψ₂(x_i,x_j)为二阶势函数，描述像素之间的关系，鼓励相似的像素分配相同的标签，相差较大的像素分配不同的标签。式(7)中如果x_i≠x_j，那么μ(x_i,x_j)＝1，否则为0。ω^m为各高斯核函数相应的权重，k^(m)(f_i,f_j)为高斯核函数，f_i、f_j表示像素i位置和像素j位置的特征向量,Λ^(m)为与核k^(m)对应的对称的正定精度矩阵。

通过最小化KL-距离D(Q||P)，以方便实现计算的近似分布Q(X)代替精确分布P(X)，全连接CRF近似推断的平均场算法：

子分布Q_i(X_i)通过迭代更新的方法计算：

本发明的有益效果是：

(1)在双图层实例分割网络BCNet模型的基础上，加入金字塔切分注意力模块PSA来融合不同尺度的上下文信息，并产生了更好的像素级注意力。

(2)将原有BCNet语义分割模型的add替换为concat，把分辨率最小但语义最强的特征图增加分辨率，增加描述图像本身的特征数，解决了小目标特征逐渐遗失的问题，同时获得了更高的分割精度。

(3)CRF模型同时利用原始图像和标签图像的上下文信息，直接对类后验概率进行建模，上下文模型可提高分割结果的正确性和平滑性。通过CRF模型的二阶势函数考虑空间上下文信息，提高了图像语义分割精度。

附图说明

图1为基于语义分割模型和条件随机场的ROI区域提取方法流程图。

图2为改进的BCNet网络架构图。

图3为金字塔切分注意力模块PSA结构图。

具体实施方式

下面结合附图和具体实施方式，进一步阐明本发明，应理解下述具体实施方式仅用于说明本发明而不用于限制本发明的范围。

无人机航拍获取的不同角度、不同条件下拍摄的大规模视觉影像数据，存在建筑物被周围地物遮挡的情况，目前常用的基于卷积神经网络的图像语义分割方法处理过程中由于图像细节信息和上下文信息利用不充分，造成图像语义分割精度不高的问题。

传统图像语义分割方法不仅特征的提取和表达需要依靠先验知识进行人工选择和设计，而且在建立相应语义分割模型的过程中由于人工设计的特征和高层语义特征间“语义鸿沟”的存在，最终建立的语义分割模型泛化能力较差。

如图所示，本发明公开了一种基于语义分割模型和条件随机场的ROI区域提取方法，即双图层实例分割网络BCNet(Bilayer Convolutional Network)结合全连接条件随机场(Conditional Random Field，CRF)的实例分割算法，能有效针对遥感图像目标尺度不一致，目标区域的条状部位在深度卷积神经网络中进行特征提取时，小目标特征逐渐遗失等问题，同时获得更高的分割精度。其具体包括以下步骤：

1)获取遥感影像初始数据集，并对遥感影像初始数据集中每张遥感图像中的像素点进行地物类别标记，得到遥感影像数据集；

2)对遥感影像数据集进行预处理，所述预处理包括归一化处理、裁剪处理、数据扩增处理，对预处理后的遥感影像数据集进行标注得到多个标注ROI区域的标注样本；

3)将预处理后的遥感影像数据集按照一定的比例划分为训练数据集、验证数据集；

4)建立改进的BCNet语义分割模型，利用训练集训练深度学习语义分割模型的各变量值，利用验证集验证深度学习语义分割模型的准确度，准确度达到预设范围时，得到最佳的初步语义分割模型；

5)将待预测ROI区域图像输入训练好的语义分割模型，得到ROI区域预测概率图，通过全连接条件随机场(Conditional Random Field，CRF)模型进行语义分割结果优化，将改进的BCNet模型输出作为一阶势，借助能量函数的构造将上下文信息融入CRF模型构建过程，更好地定位边界，最后采用平均场算法推断出各像素标签得到最终的语义分割结果，输出ROI区域。

在本实施例中，所述步骤4)中构建的改进的BCNet语义分割模型为基于金字塔切分注意力模块(Pyramid Split Attention，PSA)的BCNet语义分割模型，在BCNet语义分割模型基础上，加入金字塔切分注意力模块PSA来融合不同尺度的上下文信息，并产生更好的像素级注意力；将原有BCNet语义分割模型的add替换为concat，把分辨率最小但语义最强的特征图增加分辨率，增加描述图像本身的特征数，解决小目标特征逐渐遗失的问题，同时获得更高的分割精度。

在本实施例中，CRF模型同时利用原始图像和标签图像的上下文信息，直接对类后验概率进行建模，

对于观测随机场X：{X₁，X₂，…，X_n}和I：{I₁，I₂，…，I_n}，当给定标记随机场I，X的条件分布满足马尔可夫性质；

p(X_i|I,X_j,j≠i,j∈S)＝p(X_i|I,X_j,j∈N_i) (1)

式中，S为像素集合，N_i为像素i的邻域位置集合，那么(X,I)就称为一个条件随机场。对于影像图像语义分割而言，假定I表示给定的影像图像，X表示相应的标签图像，总共有n个像素，其标签类别有K个，I_i为像素i的信息，

X_i为像素i的类别标签，其取值范围为L＝{l₁，l₂，…，l_k}。

根据Hammersley-Clifford定理，标记场X的后验概率服从Gibbs分布

式中，Z(I)为归一化因子，φ_c是定义在基团c上带有待估参数的势函数，根据基团所包含变量个数不同，势函数通常分为一阶势、二阶势以及高阶势。标记值x∈L^K对应的Gibbs能量表示如下：

标记推断的目标就是求出使后验概率P(x|I)最大，Gibbs能量E(x|I)最小的标记x^*。Gibbs能量函数E(x|I)表示如下(以下公式中均默认给I)

ψ₁(x_i)＝-ln P(x_i) (6)

式中，ψ₁为一阶势函数，描述单像素点观测信息与其相应标记之间的关系。P(x_i)为上一步DFN模型计算出的像素i位置被分配为各标签的概率。ψ₂(x_i,x_j)为二阶势函数，描述像素之间的关系，鼓励相似的像素分配相同的标签，相差较大的像素分配不同的标签。式(7)中如果x_i≠x_j，那么μ(x_i,x_j)＝1，否则为0。ω^m为各高斯核函数相应的权重，k^(m)(f_i,f_j)为高斯核函数，f_i、f_j表示像素i位置和像素j位置的特征向量,Λ^(m)为与核k^(m)对应的对称的正定精度矩阵。

通过最小化KL-距离D(Q||P)，以方便实现计算的近似分布Q(X)代替精确分布P(X)，全连接CRF近似推断的平均场算法：

子分布Q_i(X_i)通过迭代更新的方法计算：

本发明方案所公开的技术手段不仅限于上述实施方式所公开的技术手段，还包括由以上技术特征任意组合所组成的技术方案。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

Claims (3)

1.基于语义分割模型和条件随机场的ROI区域提取方法，其特征在于，包括以下步骤：

1)获取遥感影像初始数据集，并对遥感影像初始数据集中每张遥感图像中的像素点进行地物类别标记，得到遥感影像数据集；

2)对遥感影像数据集进行预处理，所述预处理包括归一化处理、裁剪处理、数据扩增处理，对预处理后的遥感影像数据集进行标注得到多个标注ROI区域的标注样本；

3)将预处理后的遥感影像数据集按照一定的比例划分为训练数据集、验证数据集；

4)建立改进的BCNet语义分割模型，利用训练集训练深度学习语义分割模型的各变量值，利用验证集验证深度学习语义分割模型的准确度，准确度达到预设范围时，得到最佳的初步语义分割模型；

5)将待预测ROI区域图像输入训练好的语义分割模型，得到ROI区域预测概率图，通过全连接条件随机场CRF模型进行语义分割结果优化，将改进的BCNet模型输出作为一阶势，借助能量函数的构造将上下文信息融入CRF模型构建过程，更好地定位边界，最后采用平均场算法推断出各像素标签得到最终的语义分割结果，输出ROI区域。

2.根据权利要求1所述的基于语义分割模型和条件随机场的ROI区域提取方法，其特征在于，所述步骤4)中构建的改进的BCNet语义分割模型为基于金字塔切分注意力模块PSA的BCNet语义分割模型，在BCNet语义分割模型基础上，加入金字塔切分注意力模块PSA来融合不同尺度的上下文信息，并产生更好的像素级注意力；将原有BCNet语义分割模型的add替换为concat，把分辨率最小但语义最强的特征图增加分辨率，增加描述图像本身的特征数，解决小目标特征逐渐遗失的问题，同时获得更高的分割精度。

3.根据权利要求1所述的基于语义分割模型和条件随机场的ROI区域提取方法，其特征在于，CRF模型同时利用原始图像和标签图像的上下文信息，直接对类后验概率进行建模，

对于观测随机场X：{X₁，X₂，…，X_n}和I：{I₁，I₂，...I_n}，当给定标记随机场I，X的条件分布满足马尔可夫性质；

p(X_i|I,X_j,j≠i,j∈S)＝p(X_i|I,X_j,j∈N_i) (1)

式中，S为像素集合，N_i为像素i的邻域位置集合，那么(X,I)就称为一个条件随机场；对于影像图像语义分割而言，假定I表示给定的影像图像，X表示相应的标签图像，总共有n个像素，其标签类别有K个，I_i为像素i的信息，X_i为像素i的类别标签，其取值范围为L＝{l₁，l₂，…l_k}；

根据Hammersley-Clifford定理，标记场X的后验概率服从Gibbs分布

式中，Z(I)为归一化因子，φ_c是定义在基团c上带有待估参数的势函数，根据基团所包含变量个数不同，势函数通常分为一阶势、二阶势以及高阶势；标记值x∈L^K对应的Gibbs能量表示如下：

标记推断的目标就是求出使后验概率P(x|I)最大，Gibbs能量E(x|I)最小的标记x^*；Gibbs能量函数E(x|I)表示如下，以下公式中均默认给I；

ψ₁(x_i)＝-ln P(x_i) (6)

式中，ψ₁为一阶势函数，描述单像素点观测信息与其相应标记之间的关系；P(x_i)为上一步DFN模型计算出的像素i位置被分配为各标签的概率；ψ₂(x_i,x_j)为二阶势函数，描述像素之间的关系，鼓励相似的像素分配相同的标签，相差较大的像素分配不同的标签；式(7)中如果x_i≠x_j，那么μ(x_i,x_j)＝1，否则为0；ω^m为各高斯核函数相应的权重，k^(m)(f_i,f_j)为高斯核函数，f_i、f_j表示像素i位置和像素j位置的特征向量,Λ^(m)为与核k^(m)对应的对称的正定精度矩阵；

通过最小化KL-距离D(Q||P)，以方便实现计算的近似分布Q(X)代替精确分布P(X)，全连接CRF近似推断的平均场算法：

子分布Q_i(X_i)通过迭代更新的方法计算：