CN114565628B - 一种基于边界感知注意的图像分割方法及*** - Google Patents

Abstract

本发明公开了一种基于边界感知注意的图像分割方法及***。在现有分割任务的基础上，添加了一个边缘预测的辅助任务，两个任务共享同一个特征编码网络，但独享自己的特征解码网络；特征解码网络由一组基于交互注意力机制的注意力解码单元串联组成；在编码网络和分割解码网络之间设计了多个边缘感知分割模块，旨在从边缘解码网络中引入边缘信息作为增强分割特征边缘部分的强线索；融合所述的编码网络、解码网络和边缘感知分割模块，得到最终的分割网络，两个任务联合训练、相互引导和辅助。相比于现有的图像分割方法，本发明可以大大提高分割的准确度，并提升分割结果的边缘细节。

Description

一种基于边界感知注意的图像分割方法及***

技术领域

本发明属于计算机视觉领域，涉及一种基于边界感知注意的图像分割方法及***。

背景技术

近年来，随着人工智能的不断发展，以卷积神经网络为代表的深度学习技术开始展露锋芒，广泛应用于生产生活中的方方面面和各个领域，形成了各种各样的“AI+”模式。现有的深度学习技术在图像处理中，表现出较强的可行性，其中代表性的方向就是图像分割，对应于计算机视觉四大任务中的语义分割。从数学角度来看，图像分割是将数字图像划分成互不相交的区域的过程。图像分割是图像处理与理解、模式识别和人工智能等多个领域中一个十分重要且又十分困难的问题，是计算机视觉技术中关键步骤，在生活中有着方方面面的应用，比如自然场景的自动驾驶技术，需要分割技术提供场景识别结果，进而执行相应的决策；在医学场景下，通过对皮肤病变的分割，可以获取病变的掩码位置，进而可以辅助分类任务的精准识别，此外，通过对病变在图像区域中大小的识别，结合相应的拍摄视场，可以分析病变趋势，辅助医生进行病变分析。

在现有的图像分割方法中，虽然基于深度学习的方法相较于传统视觉方法，具有更强的分割性能，但是对于边界模糊的图像，却依旧存在分割边缘不准确的问题。此外，分割的结果很大程度上极易受图像背景的干扰，进而大大影响图像分割的性能。

发明内容

为解决上述技术问题，本发明公开了一种基于边界感知注意的图像分割方法及***，本发明可以大大提高分割的准确度，并提升分割结果的边缘细节。

本发明解决其技术问题所采用的技术方案是：

一种基于边界感知注意的图像分割***，包括公共特征编码网络，所述公共特征编码网络包括若干n个串联的残差块，其中上一级残差块的输出作为下一级残差块的输入；每个残差块通讯连接一个注意力解码单元和一个边缘感知分割模块，边缘感知分割模块通信连接一个分割解码网络模块；注意力解码单元依次串联形成预测解码网络；分割解码网络模块依次串联形成分割解码网络；公共特征编码网络的第n个残差块通讯连接有两个空洞空间金字塔池化模块，其中第n个残差块的输出和一个空洞空间金字塔池化模块的输出作为第n个注意力解码单元的输入；第n分割残差块的输出作为第n个边缘感知分割模块的输入,第n个边缘感知分割模块的输出和另一个空洞空间金字塔池化模块的输出做为第n个分割解码网络模块的输入；其中第i个注意力解码单元的输入为第i个残差块的输出和第i+1个注意力解码单元的输出；所述第i个边缘感知分割模块的输入为第i个残差块的输出和第i个注意力解码单元的输出；第i个分割解码网络模块的输入为第i个边缘感知分割模块的输出和第i+1个分割解码网络模块的输出；第i个残差块的输入为初始图像或第i-1个残差块的输出；其中1≤i＜n。

进一步的改进，n＝4。

进一步的改进，所述公共特征编码网络以ResNet50网络作为编码网络的骨干网络原型，并去除最后的全连接层和分类层，保留剩余的卷积块和残差块；且ResNet50网络最后两个残差块中的卷积核步幅设置为1，使得编码网络后续残差模块的输出特征图的大小不变，编码网络最终输出的特征图的高宽是输入图像的1/8。

进一步的改进，第i个注意力解码单元的图像处理流程为：第i+1个注意力解码单元的输出或空洞空间金字塔池化模块的输出作为低分辨率的特征图I₁，以第i个残差块的输出作为高分率输入特征图I₂；先将低分辨率的特征图I₁通过1*1的卷积，将特征图通道调整为与高分率输入特征图I₂相同的大小，得到特征图F₁；将特征图F₁上采样至与高分率输入特征图I₂相同的大小，得到特征图F₂；对特征图F₁和F₂执行通道维度的拼接，对拼接后的特征进行一次3*3的卷积操作以得到特征图F3，卷积核的数量与特征图F₂的通道数量一致，保证特征图F₃的通道数量与特征图F₁和特征图F₂一致；对特征图F₃执行一次sigmoid操作，将特征图F₃所有的特征值归一化到0-1之间，得到注意力图谱Att-Map；执行注意力操作，将注意力图谱Att-Map分别与F₁和F₂做点乘操作，分别得到关注后的特征图F₁ ^*和F₂ ^*；最后对关注后的特征图F₁ ^*、F₂ ^*以及特征图F₃执行点加操作，得到注意力解码单元的最终输出特征图F_out。

进一步的改进，第i个边缘感知分割模块的图像处理流程为：以第i+1个注意力解码单元的输出或空洞空间金字塔池化模块的输出公共编码网络模块的输出作为特征图X_seg，以第i个注意力解码单元的输出作为边缘解码网络中注意力解码单元的输出作为特征图X_edge；对特征图X_seg执行1*1的卷积操作，将通道数调整为与特征图X_edge通道数相同，得到特征图X_seg ¹；将特征图X_seg ¹与特征图X_edge做点乘的注意力操作，得到注意后的边界注意力特征；对特征图X_seg ¹执行sigmoid操作，归一化到0-1之间，并与自身执行点乘操作，得到自注意力后的特征，并将自注意力后的特征与边界注意力特征执行点加操作，得到综合注意力特征X₊；对综合注意力特征执行一次3*3的卷积操作，输出的边界增强特征图X_f；第i个分割解码网络模块图像处理流程为：第i+1个注意力解码单元的输出或空洞空间金字塔池化模块的输出作为低分辨率的特征图I₁，以第i个边缘感知分割模块的输出作为高分率输入特征图I₂，其余步骤与注意力解码单元的图像处理流程相同。

进一步的改进，对预测解码网络的最终输出和分割解码网络的最终输出均依次执行上采样、3*3卷积、sigmoid激活操作，分别得到分割的预测概率图P_s和边缘的预测概率图P_e；对网络预测的输出：分割的预测概率图P_s和边缘的预测概率图P_e，选择交叉熵损失函数和Dice损失函数计算预测与实际标签之间的差异值，将分割概率图和边缘概率图的差异值按照1：1的比例求和作为网络训练的损失函数，使用随机梯度下降的方法迭代最小化损失函数，每次迭代得到优化网络权重参数的基于边界感知注意的图像分割模型；依据优化指标从所有迭代训练中得到的基于边界感知注意的图像分割模型中选择得到最终的基于边界感知注意的图像分割模型。

进一步的改进，所述上采样的算法为双线性插值操作或反卷积操作。

进一步的改进，所述sigmoid激活操作选用的sigmoid激活函数用于非线性地将特征图中的值分别映射到0-1之间，计算公式为：

其中，x表示输入特征图，σ(x)表示sigmoid激活函数，e表示自然常数。

进一步的改进，所述交叉熵损失函数BCE(P，G)如下所示：

其中，P表示网络预测的概率图，G表示对应任务的标签图，N表示像素点的数量，P_j和G_j分别表示P和G中第j个像素值；Dice损失函数Dice(P，G)如下所示：

P表示网络预测的概率图，G表示对应任务的标签图，N表示像素点的数量，P_j和G_j分别表示P和G中第j个像素值；

所述选取的优化指标为Dice相似系数Dice、Jaccard相似系数JA和准确率ACC中的一个，计算公式如下：

其中，TP表示标签为正被分类为正的数目；FN表示标签为正被分类为负的数目，TN表示标签为负被分类为负的数目；FP表示标签为负被分类为正的数目。

一种基于边界感知注意的图像分割方法，将初始图像输入上述的基于边界感知注意的图像分割***，得到初始图像的分割的预测概率图P_s和边缘的预测概率图P_e。

本发明的优点：

1.针对现有图像分割算法存在受背景干扰大和边界预测模糊的问题，在分割任务的基础上引入了边缘预测的辅助任务，并提出了基于边界感知注意的边界感知分割模块，将边缘预测的信息引入到分割任务中，从而增强分割结果的边界信息；提出了基于交互注意力机制的注意力解码单元，深度融合编码网络和解码网络的特征，更加关注与图像中有鉴别性的区域，从而解决背景复杂干扰大的问题。

2.相比于现有的图像分割算法，本发明的分割算法的分割结果具有更加丰富的边界信息，分割区域更关注于图像中的目标位置，具有极高的分割精度。此外相比于针对特定场景设计的分割算法，该算法的灵活度更高，能完成不同场景下的图像分割任务。

附图说明

图1为基于边界感知注意的图像分割算法的网络架构图，其中，up表示上采样(双线性插值)，Basm表示边缘感知分割模块，ASPP表示空洞空间卷积池化金字塔，Decoder-ATUnit表示注意力解码单元。

图2为基于边界感知注意的边缘感知分割模块结构图。

具体实施方式

以下结合实施例对本发明作进一步说明。

实施例1

一种基于边界感知注意的图像分割方法，该方法的框架图如附图1所示，包括以下步骤：

S1、建立图像分割和图像边缘预测的公共特征编码网络，具体实施方法为：

选取ResNet50网络作为编码网络的骨干网络原型，并去除最后的全连接层和分类层，保留剩余的卷积块和4个残差块；将ResNet50网络最后两个残差块中的卷积核步幅设置为1，保证编码网络后续残差模块的输出特征图的大小不变，编码网络最终输出的特征图的高宽是输入图像的1/8。

S2、建立多个基于交互注意力机制的注意力解码单元(Decoder-AT Unit)，分别串联融合多个注意力解码单元构建图像分割和图像边缘预测的特征解码网络，具体实施方法为：

将公共特征编码网络最后一个层级的输出，分别送入到两个空洞空间金字塔池化(ASPP)模块，分别得到图像分割和边缘预测的特征解码网络的输入特征图aspp_s和aspp_e，分别送入到分割解码网络和边缘解码网络。

构建基于交互注意力机制的注意力解码单元，包含两个来源不同的特征图输入(I₁和I₂)，其中I₁表示解码网络上一层级的注意力解码单元的输出，I₂在边缘特征解码网络表示公共编码网络对应层级模块的输出，在分割特征解码网络中表示对应层级的边缘感知分割模块的输出。具体表现为如下操作：先将低分辨率的特征图I₁(来自高层级注意力解码单元)通过1*1的卷积，将其特征图通道调整为与高分率输入特征图I₂相同的大小，得到特征图F₁；将通道调整后的低分辨率的特征图F₁上采样至与高分率输入特征图I₂相同的大小，得到特征图F₂；对特征图F₁和F₂执行通道维度的拼接，对拼接后的特征进行一次3*3的卷积操作以得到特征图F₃，卷积核的数量与特征图F₂的通道数量一致，保证F₃的通道数量与F₁和F₂一致；对F₃执行一次sigmoid操作，将其所有的特征值归一化到0-1之间，得到注意力图谱Att-Map；执行注意力操作，将Att-Map分别与F₁和F₂做点乘操作，分别得到关注后的特征图F₁ ^*和F₂ ^*；最后对关注后的特征图F₁ ^*、F₂ ^*以及前面的特征图F₃执行点加操作，得到该注意力解码单元的最终输出特征图F_out。

分别串联4个注意力解码单元，得到最终的边缘解码网络和分割解码网络。

S3、建立多个基于边界注意的边缘感知分割模块(BaSm)，用以融合对应层级的边缘解码网络模块的输出和公共编码网络模块的输出，并将融合结果送入对应层级的分割解码网络模块，具体实施方法为：

依据当前边缘感知分割模块的层级，找到与其相对应的公共编码网络模块的输出X_seg和边缘解码网络中注意力解码单元的输出X_edge，以当前二者输出作为本模块的输入特征。构建基于边界注意的边缘感知分割模块，具体计算表现为：对特征图X_seg执行1*1的卷积操作，将其通道数调整为与特征图X_edge通道数相同，得到特征图X_seg ¹；将特征图X_seg ¹与特征图X_edge做点乘的注意力操作，得到注意后的边界注意力特征；对特征图X_seg ¹执行sigmoid操作，归一化到0-1之间，并与自身执行点乘操作，得到自注意力后的特征，并将自注意力后的特征与边界注意力特征执行点加操作，得到综合注意力特征X₊；对综合注意力特征执行一次3*3的卷积操作，得到模块最后输出的边界增强特征图X_f。

与解码网络的注意力解码单元和编码网络的层级数量一致，将4个边缘感知分割模块部署在公共编码网络和分割解码网络的层级之间。

S4、融合所有的编码网络、解码网络、边缘感知分割模块，得到最终的分割网络。

融合步骤S1-S3中所提出的编码网络、解码网络以及边缘感知分割模块，构建基于边界感知注意的分割网络架构。

对边缘预测解码网络的最终输出和分割解码网络的最终输出执行上采样、3*3卷积、sigmoid激活等一系列操作，分别得到分割的预测概率图P_s和边缘的预测概率图P_e。

对网络预测的每个输出，选择交叉熵损失函数和Dice损失函数计算预测与实际标签之间的差异值，将分割概率图和边缘概率图的差异值按照1：1的比例求和作为网络训练的损失函数，使用随机梯度下降的方法最小化该损失函数，从而优化网络的权重参数，依据Dice值作为评价指标选择性能最好的模型。

本发明实施例还提供了一种图像分割***，其包括计算机设备；所述计算机设备被配置或编程为用于执行上述实施例方法的步骤。

本发明中，计算机设备可以是微处理器、上位机等设备。

使用D7-Data数据集，采用不同图像切割***进行切割，得到的结果如表1所示：

表1各图像切割***对D7-Data数据集中图像的切割结果

使用xiangYa-Derm数据集，采用不同图像切割***进行切割，得到的结果如表2所示：

表2各图像切割***对xiangYa-Derm数据集中图像的切割结果

以上结果标明，本发明的图像切割效果明显优于其余***。

最后应当说明的是，以上实施例仅用于说明本发明的技术方案而非对本发明保护范围的限制，尽管参照较佳实施例对本发明作了详细说明，本领域的普通技术人员应当了解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的实质和范围。

Claims (9)

1.一种基于边界感知注意的图像分割***，其特征在于，包括公共特征编码网络，所述公共特征编码网络包括若干n个串联的残差块，其中上一级残差块的输出作为下一级残差块的输入；每个残差块通讯连接一个注意力解码单元和一个边缘感知分割模块，边缘感知分割模块通信连接一个分割解码网络模块；注意力解码单元依次串联形成预测解码网络；分割解码网络模块依次串联形成分割解码网络；公共特征编码网络的第n个残差块通讯连接有两个空洞空间金字塔池化模块，其中第n个残差块的输出和一个空洞空间金字塔池化模块的输出作为第n个注意力解码单元的输入；第n分割残差块的输出作为第n个边缘感知分割模块输入,第n个边缘感知分割模块的输出和另一个空洞空间金字塔池化模块的输出做为第n个分割解码网络模块的输入；其中第i个注意力解码单元的输入为第i个残差块的输出和第i+1个注意力解码单元的输出；第i个边缘感知分割模块的输入为第i个残差块的输出和第i个注意力解码单元的输出；第i个分割解码网络模块的输入为第i个边缘感知分割模块的输出和第i+1个分割解码网络模块的输出；第i个残差块的输入为初始图像或第i-1个残差块的输出；其中1≤i＜n；

将初始图像输入基于边界感知注意的图像分割***，得到初始图像的分割的预测概率图P_s和边缘的预测概率图P_e。

2.如权利要求1所述的基于边界感知注意的图像分割***，其特征在于，n＝4。

3.如权利要求1所述的基于边界感知注意的图像分割***，其特征在于，所述公共特征编码网络以ResNet50网络作为编码网络的骨干网络原型，并去除最后的全连接层和分类层，保留剩余的卷积块和残差块；且ResNet50网络最后两个残差块中的卷积核步幅设置为1，使得编码网络后续残差模块的输出特征图的大小不变，编码网络最终输出的特征图的高宽是输入图像的1/8。

4.如权利要求1所述的基于边界感知注意的图像分割***，其特征在于，第i个注意力解码单元的图像处理流程为：第i+1个注意力解码单元的输出或空洞空间金字塔池化模块的输出作为低分辨率的特征图I₁，以第i个残差块的输出作为高分率输入特征图I₂；先将低分辨率的特征图I₁通过1*1的卷积，将特征图通道调整为与高分率输入特征图I₂相同的大小，得到特征图F₁；将特征图F₁上采样至与高分率输入特征图I₂相同的大小，得到特征图F₂；对特征图F₁和F₂执行通道维度的拼接，对拼接后的特征进行一次3*3的卷积操作以得到特征图F3，卷积核的数量与特征图F₂的通道数量一致，保证特征图F₃的通道数量与特征图F₁和特征图F₂一致；对特征图F₃执行一次sigmoid操作，将特征图F₃所有的特征值归一化到0-1之间，得到注意力图谱Att-Map；执行注意力操作，将注意力图谱Att-Map分别与F₁和F₂做点乘操作，分别得到关注后的特征图F₁ ^*和F₂ ^*；最后对关注后的特征图F₁ ^*、F₂ ^*以及特征图F₃执行点加操作，得到注意力解码单元的最终输出特征图F_out。

5.如权利要求1所述的基于边界感知注意的图像分割***，其特征在于，第i个边缘感知分割模块的图像处理流程为：以第i+1个注意力解码单元的输出或空洞空间金字塔池化模块的输出公共编码网络模块的输出作为特征图X_seg，以第i个注意力解码单元的输出作为边缘解码网络中注意力解码单元的输出作为特征图X_edge；对特征图X_seg执行1*1的卷积操作，将通道数调整为与特征图X_edge通道数相同，得到特征图X_seg ¹；将特征图X_seg ¹与特征图X_edge做点乘的注意力操作，得到注意后的边界注意力特征；对特征图X_seg ¹执行sigmoid操作，归一化到0-1之间，并与自身执行点乘操作，得到自注意力后的特征，并将自注意力后的特征与边界注意力特征执行点加操作，得到综合注意力特征X₊；对综合注意力特征执行一次3*3的卷积操作，输出的边界增强特征图X_f；第i个分割解码网络模块图像处理流程为：第i+1个注意力解码单元的输出或空洞空间金字塔池化模块的输出作为低分辨率的特征图I₁，以第i个边缘感知分割模块的输出作为高分率输入特征图I₂，其余步骤与注意力解码单元的图像处理流程相同。

6.如权利要求5所述的基于边界感知注意的图像分割***，其特征在于，对预测解码网络的最终输出和分割解码网络的最终输出均依次执行上采样、3*3卷积、sigmoid激活操作，分别得到分割的预测概率图P_s和边缘的预测概率图P_e；对网络预测的输出：分割的预测概率图P_s和边缘的预测概率图P_e，选择交叉熵损失函数和Dice损失函数计算预测与实际标签之间的差异值，将分割概率图和边缘概率图的差异值按照1：1的比例求和作为网络训练的损失函数，使用随机梯度下降的方法迭代最小化损失函数，每次迭代得到优化网络权重参数的基于边界感知注意的图像分割模型；依据优化指标从所有迭代训练中得到的基于边界感知注意的图像分割模型中选择得到最终的基于边界感知注意的图像分割模型。

7.如权利要求6所述的基于边界感知注意的图像分割***，其特征在于，所述上采样的算法为双线性插值操作或反卷积操作。

8.如权利要求6所述的基于边界感知注意的图像分割***，其特征在于，所述sigmoid激活操作选用的sigmoid激活函数用于非线性地将特征图中的值分别映射到0-1之间，计算公式为：

其中，x表示输入特征图，σ(x)表示sigmoid激活函数，e表示自然常数。

9.如权利要求6所述的基于边界感知注意的图像分割***，其特征在于，所述交叉熵损失函数BCE(P，G)如下所示：

其中，P表示网络预测的概率图，G表示对应任务的标签图，N表示像素点的数量，P_j和G_j分别表示P和G中第j个像素值；Dice损失函数Dice(P，G)如下所示：

P表示网络预测的概率图，G表示对应任务的标签图，N表示像素点的数量，P_j和G_j分别表示P和G中第j个像素值；

选取的优化指标为Dice相似系数Dice、Jaccard相似系数JA和准确率ACC中的一个，计算公式如下：

其中，TP表示标签为正被分类为正的数目；FN表示标签为正被分类为负的数目，TN表示标签为负被分类为负的数目；FP表示标签为负被分类为正的数目。

Images