CN111462126B - 一种基于边缘增强的语义图像分割方法及*** - Google Patents

Abstract

本发明提供了一种基于边缘增强的语义图像分割方法及***，包括对输入图像进行预处理；建立边缘增强网络模型，包括轻量级边缘网络和深度语义网络；将预处理后图像输入轻量级边缘网络，利用空间注意力模块自适应地关注图像的局部边缘信息；分批次将预处理后图像输入深度语义网络，利用通道注意力模块优化深度网络不同阶段的输出；将所得特征进行级联降维，融合不同层次的特征信息，利用通道注意力模块优化；归一化得到边缘增强网络模型预测的图像分割结果；计算预测的分割图和给定的标准分割图的交叉熵损失和焦点损失，以分别监督轻量级边缘网络和深度语义网络的输出，使用随机梯度下降法更新边缘增强网络的模型参数，实现对输入图像的精确分割。

Description

一种基于边缘增强的语义图像分割方法及***

技术领域

本发明属于计算机视觉与图像处理领域，涉及一种图像分割方法，具体涉及一种基于边缘增强的语义图像分割技术方案。

背景技术

图像语义分割是一个像素级分类任务，其本质是为图像中的每个像素分配对应的语义标签，把图像划分成若干个互不相交的区域，使得这些特征在同一区域内表现出一致性或相似性，而在不同区域间表现出明显的不同。图像语义分割是许多计算机视觉任务(如识别、检测等等)的重要预处理步骤，广泛应用于人脸识别、指纹识别、医学图像和卫星图像定位等领域。

随着近年来深度学***衡。

基于深度学习的图像分割模型利用卷积神经网络，对图像上的每个像素点进行分类，这种方式虽然可以准确分类大多数的像素点，但是依赖于更深的网络模型、更庞大的参数量。这些复杂的网络模型能有效提取全局一致性较强的上下文特征，但是缺乏边界空间信息，对语义边界的分类并不友好。例如，当图像中两个不同类别的物体彼此相邻，其边界区域往往容易混淆错分类，降低了图像分割的精确度。

为了解决上述技术难题，本文提出了一种基于边缘增强的语义图像分割方法，将语义图像分割模型分为轻量级边缘网络和深度语义网络两个部分。轻量级边缘网络关注于图像的语义边界，强化图像的空间边界位置信息；深度语义网络关注于图像的深层语义，通过更大的感受野获取更强的语义一致性。对两个子网络的信息进行融合分类后，该方法对不同类别的边界分割效果更好，整体分割精确度更高。

为证明本专利的独创性，对已有类似的图像分割工作展开调研，迄今为止发明名称内含有图像分割的已有专利2433项，其中与边缘强化相关的有专利31项，但没有与本项发明中的单独用一个轻量卷积神经网络提取边缘特征的相关专利，该31项专利如下表所示：

其中前27项是传统图像分割方法与边缘增强有关的专利，后4项是基于深度学习的图像分割方法与边缘增强有关的专利，下面列出其中与本发明最为相关的4项公开专利的分析。

中国专利文献号CN107680113A，公开(公告)日2018.02.09，公开了一种基于贝叶斯框架边缘先验的多层分割网络的图像分割方法，该发明利用限定域转换(DirectedDomain Transform,DDT)将边缘检测网络得到的显式边缘用于约束主分割网络中的分割结果。该发明主要用于遥感图像的分割，遥感图像的边缘比较有规律，适用于边缘相对简单的图片，但是在类别较多的复杂通用场景下效果不佳。

中国专利文献号CN107610149A，公开(公告)日2018.01.19，公开了一种图像分割结果边缘优化处理方法、装置、计算设备及计算机存储介质，该发明利用深度学习方法分割图像得到图像的前景掩膜，通过前景图像边缘的模糊处理和原始图像的边缘约束提高分割精确度。该发明会把所有分割类别视为前景，而边缘约束也包含背景边缘的信息，而且忽视了不同类别间的边缘关系，在类别较多的复杂场景下效果不佳。

中国专利文献号CN110210475A，公开(公告)日2019.09.06，公开了一种非二值化和边缘检测的车牌字符图像分割方法，该发明利用二值化和边缘检测方法对车牌字符图像进行字符分割，该方法适用于边缘特征明显的字符图像，在类别较多的复杂场景下效果不佳。

中国专利文献号CN110264483A，公开(公告)日2019.09.20，公开了一种基于深度学习的语义图像分割方法，该发明利用深度卷积神经网络提取图像深层特征，通过空洞卷积提取多尺度信息和边缘强化结构对这些信息进行增强，实现对通用图像的分割。但是该发明首先通过深层卷积网络提取的特征已经失去了大量的空间信息，缺乏对浅层空间边缘信息的关注，因此该算法在类别较多的复杂场景下对边界分割的效果不佳。

直观比较可见下表：

相关参考文献：

[1]Long J,Shelhamer E,Darrell T,et al.Fully convolutional networksfor semantic segmentation[J].computer vision and pattern recognition,2015:3431-3440.

[2]Chen L,Papandreou G,Kokkinos I,et al.Semantic Image Segmentationwith Deep Convolutional Nets and Fully Connected CRFs[J].internationalconference on learning representations,2015.

[3]Zhao H,Shi J,Qi X,Wang X,Jia J.Pyramid Scene Parsing Network[C]//Computer Visionand Pattern Recognition.IEEE,2017.

[4]Changqian Yu,Jingbo Wang,Chao Peng,ChangxinGao,Gang Yu,and NongSang.Bisenet:Bilateral segmentation network for real-time semanticsegmentation[C].In Proceedings of the European Conference on Computer Vision(ECCV),pages 325–341,2018.

发明内容

本发明的目的是提出一种基于边缘增强的语义图像分割方案，解决现有技术在图像语义边界分割错误的问题，通过边缘网络和语义网络分别获取图像的局部边缘特征和全局语义特征，融合两个不同层次的特征，实现图像边界的精确分割，提升整体的分割准确度。

本发明所采用的技术方案是一种基于边缘增强的语义图像分割方法，包括以下步骤：

步骤1，对输入图像进行预处理，建立边缘增强网络模型；所述边缘增强网络模型包括轻量级边缘网络和深度语义网络；

步骤2，分批次将步骤1所得预处理后图像输入轻量级边缘网络，所述轻量级边缘网络由三个卷积块和一个空间注意力模块组成，利用空间注意力模块自适应地关注图像的局部边缘信息，输出图像的边缘特征；

步骤3，分批次将步骤1所得预处理后图像输入深度语义网络，所述深度语义网络包括一个卷积池化层和四个残差块Res-1,Res-2,Res-3,Res-4，残差块Res-1,Res-2,Res-3,Res-4分别表示四个不同层次的语义信息，在Res-3和Res-4的输出部分加上了通道注意力模块进行细节优化；利用通道注意力模块进一步优化深度网络不同阶段的输出，得到图像的全局语义特征；

步骤4，将所得的边缘特征和全局语义特征进行级联，利用卷积操作对级联结果进行降维，融合不同层次的特征信息，然后利用通道注意力模块优化融合结果；

步骤5，对融合结果进行归一化，得到边缘增强网络模型预测的图像分割结果；

步骤6，计算边缘增强网络模型预测的分割图和给定的标准分割图的交叉熵损失和焦点损失，以分别监督轻量级边缘网络和深度语义网络的输出，使用随机梯度下降法更新边缘增强网络的模型参数，实现对输入图像的精确分割。

而且，步骤1中预处理的实现方式为，归一化输入的图像块，并进行水平方向或者竖直方向的翻转，然后从原图像和翻转后的图像做随机裁剪，得到具有相同分辨率的图像块，实现对训练数据的扩充。

而且，步骤2中的每个卷积块由三个内核大小为3的卷积层、Batch Normalization层和Relu层组成，前两个卷积块为标准卷积，第三个卷积块为空洞卷积，以增大感受野，保留图像细节信息，更好地拟合目标边界。

而且，步骤2中的空间注意力模块对输出的通道特征图执行归一化，经过基于特征张量在通道域上平均值的激活函数，得到仅与空间信息有关的掩膜，自适应地关注图像的局部边缘信息，得到图像的边缘特征。

而且，所述空间注意力模块对边缘特征的优化如下，

s_i＝x_i*(1+f(x_i)),

其中，设X表示卷积操作后提取的初步特征，S表示优化后的边缘特征，f()表示掩膜生成的激活函数，S＝{s₁,s₂,K,s_i,K,s_N},X＝{x₁,x₂,K,x_i,K,x_N}，x_i表示第i个通道的初步特征图，s_i表示第i个通道的边缘特征图，N表示当前卷积层的总通道数。

而且，步骤3和步骤4中通道注意力模块的实现方式为，

A)首先利用全局平均池化把输入的二维特征图变为全局平均值，并通过两个全连接层进行通道权重的学习，进行归一化，再经过sigmoid和Relu激活函数得到每个特征图的权重，取值在[0,1]之间；

B)然后，将每个输入的特征图和其对应的权重值相乘，再通过输入特征图本身进行相加，放大关键的特征信息，记为：

t_j＝y_j*(1+g(y_j)),

其中，设Y表示残差块提取的初步特征，T表示经过通道注意力模块优化后的语义特征，T＝{t₁,t₂,K,t_j,K,t_M},Y＝{y₁,y₂,K,y_j,K,y_M}，其中t_j表示第j个通道的初步特征，y_j表示第j个通道的优化后的特征，M表示当前卷积层通道数；函数g表示步骤A中将特征图映射为[0,1]之间的权重值的过程。

而且，步骤6中，深度语义网络的交叉熵损失loss不仅包括最终融合输出和标准分割图的交叉熵损失，还有第3、4层级的特征输出和标准分割图的交叉熵损失，计算如下：

其中SL()表示交叉熵损失函数，FL()表示焦点损失函数，O表示网络的最终输出，t_s表示第s层级的特征输出，α和λ表示两个辅助损失的权重，w表示交叉熵损失计算中的参数，v表示焦点损失计算中的参数。

而且，焦点损失用于解决正负样本严重失衡的问题，从而放大类间的区分度，加强对类别边界的拟合，表达如下：

FL＝-(1-p_k)^γlogp_k

其中，p_k是类别k的估计概率，k∈[1,2,…,K]，K为总类别数，γ是一个待调整的参数，以使该网络得到最好的分割效果。

本发明还相应提取一种基于边缘增强的语义图像分割***，用于执行如上所述的一种基于边缘增强的语义图像分割方法。

本发明所提方法，充分利用了图像的不同类别间的边缘信息，同时融合了图像的局部边缘信息和全局语义信息，并加入了焦点损失监督边缘网络的输出，因此本发明，对边缘的分割更加精确，对于图像的分割精确度更高。和现有技术相比，本发明的重要贡献如下：

1)本发明不仅能基于深层语义特征对图像进行分割，还能通过轻量级边缘网络实现对语义边缘的提取，提升不同类别边界的分割效果。

2)本发明引入焦点损失和多阶段的交叉熵损失优化监督网络学习，提升了图像分割精度。

附图说明

图1为本发明实施例的流程图。

图2为本发明实施例的网络结构图，其中(a)部分为边缘增强网络模型结构图，(b)部分为空间注意力模块SAM结构图，(c)部分为通道注意力模块CAM结构图。

图3为采用本发明实施例方法和其他模型对于图像进行语义分割的效果对比图。

具体实施方式

为了便于本领域普通技术人员理解和实施本发明，下面结合附图及实施例对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。

如图1和图2所示，本发明实施例提供一种基于边缘增强的语义图像分割方法，包括以下步骤：

步骤1：对输入图像进行预处理，生成样本数据，建立边缘增强网络模型：优选基于PASCALVOC2012增强数据集，选取10582张图像作为原始训练数据，对所选图像进行归一化(归一化过程如下：先求出图像整体均值，每个像素点减去均值，使其均值为0，再对零均值的图像求其方差，每个非零像素点除以方差，使其方差为1)再进行水平方向或者竖直方向的翻转，然后从原图像和翻转后的图像中随机裁剪出尺寸为[512,512]的图像块，实现对训练数据的扩充。

本实施例以PASCALVOC2012增强数据集为例，采用基于边缘增强的语义图像分割方法在该数据集上进行图像分割。PASCAL VOC2012原始数据集包含20个前景对象类和一个背景类，其中包含1464个图像进行训练，1449个图像进行验证和1456个图像进行测试，再加上额外的辅助SBD数据集(Semantic Boundaries Dataset)，组成包含10582个训练图像的增强数据集，作为原始训练数据。

如图2(a)所示，实施例建立的整个边缘增强网络模型(Network Architecture)包含两个子网络，轻量级边缘网络(EdgeNetwoek)和深度语义网络(Semantic Network)，对两个子网络的输出还有利用级联、归一化等操作。其中图2(a)中的ConvBlock表示卷积块，SAM表示空间注意力模块，CAM表示通道注意力模块，Res-n表示残差网络的各层次残差块(n＝[1,4])，concatenate表示通道特征的级联，upsample表示上采样；

实施例的空间注意力模块(Space Attention Module，SAM)如图2(b)所示，图2(b)中的Batch Norm表示归一化，AvgPool表示通道域上的平均值激活函数，mul表示矩阵点乘，add表示矩阵相加；

实施例的通道注意力模块(Channel Attention Module，CAM)如图2(c)所示，(图2(c)中的GlobalPool表示全局池化，1×1conv表示全连接层，Batch Norm表示归一化，sigmoid表示sigmoid激活函数，relu表示relu激活函数，mul表示矩阵点乘，add表示矩阵相加。

步骤2：分批次将步骤1所得预处理后图像输入图2(a)中的轻量级边缘网络(EdgeNetwork)，利用空间注意力模块(SAM)自适应地关注图像的局部边缘信息，输出图像的边缘特征；轻量级边缘网络(Edge Network)由三个卷积块(ConvBlock)和一个空间注意力模块(SAM)组成。

步骤2.1：利用3个相同结构的卷积块对步骤1中预处理的图像块进行特征提取，得到低阶的图像特征：原始图像经过三个卷积块的信息提取，得到较低层的图像语义，包含更多的空间信息与细节信息。其中每个卷积块(ConvBlock)由3个内核大小为[3,3]的卷积层、Batch Normalization层(批归一化层)和Relu层(激活函数层)组成，每个卷积块的通道数依次为32、64、128，其中前两个卷积块为标准卷积，第三个卷积块为步长为6的空洞卷积，可以增大感受野，保留图像细节信息，更好地拟合目标边界。

步骤2.2：利用空间注意力模块对输出的通道特征图执行归一化，经过基于特征张量在通道域上平均值的激活函数，得到仅与空间信息有关的掩膜，自适应地关注图像的局部边缘信息，得到图像的边缘特征：

实施例中，利用图2(b)中的空间注意力模块(SAM)，对输出的通道特征图执行归一化(Batch Norm)，利用1×1卷积融合归一化后的信息，再经过基于特征张量在通道域上平均值的激活函数(AvgPool)，将每一个通道的特征图转换为[0,1]之间的空间信息掩膜。如图2(b)所示，每个输入的特征图和其生成的空间信息掩模通过mul(相乘)，再通过add(加上)输入特征图其本身，得到图像的边缘特征。空间注意力模块(SAM)能够放大关键空间信息的作用，自适应地关注图像的局部边缘信息。其中掩膜生成的激活函数(AvgPool)公式为：

其中，x_i表示第i个通道的特征图，f()表示掩膜生成的激活函数，m_i为经过激活函数的空间掩膜，mean_i和std_i分别表示特征图x_i的平均值和标准差，x_i,c表示特征图x_i第c个位置的实值。

其中空间注意力模块对边缘特征的优化如下，

s_i＝x_i*(1+f(x_i)),

其中，设X表示卷积操作后提取的初步特征，S表示优化后的边缘特征，f()表示掩膜生成的激活函数，S＝{s₁,s₂,K,s_i,K,s_N},X＝{x₁,x₂,K,x_i,K,x_N}，其中x_i表示第i个通道的初步特征图，s_i表示第i个通道的边缘特征图，N表示当前卷积层的总通道数。

步骤3：分批次将步骤1所得预处理后图像输入图2(a)中的深度语义网络(Semantic Network)，利用通道注意力模块(CAM)进一步优化深度网络不同阶段的输出，得到图像的全局语义特征；深度语义网络的结构类似于ResNet-101网络，包括一个卷积池化层(Conv+Pool)和四个残差块Res-1,Res-2,Res-3,Res-4，残差块Res-1,Res-2,Res-3,Res-4分别表示四个不同层次的语义信息，本发明的改进之处是在Res-3和Res-4的输出部分加上了通道注意力模块(CAM)进行细节优化。

步骤3.1：利用预训练的ResNet-101模型对步骤1中预处理的图像块进行特征提取，通过残差块Res-1,Res-2,Res-3,Res-4得到图像从低到高4个层次的语义特征，分别为{I₄,I₈,I₁₆,I₃₂}，可形成相应二维特征图，下标4表示特征图是原始输入图像块的四分之一，8表示特征图是原始输入图像块的八分之一，16表示特征图是原始输入图像块的十六分之一，32表示特征图是原始输入图像块的三十二分之一。

步骤3.2：利用图2(c)中的通道注意力模块(CAM)优化后两个层次的特征I₁₆,I₃₂，得到优化后的特征T₁₆，T₃₂。

通道注意力模块的工作过程如下：

A)首先利用全局平均池化(Global Pool)把步骤3.1中输入的二维特征图变为全局平均值，并通过两个全连接层(1×1conv)进行通道权重的学习，利用Batch Norm进行归一化，再经过sigmoid和Relu激活函数得到每个特征图的权重，取值在[0,1]之间。

B)然后，通过mul将每个输入的特征图和其对应的权重值相乘，再通过add和输入特征图本身进行相加，能够放大关键的特征信息，可记为：

t_j＝y_j*(1+g(y_j)),

其中，设Y表示残差块提取的初步特征，T表示经过通道注意力模块优化后的语义特征，函数g表示将特征图映射为[0,1]之间的权重值的一系列过程(如步骤A中的操作)，T＝{t₁,t₂,K,t_j,K,t_M},Y＝{y₁,y₂,K,y_j,K,y_M}，其中t_j表示第j个通道的初步特征，y_j表示第j个通道的优化后的特征，M表示当前卷积层通道数。

其中将一张特征图映射为[0,1]之间的一个权重值的函数g的公式为：

g(y_j)＝σ(w₂δ(w₁z_j))

其中，σ函数是sigmoid激活函数，δ函数是Relu函数，w₁和w₂表示要学***均池化得到的全局平均值，z_j,c表示特征图z_j的第c个位置的实值，[H,W]表示特征图的尺寸大小。

步骤3.3：利用最邻近插值法对最后一个层次的语义特征T₃₂进行2倍上采样，利用最邻近插值法对前一层次的语义特征T₁₆进行4倍上采样，使其分辨率与边缘网络输出的边缘特征一致，然后使用concatenate操作级联两个上采样的特征，得到语义网络最终提取到的全局语义特征。

步骤4：利用concatenate操作级联边缘网络的边缘特征和语义网络的全局语义特征，利用卷积操作对级联结果进行降维，融合不同层次的特征信息，然后利用通道注意力模块(CAM)优化融合结果。此处通道注意力模块(CAM)实现同样可参见步骤3.2。

步骤5：利用softmax函数对融合结果进行归一化，通过8倍最邻近插值上采样(8xupsample)得到边缘增强网络模型预测的图像分割结果；

步骤6：计算边缘增强网络模型预测的分割图和给定的标准分割图的交叉熵损失和焦点损失，来分别监督轻量级边缘网络和深度语义网络的输出，使用随机梯度下降法更新边缘增强网络的模型参数，实现对输入图像的精确分割。

其中深度语义网络的交叉熵损失loss不仅包括最终融合输出和标准分割图的交叉熵损失，还有第3、4层级的特征输出和标准分割图的交叉熵损失，具体算式如下：

其中SL()表示交叉熵损失函数，FL()表示焦点损失函数(Focal Loss)，O表示网络的最终输出，t_s表示第s层级的特征输出(可参见前文T₁₆，T₃₂)，α和λ表示两个辅助损失的权重，w表示交叉熵损失计算中的参数，v表示焦点损失计算中的参数。

其中的焦点损失(Focal Loss)降低了大量简单负样本在训练中所占的权重，解决正负样本严重失衡的问题，从而放大类间的区分度，加强对类别边界的拟合。例如，类别A和类别B的两个目标物体在空间上毗邻，类A所占空间大，类B所占空间小，一般的损失函数在计算赋予类别A和类别B相同的权重，焦点损失能够减小大样本的权重，放大小样本的权重。

实施例采用的焦点损失FL的公式表达如下：

FL＝-(1-p_k)^γlogp_k

其中p_k是类别k的估计概率，k∈[1,2,…,K]，K为总类别数，γ是一个待调整的参数，以使该网络得到最好的分割效果。焦点损失由(T.-Y.Lin,P.Goyal,R.Girshick,K.He,and P.Dollar.Focal loss for dense object detection.In IEEE International，Conference on Computer Vision,2017.5)中的物体检测损失函数改进而来。

本实施例采用平均交并比来作为分割效果的性能指标。

随机梯度下降法为现有技术，本发明不予赘述。

本实施例中，本发明模型与其他的语义分割模型在额外增强的PASCAL VOC2012数据集上的对比结果如表1所示，从表1可以看出,具有通道注意力模块和引入焦点损失的DeepLabV2模型在该数据集上达到了77.5％mIOU,比原始的DeepLabV2模型提升了1.5％，说明具有通道注意力模块和焦点损失监督的网络模型在增强全局语义一致性和优化语义边界分割的同时有更好的分割效果；表中，CAM代表通道注意力模块，EL代表焦点损失。

表1本发明模型与其他的语义分割模型在PASCAL VOC2012数据集上的mIOU对比结果

Method	mIOU(％)
		FCN-8s	63.3
DeconvNet	72.5
		DeepLab	72.7
DeepLabV2	76.0
		DeeplabV2-CAM	76.6
DeeplabV2-CAM-EL	77.5
		RefineNet	78.0
本发明模型	80.5

本实施例还给出了本发明模型与其他的语义分割模型在PASCAL VOC2012数据集上的分割结果对比，如图3所示，图中第一列为输入原图；第二列为目标真实分割图；第三列为DeepLabV2模型的分割结果图；第四列为DeepLabV2模型加上通道注意力模块和焦点损失监督的分割结果图；第五列为本发明模型的分割结果图；从中可以看出，本发明模型对于图像的分割效果优于其他语义模型的分割效果，说明加入和边缘网络、焦点损失监督和注意力模块的网络模型在保证更强的语义一致性的同时，能更好地区分不同类别的边界特征，实现更好地分割效果。

本方法能够在保证图像分割效果的同时，对不同类别的边缘有更好的分割。

本发明技术方案可采用软件技术实现自动流程运行，运行本发明流程的***装置也应当在保护范围内。

应当理解的是，本说明书未详细阐述的部分均属于现有技术。

应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。

Claims (7)

1.一种基于边缘增强的语义图像分割方法，其特征在于，包括以下步骤：

步骤1，对输入图像进行预处理，建立边缘增强网络模型；所述边缘增强网络模型包括轻量级边缘网络和深度语义网络；

步骤2，分批次将步骤1所得预处理后图像输入轻量级边缘网络，所述轻量级边缘网络由三个卷积块和一个空间注意力模块组成，利用空间注意力模块自适应地关注图像的局部边缘信息，输出图像的边缘特征；

步骤3，分批次将步骤1所得预处理后图像输入深度语义网络，所述深度语义网络包括一个卷积池化层和四个残差块Res-1,Res-2,Res-3,Res-4，残差块Res-1,Res-2,Res-3,Res-4分别表示四个不同层次的语义信息，在Res-3和Res-4的输出部分加上了通道注意力模块进行细节优化；利用通道注意力模块进一步优化深度语义网络不同阶段的输出，得到图像的全局语义特征；

步骤4，将所得的边缘特征和全局语义特征进行级联，利用卷积操作对级联结果进行降维，融合不同层次的特征信息，然后利用通道注意力模块优化融合结果；

步骤5，对融合结果进行归一化，得到边缘增强网络模型预测的图像分割结果；

步骤6，计算边缘增强网络模型预测的分割图和给定的标准分割图的交叉熵损失和焦点损失，以分别监督轻量级边缘网络和深度语义网络的输出，使用随机梯度下降法更新边缘增强网络的模型参数，实现对输入图像的精确分割；

深度语义网络的交叉熵损失loss不仅包括最终融合输出和标准分割图的交叉熵损失，还有第3、4层级的特征输出和标准分割图的交叉熵损失，计算如下：

其中SL()表示交叉熵损失函数，FL()表示焦点损失函数，O表示网络的最终输出，t_s表示第s层级的特征输出，α和λ表示两个辅助损失的权重，w表示交叉熵损失计算中的参数，v表示焦点损失计算中的参数；

焦点损失用于解决正负样本严重失衡的问题，从而放大类间的区分度，加强对类别边界的拟合，表达如下：

FL＝-(1-p_k)^γlog p_k

其中，p_k是类别k的估计概率，k∈[1,2,…,K]，K为总类别数，γ是一个待调整的参数，以使该网络得到最好的分割效果。

2.根据权利要求1所述的基于边缘增强的语义图像分割方法，其特征在于：步骤1中预处理的实现方式为，归一化输入的图像块，并进行水平方向或者竖直方向的翻转，然后从原图像和翻转后的图像做随机裁剪，得到具有相同分辨率的图像块，实现对训练数据的扩充。

3.根据权利要求1所述的基于边缘增强的语义图像分割方法，其特征在于：步骤2中的每个卷积块由三个内核大小为3的卷积层、Batch Normalization层和Relu层组成，前两个卷积块为标准卷积，第三个卷积块为空洞卷积，以增大感受野，保留图像细节信息，更好地拟合目标边界。

4.根据权利要求1所述的基于边缘增强的语义图像分割方法，其特征在于：步骤2中的空间注意力模块对输出的通道特征图执行归一化，经过基于特征张量在通道域上平均值的激活函数，得到仅与空间信息有关的掩膜，自适应地关注图像的局部边缘信息，得到图像的边缘特征。

5.根据权利要求4所述的基于边缘增强的语义图像分割方法，其特征在于：所述空间注意力模块对边缘特征的优化如下，

s_i＝x_i*(1+f(x_i)),

其中，设X表示卷积操作后提取的初步特征，S表示优化后的边缘特征，f()表示掩膜生成的激活函数，S＝{s₁,s₂,...,s_i,...,s_N},X＝{x₁,x₂,...,x_i,...,x_N}，x_i表示第i个通道的初步特征图，s_i表示第i个通道的边缘特征图，N表示当前卷积层的总通道数。

6.根据权利要求1或2或3或4或5所述的基于边缘增强的语义图像分割方法，其特征在于：步骤3和步骤4中通道注意力模块的实现方式为，

A)首先利用全局平均池化把输入的二维特征图变为全局平均值，并通过两个全连接层进行通道权重的学习，进行归一化，再经过sigmoid和Relu激活函数得到每个特征图的权重，取值在[0,1]之间；

B)然后，将每个输入的特征图和其对应的权重值相乘，再通过输入特征图本身进行相加，放大关键的特征信息，记为：

t_j＝y_j*(1+g(y_j)),

其中，设Y表示残差块提取的初步特征，T表示经过通道注意力模块优化后的语义特征，T＝{t₁,t₂,...,t_j,...,t_M},Y＝{y₁,y₂,...,y_j,...,y_M}，其中t_j表示第j个通道的初步特征，y_j表示第j个通道的优化后的特征，M表示当前卷积层通道数；函数g表示步骤A中将特征图映射为[0,1]之间的权重值的过程。

7.一种基于边缘增强的语义图像分割***，其特征在于：用于执行如权利要求1至6任一项所述的一种基于边缘增强的语义图像分割方法。

Images