CN109902748A - 一种基于多层信息融合全卷积神经网络的图像语义分割方法 - Google Patents

Abstract

本发明涉及一种基于多层信息融合全卷积神经网络的图像语义分割方法，包括以下步骤：构建基于多信息融合的全卷积神经网络；对数据集的训练图片进行预处理，并将预处理结果输入神经网络中进行训练，得到图像语义分割模型；将待测试的图像输入图像语义分割模型，进行一次前向传播，端到端的输出语义分割结果。通过使用卷积神经网络模型提取图像的基础深度特征，将特征分为低层特征和高层特征，并将低层特征和高层特征融合成增强型的深度特征，能够有效解决图像语义分割准确率低，图像空间细节信息丢失的问题，最终得到较好的图像语义分割结果。

Description

一种基于多层信息融合全卷积神经网络的图像语义分割方法

技术领域

本发明属于图像语义分割技术领域，具体涉及一种基于多层信息融合全卷积神经网络的图像语义分割方法。

背景技术

深度卷积神经网络将计算机视觉***的性能推到了新的高度。图像语义分割是计算机视觉的重要任务之一，对后续的计算机视觉任务具有至关重要的作用，例如无人驾驶视频分析中道路和非道路场景的区分。图像语义分割一般建模为像素级别的多分类问题，其目标是将图像的每一像素区分为预定义的多个类别之一。

尽管图像语义分割方法目前已经有了快速的发展，但是，因为它的复杂性，仍然有很多问题有待解决。图像语义分割的挑战性主要体现在：(1)物体层次的不确定性，这是因为图像的明亮程度、模糊程度、图像中物体的大小及方向等诸多因素的影响；(2)物体类别层次的模糊性，同一个物种的不同类别，也不好分别开。为了减少不确定性和模糊性等外界因素的影响，充分利用图像中的信息(如图像像素值，从中可以提出许多特征，如颜色特征、图像中像素、物体之间的联系等上下文信息)，获得更好的特征表示，是一个重要的方法。为了提高图像语义分割的准确性，人们也一直在努力使用先进的算法。因此，对图像语义分割算法进行进一步的研究仍然具有非常重大的实际意义。

早期的图像语义分割利用手工标注特征，如方向梯度直方图HOG和尺度不变特征转换SIFT。基于机器学习的方法从最简单的像素级别阈值法、基于像素聚类的分割方法到基于图论划分的分割方法。这些方法过于依赖手工标注的特征库，难以广泛表示图像特征，在实际应用中有很大的局限性。近年来，卷积神经网络(CNN)的发展，使计算机视觉任务中的许多问题得到了巨大的突破。由于深度卷积网络可以从大量样本数据中提取出图像的特征，比手工标注特征更好，在图像分类和目标检测等高层计算机视觉任务上获得了巨大的成功，因此，如何利用深度学习技术以提高图像语义分割性能是目前迫切需要解决的问题。

发明内容

本发明的目的在于设计一种基于多层信息融合全卷积神经网络的图像语义分割方法，以解决现有技术中图像分割准确率较低的问题。

本发明的技术方案如下：

一种基于多层信息融合全卷积神经网络的图像语义分割方法，包括以下步骤：

S1、构建基于多层信息融合的全卷积神经网络；

S2、对数据集的训练图片进行预处理，并将预处理结果输入神经网络中进行训练，得到图像语义分割模型；

S3、将待测试的图像输入图像语义分割模型，进行一次前向传播，端到端的输出语义分割结果。

进一步地，所述步骤S1中，所述深度神经网络包括顺次连接的特征提取模块和特征融合模块；

所述特征提取模块是经过修改的VGG19网络，去掉原来VGG19网络模型的全连接层，仅保留卷积层。

所述的特征融合模块的结构设计如下，在conv5后添加一个上采样层(双线性插值)，将conv5输出的特征图上采样到与conv4输出的特征图相同大小，并与conv4输出的特征图融合为fuse1，将fuse1上采样到与conv3输出的特征图相同大小，并与conv3输出的特征图融合为fuse2，最后将conv5输出的特征图、fuse1和fuse2上采样到与输入图像相同大小，并进行融合。

进一步地，所述的特征提取模块使用VGG19网络提取图像的基础深度特征，同时根据卷积的深度将特征分为低层特征和高层特征，所述的低层特征由纹理、边缘的局部特征组成，所述的高层特征包括语义信息的全局特征。

进一步地，所述的特征融合模块是将低层特征和高层特征合成增强型的深度特征。

进一步地，所述步骤S2中，对深度神经网络训练的过程具体为：

首先，采用Xavier方法对深度神经网络模型参数进行初始化；

然后，将经过预处理的图像作为训练数据，以批处理的方式输入到初始化后的深度神经网络中，采用分类交叉熵损失函数作为目标函数，随机梯度下降法进行误差反向传播，采用多项式学习策略，对深度神经网络进行训练：

所述分类交叉熵损失函数定义如下：

其中，Y'是分割标签概率向量，Y是标签预测概率向量，C是像素类别数，S是图像像素的个数，log(.)是求自然对数，B是批大小；

所述的随机梯度下降法优化目标函数：

m_t＝μ*m_t-1-η_tg_t

θ_t＝θ_t-1+m_t

其中，下标t是迭代次数，θ是网络模型参数，L(θ_t-1)是当使用θ_t-1为网络参数时的损失函数，g_t、m_t、μ分别是梯度、动量和动量系数，η是学习率；

所述多项式学习策略中，学习率η设置为

式中，η₀为初始学习率，t为当前迭代次数，total_t为迭代总次数，上标power为多项式的幂。

本发明通过使用卷积神经网络模型提取图像的基础深度特征，将特征分为低层特征和高层特征，并将低层特征和高层特征融合成增强型的深度特征，能够有效解决图像语义分割准确率低，图像空间细节信息丢失的问题，最终得到较好的图像语义分割结果。

附图说明

图1为本发明提供的实施例中基于多层信息融合全局卷积神经网络地图像语义分割方法流程图；

图2为本发明提供的实施例中基于多层信息融合全局卷积神经网络地图像语义分割网络模型结构图。

具体实施方式

下面结合本发明实施例中的附图，对本发明实施例中的的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。

如图1所示，一种基于多层信息融合全局卷积神经网络地图像语义分割方法，包括以下步骤：

S1、构建基于多层信息融合的全卷积神经网络；

如图2所示，上述步骤S1中，深度神经网络包括顺次连接的特征提取模块和特征融合模块；

特征提取模块是经过修改的VGG19网络，去掉原来VGG19网络模型的全连接层，仅保留卷积层，特征提取模块包括顺次连接的5个卷积模块，分别为conv1、conv2、conv3、conv4和conv5。输入图像依次经过5个卷积模块，输出的特征图的尺寸是输入图像的1/2、1/4、1/8、1/16和1/32，conv1、conv2、conv3和conv4输出的特征为低层特征，conv5输出的特征为高层特征。

特征融合模块的结构设计如下，在conv5后添加一个上采样层(双线性插值)，将conv5输出的特征图上采样到与conv4输出的特征图相同大小，并与conv4输出的特征图融合为fuse1，将fuse1上采样到与conv3输出的特征图相同大小，并与conv3输出的特征图融合为fuse2，最后将conv5输出的特征图、fuse1和fuse2上采样到与输入图像相同大小，并进行融合。

S2、对数据集的训练图片进行预处理，并将预处理结果输入神经网络中进行训练，得到图像语义分割模型；

以VOC2012数据集的21类(其中一类为背景)场景类别为基准，采集COCO数据集中包含上述20类类别目标的图像加入数据集，最终得到训练数据集和测试数据集。为提高深度神经网络的泛化性能，将数据集的训练数据裁剪为224*224的固定尺寸，并采用随机翻转图像，在0.5到2倍之间随机缩放图像；使用随机尺度缩放、随机宽高比调整和随机旋转来做数据扩增。

上述对深度神经网络训练的过程具体为：

首先，采用Xavier方法对深度神经网络模型参数进行初始化；

然后，将经过预处理的图像作为训练数据，以批处理的方式输入到初始化后的深度神经网络中，采用分类交叉熵损失函数作为目标函数，随机梯度下降法进行误差反向传播，采用多项式学习策略，对深度神经网络进行训练：

所述分类交叉熵损失函数定义如下：

其中，Y'是分割标签概率向量，Y是标签预测概率向量，C是像素类别数，S是图像像素的个数，log(.)是求自然对数，B是批大小；

所述的随机梯度下降法优化目标函数：

m_t＝μ*m_t-1-η_tg_t

θ_t＝θ_t-1+m_t

其中，下标t是迭代次数，θ是网络模型参数，L(θ_t-1)是当使用θ_t-1为网络参数时的损失函数，g_t、m_t、μ分别是梯度、动量和动量系数，η是学习率；

所述多项式学习策略中，学习率η设置为

式中，η₀为初始学习率，t为当前迭代次数，total_t为迭代总次数，上标power为多项式的幂。

S3、将待测试的图像输入图像语义分割模型，进行一次前向传播，端到端的输出语义分割结果。

本发明的有益效果为：通过使用卷积神经网络模型提取图像的基础深度特征，将特征分为低层特征和高层特征，并将低层特征和高层特征融合成增强型的深度特征，能够有效解决图像语义分割准确率低，图像空间细节信息丢失的问题，最终得到较好的图像语义分割结果。

Claims (5)

1.一种基于多层信息融合全卷积神经网络的图像语义分割方法，其特征在于，包括以下步骤：

S1、构建基于多层信息融合的全卷积神经网络；

S2、对数据集的训练图片进行预处理，并将预处理结果输入神经网络中进行训练，得到图像语义分割模型；

S3、将待测试的图像输入图像语义分割模型，进行一次前向传播，端到端的输出语义分割结果。

2.根据权利要求1所述的基于多层信息融合全卷积神经网络的图像语义分割方法，其特征在于，所述步骤S1中，所述深度神经网络包括顺次连接的特征提取模块和特征融合模块；

所述特征提取模块是经过修改的VGG19网络，去掉原来VGG19网络模型的全连接层，仅保留卷积层；

所述的特征融合模块的结构设计如下，在conv5后添加一个上采样层(双线性插值)，将conv5输出的特征图上采样到与conv4输出的特征图相同大小，并与conv4输出的特征图融合为fuse1，将fuse1上采样到与conv3输出的特征图相同大小，并与conv3输出的特征图融合为fuse2，最后将conv5输出的特征图、fuse1和fuse2上采样到与输入图像相同大小，并进行融合。

3.根据权利要求2所述的基于多层信息融合全卷积神经网络的图像语义分割方法，其特征在于，所述的特征提取模块使用VGG19网络提取图像的基础深度特征，同时根据卷积的深度将特征分为低层特征和高层特征，所述的低层特征由纹理、边缘的局部特征组成，所述的高层特征包括语义信息的全局特征。

4.根据权利要求2所述的基于多层信息融合全卷积神经网络的图像语义分割方法，其特征在于，所述的特征融合模块是将低层特征和高层特征合成增强型的深度特征。

5.根据权利要求1所述的基于多层信息融合全卷积神经网络的图像语义分割方法，其特征在于，所述步骤S2中，对深度神经网络训练的过程具体为：

首先，采用Xavier方法对深度神经网络模型参数进行初始化；

然后，将经过预处理的图像作为训练数据，以批处理的方式输入到初始化后的深度神经网络中，采用分类交叉熵损失函数作为目标函数，随机梯度下降法进行误差反向传播，采用多项式学习策略，对深度神经网络进行训练：

所述分类交叉熵损失函数定义如下：

其中，Y’是分割标签概率向量，Y是标签预测概率向量，C是像素类别数，S是图像像素的个数，log(.)是求自然对数，B是批大小；

所述的随机梯度下降法优化目标函数：

m_t＝μ*m_{t_1}-η_tg_t

θ_t＝θ_t-1+m_t

其中，下标t是迭代次数，θ是网络模型参数，L(θ_{t_1})是当使用θ_t-1为网络参数时的损失函数，g_t、m_t、μ分别是梯度、动量和动量系数，η是学习率；

所述多项式学习策略中，学习率η设置为

式中，η₀为初始学习率，t为当前迭代次数，total_t为迭代总次数，上标power为多项式的幂。