CN109711413A - 基于深度学习的图像语义分割方法 - Google Patents

Abstract

一种基于深度学习的图像语义分割方法，由数据集处理、构建深度语义分割网络、深度语义分割网络训练及参数学习、对测试图像进行语义分割四部分组成。本发明将输入图像的RGB图像和灰度图像作为网络模型的输入，充分利用灰度图像的边缘信息，有效增加输入特征的丰富程度；把卷积神经网络和双向门限递归单元相结合，在学习图像局部特征的基础上，捕获更多的上下文依赖关系和全局特征信息；通过第一坐标通道模块和第二坐标通道模块对特征图加入坐标信息，丰富模型的坐标特征，提升模型的泛化能力，产生分辨率高、边界精确的语义分割结果。

Description

基于深度学习的图像语义分割方法

技术领域

本发明属于计算机视觉与深度学习技术领域，具体涉及一种基于深度学习的图像语义分割方法。

背景技术

图像语义分割是从像素水平上，理解、识别图片的内容，其目的是建立每个像素和语义类别之间的一一映射关系，根据语义信息进行分割，其被广泛应用于场景理解、自动驾驶、医学影像分析、机器人视觉等领域。图像语义分割是图像理解的基石，其分割结果的好坏将直接影响对后续图像内容的处理，因此，对图像语义分割技术的研究具有非常重要的现实意义。

传统的图像语义分割方法大多依赖于手工特征提取和概率图模型，如：随机森林、条件随机场(CRF)、马尔科夫随机场(MRF)等，这些方法只能学习浅层的表征信息，不能产生准确精细的分割结果。2012年以来，随着深度学习的快速发展，基于卷积神经网络的图像语义分割方法成为了研究热点。2014年，Hariharan 等人提出了协同目标检测和语义分割的SDS(simultaneous detection and segmentation)方法，该方法首先使用MCG方法抽取每幅图像中多个候选区域，然后分两路使用CNN提取边界框(bounding-box)特征和前景区域特征，并完成两路特征的信息融合，最后，利用非最大约束NMS(non-maximum suppression)方法生成语义分割结果。除了SDS方法，类似的还有R-CNN、SPP等方法，都是基于候选区域的语义分割方法，但这类方法依赖于大量的区域建议，导致内存消耗非常大，训练时间比较长，得到的语义分割结果精度低。

为了进一步降低内存开销，提升语义分割精度。2015年，Long等人提出了全卷积网络模型FCN(fully convolutional networks)，该模型将深度卷积神经网路最后的全连接层全部转换成卷积层，形成端到端、像素到像素的全卷积网络框架，使图像语义分割进入了一个全新的时代。Kendall等人提出了一种深度卷积编码－解码架构SegNet，该模型由一个卷积编码网络和一个反卷积解码网络组成，每一个编码器层都对应一个解码器层，最终编码器的输出被送入soft-max分类器进行逐像素分类。Chen等人在FCN的基础上，提出了一个更加成熟的语义分割模型Deeplab-CRF，该模型采用优化后的DCNN(深度卷积神经网络)得到粗糙得分图并通过双线性插值上采样到原图像大小，然后使用全连接条件随机场(CRF)进行迭代优化，得到精细的语义分割结果。

上述语义分割方法的缺点：其一，模型输入一般为RGB图像，输入过于单一，可能会导致局部特征缺失；其二，这些方法都是基于卷积神经网络来进行特征提取的，没有充分利用图像的局部特征信息和全局上下文依赖关系，导致图像的分割边缘非常粗糙，分割精度非常低。

发明内容

本发明所要解决的技术问题在于克服现有方法的缺陷，提供一种分割精度高、泛化能力强的基于深度学习的图像语义分割方法。

解决上述技术问题所采用的技术方案包括下述步骤：

S1、数据集处理

将图像数据集分为训练图像集和测试图像集，并对训练图像集进行数据增强操作，将训练图像的数量增加到万级单位；

S2、构建深度语义分割网络

深度语义分割网络由并行深度神经网络模块、特征融合模块、Softmax分类层构成，所述的并行深度神经网络模块用于对输入图像进行特征提取，所述特征融合模块将并行深度神经网络的输出特征图进行加权融合得到新的特征图，所述Softmax分类层将像素类别标签预测分值转换成像素类别标签预测概率分布图；

所述的并行深度神经网络模块由第一深度神经网络模块和第二深度神经网络模块组成，且第一深度神经网络模块和第二深度神经网络模块网络结构相同，第一深度神经网络模块的输入为输入图像的RGB图像，第二深度神经网络模块的输入为输入图像的灰度图像；

所述的第一深度神经网络模块由全卷积网络模块、第一坐标通道模块、第一循环层模块、第二坐标通道模块、第二循环层模块、空间金字塔池化模块构成，第一坐标通道模块与第二坐标通道模块的结构相同，第一循环层模块与第二循环层模块的结构相同，所述全卷积网络模块对输入图像进行局部特征提取，所述第一循环层模块用于捕获图像的上下文依赖关系和全局特征信息，所述第一坐标通道模块对全卷积网络模块输出的特征图连接i、j、r坐标通道构成新的特征图，以学习更多的坐标特征信息并提高模型的泛化能力，所述空间金字塔池化模块对第二循环层模块输出的特征图在多个采样率上进行卷积操作，提取不同尺度区域的特征信息；

S3、深度语义分割网络训练及参数学习

S31、网络模型参数初始化：使用ResNet101在ImageNet数据集上的预训练模型对全卷积网络模块进行参数初始化，使用标准均匀分布对第一循环层模块和第二循环层模块进行参数初始化，使用标准高斯分布对空间金字塔池化模块的卷积层进行参数初始化；

S32、使用数据增强后的训练图像集训练深度语义分割网络，生成像素类别预测标签概率分布图，利用预测标签概率和原始标签概率计算预测损失，具体采用混合损失函数L(θ)作为目标函数，

L(θ)＝L₁(θ)+L₂(θ)

式中L₁(θ)为交叉熵损失函数，L₂(θ)为L2正则化项，θ是深度语义分割网络的参数；

S33、采用随机梯度下降算法优化目标函数，运用反向传播算法更新网络模型参数，直到目标函数的值不再下降时结束训练；

S4、对测试图像进行语义分割

S41、将测试图像集输入步骤S3训练好的深度语义分割网络；

S42、并行深度神经网络模块对输入的测试图像集进行特征提取

测试图像的RGB图像作为第一深度神经网络模块的输入，测试图像的灰度图像作为第二深度神经网络模块的输入；

第一深度神经网络模块特征提取过程为：全卷积网络模块通过空洞卷积、最大池化、卷积操作对测试图像的RGB图像进行局部特征提取；将全卷积网络模块输出的特征图通过第一坐标通道模块得到新的特征图送入第一循环层模块进行水平和垂直扫描，学***和垂直扫描，捕获图像的全局特征信息；将第二循环层模块输出的特征图输入空间金字塔池化模块，在多个采样率上进行卷积操作，提取不同尺度区域的特征信息；

第二深度神经网络模块特征提取过程与第一深度神经网络模块特征提取过程相同；

S43、将第一深度神经网络模块输出的特征图与第二深度神经网络模块输出的特征图进行加权融合得到新的特征图；

S44、将步骤S43的结果送入Softmax分类层进行像素类别标签预测，得到图像中每个像素所属的物体类别，并做双线性插值操作上采样到原图像尺寸，得到精细的语义分割图。

作为一种优选的技术方案，所述的第一循环层模块由两个双向门限递归单元构成，双向门限递归单元的神经元个数为150。

作为一种优选的技术方案，所述的空间金字塔池化模块由4个不同采样率的空洞卷积构成，空洞卷积的卷积核大小为3×3，扩张率分别为4、6、8、12。

作为一种优选的技术方案，所述的步骤S2中i、j、r坐标通道由i坐标通道、j坐标通道、r坐标通道构成，i坐标通道、j坐标通道及r坐标通道均为e×f的坐标矩阵，i坐标通道第1行～第e行的元素依次为0、1、...、e-1，j坐标通道第1列～第f列的元素依次为0、1、...、f-1，e、f取正整数，r坐标通道为m为i坐标通道中的任意元素，n为j坐标通道中与m坐标位置相同的元素，将i坐标通道和j坐标通道中的元素线性缩放到[-1,1]范围内。

作为一种优选的技术方案，所述的步骤S3中参数学习的学习率按照如下公式进行衰减：

式中t为迭代次数，l₀是初始学习率，l_t是第t次迭代的学习率，power是动量为0.9。

本发明的有益效果如下：

本发明将输入图像的RGB图像和灰度图像作为网络模型的输入，充分利用灰度图像的边缘信息，有效增加输入特征的丰富程度；把卷积神经网络和双向门限递归单元相结合，在学习图像局部特征的基础上，捕获更多的上下文依赖关系和全局特征信息；通过第一坐标通道模块和第二坐标通道模块对特征图加入坐标信息，丰富模型的坐标特征，提升模型的泛化能力，产生分辨率高、边界精确的语义分割结果。

附图说明

图1是基于深度学习的图像语义分割方法流程图。

图2是第一深度神经网络模块。

图3是WeizmannHorse数据集中部分测试图像的语义分割图。

图4是StanfordBackground数据集中部分测试图像的语义分割图。

具体实施方式

下面结合附图和实施例对本发明进一步详细说明，但本发明不限于这些实施例。

实施例1

WeizmannHorse数据集是一个由328幅图像组成的图像分割数据集，数据集中部分图像如图3所示，网络模型的训练使用Pytorch平台，代码在python上编写完成，本实施例基于深度学习的图像语义分割方法，如图1所示，其步骤如下：

S1、数据集处理

从WeizmannHorse数据集中随机选取200张作为训练图像集，剩下的128张作为测试图像集，并对训练图像集进行数据增强操作，使训练图像的数量增加到11000张；

S2、构建深度语义分割网络

深度语义分割网络由并行深度神经网络模块、特征融合模块、Softmax分类层构成，并行深度神经网络模块用于对输入图像进行特征提取，特征融合模块将两个并行深度神经网络的输出特征图进行加权融合得到新的特征图，Softmax分类层将像素类别标签预测分值转换成像素类别标签预测概率分布图；

并行深度神经网络模块由第一深度神经网络模块和第二深度神经网络模块组成，且第一深度神经网络模块和第二深度神经网络模块结构相同，第一深度神经网络模块的输入为输入图像的RGB图像，第二深度神经网络模块的输入为输入图像的灰度图像；

在图2中，第一深度神经网络模块由全卷积网络模块、第一坐标通道模块、第一循环层模块、第二坐标通道模块、第二循环层模块、空间金字塔池化模块构成，第一坐标通道模块与第二坐标通道模块的结构相同，第一循环层模块与第二循环层模块的结构相同；

全卷积网络模块对输入图像进行局部特征提取，全卷积网络模块由Deeplab_largeFOV模型中Resnet101网络的第一卷积组～第五个卷积组构成，其中，第一卷积组～第三个卷积组使用卷积操作、最大池化操作，第四卷积组和第五个卷积组使用卷积操作、空洞卷积操作；

第一循环层模块由两个双向门限递归单元构成，双向门限递归单元的神经元个数为150，用于捕获图像的上下文依赖关系和全局特征信息；首先使用1×1的分块大小把特征图X分成G×K个不重叠的区域块，其中，G、K分别等于特征图X的长、宽；然后使用一个双向门限递归单元沿特征图X的每列进行垂直扫描，一个自顶向下扫描、一个自下向上扫描，每次读取一个区域块，并将扫描得到的输出预测按坐标索引连接起来得到一个复合特征图同样地，使用另外一个双向门限递归单元沿着复合特征图的每行进行水平扫描，一个自左向右扫描、一个自右向左扫描，每次读取一个区域块，并将输出预测按坐标索引连接起来得到一个新的复合特征图新的复合特征图具有来自整个图像的上下文信息；

第一坐标通道模块对全卷积网络模块输出的特征图连接i、j、r坐标通道构成新的特征图，以学习更多的坐标特征信息并提高模型的泛化能力；i、j、r坐标通道由i坐标通道、j坐标通道、r坐标通道构成，i坐标通道、j坐标通道及r坐标通道均为e×f的坐标矩阵，i坐标通道第1行～第e行的元素依次为0、1、...、e-1，j坐标通道第1列～第f列的元素依次为0、1、...、f-1，e、f取正整数，r坐标通道为m为i坐标通道中的任意元素，n为j坐标通道中与m坐标位置相同的元素，将i坐标通道和j坐标通道中的元素线性缩放到[-1,1]范围内；

空间金字塔池化模块对第二循环层模块输出的特征图在多个采样率上进行卷积操作，提取不同尺度区域的特征信息，该模块由4个不同采样率的空洞卷积构成，空洞卷积的卷积核大小为3×3，扩张率分别为4、6、8、12；

S3、深度语义分割网络训练及参数学习

S31、网络模型参数初始化：使用ResNet101在ImageNet数据集上的预训练模型对全卷积网络模块进行参数初始化，使用标准均匀分布对第一循环层模块和第二循环层模块进行参数初始化，使用标准高斯分布对空间金字塔池化模块的卷积层进行参数初始化；

S32、将数据增强后的训练图像集中的图像尺寸裁剪为330×330，使用裁剪后的训练图像训练深度语义分割网络，生成像素类别预测标签概率分布图，利用预测标签概率和原始标签概率计算预测损失，具体采用混合损失函数L(θ)作为目标函数，

L(θ)＝L₁(θ)+L₂(θ)

式中L₁(θ)为交叉熵损失函数，L₂(θ)为L2正则化项，θ是深度语义分割网络的参数；

本实施例的交叉熵损失函数L₁(θ)为：

式中y_pq是预测标签概率向量，是原始标签概率向量，N是每张图片的像素个数，N为330×330＝108900，B是批大小，B为10，C是像素类别数，C为2，ln(.)是求自然对数；

本实施例的L2正则化项L₂(θ)为：

式中λ是正则化系数且为正数，N是每张图像的像素个数，N为330×330＝108900，B是批大小，B为10，S是w的参数个数且S取正整数，w是权重参数；

S33、采用随机梯度下降算法优化目标函数，运用反向传播算法更新网络模型参数，直到目标函数的值不再下降时结束训练，为了加速模型收敛，引入参数学习的学习率，学习率按照如下公式进行衰减：

式中t为迭代次数且t≤35000，l₀是初始学习率，l₀为0.003，l_t是第t次迭代的学习率，梯度衰减为0.0001，power是动量为0.9；

S4、对测试图像进行语义分割

S41、将测试图像集输入步骤S3训练好的深度语义分割网络；

S42、并行深度神经网络模块对输入的测试图像集进行特征提取

测试图像的RGB图像作为第一深度神经网络模块的输入，测试图像对应的灰度图像作为第二深度神经网络模块的输入；

第一深度神经网络模块特征提取过程为：全卷积网络模块通过空洞卷积、最大池化、卷积操作对测试图像的RGB图像进行局部特征提取；将全卷积网络模块输出的特征图通过第一坐标通道模块得到新的特征图送入第一循环层模块进行水平和垂直扫描，学***和垂直扫描，捕获图像的全局特征信息；将第二循环层模块输出的特征图输入空间金字塔池化模块，在多个采样率上进行卷积操作，提取不同尺度区域的特征信息；

第二深度神经网络模块特征提取过程与第一深度神经网络模块特征提取过程相同；

S43、将第一深度神经网络模块输出的特征图与第二深度神经网络模块输出的特征图进行加权融合得到新的特征图；

S44、将步骤S43的结果送入Softmax分类层进行像素类别标签预测，得到图像中每个像素所属的物体类别，并做双线性插值操作上采样到原图像尺寸，得到精细的语义分割图。

采用本实施例方法对WeizmannHorse数据集中128张测试图像进行语义分割，部分测试图像的语义分割图如图3所示，其中，第一行是输入图像、第二行是输入图像对应的彩色标签图像、第三行是其对应的语义分割图。

实施例2

StanfordBackground数据集是一个由715幅图像组成的图像分割数据集，数据集中部分图像如图4所示，网络模型的训练使用Pytorch平台，代码在python上编写完成。

本实施例基于深度学习的图像语义分割方法，在步骤S1中从StanfordBackground数据集中随机选取573张作为训练图像集，剩下的142张作为测试图像集，并对训练图像集进行数据增强操作，使训练图像的数量增加到13752张；步骤S32中将数据增强后的训练图像集中的图像尺寸裁剪为421×421，使用裁剪后的训练图像训练深度语义分割网络，生成像素类别预测标签概率分布图，利用预测标签概率和原始标签概率计算预测损失，具体采用混合损失函数L(θ)作为目标函数，

L(θ)＝L₁(θ)+L₂(θ)

式中L₁(θ)为交叉熵损失函数，L₂(θ)为L2正则化项，θ是深度语义分割网络的参数；

本实施例的交叉熵损失函数L₁(θ)为：

式中y_pq是预测标签概率向量，是原始标签概率向量，N是每张图片的像素个数，N为421×421＝177241，B是批大小，B为6，C是像素类别数，C为8，ln(.)是求自然对数；

本实施例的L2正则化项L₂(θ)为：

式中λ是正则化系数且为正数，N是每张图像的像素个数，N为421×421＝177241，B是批大小，B为6，S是w的参数个数且S取正整数，w是权重参数；步骤S33中采用随机梯度下降算法优化目标函数，运用反向传播算法更新网络模型参数，直到目标函数的值不再下降时结束训练，为了加速模型收敛，引入参数学习的学习率，学习率按照如下公式进行衰减：

式中t为迭代次数且t≤35000，l₀是初始学习率，l₀为0.001，l_t是第t次迭代的学习率，梯度衰减为0.0001，power是动量为0.9；

其它操作步骤及参数与实施例1相同。

采用本实施例方法对StanfordBackground数据集中142张测试图像进行语义分割，部分测试图像的语义分割图如图4所示，其中，第一行是输入图像、第二行是输入图像对应的彩色标签图像、第三行是其对应的语义分割图。

Claims (5)

1.一种基于深度学习的图像语义分割方法，其特征在于由下述步骤组成：

S1、数据集处理

将图像数据集分为训练图像集和测试图像集，并对训练图像集进行数据增强操作，将训练图像的数量增加到万级单位；

S2、构建深度语义分割网络

深度语义分割网络由并行深度神经网络模块、特征融合模块、Softmax分类层构成，所述的并行深度神经网络模块用于对输入图像进行特征提取，所述特征融合模块将并行深度神经网络的输出特征图进行加权融合得到新的特征图，所述Softmax分类层将像素类别标签预测分值转换成像素类别标签预测概率分布图；

所述的并行深度神经网络模块由第一深度神经网络模块和第二深度神经网络模块组成，且第一深度神经网络模块和第二深度神经网络模块网络结构相同，第一深度神经网络模块的输入为输入图像的RGB图像，第二深度神经网络模块的输入为输入图像的灰度图像；

所述的第一深度神经网络模块由全卷积网络模块、第一坐标通道模块、第一循环层模块、第二坐标通道模块、第二循环层模块、空间金字塔池化模块构成，第一坐标通道模块与第二坐标通道模块的结构相同，第一循环层模块与第二循环层模块的结构相同，所述全卷积网络模块对输入图像进行局部特征提取，所述第一循环层模块用于捕获图像的上下文依赖关系和全局特征信息，所述第一坐标通道模块对全卷积网络模块输出的特征图连接i、j、r坐标通道构成新的特征图，以学习更多的坐标特征信息并提高模型的泛化能力，所述空间金字塔池化模块对第二循环层模块输出的特征图在多个采样率上进行卷积操作，提取不同尺度区域的特征信息；

S3、深度语义分割网络训练及参数学习

S31、网络模型参数初始化：使用ResNet101在ImageNet数据集上的预训练模型对全卷积网络模块进行参数初始化，使用标准均匀分布对第一循环层模块和第二循环层模块进行参数初始化，使用标准高斯分布对空间金字塔池化模块的卷积层进行参数初始化；

S32、使用数据增强后的训练图像集训练深度语义分割网络，生成像素类别预测标签概率分布图，利用预测标签概率和原始标签概率计算预测损失，具体采用混合损失函数L(θ)作为目标函数，

L(θ)＝L₁(θ)+L₂(θ)

式中L₁(θ)为交叉熵损失函数，L₂(θ)为L2正则化项，θ是深度语义分割网络的参数；

S33、采用随机梯度下降算法优化目标函数，运用反向传播算法更新网络模型参数，直到目标函数的值不再下降时结束训练；

S4、对测试图像进行语义分割

S41、将测试图像集输入步骤S3训练好的深度语义分割网络；

S42、并行深度神经网络模块对输入的测试图像集进行特征提取测试图像的RGB图像作为第一深度神经网络模块的输入，测试图像的灰度图像作为第二深度神经网络模块的输入；

第一深度神经网络模块特征提取过程为：全卷积网络模块通过空洞卷积、最大池化、卷积操作对测试图像的RGB图像进行局部特征提取；将全卷积网络模块输出的特征图通过第一坐标通道模块得到新的特征图送入第一循环层模块进行水平和垂直扫描，学***和垂直扫描，捕获图像的全局特征信息；将第二循环层模块输出的特征图输入空间金字塔池化模块，在多个采样率上进行卷积操作，提取不同尺度区域的特征信息；

第二深度神经网络模块特征提取过程与第一深度神经网络模块特征提取过程相同；

S43、将第一深度神经网络模块输出的特征图与第二深度神经网络模块输出的特征图进行加权融合得到新的特征图；

S44、将步骤S43的结果送入Softmax分类层进行像素类别标签预测，得到图像中每个像素所属的物体类别，并做双线性插值操作上采样到原图像尺寸，得到精细的语义分割图。

2.根据权利要求1所述的基于深度学习的图像语义分割方法，其特征在于：所述的第一循环层模块由两个双向门限递归单元构成，双向门限递归单元的神经元个数为150。

3.根据权利要求1所述的基于深度学习的图像语义分割方法，其特征在于：所述的空间金字塔池化模块由4个不同采样率的空洞卷积构成，空洞卷积的卷积核大小为3×3，扩张率分别为4、6、8、12。

4.根据权利要求1所述的基于深度学习的图像语义分割方法，其特征在于：所述的步骤S2中i、j、r坐标通道由i坐标通道、j坐标通道、r坐标通道构成，i坐标通道、j坐标通道及r坐标通道均为e×f的坐标矩阵，i坐标通道第1行～第e行的元素依次为0、1、...、e-1，j坐标通道第1列～第f列的元素依次为0、1、...、f-1，e、f取正整数，r坐标通道为m为i坐标通道中的任意元素，n为j坐标通道中与m坐标位置相同的元素，将i坐标通道和j坐标通道中的元素线性缩放到[-1,1]范围内。

5.根据权利要求1所述的基于深度学习的图像语义分割方法，其特征在于：所述的步骤S3中参数学习的学习率按照如下公式进行衰减：

式中t为迭代次数，l₀是初始学习率，l_t是第t次迭代的学习率，power是动量为0.9。