CN110223304B - 一种基于多路径聚合的图像分割方法、装置和计算机可读存储介质 - Google Patents

Abstract

本发明提出了一种基于多路径聚合的图像分割方法、装置和计算机可读存储介质。首先，采用自底向上的路径聚合编码器结构，利用低层特征中的空间位置信息增强了整个特征层次结构，缩短了低层与顶层特征之间的信息路径，使用了更完整的低层特征。其次，本发明中的增强译码器具有更大的特征容纳能力。再次，为了进一步提高掩蔽(mask)预测的效率，提出了一种高效的特征金字塔方法，利用较少的资源来完成特征金字塔效应。在BraTS2017和BraTS2018数据集上进行了算法验证，我们的方法优于传统的方法，具有更好的分割结果。

Description

一种基于多路径聚合的图像分割方法、装置和计算机可读存 储介质

技术领域

本发明属于图像处理与分析技术领域，具体涉及一种基于多路径聚合的图像分割方法、装置和计算机可读存储介质。

背景技术

随着计算机科学与人工智能的发展，计算机的运行速度不断加快，在面对很多实际应用问题时，深度学习方法的效果优于传统算法。图像的语义分割，就是对图像中每个像素进行分类，将相同语义的类别分割出来。近年来，自动驾驶、无人机、图片美化、智能家居、智能医疗等行业中图像分割的应用日渐增多，越来越多的产品、装置需要更好的图像分割技术作为支撑。

传统的图像自动分割算法包括阈值法、边缘检测法、区域增长法、分水岭算法、基于模型的方法(水平集)和综合使用多种方法。上述传统算法运算效率较高，但是准确度仍不能达到应用要求，而且在分割过程中需要人为干预。基于深度学习的图像分割算法在准确率性能上优于以上传统算法，但是在性能上仍存在许多缺点。在图像经过多层卷积神经网络后，得到的是较深层的特征，而在提取特征过程中的浅层特征却被忽略。在传统的基于深度学习的图像分割方法中，最后的分割图仅采用了深层特征，没有使用同样重要的浅层特征。目前有基于特征金字塔的多层特征融合方法，但是浅层特征的使用仍然不足。因此需要通道增强的图像分割方法。

发明内容

传统的基于卷积神经网络的图像分割方法未使用浅层特征或者使用不足，忽视了图像的空间位置信息。针对这一问题，本发明提出了一种基于多路径聚合的神经网络方法，可以充分有效地利用图像的浅层特征，结合图像的深层特征，共同输出分割结果，提高分割的精度。

本发明采用的技术方案如下：

一种基于多路径聚合的图像分割方法，该方法使用路径聚合结构，将图像浅层特征与深层特征相结合，得到最终的分割结果，具体步骤包括：

(一)数据预处理：对数据集进行归一化处理，调整图像灰度值分布；如有多模态数据，则将其融合后形成多通道数据，如数据为单模态，则直接进行后续处理；进行数据清洗，将没有标签的图像去除，得到最终数据；

(二)经过编码器对数据进行下采样处理：下采样区域由两个卷积层和一个池化层组成，为了防止梯度弥散，每个卷积层增加了批归一化层再激活，数据经过四次下采样区域，图像尺度变小，最后经过一个没有池化层的下采样区域，得到最终的下采样输出；

(三)经过增强解码器对数据进行上采样处理：在经历下采样之后，图像尺度变小，采用上采样的方式将图像恢复到原尺度，具体方法为：上采样区域包括一个反卷积层、一个用于将下采样中相同尺度的特征图与反卷积得到的特征图连接起来的连接层和两个卷积层，每层卷积都经过激活函数；下采样最终输出的特征图经过四个上采样区域，图像恢复到原图尺度，得到最终的上采样输出；为容纳更多信息特征，增多解码器通道数，与编码器的通道数不相同，过程如下所示：

D(x_i)＝D(x_i-1)+E(x_i)

D(x_i)是第i个解码器的输出特征，E(x_i)是第i个编码器的输出特征；

(四)经过路径聚合编码器对数据进行下采样处理：路径聚合区域由两个卷积层、一个下采样层和一个连接层组成，连接层将增强解码器中相同尺度的特征图与路径聚合层连接，共经过三次路径聚合区域，加上路径聚合区域的输入，得到四个尺度不同的特征图，为路径聚合区域的输出，过程如下所示：

A(x_i)＝A(x_i-1)+D(x_i)

A(x_i)是第i个路径聚合编码器的输出特征；

(五)经过高效特征金字塔将路径聚合区域的输出特征图进行融合后输出最终分割结果：将路径聚合区域的输出分别上采样到原图尺度，然后进行像素值相加，在上采样过程中，减少各路径的通道数，过程如下所示：

P(x)是高效特征金字塔的输出特征，最后经过一个卷积层，经过激活函数，得到最终的多任务分割结果，过程如下所示：

H(x)是网络最终的输出结果；

(六)结果预测：将训练好的模型保存，输入测试集，得到最终分割结果。

为了实现上述方法，本发明还提供一种图像处理装置，该装置包括数据采集部件、存储器和处理器，其中，

所述数据采集部件对数据集进行归一化处理，调整图像灰度值分布；如有多模态数据，则将其融合后形成多通道数据，如数据为单模态，则直接进行后续处理；进行数据清洗，将没有标签的图像去除，得到最终数据；

所述存储器存储有计算机程序，所述程序被处理器执行时能够实现如前所述方法的步骤(二)至步骤(六)。

本发明还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如前所述方法的步骤。

在模型训练的数据预处理过程中，将数据随机打乱顺序，将数据集分为n份，选取其中n-1份作为训练集，选取剩余的1份作为验证集合，得到最终分割结果。本发明与传统的方法相对比，分割精度更高，具有更好的泛化能力。

附图说明

图1是基于多路径聚合的图像分割方法示意框图。

图2是本发明使用的分割模型示意框图。

图3是本发明的图像处理装置示意框图。

具体实施方式

下面通过附图对本发明技术方案进行详细说明。

如图1所示，本发明基于多路径融合的图像分割方法如下文所示：

步骤一：训练阶段：使用有标注的数据集进行训练。将数据集送入网络中参与训练，将交叉熵函数作为损失函数，使用Adam优化器更新路径聚合网络的参数，训练迭代70次，每次迭代都保存模型，保存模型之后使用数据集中的验证集部分进行验证，最终将验证正确率最高的模型保存。

步骤二：测试阶段：将数据进行预处理，对多个模态的数据进行裁剪然后进行减均值除以方差的标准化操作，然后送入训练阶段得到的效果最优的模型中，经过模型计算，得到分割结果图并显示出来。

如图2所示，路径聚合的网络结构与具体方法如下文所示：

(一)数据预处理：对数据集进行归一化处理，调整图像分布。如有多模态数据，将其融合，形成多通道数据，如数据为单模态，直接进行后续处理。将数据读取进来，得到的数据大小为b×w×h×c，其中b为图像数目，w为图像宽度，h为图像高度，c为通道数。打乱数据顺序，对数据集进行归一化处理。进行数据清洗，将没有标签的图像去除，得到最终数据。将全部数据集分为n份分别保存为数组形式，读取其中的n-1份作为训练集，剩余的1份作为测试集。

(二)编码器：

对训练数据进行下采样处理。下采样过程包含五个区域，其中四个为下采样区域，最后一个为非下采样区域。下采样区域由两个卷积层和一个下采样层组成。卷积层的卷积核大小为3，步长为1，下采样层采用最大池化层。第一到第四个下采样区域的卷积核个数递增。最后一个非下采样区域即下采样区域去掉池化层。为了防止梯度弥散，每个卷积层后都增加了批归一化层，下采样过程中的卷积层使用ReLU激活函数。训练数据经过下采样区域时，宽与高变为原来的1/2，最终下采样的输出的通道数为512，输出的宽与高为原图1/16。

(三)增强解码器：

对训练数据进行上采样处理。上采样过程包含四个区域，每个区域由一个上采样层、一个连接层、两个卷积层组成。其中上采样层采用插值法，连接层将下采样过程中相同尺度的特征图与上采样后的特征图连接起来，两个卷积层的卷积核大小为3，第一到第四个下采样区域的卷积核个数递减但多于编码器的个数，采取了非对称的结构，增强了解码器的特征解析作用。每个卷积层后增加了批归一化层，上采样过程中的卷积层都经过激活函数。训练数据经过上采样区域时，宽与高变为原来的2倍，最终上采样的输出通道数为64.输出的宽与高为原图尺度，过程如下所示：

D(x_i)＝D(x_i-1)+E(x_i)

D(x_i)是第i个解码器的输出特征，E(x_i)是第i个编码器的输出特征。

(四)路径聚合编码器：

对训练数据进行下采样处理。路径聚合区域包含三个下采样区域，每个区域由一个下采样层、一个连接层、两个卷积层组成。其中下采样采用步长为2的卷积层，连接层将上采样过程中相同尺度的特征图与路径聚合过程中的特征图连接起来，两个卷积层的卷积核大小分别为2与3，第一到第三个下采样区域的卷积核个数分别为128、256、512。每个卷积层后增加了批归一化层，下采样过程中的卷积层都使用ReLU激活函数。训练数据经过路径聚合区域时，宽与高变为原来的1/2。训练数据共经过三个路径聚合区域，算上路径聚合区域的输入，共得到四个长与宽分别为原图1/1、1/2、1/4、1/8的四个特征图，通道数递增，为路径聚合区域的输出，过程如下所示：

A(x_i)＝A(x_i-1)+D(x_i)

A(x_i)是第i个路径聚合编码器的输出特征。

(五)高效特征金字塔：

将路径聚合区域的输出特征图进行融合后输出最终分割结果。针对路径聚合区域的四个输出，分别上采样到原图尺度，然后进行像素值相加，再经过一个卷积层。上采样过程包含一个卷积层与一个上采样层，卷积层的通道数为32，卷积核大小为1，目的是为了改变特征图的通道数，否则通道数较多的特征图上采样后占用存储空间较大不利于训练，上采样层采用插值法。过程如下所示：

P(x)是高效特征金字塔的输出特征，最后经过一个卷积层，经过激活函数，得到最终的多任务分割结果，过程如下所示：

H(x)是网络最终的输出结果。

(六)结果预测：将训练好的模型保存，输入测试集，得到最终分割结果。

在模型训练的数据预处理过程中，将数据随机打乱顺序，将数据集分为n份，选取其中n-1份作为训练集，选取剩余的1份作为验证集合，得到最终分割结果。

图3给出了本发明的图像处理装置示意框图。如图3所示，该图像处理装置包括数据采集部件、存储器和处理器，其中，所述数据采集部件对数据集进行归一化处理，调整图像灰度值分布；如有多模态数据，则将其融合后形成多通道数据，如数据为单模态，则直接进行后续处理；进行数据清洗，将没有标签的图像去除，得到最终数据；所述存储器存储有计算机程序，所述程序被处理器执行时能够实现如前所述方法的步骤(二)至步骤(六)。

本发明与传统的方法相对比，分割精度更高，具有更好的泛化能力。

本发明的效果可以通过分割结果进一步说明：

为验证本发明的性能，采用数据集BraTS2017与BraTS2018，包含285个患者的多模态数据。将标准数据集分为训练集与验证集，将多路径聚合的图像分割方法与其他不使用多路径聚合的方法进行对比。分别对比了水肿、坏死、增强部分的dice系数、查全率、查准率。

表1为本发明在BraTS2017数据集上的分割结果。表2为本发明在BraTS2018数据集上的分割结果。其中VGG、DUnet、FCNN为深度学习图像分割领域中的经典方法，PA+EFP+ED为路径聚合编码器、高效特征金字塔、增强解码器的组合，是本发明提出的方法。表中黑体数字为该列最大值，代表了最优效果。综上所述，本发明比经典方法的分割效果更好。

表1

表2

Claims (3)

1.一种基于多路径聚合的图像分割方法，该方法使用路径聚合结构，将图像浅层特征与深层特征相结合，得到最终的分割结果，具体步骤包括：

(一)数据预处理：对数据集进行归一化处理，调整图像灰度值分布；如有多模态数据，则将其融合后形成多通道数据，如数据为单模态，则直接进行后续处理；进行数据清洗，将没有标签的图像去除，得到最终数据；

(二)经过编码器对数据进行下采样处理：下采样区域由两个卷积层和一个池化层组成，为了防止梯度弥散，每个卷积层增加了批归一化层再激活，数据经过四次下采样区域，图像尺度变小，最后经过一个没有池化层的下采样区域，得到最终的下采样输出；

(三)经过增强解码器对数据进行上采样处理：在经历下采样之后，图像尺度变小，采用上采样的方式将图像恢复到原尺度，具体方法为：上采样区域包括一个反卷积层、一个用于将下采样中相同尺度的特征图与反卷积得到的特征图连接起来的连接层和两个卷积层，每层卷积都经过激活函数；下采样最终输出的特征图经过四个上采样区域，图像恢复到原图尺度，得到最终的上采样输出；为容纳更多信息特征，增多解码器通道数，与编码器的通道数不相同，过程如下所示：

D(x_i)＝D(x_i-1)+E(x_i)

D(x_i)是第i个解码器的输出特征，E(x_i)是第i个编码器的输出特征；

(四)经过路径聚合编码器对数据进行下采样处理：路径聚合区域由两个卷积层、一个下采样层和一个连接层组成，连接层将增强解码器中相同尺度的特征图与路径聚合层连接，共经过三次路径聚合区域，加上路径聚合区域的输入，得到四个尺度不同的特征图，为路径聚合区域的输出，过程如下所示：

A(x_i)＝A(x_i-1)+D(x_i)

A(x_i)是第i个路径聚合编码器的输出特征；

(五)经过高效特征金字塔将路径聚合区域的输出特征图进行融合后输出最终分割结果：将路径聚合区域的输出分别上采样到原图尺度，然后进行像素值相加，在上采样过程中，减少各路径的通道数，过程如下所示：

P(x)是高效特征金字塔的输出特征，最后经过一个卷积层，经过激活函数，得到最终的多任务分割结果，过程如下所示：

H(x)是网络最终的输出结果；

(六)结果预测：将训练好的模型保存，输入测试集，得到最终分割结果。

2.一种图像处理装置，该装置包括数据采集部件、存储器和处理器，其中，

所述数据采集部件对数据集进行归一化处理，调整图像灰度值分布；如有多模态数据，则将其融合后形成多通道数据，如数据为单模态，则直接进行后续处理；进行数据清洗，将没有标签的图像去除，得到最终数据；

所述存储器存储有计算机程序，所述程序被处理器执行时能够实现权利要求1所述方法的步骤(二)至步骤(六)。

3.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1所述方法的步骤。

Images