CN109886986A - 一种基于多分支卷积神经网络的皮肤镜图像分割方法 - Google Patents

Abstract

本发明公开一种基于多分支卷积神经网络的皮肤镜图像分割方法，包括以下步骤：一、训练样本收集；二、图像扩充；三、多分支卷积神经网络模型设计；四、多分支卷积网络训练；五、皮损分布概率图生成；六、分割结果获得。本发明优点和功效：针对皮肤镜图像数据特性，使用对应的图像变换来有效扩充训练数据集，确保网络训练有效，泛化性能强；本发明卷积神经网络包含多个分支，融合了丰富的语义信息和细节信息，相比普通网络，能够更好地恢复皮损边缘，得到更精准的皮损分割结果；本发明为全自动分割方案，只需输入待分割的皮肤镜图像，该方案便能自动给出该图像的分割结果，无需额外处理，高效简捷。

Description

一种基于多分支卷积神经网络的皮肤镜图像分割方法

技术领域

本发明属于计算机辅助诊断领域，具体涉及一种基于多分支卷积神经网络的皮肤镜图像分割方法。

背景技术

皮肤黑素瘤分为良性和恶性，其中恶性皮肤黑素瘤的危害性极大，患者如果在早期没有接受及时治疗，则很容易导致死亡。对于皮肤黑素瘤，最有效的治疗方法就是尽早发现，再进行病灶切除。皮肤镜又称表皮透光显微镜，可以获得分辨率和清晰度都很高的皮肤镜图像。对皮肤镜图像进行自动诊断，可以避免医生诊断时由于主观性所导致的诊断错误。皮损诊断时，区域形状和边界信息是重要的诊断依据。皮肤镜图像分割就是为了获得准确的皮损区域，它是自动辅助诊断流程中的重要步骤。然而，由于不同皮损的形状、颜色等差异甚大，而且皮肤镜图像采集过程中经常存在毛发、气泡等干扰，导致皮肤镜图像分割是一个具有挑战性的问题。

目前，皮肤镜图像分割方法主要包括：基于边缘、阈值或区域等的方法和基于监督学习的方法。基于边缘的方法通过Sobel、Laplacian或Canny等经典算子来计算图像中的灰度梯度，然后提取梯度变化大的区域，作为皮损边界；这种方法对于皮损边界清晰，并且没有其它干扰的皮肤镜图像效果很好。基于阈值的方法利用皮损颜色与背景皮肤颜色通常不一致的特点，设置一个或多个阈值来划分不同区域；这种方法计算简捷，但是阈值不容易选择。基于区域的方法通过区域生长，将邻近相似的像素或子区域进行合并，直至得到最终的皮损区域；这种方法适合于皮损内部保持一致的皮肤镜图像。基于监督学习的方法通过手工设计相关特征，或者由数据自动挖掘潜在特征，再训练分类器对特征分类，判断子区域或者某像素属于皮损还是正常皮肤；这种方法非常依赖于特征设计和选择，对复杂的皮肤镜图像适应能力差。

卷积神经网络目前被广泛应用于图像处理领域，在诸多任务中，如目标分类、目标检测、目标分割等等，都取得了优异表现。卷积神经网络能够自动从训练数据中学习到高级特征，具有非常强的适应能力。本发明设计了一个全新的卷积神经网络模型用于皮肤镜图像分割，该模型具有多个分支，低层分支提取细节信息，高层分支提取语义信息，并且每个分支计算损失，进行反向传播训练，以确保每个分支都能有效提取特征，最后融合多个分支特征图，经过上采样，得到准确的皮肤镜图像分割结果。

发明内容

本发明的目的在于提供一种基于多分支卷积神经网络的皮肤镜图像分割方法，它能自动准确提取皮损区域，辅助皮肤镜图像诊断***的后续环节，提高皮损诊断准确率。本发明通过从原始图像数据中自动学习高级特征，对图像中的毛发、气泡等干扰具有很好的鲁棒性，并且通过多分支特征融合，输出边界准确的皮损分割结果。

本发明为一种基于多分支卷积神经网络的皮肤镜图像分割方法，具体技术方案包括以下步骤：

步骤一：训练样本收集

本发明所使用的皮肤镜图像来源于国际上公开数据集，包含了2750张原始皮肤镜图像(其中2000张用于训练，750张用于验证和测试)，其皮损区域真值图由皮肤科医生手动标记，此真值图为二值图像，其中1代表皮损区域，0代表健康皮肤区域。数据集中包含的皮损在形状、颜色、纹理、位置等方面都有很大变化，图像分辨率在542×718到2848×4288之间。为了方便处理，将原始图像以及皮损真值图统一缩放至512×512大小。

步骤二：图像扩充

通常，卷积神经网络神经元越多，网络容量越大，意味着网络模型能够拟合更加复杂的映射关系，即对复杂任务也能有非常良好的性能。但是，伴随着神经元越多，网络中的参数也会增加很多，在后续的训练过程中，如果没有足够多的训练数据，则很容易造成过拟合问题。因此，为了训练得到一个良好的网络，本发明采取了多种方法来对训练图像进行扩充。

考虑到采集图像时会有不同拍摄角度，对每一张原始训练图像分别进行水平翻转，垂直翻转，90°、180°和270°的旋转。另外由于观察到部分皮肤镜图像在上、下、左、右有黑边，所以对每张原始训练图像分别向四个方向平移25个像素。皮损真值图随其原图做对应的变换。最后，2000张原始训练图像经过扩充，得到了20000张训练图像。

步骤三：多分支卷积神经网络模型设计

在深度神经网络模型中，网络浅层提取图像中的边缘、纹理等细节信息，故浅层特征图中包含了诸多皮肤镜图像中的皮损边界信息，而网络深层综合浅层提取的低级特征，进一步形成语义丰富的高级特征，方便分类。对于皮肤镜图像分割任务，既需要丰富的语义信息来准确分类皮损和背景，同时又需要细节信息来精准提取皮损边界。对此，本发明构建了一个卷积神经网络，为编码器-解码器架构，其中编码器提取语义和细节信息，解码器恢复特征图尺寸，获得最终分割结果。另外，在编码器的不同层构建4个分支来提取特征，最后对不同分支上的特征进行融合，以获得准确的皮肤镜图像分割结果。具体设计思路如下：

1.编码器结构设计：普通卷积网络中，通常情况下，每个卷积层只接受上一层的输出作为输入，对于上一层之前的信息则不能很好利用。本发明构建的卷积网络中，卷积块内每一个卷积层的输出都将是其后面卷积层的输入，使得已经学习到的低级特征能够被后续充分利用，避免卷积层学习重复特征，减少信息冗余，降低网络训练难度。编码器总体框架为：输入图像→卷积层→池化层→第1卷积块→第1池化块→第2卷积块→第2池化块→第3卷积块，具体细节如下所示：

①图像输入编码器，首先经过1个卷积层(核大小为7×7，步长为2，输出维度为24)，再经过1个最大池化层(核大小为3×3，步长为2)，最后输入第1卷积块。用Input#代表输入图像，Conv7×7#代表该7×7卷积层，MaxPool#代表该最大池化层，BN#代表批归一化层，ReLU#代表修正线性单元层，则可表示为：Input→Conv7×7→BN→ReLU→MaxPool。由于Conv7×7和MaxPool中的步长为2，最后输出特征图的分辨率为输入图像的1/4，然后输入第1卷积块。

②第1卷积块、第2卷积块、第3卷积块均由6个卷积层组成，用Conv3×3#代表卷积层(核大小为3×3，步长为1，输出维度为12)，则卷积块中的每一层的具体结构为BN→ReLU→Conv3×3。本发明设计的卷积块Block的具体结构如图1所示。

③第1池化块、第2池化块降维。在卷积块中，特征图都是同样大小，为了降低特征图大小以提取更高级别语义特征，同时减小特征图维度以降低参数量，本发明在第1和第2卷积块后面各设计了一个池化块。用X#代表输入特征图(通道数为N)，Conv3×3#代表卷积层(核大小为3×3，步长为1，输出维度为N/2)，MaxPool#代表最大池化层(核大小为2×2，步长为2)，则本发明所设计的池化块具体结构为：X→BN→ReLU→Conv3×3→MaxPool。第1卷积块和第2卷积块输出的特征图经过池化块后，通道数、宽和高均为原来的1/2。

2.多分支结构设计：本发明设计的卷积神经网络中，在不同层构建4个分支来提取特征，最后对不同分支上的特征进行concat融合，如图2第1分支、第2分支、第3分支、第4分支所示。每个分支均通过1个卷积层(核大小为1×1，步长为1，输出维度为2)来提取信息，其中低层分支主要提取细节信息，高层分支主要提取语义信息。另外由于网络中的降维，不同分支输出特征图尺寸不一致，第2分支输出特征图的宽和高为第1分支上的1/2，第3分支和第4分支输出特征图则为第1分支上的1/4，因此这里使用双线性插值，将第2、3、4分支的输出特征图均上采样至与第1分支特征图相同尺寸，再进行concat融合。融合特征图再输入到主干上的解码器。

3.解码器结构设计：由于编码器中的融合特征图的空间分辨率为原始输入图像的1/4，所以本发明设计了一个解码器来恢复特征图空间尺寸。该解码器主要包含了2个卷积层和1个四倍的上采样层，用X#代表输入的融合特征图，Conv1×1_1#代表第1个卷积层(核大小为1×1，步长为1，输出维度为4)，Conv1×1_2#代表第2个卷积层(核大小为1×1，步长为1，输出维度为2)Upsample#代表4倍的双线性插值上采样层，则本发明所设计的解码器具体结构为：X→BN→ReLU→Conv1×1_1→ReLU→Conv1×1_2→Upsample。

步骤四：多分支卷积网络训练

解码器输出的特征图经过Softmax函数，得到皮损区域的分布概率图，再通过交叉熵函数，与分割真值图比较计算损失。损失在网络中反向传播，得到网络中参数的梯度，再根据梯度下降法来调整参数，使损失值减小，网络达到最佳。此交叉熵损失函数的具体计算如下所示：

其中，W和H分别为分割真值图宽和高，y_ij代表像素(i，j)的真实类别，皮损为1，背景为0，p_ij代表像素(i，j)为皮损的概率。

另外，为了确保4个分支所提取的信息是有效的，对每个分支上的输出特征图均采用上述同样方法，分别计算出分支损失Loss_{1，2，3，4}。由于分支特征图不直接生成最终分割结果，为了避免对分割精度影响过多，各分支损失乘以系数0.5之后，再与主干上的的分割损失相加，得到总损失，最后网络中的参数实际上是由总损失进行反向传播训练得到。具体可表示为：

Loss_all＝Loss+0.5*Loss_{1，2，3，4}

步骤五：皮损分布概率图生成

本发明所设计的网络输入一张皮肤镜图像，输出其皮损分布概率图。为了提高鲁棒性，待分割图像在输入网络之前，分别进行水平和垂直翻转，以及90°、180°和270°的旋转，再加上原始图像，总共6张图像，分别输入到分割网络中，得到6张皮损分布概率图。然后，对应其输入图像的变换，将概率图进行相应的反变换，最后对6张概率图进行平均，得到最终的皮损分布概率图。

步骤六：分割结果获得

得到皮损区域分布概率图后，再设置阈值为0.5，概率值大于0.5的像素被视为皮损像素，否则为背景皮肤，最后得到待分割图像的分割结果。

本发明一种基于多分支卷积神经网络的皮肤镜图像分割方法，优点和功效：

(1)本发明针对皮肤镜图像数据特性，使用对应的图像变换来有效扩充训练数据集，确保网络训练有效，泛化性能强。

(2)本发明设计的卷积神经网络包含多个分支，融合了丰富的语义信息和细节信息，相比普通网络，能够更好地恢复皮损边缘，得到更精准的皮损分割结果。

(3)本发明为全自动分割方案，只需输入待分割的皮肤镜图像，该方案便能自动给出该图像的分割结果，无需额外处理，高效简捷。

附图说明

图1为本发明设计的网络中的卷积块结构示意图。

图2为本发明设计的网络结构示意图。

图3为本发明的实现流程图。

具体实施方式

为了更好地理解本发明的技术方案，下面结合附图及具体实施方式详细介绍本发明。

本发明在PyTorch深度学习框架下实现，本发明的网络结构图及流程图分别如图2和图3所示。计算机配置采用：Intel Core i5 6600K处理器，16GB内存，NVIDIA GeForceGTX1080显卡，Ubuntu 16.04操作***。本发明是一种基于多分支卷积神经网络的皮肤镜图像分割方法，具体包括以下步骤：

步骤1：皮肤镜图像训练样本收集及处理

从The International Skin Imaging Collaboration(ISIC)Challenge官网上下载皮肤镜图像数据集，包括2750张原始皮肤镜图像(其中2000张用于训练，750张用于验证和测试)，以及由专业皮肤科医生手动标记的皮损区域真值图。

步骤2：训练图像处理

首先将原始皮肤镜图像和分割真值图的尺寸统一缩放至512×512，然后对图像进行变换。考虑到采集图像时会有不同拍摄角度，对每一张原始训练图像分别进行水平翻转，垂直翻转，90°、180°和270°的旋转。另外由于观察到部分皮肤镜图像在上、下、左、右有黑边，所以对每张原始图像再分别向四个方向平移25个像素。皮损真值图同样进行相应的变换。最后，2000张原始训练图像经过扩充，得到了20000张训练图像。

步骤3：多分支卷积网络结构设计

本发明设计的多分支卷积网络结构如图2所示，其中为了简捷性，BN层和ReLU层被简化。根据此网络结构，在PyTorch深度学习框架下编写Module，主要包括以下三个部分：

1.编码器结构：编码器的总体框架为：输入图像→卷积层→池化层→第1卷积块→第1池化块→第2卷积块→第2池化块→第3卷积块，具体细节如下所示：

①图像输入编码器，首先经过1个卷积层(核大小为7×7，步长为2，输出维度为24)，再经过1个最大池化层(核大小为3×3，步长为2)，最后输入第1卷积块。用Input#代表输入图像，Conv7×7#代表该7×7卷积层，MaxPool#代表该最大池化层，BN#代表批归一化层，ReLU#代表修正线性单元层，则可表示为：Input→Conv7×7→BN→ReLU→MaxPool。由于Conv7×7和MaxPool中的步长为2，最后输出特征图的分辨率为输入图像的1/4，然后输入第1卷积块。

②第1卷积块、第2卷积块、第3卷积块均由6个卷积层组成，用Conv3×3#代表卷积层(核大小为3×3，步长为1，输出维度为12)，则卷积块中的每一层的具体结构为BN→ReLU→Conv3×3。本发明设计的卷积块Block的具体结构如图1所示。

③第1池化块、第2池化块降维。在卷积块中，特征图都是同样大小，为了降低特征图大小以提取更高级别语义特征，同时减小特征图维度以降低参数量，本发明在第1和第2卷积块后面各设计了一个池化块。用X#代表输入特征图(通道数为N)，Conv3×3#代表卷积层(核大小为3×3，步长为1，输出维度为N/2)，MaxPool#代表最大池化层(核大小为2×2，步长为2)，则本发明所设计的池化块具体结构为：X→BN→ReLU→Conv3×3→MaxPool。第1卷积块和第2卷积块输出的特征图经过池化块后，通道数、宽和高均为原来的1/2。

2.多分支结构：本发明设计的卷积神经网络中，在不同层构建4个分支来提取特征，最后对不同分支上的特征进行concat融合，如图2第1分支、第2分支、第3分支、第4分支所示。每个分支均通过1个卷积层(核大小为1×1，步长为1，输出维度为2)来提取信息，其中低层分支主要提取细节信息，高层分支主要提取语义信息。另外由于网络中的降维，不同分支输出特征图尺寸不一致，第2分支输出特征图的宽和高为第1分支上的1/2，第2分支和第4分支输出特征图则为第1分支上的1/4，因此这里使用双线性插值，将第2、3、4分支的输出特征图均上采样至与第1分支特征图相同尺寸，再进行concat融合。融合特征图再输入到主干上的解码器。

3.解码器结构：由于编码器中的融合特征图的空间分辨率为原始输入图像的1/4，所以本发明设计了一个解码器来恢复特征图空间尺寸。该解码器主要包含了2个卷积层和1个四倍的上采样层，用X#代表输入的融合特征图，Conv1×1_1#代表第1个卷积层(核大小为1×1，步长为1，输出维度为4)，Conv1×1_2#代表第2个卷积层(核大小为1×1，步长为1，输出维度为2)Upsample#代表4倍的双线性插值上采样层，则本发明所设计的解码器具体结构为：X→BN→ReLU→Conv1×1_1→ReLU→Conv1×1_2→Upsample。

步骤4：多分支卷积网络训练

解码器输出的特征图经过Softmax函数，得到皮损区域的分布概率图，再通过交叉熵函数，与分割真值图比较计算损失。损失在网络中反向传播，得到网络中参数的梯度，再根据梯度下降法来调整参数，使损失值减小，网络达到最佳。此交叉熵损失函数的具体计算如下所示：

其中，W和H分别为分割真值图宽和高，y_ij代表像素(i，j)的真实类别，皮损为1，背景为0，p_ij代表像素(i，j)为皮损的概率。

另外，为了确保4个分支所提取的信息是有效的，对每个分支上的输出特征图均采用上述同样方法，分别计算出分支损失Loss_{1，2，3，4}。由于分支特征图不直接生成最终分割结果，为了避免对分割精度影响过多，各分支损失乘以系数0.5之后，再与主干上的的分割损失相加，得到总损失，最后网络中的参数实际上是由总损失进行反向传播训练得到。具体可表示为：

Loss_all＝Loss+0.5*LosS_{1，2，3，4}

训练过程中，本方明采用Adam随机梯度下降法来训练网络，初始学习率设为0.0005，每批数量设为8，最大训练轮数设为200。当验证集上总损失不再呈持续下降趋势时，则提前停止网络训练，避免过拟合。

步骤5：多分支卷积网络图像测试

本发明所设计的网络输入一张皮肤镜图像，输出其皮损分布概率图。为了提高鲁棒性，待分割图像在输入网络之前，分别进行水平和垂直翻转，以及90°、180°和270°的旋转，再加上原始图像，总共6张图像，分别输入到分割网络中，得到6张皮损分布概率图。然后，对应其输入图像的变换，将概率图进行相应的反变换，最后对6张概率图进行平均，得到最终的皮损分布概率图。

得到皮损区域分布概率图后，再设置阈值为0.5，概率值大于0.5的像素被视为皮损像素，否则为背景皮肤，最后得到测试图像的分割图像。

整个分割模型框架中，测试图像的变换及对应分割图像的反变换，以及分割图像的融合和阈值化，均由代码自动化处理。故在实际测试中，输入一张皮肤镜图像，该模型直接输出最终分割结果图。

Claims (4)

1.一种基于多分支卷积神经网络的皮肤镜图像分割方法，其特征在于：该方法包括以下步骤：

步骤一：训练样本收集

皮肤镜图像来源于国际上公开数据集，包含了2750张原始皮肤镜图像，其中2000张用于训练，750张用于验证和测试，其皮损区域真值图由皮肤科医生手动标记，此真值图为二值图像，其中1代表皮损区域，0代表健康皮肤区域；为了方便处理，将原始图像以及皮损真值图统一缩放至512×512大小；

步骤二：图像扩充

对每一张原始训练图像分别进行水平翻转，垂直翻转，90°、180°和270°的旋转；对每张原始训练图像分别向四个方向平移25个像素；皮损真值图随其原图做对应的变换；最后，2000张原始训练图像经过扩充，得到了20000张训练图像；

步骤三：多分支卷积神经网络模型设计

构建一个卷积神经网络，为编码器-解码器架构，其中编码器提取语义和细节信息，解码器恢复特征图尺寸，获得最终分割结果；另外，在编码器的不同层构建4个分支来提取特征，最后对不同分支上的特征进行融合，获得准确的皮肤镜图像分割结果；

步骤四：多分支卷积网络训练

解码器输出的特征图经过Softmax函数，得到皮损区域的分布概率图，再通过交叉熵函数，与分割真值图比较计算损失；损失在网络中反向传播，得到网络中参数的梯度，再根据梯度下降法来调整参数，使损失值减小，网络达到最佳；交叉熵损失函数的具体计算如下所示：

其中，W和H分别为分割真值图宽和高，y_ij代表像素(i，j)的真实类别，皮损为1，背景为0，p_ij代表像素(i，j)为皮损的概率；

另外，为了确保4个分支所提取的信息是有效的，对每个分支上的输出特征图均采用上述同样方法，分别计算出分支损失Loss_{1，2，3，4}；由于分支特征图不直接生成最终分割结果，为了避免对分割精度影响过多，各分支损失乘以系数0.5之后，再与主干上的的分割损失相加，得到总损失，最后网络中的参数实际上是由总损失进行反向传播训练得到；具体可表示为：

Loss_all＝Loss+0.5*Loss_{1，2，3，4}

步骤五：皮损分布概率图生成

本发明所设计的网络输入一张皮肤镜图像，输出其皮损分布概率图；为了提高鲁棒性，待分割图像在输入网络之前，分别进行水平和垂直翻转，以及90°、180°和270°的旋转，再加上原始图像，总共6张图像，分别输入到分割网络中，得到6张皮损分布概率图；然后，对应其输入图像的变换，将概率图进行相应的反变换，最后对6张概率图进行平均，得到最终的皮损分布概率图；

步骤六：分割结果获得

得到皮损区域分布概率图后，再设置阈值为0.5，概率值大于0.5的像素被视为皮损像素，否则为背景皮肤，最后得到待分割图像的分割结果。

2.根据权利要求1所述的一种基于多分支卷积神经网络的皮肤镜图像分割方法，其特征在于：所述的编码器总体框架为：输入图像→卷积层→池化层→第1卷积块→第1池化块→第2卷积块→第2池化块→第3卷积块，具体细节如下：

图像输入编码器，首先经过1个核大小为7×7，步长为2，输出维度为24的卷积层，再经过1个核大小为3×3，步长为2的最大池化层，最后输入第1卷积块；用Input#代表输入图像，Conv7×7#代表该7×7卷积层，MaxPool#代表该最大池化层，BN#代表批归一化层，ReLU#代表修正线性单元层，则可表示为：Input→Conv7×7→BN→ReLU→MaxPool；由于Conv7×7和MaxPool中的步长为2，最后输出特征图的分辨率为输入图像的1/4，然后输入第1卷积块；

第1卷积块、第2卷积块、第3卷积块均由6个卷积层组成，用Conv3×3#代表核大小为3×3，步长为1，输出维度为12的卷积层，则卷积块中的每一层的具体结构为BN→ReLU→Conv3×3；

第1池化块、第2池化块降维；在第1和第2卷积块后面各设计了一个池化块；用X#代表输入特征图，通道数为N，Conv3×3#代表核大小为3×3，步长为1，输出维度为N/2的卷积层，MaxPool#代表核大小为2×2，步长为2的最大池化层，则池化块具体结构为：X→BN→ReLU→Conv3×3→MaxPool；第1卷积块和第2卷积块输出的特征图经过池化块后，通道数、宽和高均为原来的1/2。

3.根据权利要求1所述的一种基于多分支卷积神经网络的皮肤镜图像分割方法，其特征在于：所述的多分支结构设计具体为：在所述的卷积神经网络中，在不同层构建4个分支来提取特征，最后对不同分支上的特征进行concat融合；每个分支均通过1个核大小为1×1，步长为1，输出维度为2的卷积层来提取信息，其中低层分支主要提取细节信息，高层分支主要提取语义信息；另外由于网络中的降维，不同分支输出特征图尺寸不一致，第2分支输出特征图的宽和高为第1分支上的1/2，第3分支和第4分支输出特征图则为第1分支上的1/4，因此这里使用双线性插值，将第2、3、4分支的输出特征图均上采样至与第1分支特征图相同尺寸，再进行concat融合；融合特征图再输入到主干上的解码器。

4.根据权利要求1所述的一种基于多分支卷积神经网络的皮肤镜图像分割方法，其特征在于：所述解码器主要包含了2个卷积层和1个四倍的上采样层，用X#代表输入的融合特征图；Conv1×1_1#代表第1个卷积层，核大小为1×1，步长为1，输出维度为4；Conv1×1_2#代表第2个卷积层，核大小为1×1，步长为1，输出维度为2；Upsample#代表4倍的双线性插值上采样层，则所述的解码器具体结构为：X→BN→ReLU→Conv1×1_1→ReLU→Conv1×1_2→Upsample。