CN109859159A - 一种基于多模态分割网络的宫颈病变区域分割方法和装置 - Google Patents

Abstract

本发明公开了一种基于多模态分割网络的宫颈病变区域分割方法和装置，属于医疗图像处理技术领域，在醋酸图像和碘图像的特征提取过程中采取交叉连接的方式来融合两种图像的特征。为了融合两种图像的特征，将前一个卷积块的醋酸图像特征与下一个卷积块的碘图像进行通道层次的拼接操作，然后碘图像分支再进行后续的特征学习；同理，将前一个卷积块的碘图像特征与下一个卷积块的醋酸图像特征进行拼接操作，然后醋酸图像分支在进行后续的特征学习。这样的交叉连接方式一直持续到第五卷积块，从第五卷积块输出的醋酸图像和碘图像特征基本保持了两种图像的特征。然后，将醋酸图像分支和碘图像分支学习到的特征分别进入FCN模型的分割部分，进行分割预测。

Description

一种基于多模态分割网络的宫颈病变区域分割方法和装置

技术领域

本发明涉及医疗图像处理技术领域，具体地说，涉及一种基于多模态分割网络的宫颈病变区域分割方法和装置。

背景技术

***是威胁全球女性生命的主要原因之一，也是目前人类唯一病因明确的恶性肿瘤。目前，一些筛查技术通过检测鳞状上皮内病变(squamous intraepithelial lesion，SIL)来预防***。而鳞状上皮内病变又分为两类，高级别鳞状上皮内病变(High-gradesquamous intraepithelial lesion，HSIL)和低级别鳞状上皮内病变(Low-gradesquamous intraepithelial lesion，HSIL)。HSIL的进一步恶化便会形成***。因此，在临床应用中HSIL需要采取进一步治疗和预防措施；LSIL只需要不断地访查，采取一些轻度的治疗措施便可。

宫颈病变的筛查手段主要有HPV检查、PAP检查、数字子宫颈摄影(digitalcervicography)以及***镜检查(colposcopy)。本发明采用的多模态***镜图像则来自于***镜检查。***镜检查的具体步骤是在直接暴露宫颈后，依次使用0.9％生理盐水、3％-5％醋酸溶液、复方碘溶液涂抹在宫颈表面，通过拍摄的宫颈图像供检查者仔细观察子宫颈鳞柱交界及柱状上皮区域内是否有病变病灶的存在，进而评估病变的性质与类型，确定病变的范围，最后根据这些信息来指导选择活检的准确部位，避免盲目活检，提高活检阳性率与诊断的准确率。

然而，对于***镜检查的诊断结果很大程度上依赖于医生的主观经验，其判断的准确与否直接关系活检的阳性率和诊断准确率。随着人工智能技术和医疗影像分析的发展，许多机器学习和深度学习的方法都应用于医疗影像的辅助诊断中，帮助医生做出更精确地诊断。

图像语义分割(Semantic Segmentation)是人工智能计算机视觉领域的一个重要研究方向，其任务是完成一个物体或一个特定区域或场景的分割。在医疗图像中，语义分割常常被用于分割图像中的病灶、器官或细胞、组织等，以便于医生后续的病灶分级或诊断。Jonathan Long在2015年的CVPR会议论文Fully Convolutional Networks for SemanticSegmentation中提出，使用全卷积神经网络(Fully Convolutional Networks，FCN)中不使用全连接而是使用卷积与反卷积(Deconvolution)进行语义分割任务，取得了突破性的成果，从此FCN成为了语义分割模型的主要方法之一。

在***镜的检查过程中，医生会反复比对涂抹醋酸后和涂抹碘溶液后宫颈上皮的变化(把涂抹醋酸后的***镜图像称为醋酸图像，涂抹碘溶液后的***镜图像成为碘图像)，找到他们的共同区域，识别病变，以提高活检的准确率。因此，本发明基于FCN方法和宫颈***镜的醋酸图像和碘图像，提出了一种基于多模态分割网络的宫颈病变分割技术，辅助医生实现***镜下的宫颈病变识别。

发明内容

本发明的目的为提供一种基于多模态分割网络的宫颈病变区域分割方法和装置，提高了宫颈病变的诊断效率和准确率。

为了实现上述目的，本发明提供的基于多模态分割网络的宫颈病变区域分割方法包括以下步骤：

1)获取多个宫颈样本的醋酸图像和碘图像，对所有图像的病变区域及进行标记，得到宫颈样本训练集；

2)将训练集中同一组图像的醋酸图像输入第一FCN网络，碘图像输入第二FCN网络，第一FCN网络和第二FCN网络的结构相同，共同构成多模态宫颈病变区域分割网络；

3)在第一FCN网络和第二FCN网络的特征提取部分进行交叉连接，融合醋酸图像和碘图像的特征，得到醋酸图像的特征图和碘图像的特征图；

4)在第一FCN网络的分割部分对醋酸图像的特征图进行分割，得到醋酸图像分割结果；在第二FCN网络的分割部分对碘图像的特征图进行分割，得到碘图像分割结果；

5)根据醋酸图像和碘图像的分割结果及其标记计算多模态宫颈病变区域分割网络的损失，并根据该损失更新多模态宫颈病变区域分割网络的参数；

6)将下一组图像的醋酸图像和碘图像分别输入到第一FCN网络和第二FCN网络中，重复步骤4)～6)对多模态宫颈病变区域分割网络进行训练，直至收敛，得到多模态宫颈病变区域分割模型；

7)将待检测的宫颈样本的醋酸图像和碘图像输入多模态宫颈病变区域分割模型中得到分割预测图。

上述技术方案中，在现有技术的基础上，通过醋酸图像和碘图像的特征图的交叉连接，融合醋酸图像和碘图像的特征，充分利用和学习两者潜在的相关关系，促进病变特征的学习，提高分割的准确率，通过最后的分割图辅助医生诊断，提高诊断效率。

为了提高模型的学习率，使得模型的泛化性能更好，作为优选，还包括以下步骤：

通过步骤1)的方法得到宫颈样本验证集；

多模态宫颈病变区域分割模型训练完后，利用验证集中同一组图像的醋酸图像和碘图像对多模态宫颈病变区域分割模型进行测试，调整模型学习率。

作为优选，还包括以下步骤：

通过步骤1)的方法得到宫颈样本测试集；

利用测试集中同一组图像的醋酸图像和碘图像对训练好的多模态宫颈病变区域分割模型进行测试，计算分割准确率、召回率和mIOU值。

作为优选，训练集、验证集和测试集的数据比例为7：2：1。

由于医生在临床诊断中往往会同时查看醋酸图像的醋白区域以及碘图像上的碘不染色区域，并反复对比醋酸图像和碘图像，找到他们共同的病变和病变区域，以提高活检的准确率。因此，醋酸图像特征和碘图像特征在一定程度上存在着某种相关关系，为尽可能模拟医生的实际诊断情况，作为优选，步骤3)包括：

第一FCN网络的第N个卷积块提取的醋酸图像特征与第二FCN网络的第N个卷积块提取的碘图像特征在第二FCN网络的第N+1个卷积块进行卷积操作之前融合；

同时，第二FCN网络的第N个卷积块提取的醋酸图像特征与第一FCN网络的第N个卷积块提取的碘图像特征在第一FCN网络的第N+1个卷积块进行卷积操作之前融合；

直至完成所有卷积操作得到醋酸图像的特征图和碘图像的特征图。

作为优选，将醋酸图像特征与碘图像特征通过特征通道的拼接进行融合。

作为优选，第一FCN网络和第二FCN网络的特征提取部分基于VGG-16，包括五个卷积块，每个卷积块之后均设有一个池化层。

作为优选，步骤4)中，对醋酸图像或碘图像的特征图进行分割的步骤包括：

将第五卷积块池化之后的结果进行两倍上采样，之后与第四卷积块池化之后的逐元素结果相加；

把上一步得到的结果进行两倍上采样并与第三卷积块池化之后的结果逐元素相加，再进行两倍上采样，得到最后的分割结果。

本发明提供的基于多模态分割网络的宫颈病变区域分割装置，包括：存储器，存储计算机可执行指令以及在执行所述计算机可执行指令时使用或生产的数据；处理器，与所述存储器通信连接，并配置为执行存储器存储的计算机可执行指令，计算机可执行指令在被执行时，实现上述基于多模态分割网络的宫颈病变区域分割方法。

需要注意的是，本发明中“宫颈病变区域分割方法或装置”针对的是对图像中相应区域的分割。

与现有技术相比，本发明的有益效果为：

本发明提出一种交叉连接的方式在醋酸图像和碘图像的特征提取部分实现两者特征的融合，使得网络既能学习到醋酸图像的特征也能学习到碘图像的特征，两者相互促进相互融合，提高醋酸图像和碘图像的分割结果的精确度。

附图说明

图1为本发明实施例的多模态宫颈病变区域分割模型训练流程图；

图2为本发明实施例的FCN网络的结构示意图；

图3为本发明实施例的多模态宫颈病变区域分割模型的结构示意图；

图4为本发明实施例中对待检测的宫颈样本进行分割预测的流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，以下结合实施例及其附图对本发明作进一步说明。

实施例

本实施例的基于多模态分割网络的宫颈病变区域分割装置包括：存储器，存储计算机可执行指令以及在执行所述计算机可执行指令时使用或生产的数据；处理器，与所述存储器通信连接，并配置为执行存储器存储的计算机可执行指令，计算机可执行指令在被执行时，实现以下基于多模态分割网络的宫颈病变区域分割方法的步骤：

步骤一：***镜图像的筛选和预处理

***镜检查会依次在宫颈上涂抹生理盐水、3％～5％醋酸以及复方碘溶液，其过程医生会拍摄多张生理盐水图像，醋酸图像以及碘图像。由于涂抹生理盐水只是简单的清洁作用，去除其他干扰物质，使得整个宫颈完全暴露，宫颈上皮不会发生特定的反应，因此，本实施例仅采用每个病人的醋酸图像和碘图像。

在醋酸和碘图像中可能还存在一些医疗器械、文字、大面积出血和反光的图像，为保留质量较好的图像以及更好地学习图像特征，为每个病人筛选出一张醋酸图像和一张碘图像；将筛选出的图像交给医生专家标注，标注的区域有病变区域(HSIL和LSIL)，将所有样本分为训练集、验证集和测试集，数据比例为7：2：1。

步骤二：多模态宫颈病变区域分割模型训练

本实施例的多模态宫颈病变区域分割模型的输入为***镜检查下的醋酸图像和碘图像，训练多模态宫颈病变区域分割模型时采用训练集里的醋酸图像和碘图像。整体训练流程如图1所示，将同一个病人多组(一般为一个batch＝8)的醋酸图像和碘图像输入到多模态宫颈病变分割模型中，不断地训练模型，使得分割结果尽可能和医生标注的结果相近，通过损失函数产生模型的预测结果和真实结果的损失，梯度反传，并更新模型参数；然后将下一组醋酸图像和碘图像输入到多模态宫颈病变区域分割模型中，继续上述步骤的训练；最后直到模型收敛终止训练。

训练时，还会将模型在验证集上进行测试，即将验证集中的数据输入到已经训练过的模型中，通过损失值、准确率、召回率等指标调整学习率等超参数，使得模型的泛化性能更好；模型最后输出为醋酸图像和碘图像的分割结果。

多模态宫颈病变区域分割模型的具体结构如图3所示，主要基于图2的FCN的分割网络，FCN网络的特征提取部分分布基于VGG-16，该网络有5个卷积块，每个卷积块后跟一个池化层；FCN网络的后一部分则为上采样部分，将第五卷积块池化之后的结果进行两倍上采样，之后与第四卷积块池化之后的结果逐元素相加，再把得到的结果进行两倍上采样，并与第三卷积块池化之后的结果逐元素相加，再进行两倍上采样，得到最后的分割预测结果。

本实施例提出的多模态宫颈病变区域分割模型在FCN网络上进行延伸扩展，主要在FCN网络的特征提取部分引入了交叉连接的方式来融合醋酸和碘图像的特征。该模型有醋酸图像和碘图像两个分支，每个分支都是一个FCN网络，中间通过交叉连接进行特征融合，其余部分与单个FCN网络一致。

由于医生在临床诊断中往往会同时查看醋酸图像的醋白区域以及碘图像上的碘不染色区域，并反复对比醋酸图像和碘图像，找到他们共同的病变和病变区域，以提高活检的准确率。因此，醋酸图像特征和碘图像特征在一定程度上存在着某种相关关系，为尽可能模拟医生的实际诊断情况，本实施例在醋酸图像和碘图像的特征提取过程中采取交叉连接的方式来融合两种图像的特征。

如图3所示，第一至五卷积块表示网络的特征提取部分，每一个卷积块都表示池化之后的结果；为了融合两种图像的特征，将前一个卷积块的醋酸图像特征与下一个卷积块的碘图像进行通道层次的拼接操作，然后碘图像分支再进行后续的特征学习；同理，将前一个卷积块的碘图像特征与下一个卷积块的醋酸图像特征进行拼接操作，然后醋酸图像分支在进行后续的特征学习。这样的交叉连接方式一直持续到第五卷积块，从第五卷积块输出的醋酸图像和碘图像特征基本保持了两种图像的特征。然后，将醋酸图像分支和碘图像分支学习到的特征分别进入FCN模型的分割部分(该部分与FCN中的上采样部分一致)，进行分割预测。

步骤三：宫颈病变区域分割预测

当有新的患者***镜检测图像(测试集里的醋酸图像和碘图像)，只要将经过3％-5％醋酸溶液、复方碘溶液处理后图像输入到步骤二训练的宫颈病变区域分割模型中，即可分割出醋酸图像上和碘图像上的宫颈病变区域，具体流程见图4。

需要注意的是，本实施例中“宫颈病变区域分割方法或装置”针对的是对图像中相应区域的分割。

Claims (8)

1.一种基于多模态分割网络的宫颈病变区域分割方法，其特征在于，包括以下步骤：

1)获取多个宫颈样本的醋酸图像和碘图像，对所有图像的病变区域进行标记，得到宫颈样本训练集；

2)将训练集中同一组图像的醋酸图像输入第一FCN网络，碘图像输入第二FCN网络，第一FCN网络和第二FCN网络的结构相同，共同构成多模态宫颈病变区域分割网络；

3)在第一FCN网络和第二FCN网络的特征提取部分进行交叉连接，融合醋酸图像和碘图像的特征，得到醋酸图像的特征图和碘图像的特征图；

4)在第一FCN网络的分割部分对醋酸图像的特征图进行分割，得到醋酸图像分割结果；在第二FCN网络的分割部分对碘图像的特征图进行分割，得到碘图像分割结果；

5)根据醋酸图像和碘图像的分割结果及其标记计算多模态宫颈病变区域分割网络的损失，并根据该损失更新多模态宫颈病变区域分割网络的参数；

6)将下一组图像的醋酸图像和碘图像分别输入到第一FCN网络和第二FCN网络中，重复步骤4)～6)对多模态宫颈病变区域分割网络进行训练，直至收敛，得到多模态宫颈病变区域分割模型；

7)将待检测的宫颈样本的醋酸图像和碘图像输入多模态宫颈病变区域分割模型中得到分割预测图。

2.根据权利要求1所述的宫颈病变区域分割方法，其特征在于，还包括以下步骤：

通过步骤1)的方法得到宫颈样本验证集；

多模态宫颈病变区域分割网络每完成一次训练，利用验证集中同一组图像的醋酸图像和碘图像对多模态宫颈病变区域分割网络进行验证，调整网络学习率。

3.根据权利要求2所述的宫颈病变区域分割方法，其特征在于，还包括以下步骤：

通过步骤1)的方法得到宫颈样本测试集；

利用测试集中同一组图像的醋酸图像和碘图像对训练好的多模态宫颈病变区域分割模型进行测试，计算分割准确率、召回率和mIOU值。

4.根据权利要求1所述的宫颈病变区域分割方法，其特征在于，步骤3)包括：

第一FCN网络的第N个卷积块提取的醋酸图像特征与第二FCN网络的第N个卷积块提取的碘图像特征在第二FCN网络的第N+1个卷积块进行卷积操作之前融合；

同时，第二FCN网络的第N个卷积块提取的醋酸图像特征与第一FCN网络的第N个卷积块提取的碘图像特征在第一FCN网络的第N+1个卷积块进行卷积操作之前融合；

直至完成所有卷积操作得到醋酸图像的特征图和碘图像的特征图。

5.根据权利要求4所述的宫颈病变区域分割方法，其特征在于，将醋酸图像特征与碘图像特征通过特征通道的拼接进行融合。

6.根据权利要求1所述的宫颈病变区域分割方法，其特征在于，第一FCN网络和第二FCN网络的特征提取部分基于VGG-16，包括五个卷积块，每个卷积块之后均设有一个池化层。

7.根据权利要求6所述的宫颈病变区域分割方法，其特征在于，步骤4)中，对醋酸图像或碘图像的特征图进行分割的步骤包括：

将第五卷积块池化之后的结果进行两倍上采样，之后与第四卷积块池化之后的结果逐元素相加；

把上一步得到的结果进行两倍上采样并与第三卷积块池化之后的结果逐元素相加，再进行两倍上采样，得到最后的分割结果。

8.一种基于多模态分割网络的宫颈病变区域分割装置，包括：存储器，存储计算机可执行指令以及在执行所述计算机可执行指令时使用或生产的数据；处理器，与所述存储器通信连接，并配置为执行存储器存储的计算机可执行指令，其特征在于，所述计算机可执行指令在被执行时，实现如权利要求1～7所述的基于多模态分割网络的宫颈病变区域分割方法。