CN108319977A - 基于通道信息多模态网络的宫颈活检区域识别方法及装置 - Google Patents

Abstract

本发明公开了一种基于通道信息多模态网络的宫颈活检区域识别方法及装置，装置包括：图像采集单元，采集宫颈的生理盐水图像、醋酸图像和碘图像；数据处理单元，包括已训练的宫颈活检区域识别模型，对生理盐水图像、醋酸图像和碘图像进行分析处理，输出宫颈存在活检区域的概率标签；宫颈活检区域识别模型包括：检测网络层，用于提取生理盐水图像、醋酸图像和碘图像中宫颈面区域的特征图和位置信息；特征结合预测网络层，将3个特征图和位置信息在通道维度上拼接起来，再通过特征融合和识别，输出宫颈存在活检区域的概率标签；显示单元，获取概率标签并显示。该宫颈活检区域识别装置可辅助医生对患者的宫颈是否需要做进一步的活检做出准确判断。

Description

基于通道信息多模态网络的宫颈活检区域识别方法及装置

技术领域

本发明涉及医疗图像处理领域，尤其涉及一种基于通道信息多模态网络的宫颈活检区域识别方法及装置。

背景技术

***是最常见的妇科恶性肿瘤。原位癌高发年龄为30～35岁，***为45～55岁，近年来其发病有年轻化的趋势。

宫颈病变的检查步骤主要分三步：(1)宫颈细胞学检查，，最常用的是巴氏涂片法；(2)***镜检查，如果细胞学结果有异常，需要做***镜检查，观察宫颈上皮颜色、血管等的变化；(3)宫颈组织活检检查，，如果***镜检查有疑问，则医生会在***镜定位下，对可疑病变处取少许宫颈组织行活检检查，活检结果也就成为宫颈病变的最终结论。

***镜检查的具体步骤是在直接暴露宫颈后，依次使用0.9％生理盐水、3％-5％醋酸溶液、复方碘溶液涂抹在宫颈表面，通过拍摄的宫颈图像供检查者仔细观察子宫颈鳞柱交界及柱状上皮区域内是否有异常区域(需要活检的区域)存在，根据这些信息来指导选择活检的准确部位，避免盲目活检，提高活检阳性率与诊断的准确率。

***镜检查是一种基于主观经验的检测方法，异常区域及范围的判断需要依靠医生的经验积累和直观的判断能力，判断的准确与否直接关系活检的阳性率和诊断准确率。随着医疗信息化和大数据的发展，大量***镜检查结果以影像数据形式积累保存下来。目前，在***镜检测图像上已经有许多机器学习和深度学习的方法应用其中，包括宫颈口的检测、醋白区域的检测、宫颈病变程度的预测等，这些方法虽然都能起到一定的辅助作用，但无法从根源上辅助医生作出更准确的判断。而且这些方法大多只使用3％-5％醋酸溶液作用的***镜宫颈图像，这与医生通过0.9％生理盐水、3％-5％醋酸溶液、复方碘溶液等图像相结合的特征变化判定是否存在活检区域的常用医学手段不一致。因此，如何合理地利用医学影像和医学经验，设计一种兼顾上述问题的宫颈活检区域识别的辅助装置，从根源上辅助医生作出更准确的判断，是时下亟待解决的问题。

发明内容

本发明提供了一种基于通道信息多模态网络的宫颈活检区域识别装置，采集患者宫颈的生理盐水图像、醋酸图像和碘图像，分别提取两类图像的特征并进行融合，输出宫颈存在活检区域的概率标签，从根本上辅助医生对患者的宫颈是否需要活检做出更准确的判断。

本发明提供了如下技术方案：

一种基于通道信息多模态网络的宫颈活检区域识别装置，包括：

图像采集单元，采集宫颈的生理盐水图像、醋酸图像和碘图像，发送至数据处理单元；

数据处理单元，包括已训练的宫颈活检区域识别模型，宫颈活检区域识别模型对生理盐水图像、醋酸图像和碘图像进行分析处理，输出宫颈存在活检区域的概率标签；

所述的宫颈活检区域识别模型包括：

检测网络层，包括3个独立的检测子网络，分别用于提取生理盐水图像、醋酸图像和碘图像中宫颈面区域的特征图和位置信息；

特征结合预测网络层，将检测网络层提取的3个特征图和位置信息在通道维度上拼接起来，再通过特征融合和识别，输出宫颈存在活检区域的概率标签；

显示单元，获取所述的概率标签并显示。

本发明的宫颈活检区域识别装置通过图像采集单元采集宫颈的生理盐水图像、醋酸图像和碘图像，通过宫颈活检区域识别模型的检测网络层提取各个图像中宫颈面区域的位置信息和特征图，通过特征结合预测网络层对3个宫颈面区域的位置信息和特征图进行结合和识别，得到宫颈存在活检区域的概率标签，并通过显示单元显示处理，可辅助医生对患者的宫颈是否存在活检区域做出准确判断。

宫颈活检区域识别装置中，先采用检测网络提取宫颈面区域的特征图，再对宫颈面区域的特征图进行识别，使得识别更具有针对性，使输出的识别结果更准确。

宫颈的生理盐水图像是指涂抹生理盐水后的宫颈图像，醋酸图像是指依次涂抹生理盐水、3％-5％醋酸溶液后的宫颈图像，碘图像是指依次涂抹生理盐水、3％-5％醋酸溶液、复方碘溶液后的宫颈图像。

若宫颈存在需要活检的区域，则在生理盐水的作用下，更易观察到异常血管；在3％-5％醋酸溶液作用下，会呈现“厚醋白”、“镶嵌血管”等特征；在复方碘溶液作用下，会呈现“明亮橘黄色”、“芥末黄色”、“斑点状着色”等特征，但是存在这些特征也并不能确定宫颈就一定会存在病变，还需要医生做进一步的活检。

所述的检测子网络包括依次连接的特征提取网络、宫颈面提名网络和宫颈面检测网络，所述的特征提取网络上加有通道选择模块。

所述的特征提取网络用于提取生理盐水图像、醋酸图像或碘图像的特征图，并对所述的特征图进行通道筛选。

所述的特征提取网络为加上通道选择模块的ResNet50网络模型；特征提取网络包括依次相连的卷积层、最大池化层和若干个卷积群；若干个卷积群均由若干个残差单元组成；每个残差单元包括若干个卷积层，每个残差单元中，进入第一个卷积层之前的特征图还会直接流向最后一个卷积层之后并同最后一个卷积层输出的特征图相加后作为该残差单元的输出。

所述的通道选择模块加在每个卷积群的最后一个残差单元之后。

所述的通道选择模块对输入的特征图进行通道选择操作，得到该特征图各个通道的权重，将权重与该特征图相乘，相乘的结果再与该特征图相加，输出通道筛选后的特征图；权重的数值范围为0～1。

这样构建的目的就是为了在对每个卷积群要输出的特征图进行一次通道筛选，防止冗余的通道特征过多。通道选择模块的操作相当于将输入特征图的激活值乘于(1+权重)，其中权重的数值大小在0～1之间。

所述的宫颈面提名网络为RPN网络；由1个卷积滤波器尺寸为3×3、卷积步长为1的卷积层，以及2个并行的卷积滤波器尺寸为1×1、卷积步长为1的卷积层组成。

所述的宫颈面提名网络用于获取所述特征图中宫颈面区域的位置信息。

所述的宫颈面检测网络模块由ROIPooling层以及两个并行的全连接层组成。

所述的宫颈面检测网络根据宫颈面区域的位置信息，在所述的特征图上进行Crop操作，得到宫颈面区域的特征图及其位置信息。

优选的，所述的宫颈面检测网络之后跟有所述的通道选择模块。

通道选择模块分别对3个宫颈面检测网络输出的宫颈面区域的特征图进行通道筛选，筛选通道后的宫颈面区域的特征图进入特征结合预测网络层。

对宫颈活检区域识别模型的训练方法为：

(1)获取宫颈的生理盐水图像、醋酸图像和碘图像，进行预处理后对宫颈面区域进行标记，对宫颈是否存在活检区域进行识别，构建训练集；

所述的预处理方法为：对生理盐水图像、醋酸图像和碘图像进行z-score标准化处理和数据增广操作；

将同一个宫颈的生理盐水图像、醋酸图像和碘图像作为一组数据，形成一个训练样本，标记该组图像是否存在活检区域；

具体的，识别和标记是指：识别醋酸图像中是否存在“厚醋白”、“镶嵌血管”特征，并标记；识别碘图像中是否存在“明亮橘黄色”、“芥末黄色”、“斑点状着色”特征，并标记。

优选的，训练集中，存在活检区域的样本数与正常宫颈的样本数比例为0.8～1.2∶1；

(2)采用训练集对宫颈活检区域识别模型进行训练，包括：

(2-1)对检测网络层进行预训练：

分别将训练集中的生理盐水图像、醋酸图像和碘图像输入到各自的检测子网络中，训练至loss函数收敛，保存检测子网络的模型参数；

(2-2)对宫颈活检区域识别模型进行训练：

将步骤(2-1)得到的检测子网络的模型参数加载到宫颈活检区域识别模型中；

分别将训练集中的生理盐水图像、醋酸图像和碘图像输入到各自的检测子网络中，再经过特征结合预测网络层后，输出存在活检区域的概率标签，训练至宫颈活检区域识别模型收敛；

保存训练得到的宫颈活检区域识别模型参数。

本发明还提供了采用上述宫颈活检区域识别装置进行宫颈活检区域识别的方法，包括以下步骤：

(1)通过图像采集单元采集宫颈的生理盐水图像、醋酸图像和碘图像，输入至数据处理单元中的宫颈活检区域识别模型；

(2)通过所述的宫颈活检区域识别模型对生理盐水图像、醋酸图像和碘图像进行分析处理，输出宫颈存在活检区域的概率标签，并在显示单元显示。

与现有技术相比，本发明的有益效果为：

本发明的宫颈活检区域识别装置是基于医生通过生理盐水、3％-5％醋酸溶液、复方碘溶液作用后的宫颈图像特征变化判定宫颈是否需要进一步进行活检的医学经验，根据大量***镜检查的宫颈图像进行学习建模，并根据建立的模型对宫颈活检区域进行识别，可以从根本上辅助医生对宫颈是否需要做进一步的活检做出更准确的判断。

本发明的宫颈活检区域识别装置利用检测的思想来做分类任务，通过检测网络的辅助精准定位到宫颈面的ROI区域，同时融合了***镜检查中三个阶段的图像特征，并借助通道选择模块的帮助剔除了冗余的通道特征，保留了最有效最突出的通道特征，这些处理都对最终分类结果的准确性提供了极大的帮助。

附图说明

图1为本发明的宫颈活检区域识别装置的工作流程示意图；

图2为对检测子网络进行预训练的流程示意图；

图3为通道选择模块的结构示意图；

图4为特征结合预测网络层的结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步详细描述，需要指出的是，以下所述实施例旨在便于对本发明的理解，而对其不起任何限定作用。

本发明的宫颈活检区域识别装置，包括：

图像采集单元，采集宫颈的生理盐水图像、醋酸图像和碘图像，发送至数据处理单元；

数据处理单元，包括已训练的宫颈活检区域识别模型，宫颈活检区域识别模型对生理盐水图像、醋酸图像和碘图像进行分析处理，输出宫颈存在活检区域的概率标签；

显示单元，获取概率标签并显示。

医生根据宫颈活检区域识别装置输出的概率标签，再结合患者的生理盐水图像、醋酸图像和碘图像，综合判断患者宫颈是否需要进一步进行活检，进而判断宫颈是否存在病变。

本发明的宫颈活检区域识别装置的工作流程如图1所示。

图像采集单元为***镜。临床上医生在对患者进行***镜检查时，会依次使用生理盐水、3％-5％醋酸溶液、复方碘溶液涂抹宫颈，通过观察子宫颈鳞柱交界及柱状上皮内特征的变化来判断是否有活检区域存在。

因此，每个阶段的特征都对最后的病变级别判断起着非常重要的作用，如何提取三个阶段图像中的有效且重要的特征信息成了重中之重。例如，在3％-5％醋酸溶液作用下，“厚醋白”、“镶嵌”等特征，以及在复方碘溶液作用下，“明亮橘黄色”、“斑点状着色”等特征，都是医生判断宫颈活检区域的重要依据。各阶段***镜检查图像提取特征之后，需要结合各个阶段的特征，从而进行最终宫颈活检区域的预测。因此，如何利用多图像特征是预测宫颈是否存在活检区域准确率的关键。

为了准确提取每阶段的有效特征，本发明数据处理单元中的宫颈活检区域识别模型使用残差卷积神经网络初步提取各个阶段图像的特征，之后利用检测的方法提取每张图像中宫颈面区域的特征，之后再基于提取得到的宫颈面区域特征进一步利用残差卷积神经网络提取特征。我们通过使用检测的方法对图像数据有选择性地提取，即只关注最重要的宫颈面区域的特征，宫颈面周围区域则被选择性忽略，这种基于强监督的Attention机制的引入能让网络聚焦最值得关注的区域，从而令网络能有选择性地学习重要区域的特征。

从本质上解释，特征提取网络是通过大量的学习，将RGB三个通道的3×M×M大小的图像映射到更多通道的C×m×m的三维张量表示，其中C＞3且M＞m，在这个过程由于通道数的成倍增加，必然会产生大量特征信息冗余的通道。

本发明的宫颈活检区域识别模型通过三个独立的带有通道选择模块的特征提取网络分别将高分辨率的图像映射到多通道的三维张量，并在三个阶段图像特征结合之前，分别在产生每类特征图的最后一个残差单元上加入通道选择模块，为最后生成的特征图的每个通道都分配一个权重，卷积神经网络通过学习这个权重来实现对大量通道的“自选择”，即对有效特征信息予以保留，对冗余或者无效的特征信息予以抑制。最后将三个阶段的特征图有效结合起来之后通过一个分类网络得到宫颈是否存在活检区域的最终预测结果。

本发明中文字描述的所有卷积层均指代跟有批正则化层和ReLU激活函数层的卷积层，所有全连接层均指代跟有ReLU激活函数层的全连接层，下文中不再详述。

本发明的宫颈活检区域识别模型的构建与训练包括以下步骤：

步骤一：训练集的构建

提取***镜检查时所采集的生理盐水图像、醋酸图像和碘图像，将同一个个例的生理盐水图像、醋酸图像和碘图像作为一组数据，形成一个训练样本，通过医生标记每组图像的宫颈面位置信息及宫颈是否存在活检区域。

具体的，识别醋酸图像中是否存在“厚醋白”、“镶嵌血管”特征，并标记；识别碘图像中是否存在“明亮橘黄色”、“芥末黄色”、“斑点状着色”特征，并标记。

宫颈存在活检区域的样本与宫颈正常的样本数量比例为1：1。将所有样本分成训练集(1373)，测试集(394)，验证集(192)三个数据集。

为了让图像数据更易于训练，我们将所有图像数据都做了减均值并除以标准差的z-score标准化(zero-mean normalization)处理，同时为了防止网络过拟合并在一定程度上丰富训练样本，我们还在图像输入网络之前随机对其进行数据增广操作。

步骤二：检测网络层的构造及联合训练

检测网络层，包括3个独立的检测子网络。如图2所示，检测子网络包括依次连接的特征提取网络、宫颈面提名网络和宫颈面检测网络，特征提取网络上加有通道选择模块。

特征提取网络为加上通道选择模块的ResNet50网络模型。特征提取网络包括依次相连的卷积滤波器尺寸为7×7、卷积步长为2的卷积层，池化滤波器尺寸为3×3、池化步长为2的最大池化层和4个卷积群。

4个卷积群分别由3、4、6、3个残差单元组成。

每个残差单元均由3个卷积滤波器尺寸分别为3×3、1×1、3×3，卷积步长均为1(每个卷积群的第一个残差单元中的第一个卷积层的卷积步长例外，为2)的卷积层组成。每个残差单元中，进入第一个卷积层之前的特征图还会直接流向第三个卷积层之后并同第三个卷积层输出的特征图相加后作为该残差单元的输出。

通道选择模块加在每个卷积群的最后一个残差单元之后。通道选择模块的结构如图3所示，每个卷积群的最后一个残差单元输出的特征图依次经过全局Pooling层、1×1卷积层、ReLU激活层、1×1卷积层和Sigmoid激活层之后，得到特征图各个通道的权重，将权重与特征图相乘，相乘的结果再与特征图相加，输出通道筛选后的特征图。

这样构建的目的就是为了在对每个卷积群要输出的特征图进行一次通道筛选，防止冗余的通道特征过多；而我们采用的通道选择模块之所以要设计一条支路与主路径上的特征图相加，使得特征图上激活值乘上一个(1+权重)的值(权重大小在0～1之间)，是因为若没有这条支路，那么每次特征图上的激活值都会乘上一个weight的值，虽然也能达到筛选通道信息的作用，但是经过多个这样的通道选择模块后就会令激活值变得很小，影响对最终结果的推断。

宫颈面提名网络主要由1个卷积滤波器尺寸为3×3、卷积步长为1的卷积层，以及2个并行的卷积滤波器尺寸为1×1、卷及步长为1的卷积层组成。

而宫颈面检测网络主要由1个ROIPooling层以及两个并行的全连接层组成。

宫颈面检测网络之后跟有通道选择模块，对宫颈面检测网络输出的宫颈面区域的特征图进行通道筛选。

3个检测子网络分别采用训练集中的生理盐水图像、醋酸图像和碘图像进行训练，这里我们只以醋酸图像的训练为例。

首先将醋酸图像输入到特征提取网络中得到高维度特征图，之后将该特征图分别输入到宫颈面提名网络以及ROIPooling层中。在区域提名网络中，两个并行的卷积层分别输出宫颈面可能存在的位置信息以及在该位置上宫颈面存在的可能性到ROIPooling层中，通过将这两种预测信息与真实标签进行对比得到的误差，可以优化特征提取网络以及宫颈面提名网络。

ROIPooling层根据宫颈面提名网络输出的位置信息在特征提取网络输出的特征图上进行Crop操作，得到可能含有宫颈面的特征图以及位置信息(合在一起称为ROI)，注意这里将会分为两条路径，一条路径通往特征结合预测网络，另一条路径则继续通向宫颈面检测网络的全连接层。

ROI通向宫颈面检测网络全连接层后分别得到ROI存在活检区域的概率及ROI同真实宫颈面位置之间的位置偏移信息，在此处将这两种输出信息与真实值进行对比得到的误差，可以优化宫颈面检测网络以及特征提取网络(注意这里得到的存在活检区域的概率并不是最终结果，只是为了优化检测子网络)。

ROI通向特征结合预测网络层之前可以通过通道选择模块进行通道筛选。

训练时，用训练集训练模型，当loss曲线以及准确率曲线稳定下来之后就可以判断训练完成。在训练过程中，使用验证集测试训练过程中的模型效果。

完成检测网络层的训练，保存检测网络层的模型参数。

步骤三：特征结合预测网络层的构造与训练

特征结合预测网络层的结构如图4所示，包括依次连接特征结合网络和特征融合网络。

特征结合网络对3个检测子网络得到的通道筛选后的ROI进行堆叠操作。

特征融合网络包括由3个全连接层以及1个交叉熵激活函数层组成。

在对特征结合预测网络层进行训练时，先将保存的检测网络层的模型参数加载到宫颈活检区域识别模型中。再分别将训练集中的生理盐水图像、醋酸图像和碘图像分别输入到各自的检测子网络层，输出的通道筛选后的ROI分别输入到特征集合特征结合预测网络层中，经过特征结合以及“特征融合”后输出得到最终的存在活检区域的概率，将此结果与真值进行对比得到的误差，用于训练特征结合预测网络层。

完成特征结合预测网络层的训练，保存检测网络层的模型参数。

至此，宫颈活检区域识别模型训练完成。

当有新的患者时，采用***镜分别采集其宫颈的生理盐水、3％-5％醋酸溶液、复方碘溶液图像，数据处理单元获取上述图像信息后将其输入到宫颈活检区域识别模型中，即可输出该患者宫颈存在活检区域的概率标签并在显示单元显示，医生根据输出的概率标签，再结合该患者的生理盐水、3％-5％醋酸溶液、复方碘溶液图像判断该患者是否需要进一步的活检，进而判断该患者的宫颈是否存在病变。

以上所述的实施例对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的具体实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于通道信息多模态网络的宫颈活检区域识别装置，其特征在于，包括：

图像采集单元，采集宫颈的生理盐水图像、醋酸图像和碘图像，发送至数据处理单元；

数据处理单元，包括已训练的宫颈活检区域识别模型，宫颈活检区域识别模型对生理盐水图像、醋酸图像和碘图像进行分析处理，输出宫颈存在活检区域的概率标签；

所述的宫颈活检区域识别模型包括：

检测网络层，包括3个独立的检测子网络，分别用于提取生理盐水图像、醋酸图像和碘图像中宫颈面区域的特征图和位置信息；

特征结合预测网络层，将检测网络层提取的3个特征图和位置信息在通道维度上拼接起来，再通过特征融合和识别，输出宫颈存在活检区域的概率标签；

显示单元，获取所述的概率标签并显示。

2.根据权利要求1所述的基于通道信息多模态网络的宫颈活检区域识别装置，其特征在于，所述的检测子网络包括依次连接的：

特征提取网络，加有通道选择模块，用于提取生理盐水图像、醋酸图像或碘图像的特征图，并对所述的特征图进行通道筛选；

宫颈面提名网络，用于获取所述特征图中宫颈面区域的位置信息；

宫颈面检测网络，根据宫颈面区域的位置信息，在所述的特征图上进行Crop操作，得到宫颈面区域的特征图及其位置信息。

3.根据权利要求2所述的基于通道信息多模态网络的宫颈活检区域识别装置，其特征在于，所述的特征提取网络包括依次相连的卷积层、最大池化层和若干个卷积群；

所述卷积群由若干个残差单元组成；

所述的通道选择模块加在每个卷积群的最后一个残差单元之后。

4.根据权利要求3所述的基于通道信息多模态网络的宫颈活检区域识别装置，其特征在于，所述的通道选择模块对输入的特征图进行通道选择操作，得到该特征图各个通道的权重，将权重与该特征图相乘，相乘的结果再与该特征图相加，输出通道筛选后的特征图；权重的数值范围为0～1。

5.根据权利要求2所述的基于通道信息多模态网络的宫颈活检区域识别装置，其特征在于，所述的宫颈面检测网络模块由ROIPooling层以及两个并行的全连接层组成。

6.根据权利要求5所述的基于通道信息多模态网络的宫颈活检区域识别装置，其特征在于，所述的宫颈面检测网络之后跟有所述的通道选择模块。

7.根据权利要求1～6任一项所述的基于通道信息多模态网络的宫颈活检区域识别装置，其特征在于，所述的宫颈活检区域识别模型的训练方法包括：

(1)获取宫颈的生理盐水图像、醋酸图像和碘图像，进行预处理后对宫颈面区域进行标记，对宫颈是否存在活检区域进行识别，构建训练集；

(2)采用训练集对宫颈活检区域识别模型进行训练，包括：

(2-1)对检测网络层进行训练：

分别将训练集中的生理盐水图像、醋酸图像和碘图像输入到各自的检测子网络中，训练至检测子网络收敛，保存检测子网络的模型参数；

(2-2)对宫颈病变识别模型进行训练：

将步骤(2-1)得到的检测子网络的模型参数加载到宫颈活检区域识别模型中；

分别将训练集中的生理盐水图像、醋酸图像和碘图像输入到各自的检测子网络中，再经过特征结合预测网络层后，输出存在活检区域的概率标签，训练至宫颈活检区域识别模型收敛；

保存训练得到的宫颈活检区域识别模型参数。

8.根据权利要求7所述的基于通道信息多模态网络的宫颈活检区域识别装置，其特征在于，步骤(1)中，所述的预处理方法为：对生理盐水图像、醋酸图像和碘图像进行z-score标准化处理和数据增广操作。

9.一种基于通道信息多模态网络的宫颈活检区域识别方法，其特征在于，包括以下步骤：

(1)通过图像采集单元采集宫颈的生理盐水图像、醋酸图像和碘图像，输入至数据处理单元中的宫颈活检区域识别模型；

(2)通过所述的宫颈活检区域识别模型对生理盐水图像、醋酸图像和碘图像进行分析处理，输出宫颈存在活检区域的概率标签，并在显示单元显示。