CN113076909B - 一种细胞自动检测方法 - Google Patents

Abstract

本发明公开了一种细胞自动检测方法，其包括步骤：1)搭建检测细胞的深度卷积神经网络，2)训练所搭建的深度卷积神经网络；3)将待检测的细胞图像数据输入训练好的深度卷积神经网络，深度卷积神经网络输出检测结果；所述深度卷积神经网络包括一个用于提取特征图像的SD‑DenseNet模块、一个用于产生初步的目标建议的Region Proposal Net、三个用于解决池化操作中造成的不匹配问题的RoI Align模块和三个用于对细胞进行分类、定位及细胞分割的检测器。本发明所搭建的深度卷积神经网络能够高效、准确的实现细胞的分类、定位与分割等细胞检测任务。

Description

一种细胞自动检测方法

技术领域

本发明涉及细胞分类，细胞分割及卷积神经网络技术领域，特别涉及一种细胞自动检测方法。

背景技术

细胞的形态学特征包括形状、颜色、尺寸，等等；要自动得到细胞的这些特征需要对细胞进行分类、定位和分割等，即实例分割，在宫颈细胞学中又称细胞分割。传统的细胞分割方法通常采用了图像分割的一般算法，包括基于阈值的方法、基于聚类的方法、基于轮廓的方法，传统的机器学习方法，等等。对于一些形态学特征复杂的细胞，如宫颈细胞等，传统的细胞分割方法往往无法满足细胞检测的需求。

现有技术中，基于区域深度卷积神经网络(Region-based Deep ConvolutionalNeural Networks，R-DCNN)，包括Faster R-CNN、Mask R-CNN、HyperNet、Cascade R-CNN等，可对目标实现像素级别的识别，具有非常优异的性能，常被用于目标检测。这类网络先得到候选区域(region proposal)，再对候选区域进行分类和边框(bounding box)回归，不仅能实现图像的内容识别与分类，还能更精确地解决待检目标的定位问题，实现多个目标的像素级别识别和分割。由于R-DCNN具有以上优异的性能，已被用于人脸、行人等目标检测。由于基于区域的深度卷积神经网络最初是针对自然场景下的图像目标检测设计的，将其用于细胞自动检测，则需要对网络进行重构与优化，以提升其在细胞自动检测上的性能。

发明内容

有鉴于此，本发明的目的是一种细胞自动检测方法，以解决对细胞的复杂形态学特征进行自动检测的技术问题。

本发明细胞自动检测方法，包括以下步骤：

1)搭建检测细胞的深度卷积神经网络，

2)训练所搭建的深度卷积神经网络；

3)将待检测的细胞图像数据输入训练好的深度卷积神经网络，深度卷积神经网络输出检测结果；

所述深度卷积神经网络包括一个用于提取特征图像的SD-DenseNet模块、一个用于产生初步的目标建议的Region Proposal Net、三个用于解决池化操作中造成的不匹配问题的RoI Align模块和三个用于对细胞进行分类、定位及细胞分割的检测器；

所述SD-DenseNet模块由依次连接的可变卷积网络、第一挤压激励网络、第一密集模块、第二挤压激励网络、第一过渡层、第二密集模块、第三挤压激励网络、第二过渡层、第三密集模块、第四挤压激励网络、第三过渡层、第四密集模块和第五挤压激励网络组成；

被检测的细胞图像数据输入SD-DenseNet模块的可变卷积网络，SD-DenseNet模块的第五挤压激励网络输出特征图，第五挤压激励网络输出的特征图输入区域建议网络，区域建议网络的输出再和第五挤压激励网络输出特征图一起输入第一个RoI Align模块，第一个RoI Align模块的输出输入第一个检测器，第一个检测器的边框回归结果输入第二个RoI Align模块，第二个RoI Align模块的输出输入第二个检测器，第二个检测器的边框回归结果输入第三个RoI Align模块，第三个RoI Align模块的输出输入第三个检测器，第三个检测器输出细胞检测结果。

进一步，在步骤2)中采用先后经过数据增强处理和样本数据均衡后的Herlev数据集对所搭建的深度卷积神经网络进行训练；

所述的数据增强处理包括对原始Herlev数据集进行随机平移增强、旋转增强、缩放增强、ZCA白化增强、特征标准化增强、水平镜像增强和垂直镜像增强；

样本数据均衡的方法是：由数据增强模块中的7种方法生成每一类别数量相当的新样本，然后从中随机抽取所需数量的样本添加到原始Herlev数据集中，使得每一类别的细胞图像数量相等。

本发明的有益效果：

本发明细胞自动检测方法，其所搭建的深度卷积神经网络能够高效、准确的实现细胞的分类、定位与分割等细胞检测任务，相对于人工进行细胞检测其工作效率大大提高，并消除了人工检测结果易受专业技术水平及主观情绪影响的问题。

附图说明

图1为实施例中细胞自动检测方法的流程图；

图2为实施例中的SD-Dense-Cascade R-CNN架构图；

图3为SD-DenseNet子模块内部架构图；

图4为随机平移从一张原始的细胞图像生成一组新图像的示例图；

图5为通过旋转从一张原始的细胞图像生成一组新图像的示例图；

图6为通过缩放从一张原始的细胞图像生成一张新图像的示例图；

图7为通过ZCA白化从一张原始的细胞图像生成一张新图像的示例图；

图8为通过特征标准化从一张原始的细胞图像生成一张新图像的示例图；

图9为水平镜像与垂直镜像增强数据示意图，图中(a)原始图像，(b)水平镜像，(c)垂直镜像；

图10为训练集上的损失值变化图；

图11为验证集上的mAP的变化图；

图12为细胞分割结果图。

具体实施方式

下面结合附图和实施例对本发明作进一步描述。

本实施例中细胞自动检测方法，包括以下步骤：

1)搭建检测细胞的深度卷积神经网络。

2)采用先后经过数据增强处理和样本数据均衡后的Herlev数据集对所搭建的深度卷积神经网络进行训练。

Herlev巴氏涂片数据集(简称Herlev数据集)是由丹麦技术大学(TechnicalUniversity of Denmark,TUD)和Herlev大学医院(Herlev University Hospital,HUH)联合制作而成。该数据集的图像是BMP格式。每一张图像都是单个的完整细胞，平均分辨率约为150×140。该数据集包含两组数据，第一组数据叫做oldData数据集，其中包含500张单个细胞图像(cell image)；第二组数据称为newData数据集，其中包含917张单个细胞图像。这两组细胞图像均被细胞学家分为正常细胞(normal cell)和异常细胞(abnormal cell)。在人工分类的过程中，由两个细胞学家对所有的细胞进行分类，并对分类结果进行对比；如果对于某个细胞两人的分类结果不同，则抛弃该细胞。这样使得最终得到的数据集的质量非常高。本实施例中使用的是newData数据集。

本实施例中使用的已标注的原始Herlev数据集如表1所示。机器学习中，数据集通常会被划分为训练集、验证集和测试集。训练集用于训练模型，测试集用于对训练好的模型进行测试。为了在训练过程中监控模型在前所未见的数据上的精度并调整超参数(hyperparameter)，需要将训练集再留出一部分样本作为验证集(本实施例的验证集约占训练集的10％，每一类别的样本数量相同)。表1中的每一类别，训练集+测试集＝样本数量。样本数量共计917个，其中训练集805个，测试集112个(约占整个数据集的12％)。测试集是在每一类别的样本中随机抽取得到的。

表1已标注的Herlev数据集(newData数据集)

数据增强处理包括对原始Herlev数据集进行随机平移增强、旋转增强、缩放增强、ZCA白化增强、特征标准化增强、水平镜像增强和垂直镜像增强。

本实施例中随机平移增强是先将原始的细胞图像向四周扩展d个像素，并使用零填充(即像素值赋为0)来填充扩展的区域；之所以做扩展是为了保证平移时细胞轮廓始终在图像中。然后，将每张图像的内容在上下左右4个方向上随机平移多次，这样便会得到多张新图像。随机平移产生的每张图像中同一细胞轮廓的相对位置大概率是不同的。在训练阶段，网络会将轮廓不同的细胞图像视为不同的样本，从而增加了卷积网络训练样本的数量。

本实施例中的旋转增强是先将原始的细胞图像向四周扩展d个像素，然后选择图像的中心作为旋转中心。细胞图像在-180°到180°度之间任意旋转，旋转方向是随机的，可以是逆时针，也可以是顺时针。标签数据中轮廓的坐标也做相应的“旋转”。每旋转一次，就得到一幅新图像作为训练样本。旋转细胞图像可能会轻微降低图像质量，轮廓也可能稍有变形，但它却有利于网络的实例分割性能的提升，对提升深度卷积神经网络的性能是至关重要的。

本实施例中缩放增强是保持原始图像宽高比不变进行放大的方式，细胞轮廓的标签数据也做相应处理，能避免简单的缩放造成的图像变形或者特征丢失。

本实施例中通过ZCA白化增强时标签数据不需要变动，ZCA白化可以去掉图像内容的冗余，更少的冗余意味着更加凸显图像的结构和特征。

本实施例中特征标准化增强是对原始的细胞图像的像素值进行标准化，经过标准化之后，图像的均值近似为0，方差近似为1。在进行特征标准化时，标签数据不需要变动。

本实施例中水平镜像增强与垂直镜像增强是分别对图像进行水平翻转和垂直翻转。在进行水平与垂直镜像时，对应的标签数据也要做相应处理。通过水平和垂直镜像可以使样本数量增加2倍。

样本数据均衡的方法是：由数据增强模块中的7种方法生成每一类别数量相当的新样本，然后从中随机抽取所需数量的样本添加到原始Herlev数据集中，使得每一类别的细胞图像数量相等。

Herlev数据集中7个类别的训练集样本数量是比较失衡的，其中最多的一类(鳞状上皮重度非典型增生)是最少的一类(中层鳞状上皮)的近3倍。这容易导致深度卷积神经网络在分类时倾向于将细胞分类(cell classification)为样本数量多的类别。虽然这会导致高敏感性(即衡量异常细胞的正确分类指标)，但从实际的角度来看，它也会将正常细胞误分类为异常细胞的比率，是不可取的。本实施例中采用样本数据均衡来解决这一难题，这样做也会提高训练时深度卷积神经网络的精度和收敛速度。样本数据均衡使得训练集中的每一类别的细胞图像数量相同。由于Herlev数据集中正常细胞和异常细胞各有3个和4个类别，因此训练集均衡之后正常细胞和异常细胞的样本数量也是大体相当的。

需要注意的是，样本数据均衡添加的新样本不能太多，否则会导致深度卷积神经网络模型的过拟合。本实施例将原训练集的样本数量(共805个)增长到原来的9倍左右。由此可以算出每一类别需要增加的样本的数量，如表2所示。

表2训练集均衡中每一类别需要增加的样本数量

3)将待检测的细胞图像数据输入训练好的深度卷积神经网络，深度卷积神经网络输出检测结果。

所述深度卷积神经网络包括一个用于提取特征图像的SD-DenseNet模块、一个用于产生初步的目标建议的区域建议网络(Region Proposal Net，区域建议网络)、三个用于解决池化操作中造成的不匹配问题的RoI Align模块和三个用于对细胞进行分类、定位及细胞分割的检测器。将本实施例中的深度卷积神经网络命名为：SD-Dense-Cascade R-CNN网络。

所述SD-DenseNet模块由依次连接的可变卷积网络(Deformable ConvolutionalNetworks，可变卷积网络)、第一挤压激励网络(Squeeze-and-Excitation Networks，挤压激励网络)、第一密集模块(Dense Block，密集模块)、第二挤压激励网络、第一过渡层(Transition，过渡层)、第二密集模块、第三挤压激励网络、第二过渡层、第三密集模块、第四挤压激励网络、第三过渡层、第四密集模块和第五挤压激励网络组成。可变卷积模块能够取代现有卷积网络的普通模块并且利用反向传播进行端到端的训练，产生可变形的卷积神经网络，提高模型对于形变图像的建模；挤压激励网络(即表3中的SE模块)通过学习的方式来自动获取每个特征通道的重要程度，然后依照这个重要程度去提升对当前任务有用的特征并抑制用处不大的特征，通过增加SE模块可以提高网络对于重要信息的关注；密集模块通过跨网络层连接特征图，加强了特征的重用，缓解了梯度消失和模型退化的问题；过渡层的加入是为了解决不同密集模块由于输出特征图大小不同造成的无法融合的问题。

SD-DenseNet模块的网络架构图如表3所示：

表3SD-DenseNet架构(输入图像为1333×800)

被检测的细胞图像数据输入SD-DenseNet模块的可变卷积网络(DeformableConvolutional Networks)，SD-DenseNet模块的第五挤压激励网络(Squeeze-and-Excitation Networks)输出特征图，第五挤压激励网络输出的特征图输入区域建议网络(Region Proposal Net)，区域建议网络的输出再和第五挤压激励网络输出特征图一起输入第一个RoI Align模块，第一个RoI Align模块的输出输入第一个检测器，第一个检测器的边框回归结果输入第二个RoI Align模块，第二个RoI Align模块的输出输入第二个检测器，第二个检测器的边框回归结果输入第三个RoI Align模块，第三个RoI Align模块的输出输入第三个检测器，第三个检测器输出细胞检测结果。

本实施例中检测器的结构如说明书附图2所示：每个检测器均包括对RoI Align模块输出数据进行处理的卷积层、对卷积层输出数据进行处理的Mask层、对RoI Align模块输出数据进行处理的第一全连接层、对第一全连接层输出数据进行处理的第二全连接层、对第二全连接层输出数据进行处理的边框回归(Bounding-Box regression，边框回归)、对第一全连接层输出数据进行处理的第三全连接层和对第三全连接层输出数据进行处理的softmax分类器。其中RoI Align(感兴趣区域匹配)模块是一种区域特征聚集方式，很好地解决了池化操作中造成的不匹配问题。

采用本实施例中细胞检测方法对对表1中所示的宫颈细胞测试集(112个样本)进行测试，优化的SD-Dense-Cascade R-CNN超参数如下表3：

表2优化的SD-Dense-Cascade R-CNN超参数

在测试前，先对SD-Dense-Cascade R-CNN网络进行训练，从新训练集的7000个样本中随机抽取700个样本作为验证集，剩余的6300个作为训练集。在SD-Dense-Cascade R-CNN的训练过程中，保存了每一个轮次(epoch)之后的mAP和损失值(loss value)。图10和图11分别绘制了训练集上的损失值和验证集上的mAP的变化。

宫颈细胞检测结果

图12显示了细胞分割结果。图中的数字表示置信度分数(confidence score)，表示边框包含目标的概率，由网络预测得到。从图12可以直观地看出，各类细胞被准确地分类、定位和分割。其中，A1和B1对应的原始细胞图像中的细胞轮廓均能被很好地分割出来，且未有常见的轮廓内缩的现象。E1对应的原始细胞图像存在细胞轮廓区域对比度差、细胞轮廓极其不规则的问题，但是在此情况下，我们的方法依然能够大体遵循细胞轮廓的真实标注进行分割。这些结果表明我们的方法具有较好的细胞分割性能。

细胞分割性能比较

表3对比了几种先进的方法(Mask R-CNN,Dense R-CNN,Cascade R-CNN,SD-Dense-Cascade R-CNN)在测试集上的性能表现，带下划线的数据表示这些方法中的最佳性能。从表3我们可以看出，Dense R-CNN的mAP和mAR均为最低，这暗示DenseNet取代ResNet是性能下降的原因，因此Mask R-CNN的框架可能不适合DenseNet。在实验过程中我们发现，前面三种网络在epoch＝200时损失函数均已收敛，但SD-Dense-Cascade R-CNN的损失函数在epoch大于200时仍然保持较大的斜率下降，通过实验发现我们的方法在epoch＝800时损失函数才开始收敛，因此我们的方法实验结果是基于800轮的。在所有方法中，SD-Dense-Cascade R-CNN的mAP和mAR均较高。这表明我们的方法对于宫颈细胞检测效果最好，可以在医学生根据临床需要用作检测器。

表3宫颈细胞检测的不同方法的性能

最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (2)

1.一种细胞自动检测方法，包括以下步骤：

1)搭建检测细胞的深度卷积神经网络，

2)训练所搭建的深度卷积神经网络；

3)将待检测的细胞图像数据输入训练好的深度卷积神经网络，深度卷积神经网络输出检测结果；

其特征在于：所述深度卷积神经网络包括一个用于提取特征图像的SD-DenseNet模块、一个用于产生初步的目标建议的区域建议网络、三个用于解决池化操作中造成的不匹配问题的RoIAlign模块和三个用于对细胞进行分类、定位及细胞分割的检测器；

所述SD-DenseNet模块由依次连接的可变卷积网络、第一挤压激励网络、第一密集模块、第二挤压激励网络、第一过渡层、第二密集模块、第三挤压激励网络、第二过渡层、第三密集模块、第四挤压激励网络、第三过渡层、第四密集模块和第五挤压激励网络组成；

被检测的细胞图像数据输入SD-DenseNet模块的可变卷积网络，SD-DenseNet模块的第五挤压激励网络输出特征图，第五挤压激励网络输出的特征图输入区域建议网络，区域建议网络的输出再和第五挤压激励网络输出特征图一起输入第一个RoIAlign模块，第一个RoIAlign模块的输出输入第一个检测器，第一个检测器的边框回归结果输入第二个RoIAlign模块，第二个RoIAlign模块的输出输入第二个检测器，第二个检测器的边框回归结果输入第三个RoIAlign模块，第三个RoIAlign模块的输出输入第三个检测器，第三个检测器输出细胞检测结果。

2.根据权利要求1所述的细胞自动检测方法，其特征在于：在步骤2)中采用先后经过数据增强处理和样本数据均衡后的Herlev数据集对所搭建的深度卷积神经网络进行训练；

所述的数据增强处理包括对原始Herlev数据集进行随机平移增强、旋转增强、缩放增强、ZCA白化增强、特征标准化增强、水平镜像增强和垂直镜像增强；

样本数据均衡的方法是：由数据增强模块中的7种方法生成每一类别数量相当的新样本，然后从中随机抽取所需数量的样本添加到原始Herlev数据集中，使得每一类别的细胞图像数量相等。

Images