CN109034045A - 一种基于卷积神经网络的白细胞自动识别方法 - Google Patents

Abstract

本发明公开了一种基于卷积神经网络的白细胞自动识别方法，属于使用深度学习的机器视觉方案对医学显微镜图像进行自动识别。本发明首先人工对细胞数据集进行标记，做出一个标准的数据集，再使用迁移学习的方法，将VGG‑Net的模型和参数迁移到WBC‑Net卷积神经网络中，通过提取其中效果最好的特征层作为特征参数训练集成分类器，完成对白细胞的识别功能。

Description

一种基于卷积神经网络的白细胞自动识别方法

技术领域

本发明涉及利用计算机视觉方案对医学显微镜图像进行自动识别分类领域，特别是一种基于卷积神经网络的白细胞自动识别方法。

背景技术

随着计算机视觉和人工智能的飞速发展，图像处理技术在疾病诊断等医疗方面有了跨越性的进步，在精确度和处理速度上都远远超越了传统的人工处理。白细胞的检测对于很多疾病的诊断分析都有着重大的意义，其中，外周血白细胞的检测可以帮助病理学家诊断诸如白血病和其他血液疾病；通过评估骨髓涂片中的白细胞检测的信息，可以用来诊断淋巴瘤、骨髓瘤、骨髓增殖性肿瘤和贫血以及化疗后的后续护理等目的。急性淋巴细胞白血病是一种严重的血液疾病，诊断非常困难，主要检查在于研究由于癌症而导致畸形的白细胞。因此，图像处理技术的深入研究，将有助于推动医疗技术的发展。

一般来说，白细胞的自动检测技术包括图像采集、图像预处理及白细胞检测、白细胞图像的分割、特征提取和分类器设计五个方面。很多研究致力于白细胞图像的分割，比如聚类，阈值法，边缘检测，区域增长，分水岭，颜色和支持向量机等方法，然而由于细胞之间彼此接触，背景与细胞之间差异性小，导致白细胞分割精度难以提高。在特征提取阶段，通过提取圆度、核质比、颜色和形态、几何、纹理特征以及灰度共生矩阵(GLCM)等特征，对某些特定的数据会取得巨大的成功，但这些低级特征对新的数据新的特征的适应性低，因为大多数的手工特征不能简单地应用于新条件。深度学习的思想是寻求更深层次的特征，通过一些非线性的模型把原始数据转变成更高层次、更抽象的表达。深度学习在图像处理中比较成功的应用是使用卷积神经网络的体系结构，CNN能更好和快速准确的理解分析图像场景中形成的区域目标，通过权值共享和池化层的设置，使网络训练的参数大量减少，精简了网络模型，同时提高了训练的效率。

由于卷积神经网络在准确率和训练效率方面都取得了显著的提高，所以有很多研究者对基于卷积神经网络的白细胞的识别检测做了很多工作，提出了许多实用可行的方法措施，主要包括：

(1)专利《一种基于卷积神经网络的白带中白细胞自动识别方法》(中国专利公开号CN 106897682 A)提出了一种基于卷积神经网络的白带中白细胞自动识别的方法，首先经过人工处理，得到白细胞的分割图像，运用最近邻插值算法对分割图像进行缩放处理，通过九层的卷积神经网络对分割图像进行训练和测试，当满足方差代价函数时，则完成训练，白细胞的识别框架就确定了，可以通过输入分割图片，进行白细胞的识别。

缺点：对于图片的处理仍然需要人工分割，白细胞的识别精度可能由于分割的误差而有很大的区别；卷积神经网络的设置中缺少对网络过拟合的控制，可能由于数据特征的相关性造成网络的过拟合。

(2)专利《一种基于nu-支持向量机的白细胞分类方法》(中国专利公开号 CN107730499 A)采用一种基于nu-支持向量机的白细胞分类方法，首先对彩色血液显微镜图像进行中值滤波，然后把图像映射到HLS彩色空间，再使用nu-支持向量机把色调图像分割，使用模糊细胞神经网络(Fuzzy Cellular Neural Network——FCNN)从粗分割图像中检测出白细胞区域图像，通过聚类分析法确定阈值，结合阈值分割和二值形态学方法进行分割，得到细胞核局部图像、细胞浆局部图像和背景图像，从细胞核局部图像和细胞浆局部图像中抽取具有代表性的四十七个特征，使用这些特征向量，利用nu-支持向量机完成对白细胞的识别与分类。

缺点：将细胞图像转换了彩色空间，可能会丢失一些有意义的颜色特征；细胞分割有误差，对之后的特征提取有很大的影响；由于分割提取的是细胞核和细胞浆的局部特征，没有考虑全局特征，在识别和分类的时候有局限性，对新的白细胞图片的适应性比较弱。

(3)专利《一种基于深度学习的白细胞五分类方法》(中国专利公开号CN106248559 A)采用一种基于深度学习的白细胞五分类的方法，首先通过对RGB 空间进行转换，得到的粗分割图像进行形态学变化得到完整的细胞核图，进而由细胞核定位出白细胞的图像。对检测的白细胞提取其纹理特征(共生LBP直方图特征)，据此分出嗜碱性粒细胞、嗜酸性粒细胞和其他三类细胞：中性粒细胞、淋巴细胞、单核细胞。使用卷积神经网络自动提取其它三类细胞的特征，通过随机森林进行三分类。

缺点：仅通过纹理特征及SVM分类器并不能准确的区分嗜酸性粒细胞和其它三类细胞，而使用神经网络提取的特征是分类错误之后的特征，即将部分嗜酸性粒细胞作为其它三类细胞一并进行了特征的提取，使得用随机森林对其它三类细胞分类的准确率比较低。

发明内容

本发明所要解决的技术问题是，针对现有技术不足，提供一种基于卷积神经网络的白细胞自动识别方法，

为解决上述技术问题，本发明所采用的技术方案是：一种基于卷积神经网络的白细胞自动识别方法，该方法包括如下步骤：

步骤1：数据集的处理和准备，使用ImageNet数据集用于预训练网络，对包含有白细胞的显微镜图片进行单个细胞提取并对其做分类标注，获得带有标签的标准数据集用于之后对微调卷积神经网络的训练和测试；

1)随机提取多组以细胞核心为粗略中心的NxN尺寸的样本块，避免了在确定细胞核心位置时的误差导致提取整个细胞时造成的分割误差，同时，提取的多组样本块可以有效实现对数据集的增强；

2)由有经验的专业人员对步骤1-1中的每个样本块标注类别标签，准确地分出异常白细胞和正常白细胞；

步骤2：将步骤1得到的白细胞数据集随机地按适当的比例分成训练集和测试集，训练集用于对卷积神经网络的微调训练过程，测试集用于检验整个算法的效率和参数权重的更新；

步骤3：对步骤2得到的训练集进行图像增强操作，具体的，对图片采用关于垂直方向的镜面随机反射操作，以及在[-30,30]像素范围内随机地左右平移和上下平移操作(测试集不做图像增强操作)；

步骤4：卷积神经网络的结构设置，首先对卷积神经网络进行预训练，使用ImageNet数据集训练VGG-Net卷积神经网络，然后采用迁移学习的方法，将预训练后的部分模型和权重参数转移到需要微调的WBC-Net上，使用步骤3中获得的增强训练数据集进行微调操作；

1)步骤4中的预训练VGG-Net卷积神经网络为16层，分别是输入层I1，卷积层C1，池化层P1，卷积层C2，池化层P2，卷积层C3，池化层P3，卷积层C4，池化层P4，卷积层C5，池化层P5，全连接层FC1，全连接层FC2，全连接层FC3，Softmax层S1，输出层O1；

2)步骤4中的微调训练WBC-Net卷积神经网络设计为14层，1-13层和步骤4-1中的预训练卷积神经网络VGG-Net的1-13层是相同的，为进行转移学习和权值共享操作提供了网络结构基础，14层为全连接特征提取层FCL，15层为 Softmax层S2，16层为分类输出层CO1；

步骤5：卷积神经网络结构的参数设置，VGG-Net和WBC-Net的1-13层的结构参数设置相同，卷积层的设置分别是卷积核的大小为3x3，padding设置为1，步长为1；每一次卷积操作之后进行一次激活函数处理，这里选择ReLU激活函数，不仅能够避免梯度消失，同时使网络具有稀疏性，减少参数的相关性，在一定程度上减少过拟合的问题；池化层采用2x2的最大池化层，步长设置为2；全连接层FC1、FC2之后分别进行一次ReLU激活处理，同时设置dropout率为0.5，防止网络过拟合，增强网络的训练效率；VGG-Net的全连接层FC3的输出是1000 维的特征输出，WBC-Net卷积神经网络的全连接特征提取层FCL的输出设置为2；

步骤6：由步骤4的卷积神经网络的结构设置和步骤5的卷积神经网络结构的参数设置使用ImageNet数据集对VGG-Net进行训练，训练完成后，提取1-13 层的网络结构模型和训练参数用于之后迁移学习的权值共享，至此，整个预训练阶段结束；

步骤7：卷积神经网络的微调过程，步骤6得到的预训练网络参数作为微调卷积神经网络的初始权值，使用步骤3得到的细胞增强训练集对WBC-Net卷积神经网络进行微调；输入尺寸大小为224x224的细胞图片，经过第一组卷积池化操作得到64张112x112的特征图，经过第二组卷积池化操作得到128张56x56的特征图，经过第三组、第四组、第五组卷积池化操作后最终得到512张7x7的特征图，接着由三层全连接层对512张特征图进行特征融合，通过Softmax层计算出每个类别的概率，最终由输出层输出得到两行一列的分类结果，从输入层到输出层的完整运算过程为一次向前传播；

步骤8：在微调卷积神经网络的过程中，采用监督学习的方法，在经过步骤 7的一次向前传播后，使用交叉熵损失函数计算出一次向前传播的分类误差，然后选用随机渐变梯度下降的策略迭代地减小损失函数值，更新每层网络的参数值，为了加快网络的收敛速度，设置动量为0.9，初始学习率为1.0e-4， MiniBatchSize设置为10，经过一次权重参数的更新为一次后反馈传播；

步骤9：使用白细胞数据集微调WBC-Net卷积神经网络，经过多次步骤7的向前传播和步骤8的后反馈传播更新网络结构参数，当达到设置的epoch时，卷积神经网络收敛，结束训练，至此，WBC-Net模型已经训练完成；

步骤10：从步骤9中的已经训练好的WBC-Net卷积神经网络模型中提取FCL 层的权重参数作为分类器的特征输入，训练一组精确度高、鲁棒性强、性能稳定的集成学习分类器，对白细胞做最终的分类；

步骤11：集成学习分类器的设置，使用N个决策树桩分类器作为基分类器进行集成训练，训练数据的初始权重分布是均匀分布的；

1)由初始权值的训练数据训练基分类器G(x)，由分类误差率确定基分类器的系数；

2)每次迭代训练一个基分类器，训练完成后更新一次训练数据集的权值分布，并用更新后的训练集训练下一个基分类器；

3)训练后的N个基分类器线性加法组合成最终的白细胞分类器，在分类器的训练过程中使用五倍交叉验证法对其进行验证评估，至此，分类器的设计训练已经完成；

步骤12：算法测试阶段，把步骤3得到的测试集(包含正常白细胞和异常白细胞)输入步骤9中训练好的WBC-Net卷积神经网络，将提取的特征矩阵作为特征输入到骤11训练好的集成分类器进行分类；

步骤13：验证算法的性能，通过步骤12得出的预测值与真实值对比，生成混淆矩阵，对混淆矩阵求均值，得到本发明的白细胞分类检测算法的准确率为 98.72％；

步骤14：通过以上对VGG-Net卷积神经网络进行微调得到WBC-Net卷积神经网络，提取卷积神经网络层中的深度特征进行集成分类器的训练和测试，最终得到了准确率较高、鲁棒性较强、稳定性较高的白细胞自动检测算法；

步骤15：把无标签的细胞图片作为输入，通过WBC-Net卷积神经网络的特征提取，再利用集成分类器进行分类，输出正常白细胞或者异常白细胞类别。

与现有技术相比，本发明所具有的有益效果为：

1、本发明通过对白细胞数据集的增强操作，使得卷积神经网络能提取到更丰富的特征参数；

2、本发明通过使用了迁移学习的思路，用微调的方法来更新卷积神经网络的参数，避免了数据集的数量偏小的弊端，使得小数据集也能训练得到很好的分类效果；

3、本发明使用集成分类器替换了VGG-Net中原有的Softmax分类层，使分类准确率有了很大的提升。

附图说明

图1为本发明方法流程图；

图2为本发明整体网络结构框图。

具体实施方式

如图1所示，本发明的总体步骤如下：

步骤1：数据集的处理和准备，使用ImageNet数据集用于预训练网络，对包含有白细胞的显微镜图片进行单个细胞提取并对其做分类标注，获得带有标签的标准数据集用于之后对微调卷积神经网络的训练和测试；

1)随机提取多组以细胞核心为粗略中心的257x257尺寸的样本块，避免了在确定细胞核心位置时的误差导致提取整个细胞时造成的分割误差，同时，提取的多组样本块可以有效实现对数据集的增强；

2)由有经验的专业人员对步骤1-1中的每个样本块标注类别标签，准确地分出异常白细胞和正常白细胞；

步骤2：将步骤1得到的白细胞数据集随机地按7:3的比例分成训练集和测试集，训练集用于对卷积神经网络的微调训练过程，测试集用于检验整个算法的效率和参数权重的更新；

步骤3：对步骤2得到的训练集进行图像增强操作，具体的，对图片采用关于垂直方向的镜面随机反射操作，以及在[-30,30]像素范围内均匀的左右平移和上下平移操作(测试集不做图像增强操作)；

步骤4：卷积神经网络的结构设置如图2所示，首先对卷积神经网络进行预训练，使用ImageNet数据集训练VGG-Net卷积神经网络，然后采用迁移学习的方法，将预训练后的部分模型和权重参数转移到需要微调的WBC-Net上，使用步骤3中获得的增强训练数据集进行微调操作；

1)步骤4中的预训练VGG-Net卷积神经网络为16层，分别是输入层I1，卷积层C1，池化层P1，卷积层C2，池化层P2，卷积层C3，池化层P3，卷积层 C4，池化层P4，卷积层C5，池化层P5，全连接层FC1，全连接层FC2，全连接层FC3，Softmax层S1，输出层O1；

2)步骤4中的微调训练WBC-Net卷积神经网络设计为14层，1-13层和步骤4-1中的预训练卷积神经网络VGG-Net的1-13层是相同的，为进行转移学习和权值共享操作提供了网络结构基础，14层为全连接特征提取层FCL，15层为 Softmax层S2，16层为分类输出层CO1；

步骤5：卷积神经网络结构的参数设置，VGG-Net和WBC-Net的1-13层的结构参数设置相同，卷积层的设置分别是卷积核的大小为3x3，padding设置为1，步长为1；每一次卷积操作之后进行一次激活函数处理，这里选择ReLU激活函数，激活函数ReLU的公式为

f(x)＝max(0，x) (1)

从公式可以看出，激活操作不仅能够避免梯度消失，同时使网络具有稀疏性，减少参数的相关性，在一定程度上减少过拟合的问题；池化层采用2x2的最大池化层，步长设置为2；全连接层FC1、FC2之后分别进行一次ReLU激活处理，同时设置dropout率为0.5，防止网络过拟合，增强网络的训练效率；VGG-Net的全连接层FC3的输出是1000维的特征输出，WBC-Net卷积神经网络的全连接特征提取层FCL的输出设置为2；

步骤6：由步骤4的卷积神经网络的结构设置和步骤5的卷积神经网络结构的参数设置使用ImageNet数据集对VGG-Net进行训练，训练完成后，提取1-13 层的网络结构模型和训练参数用于之后迁移学习的权值共享，至此，整个预训练阶段结束；

步骤7：卷积神经网络的微调过程，步骤6得到的预训练网络参数作为微调卷积神经网络的初始权值，使用步骤3得到的细胞增强训练集对WBC-Net卷积神经网络进行微调；输入尺寸大小为224x224的细胞图片，经过第一组卷积池化操作得到64张112x112的特征图，经过第二组卷积池化操作得到128张56x56的特征图，经过第三组、第四组、第五组卷积池化操作后最终得到512张7x7的特征图，接着由三层全连接层对512张特征图进行特征融合，通过Softmax层计算出每个类别的概率，假设S_j表示第j个类别的概率，a_j表示第j类的向量值(本发明中j＝1,2)，T为分类的类别数，概率计算公式为

最终由输出层输出得到两行一列的分类结果，从输入层到输出层的完整运算过程为一次向前传播；

步骤8：在微调卷积神经网络的过程中，采用监督学习的方法，在经过步骤 7的一次向前传播后，使用交叉熵损失函数计算出一次向前传播的分类误差，y_i表示真实的分类结果，S_j为步骤7中Softmax层算出的每一类的概率，则交叉熵损失函数公式为

C＝-∑_iy_ilnS_i (3)

然后选用随机渐变梯度下降的策略迭代地减小损失函数值，更新每层网络的参数值，为了加快网络的收敛速度，设置动量为0.9，初始学习率为1.0e-4， MiniBatchSize设置为10，经过一次权重参数的更新为一次后反馈传播；

步骤9：使用白细胞数据集微调WBC-Net卷积神经网络，经过多次步骤7的向前传播和步骤8的后反馈传播更新网络结构参数，当达到设置的epoch时，卷积神经网络收敛，结束训练，至此，WBC-Net模型已经训练完成；

步骤10：从步骤9中的已经训练好的WBC-Net卷积神经网络模型中提取FCL 层的权重参数作为分类器的特征输入，训练一组精确度高、鲁棒性强、性能稳定的集成学习分类器，对白细胞做最终的分类；

步骤11：集成学习分类器的设置，使用八个决策树桩分类器作为基分类器进行集成训练，假设训练数据集

T＝{(x₁，y₁)，(x₂，y₂)，...，(x_N，y_N)},y_i∈{-1，+1}，

训练数据的初始权重分布是均匀分布的；

1)基分类器G(x)在训练数据集上的分类误差率确定基分类器的系数，分类误差率为

基分类器的系数为

2)每次迭代训练一个基分类器，训练完成后更新一次训练数据集的权值分布，并用更新后的训练集训练下一个基分类器；

3)八个基分类器线性加法组合成最终的白细胞分类器，在分类器的训练过程中使用五倍交叉验证法对其进行验证评估，至此，分类器的设计训练已经完成；

步骤12：算法测试阶段，把步骤3得到的测试集(包含正常白细胞和异常白细胞)输入步骤9中训练好的WBC-Net卷积神经网络，将提取的特征矩阵作为特征输入到步骤11训练好的集成分类器进行分类；

步骤13：验证算法的性能，通过步骤12得出的预测值与真实值对比，生成混淆矩阵，对混淆矩阵求均值，得到本发明的白细胞分类检测算法的准确率为 98.72％；

步骤14：通过以上对VGG-Net卷积神经网络进行微调得到WBC-Net卷积神经网络，提取卷积神经网络层中的深度特征进行集成分类器的训练和测试，最终得到了准确率较高、鲁棒性较强、稳定性较高的白细胞自动检测算法；

步骤15：把无标签的细胞图片作为输入，通过WBC-Net卷积神经网络的特征提取，再利用集成分类器进行分类，输出正常白细胞或者异常白细胞类别。

Claims (5)

1.一种基于卷积神经网络的白细胞自动识别方法，其特征在于，包括以下步骤：

1)使用图像识别数据库，即ImageNet数据库用于预训练网络，对包含有白细胞的显微镜图片进行单个细胞提取并对其做分类标注，获得带有标签的标准数据集；

2)将所述标准数据集随机地按适当的比例分成训练集和测试集；

3)对所述训练集进行图像增强操作，得到增强训练数据集；

4)采用如下方法设置卷积神经网络：使用ImageNet数据库训练经典神经网络模型VGG-Net卷积神经网络，然后采用迁移学习的方法，将预训练后的部分模型和权重参数转移到需要微调的白细胞分类卷积神经网络，即WBC-Net卷积神经网络上，使用所述增强训练数据集进行微调操作；按照如下方法设置卷积神经网络结构的参数：VGG-Net卷积神经网络和WBC-Net卷积神经网络的1-13层的结构参数设置相同，卷积层的设置分别是卷积核的大小为3x3，padding设置为1，步长为1；每一次卷积操作之后进行一次激活函数处理；池化层采用2x2的最大池化层，步长设置为2；全连接层FC1、FC2之后分别进行一次修正线性单元激活处理，同时应用摒弃部分神经元的方法；VGG-Net的全连接层FC3的输出是1000维的特征输出，WBC-Net卷积神经网络的全连接特征提取层FCL的输出设置为2；

5)使用ImageNet数据集对VGG-Net卷积神经网络进行预训练，预训练完成后，提取1～13层的网络结构模型和训练参数；

6)将步骤5)得到的训练参数作为微调卷积神经网络的初始权值，使用所述增强训练数据集对WBC-Net卷积神经网络进行微调，此过程为一次向前传播；

7)采用监督学习的方法，在经过步骤6)的一次向前传播后，使用交叉熵损失函数计算出一次向前传播的分类误差，然后选用随机渐变梯度下降的方法迭代地减小损失函数值，更新WBC-Net卷积神经网络的每层网络的参数值，此过程为一次完整的后反馈传播；

8)使用白细胞数据集微调WBC-Net卷积神经网络，经过多次步骤6)的向前传播和步骤7)的后反馈传播更新网络结构参数，当达到设置的最大更新代数时，卷积神经网络收敛，结束训练，得到训练好的WBC-Net卷积神经网络模型；

9)从训练好的WBC-Net卷积神经网络模型中提取FCL层的权重参数作为分类器的特征输入，训练一组集成学习分类器，对白细胞做最终的分类；

10)使用N个决策树桩分类器作为基分类器，对集成学习分类器进行集成训练；

11)将测试集输入训练好的WBC-Net卷积神经网络模型，用步骤10)训练好的集成分类器对步骤9)中提取的WBC-Net卷积神经网络的FCL层权重参数作为特征进行分类。

2.根据权利要求1所述的基于卷积神经网络的白细胞自动识别方法，其特征在于，步骤1)的具体实现过程包括：随机提取多组以细胞核心为粗略中心的NxN尺寸的样本块；对每个样本块标注类别标签。

3.根据权利要求1所述的基于卷积神经网络的白细胞自动识别方法，其特征在于，步骤4)中，所述WBC-Net卷积神经网络设计为14层，1-13层和VGG-Net中的预训练卷积神经网络的1-13层是相同的，14层为全连接特征提取层FCL，15层为Softmax层S2，16层为分类输出层CO1。

4.根据权利要求1所述的基于卷积神经网络的白细胞自动识别方法，其特征在于，步骤4)中，所述激活函数为ReLU激活函数。

5.根据权利要求1所述的基于卷积神经网络的白细胞自动识别方法，其特征在于，步骤10)的具体实现过程包括：

1)由初始权值的白细胞训练数据集训练基分类器G(x)，由分类误差率确定基分类器的系数；

2)每次迭代训练一个基分类器，训练完成后更新一次白细胞训练数据集的权值分布，并用更新后的训练集训练下一个基分类器；

3)训练后的N个基分类器线性加法组合成最终的白细胞分类器，即训练好的集成分类器。