CN106204642A - 一种基于深度神经网络的细胞追踪方法 - Google Patents

Abstract

本发明公开了一种基于深度神经网络的细胞追踪方法，涉及图像处理技术领域，解决连续的显微镜细胞图片序列中细胞追踪的问题。本发明包括收集细胞图片数据，裁出细胞数据，使用卷积神经网络提取细胞特征，获得一个初始化的多任务观测模型；给定显微镜图片序列的第一张图片和细胞位置，在下一帧图片中获取第一张图片中细胞位置附近的候选细胞位置；在第一张图片上采样正样本和负样本，训练初始化的多任务观测模型，并对候选细胞位置进行预测，得到细胞的预测相似度概率值；预测相似度概率值最大的候选细胞位置作为下一帧图片的细胞位置，将最大预测相似度概率值和对应的细胞位置保存到一个模型更新策略中，进行阈值进行比较。本发明用于细胞的追踪。

Description

一种基于深度神经网络的细胞追踪方法

技术领域

一种基于深度神经网络的细胞追踪方法，用于细胞的追踪，涉及生物医学、机器视觉、图像处理、人工智能等技术领域。

背景技术

视觉跟踪是计算机视觉领域的一个重要研究课题。视觉追踪的目的是跟踪单个或多个对象的轨迹，其已经广泛应用于许多实际视觉任务,如视频监控、自动驾驶***和生物细胞谱系分析。作为一个典型的视觉跟踪应用程序,细胞追踪的目标是为了直接从微观图像序列中追踪细胞。通过细胞跟踪的结果,我们可以研究细胞行为,进一步构建细胞谱系和分析细胞形态学。因此,细胞与自动跟踪方法是至关重要的。

细胞跟踪的挑战可以总结为四类。第一个挑战是细胞的变形问题。细胞的变形包括伸长、扩张和收缩。传统的视觉跟踪方法比较容易处理刚体的没有显著形状变化的目标。然而,细胞非刚性的形状使得跟踪任务更具挑战性,因为随着时间的推移,他们总是改变形状。第二类的挑战是关于细胞的行为。例如,细胞迁移具有复杂的运动模式。复杂的细胞运动模式给跟踪任务增加了困难。第三个挑战来自细胞的生活环境。细胞液中有许多粒子,其中包含死亡细胞,细菌和其他有机物质。细胞跟踪方法必须区分细胞与其他粒子。最后一个挑战是,显微镜下的细胞图像分辨率低,图像中的细胞相对体积较小。

随着深度学习的发展，特性学习方法已经成功地应用于计算机视觉领域。在我们的工作中,卷积神经网络被用来学习鲁棒性的细胞特征,使得提高非刚性的细胞的追踪识别率。卷积神经网络被广泛用于视觉任务:在传统的图像分类问题中,卷积神经网络用于大规模数据集上已经被证明提高识别精度,在许多机器学习方法中，它是目前最先进的特征学习模型方法之一。

在实际的视觉问题中,深度学习方法有时会遇到过拟合问题。由于细胞对象非刚性的特 点,细胞跟踪方法要求具有良好的泛化性能。多任务学习通常将大问题分解成独立的任务，它是一种机器学习的方法,学会从所有独立的任务中学习到共享的细胞特征。这种学习过程提供了一种较好的泛化性。它已经成功地应用于很多领域，包括机器翻译,语音识别，目标识别等。

发明内容

本发明针对上述不足之处提供了一种基于深度神经网络的细胞追踪方法，解决现有技术中连续的显微镜细胞图片序列中细胞变形、细胞的行为、细胞的生活环境和显微镜下的细胞图像分辨率低造成细胞追踪效果不佳的问题。

为了实现上述目的，本发明采用的技术方案为：

一种基于深度神经网络的细胞追踪方法，其特征在于，包括如下步骤：

(1)收集细胞图片数据，裁剪出细胞数据，使用卷积神经网络提取细胞特征，获得一个初始化的多任务观测模型；

(2)给定显微镜图片序列的第一张图片，并给定第一张图片中的细胞位置，利用粒子滤波方法在下一帧图片中获取第一张图片中细胞位置附近的多个候选细胞位置，其中下一帧图片是指第二张图片；

(3)在第一张图片上采样正样本和负样本，在初始化的多任务观测模型上训练一个二元分类器，将训练好的多任务观测模型对候选细胞位置进行预测，得到细胞的预测相似度概率值；

(4)选取预测相似度概率值最大的候选细胞位置作为下一帧图片的细胞位置，将最大预测相似度概率值和对应的细胞位置保存到一个模型更新策略中，设置一个阈值，如果更新后的最大预测相似度概率值小于阈值，转到步骤(2)进入下一帧图片的追踪；反之,转到步骤(3)重新采样训练。

进一步，所述步骤(1)中包括如下步骤：

(11)特征提取任务：通过构造一个三分类任务来提取细胞特征，三个类别包括无细 胞类别，***中细胞类别，普通细胞类别，其中无细胞类别包含死亡的细胞以及其他有机物；

(12)数据获取：从原始显微镜图片中获取包含步骤(11)中三类特征的情形，将对应的图片位置截取出来，然后对所有截取的图片切片统一到32×32的大小，得到裁剪出的细胞数据；

(13)卷积神经网络训练：将得到的细胞数据输入到卷积神经网络学习特征提取任务，获得初始化的多任务观测模型。

进一步，所述步骤(2)包括如下步骤：

(21)给定显微镜图片序列的第一张图片，并给定第一张图片中的细胞位置，将给定的细胞位置输入到一个粒子滤波模型中；

(22)设置粒子滤波模型产生的粒子个数，通过粒子滤波算法获得候选的粒子位置，即获得多个候选细胞位置。

进一步，所述步骤(3)具体包括如下步骤：

(31)采样正负样本：在第一张图片上细胞位置1到2个像素点截取N个正样本，在50像素点以外的位置获取M个负样本；

(32)在步骤(1)获得初始化的多任务观测模型基础上，重新学习当前的分类任务，得到训练好的多任务观测模型；

(33)训练好的多任务观测模型用来对粒子滤波产生的候选的粒子位置进行预测，给出每个候选细胞位置的相似度概率值。

进一步，所述步骤(4)中的模型更新策略具体包括如下步骤：

(41)先对模型中的队列初始化：从第一张图片上细胞位置1到2个像素点截取N个正样本进行模型初始化，初始化的N个正样本的相似度概率为1，然后通过相似度衰减规则公式对相似度进行衰减，保证队列首的细胞相似度衰减的慢，队列尾的细胞衰减的快；

${\mathrm{\β}}_i:={\mathrm{\β}}_i\·\frac{(N-i+1)}{N-i+1+\mathrm{\φ}},$

上式中，β_i是细胞的相似度，其中i∈(1,N),N是细胞的个数,是一个常数，用来控制衰减的速度；

(42)每次有新的细胞图片进入队列都要对队列中细胞的相似度进行衰减更新，然后要通过一个判断：β_new＞β_min，如果新的图片比队列中的最小的相似度还要小，那么该新的细胞图片丢弃不加入，否则新的细胞图片加入到队列首进行更新；

(43)如果有新的图片加入到队列中，在队列中搜索相似度最小的细胞样本从队列里删除，不改变队列其他样本的顺序。

进一步，所述步骤(13)中卷积神经网络的基本结构可用下述公式表示：

$a_{ij}^{\left(l\right)}=f(\underset{p=0}{\overset{P-1}{\Σ}}\underset{q=0}{\overset{Q-1}{\Σ}}{k}_{pq}^{\left(l\right)}\·a_{(i+p)(j+q)}^{(l-1)}+b^{\left(l\right)}),$

其中，P和Q定义了卷积核的大小，p，q表示行数和列数，用来定义像素点位置，f是卷积核函数,l∈(1,L)表示当前的卷积神经网络层数，定义了l层的i行j列的特征，k定义了卷积核的参数，b是相应的偏置函数。

卷积神经网络的池化操作可用下述公式表示：

a^(l)＝f(β^(l)·down(a^(l-1))+b^(l-1))，

上述公式中，down表示了神经网络的下采样操作，β是相应参数。

与现有技术相比，本发明的优点在于：

一、细胞的特征提取是一个关键的预处理操作，通过对细胞图片进行筛选，能够很好的增加细胞的特征提取效果，具体操作中，整理的细胞图片通过重新归一化到32×32的大小，卷积神经网络设计成两层卷积，两层下采样层能够最好的学习到细胞特征；

二、在追踪的过程中，细胞会移动，形变，在传统的细胞追踪方法中需要不断的重新训练，而本发明中我们维护了一个样本队列，队列中的样本保存着其相似度概率值，每次新的样本进入队列后，相似度最小的样本将会从队列中剔除，该方法采样的正样本在细胞移动、细胞形变的过程中更好；

三、通过深度学习的方法对细胞进行特征提取，能够很好的对多任务观测模型进行很好的初始化，增加模型的鲁棒性，提高追踪的效果；

四、在一个连续的细胞显微镜图片序列中，通过标定第一帧图片中细胞的位置，能够准确的追踪序列中所有图片细胞的位置。

附图说明

图1为本发明中多任务观测模型图；

图2为本发明中细胞识别流程图；

图3为本发明中模型更新样本维护的示例图；

图4为本发明中细胞追踪效果图。

具体实施方式

下面结合附图和实施例对本发明作进一步的说明。

参见图1，一种基于深度神经网络的细胞追踪方法的核心模型是一个多任务的观测模型。多任务的观测模型分为两个学习任务：一个二分类的主任务，目的是将当前追踪的细胞目标与图片背景中的其他物体区分开，该部分在细胞追踪的过程中会不断更新该部分的分类器；另外一个是三分类的次任务，目的是将细胞的主要类别：非细胞类别、普通细胞、***中细胞区分开来，通过区分主要的细胞类别，能够在初始化多任务观测模型的时候就学习到细胞的主要特征，从而提高追踪效率。

如图2为细胞追踪的整体流程，具体包括如下步骤：

(1)收集细胞图片数据，裁剪出细胞数据，使用卷积神经网络提取细胞特征，获得一个初始化的多任务观测模型；包括如下步骤：

(11)特征提取任务：通过构造一个三分类任务来提取细胞特征，三个类别包括无细胞类别，***中细胞类别，普通细胞类别，其中无细胞类别包含死亡的细胞以及其他有机物；

(12)数据获取：从原始显微镜图片中获取包含步骤(11)中三类特征的情形，将对应的图片位置截取出来，然后对所有截取的图片切片统一到32×32的大小，得到裁剪出的细胞数据；

(13)卷积神经网络训练：将得到的细胞数据输入到卷积神经网络学习特征提取任务，获得初始化的多任务观测模型。卷积神经网络的基本结构可用下述公式表示：

$a_{ij}^{\left(l\right)}=f(\underset{p=0}{\overset{P-1}{\Σ}}\underset{q=0}{\overset{Q-1}{\Σ}}{k}_{pq}^{\left(l\right)}\·a_{(i+p)(j+q)}^{(l-1)}+b^{\left(l\right)}),$

其中，P和Q定义了卷积核的大小，p，q表示行数和列数，用来定义像素点位置，f是卷积核函数,l∈(1,L)表示当前的卷积神经网络层数，定义了l层的i行j列的特征，k定义了卷积核的参数，b是相应的偏置函数。

卷积神经网络的池化操作可用下述公式表示：

a^(l)＝f(β^(l)·down(a^(l-1))+b^(l-1))，

上述公式中，down表示了神经网络的下采样操作，β是相应参数。

(2)给定显微镜图片序列的第一张图片，并给定第一张图片中的细胞位置的确切位置，如图中正方形框标定的细胞；利用粒子滤波方法在下一帧图片(即第二帧图片)中获取第一张图片中细胞位置附近的多个候选细胞位置；包括如下步骤：

(21)给定显微镜图片序列的第一张图片，并给定第一张图片中的细胞位置，将给定的细胞位置输入到一个粒子滤波模型中；

(22)设置粒子滤波模型产生的粒子个数，通过粒子滤波算法获得候选的粒子位置，即获得多个候选细胞位置。

(3)在第一张图片上采样正样本和负样本，在初始化的多任务观测模型上训练一个二元分类器，将训练好的多任务观测模型对候选细胞位置进行预测，得到细胞的预测相似度概率值；多任务观测模型是有两部分组成。三分类的次任务用来初始化模型达到提取细胞特征的目的。多任务观测模型的初始化在30000个样本数据集下，训练一个4层的卷积神经网络，数据的标定包括无细胞样本，普通细胞样本，***中细胞样本。训练好的多任务观测模型用来对当前图片(第一张图片)中的细胞学习一个二元分类器。该二元分类器的正样本，即属于细胞的样本是从正样本队列中选取的。队列的初始化是从第一张图片上细胞位置1到2个像素点截取10个正样本。负样本的选取是在50像素点以外的位置获取100个负样本。训练好的观测模型对候选的细胞位置进行预测，给出细胞的相似度概率值；包括如下步骤：

(31)采样正负样本：在第一张图片上细胞位置1到2个像素点截取10个正样本，在50像素点以外的位置获取100个负样本；

(32)在步骤(1)获得初始化的多任务观测模型基础上，重新学习当前的分类任务，得到训练好的多任务观测模型；

(33)训练好的多任务观测模型用来对粒子滤波产生的候选的粒子位置进行预测，给出每个候选细胞位置的相似度概率值。

(4)选取预测相似度概率值最大的候选细胞位置作为下一张图片(即下一帧图片)的细胞位置，将最大预测相似度概率值以及相应的细胞位置保存到一个模型更新策略中，设置一个阈值(在我们的试验中选取的阈值为0.8)，如果更新后的最大预测相似度概率值小于阈值，转到步骤(2)进入下一张图片(即下一帧图片，如下一帧图片为已追踪的图片的下一张图片)的追踪；反之，转到步骤(3)重新采样训练。图3为模型更新样本维护的详细示例图，给出了一个实例维护十个正样本的过程。该方法从初始化该队列、相似度衰减、队列的***与删除操作过程，模型更新策略具体包括如下步骤：

(41)先对模型中的队列初始化：从第一张图片上细胞位置1到2个像素点截取N个正样本进行模型初始化，初始化的N个正样本的相似度概率为1，然后通过相似度衰减规则公式对相似度进行衰减，保证队列首的细胞相似度衰减的慢，队列尾的细胞衰减的快；

${\mathrm{\β}}_i:={\mathrm{\β}}_i\·\frac{(N-i+1)}{N-i+1+\mathrm{\φ}},$

上式中，β_i是细胞的相似度，其中i∈(1,N)，N是细胞的个数，在这个实例中，N＝10， 是一个常数，用来控制衰减的速度，在这个例子中，我们采用

(42)每次有新的图片进入队列都要对队列中细胞的相似度进行衰减更新，然后要通过一个判断：β_new＞β_min，如果新的图片比队列中的最小的相似度还要小，那么该新的图片丢弃不加入，否则新的图片加入到队列首进行更新，新的图片是指最大预测相似度概率值对应的细胞位置；

(43)如果有新的图片加入到队列中，在队列中搜索相似度最小的细胞样本从队列里删除，不改变队列其他样本的顺序。

图4为实验的效果图，该方法在三种类型的情况下做了测试。图中(a)是在变化比较复杂的背景下追踪细胞的过程；图中(b)是在细胞的移动比较明显的情况下追踪细胞的过程；图中(c)是在细胞的形变比较剧烈的情况下追踪细胞的过程。

Claims (6)

1.一种基于深度神经网络的细胞追踪方法，其特征在于，包括如下步骤：

(1)收集细胞图片数据，裁剪出细胞数据，使用卷积神经网络提取细胞特征，获得一个初始化的多任务观测模型；

(2)给定显微镜图片序列的第一张图片，并给定第一张图片中的细胞位置，利用粒子滤波方法在下一帧图片中获取第一张图片中细胞位置附近的多个候选细胞位置，其中下一帧图片是指第二张图片；

(3)在第一张图片上采样正样本和负样本，在初始化的多任务观测模型上训练一个二元分类器，将训练好的多任务观测模型对候选细胞位置进行预测，得到细胞的预测相似度概率值；

(4)选取预测相似度概率值最大的候选细胞位置作为下一帧图片的细胞位置，将最大预测相似度概率值和对应的细胞位置保存到一个模型更新策略中，设置一个阈值，如果更新后的最大预测相似度概率值小于阈值，转到步骤(2)进入下一帧图片的追踪；反之,转到步骤(3)重新采样训练。

2.根据权利要求1所述的一种基于深度神经网络的细胞追踪方法，其特征在于，所述步骤(1)中包括如下步骤：

(11)特征提取任务：通过构造一个三分类任务来提取细胞特征，三个类别包括无细胞类别，***中细胞类别，普通细胞类别，其中无细胞类别包含死亡的细胞以及其他有机物；

(12)数据获取：从原始显微镜图片中获取包含步骤(11)中三类特征的情形，将对应的图片位置截取出来，然后对所有截取的图片切片统一到32×32的大小，得到裁剪出的细胞数据；

(13)卷积神经网络训练：将得到的细胞数据输入到卷积神经网络学习特征提取任务，获得初始化的多任务观测模型。

3.根据权利要求1所述的一种基于深度神经网络的细胞追踪方法，其特征在于，所述步骤(2)包括如下步骤：

(21)给定显微镜图片序列的第一张图片，并给定第一张图片中的细胞位置，将给定的细胞位置输入到一个粒子滤波模型中；

(22)设置粒子滤波模型产生的粒子个数，通过粒子滤波算法获得候选的粒子位置，即获得多个候选细胞位置。

4.根据权利要求1所述的一种基于深度神经网络的细胞追踪方法，其特征在于，所述步骤(3)具体包括如下步骤：

(31)采样正负样本：在第一张图片上细胞位置1到2个像素点截取N个正样本，在50像素点以外的位置获取M个负样本；

(32)在步骤(1)获得初始化的多任务观测模型基础上，重新学习当前的分类任务，得到训练好的多任务观测模型；

(33)训练好的多任务观测模型用来对粒子滤波产生的候选的粒子位置进行预测，给出每个候选细胞位置的相似度概率值。

5.根据权利要求1所述的一种基于深度神经网络的细胞追踪方法，其特征在于，所述步骤(4)中的模型更新策略具体包括如下步骤：

(41)先对模型中的队列初始化：从第一张图片上细胞位置1到2个像素点截取N个正样本进行模型初始化，初始化的N个正样本的相似度概率为1，然后通过相似度衰减规则公式对相似度进行衰减，保证队列首的细胞相似度衰减的慢，队列尾的细胞衰减的快；

${\mathrm{\β}}_i:={\mathrm{\β}}_i\·\frac{(N-i+1)}{N-i+1+\mathrm{\φ}},$

上式中，β_i是细胞的相似度，其中i∈(1,N),N是细胞的个数,是一个常数，用来控制衰减的速度；

(42)每次有新的细胞图片进入队列都要对队列中细胞的相似度进行衰减更新，然后要通过一个判断：β_new＞β_min，如果新的图片比队列中的最小的相似度还要小，那么该新的细胞图片丢弃不加入，否则新的细胞图片加入到队列首进行更新；

(43)如果有新的图片加入到队列中，在队列中搜索相似度最小的细胞样本从队列里删除，不改变队列其他样本的顺序。

6.根据权利要求2所述的一种基于深度神经网络的细胞追踪方法，其特征在于，所述步骤(13)中卷积神经网络的基本结构可用下述公式表示：

$a_{ij}^{\left(l\right)}=f(\underset{p=0}{\overset{P-1}{\Σ}}\underset{q=0}{\overset{Q-1}{\Σ}}{k}_{pq}^{\left(l\right)}\·a_{(i+p)(j+q)}^{(l-1)}+b^{\left(l\right)}),$

其中，P和Q定义了卷积核的大小，p，q表示行数和列数，用来定义像素点位置，f是卷积核函数,l∈(1,L)表示当前的卷积神经网络层数，定义了l层的i行j列的特征，k定义了卷积核的参数，b是相应的偏置函数。

卷积神经网络的池化操作可用下述公式表示：

a^(l)＝f(β^(l)·down(a^(l-1))+b^(l-1))，

上述公式中，down表示了神经网络的下采样操作，β是相应参数。