CN112686912A - 基于逐步学习和混合样本的急性脑卒中病变分割方法 - Google Patents

Abstract

本发明公开了一种基于逐步学习和混合样本的急性脑卒中病变分割方法。包括步骤：设计一个可以进行端到端训练的分割网络，在下采样部分的输出层后依次连接全局均值池化层和分类层；由有标记的数据样本初始化上述步骤的分割网络；使用完成初始化的分割网络进行逐步学习，利用有标记的数据样本为无标记的数据样本分配图像级的伪标记并在迭代过程中使用标记的数据样本进行语义约束；设计一个基于多特征图融合的解码网络，将上述步骤训练好的下采样部分与该解码网络连接；利用有标记的数据样本对新的网络进行端到端的训练；在测试数据集上对该网络进行评估，并输出对应的测试结果。本发明有效利用了无标记的数据样本，大大减少了获取数据样本的成本。

Description

基于逐步学习和混合样本的急性脑卒中病变分割方法

技术领域

本发明涉及急性脑卒中核磁共振图像分割技术领域，具体是一种基于逐步学习和混合样本的急性脑卒中病变分割方法。

背景技术

缺血性脑卒中是一种常见的疾病，尤其在老年群体中更为多发，如果不能及时发现并治疗，它可能导致人身残疾甚至死亡。然而，它的治疗窗口在急性发病阶段很短，快速定位病变位置和量化病变体积对于急性脑卒中的治疗是非常关键的。

当前，随着人工智能技术的飞速发展，基于深度学习的医学图像处理方法层出不穷，其中一些研究者利用该技术对急性脑卒中的医学图像进行了病变分割。Chen提出一种两阶段的神经网络结构，分别用于初步分割和后处理，该方法在单模态弥散加权成像(diffusion weighted images,DWI)上取得0.67的分割精度；为了充分利用核磁共振图像(magnetic resonance imaging,MRI)的上下文信息，Zhang提出基于3D的神经网络结构；为了减少单模态MRI可能带来的过检或漏检问题，Liu提出残差卷积神经网络结构在多模态MRI分割急性脑卒中病变。然而，这些分割算法都需要大量的像素级标签的数据样本，这些数据是由专业的临床医生逐个像素进行标记的，这将大大增加收集数据的成本。如何利用更少的标记数据或者成本更低的标记数据是一个值得发展的方向。最近，Zhao提出一种双支路的神经网络结构，该结构利用可以同时利用少量像素级标记的数据和大量图像级标记的数据进行急性脑卒中病变分割。虽然取得了较好的分割精度，但是该方法还是需要依赖大量的图像级标记的数据进行预训练。更有效的方法是利用少量像素级标记的样本和一些无标记的样本对算法进行泛化，进而对急性脑卒中病变进行分割。

当前一些研究者利用小样本学习的思想进行自然图像语义分割。但是很多方法都是基于大规模公开数据集的预训练权重进行微调。由于医学图像与自然图像的显著差异，使用相关网络的预训练参数并不能使医学图像在小样本学习下达到良好的泛化效果。针对医学图像病变分割，目前的方法集中在使用少量像素级标记的数据为无标签数据生成伪标签的像素标记，然后再混合两类像素级标记的样本进行端到端的分割训练。由于生成的像素级伪标签存在一定误差，在进行端到端训练时会累积这种误差，进而不利于有效分割病变区域。

针对当前基于深度学习的急性脑卒中病变分割方法过分依赖于有标记数据的缺点，需要研究一种在给定少量标记数据引导的情况下，利用容易获得的无标签数据即可以对急性脑卒中病变进行分割的方法。

发明内容

本发明提出一种基于逐步学习和混合样本的急性脑卒中病变分割方法，该方法只需要少量的像素级标记的数据样本和一些无标记的数据样本即可以对急性脑卒中病变进行有效分割。这种混合样本的形式大大减少了获取数据样本的成本，且可以更好地利用大量闲置的无标记数据。本方法采用的技术方案包含以下步骤：

步骤1：设计一个可以进行端到端训练的分割网络，在下采样部分的输出层后依次连接全局均值池化层和分类层；

步骤2：由像素级标记的数据样本初始化步骤1的分割网络；

步骤3：使用步骤2中完成初始化的分割网络进行逐步学习，具体是将有标记的数据样本与无标记的数据样本混合输入到分割网络，在全局均值池化层输出一定维度的特征，然后分别对所有正样本和负样本对应的特征求均值。将无标记数据样本的特征向量分别与处理后的正负样本的特征向量求欧氏距离，根据该值，选择离正样本最近的几个无标签样本和离负样本最近的几个无标签样本并赋予各自对应的图像级伪标记，进行下一轮的分类训练，直到把一定比例的无标记数据样本迭代完则停止训练过程。在此过程中，每次迭代均使用有标记的数据样本进行语义约束；

步骤4：设计一个基于多特征图融合的解码网络，将步骤3中训练好的下采样部分与该解码网络连接；

步骤5：利用有标记的数据样本对步骤4的网络进行端到端的训练；

步骤6：在测试数据集上对步骤5得到的算法进行评估，并输出对应的测试结果；

进一步地，在步骤3中进行逐步学习时，如果一个无标记的数据样本都在正负样本可选择的范围内，则在本轮迭代丢弃该无标记的数据样本，放在后面的迭代里进行选择。

本发明提出的基于逐步学习和混合样本的急性脑卒中病变分割方法，相对于传统急性脑卒中病变分割方法有以下优点：

(1)本发明针对急性脑卒中病变的分割方法，提出混合少量有标记的数据样本和一些无标记的数据样本进行逐步学习的方法，这将大大减少获取数据样本的成本。

(2)本发明提出在高维的特征空间为无标记的数据样本分配图像级的伪标记，同时利用有标记的数据样本在逐步学习过程中进行语义约束，这会减少生成伪标记时带来的误差在像素级分割中的累积。

附图说明

图1为本发明提出的基于逐步学习和混合样本的训练过程示意图。

图2为急性脑卒中病变分割示意图。

具体实施方式

结合附图及实施例，对本发明所述的方法作详细阐述。

基于逐步学习和混合样本的训练过程示意图如图1所示。该方法总的流程如下：首先将混合的有标记的数据样本和无标记的数据样本输入到网络里，包括两个模态DWI图像和ADC图像，从全局均值池化层输出一定维度的特征向量，使用有标记的数据样本为无标记的数据样本分配图像级的伪标记，每次迭代选择对等的少量无标记样本，直到所有的无标记数据样本全部被选择后停止训练过程。然后利用如图2所展示的急性脑卒中病变分割示意图，使用有标记的数据样本对进行端到端的训练，进而利用训练好的分割网络在测试数据集上分割急性脑卒中病变。

步骤1：设计一个可以进行端到端训练的分割网络，在下采样部分的输出层后依次连接全局均值池化层和分类层；

本发明设计的端到端分割网络借鉴经典神经网络全卷积分割网络的结构形式，在下采样部分的输出层后依次添加全局均值池化层和分类层。

步骤2：由有标记的数据样本初始化步骤1的分割网络；

有标记的数据样本是由专业医师标定的，保证数据样本的准确性。输入网络的数据样本包括DWI图像和ADC图像，为了便于神经网络的训练，分别对它们进行标准化处理，然后进行通道融合，标准化处理的形式可以写成：

其中x_i是第i个样本，μ和σ分别是其均值和标准差。

步骤3：使用步骤2中完成初始化的分割网络进行逐步学习，具体是将有标记的数据样本与无标记的数据样本混合输入到分割网络，在全局均值池化层输出一定维度的特征，然后分别对所有正样本和负样本对应的特征求均值。将无标记数据样本的特征向量分别与处理后的正负样本的特征向量求欧氏距离，根据该值，选择离正样本最近的几个无标签样本和离负样本最近的几个无标签样本并赋予各自对应的图像级伪标记，进行下一轮的分类训练，直到把一定比例的无标记数据样本迭代完停止训练过程。在此过程中，每次迭代均使用有标记的数据样本进行语义约束；

本发明混合有标记的数据样本和无标记的数据样本，将其输入到步骤2初始化之后的分割网络进行训练。具体是取全局均值池化层输出的特征向量，首先分别求出正负样本的均值向量，接着求无标记的数据样本的特征向量与正负样本特征向量的欧氏距离，根据该值为无标记的数据样本分配图像级的伪标记。具体是选择离正样本最近的几个无标记样本和离负样本最近的几个无标记样本并赋予各自对应的图像级伪标记，然后利用这些伪标记的数据样本和有标记的数据样本一起进行分类训练，以此迭代训练，直到把一定比例的无标记数据样本迭代完则停止训练。在此过程中，每次迭代均使用有标记的数据样本进行语义约束。具体的逐步学习过程如图1所示。

步骤4：设计一个基于多特征图融合的解码网络，将步骤3中训练好的下采样部分与该解码网络连接；

由于有标记的数据样本太少，需要设计一个参数较少的解码网络将步骤3中下采样部分的特征图解码到分割输出，为了更加有效地利用对分割结果贡献较大的特征图，我们将通道注意力模块潜嵌入到解码网络中。

步骤5：利用有标记的数据样本对步骤4的网络进行端到端的训练；

利用有标记的数据样本对步骤4所得端到端分割网络进行训练，利用早停法监测训练过程并保存最优的网络参数。

步骤6：在测试数据集上对步骤5得到的算法进行评估，并输出对应的测试结果；

为了测试步骤5所得网络的泛化能力，使用测试集对其进行验证，衡量分割精度的公式如下：

其中G和P分别表示急性脑卒中病变标签和预测的病变，|·|表示病变的分割区域。

为了更进一步对病变进行分析，使用病变级的准确率P_L、病变级的召回率R_L和病变级的F₁得分作为评价指标，具体定义如下：

其中m#TP，m#FP和m#FN分别指真正例、假正例和假负例的平均值。具体地，我们将分割的病变和测试集的标签做三维联通分析，形成各自的连通区域。当一个区域在分割的病变和测试集的标签上都存在时，将其定义为真正例(true positive,TP)；在分割病变上存在但在标签上不存在的定义为假正例(false positive,FP)，以此类推，我们可以得到假负例(false negative,FN)和真负例(true negative,TN)，最后求各自的平均值即可得到m#TP，m#FP和m#FN。

Claims (7)

1.一种基于逐步学习和混合样本的急性脑卒中病变分割方法，其特征在于，使用有标记的数据样本逐步为无标记的数据样本分配图像级伪标记，并在逐步学习过程中由有标记的数据样本进行语义约束，接着将该网络的下采样部分与新设计的解码网络连接并利用有标记的数据样本进行端到端的训练，具体包括以下步骤：

1)设计一个可以进行端到端训练的分割网络，在下采样部分的输出层后依次连接全局均值池化层和分类层；

2)由有标记的数据样本初始化1)的分割网络；

3)使用2)中完成初始化的分割网络进行逐步学习，具体是将有标记的数据样本与无标记的数据样本混合输入到分割网络，在全局均值池化层输出一定维度的特征，然后分别对所有正样本和负样本对应的特征求均值。将无标记数据样本的特征向量分别与处理后的正负样本的特征向量求欧式距离，根据该值，选择离正样本最近的几个无标签样本和离负样本最近的几个无标签样本并赋予各自对应的图像级伪标记，进行下一轮的分类训练，直到把一定比例的无标记数据样本迭代完则停止训练过程。在此过程中，每次迭代均使用有标记的数据样本进行语义约束；

4)设计一个基于多特征图融合的解码网络，将3)中训练好的下采样部分与该解码网络连接；

5)利用有标记的数据样本对4)的网络进行端到端的训练；

6)在测试数据集上对5)得到的算法进行评估，并输出对应的测试结果。

2.如权利要求1所述的基于逐步学习和混合样本的急性脑卒中病变分割方法，其特征在于，基于经典的全卷积网络设计一个新的网络，在下采样部分的输出层后依次连接全局均值池化层和分类层。

3.如权利要求1所述的基于逐步学习和混合样本的急性脑卒中病变分割方法，其特征在于，由有标记的数据样本初始化新设计的分割网络，有标记的数据样本设定为5个像素级的数据样本。

4.如权利要求1所述的基于逐步学习和混合样本的急性脑卒中病变分割方法，其特征在于，将有标记的数据样本与无标记的数据样本混合输入到分割网络，在全局均值池化层输出一定维度的特征，单个数据样本对应的维度为n×512，其中n为样本切片数目，然后分别对所有正样本和负样本对应的特征求均值，其中将含有病变的切片定义为正样本，否者则是负样本。将无标记数据样本的特征向量分别与处理后的正负样本的特征向量求欧氏距离，根据该值，选择离正样本最近的几个无标签样本和离负样本最近的几个无标签样本并赋予各自对应的图像级伪标记，进行下一轮的分类训练，直到把所有的无标记数据样本全部迭代完则停止训练过程，其中每次在选择候选样本时候按照剩余样本总数的0.005倍选择。在此过程中，每次迭代均使用有标记的数据样本进行语义约束。

5.如权利要求1所述的基于逐步学习和混合样本的急性脑卒中病变分割方法，其特征在于，设计一个解码网络，将使用逐步学习训练完成的网络的下采样部分与该解码网络连接。为了更好的关注对病变分割贡献较多的特征图，将通道注意力模块嵌入到解码网络部分。

6.如权利要求1所述的基于逐步学习和混合样本的急性脑卒中病变分割方法，其特征在于，使用有标记的数据样本训练新得到的网络，采用早停法监测训练过程并保存最优收敛参数。

7.如权利要求1所述的基于逐步学习和混合样本的急性脑卒中病变分割方法，其特征在于，在测试集上对最终训练好的网络进行测试，采用的评价指标包括分割精度Dice系数、病变级的准确率P_L、病变级的召回率R_L和病变级的F₁得分。

Images