CN114596317A - 一种基于深度学习的ct影像全心脏分割方法 - Google Patents

Abstract

本发明公开了一种基于深度学习的CT影像全心脏分割方法；涉及医学图像领域；在网络编码阶段中引入残差模块，增强了网络捕捉全心脏子结构特征的能力。在解码阶段引入基于注意力机制的多尺度融合模块，该模块在反卷积之后融合多尺度特征并进行特征重利用，更好的融合了低级特征和高级特征。同时将加权交叉熵损失函数和加权DICE损失函数结合解决了类失衡问题，在分割细节上起到了良好的驱动作用。本发明实现方法简单，自动将全心脏分成7个子结构，包括左心房、左心室、左心室心肌、右心房、右心室、肺动脉、升动脉，测试一个数据只需几秒钟，极大的减少了医生投入的时间和学习成本，处理过程不需要人工交互，达到了应用的要求。

Description

一种基于深度学习的CT影像全心脏分割方法

技术领域

本发明涉及医学图像领域，尤其涉及一种基于深度学习的CT影像全心脏分割方法。

背景技术

心脏是人体重要器官之一，承担着人体重要的功能。全心脏分割是指将心脏分成7个子结构，主要是指左心室(LV)、左心室心肌(Myo)、左心房(LA)、右心房(RA)、右心室(RV)、肺动脉(PA)、升动脉(AA)。文献(中国心血管健康与疾病报告编写组.中国心血管健康与疾病报告2020概要[J].中国循环杂志,2021,36(6):521-545.)指出心血管疾病居我国城乡居民死亡之首，农村占46.6％，城市占43.81％，并且据估计我国约有3.3亿人患有心血管疾病。全心脏分割可以提取射血分数、心脏腔室容积、心肌厚度等临床指标，是医生进行功能分析、诊断和治疗的基础，在临床研究中具有重大意义。全心分割难点主要在于心脏子结构之间灰度值相近，导致边界像素点分类困难，其次背景像素点数量多于前景像素点数量导致类别不平衡问题严重。在深度学习兴起之前，全心脏分割主要方法是可形变模型和图谱法，然而这些方法在有限的数据集上构建模型十分困难，同时这种处理非常耗时，不能满足医生的阅片要求。随着深度学习在计算机视觉领域和医学图像上的迅速发展，许多研究者已经将深度学习应用在全心脏分割。文献[Yang X,Bian C,Yu L,et al.Hybrid lossguided convolutional networks for whole heart parsing[C]//Internationalworkshop on statistical atlases and computational models oftheheart.Springer,Cham,2017:215-223.]使用3D Unet网络模型，融合dice损失和交叉熵损失形成新的损失函数达到了良好的分割效果。

但是使用3D方法，需要将全心脏三维体数据按顺序切割成小块，分别输入网络获得输出，然后将输出结果拼接在一起获得最终的分割结果。心脏数据大部分属于背景，该策略浪费资源，同时测试一个数据需要数分钟以上，浪费人力和时间成本，不能满足临床需求。

发明内容

本发明要解决的技术问题是针对上述现有技术的不足，提供一种基于深度学习的CT影像全心脏分割方法，使用深度神经网络自动将全心脏分成7个子结构，包括左心房、左心室、左心室心肌、右心房、右心室、肺动脉、升动脉，克服了医学图像数据不足，导致分割结果不精确的缺点，极大的减少了医生投入的时间和学习成本，提高了诊断效率。

本发明所采取的技术方案是：

本发明提供一种基于深度学习的CT影像全心脏分割方法，包括以下步骤：

步骤1：输入待分割三维医学图像，并根据该图像的大小将其定义为大小为C×H×W 3维特征数组，表示为：图像X(C×H×W)；

步骤2：对步骤1中待分割图像进行预处理，作为训练样本；

步骤3：建立全心脏分割网络，利用全心脏分割网络编码器生成5种不同深度的特征图Out₀，Out₁，Out₂，Out₃，Out₄，解码阶段使用基于注意力机制的多尺度融合模块和深度监督模块进行特征还原得到特征图，Y₀，Y₁，Y₂，Y₃，Y₄；

步骤4：用训练样本对S3建立的全心脏分割网络进行训练，得到训练好的深度卷积神经网络；

步骤5：将步骤2预处理后的全心脏CT图像输入步骤4训练好的深度卷积神经网络进行图像分割，输出分割好的全心脏CT图像，包括7个子结构左心房、左心室、左心室心肌、右心房、右心室、肺动脉、升动脉。

所述步骤1的具体过程为：数据输入，输入待分割图像，并根据将其定义为大小C×H×W的3维特征数组，表示为：图像X(C×H×W)；输入的CT体数据使用常规造影术获得，每个体数据都覆盖了整个心脏的所有子结构，每个体数据由M个2D切片组成。

所述步骤2的具体过程为：对输入的CT数据集进行预处理；对标签数据原始标签值进行重编码，对新编码的标签值进行one-hot编码；采用2D卷积方式训练神经网络，将每个三维体数据进行2D切片处理，对数据进行归一化处理，得到每个体数据的最大灰度值A_max和最小灰度值A_min，根据归一化公式来更新每个点的灰度值A_new，如式(1)所示：

其中，A_old为原始灰度值，对图像顺时针或逆时针旋转进行数据增强、数据缩放操作。

所述步骤3的具体过程，包括以下步骤：

步骤3.1：对网络中的编码阶段保留残差网络前四个特征模块，移除最后的全连接层和平均池化层，保留了4个layer层和第一个7×7的卷积层和池化层，每个layer层包含两个残差模块；残差模块使用3×3大小的卷积核进行卷积操作，每一个卷积层后紧跟一个BN层和Relu操作来对所提取的特征进行归一化激活处理；

根据步骤1获取的图像X，将图像X经过提取特征操作改变特征图通道数量，经过最大池化操作改变特征图的大小，得到特征图

，再经过layer层，得到特征图Out_i+1，其中i为特征图索引，i＝1,2,3,4，所述Out_i+1分别为

步骤3.2：在解码阶段上采样之后添加基于注意力机制的多尺度融合模块，多尺度融合模块包括两个分支，一个分支使用3个3×3大小的卷积进行卷积操作，将三个卷积操作的输出进行特征融合，可以提取不同尺度的空间特征，另一个分支引入1×1的卷积层进一步捕捉额外的空间信息，

结合编码阶段得到的特征图Out₀～Out₄，进行上采样操作，改变特征图大小，与编码阶段的特征图依次进行拼接操作，加强图像上下文之间的语义信息，再经过基于注意力机制的多尺度融合模块，改变特征图通道数，同时注入深度监督机制来放大隐藏层特征，注入深度监督机制后输出的特征图为Y₀～Y₄，分别为：

所述步骤4的具体过程为：通过网络计算预测值，对比预测值和真实值，真实值即标签数据标注所有目标相关信息，通过损失函数计算损失值，然后进行反向传播对网络进行更新，将更新完成的训练权重保存到指定的位置。

所述上采样操作采用双线性插值算法。

所述2D切片大小为512×512。

所述添加注意力机制的具体过程，包括以下步骤：

步骤3.2.1：将多尺度语义信息融合模块进行全局平均池化操作，将空间信息压缩成一个与通道数等维度的向量，获得各个特征通道的注意力权重；

步骤3.2.2：为了捕获特征通道之间的非线性关系，引入两个全连接层、relu和sigmoid两种激活函数，通过sigmoid实现权重归一化；

步骤3.2.3：通过scale操作将权重与输入特征图按通道对应相乘。

有益技术效果

1、本发明在Unet网络编码阶段中引入残差模块，利用残差连接的思想，使网络层数增加，更快加速了网络收敛，增强了网络提取全心脏子结构特征的能力。在解码阶段引入基于注意力机制的多尺度融合模块，该模块在反卷积之后融合多尺度特征并进行特征重利用，更好的融合了低级特征和高级特征，同时在解码器中注入深度监督机制提高了Unet网络图像分割方法的精度。

2、本发明提出新的混合损失函数，将加权价交叉熵损失函和加权DICE混合损失函数结合解决了类别不平衡问题，在子类之间的分割细节上也起到了良好的驱动作用。

3、将用本发明所述的全心脏自动分割方法，在心脏CT数据集上进行测试，并与专家手动分割结果进行了比较，定量分析结果表明，本发明的分割结果与专家手动标定的分割结果一致，误差评估也在手动标定的误差范围内。

4、本发明实现方法简单，测试一个数据只需几秒钟，结果准确性高，且处理过程不需要人工交互，达到了应用的要求。

附图说明

图1为本发明实施例提供的基于深度学习的CT影像全心脏分割方法图；

图2为本发明实施例提供的网络结构示意图；

图3为本发明实施例提供的基于注意力机制的多尺度融合模块结构示意图；

图4为本发明实施例提供的SE-Net通道注意力机制结构示意图；

图5为本发明实施例提供的全心脏分割结果示意图；

其中，图5(a)为测试集中选取的一张原始心脏CT图像；图5(b)为图5(a)对应的标签图像；图5(c)为图5(a)对应的分割结果图。

具体实施方式

下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述；

一种基于深度学习的CT影像全心脏分割方法，使用深度神经网络自动将全心脏分成7个子结构，克服了医学图像数据不足，导致分割结果不精确的缺点，极大的减少了医生投入的时间和学习成本，提高诊断效率；

在本实施例中，提供了一种基于深度学习的CT影像全心脏分割方法，如图1所示，包括以下步骤：

步骤1：读取训练集中待分割CT图像，并根据该图像的大小将其定义为C×H×W的3维特征数组，表示为：X(C×H×W)；

在本实施例中，根据读取的待分割CT图像的大小，将读取到的CT图像定义为大小为1×512×512的3维特征数组，表示为：X(1×512×512)，其中第一个维度为1，代表X的通道数量，第二个维度和第三个维度均为512，代表X的特征图大小；数组X中的元素表示为X_i,j,k，代表3维数组X中坐标为(i,j,k)的位置的像素值；

步骤2：图像预处理；将3D体数据转换为2D切片，根据每一例掩码图，获取带有前景部分的序列图，舍弃只有背景图像的部分，对数据进行数据去噪、数据增强操作来增强网络模型的泛化性；为了将CT图像尺寸适应网络模型的输入大小，将切片裁剪为224×224，裁剪后的图像表示为X(1×224×224)，涵盖了全心脏结构；

步骤3：搭建全心脏分割网络模型，该网络基于编解码器的UNet网络进行搭建，网络模型图如图2所示；为了更好的捕捉心脏子结构的细节特征，本发明采用残差网络结构作为编码器特征提取网络，为了提高检测精度使用基于注意力机制的特征融合的方式对特征图进行融合操作，基于注意力机制的多尺度融合模块如图3所示，注意力机制SE-Net细节图，如图4所示；

编码器基于残差网络的思想，使用ImageNet数据集预训练的ResNet18模型，保留ResNet18的前四个特征块，去掉最后的全连接层和池化层，与原块相比，残差网络增加了shortcut机制，这种残差结构可以避免梯度消失，加速网络的快速收敛，增强了网络捕捉全心脏子结构特征的能力；经过ResNet18得到编码器的特征图为Out₀～Out₄，Out₀(64×112×112)，Out₁(64×56×56)，Out₂(128×28×28)，Out₃(256×14×14)，Out₄(512×7×7)；

在解码器阶段对编码器输出的特征图进行上采样，每一层添加基于注意力机制的多尺度融合模块和深度监督输出模块，输出特征图为Y₀～Y₄，Y₀(8×224×224)，Y₁(16×112×112)，Y₂(32×56×56，Y₃(64×28×28)，Y₄(128×14×14)，同时对标签进行4次下采样，系数分别为1/16，1/8，1/4，1/2，使每一层的通道数等于8，即分割的类别数；

步骤4：对网络进行训练；在训练之前对编码器载入预训练模型进行初始化，预训练模型用的是ResNet18结构，在ImageNet数据集上训练好分类模型；

设置损失函数，损失函数表示为L_hybrid，使用两个超参数α和β来控制两个损失函数的权重占比，如式(2)所示：

本实施例中，当α＝0.5、β＝0.5时，模型效果最好；

选择合适的优化学习方法，采用Adam优化器进优化，持续训练到损失函数收敛为止；设置相关的超参数，最大迭代次数epochs设置为20，batchsize(每个batch中训练样本的数量)设置为8，初始学习率lr设定为10^-4；训练操作网络中各卷积核权重更新的过程，目的是迭代更新权重直到准确度达到本发明的要求，本实施例中，通过调用训练函数完成训练的核心过程，并将训练结果保存到指定目录下；

步骤5：数据测试，将预处理后待分割全心脏CT图像输入训练好的神经网络得到分割结果如图5所示，其中，图5(a)为测试集中选取的一张原始心脏CT图像；图5(b)为图5(a)对应的标签图像；图5(c)为图5(a)对应的分割结果图。

在本实施方式中，本发明的方法在实验过程中所使用的数据集在中国上海曙光医院使用常规心脏造影术获得，数据集包括了20个带有标签的体数据；每个体数据约由200到300个2D切片组成，每个2D切片大小为512×512；每个2D切片均有经验的医生经过手动标注得到；随机挑选10个体数据做为训练集，另外10个体数据作为测试集；经过统计，共有4330组图像，其中训练集共有2039组图像，测试集共有2291组图像，其中一组图像代表一张CT图像和一张对应的标签图像；首先对标签数据进行重编码，重编码的标签图像灰度值列表见表1所示：

表1重编码的标签图像灰度值列表

然后对新编码的标签值进行one-hot编码，接着将每个2D切片图像的像素值归一化到0-225，并且对每张图片进行顺时针旋转180度进行数据增强，最后将CT图像和对应的标签图像缩放到224×224；

将训练集中的CT图像输入神经网络，设置配置参数，设置每次训练时输入的图片数量为8，设置学习率为1e^-4，设置优化算法为Adam，并将其中参数β₁设置为0.9，β₂设置为0.999，设置迭代次数为20次，设置损失函数为本发明中改进的损失函数；

其中L_hybrid的定义如下，使用两个超参数α和β来控制两个损失函数的权重占比，如式(3)所示：

本实施例中当α＝0.5、β＝0.5时，模型效果最好；其中，L_cwce为加权交叉熵损失函数，如式(4)所示：

L_CWDICE为加权DICE损失函数，如式(5)所示：

C表示种类个数(C＝8)，包括全心脏7个子结构和背景类，M表示批处理的大小，本实验中M＝8，w_c表示每一个类别的权重系数，y_jc表示医生标注的ground truth图像，

模型预测结果每一个像素点的预测概率值；

因为本发明进行的实验为图像分割实验，所以为了定量分析实验结果的精准度，使用DICE衡量实验结果，以此来评价网络的性能；DICE指标用于计算预测值(X)与真实值(Y)之间的差异，取值范围为[0,1]，其中，分子表示预测值与真实值之间交集；DICE值越大表示分割性能越好，公式定义如式(6)所示：

将全心脏分割网络与Unet网络分别在测试集的CT图像上进行测试，得到分割结果，将分割结果与测试集中的标签图像数据作为DICE指标的输入进行计算，得到结果如表2所示：

表2不同方法的DICE值

Method	LV)	Myo	RV	LA	RA	AA	PA	Mean
									Unet	0.878	0.818	0.778	0.845	0.815	0.941	0.826	0.843
Our	0.916	0.876	0.874	0.905	0.877	0.928	0.826	0.886

根据表2中的数据定量分析，可以分析得到：本发明提出的全心脏分割网络在衡量图片间的相似度指标DICE上可以达到0.886，大幅度超越背景技术中的Unet网络，除了肺动脉(PA)DICE值持平，其他子结构的DICE值也都显著高于Unet方法，使用所述基于深度学习的CT影像全心脏分割方法取得了优异的分割效果。

将运行时间进行记录，得到的结果如表3所示：

表3平均运行时间和计算机***的详细信息

根据表3中记录的运行时间，可以分析得到：本发明提出的方法时间只需要10秒钟，而Unet方法超过了1分钟，时间过长，不能够满足医生临床中的阅片需求。可以使用所述基于深度学习的CT影像全心脏分割方法在时间上也取得了很好的效果。

根据图5所示，进行定性分析，可以看出使用所述基于深度学***滑。

综合上述，可以说明本方法与背景材料中的Unet网络相比，在时间和性能上都取得了不错的分割效果。

Claims (8)

1.一种基于深度学习的CT影像全心脏分割方法，其特征在于：包括以下步骤：

步骤1：输入待分割三维医学图像，并根据该图像的大小将其定义为大小为C×H×W3维特征数组，表示为：图像X(C×H×W)；

步骤2：对步骤1中待分割图像进行预处理，作为训练样本；

步骤3：建立全心脏分割网络，利用全心脏分割网络编码器生成5种不同深度的特征图Out₀，Out₁，Out₂，Out₃，Out₄，解码阶段使用基于注意力机制的多尺度融合模块和深度监督模块进行特征还原得到特征图，Y₀，Y₁，Y₂，Y₃，Y₄；

步骤4：用训练样本对S3建立的全心脏分割网络进行训练，得到训练好的深度卷积神经网络；

步骤5：将步骤2预处理后的全心脏CT图像输入步骤4训练好的深度卷积神经网络进行图像分割，输出分割好的全心脏CT图像，包括7个子结构左心房、左心室、左心室心肌、右心房、右心室、肺动脉、升动脉。

2.如权利要求1所述的基于深度学习的CT影像全心脏分割方法，其特征在于：

所述步骤1的具体过程为：数据输入，输入待分割图像，并根据将其定义为大小C×H×W的3维特征数组，表示为：图像X(C×H×W)；输入的CT体数据使用常规造影术获得，每个体数据都覆盖了整个心脏的所有子结构，每个体数据由M个2D切片组成。

3.如权利要求1所述的基于深度学习的CT影像全心脏分割方法，其特征在于：

所述步骤2的具体过程为：对输入的CT数据集进行预处理；对标签数据原始标签值进行重编码，对新编码的标签值进行one-hot编码；采用2D卷积方式训练神经网络，将每个三维体数据进行2D切片处理，对数据进行归一化处理，得到每个体数据的最大灰度值A_max和最小灰度值A_min，根据归一化公式来更新每个点的灰度值A_new，如式(1)所示：

其中，A_old为原始灰度值，对图像顺时针或逆时针旋转进行数据增强、数据缩放操作。

4.如权利要求1所述的基于深度学习的CT影像全心脏分割方法，其特征在于：

所述步骤3的具体过程，包括以下步骤：

步骤3.1：对网络中的编码阶段保留残差网络前四个特征模块，移除最后的全连接层和平均池化层，保留了4个layer层和第一个7×7的卷积层和池化层，每个layer层包含两个残差模块；残差模块使用3×3大小的卷积核进行卷积操作，每一个卷积层后紧跟一个BN层和Relu操作来对所提取的特征进行归一化激活处理；

根据步骤1获取的图像X，将图像X经过提取特征操作改变特征图通道数量，经过最大池化操作改变特征图的大小，得到特征图

再经过layer层，得到特征图Out_i+1，其中i为特征图索引，i＝1,2,3,4，所述Out_i+1分别为

步骤3.2：在解码阶段上采样之后添加基于注意力机制的多尺度融合模块，多尺度融合模块包括两个分支，一个分支使用3个3×3大小的卷积进行卷积操作，将三个卷积操作的输出进行特征融合，可以提取不同尺度的空间特征，另一个分支引入1×1的卷积层进一步捕捉额外的空间信息，

结合编码阶段得到的特征图Out₀～Out₄，进行上采样操作，改变特征图大小，与编码阶段的特征图依次进行拼接操作，加强图像上下文之间的语义信息，再经过基于注意力机制的多尺度融合模块，改变特征图通道数，同时注入深度监督机制来放大隐藏层特征，注入深度监督机制后输出的特征图为Y₀～Y₄，分别为：

5.如权利要求1所述的基于深度学习的CT影像全心脏分割方法，其特征在于：所述步骤4的具体过程为：通过网络计算预测值，对比预测值和真实值，真实值即标签数据标注所有目标相关信息，通过损失函数计算损失值，然后进行反向传播对网络进行更新，将更新完成的训练权重保存到指定的位置。

6.如权利要求1所述的基于深度学习的CT影像全心脏分割方法，其特征在于：所述上采样操作采用双线性插值算法。

7.如权利要求1所述的基于深度学习的CT影像全心脏分割方法，其特征在于：所述2D切片大小为512×512。

8.如权利要求1所述的基于深度学习的CT影像全心脏分割方法，其特征在于：所述添加注意力机制的具体过程，包括以下步骤：

步骤3.2.1：将多尺度语义信息融合模块进行全局平均池化操作，将空间信息压缩成一个与通道数等维度的向量，获得各个特征通道的注意力权重；

步骤3.2.2：为了捕获特征通道之间的非线性关系，引入两个全连接层、relu和sigmoid两种激活函数，通过sigmoid实现权重归一化；

步骤3.2.3：通过scale操作将权重与输入特征图按通道对应相乘。

Images