CN114821070A - 一种基于改进U-Net型网络的心脏MRI分割方法 - Google Patents

一种基于改进U-Net型网络的心脏MRI分割方法 Download PDF

Info

Publication number
CN114821070A
CN114821070A CN202210621793.3A CN202210621793A CN114821070A CN 114821070 A CN114821070 A CN 114821070A CN 202210621793 A CN202210621793 A CN 202210621793A CN 114821070 A CN114821070 A CN 114821070A
Authority
CN
China
Prior art keywords
segmentation
encoder
network
attention module
improved
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210621793.3A
Other languages
English (en)
Inventor
黄金杰
尤治伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin University of Science and Technology
Original Assignee
Harbin University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin University of Science and Technology filed Critical Harbin University of Science and Technology
Priority to CN202210621793.3A priority Critical patent/CN114821070A/zh
Publication of CN114821070A publication Critical patent/CN114821070A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

一种基于改进U‑Net型网络的心脏MRI分割方法，本发明公开了一种基于改进U‑Net型网络对心脏磁共振图像进行分割的方法，涉及图像分割技术领域，它的分割方法如下：首先进行镜像、图像翻转等预处理的操作，增大训练样本的数量，在编码器阶段每次池化后首先经过一个残差块，然后会经过一个降维的inception块，在跳跃连接的过程中引入了空间注意力模块以及通道注意力模块，其中通道注意力模块通过编码器和解码器对通道维度共同的作用，生成了具有增强上下文信息的精细编码器特征，从而提高了心脏磁共振图片分割的准确性。本发明应用于心脏磁共振图像的精准分割问题。

Description

一种基于改进U-Net型网络的心脏MRI分割方法
技术领域
本发明涉及医学图像处理技术领域，具体涉及一种基于改进的U-Net型网络的心脏MRI分割方法。
背景技术
心脏是人体最重要的器官之一，是循环***中的主要器官，为血液流动提供动力。心血管疾病是全身性血管病变或***性血管病变在心脏的表现，具有高发病率、高致残率、高死亡率的特点，己经成为人类最普遍的死亡原因。心脏功能分析在临床心脏病学中对患者管理、疾病诊断、风险评估和治疗决策发挥着重要作用，可以通过推导心室容积、卒中容积、射血分数和心肌质量等临床参数，定量分析整体和局部心脏功能。而上述这些参数主要是通过对心脏磁共振图像进行分析得到的，目前心脏磁共振图像的分割工作主要是由有经验的医生完成，这样会耗费大量的人力物力，并且很可能会因为注意力下降或疲劳等原因导致诊断效率低下，因此，临床上特别迫切需要快速、准确、自动化的心脏分割方法。
不仅左心室的形态、结构异常作为疾病诊断的重要依据，近年来很多心血管疾病(例如心律失常性有心事心肌病)的诊断也离不开右心室形态变化的观察，但是右心室由于心室壁薄使得内外莫边界极易混淆，并且由于肌小梁粗大等特点导致右心室的边缘检测难度远高于左心室。且心脏一直处于运动状态，其本身结构的复杂性更使得心室内部结构难以清楚识别和判断。而传统的图像分割算法需要大量的先验知识作为基础，并且对心脏磁共振图像进行分割的效果并不理想，因此传统的图像分割算法存在较为明显的局限性。本文在基于深度学习图像分割算法的基础上，对其进行改进以实现心脏磁共振图像的精确分割。本文提出了一种改进U-Net型网络的心脏MRI分割方法。主要是利用残差块和降维的inception块来代替基本的U-Net块来保证输出特征的表达能力，有助于缓解梯度消失的问题，并且增加了网络的宽度，提高了网络对不同尺度特征的适应性，同时引入一种新的通道注意力机制模块，利用解码器特性提供的全局上下文信息作为低级特征的指导，以选择有意义的上下文信息来指导和增强低级编码器特性，生成具有增强上下文信息的精细编码器特征，改进了编码器和解码器的连接过程，提高了分割模型网络的准确性。
发明内容
本发明的目的是为了解决心脏MRI分割的精确度问题，提出的一种改进U-Net型网络的MRI分割方法。
上述发明的目的主要是通过以下技术方案实现的：
S1、对心脏MRI图片和标注图片进行图像预处理的操作；
S2、将进行预处理后的心脏MRI及其专家标注图片分为训练集、验证集和测试集；
S3、搭建分割网络结构；
图2所示为本文提出的分割网络结构图，该分割网络由编码部分和解码部分组成，编码部分在每一次下采样之后首先通过一个如图3所示残差块，在增加网络深度的同时防止梯度消失，有利于更好的提取图像特征。然后通过一个如图4所示的降维的inception块，降维是为了避免输入inception块的通道数过多，在每个卷积操作之前都先经过一个1x1的卷积块来控制输入通道数量，降低了计算成本，同时增加了网络的宽度，从而提高了网络对不同尺度特征的适应性，提升了网络性能。
图中的空间注意力模块(SAM)如图5所示，输入特征图U的通道数为C、高度为H、宽度为W，经过空间注意力时，同时进行最大空间池化和全局平均池化，得到两个1×H×W的feature map进行拼接，最后通过一个2×1×1的卷积操作，将拼接的特征图从2×H×W变为1×H×W，然后用sigmoid进行激活，得到空间注意力的特征图，直接施加到原始特征图上，这种重新校准特征图提供了更多的权重相关的空间信息，忽略了不相关的空间信息。编码器经过降维的inception块后得到的特征图和解码器中同一层级特征图分别输入通道注意力模块中(如图6所示)，两者分别在通道维度进行最大池化和平均池化，得到C×1×1两个向量，然后通过一个共享的MLP(多层感知机)，中间隐藏层的节点为C/r(r为节点减少比例，取为8)，输出节点与通道的维度保持一致为C，编码器和解码器通过通道注意力机制获得的两列向量分别进行相加，最后用sigmoid进行激活并与原始特征图相乘，得到经过通道校准后的特征图，给重要的通道赋予大的权重，忽略不重要的通道。然后在解码器阶段将通过空间注意力模块得到的特征图以及在上采样之后得到的特征图三者进行拼接，拼接后经过一个残差块，然后再进行上采样。
S4、利用S2中得到的训练集，依批次输入分割网络，进行训练；
S5、用二元交叉熵损失函数来计算预测结果与真实标签之间的损失，进行反向传播更新权重；
二元交叉熵损失函数的计算公式如下：
Figure BDA0003677034740000031
式中y为真实标签，
Figure BDA0003677034740000032
为预测结果。二元交叉熵损失函数适用于二分类问题。当y为0的时候，公式的前半部分为0，
Figure BDA0003677034740000033
需要尽可能为0才能使后半部分数值更小；当y为1时，后半部分为0，
Figure BDA0003677034740000034
需要尽可能为1才能使后半部分的值更小，这样就达到了让
Figure BDA0003677034740000035
尽量靠近y的效果。
S6、在每次训练结束时，用验证集评估从S3中得到的模型并保存评估结果最好的模型；
S7、利用S2中得到的测试集，输入至S6中评估结果最好的模型进行分割，得到预测图片；
S8、：用Dice相似系数作为评价标准来对分割效果进行评估。
发明效果
本发明提供了一种基于改进U-Net网络的心脏MRI分割方法。用残差块和降维的inception块替代原始U-Net中的编码器每一层的结构，从而更精确的提取图片特征信息。为了解决U-Net模型中的跳跃长连接在传递关键细节特征时将无用信息或噪声同时传入解码层的问题，在网络模型中引入了注意力机制。通过空间注意力机制以及通道注意力机制的引入，增强了编码器-解码器特征连接，能够很好地增强前景的特征，同时抑背景的特征，提高了心脏MRI分割的准确性。
附图说明
图1摘要附图；
图2分割网络结构图；
图3残差块结构图；
图4降维inception块结构图；
图5空间注意力模块结构图；
图6通道注意力模块结构图；
具体实施方法
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1：
如图1所示本文提供的一种基于改进U-Net网络的心脏MRI分割方法，包含步骤：
S1、对心脏MRI图片和标注图片进行图像预处理的操作；
S2、将进行预处理后的心脏MRI及其专家标注图片分为训练集、验证集和测试集；
S3、搭建分割网络结构；
S4、利用S2中得到的训练集，依批次输入分割网络，进行训练；
S5、用二元交叉熵损失函数来计算预测结果与真实标签之间的损失，进行反向传播更新权重；
S6、在每次训练结束时，用验证集评估从S3中得到的模型并保存评估结果最好的模型；
S7、利用S2中得到的测试集，输入至S6中评估结果最好的模型进行分割，得到预测图片；
S8、用Dice相似系数作为评价标准来对分割效果进行评估。
本发明实施例选取ACDC(自动心脏诊断挑战)数据集，先对MRI图片和标注图片进行预处理，将处理后的图片按照70％、10％和20％的比例分为训练集、验证集和测试集。将训练集依批次输入至构建好的分割网络中，进行训练。并用二元交叉熵损失函数计算预测结果与真实标签之间的损失，用随机梯度下降法优化损失函数，进行反向传播更新权重。使用验证集评估模型并保存评估结果最好的模型参数。将测试集输入至训练好的分割网络中进行分割，得到预测图片，用Dice相似系数作为评价标准来对分割效果进行评估。
下面对本发明实施例进行详细的说明：
本发明实施例采用心脏磁共振图片，应用本发明算法实现分割具体实现如下。
S1、对心脏MRI图片和标注图片进行图像预处理的操作；
首先选取ACDC公开数据集中的100例患者及其对应的专家标注图片进行镜像、随机旋转、随机裁剪、弹性形变的数据增强方式，得到10000张训练样本，图片大小均裁剪为224×224大小，其中镜像等操作是通过Python完成的。
S2、将进行预处理后的心脏MRI及其专家标注图片分为训练集、验证集和测试集；
将进行预处理后的磁共振图片按照70％、10％和20％的比例分为训练集、验证集和测试集。
S3、搭建分割的网络；
图2所示为本文提出的分割网络结构图，该分割网络由编码部分和解码部分组成，编码部分在每一次下采样之后首先通过一个如图3所示残差块，在增加网络深度的同时防止梯度消失，有利于更好的提取图像特征。然后通过一个如图4所示的降维的inception块，降维是为了避免输入inception块的通道数过多，在每个卷积操作之前都先经过一个1x1的卷积块来控制输入通道数量，降低了计算成本，同时增加了网络的宽度，从而提高了网络对不同尺度特征的适应性，提升了网络性能。
图中的空间注意力模块(SAM)如图5所示，输入特征图U的通道数为C、高度为H、宽度为W，经过空间注意力时，同时进行最大空间池化和全局平均池化，得到两个1×H×W的feature map进行拼接，最后通过一个2×1×1的卷积操作，将拼接的特征图从2×H×W变为1×H×W，然后用sigmoid进行激活，得到空间注意力的特征图，直接施加到原始特征图上，这种重新校准特征图提供了更多的权重相关的空间信息，忽略了不相关的空间信息。编码器经过降维的inception块后得到的特征图和解码器中同一层级特征图分别输入通道注意力模块中(如图6所示)，两者分别在通道维度进行最大池化和平均池化，得到C×1×1两个向量，然后通过一个共享的MLP(多层感知机)，中间隐藏层的节点为C/r(r为节点减少比例，取为8)，输出节点与通道的维度保持一致为C，编码器和解码器通过通道注意力机制获得的两列向量分别进行相加，最后用sigmoid进行激活并与原始特征图相乘，得到经过通道校准后的特征图，给重要的通道赋予大的权重，忽略不重要的通道。然后在解码器阶段将通过空间注意力模块得到的特征图以及在上采样之后得到的特征图三者进行拼接，拼接后经过一个残差块，然后再进行上采样。
S4、利用S2中得到的训练集，依批次输入分割网络，进行训练；
将准备好的训练集图片依批次输入至分割网络中，编码部分输出的每一层特征都会经过空间注意力模块，同时与对应的解码器层中的特征图一同经过通道注意力模块，并与上采样部分的特征图三者进行拼接，然后通过一个残差块之后上采样，直至上采样至原图片大小。
S5、用二元交叉熵损失函数来计算预测结果与真实标签之间的损失，进行反向传播更新权重；
将上述得到的预测结果经过sigmoid函数，把数值变为0到1之间，之后利用二元交叉熵损失函数来计算预测结果与真实标签之间的损失。用随机梯度下降法优化损失函数，进行反向传播更新权重。二元交叉熵损失函数的计算公式如下：
Figure BDA0003677034740000061
式中y为真实标签，
Figure BDA0003677034740000062
为预测结果。二元交叉熵损失函数适用于二分类问题。当y为0的时候，公式的前半部分为0，
Figure BDA0003677034740000063
需要尽可能为0才能使后半部分数值更小；当y为1时，后半部分为0，
Figure BDA0003677034740000064
需要尽可能为1才能使后半部分的值更小，这样就达到了让
Figure BDA0003677034740000065
尽量靠近y的效果。
S6、在每次训练结束时，用验证集评估从S3中得到的模型并保存评估结果最好的模型；
每次训练结束时，用验证集评估模型的分数，并与上一次评估的分数进行比较，从而保存得分最高的模型。
S7、利用S2中得到的测试集，输入至S6中评估结果最好的模型进行分割，得到预测图片；
S8、用Dice相似系数作为评价标准来对分割效果进行评估。
利用测试集对训练好的网络模型进行测试，将最后得到的预测结果用Dice相似系数作为评价标准来对分割效果进行评估。Dice相似系数是一种集合相似性度量函数，用于衡量两个二值样本之间的重叠程度，度量值在[0,1]之间，Dice相似系数为1表示完全重叠，计算公式如下：
Figure BDA0003677034740000071
式中|X|表示集合X中的元素数，|Y|表示集合Y中的元素数，而|X∩Y|表示集合X和Y共有的元素数。用于评价图像分割的Dice系数公式为：
Figure BDA0003677034740000072
式中
Figure BDA0003677034740000073
表示模型预测结果中对应的像素值，yi表示真实标签中对应的像素值，直接计算模型输出的预测结果和真实标签的所有像素点的误差，衡量了预测结果与真实标签数据的整体一致性。

Claims (3)

1.一种基于双边分割网络的细胞核分割方法，其特征在于，包含如下步骤：
S1、对心脏MRI图片和标注图片进行图像预处理的操作；
S2、将进行预处理后的心脏MRI及其专家标注图片分为训练集、验证集和测试集；
S3、搭建分割网络结构；
S4、利用S2中得到的训练集，依批次输入分割网络，进行训练；
S5、用二元交叉熵损失函数来计算预测结果与真实标签之间的损失，进行反向传播更新权重；
S6、在每次训练结束时，用验证集评估从S3中得到的模型并保存评估结果最好的模型；
S7、利用S2中得到的测试集，输入至S6中评估结果最好的模型进行分割，得到预测图片；
S8、用Dice相似系数作为评价标准来对分割效果进行评估。
2.如权利要求1所述的一种基于深度学习的心脏MRI分割方法，其特征在于，步骤S3中所述的分割网络中将U-Net引入了一种新的通道注意力模块，由于低级编码器特征包含较差的语义信息，而高级解码器特征包含丰富的语义信息，通过编码器和解码器同一层级的特征图共同输入通道注意力模块，生成了具有增强上下文信息的精细的编码器特征，增强了分割效果的准确性；
在原始U-Net网络中，编码部分是由3×3卷积(RELU)再加上一个2x2的maxpooling层组成一个下采样的模块，一共经过4次这样的操作，本发明中每一层都用一个残差块和一个inception块，既增加了网络的深度且解决了梯度消失的问题，同时又增加了网络的宽度，从而提高了网络对不同尺度特征的适应性，提升了网络性能；
在原始U-Net网络中，解码部分是由up-conv2x2和3×3卷积(RELU)层组成，本发明将上采样后的特征图与编码器阶段经过空间注意力模块得到的特征图以及通道注意力机制得到的特征图进行拼接，然后经过一个残差块，最后进行上采样，直至上采样至原始图像大小；在通道注意力模块中，在跳跃连接之前经过高级语义信息对编码器阶段低级语义信息的指导，能够更好的实现给重要通道赋予大的权重，忽略不重要的通道，从而提高了分割的精度。
3.如权利要求1所述的一种基于改进U-Net型网络的心脏MRI分割方法，其特征在于，步骤S4中所述的二元交叉熵损失函数的计算公式如下：
Figure FDA0003677034730000021
式中y为真实标签，
Figure FDA0003677034730000022
为预测结果；二元交叉熵损失函数适用于二分类问题。
CN202210621793.3A 2022-06-02 2022-06-02 一种基于改进U-Net型网络的心脏MRI分割方法 Pending CN114821070A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210621793.3A CN114821070A (zh) 2022-06-02 2022-06-02 一种基于改进U-Net型网络的心脏MRI分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210621793.3A CN114821070A (zh) 2022-06-02 2022-06-02 一种基于改进U-Net型网络的心脏MRI分割方法

Publications (1)

Publication Number Publication Date
CN114821070A true CN114821070A (zh) 2022-07-29

Family

ID=82519458

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210621793.3A Pending CN114821070A (zh) 2022-06-02 2022-06-02 一种基于改进U-Net型网络的心脏MRI分割方法

Country Status (1)

Country Link
CN (1) CN114821070A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116705307A (zh) * 2023-08-07 2023-09-05 天津云检医学检验所有限公司 基于ai模型的儿童心脏功能评估方法、***和存储介质
CN117593274A (zh) * 2023-11-30 2024-02-23 齐鲁工业大学(山东省科学院) 一种基于共享通道注意力机制的心脏mri分割方法
WO2024098379A1 (zh) * 2022-11-11 2024-05-16 深圳先进技术研究院 一种基于扩张残差网络的全自动心脏磁共振成像分割方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024098379A1 (zh) * 2022-11-11 2024-05-16 深圳先进技术研究院 一种基于扩张残差网络的全自动心脏磁共振成像分割方法
CN116705307A (zh) * 2023-08-07 2023-09-05 天津云检医学检验所有限公司 基于ai模型的儿童心脏功能评估方法、***和存储介质
CN117593274A (zh) * 2023-11-30 2024-02-23 齐鲁工业大学(山东省科学院) 一种基于共享通道注意力机制的心脏mri分割方法
CN117593274B (zh) * 2023-11-30 2024-06-04 齐鲁工业大学(山东省科学院) 一种基于共享通道注意力机制的心脏mri分割方法

Similar Documents

Publication Publication Date Title
CN113077471B (zh) 一种基于u型网络的医学图像分割方法
CN109584254B (zh) 一种基于深层全卷积神经网络的心脏左心室分割方法
CN114821070A (zh) 一种基于改进U-Net型网络的心脏MRI分割方法
CN111784671A (zh) 基于多尺度深度学习的病理图像病灶区域检测方法
CN111754520B (zh) 一种基于深度学习的脑血肿分割方法及***
CN113393469A (zh) 基于循环残差卷积神经网络的医学图像分割方法和装置
CN113205524B (zh) 基于U-Net的血管图像分割方法、装置和设备
CN110363772B (zh) 基于对抗网络的心脏mri分割方法及***
CN112446891A (zh) 基于U-Net网络脑胶质瘤的医学图像分割方法
CN114332462A (zh) 一种针对大脑病变融入注意力机制的mri分割方法
CN114119637B (zh) 基于多尺度融合和拆分注意力的脑白质高信号分割方法
CN112766377A (zh) 左心室磁共振影像智能分类方法、装置、设备和介质
CN110992352A (zh) 基于卷积神经网络的婴儿头围ct图像自动测量方法
CN114596317A (zh) 一种基于深度学习的ct影像全心脏分割方法
CN114943721A (zh) 一种建立基于改进U-Net网络的颈部超声图像分割方法
CN114511710A (zh) 一种基于卷积神经网络的图像目标检测方法
CN114549538A (zh) 一种基于空间信息与特征通道的脑肿瘤医学图像分割方法
CN115496720A (zh) 基于ViT机制模型的胃肠癌病理图像分割方法及相关设备
Luo et al. Multi-Task Learning Using Attention-Based Convolutional Encoder-Decoder for Dilated Cardiomyopathy CMR Segmentation and Classification.
CN117611599B (zh) 融合中心线图和增强对比度网络的血管分割方法及其***
CN111667488B (zh) 一种基于多角度U-Net的医学图像分割方法
CN117934824A (zh) 一种超声影像的目标区域分割方法、***及电子设备
CN114820636A (zh) 一种三维医学图像分割模型及其训练方法和应用
CN111062935A (zh) 一种乳腺肿瘤检测方法、存储介质及终端设备
CN116071555B (zh) 一种建立WMHs分割模型的方法、WMHs分割方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination