CN114529562A - 一种基于辅助学习任务与重分割约束的医学图像分割方法 - Google Patents

一种基于辅助学习任务与重分割约束的医学图像分割方法 Download PDF

Info

Publication number
CN114529562A
CN114529562A CN202210162154.5A CN202210162154A CN114529562A CN 114529562 A CN114529562 A CN 114529562A CN 202210162154 A CN202210162154 A CN 202210162154A CN 114529562 A CN114529562 A CN 114529562A
Authority
CN
China
Prior art keywords
layer
convolution
segmentation
block
result
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210162154.5A
Other languages
English (en)
Inventor
屈磊
周文琼
吴军
欧阳磊
陶在洋
尚宏伟
赵婧雨
洪思成
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui University
Original Assignee
Anhui University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui University filed Critical Anhui University
Priority to CN202210162154.5A priority Critical patent/CN114529562A/zh
Publication of CN114529562A publication Critical patent/CN114529562A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30016—Brain
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种基于辅助学习任务与重分割约束的医学图像分割方法，该方法包括下列顺序的步骤：(1)对三维人脑核磁共振数据进行预处理，得到训练集和测试集；(2)构建基于辅助学习任务与重分割约束的分割网络；(3)将训练集输入分割网络进行训练,得到训练好的分割网络；(4)将测试集输入训练好的分割网络，分割网络输出得到分割结果。本发明通过额外的图像重建任务分支的引入，有助于分割网络学习到互补的医学图像特征，从而帮助模型更好地理解医学图像的内在结构；将重建结果再次输入到分割网络中，将得到的重分割结果与真实分割图比较，从语义层面为分割网络的训练提供额外的监督信号，以进一步提升图像分割结果的准确性。

Description

一种基于辅助学习任务与重分割约束的医学图像分割方法
技术领域
本发明涉及医学图像分割技术领域，尤其是一种基于辅助学习任务与重分割约束的医学图像分割方法。
背景技术
近年来，伴随着人工智能技术的飞速发展，计算机视觉在自然图像应用领域展现出了极高的识别效果，在医学图像分割领域也同样获得了广泛的关注。通常，对医学图像进行分割的目的是使人体组织结构或病理结构更加清晰直观，或者通过分割结果可对相关组织进行建模，以便进行后续的辅助诊断操作。然而，医学图像中的数据与自然图像格式稍有不同，除了二维结构的数据外，以MRI或CT为主的图像数据通常为三维结构，其包含了对整个器官组织的扫描结果。在图像内容方面，自然图像中各种物体的边界都是相对比较明显的。但医学图像中显示的是人体组织结构，并且是通过专业的成像仪器获取到的，可能存在组织的边缘轮廓界限不够清晰、图像亮度变化复杂等特性。
当前，随着深度学习算法的快速迭代更新，研究者们针对自然图像分割模型进行了一系列的改进，并将这些模型应用至医学图像分割领域中，相较于传统的医学图像分割方法，在分割准确度上有了明显的提升。因而，传统的医学图像分割方式逐步被深度学习方式所代替。深度学习方式并不要求和传统方式一样人工获取特征，也不会产生由先验知识带来的差异，因此在医学图像分割领域中显示出了优异的性能效果。在智慧医疗任务需求的不断增加的背景下，现有的采用深度学习方法的医学图像分割方式，往往要求对大规模有标注的数据进行建模的训练，而医学图像数据比一般数据规模较小，因而现有的医学图像分割模型通常难以充分提取相关的具有鉴别力的特征用于表征分割。因此，上述的这些局限致使现有的基于深度学习的医学图像分割工作，在分割性能的准确度方面仍然有待于进一步的提升。
发明内容
本发明的目的在于提供一种通过构造图像重建这一辅助任务，提升分割主任务的图像分割精度，同时在模型训练阶段，通过重建图像二次分割对网络进一步约束进而再次提高分割结果的准确性的基于辅助学习任务与重分割约束的医学图像分割方法。
为实现上述目的，本发明采用了以下技术方案：一种基于辅助学习任务与重分割约束的医学图像分割方法，该方法包括下列顺序的步骤：
(1)对三维人脑核磁共振数据进行预处理，得到训练集和测试集；
(2)构建基于辅助学习任务与重分割约束的分割网络；
(3)将训练集输入分割网络进行训练,得到训练好的分割网络；
(4)将测试集输入训练好的分割网络，分割网络输出得到分割结果。
所述步骤(1)具体包括以下步骤：
(2a)所述三维人脑核磁共振数据包括四种模态：T1、T1c、T2和FLAIR，将四种模态的三维人脑核磁共振数据进行合并，其中这四种模态数据的原始尺寸为240*240*155，生成尺寸为4*240*240*155大小的四通道三维数据，其中4表示模态数量，155表示每个三维人脑核磁共振数据中含有的二维切片数目，240*240分别表示图像的高度和宽度；
(2b)对合并后的三维人脑图像数据由nii格式转换为numpy格式；
(2c)对转换后的数据采用零-均值规范化方法进行归一化处理；
(2d)根据随机划分将归一化处理后的图像以7：3的比例划分为训练集和测试集；
(2e)将训练集进行随机裁剪，得到4*128*128*128的尺寸大小的训练集数据。
在步骤(2)中，所述分割网络包括第一编码模块、第二编码模块、第一解码模块、第二解码模块和第三解码模块；
所述第一编码模块和第二编码模块均由四个卷积块和三个最大池化下采样层组成，所述四个卷积块包括第一卷积块、第二卷积块、第三卷积块和第四卷积块，所述第一卷积块包括第一卷积层、第一批量归一化层、第一修正线性单元激活层、第二卷积层、第二批量归一化层和第二修正线性单元激活层；所述第二卷积块包括第三卷积层、第一批量归一化层、第一修正线性单元激活层、第四卷积层、第二批量归一化层和第二修正线性单元激活层；所述第三卷积块包括第五卷积层、第一批量归一化层、第一修正线性单元激活层、第六卷积层、第二批量归一化层和第二修正线性单元激活层；所述第四卷积块包括第七卷积层、第一批量归一化层、第一修正线性单元激活层、第八卷积层、第二批量归一化层和第二修正线性单元激活层；所述三个最大池化下采样层包括第一最大池化下采样层、第二最大池化下采样层和第三最大池化下采样层；
所述第一解码模块、第二解码模块和第三解码模块均由三个反卷积块和三个上采样层组成，所述三个反卷积块包括第一反卷积块、第二反卷积块和第三反卷积块，所述第一反卷积块包括第九卷积层、第三批量归一化层、第三修正线性单元激活层、第十卷积层、第四批量归一化层和第四修正线性单元激活层；所述第二反卷积块包括第十一卷积层、第三批量归一化层、第三修正线性单元激活层、第十二卷积层、第四批量归一化层和第四修正线性单元激活层；所述第三反卷积块包括第十三卷积层、第三批量归一化层、第三修正线性单元激活层、第十四卷积层、第四批量归一化层、第四修正线性单元激活层和第十五卷积层；所述三个上采样层包括第一上采样层、第二上采样层和第三上采样层。
所述步骤(3)具体包括以下步骤：
(3a)将训练集分批次依次输入第一编码模块，第一编码模块对输入的数据进行编码得到第一特征图；
(3b)将第一特征图并行输入到第一解码模块和第二解码模块中，实现分割网络的前向传播，第一解码模块输出重建结果，第二解码模块输出分割结果；
(3c)将重建结果输入到第二个编码模块，得到第二特征图；
(3d)将第二特征图输入到第三个解码模块,实现网络的前向传播，得到重分割结果；
(3e)将分割结果与所对应的真实分割图进行对比，通过骰子损失函数计算分割损失；将重分割结果与所对应的真实分割图进行对比，通过骰子损失函数计算重分割损失，骰子损失函数的计算公式为：
Figure BDA0003514395080000031
其中，X为真实分割图；在计算分割损失时，Y为分割结果，在计算重分割损失时，Y为重分割结果；将步骤(3b)得到的重建结果与输入分割网络的待分割的训练集数据进行对比，通过交叉熵损失函数计算重建损失；
(3f)将步骤(3e)得到的分割损失、重分割损失、重建损失进行加权求和得到总的损失结果，利用梯度下降算法反向传播训练分割网络；
(3g)在分割网络训练次数达到所设置的训练次数后,得到训练好的分割网络。
所述第一卷积层的卷积核大小为3×3×3，卷积核个数为32个；第二卷积层的卷积核大小为3×3×3，卷积核个数为64个；第三卷积层的卷积核大小为3×3×3，卷积核个数为64个：第四卷积层的卷积核大小为3×3×3，卷积核个数为128个；第五卷积层的卷积核大小为3×3×3，卷积核个数为128个；第六卷积层的卷积核大小为3×3×3，卷积核个数为256个；第七卷积层的卷积核大小为3×3×3，卷积核个数为256个；第八卷积层的卷积核大小为3×3×3，卷积核个数为512个；
第一最大池化下采样层、第二最大池化下采样层和第三最大池化下采样层的大小均为2×2×2；
所述第九卷积层的卷积核大小为3×3×3，卷积核个数为256个；第十卷积层的卷积核大小为3×3×3，卷积核个数为256个；第十一卷积层的卷积核大小为3×3×3，卷积核个数为128个；第十二卷积层的卷积核大小为3×3×3，卷积核个数为128个；第十三卷积层的卷积核大小为3×3×3，卷积核个数为64个；第十四卷积层的卷积核大小为3×3×3，卷积核个数为64个；第十五三卷积层的大小为3×3×3，卷积核的个数为4个。
所述第一编码模块的第一卷积块作为分割网络的输入端口，第一编码模块的第一卷积块的输出结果输入到第一编码模块的第一最大池化下采样层，第一编码模块的第一最大池化下采样层的输出结果输入到第一编码模块的第二卷积块，第一编码模块的第二卷积块的输出结果输入到第一编码模块的第二最大池化下采样层，第一编码模块的第二最大池化下采样层的输出结果输入到第一编码模块的第三卷积块，第一编码模块的第三卷积块的结果输入到第一编码模块的第三最大池化下采样层，第一编码模块的第三最大池化下采样层的输出结果输入到第一编码模块的第四卷积块，第一编码模块的第四卷积块的输出结果并行输入到第一解码模块的第一上采样层、第二解码模块的第一上采样层，将第一解码模块的第一上采样层的输出结果和第一编码模块的第三卷积块的输出结果进行拼接，得到第一拼接结果，将第二解码模块的第一上采样层的输出结果和第一编码模块的第三卷积块的输出结果进行拼接，得到第二拼接结果，将第一拼接结果输入至第一解码模块的第一反卷积块，将第二拼接结果输入至第二解码模块的第一反卷积块，第一解码模块的第一反卷积块的输出结果输入至第一解码模块的第二上采样层，第二解码模块的第一反卷积块的输出结果输入至第二解码模块的第二上采样层，将第一解码模块的第二上采样层的输出结果与第一编码模块的第二卷积块的输出结果进行拼接，得到第三拼接结果，将第二解码模块的第二上采样层的输出结果与第一编码模块的第二卷积块的输出结果进行拼接，得到第四拼接结果，将第三拼接结果输入至第一解码模块的第二反卷积块，将第四拼接结果输入至第二解码模块的第二反卷积块，第一解码模块的第二反卷积块的输出结果输入至第一解码模块的第三上采样层，第二解码模块的第二反卷积块的输出结果输入至第二解码模块的第三上采样层，将第一解码模块的第三上采样层的输出结果与第一编码模块的第一卷积块的输出结果进行拼接，得到第五拼接结果，将第二解码模块的第三上采样层的输出结果与第一编码模块的第一卷积块的输出结果进行拼接，得到第六拼接结果，将第五拼接结果输入至第一解码模块的第三反卷积块，将第六拼接结果输入至第二解码模块的第三反卷积块，第一解码模块输出重建结果，第二解码中输出分割结果，将重建结果输入到第二编码器的第一卷积块，第二编码器的第一卷积块的输出结果输入到第二编码器的第一最大池化下采样层，第一最大池化下采样层的输出结果输入到第二编码器的第二卷积块，第二卷积块的输出结果输入到第二编码器的第二最大池化下采样层，第二编码器的第二最大池化下采样层的输出结果输入到第二编码器的第三卷积块，第二编码器的第三卷积块的输出结果输入到第二编码器的第三最大池化下采样层，第二编码器的第三最大池化下采样层的输出结果输入到第二编码器的第四卷积块，第二编码器的第四卷积块的输出结果输入到第三解码器的第一上采样层，将第三解码器的第一上采样层的输出、第二个编码器的第三卷积块的输出进行拼接，将拼接结果输入到第三解码器的第一反卷积块，第三解码器的第一反卷积块的输出结果输入到第三解码器的第二上采样层，将第三解码器的第二上采样层的输出、第二编码器的第二卷积块的输出进行拼接，将拼接结果输入到第三解码器的第二反卷积块，第三解码器的第二反卷积块的输出结果输入到第三解码器的第三上采样层，将第三解码器的第三上采样层的输出、第二编码器的第一卷积块的输出进行拼接，将拼接结果输入到第三解码器的第三反卷积块得到重分割结果。
由上述技术方案可知，本发明的有益效果为：第一，本发明通过额外的图像重建任务分支的引入，有助于分割网络学习到互补的医学图像特征，从而帮助模型更好地理解医学图像的内在结构；第二，将重建结果再次输入到分割网络中，将得到的重分割结果与真实分割图比较，从语义层面为分割网络的训练提供额外的监督信号，以提升进一步图像分割结果的准确性。
附图说明
图1为本发明的方法流程图；
图2为本发明中分割网络的结构示意图。
具体实施方式
如图1所示，一种基于辅助学习任务与重分割约束的医学图像分割方法，该方法包括下列顺序的步骤：
(1)对三维人脑核磁共振数据进行预处理，得到训练集和测试集；
(2)构建基于辅助学习任务与重分割约束的分割网络；
(3)将训练集输入分割网络进行训练,得到训练好的分割网络；
(4)将测试集输入训练好的分割网络，分割网络输出得到分割结果。
所述步骤(1)具体包括以下步骤：
(2a)所述三维人脑核磁共振数据包括四种模态：T1、T1c、T2和FLAIR，将四种模态的三维人脑核磁共振数据进行合并，其中这四种模态数据的原始尺寸为240*240*155，生成尺寸为4*240*240*155大小的四通道三维数据，其中4表示模态数量，155表示每个三维人脑核磁共振数据中含有的二维切片数目，240*240分别表示图像的高度和宽度；
(2b)对合并后的三维人脑图像数据由nii格式转换为numpy格式；
(2c)对转换后的数据采用零-均值规范化方法进行归一化处理；
(2d)根据随机划分将归一化处理后的图像以7：3的比例划分为训练集和测试集；
(2e)将训练集进行随机裁剪，得到4*128*128*128的尺寸大小的训练集数据。
在步骤(2)中，如图2所示，所述分割网络包括第一编码模块、第二编码模块、第一解码模块、第二解码模块和第三解码模块；
所述第一编码模块和第二编码模块均由四个卷积块和三个最大池化下采样层组成，所述四个卷积块包括第一卷积块、第二卷积块、第三卷积块和第四卷积块，所述第一卷积块包括第一卷积层、第一批量归一化层、第一修正线性单元激活层、第二卷积层、第二批量归一化层和第二修正线性单元激活层；所述第二卷积块包括第三卷积层、第一批量归一化层、第一修正线性单元激活层、第四卷积层、第二批量归一化层和第二修正线性单元激活层；所述第三卷积块包括第五卷积层、第一批量归一化层、第一修正线性单元激活层、第六卷积层、第二批量归一化层和第二修正线性单元激活层；所述第四卷积块包括第七卷积层、第一批量归一化层、第一修正线性单元激活层、第八卷积层、第二批量归一化层和第二修正线性单元激活层；所述三个最大池化下采样层包括第一最大池化下采样层、第二最大池化下采样层和第三最大池化下采样层；
所述第一解码模块、第二解码模块和第三解码模块均由三个反卷积块和三个上采样层组成，所述三个反卷积块包括第一反卷积块、第二反卷积块和第三反卷积块，所述第一反卷积块包括第九卷积层、第三批量归一化层、第三修正线性单元激活层、第十卷积层、第四批量归一化层和第四修正线性单元激活层；所述第二反卷积块包括第十一卷积层、第三批量归一化层、第三修正线性单元激活层、第十二卷积层、第四批量归一化层和第四修正线性单元激活层；所述第三反卷积块包括第十三卷积层、第三批量归一化层、第三修正线性单元激活层、第十四卷积层、第四批量归一化层、第四修正线性单元激活层和第十五卷积层；所述三个上采样层包括第一上采样层、第二上采样层和第三上采样层。
所述步骤(3)具体包括以下步骤：
(3a)将训练集分批次依次输入第一编码模块，第一编码模块对输入的数据进行编码得到第一特征图；
(3b)将第一特征图并行输入到第一解码模块和第二解码模块中，实现分割网络的前向传播，第一解码模块输出重建结果，第二解码模块输出分割结果；
(3c)将重建结果输入到第二个编码模块，得到第二特征图；
(3d)将第二特征图输入到第三个解码模块,实现网络的前向传播，得到重分割结果；
(3e)将分割结果与所对应的真实分割图进行对比，通过骰子损失函数计算分割损失；将重分割结果与所对应的真实分割图进行对比，通过骰子损失函数计算重分割损失，骰子损失函数的计算公式为：
Figure BDA0003514395080000081
其中，X为真实分割图；在计算分割损失时，Y为分割结果，在计算重分割损失时，Y为重分割结果；将步骤(3b)得到的重建结果与输入分割网络的待分割的训练集数据进行对比，通过交叉熵损失函数计算重建损失；
(3f)将步骤(3e)得到的分割损失、重分割损失、重建损失进行加权求和得到总的损失结果，利用梯度下降算法反向传播训练分割网络；
(3g)在分割网络训练次数达到所设置的训练次数后,得到训练好的分割网络。
所述第一卷积层的卷积核大小为3×3×3，卷积核个数为32个；第二卷积层的卷积核大小为3×3×3，卷积核个数为64个；第三卷积层的卷积核大小为3×3×3，卷积核个数为64个：第四卷积层的卷积核大小为3×3×3，卷积核个数为128个；第五卷积层的卷积核大小为3×3×3，卷积核个数为128个；第六卷积层的卷积核大小为3×3×3，卷积核个数为256个；第七卷积层的卷积核大小为3×3×3，卷积核个数为256个；第八卷积层的卷积核大小为3×3×3，卷积核个数为512个；
第一最大池化下采样层、第二最大池化下采样层和第三最大池化下采样层的大小均为2×2×2；
所述第九卷积层的卷积核大小为3×3×3，卷积核个数为256个；第十卷积层的卷积核大小为3×3×3，卷积核个数为256个；第十一卷积层的卷积核大小为3×3×3，卷积核个数为128个；第十二卷积层的卷积核大小为3×3×3，卷积核个数为128个；第十三卷积层的卷积核大小为3×3×3，卷积核个数为64个；第十四卷积层的卷积核大小为3×3×3，卷积核个数为64个；第十五三卷积层的大小为3×3×3，卷积核的个数为4个。
所述第一编码模块的第一卷积块作为分割网络的输入端口，第一编码模块的第一卷积块的输出结果输入到第一编码模块的第一最大池化下采样层，第一编码模块的第一最大池化下采样层的输出结果输入到第一编码模块的第二卷积块，第一编码模块的第二卷积块的输出结果输入到第一编码模块的第二最大池化下采样层，第一编码模块的第二最大池化下采样层的输出结果输入到第一编码模块的第三卷积块，第一编码模块的第三卷积块的结果输入到第一编码模块的第三最大池化下采样层，第一编码模块的第三最大池化下采样层的输出结果输入到第一编码模块的第四卷积块，第一编码模块的第四卷积块的输出结果并行输入到第一解码模块的第一上采样层、第二解码模块的第一上采样层，将第一解码模块的第一上采样层的输出结果和第一编码模块的第三卷积块的输出结果进行拼接，得到第一拼接结果，将第二解码模块的第一上采样层的输出结果和第一编码模块的第三卷积块的输出结果进行拼接，得到第二拼接结果，将第一拼接结果输入至第一解码模块的第一反卷积块，将第二拼接结果输入至第二解码模块的第一反卷积块，第一解码模块的第一反卷积块的输出结果输入至第一解码模块的第二上采样层，第二解码模块的第一反卷积块的输出结果输入至第二解码模块的第二上采样层，将第一解码模块的第二上采样层的输出结果与第一编码模块的第二卷积块的输出结果进行拼接，得到第三拼接结果，将第二解码模块的第二上采样层的输出结果与第一编码模块的第二卷积块的输出结果进行拼接，得到第四拼接结果，将第三拼接结果输入至第一解码模块的第二反卷积块，将第四拼接结果输入至第二解码模块的第二反卷积块，第一解码模块的第二反卷积块的输出结果输入至第一解码模块的第三上采样层，第二解码模块的第二反卷积块的输出结果输入至第二解码模块的第三上采样层，将第一解码模块的第三上采样层的输出结果与第一编码模块的第一卷积块的输出结果进行拼接，得到第五拼接结果，将第二解码模块的第三上采样层的输出结果与第一编码模块的第一卷积块的输出结果进行拼接，得到第六拼接结果，将第五拼接结果输入至第一解码模块的第三反卷积块，将第六拼接结果输入至第二解码模块的第三反卷积块，第一解码模块输出重建结果，第二解码中输出分割结果，将重建结果输入到第二编码器的第一卷积块，第二编码器的第一卷积块的输出结果输入到第二编码器的第一最大池化下采样层，第一最大池化下采样层的输出结果输入到第二编码器的第二卷积块，第二卷积块的输出结果输入到第二编码器的第二最大池化下采样层，第二编码器的第二最大池化下采样层的输出结果输入到第二编码器的第三卷积块，第二编码器的第三卷积块的输出结果输入到第二编码器的第三最大池化下采样层，第二编码器的第三最大池化下采样层的输出结果输入到第二编码器的第四卷积块，第二编码器的第四卷积块的输出结果输入到第三解码器的第一上采样层，将第三解码器的第一上采样层的输出、第二个编码器的第三卷积块的输出进行拼接，将拼接结果输入到第三解码器的第一反卷积块，第三解码器的第一反卷积块的输出结果输入到第三解码器的第二上采样层，将第三解码器的第二上采样层的输出、第二编码器的第二卷积块的输出进行拼接，将拼接结果输入到第三解码器的第二反卷积块，第三解码器的第二反卷积块的输出结果输入到第三解码器的第三上采样层，将第三解码器的第三上采样层的输出、第二编码器的第一卷积块的输出进行拼接，将拼接结果输入到第三解码器的第三反卷积块得到重分割结果。
实施例一
本发明使用脑肿瘤分割(BraTS)2018挑战赛提供的共计285例3D MRI数据进行医学图像分割的研究。该数据集由四种MR序列组成，每一个患者的脑肿瘤3D图像的尺寸为240x 240x155体素大小。肿瘤分割的标签包括背景(标签0)、坏死和无增强肿瘤(标签1)、瘤周水肿(标签2)和GD-增强肿瘤(标签4)。本发明采用随机划分方式，按照7:3的比例将数据集划分为训练集与测试集，通过计算测试集分割精度来评价分割算法的有效性。分割精度由Dice score指标来衡量，其中ET、WT和TC分别指增强的肿瘤区域(标签1)、整个肿瘤(标签1、2和4)和肿瘤核心(标签1和4)。增加图像重建后，多任务学习模型促进不同任务之间共享特征来提高网络整体的学习性能，因而WT、ET、TC三个区域的分割性能分别提升了1.06％、0.11％和0.17％。引入将重建结果再次输入模型分支，模型整体的脑肿瘤分割结果分别提升了1.44％、0.58％和1.89％。这说明训练过程中通过鼓励约束两次分割结果足够的相似，能够在语义层面上产生额外的监督信号去指导模型的训练，以学习到更多与分割目标相关的特征信息，从而进一步优化网络的分割性能。
表1为图像重建任务分支对于脑肿瘤分割性能的影响：
表1
Figure BDA0003514395080000111
表2为本发明对脑肿瘤分割性能的影响：
表2
Figure BDA0003514395080000112
通过实验的对比分析可以进一步看出本发明分类精度高。
综上所述，本发明通过额外的图像重建任务分支的引入，有助于分割网络学习到互补的医学图像特征，从而帮助模型更好地理解医学图像的内在结构；将重建结果再次输入到分割网络中，将得到的重分割结果与真实分割图比较，从语义层面为分割网络的训练提供额外的监督信号，以进一步提升图像分割结果的准确性。

Claims (6)

1.一种基于辅助学习任务与重分割约束的医学图像分割方法，其特征在于：该方法包括下列顺序的步骤：
(1)对三维人脑核磁共振数据进行预处理，得到训练集和测试集；
(2)构建基于辅助学习任务与重分割约束的分割网络；
(3)将训练集输入分割网络进行训练,得到训练好的分割网络；
(4)将测试集输入训练好的分割网络，分割网络输出得到分割结果。
2.根据权利要求1所述的基于辅助学习任务与重分割约束的医学图像分割方法，其特征在于：所述步骤(1)具体包括以下步骤：
(2a)所述三维人脑核磁共振数据包括四种模态：T1、T1c、T2和FLAIR，将四种模态的三维人脑核磁共振数据进行合并，其中这四种模态数据的原始尺寸为240*240*155，生成尺寸为4*240*240*155大小的四通道三维数据，其中4表示模态数量，155表示每个三维人脑核磁共振数据中含有的二维切片数目，240*240分别表示图像的高度和宽度；
(2b)对合并后的三维人脑图像数据由nii格式转换为numpy格式；
(2c)对转换后的数据采用零-均值规范化方法进行归一化处理；
(2d)根据随机划分将归一化处理后的图像以7：3的比例划分为训练集和测试集；
(2e)将训练集进行随机裁剪，得到4*128*128*128的尺寸大小的训练集数据。
3.根据权利要求1所述的基于辅助学习任务与重分割约束的医学图像分割方法，其特征在于：在步骤(2)中，所述分割网络包括第一编码模块、第二编码模块、第一解码模块、第二解码模块和第三解码模块；
所述第一编码模块和第二编码模块均由四个卷积块和三个最大池化下采样层组成，所述四个卷积块包括第一卷积块、第二卷积块、第三卷积块和第四卷积块，所述第一卷积块包括第一卷积层、第一批量归一化层、第一修正线性单元激活层、第二卷积层、第二批量归一化层和第二修正线性单元激活层；所述第二卷积块包括第三卷积层、第一批量归一化层、第一修正线性单元激活层、第四卷积层、第二批量归一化层和第二修正线性单元激活层；所述第三卷积块包括第五卷积层、第一批量归一化层、第一修正线性单元激活层、第六卷积层、第二批量归一化层和第二修正线性单元激活层；所述第四卷积块包括第七卷积层、第一批量归一化层、第一修正线性单元激活层、第八卷积层、第二批量归一化层和第二修正线性单元激活层；所述三个最大池化下采样层包括第一最大池化下采样层、第二最大池化下采样层和第三最大池化下采样层；
所述第一解码模块、第二解码模块和第三解码模块均由三个反卷积块和三个上采样层组成，所述三个反卷积块包括第一反卷积块、第二反卷积块和第三反卷积块，所述第一反卷积块包括第九卷积层、第三批量归一化层、第三修正线性单元激活层、第十卷积层、第四批量归一化层和第四修正线性单元激活层；所述第二反卷积块包括第十一卷积层、第三批量归一化层、第三修正线性单元激活层、第十二卷积层、第四批量归一化层和第四修正线性单元激活层；所述第三反卷积块包括第十三卷积层、第三批量归一化层、第三修正线性单元激活层、第十四卷积层、第四批量归一化层、第四修正线性单元激活层和第十五卷积层；所述三个上采样层包括第一上采样层、第二上采样层和第三上采样层。
4.根据权利要求1所述的基于辅助学习任务与重分割约束的医学图像分割方法，其特征在于：所述步骤(3)具体包括以下步骤：
(3a)将训练集分批次依次输入第一编码模块，第一编码模块对输入的数据进行编码得到第一特征图；
(3b)将第一特征图并行输入到第一解码模块和第二解码模块中，实现分割网络的前向传播，第一解码模块输出重建结果，第二解码模块输出分割结果；
(3c)将重建结果输入到第二个编码模块，得到第二特征图；
(3d)将第二特征图输入到第三个解码模块,实现网络的前向传播，得到重分割结果；
(3e)将分割结果与所对应的真实分割图进行对比，通过骰子损失函数计算分割损失；将重分割结果与所对应的真实分割图进行对比，通过骰子损失函数计算重分割损失，骰子损失函数的计算公式为：
Figure FDA0003514395070000021
其中，X为真实分割图；在计算分割损失时，Y为分割结果，在计算重分割损失时，Y为重分割结果；将步骤(3b)得到的重建结果与输入分割网络的待分割的训练集数据进行对比，通过交叉熵损失函数计算重建损失；
(3f)将步骤(3e)得到的分割损失、重分割损失、重建损失进行加权求和得到总的损失结果，利用梯度下降算法反向传播训练分割网络；
(3g)在分割网络训练次数达到所设置的训练次数后,得到训练好的分割网络。
5.根据权利要求3所述的基于辅助学习任务与重分割约束的医学图像分割方法，其特征在于：所述第一卷积层的卷积核大小为3×3×3，卷积核个数为32个；第二卷积层的卷积核大小为3×3×3，卷积核个数为64个；第三卷积层的卷积核大小为3×3×3，卷积核个数为64个：第四卷积层的卷积核大小为3×3×3，卷积核个数为128个；第五卷积层的卷积核大小为3×3×3，卷积核个数为128个；第六卷积层的卷积核大小为3×3×3，卷积核个数为256个；第七卷积层的卷积核大小为3×3×3，卷积核个数为256个；第八卷积层的卷积核大小为3×3×3，卷积核个数为512个；
第一最大池化下采样层、第二最大池化下采样层和第三最大池化下采样层的大小均为2×2×2；
所述第九卷积层的卷积核大小为3×3×3，卷积核个数为256个；第十卷积层的卷积核大小为3×3×3，卷积核个数为256个；第十一卷积层的卷积核大小为3×3×3，卷积核个数为128个；第十二卷积层的卷积核大小为3×3×3，卷积核个数为128个；第十三卷积层的卷积核大小为3×3×3，卷积核个数为64个；第十四卷积层的卷积核大小为3×3×3，卷积核个数为64个；第十五三卷积层的大小为3×3×3，卷积核的个数为4个。
6.根据权利要求3所述的基于辅助学习任务与重分割约束的医学图像分割方法，其特征在于：所述第一编码模块的第一卷积块作为分割网络的输入端口，第一编码模块的第一卷积块的输出结果输入到第一编码模块的第一最大池化下采样层，第一编码模块的第一最大池化下采样层的输出结果输入到第一编码模块的第二卷积块，第一编码模块的第二卷积块的输出结果输入到第一编码模块的第二最大池化下采样层，第一编码模块的第二最大池化下采样层的输出结果输入到第一编码模块的第三卷积块，第一编码模块的第三卷积块的结果输入到第一编码模块的第三最大池化下采样层，第一编码模块的第三最大池化下采样层的输出结果输入到第一编码模块的第四卷积块，第一编码模块的第四卷积块的输出结果并行输入到第一解码模块的第一上采样层、第二解码模块的第一上采样层，将第一解码模块的第一上采样层的输出结果和第一编码模块的第三卷积块的输出结果进行拼接，得到第一拼接结果，将第二解码模块的第一上采样层的输出结果和第一编码模块的第三卷积块的输出结果进行拼接，得到第二拼接结果，将第一拼接结果输入至第一解码模块的第一反卷积块，将第二拼接结果输入至第二解码模块的第一反卷积块，第一解码模块的第一反卷积块的输出结果输入至第一解码模块的第二上采样层，第二解码模块的第一反卷积块的输出结果输入至第二解码模块的第二上采样层，将第一解码模块的第二上采样层的输出结果与第一编码模块的第二卷积块的输出结果进行拼接，得到第三拼接结果，将第二解码模块的第二上采样层的输出结果与第一编码模块的第二卷积块的输出结果进行拼接，得到第四拼接结果，将第三拼接结果输入至第一解码模块的第二反卷积块，将第四拼接结果输入至第二解码模块的第二反卷积块，第一解码模块的第二反卷积块的输出结果输入至第一解码模块的第三上采样层，第二解码模块的第二反卷积块的输出结果输入至第二解码模块的第三上采样层，将第一解码模块的第三上采样层的输出结果与第一编码模块的第一卷积块的输出结果进行拼接，得到第五拼接结果，将第二解码模块的第三上采样层的输出结果与第一编码模块的第一卷积块的输出结果进行拼接，得到第六拼接结果，将第五拼接结果输入至第一解码模块的第三反卷积块，将第六拼接结果输入至第二解码模块的第三反卷积块，第一解码模块输出重建结果，第二解码中输出分割结果，将重建结果输入到第二编码器的第一卷积块，第二编码器的第一卷积块的输出结果输入到第二编码器的第一最大池化下采样层，第一最大池化下采样层的输出结果输入到第二编码器的第二卷积块，第二卷积块的输出结果输入到第二编码器的第二最大池化下采样层，第二编码器的第二最大池化下采样层的输出结果输入到第二编码器的第三卷积块，第二编码器的第三卷积块的输出结果输入到第二编码器的第三最大池化下采样层，第二编码器的第三最大池化下采样层的输出结果输入到第二编码器的第四卷积块，第二编码器的第四卷积块的输出结果输入到第三解码器的第一上采样层，将第三解码器的第一上采样层的输出、第二个编码器的第三卷积块的输出进行拼接，将拼接结果输入到第三解码器的第一反卷积块，第三解码器的第一反卷积块的输出结果输入到第三解码器的第二上采样层，将第三解码器的第二上采样层的输出、第二编码器的第二卷积块的输出进行拼接，将拼接结果输入到第三解码器的第二反卷积块，第三解码器的第二反卷积块的输出结果输入到第三解码器的第三上采样层，将第三解码器的第三上采样层的输出、第二编码器的第一卷积块的输出进行拼接，将拼接结果输入到第三解码器的第三反卷积块得到重分割结果。
CN202210162154.5A 2022-02-22 2022-02-22 一种基于辅助学习任务与重分割约束的医学图像分割方法 Pending CN114529562A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210162154.5A CN114529562A (zh) 2022-02-22 2022-02-22 一种基于辅助学习任务与重分割约束的医学图像分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210162154.5A CN114529562A (zh) 2022-02-22 2022-02-22 一种基于辅助学习任务与重分割约束的医学图像分割方法

Publications (1)

Publication Number Publication Date
CN114529562A true CN114529562A (zh) 2022-05-24

Family

ID=81625095

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210162154.5A Pending CN114529562A (zh) 2022-02-22 2022-02-22 一种基于辅助学习任务与重分割约束的医学图像分割方法

Country Status (1)

Country Link
CN (1) CN114529562A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115115648A (zh) * 2022-06-20 2022-09-27 北京理工大学 一种结合UNet和体绘制先验知识的脑组织分割方法
CN116823842A (zh) * 2023-06-25 2023-09-29 山东省人工智能研究院 融合测地线模型的双解码器网络的血管分割方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115115648A (zh) * 2022-06-20 2022-09-27 北京理工大学 一种结合UNet和体绘制先验知识的脑组织分割方法
CN116823842A (zh) * 2023-06-25 2023-09-29 山东省人工智能研究院 融合测地线模型的双解码器网络的血管分割方法
CN116823842B (zh) * 2023-06-25 2024-02-02 山东省人工智能研究院 融合测地线模型的双解码器网络的血管分割方法

Similar Documents

Publication Publication Date Title
CN111311592B (zh) 一种基于深度学习的三维医学图像自动分割方法
CN109949309A (zh) 一种基于深度学习的肝脏ct图像分割方法
CN111260705B (zh) 一种基于深度卷积神经网络的***mr图像多任务配准方法
CN111429460B (zh) 图像分割方法、图像分割模型训练方法、装置和存储介质
CN114581662B (zh) 一种脑肿瘤图像的分割方法、***、装置及存储介质
CN110619641A (zh) 一种基于深度学习的三维乳腺癌核磁共振图像肿瘤区域的自动分割方法
CN112381846B (zh) 一种基于非对称网络的超声甲状腺结节分割方法
CN110414481A (zh) 一种基于Unet和LSTM的3D医学影像识别和分割方法
CN112634265B (zh) 基于dnn的胰腺全自动分割模型的构建、分割方法及***
CN114693933A (zh) 基于生成对抗网络和多尺度特征融合的医学影像分割装置
Deng et al. Combining residual attention mechanisms and generative adversarial networks for hippocampus segmentation
CN112785593A (zh) 一种基于深度学习的脑部图像分割方法
CN117078941B (zh) 一种基于上下文级联注意力的心脏mri分割方法
CN114463341A (zh) 一种基于长短距离特征的医学图像分割方法
CN112420170A (zh) 一种提高计算机辅助诊断***图片分类准确度的方法
CN114549538A (zh) 一种基于空间信息与特征通道的脑肿瘤医学图像分割方法
CN114529562A (zh) 一种基于辅助学习任务与重分割约束的医学图像分割方法
WO2024104035A1 (zh) 基于长短期记忆自注意力模型的三维医学图像分割方法及***
Li et al. MCRformer: Morphological constraint reticular transformer for 3D medical image segmentation
Yuan et al. FM-Unet: Biomedical image segmentation based on feedback mechanism Unet
CN116309615A (zh) 一种多模态mri脑肿瘤图像分割方法
CN116433586A (zh) 一种乳腺超声断层图像分割模型建立方法及分割方法
CN115424020A (zh) 一种mri脑肿瘤图像分割方法及***
CN112529949A (zh) 一种基于t2图像生成dwi图像的方法及***
Ru et al. A dermoscopic image segmentation algorithm based on U-shaped architecture

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination