CN113763390A - 基于多任务生成对抗网络的脑肿瘤图像分割及增强*** - Google Patents

基于多任务生成对抗网络的脑肿瘤图像分割及增强*** Download PDF

Info

Publication number
CN113763390A
CN113763390A CN202111023513.0A CN202111023513A CN113763390A CN 113763390 A CN113763390 A CN 113763390A CN 202111023513 A CN202111023513 A CN 202111023513A CN 113763390 A CN113763390 A CN 113763390A
Authority
CN
China
Prior art keywords
brain tumor
image
segmentation
tumor image
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111023513.0A
Other languages
English (en)
Other versions
CN113763390B (zh
Inventor
李登旺
寻思怡
姜泽坤
黄浦
董雪媛
赵睿
王建波
朱慧
李婕
吴冰
柴象飞
章桦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Normal University
Original Assignee
Shandong Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Normal University filed Critical Shandong Normal University
Priority to CN202111023513.0A priority Critical patent/CN113763390B/zh
Publication of CN113763390A publication Critical patent/CN113763390A/zh
Application granted granted Critical
Publication of CN113763390B publication Critical patent/CN113763390B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30016—Brain
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了基于多任务生成对抗网络的脑肿瘤图像分割及增强***，包括：获取模块，其被配置为：获取待处理的脑肿瘤图像；预处理模块，其被配置为：对待处理的脑肿瘤图像进行预处理；分割及增强模块，其被配置为：根据训练后的多任务生成对抗网络，对预处理后的脑肿瘤图像进行分割和增强，得到分割的脑肿瘤图像和增强后的脑肿瘤图像。通过多任务学习方法，以GAN网络结构为基础，设计脑肿瘤分割为主要任务，脑部MRI增强为辅助任务辅助主任务，以实现准确快速的脑肿瘤分割及脑部MRI图像增强。

Description

基于多任务生成对抗网络的脑肿瘤图像分割及增强***
技术领域
本发明涉及医学图像处理技术领域，特别是涉及基于多任务生成对抗网络的脑肿瘤图像分割及增强***。
背景技术
本部分的陈述仅仅是提到了与本发明相关的背景技术，并不必然构成现有技术。
近年来，脑肿瘤发病率逐年上升，颅内肿瘤压迫脑组织，损害中枢神经，甚至会危害患者生命。随着磁共振成像(Magnetic Resonance Imaging，MRI)技术的发展，由于其安全无辐射的成像模式，已经应用于颅脑检查的许多方面。其中，脑肿瘤图像的精确分割是脑肿瘤疾病诊断和治疗的关键核心技术，对肿瘤形状分析、检测体积变化和制定放射治疗计划起到了积极作用。然而，由于脑部MRI中含有噪音、对比度低及肿瘤边界模糊等原因造成了肿瘤难以分割的问题。因此，如何提高脑部MRI质量，实现准确快速的自动肿瘤分割具有重要的临床意义。
发明人发现，现有技术中针对脑肿瘤图像处理主要采用单一任务的神经网络来实现，例如卷积神经网络；现有技术存在的缺陷是，不能够精准快速的实现脑肿瘤图像的分割和脑肿瘤图像的增强。
发明内容
为了解决现有技术的不足，本发明提供了基于多任务生成对抗网络的脑肿瘤图像分割及增强***；通过多任务学习方法，以GAN网络结构为基础，设计脑肿瘤分割为主要任务，脑部MRI增强为辅助任务辅助主任务，以实现准确快速的脑肿瘤分割及脑部MRI图像增强。
第一方面，本发明提供了基于多任务生成对抗网络的脑肿瘤图像分割及增强***；
基于多任务生成对抗网络的脑肿瘤图像分割及增强***，包括：
获取模块，其被配置为：获取待处理的脑肿瘤图像；
预处理模块，其被配置为：对待处理的脑肿瘤图像进行预处理；
分割及增强模块，其被配置为：根据训练后的多任务生成对抗网络，对预处理后的脑肿瘤图像进行分割和增强，得到分割的脑肿瘤图像和增强后的脑肿瘤图像。
第二方面，本发明还提供了一种电子设备，包括：
存储器，用于非暂时性存储计算机可读指令；以及
处理器，用于运行所述计算机可读指令，
其中，所述计算机可读指令被所述处理器运行时，执行以下步骤：
获取步骤，其被配置为：获取待处理的脑肿瘤图像；
预处理步骤，其被配置为：对待处理的脑肿瘤图像进行预处理；
分割及增强步骤，其被配置为：根据训练后的多任务生成对抗网络，对预处理后的脑肿瘤图像进行分割和增强，得到分割的脑肿瘤图像和增强后的脑肿瘤图像。
第三方面，本发明还提供了一种存储介质，非暂时性地存储计算机可读指令，其中，当所述非暂时性计算机可读指令由计算机执行时，执行以下步骤：
获取步骤，其被配置为：获取待处理的脑肿瘤图像；
预处理步骤，其被配置为：对待处理的脑肿瘤图像进行预处理；
分割及增强步骤，其被配置为：根据训练后的多任务生成对抗网络，对预处理后的脑肿瘤图像进行分割和增强，得到分割的脑肿瘤图像和增强后的脑肿瘤图像。
与现有技术相比，本发明的有益效果是：
本发明的模型以GAN网络为基础，以脑部MRI图像作为模型输入，使用多任务学习方法设计主要分割任务和辅助增强任务，同时提高生成器输出分割及增强结果的性能，增强模型泛化能力，实现了较为准确快速的脑肿瘤分割及脑部MRI图像增强。
本发明利用多任务学习方法，通过设计共享参数的模式，同时进行脑肿瘤分割及图像增强两个任务。两者间具有较强的相关性，一方面通过图像增强改善脑肿瘤图像细节模糊、对比度低的缺陷，以帮助得到更加精确的分割结果；另一方面对脑肿瘤图像进行分割，通过分割结果帮助生成效果更佳的增强图像。两个任务相互作用，有效提升了模型性能。
本发明一定程度上实现了脑肿瘤图像的自动化分割及增强，进行脑肿瘤自动分割的同时有效改善了脑肿瘤图像灰度不均匀、纹理不稳定等缺陷，对脑肿瘤分析及治疗计划的制定起到了积极作用，具有重要的临床意义。
生成对抗网络由于其良好的生成能力，在医学图像分割和增强任务中显示出了优异的性能。多任务学习可以发现两个或多个任务内在关联的问题，通过学习任务与其各自特征空间之间的关系，实现更统一的特征学习过程，从而更好地实现多任务和泛化。通过生成对抗网络与多任务学习的结合，有效提升了***的性能，实现了良好的图像分割及增强效果。
本发明附加方面的优点将在下面的描述中部分给出，或通过本发明的实践了解到。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
图1为本发明中一种基于多任务共享参数的生成对抗网络进行脑肿瘤图像分割及增强***的网络结构示意图；
图2为本发明中一种基于多任务共享参数的生成对抗网络进行脑肿瘤图像分割及增强***的模型训练流程图；
图3为本发明中多任务共享参数的卷积操作示意图。
具体实施方式
应该指出，以下详细说明都是示例性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
本实施例所有数据的获取都在符合法律法规和用户同意的基础上，对数据的合法应用。
术语介绍：
在深度学习相关算法中，生成式对抗网络(Generative Adversarial Networks，GAN)在分割及增强任务中显示出了优异的性能。GAN由生成器和鉴别器构成，并引入了对抗性学习的概念。生成器学习映射函数，以创建与真实数据相似的输出；鉴别器学习如何区分真实图像和生成的图像，从而激励生成器生成更加逼真的图像。GAN的各种模型在医学图像的分割及增强任务中取得了良好的效果。
多任务学习是一种利用相关任务训练信号中包含的领域信息来提高泛化的方法，已成功的应用于机器学习及深度学习的各个领域。多任务学习通过在相关任务之间共享表示，使用辅助任务帮助改进主要任务，使模型更好地泛化主要任务。利用多任务学习方法，以脑肿瘤分割作为主要任务，脑肿瘤图像增强作为辅助任务，可以有效提升任务泛化性能，实现准确快速的脑肿瘤分割及脑部MRI图像增强。
本实施例利用多任务共享参数的生成对抗网络对采集的图像样本进行训练，并利用训练好的模型同时实现脑肿瘤图像分割及增强两个任务。
实施例一
本实施例提供了基于多任务生成对抗网络的脑肿瘤图像分割及增强***；
如图2所示，基于多任务生成对抗网络的脑肿瘤图像分割及增强***，包括：
获取模块，其被配置为：获取待处理的脑肿瘤图像；
预处理模块，其被配置为：对待处理的脑肿瘤图像进行预处理；
分割及增强模块，其被配置为：根据训练后的多任务生成对抗网络，对预处理后的脑肿瘤图像进行分割和增强，得到分割的脑肿瘤图像和增强后的脑肿瘤图像。
进一步地，如图1所示，所述多任务生成对抗网络，其网络结构包括：
相互连接的生成器和鉴别器；
所述生成器为以U-net为基础的多任务共享参数网络；所述生成器，包括相互连接的编码器和解码器；
所述编码器，包括：依次连接的第一卷积层、第二卷积层、第三卷积层、第四卷积层和第五卷积层；
所述解码器，包括：第六反卷积层、第七反卷积层、第八反卷积层、第九反卷积层和第十反卷积层；
其中，第一卷积层、第二卷积层、第三卷积层、第四卷积层和第五卷积层，均用于下采样；
其中，第六反卷积层、第七反卷积层、第八反卷积层、第九反卷积层和第十反卷积层，均用于上采样；
其中，第五卷积层与第六反卷积层跳跃连接；第四卷积层与第七反卷积层跳跃连接；第三卷积层与第八反卷积层跳跃连接；第二卷积层与第九反卷积层跳跃连接；第一卷积层与第十反卷积层跳跃连接；
其中，生成器中每个卷积层的卷积核被均匀划分为三组：分割任务参数、增强任务参数和共享参数；
其中，生成器中所有相邻两个卷积层中，后一个卷积层的分割任务参数为前一个卷积层的分割任务参数与共享参数卷积而成；后一个卷积层的增强任务参数为前一个卷积层的增强任务参数与共享参数卷积而成；其中，第一卷积层的分割任务参数、增强任务参数和共享参数均为设定值；
所述解码器的输出端分别连接第十一卷积层和第十二卷积层；
所述第十一卷积层的输入端与第十反卷积层的输出端连接；所述第十一卷积层的输出端作为生成器的第一输出层；第一输出层，用于输出生成的分割图像；
所述第十二卷积层的输入端与第十反卷积层的输出端连接；所述第十二卷积层的输出端作为生成器的第二输出层；第二输出层，用于输出生成的增强图像。
第十一卷积层为卷积核为3×3、步长为1的卷积层；第十二卷积层为卷积核为3×3、步长为1的卷积层。
示例性的，所述以U-net为基础的多任务共享参数网络，作为GAN网络中的生成器(Generator，G)网络，用于产生脑部MRI的分割结果以及图像增强结果。
示例性的，所述生成器，以多层CNN为基础的编码器—解码器结构进行多任务参数共享表示；第十一卷积层(输出层1)进行主要任务脑肿瘤分割结果的输出，输出生成分割结果；第十二卷积层(输出层2)进行辅助任务脑肿瘤图像增强结果的输出，输出生成增强结果。
示例性的，编码器使用5个卷积核为3×3、步长为1的卷积层进行下采样，同样的，解码器使用5个卷积核为3×3、步长为1的反卷积层进行上采样；
将编码器和解码器每个卷积层的核均匀划分为三组，及分割组、增强组和共享组，分别特定于分割任务、增强任务和共享参数；
假定分割任务的参数为参数A，增强任务的参数为参数B，共享任务的参数为参数C，10个采样层为卷积层1到卷积层10。在构建的卷积层1-10中，每一层的参数分别被定义为A1-A10，B1-B10。
对编码器和解码器的每一层进行卷积操作，完成多任务参数共享。
对每一层进行卷积操作。在卷积过程中，将特定任务参数和共享任务参数进行适当合并，即通过卷积操作将参数传递给下一组。卷积传递规则为：在第n个卷积层中，分割参数An为参数An-1与共享参数C卷积而成，增强参数Bn为参数Bn-1与共享参数C卷积而成，共享参数C恒定不变。即：
An＝An-1×C；
Bn＝Bn-1×C。
其中，结合图3所示，构建多任务参数共享表示结构，并在该结构后添加两个卷积核为3×3、步长为1的卷积层作为输出层1及输出层2，分别输出分割结果和增强结果。添加跳跃连接并连接输出层，完成生成器的构建。
进一步地，所述鉴别器包括六个依次连接的卷积层。
所述鉴别器的输入为真实分割图像和生成的分割图像，所述鉴别器的输出为真假鉴别结果；
所述鉴别器的输入为造影剂增强图像和生成的增强图像，所述鉴别器的输出为真假鉴别结果。
示例性的，所述鉴别器是以卷积神经网络(Convolutional neural network，CNN)为基础的网络结构，作为GAN网络中的鉴别器(Discriminator，D)网络，用于产生鉴别结果以指导G的生成过程。
示例性的，使用6个卷积核为3×3、步长为1的卷积层构成多层CNN作为鉴别器网络；将生成的输出分割结果和增强结果，以及人工标注的分割图像和造影剂增强图像分别作为鉴别器的输入；鉴别器经过学习产生“真”或“假”的鉴别结果矩阵。
构建鉴别器，并将生成器生成的T1模态图像的分割结果和增强结果，以及手动标注的分割结果和T1ce模态图像作为输入，得到鉴别结果矩阵。
进一步地，所述训练后的多任务生成对抗网络，其训练过程包括：
构建训练集和测试集；所述训练集和测试集，均包括：已知标签的脑肿瘤MRI图像样本；
将训练集，输入到多任务生成对抗网络中，对其进行训练，
再将未做标注及增强的图像作为鉴别器的额外输入信息，指导鉴别器进行真假鉴别，以促进鉴别器不断优化自身；
利用损失函数对生成器的生成过程进行约束，激励生成器生成更加逼真的图像以欺骗鉴别器，通过两者间的博弈游戏不断提高网络分割及增强的性能；
当总的损失函数为最小值时，停止训练，得到训练后的多任务生成对抗网络；
将测试集，输入到训练后的多任务生成对抗网络中，得到脑部MRI样本自动分割及增强结果。
在训练好的网络中输入测试数据，得到初步分割结果及增强结果，对得到的结果进行尺寸和细节恢复，得到最终结果。
利用T1模态原始图像作为鉴别器的额外输入信息指导鉴别器的鉴别过程，并加入损失函数对生成器进行约束，促使生成器生成更加逼真的分割和增强图像。
进一步地，所述构建训练集和测试集；具体包括：
获取脑肿瘤MRI原始数据样本以及造影剂增强数据样本，将所有数据按照设定比例划分为训练集和测试集，对训练集样本中的脑肿瘤部位进行手工标注，并对所有样本进行标准化预处理，对样本图像进行裁剪到合适尺寸，截取感兴趣的图像区域，并进行灰度调整。
本实施例基于国际医学图像计算和计算机辅助干预协会举办的MICCAI会议提供的BraTS2018数据集。BraTS 2018中的训练集有285个病例，每个病例有四个模态(T1、T2、Flair、T1ce)，需要分割三个部分：完整肿瘤、肿瘤核心和肿瘤增强。其中，一个MR序列有155张图片，每张图片的大小为240×240。数据格式为.nii文件，所有分割图像均由经过专家委员会认证的神经放射科医生手动标注。
使用上述BraTS 2018数据集中的训练集样本，将T1模态图像作为原始样本，T1ce模态图像作为增强样本，并将所有样本按比例划分出训练集和测试集。对样本图像进行标准化预处理，根据训练配置及网络承载能力裁剪图像大小，保留分割区域并进行灰度调整。
进一步地，所述总的损失函数，为分割任务的损失函数、增强任务的损失函数与对抗性损失函数加权求和结果。
总体损失函数Loss：
Loss＝α1Loss1+α2Loss2+α3Loss3
分割任务的损失函数Loss1：
Figure BDA0003239861360000101
其中，分割损失Loss1采用Dice损失函数，旨在最大程度地减少失配或最大化真实分割g与预测分割S之间的重叠区域。
增强任务的损失函数Loss2：
Figure BDA0003239861360000102
其中，增强损失Loss2采用L2损失函数，L2损失函数用于最小化误差，收敛速度快且有稳定解，该误差是真实值和预测值之间所有平方差的总和。
对抗损失函数Loss3：
Figure BDA0003239861360000111
对抗损失Loss3采用GAN的目标损失函数，鉴别器和生成器通过不断进行极小—极大值博弈，修正生成器更新鉴别器使目标函数最大化，或修正生成器更新鉴别器使目标函数最小化，不断优化生成模型。
将总损失函数作为误差利用神经网络反向传导优化生成器，通过不断的输入-输出-误差-反向传导误差的网络优化过程，提高生成器的生成能力。
本实施例中：
Figure BDA0003239861360000112
输入T1模态原始图像、T1模态肿瘤标注图像、T1ce模态图像进行训练，并调整参数，完成网络训练。
在以上训练过程中，采用Nvidia Tesla P100 GPU进行加速运算。并采用Adam优化器，学习率设置为0.001，步长设置为8进行网络训练。
进一步地，所述根据训练后的多任务生成对抗网络，对预处理后的脑肿瘤图像进行分割和增强，得到分割的脑肿瘤图像和增强后的脑肿瘤图像；具体过程包括：
训练后的多任务生成对抗网络中生成器的编码器对预处理后的脑肿瘤图像进行若干次下采样操作，然后生成器的解码器进行若干次上采样操作；
将最后一次上采样操作的图像通过第十一卷积层处理，得到分割后的脑肿瘤图像；
将最后一次上采样操作的图像通过第十二卷积层处理，得到增强后的脑肿瘤图像。
综上所述，本发明提出了一种基于多任务共享参数的生成对抗网络进行脑肿瘤图像分割及增强的方法。本发明可用于脑肿瘤图像细节模糊、对比度低的情况下对脑肿瘤图像自动分割及增强的问题。利用多任务学习方法，通过设计共享参数的模式，提高了两个任务的泛化性能。本发明一定程度上同时实现了脑肿瘤图像的自动分割及增强两个任务，并同时提升了两个任务的性能，对脑肿瘤分析及治疗计划的制定起到了积极作用，具有重要的临床意义。
实施例二
本实施例还提供了一种电子设备，包括：一个或多个处理器、一个或多个存储器、以及一个或多个计算机程序；其中，处理器与存储器连接，上述一个或多个计算机程序被存储在存储器中，当电子设备运行时，该处理器执行该存储器存储的一个或多个计算机程序，以使电子设备执行以下步骤：
获取步骤，其被配置为：获取待处理的脑肿瘤图像；
预处理步骤，其被配置为：对待处理的脑肿瘤图像进行预处理；
分割及增强步骤，其被配置为：根据训练后的多任务生成对抗网络，对预处理后的脑肿瘤图像进行分割和增强，得到分割的脑肿瘤图像和增强后的脑肿瘤图像。
实施例二中每个步骤的步骤细节与实施例一每个步骤的步骤细节是对应一致的。
实施例三
本实施例还提供了一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成执行以下步骤：
获取步骤，其被配置为：获取待处理的脑肿瘤图像；
预处理步骤，其被配置为：对待处理的脑肿瘤图像进行预处理；
分割及增强步骤，其被配置为：根据训练后的多任务生成对抗网络，对预处理后的脑肿瘤图像进行分割和增强，得到分割的脑肿瘤图像和增强后的脑肿瘤图像。
实施例三中每个步骤的步骤细节与实施例一每个步骤的步骤细节是对应一致的。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.基于多任务生成对抗网络的脑肿瘤图像分割及增强***，其特征是，包括：
获取模块，其被配置为：获取待处理的脑肿瘤图像；
预处理模块，其被配置为：对待处理的脑肿瘤图像进行预处理；
分割及增强模块，其被配置为：根据训练后的多任务生成对抗网络，对预处理后的脑肿瘤图像进行分割和增强，得到分割的脑肿瘤图像和增强后的脑肿瘤图像。
2.如权利要求1所述的基于多任务生成对抗网络的脑肿瘤图像分割及增强***，其特征是，所述多任务生成对抗网络，其网络结构包括：
相互连接的生成器和鉴别器；
所述生成器为以U-net为基础的多任务共享参数网络；所述生成器，包括相互连接的编码器和解码器；
所述编码器，包括：依次连接的第一卷积层、第二卷积层、第三卷积层、第四卷积层和第五卷积层；
所述解码器，包括：第六反卷积层、第七反卷积层、第八反卷积层、第九反卷积层和第十反卷积层；
其中，第一卷积层、第二卷积层、第三卷积层、第四卷积层和第五卷积层，均用于下采样；
其中，第六反卷积层、第七反卷积层、第八反卷积层、第九反卷积层和第十反卷积层，均用于上采样；
其中，第五卷积层与第六反卷积层跳跃连接；第四卷积层与第七反卷积层跳跃连接；第三卷积层与第八反卷积层跳跃连接；第二卷积层与第九反卷积层跳跃连接；第一卷积层与第十反卷积层跳跃连接。
3.如权利要求2所述的基于多任务生成对抗网络的脑肿瘤图像分割及增强***，其特征是，生成器中每个卷积层的卷积核被均匀划分为三组：分割任务组、增强任务组和共享参数组；
其中，生成器中所有相邻两个卷积层中，后一个卷积层的分割任务参数为前一个卷积层的分割任务参数与共享参数卷积而成；后一个卷积层的增强任务参数为前一个卷积层的增强任务参数与共享参数卷积而成；其中，第一卷积层的分割任务参数、增强任务参数和共享参数均为设定值。
4.如权利要求2所述的基于多任务生成对抗网络的脑肿瘤图像分割及增强***，其特征是，所述解码器的输出端分别连接第十一卷积层和第十二卷积层；
所述第十一卷积层的输入端与第十反卷积层的输出端连接；所述第十一卷积层的输出端作为生成器的第一输出层；第一输出层，用于输出生成的分割图像；
所述第十二卷积层的输入端与第十反卷积层的输出端连接；所述第十二卷积层的输出端作为生成器的第二输出层；第二输出层，用于输出生成的增强图像。
5.如权利要求2所述的基于多任务生成对抗网络的脑肿瘤图像分割及增强***，其特征是，所述鉴别器包括六个依次连接的卷积层；
所述鉴别器的输入为真实分割图像和生成的分割图像，所述鉴别器的输出为真假鉴别结果；
所述鉴别器的输入为造影剂增强图像和生成的增强图像，所述鉴别器的输出为真假鉴别结果。
6.如权利要求1所述的基于多任务生成对抗网络的脑肿瘤图像分割及增强***，其特征是，所述训练后的多任务生成对抗网络，其训练过程包括：
构建训练集和测试集；所述训练集和测试集，均包括：已知标签的脑肿瘤MRI图像样本；
将训练集，输入到多任务生成对抗网络中，对其进行训练；
将未做标注及增强的图像作为鉴别器的额外输入信息，指导鉴别器进行真假鉴别，以促进鉴别器不断优化自身；
利用损失函数对生成器的生成过程进行约束，激励生成器生成更加逼真的图像以欺骗鉴别器，通过两者间的博弈游戏不断提高网络分割及增强的性能；
当总的损失函数为最小值时，停止训练，得到训练后的多任务生成对抗网络；
将测试集，输入到训练后的多任务生成对抗网络中，得到脑部MRI样本自动分割及增强结果。
7.如权利要求6所述的基于多任务生成对抗网络的脑肿瘤图像分割及增强***，其特征是，所述构建训练集和测试集；具体包括：
获取脑肿瘤MRI原始数据样本以及造影剂增强数据样本，将所有数据按照设定比例划分为训练集和测试集，对训练集样本中的脑肿瘤部位进行手工标注，并对所有样本进行标准化预处理，对样本图像进行裁剪到合适尺寸，截取感兴趣的图像区域，并进行灰度调整。
8.如权利要求6所述的基于多任务生成对抗网络的脑肿瘤图像分割及增强***，其特征是，所述总的损失函数，为分割任务的损失函数、增强任务的损失函数与对抗性损失函数加权求和结果；
所述根据训练后的多任务生成对抗网络，对预处理后的脑肿瘤图像进行分割和增强，得到分割的脑肿瘤图像和增强后的脑肿瘤图像；具体过程包括：
训练后的多任务生成对抗网络中生成器的编码器对预处理后的脑肿瘤图像进行若干次下采样操作，然后生成器的解码器进行若干次上采样操作；
将最后一次上采样操作的图像通过第十一卷积层处理，得到分割后的脑肿瘤图像；
将最后一次上采样操作的图像通过第十二卷积层处理，得到增强后的脑肿瘤图像。
9.一种电子设备，其特征是，包括：
存储器，用于非暂时性存储计算机可读指令；以及
处理器，用于运行所述计算机可读指令，
其中，所述计算机可读指令被所述处理器运行时，执行以下步骤：
获取步骤，其被配置为：获取待处理的脑肿瘤图像；
预处理步骤，其被配置为：对待处理的脑肿瘤图像进行预处理；
分割及增强步骤，其被配置为：根据训练后的多任务生成对抗网络，对预处理后的脑肿瘤图像进行分割和增强，得到分割的脑肿瘤图像和增强后的脑肿瘤图像。
10.一种存储介质，其特征是，非暂时性地存储计算机可读指令，其中，当所述非暂时性计算机可读指令由计算机执行时，执行以下步骤：
获取步骤，其被配置为：获取待处理的脑肿瘤图像；
预处理步骤，其被配置为：对待处理的脑肿瘤图像进行预处理；
分割及增强步骤，其被配置为：根据训练后的多任务生成对抗网络，对预处理后的脑肿瘤图像进行分割和增强，得到分割的脑肿瘤图像和增强后的脑肿瘤图像。
CN202111023513.0A 2021-08-31 2021-08-31 基于多任务生成对抗网络的脑肿瘤图像分割及增强*** Active CN113763390B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111023513.0A CN113763390B (zh) 2021-08-31 2021-08-31 基于多任务生成对抗网络的脑肿瘤图像分割及增强***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111023513.0A CN113763390B (zh) 2021-08-31 2021-08-31 基于多任务生成对抗网络的脑肿瘤图像分割及增强***

Publications (2)

Publication Number Publication Date
CN113763390A true CN113763390A (zh) 2021-12-07
CN113763390B CN113763390B (zh) 2024-06-04

Family

ID=78792542

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111023513.0A Active CN113763390B (zh) 2021-08-31 2021-08-31 基于多任务生成对抗网络的脑肿瘤图像分割及增强***

Country Status (1)

Country Link
CN (1) CN113763390B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116630463A (zh) * 2023-07-21 2023-08-22 北京大学第三医院（北京大学第三临床医学院） 一种基于多任务学习的增强ct图像生成方法和***
CN116977466A (zh) * 2023-07-21 2023-10-31 北京大学第三医院（北京大学第三临床医学院） 一种增强ct图像生成模型的训练方法和存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109035263A (zh) * 2018-08-14 2018-12-18 电子科技大学 基于卷积神经网络的脑肿瘤图像自动分割方法
CN110047068A (zh) * 2019-04-19 2019-07-23 山东大学 基于金字塔场景分析网络的mri脑肿瘤分割方法及***
US20200349697A1 (en) * 2019-05-02 2020-11-05 Curacloud Corporation Method and system for intracerebral hemorrhage detection and segmentation based on a multi-task fully convolutional network

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109035263A (zh) * 2018-08-14 2018-12-18 电子科技大学 基于卷积神经网络的脑肿瘤图像自动分割方法
CN110047068A (zh) * 2019-04-19 2019-07-23 山东大学 基于金字塔场景分析网络的mri脑肿瘤分割方法及***
US20200349697A1 (en) * 2019-05-02 2020-11-05 Curacloud Corporation Method and system for intracerebral hemorrhage detection and segmentation based on a multi-task fully convolutional network

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116630463A (zh) * 2023-07-21 2023-08-22 北京大学第三医院（北京大学第三临床医学院） 一种基于多任务学习的增强ct图像生成方法和***
CN116630463B (zh) * 2023-07-21 2023-10-13 北京大学第三医院（北京大学第三临床医学院） 一种基于多任务学习的增强ct图像生成方法和***
CN116977466A (zh) * 2023-07-21 2023-10-31 北京大学第三医院（北京大学第三临床医学院） 一种增强ct图像生成模型的训练方法和存储介质

Also Published As

Publication number Publication date
CN113763390B (zh) 2024-06-04

Similar Documents

Publication Publication Date Title
JP7179757B2 (ja) ディープ畳み込みニューラルネットワークを使用した医用画像化のための線量低減
Li et al. Automated measurement network for accurate segmentation and parameter modification in fetal head ultrasound images
Sander et al. Automatic segmentation with detection of local segmentation failures in cardiac MRI
CN113763390B (zh) 基于多任务生成对抗网络的脑肿瘤图像分割及增强***
CN111260705B (zh) 一种基于深度卷积神经网络的***mr图像多任务配准方法
JP2023540910A (ja) 病変検出のための共同訓練を伴う接続機械学習モデル
Chen et al. TarGAN: target-aware generative adversarial networks for multi-modality medical image translation
CN109523546A (zh) 一种肺结节分析的方法及装置
CN109949288A (zh) 肿瘤类型确定***、方法及存储介质
CN114549538A (zh) 一种基于空间信息与特征通道的脑肿瘤医学图像分割方法
Dwyer et al. DeepGRAI (deep gray rating via artificial intelligence): fast, feasible, and clinically relevant thalamic atrophy measurement on clinical quality T2-FLAIR MRI in multiple sclerosis
Zhou et al. Spatial orthogonal attention generative adversarial network for MRI reconstruction
Gheorghiță et al. Improving robustness of automatic cardiac function quantification from cine magnetic resonance imaging using synthetic image data
CN116228753B (zh) 肿瘤预后评估方法、装置、计算机设备和存储介质
CN117422871A (zh) 一种基于V-Net的轻量级脑肿瘤分割方法及***
CN114066798A (zh) 一种基于深度学习的脑肿瘤核磁共振影像数据合成方法
Kemenczky et al. Effect of head motion-induced artefacts on the reliability of deep learning-based whole-brain segmentation
CN116563189A (zh) 一种基于深度学习的医学图像跨对比度合成方法及***
Lee et al. Improved classification of brain-tumor mri images through data augmentation and filter application
Lim et al. Automatic artifact detection algorithm in fetal MRI
Zhong et al. PMFSNet: Polarized Multi-scale Feature Self-attention Network For Lightweight Medical Image Segmentation
CN111080572B (zh) 白质高信号定位方法、装置、设备和存储介质
CN114972382A (zh) 一种基于轻量级UNet++网络的脑肿瘤分割算法
CN110570417B (zh) 肺结节分类装置及图像处理设备
Dinh et al. Medical image fusion based on transfer learning techniques and coupled neural P systems

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant