CN114140368B - 一种基于生成式对抗网络的多模态医学图像合成方法 - Google Patents

一种基于生成式对抗网络的多模态医学图像合成方法 Download PDF

Info

Publication number
CN114140368B
CN114140368B CN202111465819.1A CN202111465819A CN114140368B CN 114140368 B CN114140368 B CN 114140368B CN 202111465819 A CN202111465819 A CN 202111465819A CN 114140368 B CN114140368 B CN 114140368B
Authority
CN
China
Prior art keywords
network
modal
trained
self
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111465819.1A
Other languages
English (en)
Other versions
CN114140368A (zh
Inventor
朱鹏飞
刘家旭
曹兵
胡清华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University
Original Assignee
Tianjin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University filed Critical Tianjin University
Priority to CN202111465819.1A priority Critical patent/CN114140368B/zh
Publication of CN114140368A publication Critical patent/CN114140368A/zh
Application granted granted Critical
Publication of CN114140368B publication Critical patent/CN114140368B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30016—Brain
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

本发明涉及一种基于生成式对抗网络的多模态医学图像合成方法。所述方法包括：构造模态注意力生成式对抗网络；所述模态注意力生成式对抗网络包括自表示网络和由生成式对抗网络实现的图像转换网络；采用多模态医学图像数据集对所述模态注意力生成式对抗网络进行训练与测试，生成训练完成的模态注意力生成式对抗网络；将已有的多模态医学图像输入至所述训练完成的模态注意力生成式对抗网络，输出目标模态的合成图像。本发明方法用于合成缺失的医学模态图像，能够提高多模态医学图像合成的质量，完整的多模态医学图像有益于医生做出更准确的决策。

Description

一种基于生成式对抗网络的多模态医学图像合成方法
技术领域
本发明涉及图像合成技术领域，特别是涉及一种基于生成式对抗网络的多模态医学图像合成方法。
背景技术
随着数据获取手段的多样化，越来越多的领域开始使用多模态数据。如在精准医学领域，脑部核磁共振可以得到T1加权成像(T1)、Gd造影剂成像(T1Gd)、T2加权成像(T2)和液体衰减反转恢复序列成像(T2-FLAIR)四种模态的图像数据，医生可以结合多种模态的医学图像做出更精确的诊断。实际情况却是受限于有限的医疗条件、扫描时间不足以及成本限制的因素，在多模态数据获取过程中可能出现***误差，甚至部分模态的缺失等情况，最终导致部分模态图像不可用。这些不可用的模态图像可能会导致医生决策出现偏差。
如何利用已有的、完整的模态图像数据对不可用的模态进行合成，已成为计算机视觉和图像处理中的一个重要研究课题。对多模态图像数据中缺失的模态进行补全可以看作是一类特殊的图像转换问题。图像转换指将图像从一个图像域转换到另一个图像域，类似的任务包括风格迁移、语义分割、去模糊、超分辨率等。不同图像域指的是光照条件、面部表情、传感器等之间的各种成像差异。研究人员为研究有效的图像转换算法投入了大量精力，并在基于生成对抗网络的方法上取得了重大进展，例如Pix2Pix。然而，这些方法仅适用于单一模态输入，在模型输入与网络设计上并未考虑多模态场景下其他可用模态中包含的有效信息。CollaGAN(Collaborative Generative Adversarial Networks，协同生成对抗网络)是少数为多模态设计的图像转换模型之一，Dongwook Lee等人针对多模态场景，在CycleGAN的基础上为多模态场景提出多重循环一致性损失，从而实现了从任意多模态输入生成目标模态图像的功能。CollaGAN的缺点在于没有针对模态互补性建模，这使得其不能充分利用输入模型的信息，因此在应用于多模态医学图像合成时合成图像质量较低。
发明内容
本发明的目的是提供一种基于生成式对抗网络的多模态医学图像合成方法，以提高多模态医学图像合成的质量。
为实现上述目的，本发明提供了如下方案：
一种基于生成式对抗网络的多模态医学图像合成方法，包括：
构造模态注意力生成式对抗网络；所述模态注意力生成式对抗网络包括自表示网络和由生成式对抗网络实现的图像转换网络；
采用多模态医学图像数据集对所述模态注意力生成式对抗网络进行训练与测试，生成训练完成的模态注意力生成式对抗网络；
将已有的多模态医学图像输入至所述训练完成的模态注意力生成式对抗网络，输出目标模态的合成图像。
可选地，所述构造模态注意力生成式对抗网络，具体包括：
构造自表示网络；所述自表示网络包括编码器和解码器；
构造图像转换网络；所述图像转换网络包括生成器和判别器；所述生成器包括多编码器、模态注意力模块和解码器。
可选地，所述模态注意力模块中植入的方法具体包括：
获取除目标模态以外的其他模态的医学图像对应的多个特征图；
根据所述多个特征图计算跨模态的通道权重；
根据所述跨模态的通道权重将所述其他模态的信息补充到每个输入模态中，以得到多个模态补充信息后的新特征图；
将所述多个模态补充信息后的新特征图进行拼接，生成拼接后的特征图。
可选地，所述采用多模态医学图像数据集对所述模态注意力生成式对抗网络进行训练与测试，生成训练完成的模态注意力生成式对抗网络，具体包括：
将所述多模态医学图像数据集输入至所述自表示网络的编码器中，使用随机梯度下降算法训练所述自表示网络，生成预训练的自表示网络；
将目标模态的医学图像输入至所述预训练的自表示网络中，将除目标模态以外的其他模态的医学图像和目标模态对应的掩码输入至所述图像转换网络的多编码器中，使用随机梯度下降算法训练所述图像转换网络，在训练过程中所述自表示网络监督所述图像转换网络的训练，生成训练完成的图像转换网络；所述预训练的自表示网络和所述训练完成的图像转换网络共同构成所述训练完成的模态注意力生成式对抗网络。
可选地，所述将已有的多模态医学图像输入至所述训练完成的模态注意力生成式对抗网络，输出目标模态的合成图像，具体包括：
将所述已有的多模态医学图像和所述目标模态对应的掩码输入至所述训练完成的图像转换网络的多编码器中，由所述训练完成的图像转换网络的生成器输出目标模态的合成图像。
一种基于生成式对抗网络的多模态医学图像合成***，包括：
模态注意力生成式对抗网络构造模块，用于构造模态注意力生成式对抗网络；所述模态注意力生成式对抗网络包括自表示网络和由生成式对抗网络实现的图像转换网络；
模态注意力生成式对抗网络训练模块，用于采用多模态医学图像数据集对所述模态注意力生成式对抗网络进行训练与测试，生成训练完成的模态注意力生成式对抗网络；
多模态图像合成模块，用于将已有的多模态医学图像输入至所述训练完成的模态注意力生成式对抗网络，输出目标模态的合成图像。
可选地，所述模态注意力生成式对抗网络构造模块具体包括：
自表示网络构造单元，用于构造自表示网络；所述自表示网络包括编码器和解码器；
图像转换网络构造单元，用于构造图像转换网络；所述图像转换网络包括生成器和判别器；所述生成器包括多编码器、模态注意力模块和解码器。
可选地，所述模态注意力模块具体包括：
特征图获取单元，用于获取除目标模态以外的其他模态的医学图像对应的多个特征图；
通道权重计算单元，用于根据所述多个特征图计算跨模态的通道权重；
模态信息互补单元，用于根据所述跨模态的通道权重将所述其他模态的信息补充到每个输入模态中，以得到多个模态补充信息后的新特征图；
特征图拼接单元，用于将所述多个模态补充信息后的新特征图进行拼接，生成拼接后的特征图。
可选地，所述模态注意力生成式对抗网络训练模块具体包括：
自表示网络训练单元，用于将所述多模态医学图像数据集输入至所述自表示网络的编码器中，使用随机梯度下降算法训练所述自表示网络，生成预训练的自表示网络；
图像转换网络训练单元，用于将目标模态的医学图像输入至所述预训练的自表示网络中，将除目标模态以外的其他模态的医学图像和目标模态对应的掩码输入至所述图像转换网络的多编码器中，使用随机梯度下降算法训练所述图像转换网络，在训练过程中所述自表示网络监督所述图像转换网络的训练，生成训练完成的图像转换网络；所述预训练的自表示网络和所述训练完成的图像转换网络共同构成所述训练完成的模态注意力生成式对抗网络。
可选地，所述多模态图像合成模块具体包括：
多模态图像合成单元，用于将所述已有的多模态医学图像和所述目标模态对应的掩码输入至所述训练完成的图像转换网络的多编码器中，由所述训练完成的图像转换网络的生成器输出目标模态的合成图像。
根据本发明提供的具体实施例，本发明公开了以下技术效果：
本发明提供了一种基于生成式对抗网络的多模态医学图像合成方法，所述方法包括：构造模态注意力生成式对抗网络；所述模态注意力生成式对抗网络包括自表示网络和由生成式对抗网络实现的图像转换网络；采用多模态医学图像数据集对所述模态注意力生成式对抗网络进行训练与测试，生成训练完成的模态注意力生成式对抗网络；将已有的多模态医学图像输入至所述训练完成的模态注意力生成式对抗网络，输出目标模态的合成图像。本发明方法用于合成缺失的医学模态图像，能够提高多模态医学图像合成的质量，完整的多模态医学图像有益于医生做出更准确的决策。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的一种基于生成式对抗网络的多模态医学图像合成方法的流程图；
图2为本发明提供的模态注意力生成式对抗网络的示意图；
图3为本发明提供的模态注意力生成式对抗网络的训练过程示意图；
图4为本发明提供的模态注意力生成式对抗网络的一个具体实施例的示意图；
图5为本发明提供的模态注意力生成式对抗网络具体实施例中模态信息互补示意图；
图6为本发明提供的一种基于生成式对抗网络的多模态医学图像合成***的结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的目的是提供一种基于生成式对抗网络的多模态医学图像合成方法，以提高多模态医学图像合成的质量。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
图1为本发明提供的一种基于生成式对抗网络的多模态医学图像合成方法的流程图。如图1所示，本发明一种基于生成式对抗网络的多模态医学图像合成方法包括：
步骤101：构造模态注意力生成式对抗网络。
构造本发明提出的模态注意力生成式对抗网络(Modal Attention GenerativeAdversarial Networks,MAGAN)模型，所述模型MAGAN包括一个自表示网络和由生成式对抗网络实现的图像转换网络(本发明中也简称为转换网络)，图像转换网络包含了本发明提出的模态注意力模块。
图2为本发明提供的模态注意力生成式对抗网络的示意图。参见图2，模态注意力生成式对抗网络MAGAN包括转换网络和自表示网络两部分，转换网络加入了本发明提出的模态注意力模块，以更好地利用模态间的互补信息。自表示网络和转换网络的结构如图2所示。其中自表示网络由一个编码器和一个解码器组成；转换网络由生成器和判别器组成，其中生成器由n-1个编码器、模态注意力模块和一个解码器组成，编码器和解码器通过本发明提出的模态注意力模块连接。
具体地，所述步骤101构造模态注意力生成式对抗网络，包括：
步骤1.1：构造自表示网络；所述自表示网络包括编码器和解码器。
该自表示网络基于自编码器实现，由一个编码器和一个解码器组成。
步骤1.2：构造图像转换网络；所述图像转换网络包括生成器和判别器；所述生成器包括多编码器、模态注意力模块和解码器。
构造如图2所示的转换网络。转换网络基于Pix2Pix(基于深度学习的图像转换经典模型，本领域技术人员所公知)实现，与其他生成对抗网络一致，转换网络由生成器G和判别器D组成。为了适应多个模态的输入，本发明将生成器G的单编码器结构改为图2左侧所示的多编码器结构，编码器个数为n-1，n为具体应用领域的总模态数。进一步的，为了充分挖掘模态间的相关性，本发明在生成器的特征融合阶段加入了模态注意力模块，该模态注意力模块能够根据目标模态需要的信息自动融合来自多个输入模态的信息，从而提高合成模态图像的质量。模态注意力模块连接了多编码器分支和解码器，多编码器、模态注意力模块和解码器共同构成转换网络的生成器。
本发明中的模型MAGAN由自表示网络和转换网络组成，对模型的改进集中在转换网络的实现上。转换网络基于Pix2Pix实现，改进分为两个方面，一是为了使用多个输入，网络的输入由原来的单编码器被改为多编码器结构；二是加入了本发明方法原创的模态注意力模块，针对目标模态对多分支提取特征进行特征融合。下面将详述模态注意力模块的原理与实现。
特征图中的每个通道都可以看作是深度神经网络从输入中提取的某种模式。对于任意通道而言，每个输入模态中包含的信息是不同的。以医学图像为例，如果第t个通道是关于肿瘤的纹理特征，显然T1Gd包含最丰富和最有价值的信息；如果该通道是关于脑脊液的特征，那么T2是最重要的模态。一个自然的想法是将T1Gd中的肿瘤相关信息添加到T2模态中，并将T2中的脑脊液相关信息添加到T1Gd模态中。这实际上就是在利用模态间的互补性。
值得注意的是，在向其他模态补充信息之前，对于给定的通道或模式，需要知道哪种模态包含最丰富的信息，或者说需要更多关注哪种模态。在下文的描述中，将问题形式化为共存在n种模态的医学图像数据，目标是提供分别属于n-1种模态的n-1张图像，合成第n个模态(也就是目标模态)的图像。
所述模态注意力模块采用算法实现，所述模态注意力模块中植入的算法具体包括：
步骤1.2.1：获取除目标模态以外的其他模态的医学图像对应的多个特征图。
参见图2，不失一般性，分别用x1,x2,...,xn表示分别来自于上述n种模态的医学图像，其中用x1,x2,...,xn-1表示来自于n-1种输入模态(即除目标模态以外的其他模态)的医学图像，用xn表示来自于n种模态，也就是目标模态的医学图像。
如图2所示，分别将x1,x2,...,xn-1和目标模态对应的掩码输入至转换网络的n-1个编码器中，分别得到特征图f1,f2,...,fn-1，也就是除目标模态以外的其他模态的医学图像对应的多个特征图f1,f2,...,fn-1。
步骤1.2.2：根据所述多个特征图计算跨模态的通道权重。
对于一组来自n种模态的样本{x1,x1,...,xn}，采用公式(1)来计算跨模态的通道权重(用A表示)：
A＝S2(σ((δ([f1,f2,...,fn-1]W1)W2) (1)
在这里，fk＝Ek(xk)表示除目标模态以外的其他第k个模态的医学图像xk对应的特征图，k∈(1,2,...,n-1)，Ek(·)表示生成器G第k个编码分支Ek的输出。符号[·,·]表示对张量进行拼接，例如[f1,f2,...,fn-1]表示将这n-1个张量f1,f2,...,fn-1展平后拼接。W1和W2是两个全连接层。σ和δ分别是ReLU和sigmoid激活函数(深度学习领域的两种激活函数，本领域技术人员所公知)。S2是对权重矩阵A的每一行做softmax运算的函数。从结果上来看，元素Ai,j是第i个通道对第j个模态的注意力，换句话说，是j个模态向第i个通道补充信息时的权重。
步骤1.2.3：根据所述跨模态的通道权重将所述其他模态的信息补充到每个输入模态中，以得到多个模态补充信息后的新特征图。
接下来按照公式(2)使用跨模态的通道权重矩阵A将其他模态的信息补充到每个输入模态中：
其中*表示标量与特征图之间的乘法或向量与特征图之间的通道乘法，Aj为通道权重矩阵A的第j列。在补充信息的同时，可以通过设置平衡参数γ来保留当前模态的信息，γ的值默认为0.5。表示第k个模态补充信息后的新特征图。
步骤1.2.4：将所述多个模态补充信息后的新特征图进行拼接，生成拼接后的特征图。
按照公式(3)将多个模态补充信息后的新特征图进行拼接，生成拼接后的特征图fall：
本发明针对Pix2Pix只适用于单一模态输入的问题，修改了其网络结构，加入了自表示网络的监督；针对CollaGAN没有充分利用模态互补性的问题，提出了模态注意力模块；这两方面改进提高了多模态医学图像合成的质量。
步骤102：采用多模态医学图像数据集对所述模态注意力生成式对抗网络进行训练与测试，生成训练完成的模态注意力生成式对抗网络。
图3为本发明提供的模态注意力生成式对抗网络的训练过程示意图。参见图3，采用多模态医学图像数据集对该图像合成网络进行训练与测试，在训练过程中自表示网络监督转换网络的训练。本发明训练时采用的多模态医学图像数据集为医学图像数据集BraTS2020，该数据集是国际脑部肿瘤分割挑战赛(Brain Tumor Segmentation，缩写为BraTS)提供的公开数据集，训练集包含369组样本，测试集包含125组样本。每组样本包含T1、T1Gd、T2、T2-FLAIR四种模态的脑部肿瘤核磁共振扫描图。
用训练集中目标模态数据对自表示网络进行训练，得到预训练的自表示网络SR；使用训练集所有数据训练转换网络，在这个过程中使用自表示网络SR监督生成器的特征提取，得到训练完成的转换网络。
用户可使用训练完成的转换网络合成任意目标模态的图像，具体做法是输入分别属于n-1个模态的医学图像和目标模态对应的掩码至转换网络，转换网络将输出该目标模态的合成图像。
正如前面提到的，本发明引入了一个自表示网络(用自编码器来实现)来驱动转换网络的训练。自编码器是深度学习领域一种公认的表达能力很强的无监督特征提取模型，并且考虑到转换网络的多分支特征提取结构在提取有效特征方面的难度相比于原来的单分支难度更大，因此本发明使用预训练的自表示网络SR来驱动生成器的特征提取。具体来说，在训练阶段计算如下损失：
在公式(4)中我们假设第n个模态为目标模态，ESR(·)表示自表示网络编码器的输出。
另外，模型转换网络生成器的总损失为：
其中和LGAN均为Pix2Pix中已经定义过的损失函数，为本领域公知常识，在此不再赘述。λ为平衡LSR的超参数，默认为1。自表示网络损失的计算公式为/>即生成图像与原图之间的L1范数。公式(4)和(5)为模态注意力生成式对抗网络训练阶段的约束条件，训练目标为令各阶段损失最小。
具体地，所述步骤102采用多模态医学图像数据集对所述模态注意力生成式对抗网络进行训练与测试，生成训练完成的模态注意力生成式对抗网络，具体包括：
步骤2.1：将所述多模态医学图像数据集输入至所述自表示网络的编码器中，使用随机梯度下降算法训练所述自表示网络，生成预训练的自表示网络.
从训练集取出所有图像，并输入自表示网络的编码器中，使用SGD(stochasticgradient descent，随机梯度下降)训练自表示网络，得到训练完成的自表示网络SR，以下称为预训练的SR。
具体地，参见图3，本发明实施例中采用BraTS2020中的训练集来训练自表示网络SR，其中SR的参数为WSR，SR的具体训练流程如下：
步骤1)：输入迭代次数T，随机初始化参数WSR，初始化当前迭代次数iter；
步骤2)：遍历训练集所有图像，重复步骤3和步骤4，直至iter达到T；
步骤3)：输入当前图像I至SR，用公式计算损失；
步骤4)：使用SGD(随机梯度下降)算法对WSR进行更新，更新iter＝iter+1。
步骤2.2：将目标模态的医学图像输入至所述预训练的自表示网络中，将除目标模态以外的其他模态的医学图像和目标模态对应的掩码输入至所述图像转换网络的多编码器中，使用随机梯度下降算法训练所述图像转换网络，在训练过程中所述自表示网络监督所述图像转换网络的训练，生成训练完成的图像转换网络；所述预训练的自表示网络和所述训练完成的图像转换网络共同构成所述训练完成的模态注意力生成式对抗网络。
参见图3，完成自表示网络SR的训练后，接下来训练转换网络。前面提到需要在网络输入中加入目标模态对应的掩码，这样模型才能确定合成哪种模态的图像。掩码采用one-hot编码，以BraTS数据集为例，规定T1、T1Gd、T2、T2-FLAIR分别为第1～4种模态，那么T1模态对应的掩码是维度4*h*w的张量(h和w分别是图像的宽和高)，可以看作由4层h*w的矩阵拼接而成，接下来将第1层矩阵的值置为1，其余值均置为0，这就是T1模态对应的掩码，然后依次类推得到T1Gd、T2、T2-FLAIR对应的掩码。在训练和使用网络转换网络时，需要在每一个输入模态后面拼接目标模态对应的掩码。转换网络的训练过程如下：
步骤1)：输入迭代次数T，预训练的SR的参数WSR，随机初始化生成器参数WG和判别器参数WD，初始化当前迭代次数iter；
步骤2)：重复步骤3和步骤4，直至迭代次数达到T；
步骤3)：由于本发明提出的MAGAN可以接收任意模态的输入，因此可以依次将每种模态作为目标模态，其他模态作为输入模态合成图像，并用公式LG计算生成器损失，用公式LGAN计算判别器损失；
步骤4)：使用SGD(随机梯度下降)算法交替更新WG和WD，更新iter＝iter+1。
更具体地，参见图2和图3，图像转换网络的详细训练步骤如下：
步骤(1)：用x1，x2，...，xn-1表示来自于n-1种输入模态的医学图像，用xn表示来自于n种模态，也就是目标模态的医学图像。如图2所示，分别将x1，x2，...，xn-1和目标模态对应的掩码输入至n-1个编码器中，分别得到特征图f1，f2，...，fn-1；
步骤(2)：将xn输入至预训练的自表示网络的编码器中，得到特征图ESR(xn)，采用公式(4)计算ESR(xn)与f1，f2，...，fn-1之间的差异得到生成器损失的一部分LSR，从而完成自表示网络对特征提取的监督；
步骤(3)：将f1，f2，...，fn-1输入至模态注意力模块中，进行模态信息互补，得到拼接后的特征图fall；
步骤(4)：将fall输入至转换网络的解码器中，得到目标模态的合成图像生成器的作用是生成尽可能接近真实xn的/>
步骤(5)：将输入至判别器，判别器本质是二分类器，目标是尽可能区分xn和/>
步骤(6)：重复步骤(1)至步骤(4)，使用SGD算法交替优化生成器和判别器，直至达到指定的迭代次数T，最终得到训练完成的图像转换网络。
步骤103：将已有的多模态医学图像输入至所述训练完成的模态注意力生成式对抗网络，输出目标模态的合成图像。
模型的使用阶段，用户可使用上一步得到的训练完成的转换网络合成任意目标模态的图像，做法与模型训练时类似：输入分别属于n-1个模态的医学图像和目标模态对应的掩码至转换网络生成器G的n-1个编码器中，G将输出该目标模态的合成图像。例如在图2中x1，x2，...，xn-1分别输入至生成器的n-1个编码器中，生成器的输出为第n个模态(即目标模态)的合成图像
因此，所述步骤103将已有的多模态医学图像输入至所述训练完成的模态注意力生成式对抗网络，输出目标模态的合成图像，具体包括：
将所述已有的多模态医学图像和所述目标模态对应的掩码输入至所述训练完成的图像转换网络的多编码器中，由所述训练完成的图像转换网络的生成器输出目标模态的合成图像。
本发明提出了一个在多模态场景下的图像合成框架MAGAN：用户输入多个模态的图像和目标模态对应掩码，该模型MAGAN将自动合成目标模态对应的医学图像；本发明方法引入模态注意力模块，通过对模态间相关性建模，有效提升了合成图像的质量；本发明提出了一中使用自表示网络约束模型特征提取的方法，此方法使MAGAN(模态注意力生成式对抗网络)只从输入中提取与目标模态相关的特征。总而言之，本发明提出的一种基于生成式对抗网络的多模态医学图像合成模型MAGAN，可以接收任意模态图像作为输入，并合成目标模态图像，主要用于合成多模态医学图像中缺失的模态图像，能够提高合成缺失的医学模态图像的质量，完整的多模态医学图像有益于医生做出更准确的决策。
下面给出本发明一种基于生成式对抗网络的多模态医学图像合成方法的一个具体实施例，图4为本发明提供的模态注意力生成式对抗网络的一个具体实施例的示意图，该实施例中假设n＝4。参见图4，该方法的具体实施例包括以下步骤：
步骤一：构造如图4所示的网络模型，包括转换网络和自表示网络两部分，转换网络加入了本发明提出的模态注意力模块，以更好地利用模态间的互补信息。自表示网络和转换网络的结构如图4所示：自表示网络由一个编码器和一个解码器组成；转换网络由生成器和判别器组成，其中生成器由n-1个编码器和一个解码器组成，编码器和解码器通过本文提出的模态注意力模块连接。
步骤二：用训练集中目标模态数据对自表示网络进行训练，得到预训练的自表示网络；使用训练集所有数据训练转换网络，在这个过程中使用自表示网络SR监督生成器的特征提取，得到完成训练的转换网络。
如图4所示，对于一组来自BraTS2020样本，分别用x1，x2，x3和x4表示分别来4种模态的医学图像，在图4中x1，x2，x3分别输入至生成器的3个编码器中(前面我们假设n＝4，因此这里有n-1＝3)，生成器的输出为第4个模态的合成图像
在该具体实施例中，所述转换网络的训练过程如下：
1、分别将x1，x2，x3和目标模态对应的掩码输入至3个编码器中，分别得到特征图f1,f2,f3；
2、将真实x4输入至预训练的自表示网络的解码器中，得到特征图ESR(x4)，采用公式(4)计算ESR(x4)与f1,f2,f3之间的差异得到生成器损失的一部分LSR，从而完成自表示网络对特征提取的监督；
3、将f1,f2,f3输入至模态注意力模块中，进行模态信息互补，得到fall；具体为：
采用公式(1)来计算跨模态的通道权重(用A表示)：
A＝S2(σ((δ([f1,f2,f3]W1)W2)
接下来使用A将其他模态的信息补充到每个输入模态中。图5为本发明提供的模态注意力生成式对抗网络具体实施例中模态信息互补示意图。在图5中，向第1个模态的第3个通道补充其他模态的信息，第2种模态以权重A3,2向第1种模态的第3个通道补充信息，第3种模态以权重A3,3向第1种模态的第3个通道补充信息。通过这种方式，可以得到第k个模态补充信息后的新特征fk comp：
在这里，fk＝Ek(xk)，Ek(·)表示生成器G第k个编码分支Ek的输出，[·,·,·]表示将这3个张量展平后拼接。W1和W2是两个全连接层。σ和δ分别是ReLU和sigmoid激活函数(深度学***衡参数γ来保留当前模态的信息，γ的值默认为0.5。
最后，由于解码器是单分支结构，模态注意力模块需要将特征图拼接后送入解码器中，模态注意力模块的输出为：
fall＝[f1 comp,f2 comp,f3 comp]
4、将fall输入至转换网络的解码器中，得到目标模态的合成图像生成器的作用是生成尽可能接近x4的/>
5、将输入至判别器，判别器本质是二分类器，目标是尽可能区分x4和/>
6、重复步骤1、至步骤4、，使用SGD算法交替优化生成器和判别器，直至达到指定的迭代次数，最终得到训练完成的转换网络。
步骤三：用户可使用上一步得到的转换网络合成任意目标模态的图像，具体做法是输入分别属于n-1个模态的图像和目标模态对应的掩码至转换网络，转换网络将输出该目标模态的合成图像。
例如将x1，x2，x3分别输入至生成器的3个编码器中，生成器的输出为第4个模态的合成图像
综上所述，本发明提供的一种基于生成式对抗网络的多模态医学图像合成方法，通过单一模型，即可实现以任意模态图像作为输入，合成目标模态(一般是缺失或质量较差的模态)图像。此方法可以解决多模态医学图像场景下某种模态图像缺失的问题。
本发明实施例在BraTS2020验证集上的实验结果如表1和表2所示，表1对比了本发明提出的MAGAN和Pix2Pix在结构相似度(structural similarity index，SSIM)的分数，表2对比了本发明提出的MAGAN和Pix2Pix在特征相似度(feature similarity index，FSIM)的分数(SSIM和FSIM均为度量图像相似度的方法，本领域技术人员所公知)。
表1 SSIM分数对比
表2 FSIM分数对比
从表1和表2中的数据对比可以看出，本发明MAGAN在各种模态的合成场景下结构相似度和特征相似度均有较大幅度提升。
基于本发明提供的一种基于生成式对抗网络的多模态医学图像合成方法，本发明还提供一种基于生成式对抗网络的多模态医学图像合成***。图6为本发明提供的一种基于生成式对抗网络的多模态医学图像合成***的结构图，参见图6，所述***包括：
模态注意力生成式对抗网络构造模块601，用于构造模态注意力生成式对抗网络；所述模态注意力生成式对抗网络包括自表示网络和由生成式对抗网络实现的图像转换网络；
模态注意力生成式对抗网络训练模块602，用于采用多模态医学图像数据集对所述模态注意力生成式对抗网络进行训练与测试，生成训练完成的模态注意力生成式对抗网络；
多模态图像合成模块603，用于将已有的多模态医学图像输入至所述训练完成的模态注意力生成式对抗网络，输出目标模态的合成图像。
其中，所述模态注意力生成式对抗网络构造模块601具体包括：
自表示网络构造单元，用于构造自表示网络；所述自表示网络包括编码器和解码器；
图像转换网络构造单元，用于构造图像转换网络；所述图像转换网络包括生成器和判别器；所述生成器包括多编码器、模态注意力模块和解码器。
所述模态注意力模块具体包括：
特征图获取单元，用于获取除目标模态以外的其他模态的医学图像对应的多个特征图；
通道权重计算单元，用于根据所述多个特征图计算跨模态的通道权重；
模态信息互补单元，用于根据所述跨模态的通道权重将所述其他模态的信息补充到每个输入模态中，以得到多个模态补充信息后的新特征图；
特征图拼接单元，用于将所述多个模态补充信息后的新特征图进行拼接，生成拼接后的特征图。
所述模态注意力生成式对抗网络训练模块602具体包括：
自表示网络训练单元，用于将所述多模态医学图像数据集输入至所述自表示网络的编码器中，使用随机梯度下降算法训练所述自表示网络，生成预训练的自表示网络；
图像转换网络训练单元，用于将目标模态的医学图像输入至所述预训练的自表示网络中，将除目标模态以外的其他模态的医学图像和目标模态对应的掩码输入至所述图像转换网络的多编码器中，使用随机梯度下降算法训练所述图像转换网络，在训练过程中所述自表示网络监督所述图像转换网络的训练，生成训练完成的图像转换网络；所述预训练的自表示网络和所述训练完成的图像转换网络共同构成所述训练完成的模态注意力生成式对抗网络。
所述多模态图像合成模块603具体包括：
多模态图像合成单元，用于将所述已有的多模态医学图像和所述目标模态对应的掩码输入至所述训练完成的图像转换网络的多编码器中，由所述训练完成的图像转换网络的生成器输出目标模态的合成图像。
本发明提供了一种基于生成式对抗网络的多模态医学图像合成方法及***，提出基于生成式对抗网络的多模态医学图像合成模型，通过改进现有的图像合成模型结构，以适应多模态输入，能够充分利用多种模态的信息，提高合成模态图像的质量；本发明提出了模态注意力模块，依据模态间互补性，为每个输入模态补充生成目标模态所需要的信息，解决了现有模型CollaGAN没有对输入模态相关性建模的问题，有效提成了合成模态图像的质量；本发明还引入了自表示网络来引导生成器的训练，在特征提取阶段过滤掉无关信息，加快了模型的收敛速度，进一步提高了合成模态图像的质量。
综上所述，本发明方法及***通过构造能够适应多种模态输入的图像合成网络，加入模态注意力模块，引入自表示网络来引导生成器的训练，最终达到了合成高质量缺失医学模态图像目的。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的***而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (6)

1.一种基于生成式对抗网络的多模态医学图像合成方法，其特征在于，包括：
构造模态注意力生成式对抗网络；所述模态注意力生成式对抗网络包括自表示网络和由生成式对抗网络实现的图像转换网络；
所述构造模态注意力生成式对抗网络，具体包括：
构造自表示网络；所述自表示网络包括编码器和解码器；
构造图像转换网络；所述图像转换网络包括生成器和判别器；所述生成器包括多编码器、模态注意力模块和解码器；
所述模态注意力模块中植入的方法具体包括：
获取除目标模态以外的其他模态的医学图像对应的多个特征图；
根据所述多个特征图计算跨模态的通道权重；
根据所述跨模态的通道权重将所述其他模态的信息补充到每个输入模态中，以得到多个模态补充信息后的新特征图；
将所述多个模态补充信息后的新特征图进行拼接，生成拼接后的特征图；
采用多模态医学图像数据集对所述模态注意力生成式对抗网络进行训练与测试，生成训练完成的模态注意力生成式对抗网络；
将已有的多模态医学图像输入至所述训练完成的模态注意力生成式对抗网络，输出目标模态的合成图像。
2.根据权利要求1所述的方法，其特征在于，所述采用多模态医学图像数据集对所述模态注意力生成式对抗网络进行训练与测试，生成训练完成的模态注意力生成式对抗网络，具体包括：
将所述多模态医学图像数据集输入至所述自表示网络的编码器中，使用随机梯度下降算法训练所述自表示网络，生成预训练的自表示网络；
将目标模态的医学图像输入至所述预训练的自表示网络中，将除目标模态以外的其他模态的医学图像和目标模态对应的掩码输入至所述图像转换网络的多编码器中，使用随机梯度下降算法训练所述图像转换网络，在训练过程中所述自表示网络监督所述图像转换网络的训练，生成训练完成的图像转换网络；所述预训练的自表示网络和所述训练完成的图像转换网络共同构成所述训练完成的模态注意力生成式对抗网络。
3.根据权利要求2所述的方法，其特征在于，所述将已有的多模态医学图像输入至所述训练完成的模态注意力生成式对抗网络，输出目标模态的合成图像，具体包括：
将所述已有的多模态医学图像和所述目标模态对应的掩码输入至所述训练完成的图像转换网络的多编码器中，由所述训练完成的图像转换网络的生成器输出目标模态的合成图像。
4.一种基于生成式对抗网络的多模态医学图像合成***，其特征在于，包括：
模态注意力生成式对抗网络构造模块，用于构造模态注意力生成式对抗网络；所述模态注意力生成式对抗网络包括自表示网络和由生成式对抗网络实现的图像转换网络；
所述模态注意力生成式对抗网络构造模块具体包括：
自表示网络构造单元，用于构造自表示网络；所述自表示网络包括编码器和解码器；
图像转换网络构造单元，用于构造图像转换网络；所述图像转换网络包括生成器和判别器；所述生成器包括多编码器、模态注意力模块和解码器；
所述模态注意力模块具体包括：
特征图获取单元，用于获取除目标模态以外的其他模态的医学图像对应的多个特征图；
通道权重计算单元，用于根据所述多个特征图计算跨模态的通道权重；
模态信息互补单元，用于根据所述跨模态的通道权重将所述其他模态的信息补充到每个输入模态中，以得到多个模态补充信息后的新特征图；
特征图拼接单元，用于将所述多个模态补充信息后的新特征图进行拼接，生成拼接后的特征图；
模态注意力生成式对抗网络训练模块，用于采用多模态医学图像数据集对所述模态注意力生成式对抗网络进行训练与测试，生成训练完成的模态注意力生成式对抗网络；
多模态图像合成模块，用于将已有的多模态医学图像输入至所述训练完成的模态注意力生成式对抗网络，输出目标模态的合成图像。
5.根据权利要求4所述的***，其特征在于，所述模态注意力生成式对抗网络训练模块具体包括：
自表示网络训练单元，用于将所述多模态医学图像数据集输入至所述自表示网络的编码器中，使用随机梯度下降算法训练所述自表示网络，生成预训练的自表示网络；
图像转换网络训练单元，用于将目标模态的医学图像输入至所述预训练的自表示网络中，将除目标模态以外的其他模态的医学图像和目标模态对应的掩码输入至所述图像转换网络的多编码器中，使用随机梯度下降算法训练所述图像转换网络，在训练过程中所述自表示网络监督所述图像转换网络的训练，生成训练完成的图像转换网络；所述预训练的自表示网络和所述训练完成的图像转换网络共同构成所述训练完成的模态注意力生成式对抗网络。
6.根据权利要求5所述的***，其特征在于，所述多模态图像合成模块具体包括：
多模态图像合成单元，用于将所述已有的多模态医学图像和所述目标模态对应的掩码输入至所述训练完成的图像转换网络的多编码器中，由所述训练完成的图像转换网络的生成器输出目标模态的合成图像。
CN202111465819.1A 2021-12-03 2021-12-03 一种基于生成式对抗网络的多模态医学图像合成方法 Active CN114140368B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111465819.1A CN114140368B (zh) 2021-12-03 2021-12-03 一种基于生成式对抗网络的多模态医学图像合成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111465819.1A CN114140368B (zh) 2021-12-03 2021-12-03 一种基于生成式对抗网络的多模态医学图像合成方法

Publications (2)

Publication Number Publication Date
CN114140368A CN114140368A (zh) 2022-03-04
CN114140368B true CN114140368B (zh) 2024-04-23

Family

ID=80387588

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111465819.1A Active CN114140368B (zh) 2021-12-03 2021-12-03 一种基于生成式对抗网络的多模态医学图像合成方法

Country Status (1)

Country Link
CN (1) CN114140368B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114897748A (zh) * 2022-04-02 2022-08-12 天津大学 一种基于深度学习的医学图像合成装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110706302A (zh) * 2019-10-11 2020-01-17 中山市易嘀科技有限公司 一种文本合成图像的***及方法
WO2021017372A1 (zh) * 2019-08-01 2021-02-04 中国科学院深圳先进技术研究院 一种基于生成对抗网络的医学图像分割方法、***及电子设备
US10990848B1 (en) * 2019-12-27 2021-04-27 Sap Se Self-paced adversarial training for multimodal and 3D model few-shot learning
CN112734764A (zh) * 2021-03-31 2021-04-30 电子科技大学 一种基于对抗网络的无监督医学图像分割方法
CN113705400A (zh) * 2021-08-18 2021-11-26 中山大学 一种基于多模态人脸训练的单模态人脸活体检测方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021017372A1 (zh) * 2019-08-01 2021-02-04 中国科学院深圳先进技术研究院 一种基于生成对抗网络的医学图像分割方法、***及电子设备
CN110706302A (zh) * 2019-10-11 2020-01-17 中山市易嘀科技有限公司 一种文本合成图像的***及方法
US10990848B1 (en) * 2019-12-27 2021-04-27 Sap Se Self-paced adversarial training for multimodal and 3D model few-shot learning
CN112734764A (zh) * 2021-03-31 2021-04-30 电子科技大学 一种基于对抗网络的无监督医学图像分割方法
CN113705400A (zh) * 2021-08-18 2021-11-26 中山大学 一种基于多模态人脸训练的单模态人脸活体检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
梁建青 ; 胡清华.基于半监督距离学习和多模态信息的图像聚类.第十三届中国Rough集与软计算学术会议、第七届中国Web智能学术研讨会、第 七届中国粒计算学术研讨会联合学术会议.2013,全文. *
注意力机制引导的多模态心脏图像分割;杨琬琪;周子奇;郭心娜;南京师大学报(自然科学版);20191231;第42卷(第003期);全文 *

Also Published As

Publication number Publication date
CN114140368A (zh) 2022-03-04

Similar Documents

Publication Publication Date Title
CN110544239B (zh) 基于条件生成对抗网络的多模态mri转换方法、***及介质
CN110097550B (zh) 一种基于深度学习的医学图像分割方法及***
CN109635774B (zh) 一种基于生成对抗网络的人脸合成方法
CN110288609B (zh) 一种注意力机制引导的多模态全心脏图像分割方法
CN113314205B (zh) 一种高效的医学影像标注与学习***
CN111476805A (zh) 一种基于多重约束的跨源无监督域适应分割模型
CN116309650B (zh) 基于双分支嵌入注意力机制的医学图像分割方法与***
CN111754532B (zh) 图像分割模型搜索方法、装置、计算机设备及存储介质
CN113343705A (zh) 一种基于文本语义的细节保持图像生成方法及***
CN108765512B (zh) 一种基于多层级特征的对抗图像生成方法
CN112651360B (zh) 一种小样本下骨架动作识别方法
CN113724206B (zh) 一种基于自监督学习的眼底图像血管分割方法及***
CN112215339B (zh) 基于生成对抗网络的医疗数据扩充方法
CN111783658A (zh) 基于双生成对抗网络的两阶段表情动画生成方法
CN110516724A (zh) 可视化作战场景的高性能多层字典学习特征图像处理方法
CN115409937A (zh) 基于集成神经辐射场的人脸视频表情迁移模型构建方法及表情迁移方法和***
JP2022530868A (ja) 機械学習に基づくターゲットオブジェクト属性予測方法、関連機器及びコンピュータプログラム
CN114140368B (zh) 一种基于生成式对抗网络的多模态医学图像合成方法
Cheng et al. DDU-Net: A dual dense U-structure network for medical image segmentation
CN112434798A (zh) 一种基于半监督学习的多尺度图像翻译方法
CN115661165A (zh) 基于增强注意力的编解码网络胶质瘤融合分割***及方法
CN111862261A (zh) 一种flair模态磁共振影像生成方法及***
CN112489048B (zh) 一种基于深度网络的视神经自动分割方法
CN109934796A (zh) 一种基于深度集成学习的器官自动勾画方法
CN113298895A (zh) 一种面向收敛性保障的无监督双向生成自动编码方法及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant