CN110827232B - 基于形态特征gan的跨模态mri合成方法 - Google Patents
基于形态特征gan的跨模态mri合成方法 Download PDFInfo
- Publication number
- CN110827232B CN110827232B CN201911113248.8A CN201911113248A CN110827232B CN 110827232 B CN110827232 B CN 110827232B CN 201911113248 A CN201911113248 A CN 201911113248A CN 110827232 B CN110827232 B CN 110827232B
- Authority
- CN
- China
- Prior art keywords
- representative
- modality
- mode
- target
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000001308 synthesis method Methods 0.000 title claims abstract description 15
- 230000000877 morphologic effect Effects 0.000 title claims abstract description 13
- 238000002595 magnetic resonance imaging Methods 0.000 title abstract description 21
- 238000000605 extraction Methods 0.000 claims abstract description 28
- 238000013256 Gubra-Amylin NASH model Methods 0.000 claims abstract description 21
- 238000010606 normalization Methods 0.000 claims description 36
- 230000015572 biosynthetic process Effects 0.000 claims description 22
- 238000003786 synthesis reaction Methods 0.000 claims description 22
- 238000004364 calculation method Methods 0.000 claims description 17
- 238000009826 distribution Methods 0.000 claims description 14
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 11
- 230000003044 adaptive effect Effects 0.000 claims description 10
- 230000004927 fusion Effects 0.000 claims description 9
- 238000005457 optimization Methods 0.000 claims description 6
- 238000011176 pooling Methods 0.000 claims description 6
- 238000012549 training Methods 0.000 claims description 6
- 230000004913 activation Effects 0.000 claims description 3
- 238000013528 artificial neural network Methods 0.000 abstract description 2
- 238000000034 method Methods 0.000 description 26
- 230000008901 benefit Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 230000002194 synthesizing effect Effects 0.000 description 6
- 238000001208 nuclear magnetic resonance pulse sequence Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 210000001519 tissue Anatomy 0.000 description 4
- 238000002474 experimental method Methods 0.000 description 3
- 210000003625 skull Anatomy 0.000 description 3
- 210000003484 anatomy Anatomy 0.000 description 2
- 238000002591 computed tomography Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 239000012530 fluid Substances 0.000 description 2
- 238000007499 fusion processing Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 208000003174 Brain Neoplasms Diseases 0.000 description 1
- 206010072731 White matter lesion Diseases 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000002872 contrast media Substances 0.000 description 1
- 210000005257 cortical tissue Anatomy 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000002592 echocardiography Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 210000004884 grey matter Anatomy 0.000 description 1
- 238000002075 inversion recovery Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000002600 positron emission tomography Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 210000004872 soft tissue Anatomy 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 210000004885 white matter Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
Abstract
本发明公开基于形态特征GAN的跨模态MRI合成方法，包括建立MRFE‑GAN模型，包括残差网络模块和模态代表特征提取模块；源模态通过残差网络模块获取到伪目标模态；通过模态代表特征提取模块提取伪目标模态的代表性特征并将其与源模态的基础信息合并，融合生成合成目标模态。本发明能够获得更加真实有效的目标模态；能够有效克服跨域模态之间的信息差异，能够有效地提取不同级别的数据；有效地减少合成模态和真实目标模态的差异，使得合成图像更加真实可靠。
Description
技术领域
本发明属于图像处理技术领域，特别是涉及基于形态特征GAN的跨模态MRI合成方法。
背景技术
计算机断层扫描(CT)、磁共振成像(MRI)和正电子发射断层扫描(PET)等医学成像技术是现代医疗保健的重要组成部分。可以捕获软组织中对比度差异的MRI已成为研究神经解剖学的主要成像方式。通过施加不同的脉冲序列和参数，可以在对相同的解剖结构成像时产生各种各样的组织对比，从而获得不同对比的图像，即MRI模态。例如，通过选择脉冲序列(如磁化准备的梯度回波(MPRAGE)和召回的变差梯度(SPGR))，可以生成清晰地描绘灰质和白质组织的T1加权(T1)图像。相反，T2加权(T2)图像描绘了来自皮质组织的液体，是通过应用脉冲序列(如双自旋回波(DSE))生成的。此外，液体衰减反转恢复(FLAIR)是T2加权脉冲序列，采用反转恢复来增强白质病变的图像对比度。同一患者的不同对比图像可提供不同的诊断信息。磁共振成像(MRI)技术可以通过使用不同的脉冲序列和参数来产生各种组织对比度。具有不同组织对比度的相同解剖结构增加了MRI信息的多样性。但是，为同一检测者获得多个不同的对比图像(或模态)非常耗时且昂贵。所以在实际情况下，由于诸如扫描时间有限和成本昂贵之类的相关因素，为同一患者获取的造影剂模态的数量总是受到限制。
虽然目前有一些合成方法来通过深度网络进行模态合成，但是由于源和目标模态之间的特征分布差异较大，即使现有方法可以一定程度地了解不同模态之间的映射，但是输入与生成的图像之间仍可能存在某些差异，无法有效地减少差异，造成合成图像和真实图像存在较大的差异。
发明内容
为了解决上述问题，本发明提出了基于形态特征GAN的跨模态MRI合成方法，能够获得更加真实有效的目标模态；能够有效克服跨域模态之间的信息差异，能够有效地提取不同层次的特征；有效地减少合成模态和真实目标模态的差异，使得合成图像更加真实可靠。
为达到上述目的，本发明采用的技术方案是：基于形态特征GAN的跨模态MRI合成方法，包括步骤：
建立MRFE-GAN模型，包括残差网络模块和模态代表特征提取模块；
源模态通过残差网络模块获取到伪目标模态；
通过模态代表特征提取模块提取伪目标模态的代表性特征并将其与源模态的基础信息合并，融合生成合成目标模态。
进一步的是，所述残差网络模块将源模态作为输入，在所述残差网络模块中通过建立中间模态，以模拟目标模态构成伪目标模态。在图像合成任务中，输入和输出之间的特征信息完全不同，这意味着需要更深的网络来提高合成性能，但在网络的加深过程中，可能会导致网络难以优化，从而降低性能。残差网络能够有效克服此问题。
进一步的是，所述残差网络模块包括依次运行的3个下采样块、12个残差块和3个反卷积层；所述下采样块将特征图的数量从1增加到256，并且每个下采样块包括依次运行的卷积、实例归一化和ReLU层；所述残差块包括填充、卷积、实例归一化和ReLU层；所述反卷积块包括反卷积、实例归一化、ReLU层和激活函数。通过实例归一化能够有效来维护每个卷积层之后每个模态实例的独立性。
进一步的是，所述MRFE-GAN模型中的模态代表特征提取模块包括基础编码器、代表性编码器和解码器；将源模态输入所述基础编码器，由基础编码器从源模态提取基础信息；将伪目标模态输入所述代表性编码器，由代表性编码器从伪目标模态提取代表信息；所述基础编码器和代表性编码器并行连接至解码器，通过所述解码器将基础信息和代表信息融合生成合成目标模态。
进一步的是，在所述模态代表特征提取模块中，输入源模态x和伪目标模态y，模态分布分别为P(x)和P(y)；在各个模态在且自有空间内分解为两个不同的分布，分别为：P(x1|x)和P(x2|x)，P(y1|y)和P(y2|y)；其中P(x1|x)和P(y1|y)是各个模态结构的基础分布，P(x2|x)和P(y2|y)是各个模态结构的表示分布，两种模态之间的差异通过P(x2|x)和P(y2|y)体现，是模态自有的代表特征；
在所述模态代表特征提取模块通过融合P(x1|x)和P(y2|y)获得基于x模态结构的y模态代表特征；或者，在所述模态代表特征提取模块通过融合P(x2|x)和P(y1|y)获得基于y模态结构的x模态代表特征。
进一步的是，所述基础编码器包括依次运行的3个下采样块和4个残差块，所述下采样块包括依次运行的卷积、实例归一化和ReLU层，所述残差块包括依次运行的填充、卷积、实例归一化和ReLU层；
所述代表性编码器包括5组卷积层和ReLU层组合、全局平均池化层、3组线性层；在代表性编码器的每个ReLU层之前丢弃所有实例归一化层，再利用全局平均池化将每个二维特征通道转换为实数，然后在三组线性层中对通道之间的相关性进行建模，以获得代表信息的平均值和标准差；在提高合成识别精度的基础上，以克服实例归一化造成删除重要代表信息的原始特征均值和标准差的问题；
所述解码器，将代表编码器获得的标准差和平均值合并为解码器的自适应实例归一化层的比例参数和移位参数，从而将基础信息和代表信息融合生成合成目标模态。
进一步的是，所述解码器将基础信息和代表信息融合生成合成目标模态的步骤包括：
首先，由自适应实例归一化层进行规范化α：
其中，α是自适应实例归一化层的输入的代表信息，Δ(α)和Ξ(α)分别为代表信息α的标准差和平均值；
然后，对规范化后的α′乘以比例参数，并添加一个移位参数；完成两种信息的融合，达到重构模态生成合成目标模态：
α"＝Δ′*α'+Ξ'；
其中，比例参数为代表信息的标准差,移位参数是代表信息的平均值。
进一步的是，还包括第一鉴别模块和第二鉴别模块，向第一鉴别模块中输入真实目标模态和伪目标模态进行损失计算；向第二鉴别模块中输入合成目标模态和真实目标模态进行损失计算；结合第一鉴别模块和第二鉴别模块的损失计算构成MRFE-GAN模型的总损失函数，对总损失函数进行优化训练使最小化损失函数，通过调整参数优化伪目标模态，以提高合成结果真实度。
进一步的是，在所述残差网络模块中根据源模态x生成伪目标模态G(x)，利用伪目标模态G(x)作为模态代表特征提取模块的一个输入来提取代表特征信息，具体过程为：
将伪目标模态G(x)放入第一鉴别模块D1中进行首次损失计算：
LRESNET(G，D1)＝Ey[logD1(y)]+Ex[log(1-D1(G(x))]；
其中，y是目标模态，E是输入输出的期望值；
采用L1损失重建损失有助于网络捕获合成模态中目标模态的整体外观特征和相对粗略的特征：
LRESNET-L1(G)＝Ex，y[||y-G(x)||1]；
由模态代表特征提取模块，它将x和G(x)作为输入并输出合成目标模态M(x，G(x))，合成目标模态M(x，G(x))放入鉴别模块D2中进行损失计算：LMRFE(M，D2)＝Ey[logD2(y)]+Ex，G(x)[log(1-D2(M(x，G(x))))]；
使用L1损失来计算合成目标模态与真实目标模态之间的差：
LMRFE-L1(M)＝Ex，G(x)，y[||y-M(x，G(x))||1]；
所述MRFE-GAN模型的总损失函数为：
Ltotal＝λ1LRESNET(G，D1)+λ2LRESNET-L1(G)+λ3LMRFE(M，D2)+λ4LMRFE-L1(M)；
在训练过程中通过使最小化损失函数，而使D1和D2最大化的对抗方式，损失函数中设置λ1＝λ3＝1和λ2＝λ4＝100；增强网络性能，输出更加真实的结果。
采用本技术方案的有益效果：
本发明提出了用于跨模态MRI合成的新型架构，基于条件生成对抗网络(GAN)，并在网络中引入了模态代表特征提取(MRFE)策略，构成本发明提出的MRFE-GAN模型。通过MRFE-GAN模型提取目标模态的代表性特征并将其与源模态的基础信息合并，从源模态中准确合成目标模态。所提出的方法在定性和定量方面均优于最新的图像合成方法，并获得了更好的性能。
本发明将模态分为两个不同级别的信息，分别称为基础信息和代表信息，并使用两种不同的网络结构提取它们。使用结构完全不同的两个编码器将模态编码为两种不同的信息，分别用于提取基础信息和代表信息。目标模态不适用于测试集，因此，在MRFE模块之前，提出了RESNET模块以生成中间模态作为伪目标模态；考虑到测试过程中目标形态的隐蔽性，采用残差网络来合成中间结果作为代表信息的来源。此外，在解码阶段，不是将提取的基础信息和代表信息直接融合，而是将AdaIN层添加到解码器，并将代表信息作为其移位和缩放参数，以完成信息融合过程，融合了两个不同级别的信息。获得了更加真实有效的目标模态。能够有效克服跨域模态之间的信息差异，能够有效地提取不同级别的数据；有效地减少合成模态和真实目标模态的差异，使得合成图像更加真实可靠。
本发明中MRFE-GAN模型由一个残差网络和一个MRFE网络组成，该MRFE网络包括两个编码器(即基础编码器和代表编码器)和一个解码器。与传统的深度神经网络相比，具有优势为：(1)与直接将源模态作为输入以生成合成目标模态的传统GAN不同，本发明网络中的MRFE体系结构同时考虑了两个基本特征源模态的信息和目标模态的代表性特征信息，以生成合成的目标模态；两个编码器分别提取不同层次的信息，一方面在进行信息融合时能得到更加好的融合效果，另一方面会使得图像融合更加灵活，通过不同模块之间的底层信息与代表性信息融合可以得到不同的融合图像；(2)为了从目标模态中提取代表信息，采用残差网络(RESNET)生成中间模态作为伪目标模态有助于代表性编码器进行编码；(3)代替直接融合上述两种信息，将代表信息的标准差和均值用作解码器中自适应实例归一化层的平移和缩放参数，并在此完成特征空间信息融合过程方式，通过在特征空间进行分布形式的转换，可以加快融合的速度并不带来计算成本；(4)在每个卷积层之后，不使用批处理归一化(BN)，而是使用实例归一化(IN)来保持不同MRI模式实例之间的差异。
附图说明
图1为本发明的基于形态特征GAN的跨模态MRI合成方法的流程示意图；
图2为本发明实施例中基于形态特征GAN的跨模态MRI合成方法的拓扑结构示意图；
图3为本发明实施例中残差网络模块的结构示意图；
图4为本发明实施例中基础编码器的结构示意图；
图5为本发明实施例中代表性编码器的结构示意图；
图6为本发明实施例中本方法和现有方法从T1合成T2的合成模态结果对比图；
图7为本发明实施例中本方法和现有方法从T2合成FLAIR的合成模态结果对比图；
图8为本发明实施例中本方法和现有方法从PD合成T2的合成模态结果对比图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面结合附图对本发明作进一步阐述。
在本实施例中，参见图1和图2所示，本发明提出了基于形态特征GAN的跨模态MRI合成方法，
基于形态特征GAN的跨模态MRI合成方法，包括步骤：
建立MRFE-GAN模型，包括残差网络模块和模态代表特征提取模块；
源模态通过残差网络模块获取到伪目标模态；
通过模态代表特征提取模块提取伪目标模态的代表性特征并将其与源模态的基础信息合并，融合生成合成目标模态。
作为上述实施例的优化方案，所述残差网络模块将源模态作为输入，在所述残差网络模块中通过建立中间模态，以模拟目标模态构成伪目标模态。在图像合成任务中，输入和输出之间的特征信息完全不同，这意味着需要更深的网络来提高合成性能，在加深的过程中，可能会导致网络难以优化，从而降低性能，因此在残差网络模块利用生成中间模态能够有效克服此问题。
如图3所示，所述残差网络模块包括依次运行的3个下采样块、12个残差块(ResBlock)和3个反卷积层；所述下采样块将特征图的数量从1增加到256，并且每个下采样块包括依次运行的卷积(Conv)、实例归一化(instanceNorm)和ReLU层；所述残差块包括依次运行的填充(padding)、卷积(Conv)、实例归一化(instanceNorm)和ReLU层；所述反卷积层依次运行的反卷积(ConvT)、实例归一化(instanceNorm)、ReLU层和激活函数(Tanh)。通过实例归一化能够有效来维护每个卷积层之后每个模态实例的独立性。
作为上述实施例的优化方案，所述MRFE-GAN模型中的模态代表特征提取模块包括基础编码器、代表性编码器和解码器；将源模态输入所述基础编码器，由基础编码器从源模态提取基础信息；将伪目标模态输入所述代表性编码器，由代表性编码器从伪目标模态提取代表信息；所述基础编码器和代表性编码器并行连接至解码器，通过所述解码器将基础信息和代表信息融合生成合成目标模态。
在所述模态代表特征提取模块中，输入源模态x和伪目标模态y′，模态分布分别为P(x)和P(y)；在各个模态在且自有空间内分解为两个不同的分布，分别为：P(x1|x)和P(x2|x)，P(y1|y)和P(y2|y)；其中P(x1|x)和P(y1|y)是各个模态结构的基础分布，P(x2|x)和P(y2|y)是各个模态结构的表示分布，两种模态之间的差异通过P(x2|x)和P(y2|y)体现，模态自有的代表特征；
在所述模态代表特征提取模块通过融合P(x1|x)和P(y2|y)获得基于x模态结构的y′模态代表特征；或者，在所述模态代表特征提取模块通过融合P(x2|x)和P(y1|y)获得基于y模态结构的x模态代表特征。
如图4所示，所述基础编码器包括依次运行的3个下采样块和4个残差块，所述下采样块包括依次运行的卷积(Conv)、实例归一化(instanceNorm)和ReLU层，所述残差块包括依次运行的填充(padding)、卷积(Conv)、实例归一化(instanceNorm)和ReLU层；
如图5所示，所述代表性编码器包括5组卷积层和ReLU层组合、全局平均池化层(AdaptiveAvgPool)、3组线性层(Linear)；在代表性编码器的每个ReLU层之前丢弃所有实例归一化层，再利用全局平均池化将每个二维特征通道转换为实数，然后在三组线性层中对通道之间的相关性进行建模，以获得代表信息的平均值和标准差；在提高合成识别精度的基础上，以克服实例归一化造成删除重要代表信息的原始特征均值和标准差的问题；
所述解码器，将代表编码器获得的标准差和平均值合并为解码器的自适应实例归一化层的比例参数和移位参数，从而将基础信息和代表信息融合生成合成目标模态。
所述解码器将基础信息和代表信息融合生成合成目标模态的步骤包括：
首先，由自适应实例归一化层进行规范化α：
其中，α是自适应实例归一化层的输入的代表信息，Δ(α)和Ξ(α)分别为代表信息α的标准差和平均值；
然后，对规范化后的α乘以比例参数，并添加一个移位参数；完成两种信息的融合，达到重构模态生成合成目标模态：
α″＝Δ′*α′+Ξ′；
其中，比例参数为代表信息的标准差，移位参数是代表信息的平均值。
作为上述实施例的优化方案，还包括第一鉴别模块和第二鉴别模块，向第一鉴别模块中输入真实目标模态和伪目标模态进行损失计算；向第二鉴别模块中输入合成目标模态和真实目标模态进行损失计算；结合第一鉴别模块和第二鉴别模块的损失计算构成MRFE-GAN模型的总损失函数，对总损失函数进行优化训练使最小化损失函数，通过调整参数优化伪目标模态，以提高合成结果真实度。
在所述残差网络模块中根据源模态x生成伪目标模态G(x)，利用伪目标模态G(x)作为模态代表特征提取模块的一个输入来提取代表特征信息，具体过程为：
将伪目标模态G(x)放入第一鉴别模块D1中进行首次损失计算：
LRESNET(G，D1)＝Ey[logD1(y)]+Ex[log(1-D1(G(x))]；
其中，y是目标模态，E是输入输出的期望值；
采用L1损失重建损失有助于网络捕获合成模态中目标模态的整体外观特征和相对粗略的特征：
LRESNET-L1(G)＝Ex，y[||y-G(x)||1]；
由模态代表特征提取模块，它将x和G(x)作为输入并输出合成目标模态M(x，G(x))，合成目标模态M(x，G(x))放入鉴别模块D2中进行损失计算：
LMRFE(M，D2)＝Ey[logD2(y)]+Ex，G(x)[log(1-D2(M(x，G(x))))]；
使用L1损失来计算合成目标模态与真实目标模态之间的差：
LMRFE-L1(M)＝Ex，G(x)，y[||y-M(x，G(x))||1]；
所述MRFE-GAN模型的总损失函数为：
Ltotal＝λ1LRESNET(G，D1)+λ2LRESNET-L1(G)+λ3LMRFE(M，D2)+λ4LMRFE-L1(M)；
在训练过程中通过使最小化损失函数，而使D1和D2最大化的对抗方式，损失函数中设置λ1＝λ3＝1和λ2＝λ4＝100；增强网络性能，输出更加真实的结果。
通过进行了广泛的实验验证本方法的优势，实验主要在多模式脑肿瘤分割(BRATS)数据集1和非剥离图像(I×I)数据集2上进行。以评估提出的模型并将其与两种最新的比较方法进行比较。具体来说，由于所提出模型的主要贡献是从目标模态中引入了代表信息进行合成，因此首先研究了MRFE模块中代表编码器的优势。然后，使用BRATS数据集研究了该模型在从T1模态合成T2以及从T2模态合成FLAIR方面的性能。最后，在尚未在I×I数据集上进行头骨剥离的图像中显示了合成目标模态。
为了验证在MRFE-GAN模型中使用代表性编码器的优势：通过对使用代表性编码器的MRFE-GAN模型和不使用代表性编码器的MRFE-GAN模型之间(MRFE-GAN w/oRE)进行比较实验。表1和表2给出了BRATS数据集(T1至T2)和I×I数据集(PD至T2)的定量比较结果，括号中为标准差。如表1和表2所示，与没有代表性编码器的结构相比，结合了代表性信息的结果表明，在两个数据集上，峰值信噪比PSNR和结构相似性SSIM都有一定程度的增长，而标准均方根误差NRMSE则出现了一定程度的下降。这意味着目标模态提供的代表性信息有利于提高模态合成的性能。代表编码器提取代表信息对于改善单模态合成任务中的合成性能是必要的。
表1
表2
通过BRATS数据集上利用本发明提出的方法，验证从T1合成T2的模型的性能。图6给出了使用不同方法合成目标模态的示例，通过图中显示可以看出，所提出的模型(MRFE-GAN)产生在结构和细节方面(如箭头所示)比现有的MILR模型和p-GAN模型的方式具有更高的视觉质量。本发明提出的模型结果能够更好地保留合成T2图像中的详细信息。为了进行定量比较，在表3中列出了通过不同方法获得的平均合成目标模态；该表显示，与其他两种方法相比，本发明方法获得的所有三个指标均得到了显着改善，尤其是对于PSNR值。
表3
通过IXI数据集上利用本发明提出的方法，验证从PD合成T2的模型的性能。目前在进行检测时，由于被明亮的皮肤和脂肪区域包围的深色头骨区域在MRI图像中引起强度不均匀，因此难以合成非头骨绊倒的图像。在本实验中，将非剥离图像的IXI数据集从PD合成T2。图8可以看出，与MILR和P-GAN两种最新方法相比，本发明模型倾向于以最小的差异更好地保留合成的T2图像中的详细信息。表5列出了不同方法的定量比较结果，可以看到，与MILR和P-GAN相比，本发明方法的所有三个指标都有显着改善。
表5
以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。
Claims (3)
1.基于形态特征GAN的跨模态MRI合成方法，其特征在于，包括步骤：
建立MRFE-GAN模型，包括残差网络模块和模态代表特征提取模块；
源模态通过残差网络模块获取到伪目标模态；
通过模态代表特征提取模块提取伪目标模态的代表性特征并将其与源模态的基础信息合并，融合生成目标模态；
其中，所述残差网络模块将源模态作为输入，在所述残差网络模块中通过建立中间模态，以模拟目标模态构成伪目标模态；
所述残差网络模块包括依次运行的3个下采样块、12个残差块和3个反卷积层；所述下采样块将特征图的数量从1增加到256，并且每个下采样块包括依次运行的卷积、实例归一化和ReLU层；所述残差块包括依次运行的填充、卷积、实例归一化和ReLU层；所述反卷积层依次运行的反卷积、实例归一化、ReLU层和激活函数；
其中，所述MRFE-GAN模型中的模态代表特征提取模块包括基础编码器、代表性编码器和解码器；将源模态输入所述基础编码器，由基础编码器从源模态提取基础信息；将伪目标模态输入所述代表性编码器，由代表性编码器从伪目标模态提取代表信息；所述基础编码器和代表性编码器并行连接至解码器，通过所述解码器将基础信息和代表信息融合生成合成目标模态；
在所述模态代表特征提取模块中，输入源模态x和伪目标模态y′，模态分布分别为P(x)和P(y)；在各个模态在且自有空间内分解为两个不同的分布，分别为：P(x1|x)和P(x2|x)，P(y1|y)和P(y2|y)；其中P(x1|x)和P(y1|y)是各个模态结构的基础分布，P(x2|x)和P(y2|y)是各个模态结构的表示分布；两种模态之间的差异通过P(x2|x)和P(y2|y)体现，它们可视为模态自有的代表特征；
在所述模态代表特征提取模块通过融合P(x1|x)和P(y2|y)获得基于x模态结构的y′模态代表特征；或者，在所述模态代表特征提取模块通过融合P(x2|x)和P(y1|y)获得基于y模态结构的x模态代表特征；
其中，所述基础编码器包括依次运行的3个下采样块和4个残差块，所述下采样块包括依次运行的卷积、实例归一化和ReLU层，所述残差块包括依次运行的填充、卷积、实例归一化和ReLU层；
所述代表性编码器包括5组卷积层和ReLU层组合、全局平均池化层、3组线性层；在代表性编码器的每个ReLU层之前丢弃所有实例归一化层，再利用全局平均池化将每个二维特征通道转换为实数，然后在三组线性层中对通道之间的相关性进行建模，以获得代表信息的平均值和标准差；
所述解码器，将代表编码器获得的标准差和平均值合并为解码器的自适应实例归一化层的比例参数和移位参数，从而将基础信息和代表信息融合生成合成目标模态；
所述解码器将基础信息和代表信息融合生成合成目标模态的步骤包括：
首先，由自适应实例归一化层进行规范化α：
其中，α是自适应实例归一化层的输入的代表信息，Δ(α)和Ξ(α)分别为代表信息α的标准差和平均值；
然后，对规范化后的α′乘以比例参数，并添加一个移位参数；完成两种信息的融合，达到重构模态生成合成目标模态：
α″＝Δ′*α′+Ξ′：
其中，比例参数为由形态编码器所提取的代表信息的标准差，移位参数是代表信息的平均值。
2.根据权利要求1所述的基于形态特征GAN的跨模态MRI合成方法，其特征在于，还包括两个判别器模块；向第一个判别器模块中输入真实目标模态和伪目标模态进行损失计算；向第二个判别器模块中输入合成目标模态和真实目标模态进行损失计算；结合第一个判别器模块和第二个判别器模块的损失计算构成MRFE-GAN模型的总损失函数，对总损失函数进行优化训练使最小化损失函数，通过调整参数优化所合成的目标模态。
3.根据权利要求2所述的基于形态特征GAN的跨模态MRI合成方法，其特征在于，在所述残差网络模块中根据源模态x生成伪目标模态G(x)，利用伪目标模态G(x)作为模态代表特征提取模块的一个输入来提取代表特征信息，具体过程为：
将伪目标模态G(x)放入第一鉴别模块D1中进行首次损失计算：
LRESNET(G，D1)＝Ey[logD1(y)]+Ex[log(1-D1(G(x))]；
其中，y是目标模态，E是输入输出的期望值；
采用L1损失重建损失有助于网络捕获合成模态中目标模态的整体外观特征和相对粗略的特征：
LRESNET-L1(G)＝Ex，y[||y-G(x)||1]；
由模态代表特征提取模块，它将x和G(x)作为输入并输出合成目标模态M(x，G(x))，合成目标模态M(x，G(x))放入鉴别模块D2中进行损失计算：
LMRFE(M，D2)＝Ey[logD2(y)]+Ex，G(x)[log(1-D2(M(x，G(x))))]；
使用L1损失来计算合成目标模态与真实目标模态之间的差：
LMRFE-L1(M)＝Ex，G(x)，y[||y-M(x，G(x))||1]；
所述MRFE-GAN模型的总损失函数为：
Ltotal＝λ1LRESNET(G，D1)+λ2LRESNET-L1(G)+λ3LMRFE(M，D2)+λ4LMRFE-L1(M)；
在训练过程中通过使最小化损失函数，而使D1和D2最大化的对抗方式，损失函数中设置λ1＝λ3＝1和λ2＝λ4＝100。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911113248.8A CN110827232B (zh) | 2019-11-14 | 2019-11-14 | 基于形态特征gan的跨模态mri合成方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911113248.8A CN110827232B (zh) | 2019-11-14 | 2019-11-14 | 基于形态特征gan的跨模态mri合成方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110827232A CN110827232A (zh) | 2020-02-21 |
| CN110827232B true CN110827232B (zh) | 2022-07-15 |
Family
ID=69555297
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911113248.8A Expired - Fee Related CN110827232B (zh) | 2019-11-14 | 2019-11-14 | 基于形态特征gan的跨模态mri合成方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110827232B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3872754A1 (en) * | 2020-02-28 | 2021-09-01 | Siemens Healthcare GmbH | Method and system for automated processing of images when using a contrast agent in mri |
| CN111524147B (zh) * | 2020-04-14 | 2022-07-12 | 杭州健培科技有限公司 | 一种基于生成式对抗网络的脑肿瘤分割方法 |
| CN111797891A (zh) * | 2020-05-21 | 2020-10-20 | 南京大学 | 基于生成对抗网络的非成对异质人脸图像生成方法、装置 |
| CN111862261B (zh) * | 2020-08-03 | 2022-03-29 | 北京航空航天大学 | 一种flair模态磁共振影像生成方法及*** |
| CN113012086B (zh) * | 2021-03-22 | 2024-04-16 | 上海应用技术大学 | 一种跨模态图像的合成方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2002076489A1 (en) * | 2001-03-09 | 2002-10-03 | Dyax Corp. | Serum albumin binding moieties |
| CN109213876A (zh) * | 2018-08-02 | 2019-01-15 | 宁夏大学 | 基于生成对抗网络的跨模态检索方法 |
| CN110047056A (zh) * | 2018-01-16 | 2019-07-23 | 西门子保健有限责任公司 | 用深度图像到图像网络和对抗网络的跨域图像分析和合成 |
| CN110210422A (zh) * | 2019-06-05 | 2019-09-06 | 哈尔滨工业大学 | 一种基于光学图像辅助的舰船isar像识别方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20030083652A1 (en) * | 2001-10-31 | 2003-05-01 | Oratec Interventions, Inc | Method for treating tissue in arthroscopic environment |
-
2019
- 2019-11-14 CN CN201911113248.8A patent/CN110827232B/zh not_active Expired - Fee Related
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2002076489A1 (en) * | 2001-03-09 | 2002-10-03 | Dyax Corp. | Serum albumin binding moieties |
| CN110047056A (zh) * | 2018-01-16 | 2019-07-23 | 西门子保健有限责任公司 | 用深度图像到图像网络和对抗网络的跨域图像分析和合成 |
| CN109213876A (zh) * | 2018-08-02 | 2019-01-15 | 宁夏大学 | 基于生成对抗网络的跨模态检索方法 |
| CN110210422A (zh) * | 2019-06-05 | 2019-09-06 | 哈尔滨工业大学 | 一种基于光学图像辅助的舰船isar像识别方法 |
Non-Patent Citations (5)
| Title |
|---|
| Prevalence of spinal pathology in patients presenting for lumbar MRI as referred from general practice;Evelien de Schepper等;《Family Practice》;20160228;第33卷(第1期);51-56 * |
| Statistical iterative reconstruction using adaptive fractional order regularization;Yan Wang 等;《Biomedical Optics Express》;20160301;第7卷(第3期);1015-1029 * |
| 不同分子亚型乳腺癌的MRI和病理特征初探;于洋 等;《中华放射学杂志》;20140310;第48卷(第3期);184-188 * |
| 基于U-net模型的全自动鼻咽肿瘤MR图像分割;潘沛克 等;《计算机应用》;20181116;第39卷(第4期);1183-1188 * |
| 基于相似度的双搜索多目标识别算法;冷何英等;《红外与激光工程》;20021225(第06期);3-6 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110827232A (zh) | 2020-02-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110827232B (zh) | 基于形态特征gan的跨模态mri合成方法 | |
| Liu et al. | Multimodal MR image synthesis using gradient prior and adversarial learning | |
| CN110288609B (zh) | 一种注意力机制引导的多模态全心脏图像分割方法 | |
| CN113554669B (zh) | 一种改进注意力模块的Unet网络脑肿瘤MRI图像分割方法 | |
| CN114266939B (zh) | 一种基于ResTLU-Net模型的脑提取方法 | |
| CN112365556B (zh) | 一种基于感知损失和风格损失的图像扩展方法 | |
| CN112634265B (zh) | 基于dnn的胰腺全自动分割模型的构建、分割方法及*** | |
| CN113222852B (zh) | 一种增强ct图像的重建方法 | |
| CN114170244A (zh) | 一种基于级联神经网络结构的脑胶质瘤分割方法 | |
| CN113674330A (zh) | 一种基于生成对抗网络的伪ct影像生成*** | |
| CN116188452A (zh) | 医学图像层间插值及三维重建方法 | |
| CN114140341A (zh) | 一种基于深度学习的磁共振图像非均匀场校正方法 | |
| CN117437420A (zh) | 一种跨模态医学影像分割方法及*** | |
| CN117769722A (zh) | 用于断层成像的基于生成对抗网络的无损图像压缩模型 | |
| CN109741439B (zh) | 一种二维mri胎儿图像的三维重建方法 | |
| CN112785540B (zh) | 一种扩散加权图像的生成***及方法 | |
| CN117333750A (zh) | 空间配准与局部全局多尺度的多模态医学图像融合方法 | |
| CN115861464A (zh) | 基于多模mri同步生成的伪ct合成方法 | |
| CN116563402A (zh) | 跨模态mri-ct图像合成方法、***、设备和介质 | |
| CN114820636A (zh) | 一种三维医学图像分割模型及其训练方法和应用 | |
| CN115908451A (zh) | 一种结合多视图几何及迁移学习的心脏ct影像分割方法 | |
| CN114332271A (zh) | 基于静态pet图像的动态参数图像合成方法、*** | |
| CN113052840A (zh) | 一种基于低信噪比pet图像的处理方法 | |
| Larroza et al. | Deep learning for MRI-based CT synthesis: A comparison of MRI sequences and neural network architectures | |
| Szűcs et al. | Self-supervised segmentation of myocardial perfusion imaging SPECT left ventricles |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20220715 |