CN114170118A - 基于由粗到精学习的半监督多模态核磁共振影像合成方法 - Google Patents
基于由粗到精学习的半监督多模态核磁共振影像合成方法 Download PDFInfo
- Publication number
- CN114170118A CN114170118A CN202111226162.3A CN202111226162A CN114170118A CN 114170118 A CN114170118 A CN 114170118A CN 202111226162 A CN202111226162 A CN 202111226162A CN 114170118 A CN114170118 A CN 114170118A
- Authority
- CN
- China
- Prior art keywords
- data
- network
- mode
- image
- modal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000005481 NMR spectroscopy Methods 0.000 title claims abstract description 11
- 238000001308 synthesis method Methods 0.000 title claims abstract description 11
- 238000013507 mapping Methods 0.000 claims abstract description 54
- 238000000034 method Methods 0.000 claims abstract description 30
- 238000009826 distribution Methods 0.000 claims abstract description 27
- 230000015572 biosynthetic process Effects 0.000 claims abstract description 26
- 238000003786 synthesis reaction Methods 0.000 claims abstract description 26
- 230000002708 enhancing effect Effects 0.000 claims abstract description 18
- 230000002194 synthesizing effect Effects 0.000 claims abstract description 7
- 238000012549 training Methods 0.000 claims description 41
- 230000006870 function Effects 0.000 claims description 18
- 125000004122 cyclic group Chemical group 0.000 claims description 11
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 10
- 230000003042 antagnostic effect Effects 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000005457 optimization Methods 0.000 claims description 3
- 238000005520 cutting process Methods 0.000 claims description 2
- 238000003745 diagnosis Methods 0.000 abstract description 5
- 201000010099 disease Diseases 0.000 abstract description 5
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 abstract description 5
- 238000013421 nuclear magnetic resonance imaging Methods 0.000 description 17
- 238000010586 diagram Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 7
- 238000002591 computed tomography Methods 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- 230000002829 reductive effect Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000000670 limiting effect Effects 0.000 description 2
- 230000000717 retained effect Effects 0.000 description 2
- 210000001519 tissue Anatomy 0.000 description 2
- 239000002699 waste material Substances 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000003759 clinical diagnosis Methods 0.000 description 1
- 230000007012 clinical effect Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 210000005257 cortical tissue Anatomy 0.000 description 1
- 230000001351 cycling effect Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 239000012530 fluid Substances 0.000 description 1
- 210000004884 grey matter Anatomy 0.000 description 1
- 239000012216 imaging agent Substances 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000011229 interlayer Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000004256 retinal image Effects 0.000 description 1
- 210000001210 retinal vessel Anatomy 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 210000004885 white matter Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10104—Positron emission tomography [PET]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30041—Eye; Retina; Ophthalmic
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种基于由粗到精学习的半监督多模态核磁共振影像合成方法。该方法包括：利用所有病例的多模态数据集构造大部分不成对数据和少部分成对数据，构造包括生成网络和增强网络的MRI合成模型，利用全部数据对生成网络进行训练，利用少部分成对数据对增强网络进行训练，将源模态的影像输入训练好的生成网络中，利用学习得的跨模态分布映射关系将源模态的影像映射为对应的目标模态的粗合成影像，并输入到训练好的增强网络，增强网络对目标模态的粗合成影像进行精细化增强，得到目标模态的跨模态合成MR影像。本发明方法可以应用于跨模态医学影像合成中，使用患者已有的源模态影像合成目标模态影像，为辅助医生进行疾病诊断提供帮助。
Description
技术领域
本发明涉及图像处理技术领域，尤其涉及一种基于由粗到精学习的半监督多模态核磁共振影像合成方法。
背景技术
近年来，随着在图像、医疗保健、传感器网络、多感知设备等数字化信息建设的快速发展，多模态数据(Multi-modal Data)的产生和收集变得更加方便和容易。所谓多模态数据是指对于同一个样本语义对象，有多种来源或形式的信息，这些信息对该样本从不同角度进行了有效地描述。例如，当我们浏览网页时，网页中关于某对象的描述可能包含图片、文字以及超链接等。相较于单模态数据而言,多模态数据包含更多信息，综合考虑多模态数据所包含的信息能让我们对样本对象有更深入的了解，因此多模态数据经常应用于医学领域。例如，MRI(Nuclear Magnetic Resonance Imaging，核磁共振成像)中T1加权的大脑图像清楚地区分显示了灰质和白质组织，而T2加权的图像则区分显示了液体和皮质组织。同时MRI还具备无辐射的优势，相较于辐射量较大的CT(Computed Tomography，电子计算机断层扫描)成像而言更容易被病人所接受，因此在目前的临床实践中被广泛使用来进行疾病的辅助诊断。
然而在实际情况中，由于对某些显影剂过敏、机器设置不正确、噪声过于严重和扫描费用等原因，一些患者采集的MRI可能会出现某些模态影像的缺失或者完全无法使用，这将对临床诊断和治疗产生不利影响。而且在这种情况下，许多需要完整的多模态数据的下游分析模型往往不能达到预期的理想效果。
对于这种问题，一个简单的解决方案是直接丢弃有模态缺失的数据，只采用剩余的完整多模态数据，但这将导致很多有用信息的浪费。因此，研究如何从其他成功获得的模态影像合成缺失或损坏的模态影像具有潜在应用价值。
为了解决上述问题，跨模态医学影像合成引起了研究人员的极大关注。深度神经网络凭借其强大的学习能力在计算机视觉的各种任务中都表现出了非常优越的性能，在医学领域也不例外。就医学影像而言，近几年深度学习已经被广泛地应用于跨模态医学影像合成并取得了巨大的成功，其中重要的应用涉及CT到PET的合成，MRI到CT的合成，CT到MRI的合成，以及视网膜血管图到彩色眼底视网膜图像的合成。在多模态MRI合成领域也有很多有效的方法。
目前，现有技术中的一种基于深度学习的跨模态医学影像合成方法包括：采用监督学习模型的方法。监督学习模型通过利用成对多模态数据使深度网络学习源模态图像到目标模态图像的非线性映射。该方法的缺点为：由于现实条件下的种种原因，成对多模态数据获取难度很大，数据集中往往存在很大比例的不成对数据，如果直接丢弃不成对数据会在很大程度上造成有用信息的浪费，而只利用少量的成对数据进行训练会导致需要大量成对数据的监督学习模型无法达到理想的效果。
发明内容
本发明的实施例提供了一种基于由粗到精学习的半监督多模态核磁共振影像合成方法，以克服现有技术的问题。
为了实现上述目的，本发明采取了如下技术方案。
一种基于由粗到精学习的半监督多模态核磁共振影像合成方法，包括：
利用所有病例的多模态数据集构造大部分不成对数据和少部分成对数据，利用所述大部分不成对数据模拟现实中大部分有模态缺失的数据，利用所述少部分成对数据模拟现实中少部分完整多模态数据；
构造包括生成网络和增强网络的半监督多模态MRI合成模型，利用所述全部数据对所述生成网络进行训练，得到训练好的生成网络，利用所述少部分成对数据对所述增强网络进行训练，得到训练好的增强网络；
将源模态的影像输入训练好的生成网络中，利用生成网络学习得的跨模态分布映射关系将源模态的影像映射为对应的目标模态的粗合成影像，将所述目标模态的粗合成影像输入训练好的增强网络，所述增强网络对所述目标模态的粗合成影像进行精细化增强，得到目标模态的跨模态合成MR影像。
优选地，所述的利用所有病例的多模态数据集构造大部分不成对数据和少部分成对数据，包括：
获取所有病例的T1、T2模态数据，把每个病例的各个模态的体数据线性归一化到[-1，1]的范围；
将每个病例的各个模态的体数据的尺寸由155*240*240裁剪为155*192*168；
构造训练数据时分别保留100％的病例，50％病例，20％病例，10％病例和仅有一个病例的完整成对多模态数据，同时对于其余的病例，破坏这些病例内部的多模态数据配准性，将每个病例的一种模态的体数据与另一个病例的另一种模态的体数据结合起来形成不成对数据；
将每对体数据都划分为155个切片，逐切片输入网络中进行训练，以适应slice-by-slice的影像合成方式。
优选地，所述的构造包括生成网络和增强网络的MRI合成模型，利用所述全部数据对所述生成网络进行训练，得到训练好的生成网络，包括：
采用CycleGAN网络作为MRI合成模型的生成网络，该生成网络包括两个模态的生成器和判别器，所述生成器利用源域数据生成与目标域中的数据相似的数据，所述判别器将生成的目标域数据与真实数据区分开来，所述生成网络的损失函数包括对抗损失和循环一致损失，利用所述全部数据对所述生成网络进行训练，通过在训练过程中迭代降低对抗损失和循环一致损数来优化生成网络的参数，利用生成网络从全部的不成对数据和成对数据中学习不同模态之间的跨模态分布映射关系：
假设生成网络CycleGAN中的两个生成器G和F分别学习的是从A模态到B模态的分布映射和从B模态到A模态的分布映射，相应的判别器分别为DA和DB，负责鉴别相应的两个模态数据的真假，令MR影像的T1模态为A模态，令T2模态为B模态；
对于来自A模态
和B模态的数据b∈χB，采用对抗损失来训练两个映射方向的生成器和相应的判别器，从A模态到B模态方向映射的对抗损失表示为：
从B模态到A模态方向映射的对抗损失表示为：
循环一致损失表示为：
总体损失函数为：
优化目标函数为：
G，F分别为生成网络中对应A、B模态的生成器，DA和DB分别为对应的判别器。argminmax指的是：更新G和DB、F和DA的网络参数使得DB和DA使损失函数尽可能大而G和F使损失函数尽可能小。
优选地，所述的将所述目标模态的粗合成影像输入训练好的增强网络，所述增强网络对所述目标模态的粗合成影像进行精细化增强，得到目标模态的跨模态合成MR影像，包括：
对于来自A模态和B模态的成对数据
分别采用生成网络中的两个生成器G和F先初步合成参考图像G(aP)和F(bP)，再用两个去噪自编码器进行两个方向上粗合成图像的精细化增强；在增强网络中试验了不同数量的残差块对合成性能的影响，综合考虑生成结果和计算开销来确定增强网络结构中的残差块数量。
由上述本发明的实施例提供的技术方案可以看出，本发明实施例方法可以应用于跨模态医学影像合成中，使用患者已有的源模态影像合成目标模态影像，为辅助医生进行疾病诊断提供帮助。
本发明附加的方面和优点将在下面的描述中给出，这些将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例的问题定义示意图；
图2为本发明实施例提供的一种基于由粗到精学习的半监督多模态核磁共振影像合成方法的整体框架示意图；
图3为本发明实施例提供的一种基于由粗到精学习的半监督多模态核磁共振影像合成方法的处理流程图；
图4为本发明实施例的循环一致对抗网络(CycleGAN)示意图；
图5为本发明实施例提供的一种增强网络结构图；
图6为本发明实施例提供的一种的T1模态合成性能实验图；
图7为本发明实施例提供的一种的T2模态合成性能实验图；
图8为本发明实施例提供的一种不同数量残差块的增强网络效果定性对比图；
图9为本发明实施例提供的一种不同数量残差块的增强网络效果定量对比图。
具体实施方式
下面详细描述本发明的实施方式，所述实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的任一单元和全部组合。
本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。
为便于对本发明实施例的理解，下面将结合附图以几个具体实施例为例做进一步的解释说明，且各个实施例并不构成对本发明实施例的限定。
对抗学习技术使得深度网络可以从海量不成对数据中学习不同模态的数据分布和跨模态分布映射关系，拥有这一特点的无监督学习模型可以在一定程度上降低对训练数据集质量的要求。
如附图1所示，与现有的跨模态医学影像合成技术相比，本发明旨在从存在大量有模态缺失的数据和少量完整多模态数据的情况下更好地跨模态合成MR(MagneticResonance，磁共振)影像。
图2为本发明实施例的基于由粗到精学习的半监督多模态核磁共振影像合成方法的整体框架示意图，因此本发明首先从现有数据集构造大量不成对数据和少量成对数据，再利用包括生成网络和增强网络的半监督多模态MRI合成模型通过由粗到精的学习策略，从全部不成对数据和成对数据中学习不同模态之间的跨模态分布映射关系、从少量成对数据中学习同一病例内多个模态图像之间的细节差异。在本发明中，半监督学习是指使用大量不成对数据和少量成对数据进行训练，无监督学习是指仅使用不成对数据，监督学习是指仅使用成对数据，其中成对数据是指来自同一患者的两种模态的MR图像、不成对数据是指来自不同患者的两种模态的MR图像。在本发明提出的模型中，采用无监督对抗学习方式训练的生成网络从所有数据(包括全部不成对数据和成对数据)中学习多模态数据分布信息，同时初步合成目标模态参考影像，以监督学习的方式训练增强网络使其学习只存在于成对数据中的样本级图像细节信息，以对生成网络的粗合成结果进行增强。模型训练时，这两部分分成两个阶段进行：第一阶段训练生成网络、第二阶段训练增强网络。通过不成对数据和成对数据的结合使用，本发明实施例模型可以实现半监督学习的优势。在模型训练完成后，在推理阶段即测试阶段，它可以用任何给定的输入模态影像合成相应的目标模态影像。
本发明实施例提供的一种基于由粗到精学习的半监督多模态核磁共振影像合成方法的处理流程如图3所示，包括如下的处理步骤：
步骤S10、利用所有病例的多模态数据集构造大部分不成对数据和少部分成对数据，利用所述大部分不成对数据模拟现实中大部分有模态缺失的数据，利用所述少部分成对数据模拟现实中少部分完整多模态数据。
步骤S20、构造包括生成网络和增强网络的半监督多模态MRI合成模型，利用所述大部分不成对数据对所述生成网络进行训练，得到训练好的生成网络，利用所述少部分成对数据对所述增强网络进行训练，得到训练好的增强网络。
本发明提出的MRI合成模型是一种架构，包括生成网络和增强网络。该网络架构的训练过程分为两个阶段：第一阶段采用不成对数据训练生成网络，CycleGAN作为本模型中的生成网络，其中包括两个模态的生成器和两个判别器，分别对应两个模态数据，这一过程中采用的损失函数包括对抗损失、循环一致损失，通过在训练过程中降低损失来迭代优化生成网络的参数；第二阶段采用少部分成对数据训练增强网络(也包括两个部分，分别对应两个模态数据)，这一过程采用MAE损失来迭代优化增强网络的参数。
跨模态分布映射关系：网络通过迭代降低对抗损失函数和循环一致损失函数来优化网络参数，然后这个网络参数集合就可以看成是一个映射函数。根据具体任务的不同，网络的输入输出不同，进而学习到的映射关系也就不同。粗合成图像是源模态图像经过生成网络里对应模态的生成器(数据经过网络会由网络参数进行一系列计算)得到的输出。
选取去噪自编码器作为增强网络，利用训练集中的成对数据训练增强网络。
当两个训练阶段都已完成，生成网络和增强网络的参数都已更新完毕，则得到训练完毕的MRI合成模型。
步骤S30、将源模态的影像输入训练好的生成网络中，利用学习得的跨模态分布映射关系将源模态的影像映射为对应的目标模态的粗合成影像，将所述目标模态的粗合成影像输入训练好的增强网络，所述增强网络对所述目标模态的粗合成影像进行精细化增强，得到目标模态的跨模态合成MR影像。
对于训练完毕的MRI合成模型，假定A模态是源模态，B模态为目标模态。本发明将源模态的影像输入生成网络的A模态生成器中，利用学习得的域映射关系(A->B)将A模态影像映射为对应的B模态粗合成影像，然后将B模态粗合成影像输入(这个输入是模型内部自动完成的，不需要人工干预)到B模态的增强网络中，B模态的增强网络对B模态粗合成影像进行精细化增强，得到最终输出的B模态的具有临床效果的跨模态合成MR影像。
若源模态为B模态，情况类似，即：将B模态的影像输入到生成网络的B模态生成器中，利用学习得的域映射关系(B->A)将B模态影像映射为对应的A模态粗合成影像，然后再经A模态增强网络精细化增强。得到最终输出的A模态合成影像。
对于多模态数据，不同模态之间存在跨模态分布映射关系，而同一患者的多个模态图像之间又存在细节差异，但是现实情况下由于种种原因完整多模态数据获取难度很大，数据集中往往存在大量不成对数据。
本发明旨在能够利用现实条件中有缺失的大量多模态数据和少量完整多模态数据更好地跨模态合成医学影像，因此在模型训练时需要构造不成对数据和成对数据，其操作过程如下：
1：为了便于神经网络训练、提升收敛速度，对于所有病例的T1、T2模态数据，我们把每个病例的体数据线性归一化到[-1，1]的范围。
为了适应增强网络的两次下采样-上采样结构，同时为了降低影像中的背景区域对模型学习的影响，将每个体数据的尺寸由155*240*240裁剪为155*192*168。为了验证本发明在不同情况下的有效性，利用多模态数据集构造训练数据时分别保留100％的病例，50％病例，20％病例，10％病例和仅有一个病例的完整成对多模态数据，所构造的成对数据集合记作
多模态MRI数据集BRATS2015中，每个病例都有完整的、配对的多模态影像数据。我们构造训练集时考虑设置不同的实验条件，比如这里提到的“20％病例”就是指保留多模态数据集中20％的病例的完整、配对的多模态影像，将其他80％病例的多模态影像打乱重组，确保每个病例的影像数据都是不配对的。其他情况下，100％病例是就相当于直接用原多模态数据集中的所有病例数据，50％病例就是原数据集中50％的病例保留配对的多模态影像，剩余50％病例打乱配对关系构造不成对数据。剩余情况类似。
同时对于其余的病例，我们破坏这些病例内部的多模态数据配准性，将每个病例的一种模态的体数据与另一个病例的另一种模态的体数据结合起来形成大量的不成对数据，所构造的不成对数据集合记作
例如，对于两个病人甲和乙，病人甲的A模态体数据与病人乙的B模态体数据相结合构成一组不成对数据。
因此为了模拟不同的现实情况，在构建训练数据方面，将训练数据集BRATS2015中五个不同比例的患者的配准多模态体数据构成成对数据：100％、50％、20％、10％和一个病人，其中只有一个病人的成对数据可用是现实条件中最极端的情况。同时对于其他患者，我们破坏这些患者内部的模态配准关系，将每个患者的一种模态的体数据与另一患者的另一种模态的体数据结合起来，形成大量的不成对数据。虽然本发明中使用的是数据集BRATS2015中的T1和T2模态数据，但是对于其他模态数据此架构仍然适用。
由于本***采用slice-by-slice的方式合成影像，因此将每对体数据(包括所有成对数据和不成对数据)都划分为155个切片，然后逐切片输入网络中进行训练。
2：跨模态分布映射学习
就多模态数据而言，如果将每个模态视为一个域，那么每个域都有其相应的数据分布。因此，要实现跨模态合成，必须找到各个域分布之间的映射关系，并通过映射关系将源域中的数据映射到目标域。生成对抗网络所引入的对抗学习使得网络能够学习数据域的分布映射。生成对抗网络由生成器和判别器组成，其中生成器负责尝试利用源域数据生成与目标域中的数据相似的数据，而判别器的目的是将生成的目标域数据与真实数据区分开来，通过对抗学习，可以在不需要多模态成对数据的情况下使模型学习得到域分布映射，这可以最大限度地利用数据集中大量的不成对数据，从而可以避免许多监督学习模型由于多模态成对训练数据量有限而表现不佳的情况。
图4为本发明实施例的循环一致对抗网络(CycleGAN)示意图。在本发明中，将循环一致对抗网络(CycleGAN)作为生成网络，生成网络从多模态数据中学习域分布之间的双向映射关系，在其训练过程中同时利用对抗损失和循环一致损失以提高映射的准确性。经过训练后，循环一致对抗网络学习到的映射关系可用于将给定的源模态图像映射到目标模态，从而实现参考图像的粗合成。
由于CycleGAN本身无法利用成对数据中的空间相关性，所以对其而言输入不成对数据和成对数据的效果相同。因此为了更好地利用已有数据、充分挖掘数据中的域分布信息，下面用所有不成对数据和成对数据训练生成网络以学习跨模态数据域映射关系并由所学到的映射初步合成目标参考影像。其操作过程如下：
如附图4所示，假设生成网络CycleGAN中的两个生成器G和F分别学习的是从A模态到B模态的分布映射和从B模态到A模态的分布映射，相应的判别器分别为DA和DB，负责鉴别相应的两个模态数据的真假。在本发明中，令MR影像的T1模态为A模态，令T2模态为B模态。
对于来自A模态和B模态的数据(无论成对与不成对)
和b∈χB，我们采用对抗损失来训练两个映射方向的生成器和相应的判别器，从A模态到B模态方向映射的对抗损失表示为：
其中，
表数学期望，
表示从A模态的数据分布中的采样出样本a，DB(G(a))表示将A模态的真实样本数据a输入A模态生成器G中得到B模态的生成图像样本，再将该生成图像输入到相应的判别器中得到判别器对该样本的打分；
表示从B模态的数据分布中的采样出样本b，DB(b)表示将B模态的真实样本数据b输入到相应的判别器中得到判别器对该样本的打分。通过对所有样本得分求和再取均值组成从A模态到B模态方向映射(即由生成器G学到)的对抗损失。
从B模态到A模态方向映射的对抗损失表示为：
循环一致损失表示为：
F(G(a))表示将A模态真实数据分布中采样出来的样本a先经过生成器G(学习的是从A模态到B模态方向的映射)生成B模态的合成样本，再将该合成样本输入生成器F(学习的是从B模态到A模态方向的映射)再生成A模态的合成样本。经此循环过程，可以使G、F学习到的模态映射成为一一映射。
第一阶段的总体损失函数为：
优化目标函数为：
G，F分别为生成网络中对应A、B模态的生成器，DA和DB分别为对应的判别器。argminmax指的是：更新G和DB、F和DA的网络参数，尽量使总体损失变小(总体损失变小，则各部分损失也变小。结合图4来看，通过减小从A模态到B模态方向映射的对抗损失来使判别器DB无法分辨接收到的数据是B模态的真实数据还是G由a模态数据合成的假数据，当生成器达到这种可以以假乱真糊弄判别器的程度时，我们就可以认为此时生成器输出的生成图像已经很接近真实图像了。通过减小循环一致损失来确保由生成器参数确定的跨模态映射符合一一映射关系，同时也由于像素级损失的采用使得网络合成的图像质量更好。
3、精细化图像增强
由于不同的结构组织在不同模态的图像中具有不同的视觉效果，因此仅通过循环一致对抗网络学习的域映射很难直接利用源模态图像合成具有临床意义的目标模态图像。因此，由循环一致对抗网络粗合成的图像可以看作是添加了某种噪声的真实图像。为了消除噪声、提高图像质量并使合成的图像对临床应用更有价值，引入了增强网络。在本发明中用去噪自编码器作为增强网络，相比自编码器的学习只是简单地保留原始输入数据的信息而并不能确保获得一种有用的特征表示，去噪自编码器可以通过重构含有噪声的输入数据来解决该问题。受损的输入图像和真实的未损坏输出图像迫使去噪自编码器学习图像的重要特征而忽略不重要的特征，而瓶颈中间层结构的使用使其具有很强的泛化能力。考虑到这一特点，为了保证合成目标模态图像与真实目标模态图像之间的空间相关性，我们使用数据集中的少量成对数据，以监督学习的方式训练去噪自编码器，以增强循环一致对抗网络的粗合成图像。
为了验证本发明的半监督学习特性是否有效，构造训练数据时分别保留100％的病例，50％病例，20％病例，10％病例和仅有一个病例的完整成对多模态数据，同时对于其余的病例，我们破坏这些病例内部的多模态数据配准性形成大量的不成对数据。附图6和附图7展示了本发明提出的半监督学习模型与无监督学习模型CycleGAN在五种情况下的定量性能(PSNR)对比。
由于不同组织在不同模态的图像中具有不同的视觉效果，因此仅通过CycleGAN学习的域映射很难直接从源模态图像合成具有临床意义的目标模态图像。因此，为了保证合成目标模态图像与真实图像之间的空间相关性，我们使用数据集中的少量成对数据，以监督学习的方式训练去噪自编码器，以增强CycleGAN的粗合成图像。本发明实施例提供的一种去噪自编码器的网络结构如附图5所示。
对于来自A模态和B模态的成对数据
我们分别采用生成网络中的两个生成器G和F先初步合成参考图像G(aP)和F(bP)，再用两个去噪自编码器进行两个方向上粗合成图像的精细化增强。利用像素级的损失--平均绝对误差(MAE)训练增强网络即去噪自编码器，损失函数可以表示为：
其中，h，w分别代表图像的高度和宽度，MAE损失为计算两个方向的合成图像和相应真实图像像素级偏差的L1范数的数学期望，增强网络DAE的训练目标是使增强之后的图像与真实图像的像素尽可能的一致。
出于网络性能和计算开销的平衡性考虑，我们在增强网络中试验了不同数量的残差块(0个，1个，2个，4个，6个)对合成性能的影响，结果如附图8和附图9所示。从图8和图9中可以看出，当残差块数量增加时，总的来说在两个方向的合成任务上的视觉效果在变好，但是定量指标有所下降；反之当残差块数量减少时，总的来说在两个方向的合成任务上的视觉效果有所下降，但是定量指标在上升。因此为了综合考虑生成结果和计算开销，本发明实施例增强网络结构最终确定为包含4个残差块(如附图4所示)。
根据以上介绍的技术方案，很容易将本发明应用于跨模态医学影像合成中，使用患者已有的源模态影像合成目标模态影像，为辅助医生进行疾病诊断提供帮助。
综上所述，本发明实施例方法可以应用于跨模态医学影像合成中，使用患者已有的源模态影像合成目标模态影像，为辅助医生进行疾病诊断提供帮助。
本发明提出了一种深度学习架构，可以在数据集中存在大量不成对数据和少量成对数据的情况下更好地进行跨模态影像合成，改善了当前跨模态MRI合成领域内监督学习模型(训练需要大量成对数据)由于实际情况中可用成对训练数据不足而导致的模型效果不佳的情况，也可以改善无监督学习模型(训练时不需要数据配对)由于缺乏监督的样本级信息而导致的模型效果不佳的情况。
本领域普通技术人员可以理解：附图只是一个实施例的示意图，附图中的模块或流程并不一定是实施本发明所必须的。
通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置或***实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的装置及***实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。
Claims (4)
1.一种基于由粗到精学习的半监督多模态核磁共振影像合成方法，其特征在于，包括：
利用所有病例的多模态数据集构造大部分不成对数据和少部分成对数据，利用所述大部分不成对数据模拟现实中大部分有模态缺失的数据，利用所述少部分成对数据模拟现实中少部分完整多模态数据；
构造包括生成网络和增强网络的半监督多模态MRI合成模型，利用所述全部数据对所述生成网络进行训练，得到训练好的生成网络，利用所述少部分成对数据对所述增强网络进行训练，得到训练好的增强网络；
将源模态的影像输入训练好的生成网络中，利用生成网络学习得的跨模态分布映射关系将源模态的影像映射为对应的目标模态的粗合成影像，将所述目标模态的粗合成影像输入训练好的增强网络，所述增强网络对所述目标模态的粗合成影像进行精细化增强，得到目标模态的跨模态合成MR影像。
2.根据权利要求1所述的方法，其特征在于，所述的利用所有病例的多模态数据集构造大部分不成对数据和少部分成对数据，包括：
获取所有病例的T1、T2模态数据，把每个病例的各个模态的体数据线性归一化到[-1，1]的范围；
将每个病例的各个模态的体数据的尺寸由155*240*240裁剪为155*192*168；
构造训练数据时分别保留100％的病例，50％病例，20％病例，10％病例和仅有一个病例的完整成对多模态数据，同时对于其余的病例，破坏这些病例内部的多模态数据配准性，将每个病例的一种模态的体数据与另一个病例的另一种模态的体数据结合起来形成不成对数据；
将每对体数据都划分为155个切片，逐切片输入网络中进行训练，以适应slice-by-slice的影像合成方式。
3.根据权利要求1所述的方法，其特征在于，所述的构造包括生成网络和增强网络的MRI合成模型，利用所述全部数据对所述生成网络进行训练，得到训练好的生成网络，包括：
采用CycleGAN网络作为MRI合成模型的生成网络，该生成网络包括两个模态的生成器和判别器，所述生成器利用源域数据生成与目标域中的数据相似的数据，所述判别器将生成的目标域数据与真实数据区分开来，所述生成网络的损失函数包括对抗损失和循环一致损失，利用所述全部数据对所述生成网络进行训练，通过在训练过程中迭代降低对抗损失和循环一致损数来优化生成网络的参数，利用生成网络从全部的不成对数据和成对数据中学习不同模态之间的跨模态分布映射关系：
假设生成网络CycleGAN中的两个生成器G和F分别学习的是从A模态到B模态的分布映射和从B模态到A模态的分布映射，相应的判别器分别为DA和DB，负责鉴别相应的两个模态数据的真假，令MR影像的T1模态为A模态，令T2模态为B模态；
对于来自A模态
和B模态的数据
采用对抗损失来训练两个映射方向的生成器和相应的判别器，从A模态到B模态方向映射的对抗损失表示为：
从B模态到A模态方向映射的对抗损失表示为：
循环一致损失表示为：
总体损失函数为：
优化目标函数为：
G，F分别为生成网络中对应A、B模态的生成器，DA和DB分别为对应的判别器。argminmax指的是：更新G和DB、F和DA的网络参数使得DB和DA使损失函数尽可能大而G和F使损失函数尽可能小。
4.根据权利要求3所述的方法，其特征在于，所述的将所述目标模态的粗合成影像输入训练好的增强网络，所述增强网络对所述目标模态的粗合成影像进行精细化增强，得到目标模态的跨模态合成MR影像，包括：
对于来自A模态和B模态的成对数据
分别采用生成网络中的两个生成器G和F先初步合成参考图像G(aP)和F(bP)，再用两个去噪自编码器进行两个方向上粗合成图像的精细化增强；在增强网络中试验了不同数量的残差块对合成性能的影响，综合考虑生成结果和计算开销来确定增强网络结构中的残差块数量。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111226162.3A CN114170118A (zh) | 2021-10-21 | 2021-10-21 | 基于由粗到精学习的半监督多模态核磁共振影像合成方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111226162.3A CN114170118A (zh) | 2021-10-21 | 2021-10-21 | 基于由粗到精学习的半监督多模态核磁共振影像合成方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114170118A true CN114170118A (zh) | 2022-03-11 |
Family
ID=80477136
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111226162.3A Pending CN114170118A (zh) | 2021-10-21 | 2021-10-21 | 基于由粗到精学习的半监督多模态核磁共振影像合成方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114170118A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114708471A (zh) * | 2022-06-06 | 2022-07-05 | 中国科学院自动化研究所 | 跨模态图像生成方法、装置、电子设备与存储介质 |
| CN116402865A (zh) * | 2023-06-06 | 2023-07-07 | 之江实验室 | 一种利用扩散模型的多模态影像配准方法、装置和介质 |
| CN116433795A (zh) * | 2023-06-14 | 2023-07-14 | 之江实验室 | 基于对抗生成网络的多模态影像生成方法和装置 |
-
2021
- 2021-10-21 CN CN202111226162.3A patent/CN114170118A/zh active Pending
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114708471A (zh) * | 2022-06-06 | 2022-07-05 | 中国科学院自动化研究所 | 跨模态图像生成方法、装置、电子设备与存储介质 |
| CN114708471B (zh) * | 2022-06-06 | 2022-09-06 | 中国科学院自动化研究所 | 跨模态图像生成方法、装置、电子设备与存储介质 |
| CN116402865A (zh) * | 2023-06-06 | 2023-07-07 | 之江实验室 | 一种利用扩散模型的多模态影像配准方法、装置和介质 |
| CN116402865B (zh) * | 2023-06-06 | 2023-09-15 | 之江实验室 | 一种利用扩散模型的多模态影像配准方法、装置和介质 |
| CN116433795A (zh) * | 2023-06-14 | 2023-07-14 | 之江实验室 | 基于对抗生成网络的多模态影像生成方法和装置 |
| CN116433795B (zh) * | 2023-06-14 | 2023-08-29 | 之江实验室 | 基于对抗生成网络的多模态影像生成方法和装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Khan et al. | Deep neural architectures for medical image semantic segmentation | |
| Wang et al. | Medical image fusion based on convolutional neural networks and non-subsampled contourlet transform | |
| US10902588B2 (en) | Anatomical segmentation identifying modes and viewpoints with deep learning across modalities | |
| Ueda et al. | Technical and clinical overview of deep learning in radiology | |
| Liu et al. | Learning disentangled representations in the imaging domain | |
| Mahapatra et al. | Training data independent image registration using generative adversarial networks and domain adaptation | |
| CN114170118A (zh) | 基于由粗到精学习的半监督多模态核磁共振影像合成方法 | |
| Li et al. | When medical images meet generative adversarial network: recent development and research opportunities | |
| Yoo et al. | CycleGAN-based deep learning technique for artifact reduction in fundus photography | |
| JP2008229161A (ja) | 画像成分分離装置、方法、およびプログラム、ならびに、正常画像生成装置、方法、およびプログラム | |
| Mazzanti et al. | Imaging, health record, and artificial intelligence: hype or hope? | |
| Yang et al. | Synthesizing multi-contrast MR images via novel 3D conditional Variational auto-encoding GAN | |
| Wang et al. | Unsupervised learning for cross-domain medical image synthesis using deformation invariant cycle consistency networks | |
| Lévêque et al. | Comparative study of the methodologies used for subjective medical image quality assessment | |
| WO2023207416A1 (zh) | 图像补全方法、装置、设备及存储介质 | |
| Cui et al. | Artificial intelligence in spinal imaging: current status and future directions | |
| Nair et al. | Multi-layer, multi-modal medical image intelligent fusion | |
| JP2021140769A (ja) | 医用情報処理装置、医用情報処理方法及び医用情報処理プログラム | |
| Poonkodi et al. | 3D-MedTranCSGAN: 3D medical image transformation using CSGAN | |
| KR101948701B1 (ko) | 피검체의 뇌 구조를 기술하는 잠재 변수에 기반하여 상기 피검체의 뇌질환을 판정하는 방법 및 이를 이용한 장치 | |
| Zhang et al. | Multi-source adversarial transfer learning for ultrasound image segmentation with limited similarity | |
| Zhao et al. | Machine learning approaches in comparative studies for Alzheimer’s diagnosis using 2D MRI slices | |
| Tu et al. | Self pre-training with single-scale adapter for left atrial segmentation | |
| Showrov et al. | Generative Adversarial Networks (GANs) in Medical Imaging: Advancements, Applications and Challenges | |
| He et al. | LRFNet: A real-time medical image fusion method guided by detail information |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |