CN116385330A - 一种利用图知识引导的多模态医学影像生成方法和装置 - Google Patents

一种利用图知识引导的多模态医学影像生成方法和装置 Download PDF

Info

Publication number
CN116385330A
CN116385330A CN202310661539.0A CN202310661539A CN116385330A CN 116385330 A CN116385330 A CN 116385330A CN 202310661539 A CN202310661539 A CN 202310661539A CN 116385330 A CN116385330 A CN 116385330A
Authority
CN
China
Prior art keywords
image
generation model
countermeasure generation
generator
countermeasure
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310661539.0A
Other languages
English (en)
Other versions
CN116385330B (zh
Inventor
张楚杰
胡季宏
王伟彬
陈延伟
童若锋
林兰芬
李劲松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Lab
Original Assignee
Zhejiang Lab
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Lab filed Critical Zhejiang Lab
Priority to CN202310661539.0A priority Critical patent/CN116385330B/zh
Publication of CN116385330A publication Critical patent/CN116385330A/zh
Application granted granted Critical
Publication of CN116385330B publication Critical patent/CN116385330B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0475—Generative networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/094—Adversarial learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/30—Assessment of water resources

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

本发明公开了一种利用图知识引导的多模态医学影像生成方法和装置，该方法首先获取MR图像和CT图像并进行预处理，以构建数据集；然后利用图知识引导构建基于对抗生成网络的对抗生成模型，使用训练集训练对抗生成模型；再获取训练好的对抗生成模型中训练好的生成器，使用验证集通过评估指标对训练好的生成器的性能进行评估，并根据评估结果对生成器的参数进行调整，以获取最优生成器；最后将源域图像或测试集中的源域图像输入最优生成器中以获取生成的目标域图像。本发明能够捕获到跨区域和跨图像关系作为上下文和补偿信息，约束对抗的方向，进一步提升多模态生成的结果，有利于提高生成图像的质量。

Description

一种利用图知识引导的多模态医学影像生成方法和装置
技术领域
本发明涉及计算机技术和医学影像跨模态配准的交叉技术领域，尤其涉及一种利用图知识引导的多模态医学影像生成方法和装置。
背景技术
医学成像是一种强大的诊断和研究工具，可创建解剖结构的视觉表示，已广泛用于疾病诊断和手术计划。在目前的临床实践中，最常用的是计算机断层扫描（CT）和磁共振（MR）成像。由于CT和多种MR成像模式提供了互补信息，因此这些不同模式的有效整合可以帮助医生做出更明智的决定。另一方面，小孩和老人因为放射性的原因不能拍摄CT图像，临床实践中，开发多模态图像生成以辅助临床诊断和治疗的需求日益增长。
目前主流的基于对抗生成网络，通常采用马尔可夫判别器，该判别器在鉴别图像真假时，只考虑了真实图像和生成图像在相同位置下的关系。并没有考虑图像内解剖区域的关系和图像之间的联系。事实上，由于医学影像采集时的前置要求、时间等等因素，不同模态之间差异很大，不考虑解剖区域之间的关系可能会导致错误的对抗方向。医学图像的解剖结构信息可以指导图像生成，研究表明考虑解剖区域和多个图像之间的互补信息可以导致更好的生成结果。针对以上问题，本发明设计了一种利用图知识引导的鉴别器用以对抗生成网络，目的是为了让鉴别器捕获到跨区域和跨图像关系作为上下文和补偿信息，约束对抗的方向，进一步提升多模态生成的结果。
发明内容
本发明的目的在于针对现有技术的不足，提供一种利用图知识引导的多模态医学影像生成方法和装置。
本发明的目的是通过以下技术方案来实现的：本发明实施例第一方面提供了一种利用图知识引导的多模态医学影像生成方法，包括以下步骤：
（1）获取磁共振图像和计算机断层扫描图像；
（2）对磁共振图像和计算机断层扫描图像进行预处理，根据预处理后的磁共振图像和计算机断层扫描图像构建数据集，并将数据集划分为训练集、验证集和测试集；
（3）利用图知识引导构建基于对抗生成网络的对抗生成模型，使用训练集训练对抗生成模型，以获取训练好的对抗生成模型；
（4）获取训练好的对抗生成模型中训练好的生成器，使用验证集通过评估指标对训练好的生成器的性能进行评估，并根据评估结果对生成器的参数进行调整，以获取最优生成器；
（5）将源域图像或测试集中的源域图像输入最优生成器中以获取生成的目标域图像。
进一步地，所述预处理包括以下步骤：
（2.1）重采样：对磁共振图像和计算机断层扫描图像进行重采样；
（2.2）调整窗宽窗位：调整磁共振图像和计算机断层扫描图像的窗宽窗位，以获取去噪后的磁共振图像和计算机断层扫描图像；
（2.3）归一化：对磁共振图像和计算机断层扫描图像的像素值进行归一化；
（2.4）选取数据：选取磁共振图像和计算机断层扫描图像作为一组数据。
进一步地，所述步骤（3）包括以下子步骤：
（3.1）利用图知识引导构建基于对抗生成网络的对抗生成模型，所述对抗生成模型包括生成器、鉴别器和图知识引导的正则化模块；
（3.2）使用训练集训练对抗生成模型，并根据对抗生成模型的损失更新对抗生成模型的参数，以获取训练好的对抗生成模型。
进一步地，所述生成器包括下采样模块、残差模块和上采样模块；所述下采样模块包括卷积层、激活函数和归一化层；所述残差模块包括卷积层、归一化层和激活函数；所述上采样模块包括反卷积层、归一化层和激活函数。
进一步地，所述鉴别器包括第一基本模块、第二基本模块和全连接层；所述第一基本模块包括卷积层和激活函数；所述第二基本模块包括卷积层、归一化层和激活函数。
进一步地，所述步骤（3.2）具体为：设置迭代次数和学习率，使用优化器训练并更新对抗生成模型的权重参数，设置每次训练所选取的样本数，将训练集中的源域图像和真实的目标域图像输入对抗生成模型中进行迭代训练，并根据对抗生成模型的损失更新对抗生成模型的权重参数，以获取训练好的对抗生成模型。
进一步地，所述对抗生成模型的损失包括生成图像和真实图像之间的像素级损失、生成器的对抗损失、鉴别器的对抗损失和鉴别器的正则化约束损失，所述鉴别器的正则化约束损失包括图像间的正则化约束损失和图像内的正则化约束损失。
进一步地，所述评估指标包括基于学习的图像感知相似度、Frechet Inception距离和图像的峰值信噪比。
本发明实施例第二方面提供了一种利用图知识引导的多模态医学影像生成装置，包括一个或多个处理器，用于实现上述的利用图知识引导的多模态医学影像生成方法。
本发明实施例第三方面提供了一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时，用于实现上述的利用图知识引导的多模态医学影像生成方法。
本发明的有益效果是，本发明设计了一种全新的利用图知识引导的鉴别器，避免了正常的控制采样问题，并且不需要额外的手工标注成本；本发明中的鉴别器可以捕获到跨区域和跨图像关系作为上下文和补偿信息，约束对抗的方向，进一步提升多模态生成的结果，有利于提高生成图像的质量；本发明提出的利用图知识引导的鉴别器，适用于目前所有的对抗生成网络，均可提升生成图像质量。
附图说明
图1是本发明实施例中的利用图知识引导的多模态医学影像生成方法的流程框图；
图2是本发明实施例提供的对抗生成模型的网络结构示意图；
图3是本发明实施例提供的生成器网络结构示意图；
图4是本发明实施例中的生成器网络中的残差模块的网络结构示意图；
图5是本发明实施例提供的鉴别器网络结构示意图；
图6是本发明实施例中的MR和CT图像预处理流程；
图7是本发明的利用图知识引导的多模态医学影像生成装置的一种结构示意图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
在本发明使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本发明可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本发明范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
下面结合附图，对本发明进行详细说明。在不冲突的情况下，下述的实施例及实施方式中的特征可以相互组合。
参见图1，本发明的利用图知识引导的多模态医学影像生成方法，具体包括以下步骤：
（1）获取磁共振（MR）图像和计算机断层扫描（CT）图像以及对应的图像中肿瘤区域的掩码（mask）。
本实施例中，采用的是医院的私人数据，数据包含305个病人的磁共振（MR）图像和计算机断层扫描（CT）图像。其中，CT图像包含：动脉期（ART），门脉期（PV），平扫期（NC），延迟期（DL）；MR图像包含：动脉期（ART），延迟期（DL），扩散加权成像（DWI），平扫期（NC），门脉期（PV），T2加权成像（T2）。MR图像和CT图像的数据格式为nii。
（2）对MR图像和CT图像进行预处理，根据预处理后的MR图像和CT图像构建数据集，并将数据集划分为训练集、验证集和测试集。
本实施例中，可以根据实际需要将数据集按照一定的比例划分为训练集、验证集和测试集，例如6:2:2等；也可以随机抽取数据构建训练集、验证集和测试集。
其中，如图6所示，预处理的具体流程包括如下步骤：
（2.1）重采样：对MR图像和CT图像进行重采样。
本实施例中，由于原始的MR图像和CT图像有不同的层厚，因此，需要对MR图像和CT图像进行重采样，可以采用双线性插值法将MR图像和CT图像重采样到相同层厚，如重采样到1。应当理解的是，双线性插值法是一种广泛应用于数字图像和视频处理等方面的方法，其核心思想是在两个方向分别进行一次线性插值；当然，也可以采用其他方法对MR图像和CT图像进行重采样，例如nilearn库中的一个叫resample_image的方法。
（2.2）调整窗宽窗位：调整MR图像和CT图像的窗宽窗位，以获取去噪后的MR图像和CT图像。
本实施例中，对于CT图像，可以根据医生的先验知识，设置窗宽为(-110,190)，其对应的窗位为(40,300)，通常选择一个数值进行设置即可；可以使用截断方法获取去噪后的CT图像，如numpy库中np.clip算法。对于MR 图像，由于MR图像无法选取固定的值调整窗宽窗位，因此可以使用图像去噪方法获得去噪后的MR图像，如dipy库中的estimate_sigma算法和nlmeans算法。
（2.3）归一化：对MR图像和CT图像的像素值进行归一化。
具体地，对于CT 图像，直接使用线性归一化对其像素值进行归一化，例如可以归一化到[-1,1]，方便后续计算。对于MR图像，先使用z-score对像素值进行初步的归一化，再使用线性归一化对其像素值做进一步的归一化，同理，将其像素值归一化到[-1,1]。应当理解的是，z-score标准化是数据处理的一种常用方法，通过它能够将不同量级的数据转化为统一量度的z-score分值进行比较；当然，也可以采用其他归一化方法对像素值进行归一化，例如零均值归一化等。
（2.4）选取数据：选取MR图像和CT图像作为一组数据。
本实施例中，可以采用相同切片方法选取相同切片（slice）的MR图像和CT图像作为一组数据，将这种方式选取的数据称为“相同切片”。例如，选取了MR图像的第26个切片，那么在CT图像的选择上也应该是第26个切片。
（3）利用图知识引导构建基于对抗生成网络（Generative Adversarial Network，GAN）的对抗生成模型，使用训练集训练对抗生成模型，以获取训练好的对抗生成模型。
（3.1）利用图知识引导构建基于对抗生成网络的对抗生成模型，其中，对抗生成模型包括生成器、鉴别器和图知识引导的正则化模块。
本实施例中，生成器采用基于pixel to pixel GAN中的生成器的网络结构，其结构如图3所示。生成器包括三个部分，第一个部分是三个下采样模块，每个下采样模块包括一个卷积层（Conv）、一个激活函数和一个归一化层（Instance Normalization），其中，卷积层的内核大小（kernel size）为3，步长（stride）为2，padding参数为1。第二部分是九个残差模块，每个残差模块包括卷积层（Conv）、归一化层（InstanceNorm）和激活函数，其结构如图4所示。第三部分是三个上采样模块，每个上采样模块包括一个反卷积层、一个归一化层（Instance Normalization）和一个激活函数，其中，反卷积层的内核大小（kernel size）为3，步长（stride）为2，output_padding参数为1。
优选地，三个下采样模块、九个残差模块和前两个上采样模块中的激活函数为ReLU激活函数；最后一个上采样模块中的激活函数为Tanh激活函数。
应当理解的是，采用Tanh激活函数计算量大，反向传播求误差梯度时，求导涉及除法，计算量相对大，而采用ReLU激活函数，整个过程的计算量节省很多；对于深层网络，Tanh函数反向传播时，很容易就会出现梯度消失的情况，从而无法完成深层网络的训练；ReLU会使一部分神经元的输出为0，这样就造成了网络的稀疏性，并且减少了参数的相互依存关系，缓解了过拟合问题的发生；由于输入的图像归一化到了[-1,1]，因此在输出层用Tanh函数，能够使得输出的结果也保持在-1到1之间，其他层的激活函数采用ReLU激活函数。Instance Normalization是对一个批次中单个图像进行归一化。
具体地，生成器的三个下采样模块和九个残差模块作为生成器的编码部分，可以提取输入图像的特征；生成器的三个上采样模块作为生成器的解码部分，可以根据特征图生成对应的图像。将源域图像（即MR图像或CT图像）输入到生成器中，首先经过下采样模块和残差模块，逐步提取源域图像的特征，最终可以得到源域图像的特征图，特征图再经过三个上采样模块，可以得到生成的目标域图像。
本实施例中，鉴别器采用马尔可夫判别器（PatchGAN）作为基本结构，其结构如图5所示。鉴别器包括一个第一基本模块、三个第二基本模块和全连接层，其中，第一基本模块包括一个卷积层和一个激活函数，卷积层的内核大小（kernel size）为3，步长（stride）为2，padding参数为1；每个第二基本模块包括一个卷积层、一个归一化层（InstanceNormalization）和一个激活函数，卷积层的内核大小（kernel size）为3，步长（stride）为2，padding参数为1。
优选地，第一基本模块和第二基本模块中的激活函数为LeakyReLU激活函数。
应当理解的是，鉴别器中的激活函数选择采用LeakyReLU激活函数。因为LeakyReLU激活函数在输入为负值时，给予输入值一个很小的斜率，在解决了负输入情况下的零梯度问题的基础上，也能够很好的缓解死亡神经元的问题。
本实施例中，图知识引导的正则化模块用于根据哈希码（Hash code）和汉明距离计算特征图内和特征图间的相似性。
具体地，生成的目标域图像进入鉴别器中，经过第一基本模块和第二基本模块，可以得到该图像的特征对应的特征图，特征图通过全连接层，可以得到第一预测结果，输出的是第一预测结果和对应的第一特征图。类似地，将真实的目标域图像输入鉴别器中，可以得到第二预测结果和对应的第二特征图。根据第一预测结果和第二预测结果可以判断出生成器所生成的目标域图像的好坏，即生成图像与真实图像的相似程度。通过图知识引导的正则化模块可以计算第一特征图内和第二特征图内以及第一特征图和第二特征图之间的相似性。
（3.2）使用训练集训练对抗生成模型，并根据对抗生成模型的损失更新对抗生成模型的参数，以获取训练好的对抗生成模型。
在使用训练集训练对抗生成模型时，设置迭代次数和学习率，使用优化器训练并更新对抗生成模型的权重参数，设置每次训练所选取的样本数（batch size），例如可以将batch size设为1，将训练集中的源域图像和真实的目标域图像输入对抗生成模型中进行迭代训练，并根据对抗生成模型的损失更新对抗生成模型的权重参数，以获取训练好的对抗生成模型。
优选地，将迭代的次数设置为80，学习率设为0.0001。
进一步地，优化器包括自适应矩估计（Adam）优化器、AdaGrad优化器和RMSProp优化器等。应当理解的是，可以根据实际的要求选择合适的优化器对跨模态配准网络模型进行训练，Adam优化器利用梯度的一阶矩估计和二阶矩估计动态调整每个参数的学***方和累计越来越大的问题，采用指数加权的移动平均代替梯度平方和。
如图2所示，对抗生成模型整体采用pixel to pixel GAN的网络结构。具体地，当由MR图像生成CT图像时，将训练集中的MR图像作为源域图像，将训练集中与该MR图像对应的CT图像作为真实的目标域图像；将MR图像和CT图像输入到对抗模型中，MR图像首先经过生成器得到生成的CT图像，生成的CT图像和对应的真实的CT图像分别与输入的MR图像连接（concatenate）到一起作为鉴别器的输入图像，即将MR图像和生成的CT图像一起输入到鉴别器中，得到第一预测结果和第一特征图，将MR图像和真实的CT图像一起输入到鉴别器中，得到第二预测结果和第二特征，之后将第一特征图和第二特征输入到正则化模块中，计算正则化约束损失。
类似地，当由CT图像生成MR图像时，将训练集中的CT图像作为源域图像，将训练集中与该CT图像对应的MR图像作为真实的目标域图像；将CT图像和MR图像输入到对抗模型中，CT图像首先经过生成器得到生成的MR图像，生成的MR图像和对应的真实的MR图像分别与输入的CT图像连接（concatenate）到一起作为鉴别器的输入图像，即将CT图像和生成的MR图像一起输入到鉴别器中，得到第一预测结果和第一特征图，将CT图像和真实的MR图像一起输入到鉴别器中，得到第二预测结果和第二特征，之后将第一特征图和第二特征输入到正则化模块中，计算正则化约束损失。
应当理解的是，conditional GAN指的是对应的标签（真实图像）一起输入到鉴别器中，属于领域内公开知识。
本实施例中，对抗生成模型的损失包括生成图像和真实图像之间的像素级损失、生成器的对抗损失、鉴别器的对抗损失和鉴别器的正则化约束损失，其中，鉴别器的正则化约束损失包括图像间的正则化约束损失和图像内的正则化约束损失。
进一步地，生成图像和真实图像之间的像素级损失表示为：
Figure SMS_1
其中，
Figure SMS_2
表示生成图像和真实图像之间的像素级损失，/>
Figure SMS_3
表示源域图像，/>
Figure SMS_4
表示生成的目标域图像，/>
Figure SMS_5
表示真实的目标域图像。
进一步地，生成器和鉴别器的对抗损失的表达式分别为：
Figure SMS_6
Figure SMS_7
其中，
Figure SMS_8
表示生成器的对抗损失，/>
Figure SMS_9
表示鉴别器的对抗损失，/>
Figure SMS_10
表示鉴别器，
Figure SMS_11
表示源域图像，/>
Figure SMS_12
表示真实的目标域图像。
进一步地，图像间的正则化约束损失为：
Figure SMS_13
Figure SMS_14
其中，
Figure SMS_16
表示图像间的关系，/>
Figure SMS_19
表示图像间节点之间的关系，/>
Figure SMS_21
表示欧式距离，/>
Figure SMS_17
表示生成的目标域图像对应的特征图，/>
Figure SMS_20
表示真实的目标域图像对应的特征图，E是一个常数，/>
Figure SMS_22
表示汉明距离，/>
Figure SMS_23
表示生成的目标域图像对应特征图所构造的图中第i个通道的哈希码，/>
Figure SMS_15
表示真实的目标域图像对应特征图所构造的图中第i个通道的哈希码，/>
Figure SMS_18
，N是通道数（channel）。
需要说明的是，在计算图像间的关系时，图像的节点N（nodes）表示生成图像和真实图像对应的特征图，那就是两个节点；边（edge） E表示节点之间的相似性，如此即可构造图(N,E)。
进一步地，图像内的正则化约束损失为：
Figure SMS_24
Figure SMS_25
Figure SMS_26
其中，
Figure SMS_29
表示图像内部各个区域之间的关系，/>
Figure SMS_33
表示生成图像内部区域之间的关系，/>
Figure SMS_35
表示真实图像内部区域之间的关系，/>
Figure SMS_28
表示欧式距离，E是一个常数，/>
Figure SMS_32
表示汉明距离，/>
Figure SMS_34
表示生成图像对应的特征图的第i个通道/>
Figure SMS_37
表示生成图像对应的特征图的第j个通道，/>
Figure SMS_27
，N是通道数(channel)，/>
Figure SMS_31
，/>
Figure SMS_36
分别表示真实图像对应的特征图的第i个和第j个通道。/>
Figure SMS_38
分别表示生成图像对应特征图所构造的图中第i个通道和第j个通道的哈希码的表示，/>
Figure SMS_30
分别表示真实图像对应特征图所构造的图中第i个通道和第j个通道的哈希码的表示。
需要说明的是，在计算图像内的关系时，所获得的特征图是一个（N，D，W）的图，其中N是通道数（channel），大小是D*W，特征图的每一个通道构造一个节点，那么就是N个节点，边（edge） E表示节点之间的相似性，如此即可构造图(N,E)。
综上所述，对抗生成模型的损失函数为：
Figure SMS_39
其中，
Figure SMS_40
表示对抗生成模型的损失，/>
Figure SMS_41
、/>
Figure SMS_42
、/>
Figure SMS_43
、/>
Figure SMS_44
和/>
Figure SMS_45
是用于控制损失函数之间平衡的常数。
（4）获取训练好的对抗生成模型中训练好的生成器，使用验证集通过评估指标对训练好的生成器的性能进行评估，并根据评估结果对生成器的参数进行调整，以获取最优生成器。
本实施例中，在步骤（3）得到训练好的对抗生成模型之后，就不再需要判别器了，仅需要其中的生成器用于生成医学影像。因此，首先获取训练好的生成器，再使用验证集对训练好的生成器的性能进行评估，将验证集中的源域图像输入训练好的生成器中，可以得到生成的目标域图像。通过评估指标比较生成的目标域图像和真实的目标域图像，可以得到评估结果，其中真实的目标域图像为验证集中与源域图像对应的另一个图像。评估结果包括生成器的收敛情况等，可以判断生成器是否发生过拟合情况，若有过拟合情况，还需要根据验证集对生成器的参数进行进一步的调整，以获取最优生成器。
本实施例中，评估指标包括基于学习的图像感知相似度（LPIPS）和FrechetInception距离（FID），通过这两个评估指标对训练好的生成器的性能进行评估。基于学习的图像感知相似度的值越小表示生成器的性能越好，Frechet Inception距离越小表示生成器的性能越好。
应当理解的是，LPIPS是一种常用的图像相似度度量标准，该度量标准学习生成图像到真实图像的反向映射强制生成器学习从假图像中重构真实图像的反向映射，并优先处理它们之间的感知相似度。LPIPS的值越小表示两张图像越相似，反之，则差异越大。FID可以计算出真实图像和生成图像的特征向量之间的距离，根据该评估指标来衡量两组图像的相似度，相似度越大，说明生成的图像质量越高；FID的值越小，表示真实图像和生成图像的相似度越大。
示例性地，本实施例中采用了包含60个病人的样本数据，由MR图像生成CT图像，使用上述的两个评估指标，其结果如表1所示。
表1：模型评估结果
LPIPS FID
Med GAN 0.2619 36.7396
Our method 0.2155 30.4321
由表1可知，现有的Med GAN和本发明所构建的对抗生成模型进行对比，本发明所构建的对抗生成模型的性能更加优良。
应当理解的是，也可以选择其他评估指标对训练好的生成器的性能进行评估，例如图像的峰值信噪比（PSNR，Peak Signal to Noise Ratio），PSNR值越大，代表失真越少，说明生成的目标域图像质量越好，也表示训练好的生成器的性能越好。再比如，结构相似性（SSIM，Structural Similarity Index Measurement ），SSIM是一种衡量两幅图像相似度的指标，可以评估生成的目标域图像的质量，SSIM值越大，表示两幅图像越相似，说明生成的目标域图像越接近真实的目标域图像，表示生成器的性能越好。
综上所述，本发明使用的对抗生成网络包含了图知识引导的鉴别器，可以捕获到跨区域和跨图像关系作为上下文和补偿信息，约束对抗的方向，进一步提升多模态生成的结果。
（5）将源域图像或测试集中的源域图像输入最优生成器中以获取生成的目标域图像。
具体地，将源域图像或测试集中的源域图像输入最优生成器中，即可得到生成的目标域图像。
本发明设计了一种全新的利用图知识引导的鉴别器，避免了正常的控制采样问题，并且不需要额外的手工标注成本；本发明中的鉴别器可以捕获到跨区域和跨图像关系作为上下文和补偿信息，约束对抗的方向，进一步提升多模态生成的结果，有利于提高生成图像的质量；需要注意的是，本发明提出的利用图知识引导的鉴别器，适用于目前所有的对抗生成网络，均可提升生成图像质量，本实施例仅以其中一种对抗生成网络为基础，在其他对抗生成网络中使用本发明的利用图知识引导的鉴别器均属于本专利保护范围。
与前述利用图知识引导的多模态医学影像生成方法的实施例相对应，本发明还提供了利用图知识引导的多模态医学影像生成装置的实施例。
参见图7，本发明实施例提供的一种利用图知识引导的多模态医学影像生成装置，包括一个或多个处理器，用于实现上述实施例中的利用图知识引导的多模态医学影像生成方法。
本发明利用图知识引导的多模态医学影像生成装置的实施例可以应用在任意具备数据处理能力的设备上，该任意具备数据处理能力的设备可以为诸如计算机等设备或装置。装置实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。以软件实现为例，作为一个逻辑意义上的装置，是通过其所在任意具备数据处理能力的设备的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言，如图7所示，为本发明利用图知识引导的多模态医学影像生成装置所在任意具备数据处理能力的设备的一种硬件结构图，除了图7所示的处理器、内存、网络接口、以及非易失性存储器之外，实施例中装置所在的任意具备数据处理能力的设备通常根据该任意具备数据处理能力的设备的实际功能，还可以包括其他硬件，对此不再赘述。
上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。
对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本发明方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
本发明实施例还提供一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时，实现上述实施例中的利用图知识引导的多模态医学影像生成方法。
所述计算机可读存储介质可以是前述任一实施例所述的任意具备数据处理能力的设备的内部存储单元，例如硬盘或内存。所述计算机可读存储介质也可以是任意具备数据处理能力的设备，例如所述设备上配备的插接式硬盘、智能存储卡（Smart Media Card，SMC）、SD卡、闪存卡（Flash Card）等。进一步的，所述计算机可读存储介质还可以既包括任意具备数据处理能力的设备的内部存储单元也包括外部存储设备。所述计算机可读存储介质用于存储所述计算机程序以及所述任意具备数据处理能力的设备所需的其他程序和数据，还可以用于暂时地存储已经输出或者将要输出的数据。
以上实施例仅用于说明本发明的设计思想和特点，其目的在于使本领域内的技术人员能够了解本发明的内容并据以实施，本发明的保护范围不限于上述实施例。所以，凡依据本发明所揭示的原理、设计思路所作的等同变化或修饰，均在本发明的保护范围之内。

Claims (10)

1.一种利用图知识引导的多模态医学影像生成方法，其特征在于，包括以下步骤：
（1）获取磁共振图像和计算机断层扫描图像；
（2）对磁共振图像和计算机断层扫描图像进行预处理，根据预处理后的磁共振图像和计算机断层扫描图像构建数据集，并将数据集划分为训练集、验证集和测试集；
（3）利用图知识引导构建基于对抗生成网络的对抗生成模型，使用训练集训练对抗生成模型，以获取训练好的对抗生成模型；
（4）获取训练好的对抗生成模型中训练好的生成器，使用验证集通过评估指标对训练好的生成器的性能进行评估，并根据评估结果对生成器的参数进行调整，以获取最优生成器；
（5）将源域图像或测试集中的源域图像输入最优生成器中以获取生成的目标域图像。
2.根据权利要求1所述的利用图知识引导的多模态医学影像生成方法，其特征在于，所述预处理包括以下步骤：
（2.1）重采样：对磁共振图像和计算机断层扫描图像进行重采样；
（2.2）调整窗宽窗位：调整磁共振图像和计算机断层扫描图像的窗宽窗位，以获取去噪后的磁共振图像和计算机断层扫描图像；
（2.3）归一化：对磁共振图像和计算机断层扫描图像的像素值进行归一化；
（2.4）选取数据：选取磁共振图像和计算机断层扫描图像作为一组数据。
3.根据权利要求1所述的利用图知识引导的多模态医学影像生成方法，其特征在于，所述步骤（3）包括以下子步骤：
（3.1）利用图知识引导构建基于对抗生成网络的对抗生成模型，所述对抗生成模型包括生成器、鉴别器和图知识引导的正则化模块；
（3.2）使用训练集训练对抗生成模型，并根据对抗生成模型的损失更新对抗生成模型的参数，以获取训练好的对抗生成模型。
4.根据权利要求3所述的利用图知识引导的多模态医学影像生成方法，其特征在于，所述生成器包括下采样模块、残差模块和上采样模块；所述下采样模块包括卷积层、激活函数和归一化层；所述残差模块包括卷积层、归一化层和激活函数；所述上采样模块包括反卷积层、归一化层和激活函数。
5.根据权利要求3所述的利用图知识引导的多模态医学影像生成方法，其特征在于，所述鉴别器包括第一基本模块、第二基本模块和全连接层；所述第一基本模块包括卷积层和激活函数；所述第二基本模块包括卷积层、归一化层和激活函数。
6.根据权利要求3所述的利用图知识引导的多模态医学影像生成方法，其特征在于，所述步骤（3.2）具体为：设置迭代次数和学习率，使用优化器训练并更新对抗生成模型的权重参数，设置每次训练所选取的样本数，将训练集中的源域图像和真实的目标域图像输入对抗生成模型中进行迭代训练，并根据对抗生成模型的损失更新对抗生成模型的权重参数，以获取训练好的对抗生成模型。
7.根据权利要求3或6所述的利用图知识引导的多模态医学影像生成方法，其特征在于，所述对抗生成模型的损失包括生成图像和真实图像之间的像素级损失、生成器的对抗损失、鉴别器的对抗损失和鉴别器的正则化约束损失，所述鉴别器的正则化约束损失包括图像间的正则化约束损失和图像内的正则化约束损失。
8.根据权利要求1所述的利用图知识引导的多模态医学影像生成方法，其特征在于，所述评估指标包括基于学习的图像感知相似度、Frechet Inception距离和图像的峰值信噪比。
9.一种利用图知识引导的多模态医学影像生成装置，其特征在于，包括一个或多个处理器，用于实现权利要求1-8中任一项所述的利用图知识引导的多模态医学影像生成方法。
10.一种计算机可读存储介质，其特征在于，其上存储有程序，该程序被处理器执行时，用于实现权利要求1-8中任一项所述的利用图知识引导的多模态医学影像生成方法。
CN202310661539.0A 2023-06-06 2023-06-06 一种利用图知识引导的多模态医学影像生成方法和装置 Active CN116385330B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310661539.0A CN116385330B (zh) 2023-06-06 2023-06-06 一种利用图知识引导的多模态医学影像生成方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310661539.0A CN116385330B (zh) 2023-06-06 2023-06-06 一种利用图知识引导的多模态医学影像生成方法和装置

Publications (2)

Publication Number Publication Date
CN116385330A true CN116385330A (zh) 2023-07-04
CN116385330B CN116385330B (zh) 2023-09-15

Family

ID=86979143

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310661539.0A Active CN116385330B (zh) 2023-06-06 2023-06-06 一种利用图知识引导的多模态医学影像生成方法和装置

Country Status (1)

Country Link
CN (1) CN116385330B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111523601A (zh) * 2020-04-26 2020-08-11 道和安邦（天津）安防科技有限公司 一种基于知识引导和生成对抗学习的潜在情绪识别方法
CN113792177A (zh) * 2021-08-05 2021-12-14 杭州电子科技大学 基于知识引导深度注意力网络的场景文字视觉问答方法
CN113936217A (zh) * 2021-10-25 2022-01-14 华中师范大学 先验语义知识引导的高分辨率遥感影像弱监督建筑物变化检测方法
CN114359360A (zh) * 2022-03-17 2022-04-15 成都信息工程大学 一种基于对抗的双向一致性约束医学图像配准算法
CN114882220A (zh) * 2022-05-20 2022-08-09 山东力聚机器人科技股份有限公司 基于域自适应先验知识引导gan的图像生成方法及***
CN115455167A (zh) * 2022-09-26 2022-12-09 中山大学 一种基于知识引导的地理考题生成方法和装置
US20230032472A1 (en) * 2020-03-17 2023-02-02 Shenzhen Insstitutes Of Advanced Technology Chinese Academy Of Sciences Method and apparatus for reconstructing medical image
US20230094389A1 (en) * 2020-02-14 2023-03-30 Cornell University Quantum computing based deep learning for detection, diagnosis and other applications
CN116152554A (zh) * 2023-01-16 2023-05-23 复旦大学 基于知识引导的小样本图像识别***

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230094389A1 (en) * 2020-02-14 2023-03-30 Cornell University Quantum computing based deep learning for detection, diagnosis and other applications
US20230032472A1 (en) * 2020-03-17 2023-02-02 Shenzhen Insstitutes Of Advanced Technology Chinese Academy Of Sciences Method and apparatus for reconstructing medical image
CN111523601A (zh) * 2020-04-26 2020-08-11 道和安邦（天津）安防科技有限公司 一种基于知识引导和生成对抗学习的潜在情绪识别方法
CN113792177A (zh) * 2021-08-05 2021-12-14 杭州电子科技大学 基于知识引导深度注意力网络的场景文字视觉问答方法
CN113936217A (zh) * 2021-10-25 2022-01-14 华中师范大学 先验语义知识引导的高分辨率遥感影像弱监督建筑物变化检测方法
CN114359360A (zh) * 2022-03-17 2022-04-15 成都信息工程大学 一种基于对抗的双向一致性约束医学图像配准算法
CN114882220A (zh) * 2022-05-20 2022-08-09 山东力聚机器人科技股份有限公司 基于域自适应先验知识引导gan的图像生成方法及***
CN115455167A (zh) * 2022-09-26 2022-12-09 中山大学 一种基于知识引导的地理考题生成方法和装置
CN116152554A (zh) * 2023-01-16 2023-05-23 复旦大学 基于知识引导的小样本图像识别***

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
刘尚争;刘斌;: "生成对抗网络图像类别标签跨模态识别***设计", 现代电子技术, no. 08 *
黄宏宇;谷子丰;: "一种基于自注意力机制的文本图像生成对抗网络", 重庆大学学报, no. 03 *

Also Published As

Publication number Publication date
CN116385330B (zh) 2023-09-15

Similar Documents

Publication Publication Date Title
US11756160B2 (en) ML-based methods for pseudo-CT and HR MR image estimation
Emami et al. Generating synthetic CTs from magnetic resonance images using generative adversarial networks
Chen et al. Unsupervised lesion detection via image restoration with a normative prior
US11449759B2 (en) Medical imaging diffeomorphic registration based on machine learning
US11049243B2 (en) Target detection in latent space
CN116402865B (zh) 一种利用扩散模型的多模态影像配准方法、装置和介质
US11464491B2 (en) Shape-based generative adversarial network for segmentation in medical imaging
Zhao et al. Deep learning of brain magnetic resonance images: A brief review
WO2022121100A1 (zh) 一种基于darts网络的多模态医学图像融合方法
US20220222781A1 (en) Deep generative modeling of smooth image manifolds for multidimensional imaging
CN110945564B (zh) 基于混合上下文cnn模型的医学图像分割
CN113160138B (zh) 一种脑部核磁共振图像分割方法及***
Singh et al. Medical image generation using generative adversarial networks
Mohebbian et al. Classifying MRI motion severity using a stacked ensemble approach
Zuo et al. HACA3: A unified approach for multi-site MR image harmonization
Lim et al. Motion artifact correction in fetal MRI based on a Generative Adversarial network method
Mastropietro et al. A supervised deep neural network approach with standardized targets for enhanced accuracy of IVIM parameter estimation from multi‐SNR images
CN116385330B (zh) 一种利用图知识引导的多模态医学影像生成方法和装置
Koçanaoğulları et al. Learning the regularization in dce-mr image reconstruction for functional imaging of kidneys
CN116385329B (zh) 基于特征融合的多层知识蒸馏医学影像生成方法和装置
Ozkan et al. Cross-Modal Learning via Adversarial Loss and Covariate Shift for Enhanced Liver Segmentation
CN115619810B (zh) 一种***分区分割方法、***及设备
Karani Tackling Distribution Shifts in Machine Learning-Based Medical Image Analysis
US20240104722A1 (en) Method for detection and characterization of lesions
Adame-Gonzalez et al. FONDUE: Robust resolution-invariant denoising of MR Images using Nested UNets

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant