CN112204620A - 使用生成式对抗网络的图像增强 - Google Patents

Abstract

提供了用于使用经训练的模型生成增强的锥形束计算机断层扫描(CBCT)图像的技术。受试者的CBCT图像被接收。使用生成模型来生成与CBCT图像相对应的合成的计算机断层扫描(sCT)图像。生成模型在生成式对抗网络(GAN)中被训练。生成模型还被训练成：处理作为输入的CBCT图像并且提供sCT图像作为输出。sCT图像被呈现以用于对受试者的医学分析。

Description

使用生成式对抗网络的图像增强

本专利申请要求于2018年7月24日提交的美国申请序列第16/044,245号的优先权的权益，该美国申请要求于2018年4月26日提交(代理人案卷号为4186.042PRV)的题为“IMAGE QUALITY ENHANCEMENT FOR CONE-BEAM CT(CBCT)”的美国临时专利申请第62/662,933号的优先权的权益，这两个申请中的每一个的全部内容在此通过引用并入本文中。

技术领域

本公开内容的实施方式一般地涉及锥形束计算机断层扫描(CBCT)成像、计算机断层扫描成像和人工智能处理技术。特别地，本公开内容涉及适于与CBCT以及计算机断层扫描图像和***操作一起使用的生成式对抗网络(GAN)中的数据模型的生成和使用。

背景技术

X射线锥形束计算机断层扫描(CBCT)成像在放射疗法中已经用于患者设置和自适应重新计划。在某些情况下，CBCT成像也已经用于诊断目的，例如牙科成像和植入物计划。此外，X射线CBCT成像已被用于许多与成像相关的应用例如微计算机断层扫描中。然而，正如医学物理学家、医生和研究人员所观察到的那样，CBCT图像的图像质量可能相当低。通常，CBCT图像可能包含不同类型的伪像(包括重建数据中的在所研究的真实对象中不存在的各种类型的噪声或可视化结构)。

CBCT图像中的伪像和噪声可能破坏自适应治疗的重新计划，影响诊断，或者使许多其他图像处理步骤变得困难或甚至不可能(例如，图像分割)。由于每个伪像可以由一个或更多个不同的因素引起，因此可以使用不同的方法来抑制不同的伪像。对于放射疗法和其他临床应用，通常，除了CBCT图像(可以每天获取)以外，可能存在一起可用的一个或更多个其他计算机断层扫描(CT)图像数据集(例如，计划中的CT图像)。通常，CT图像具有高得多的图像质量、更准确的对比度或其他信息以及更少的伪像。尽管研究人员已经进行了许多研究并开发了若干相关方法来减少CBCT图像中的伪像，但是，目前尚没有一种可以抑制所有或大多数普通伪像的简单有效的方法。因此，迫切需要开发一种新颖、有效且简单的方法来抑制和消除CBCT图像中的伪像和噪声。

发明内容

本公开内容包括开发、训练和利用人工智能(AI)处理技术来生成对应于或表示输入的CBCT图像的模拟的或合成的CT图像的过程。这样的AI处理技术可以包括生成式对抗网络(GAN)、循环生成式对抗网络(CycleGAN)、卷积神经网络(CNN)、深度卷积神经网络(DCNN)和其他形式的机器学习(ML)实现。本公开内容具体地包括与以下操作相关的多个说明性示例：使用判别器模型和生成器模型，在GAN或CycleGAN内进行操作，以学习配对的CBCT图像和真实CT图像的模型，以增强和产生无伪像或基本上无伪像的CBCT图像或者伪像数量大大减少的CBCT图像。明显的是，当前描述的作为GAN或CycleGAN(以及其他公开的AI技术和ML技术)的一部分的成像数据(例如，CBCT图像)的使用和分析可以被并入用于各种各样的诊断、评估、解释或治疗设置的其他医疗工作流中。

在一些实现中，提供了一种用于使用经训练的模型来生成增强的锥形束计算机断层扫描(CBCT)图像的计算机实现的方法。受试者的CBCT图像被接收。使用生成模型来生成与CBCT图像相对应的合成的计算机断层扫描(sCT)图像。生成模型在生成式对抗网络(GAN)中被训练，其中，生成模型还被训练成：处理作为输入的CBCT图像并提供sCT图像作为输出。sCT图像被呈现以用于受试者的医学分析。

在一些实现中，生成式对抗网络被配置成：使用判别模型来训练生成模型。使用判别模型和生成模型之间的对抗训练来创建由生成模型和判别模型应用的值。生成模型和判别模型包括相应的卷积神经网络。

在一些实现中，对抗训练包括：训练生成模型以从给定的CBCT图像生成给定的sCT图像，以及训练判别模型以将给定的sCT图像分类为合成的计算机断层扫描(CT)图像或真实的计算机断层扫描(CT)图像。生成模型的输出被用于训练判别模型，并且判别模型的输出被用于训练生成模型。

在一些实现中，使用包括生成模型和判别模型的循环生成式对抗网络(CycleGAN)来训练生成式对抗网络。所述生成模型是第一生成模型，所述判别模型是第一判别模型，其中，CycleGAN还包括第二生成模型和第二判别模型，所述第二生成模型被训练成处理作为输入的给定的CT图像并提供给定的合成的(sCBCT)图像作为输出，所述第二判别模型被训练成将给定的sCBCT图像分类为合成的CBCT图像或真实的CBCT图像。

在一些实现中，CycleGAN包括用于训练第一生成模型的第一部分和第二部分。第一部分被训练成：获得与真实的CT图像配对的训练CBCT图像；将训练CBCT图像发送至第一生成模型的输入端以输出给定的合成的CT图像；在第一判别模型的输入端处接收给定的合成的CT图像以将给定的合成的CT图像分类为合成的CT图像或真实的CT图像，并且在第二生成模型的输入端处接收给定的合成的CT图像以生成用于计算循环一致性损失的循环CBCT图像。第二部分被训练成：将真实的CT图像发送至第二生成模型的输入端以输出给定的合成的CBCT图像；在第二判别模型的输入端处接收给定的合成的CBCT图像以将给定的合成的CBCT图像分类为合成的CBCT图像或真实的CBCT图像，并且在第一生成模型的输入端处接收给定的合成的CBCT图像以生成用于计算循环一致性损失的循环CT图像。

在一些实现中，第一生成模型被训练成最小化或减小第一基于像素的损失项，所述第一基于像素的损失项表示多个合成的CT图像与分别配对的真实的CT图像之间的差异的期望；第二生成模型被训练成最小化或减小第二基于像素的损失项，所述第二基于像素的损失项表示多个合成的CBCT图像与分别配对的真实的CBCT图像之间的差异的期望。

在一些实现中，CycleGAN被训练成将度量应用于第一基于像素的损失项和第二基于像素的损失项，所述度量基于与成对的CBCT图像和真实的CT图像具有相同大小的图而生成，使得所述图中的每个像素值表示给定的CBCT图像和与所述给定的CBCT图像配对的给定的真实的CT图像之间的相似性程度。

在一些实现中，CycleGAN被训练成将阈值应用于度量，使得当相似性程度超过阈值时，度量被应用于第一基于像素的损失项和第二基于像素的损失项，否则零值被应用于第一基于像素的损失项和第二基于像素的损失项。

在一些实现中，根据目标函数来训练生成式对抗网络，所述目标函数基于对抗损失、循环一致性损失和基于像素的损失项。

在一些实施方式中，提供了一种用于训练模型以生成增强的锥形束计算机断层扫描(CBCT)图像的计算机实现的方法。接收受试者的CBCT图像作为生成模型的输入。在生成式对抗网络(GAN)中训练生成模型以处理CBCT图像，以提供与CBCT图像相对应的合成的计算机断层扫描(sCT)图像作为生成模型的输出。

在一些实现中，使用包括生成模型和判别模型的循环生成式对抗网络(CycleGAN)来训练生成式对抗网络。所述生成模型是第一生成模型，所述判别模型是第一判别模型，还包括：训练第二生成模型以处理作为输入的给定的CT图像并提供给定的合成的(sCBCT)图像作为输出；以及训练第二判别模型以将给定的sCBCT图像分类为合成的CBCT图像或真实的CBCT图像。

在一些实现中，CycleGAN包括用于训练第一生成模型的第一部分和第二部分。获得与真实的CT图像配对的训练CBCT图像。训练CBCT图像被发送至第一生成模型的输入端，以输出给定的合成的CT图像。在第一判别模型的输入端处接收给定的合成的CT图像。利用第一判别模型将给定的合成的CT图像分类为合成的CT图像或真实的CT图像。在第二生成模型的输入端处接收给定的合成的CT图像，以生成用于计算循环一致性损失的循环CBCT图像。真实的CT图像被发送至第二生成模型的输入端，以输出合成的训练CBCT图像。在第二判别模型的输入端处接收合成的训练CBCT图像，以将合成的训练CBCT图像分类为合成的CBCT图像或真实的CBCT图像；并且在第一生成模型的输入端处接收合成的训练CBCT图像，以生成用于计算循环一致性损失的循环CT图像。第一生成模型被训练成最小化或减小第一基于像素的损失项，所述第一基于像素的损失项表示多个合成的CT图像与分别配对的真实的CT图像之间的差异的期望。第二生成模型被训练成最小化或减小第二基于像素的损失项，所述第二基于像素的损失项表示多个合成的CBCT图像与分别配对的真实的CBCT图像之间的差异的期望。

在一些实现中，提供了一种用于使用经训练的模型来生成增强的锥形束计算机断层扫描(CBCT)图像的***。所述***包括：包括至少一个处理器的处理电路***和包括指令的存储介质。所述指令当由所述至少一个处理器执行时使所述处理器：接收受试者的CBCT图像；使用生成模型生成与CBCT图像相对应的合成的计算机断层扫描(sCT)图像，生成模型在生成式对抗网络(GAN)中被训练，其中生成模型还被训练成处理作为输入的CBCT图像并提供sCT图像作为输出；以及呈现sCT图像以用于受试者的医学分析。

在一些实现中，生成式对抗网络被配置成使用判别模型来训练生成模型；使用判别模型和生成模型之间的对抗训练来创建由生成模型和判别模型应用的值；生成模型和判别模型包括相应的卷积神经网络。对抗训练包括：训练生成模型以从给定的CBCT图像生成给定的sCT图像，以及训练判别模型以将给定的sCT图像分类为合成的计算机断层扫描(CT)图像或真实的计算机断层扫描(CT)图像。生成模型的输出被用于训练判别模型，并且判别模型的输出被用于训练生成模型。

在一些实现中，使用包括生成模型和判别模型的循环生成式对抗网络(CycleGAN)来训练生成式对抗网络，其中，所述生成模型是第一生成模型，所述判别模型是第一判别模型。CycleGAN还包括：第二生成模型，其被训练成处理作为输入的给定的CT图像并提供给定的合成的(sCBCT)图像作为输出；以及第二判别模型，其被训练成将给定的sCBCT图像分类为合成的CBCT图像或真实的CBCT图像。

在一些实现中，CycleGAN包括用于训练第一生成模型的第一部分和第二部分，并且其中，第一部分被训练成：获得与真实的CT图像配对的训练CBCT图像；将训练CBCT图像发送至第一生成模型的输入端以输出给定的合成的CT图像；以及在第一判别模型的输入端处接收合成的训练CT图像以将给定的合成的CT图像分类为合成的CT图像或真实的CT图像，并且在第二生成模型的输入端处接收合成的训练CT图像以生成用于计算循环一致性损失的循环CBCT图像。第二部分被训练成：将真实的CT图像发送至第二生成模型的输入端以输出给定的合成的CBCT图像；以及在第二判别模型的输入端处接收给定的合成的CBCT图像以将给定的合成的CBCT图像分类为合成的CBCT图像或真实的CBCT图像，并且在第一生成模型的输入端处接收给定的合成的CBCT图像以生成用于计算循环一致性损失的循环CT图像。

在一些实现中，第一生成模型被训练成最小化或减小第一基于像素的损失项，所述第一基于像素的损失项表示多个合成的CT图像与分别配对的真实的CT图像之间的差异的期望；第二生成模型被训练成最小化或减小第二基于像素的损失项，所述第二基于像素的损失项表示多个合成的CBCT图像与分别配对的真实的CBCT图像之间的差异的期望。

在一些实现中，CycleGAN被训练成将度量应用于第一基于像素的损失项和第二基于像素的损失项，所述度量基于与成对的CBCT图像和真实的CT图像具有相同大小的图而生成，使得所述图中的每个像素值表示给定的CBCT图像和与所述给定的CBCT图像配对的给定的真实的CT图像之间的相似性程度。

在一些实现中，CycleGAN被训练成将阈值应用于度量，使得当相似性程度超过阈值时，权重被应用于第一基于像素的损失项和第二基于像素的损失项，否则零值被应用于第一基于像素的损失项和第二基于像素的损失项。

在一些实现中，根据目标函数来训练生成式对抗网络，所述目标函数基于对抗损失、循环一致性损失和基于像素的损失项。

以上概述旨在提供本专利申请的主题的概述。并不旨在提供本发明的排他性或详尽的说明。具体实施方式被包括以提供关于本专利申请的更多信息。

附图说明

在不一定按比例绘制的附图中，相同的附图标记在全部几幅图中描述基本上相似的部件。具有不同字母后缀的相同附图标记表示基本上相似的部件的不同实例。附图通过示例的方式而非通过限制的方式大体上示出了本文献中讨论的各种实施方式。

图1示出了根据一些示例的适于执行治疗计划生成处理的示例性放射疗法***。

图2A和图2B示出了根据本公开内容的一些示例的示例性图像引导放射疗法装置。

图3A和图3B示出了根据本公开内容的一些示例的示例性卷积神经网络模型，该示例性卷积神经网络模型适于从所接收的CBCT图像生成和判别sCT图像。

图4示出了根据本公开内容的一些示例的关于生成式对抗网络的训练和使用的示例性数据流，该生成式对抗网络适于从所接收的CBCT图像生成sCT图像。

图5示出了根据本公开内容的一些示例的用于从所接收的CBCT图像生成sCT图像的生成式对抗网络的训练。

图6示出了根据本公开内容的一些示例的用于从所接收的CBCT图像生成sCT图像的循环生成式对抗网络(cycle generative adversarial network)的训练和使用。

图7示出了根据本公开内容的一些示例的与从所接收的CBCT图像训练和生成sCT图像相关的所使用的输入图像和解剖区域信息的变化。

图8示出了根据本公开内容的一些示例的用于训练生成模型的示例性操作的流程图，该生成模型适于从所接收的CBCT图像输出sCT图像。

具体实施方式

本公开内容包括通过生成sCT图像(表示所接收的CBCT图像的合成CT图像或模拟CT图像)来改进和增强CBCT成像的各种技术，包括以提供相比于用于改进CBCT图像的手动(例如，由人指引、辅助或引导)和常规方法具有技术优势的方式。这些技术优势包括：生成增强CBCT图像或sCT图像的计算处理时间减少，消除CBCT图像和增强CBCT图像中的伪像，以及伴随的对用于生成和增强CBCT图像和sCT图像的处理、存储器和网络资源的改进。除了数据管理、可视化以及用于管理数据以支持这些改进的CBCT图像或sCT图像的控制***的改进之外，这些改进的CBCT图像或sCT图像还可以适用于各种各样的医学治疗和诊断设置以及此类设置中使用的信息技术***。因此，除了这些技术益处之外，本技术还可以产生许多明显的医学治疗益处(包括提高放射疗法治疗的准确性、减少对非预期辐射的暴露等)。

如本文进一步讨论的，作为有监督人工智能(AI)机器学习的一种形式的生成式对抗网络(GAN)的以下使用和部署通过经由经学习的模型生成sCT图像来实现对CBCT图像的准确性和有用性的改进。在示例中，本技术输出合成CT图像，该合成CT图像与输入的CBCT图像(例如，人类受试者的CBCT图像)相对应并且可以包括与真实的、真的或实际的CT成像数据(这样的CT图像始终可以被称为真实的、真的或实际的CT图像)准确匹配或可比较的像素值。本文讨论的经学习的模型还可以从原始的低图像质量的CBCT图像产生具有优异的高图像质量的合成CT图像(sCT)。这样的sCT图像保留了原始CBCT图像中的解剖结构，并且可以去除或消除所有或基本上所有的散射、条纹伪像和其他噪声伪像，以获得具有准确无误的HU值的高图像质量。可以实时地即时产生sCT图像(例如，在CBCT图像被接收时，所公开的模型可以生成并增强CBCT图像)。

在示例中，使用在GAN或CycleGAN中操作的一对深度卷积神经网络来产生经学习的模型：生成器(也被称为“生成模型”)，其产生描述训练数据的概率分布的估计；以及判别器(也被称为“判别式模型”)，其将生成器样本分类为属于生成器或属于训练数据。生成器旨在尽可能完整地模拟训练数据的数据分布，从而最大程度地使判别器混淆。因此，产生了被训练(本质上是“调节”)成使预测建模中的回归的结果最大化的生成器。

在示例中，在配对的CBCT图像集和真实CT图像集上训练GAN，以在给定CBCT图像的情况下对模型进行训练以生成sCT图像。CBCT图像可以与真实的CT图像配准。GAN双网络(生成器-判别器)架构的使用可以用来产生经训练的生成模型，该经训练的生成模型生成与所接收的CBCT图像相对应的sCT图像，GAN双网络(生成器-判别器)架构优于先前的实现和DNN架构——包括神经网络中的有监督ML的先前方法。另外，CycleGAN与本技术一起使用可以提供其他改进，所述其他改进用于改进对用来创建sCT图像的生成器的训练。根据以下章节，这些以及各种各样的其他技术和功能优势将变得明显。

本文讨论的方法使得能够发现CBCT图像和真实CT图像的特性，以便在CBCT图像被接收时实时地生成新的sCT图像。这些方法使用GAN所采用的一种统计学习来获得CBCT图像与真实CT图像之间的联系的更为详细的模型。

一种方法已经探索了深度学***滑的CBCT图像，从而导致丢失CBCT图像中的精细或微小结构。

另外，DCNN类型的方法依赖于每对训练数据的图像对应的精确度，原因是：在训练期间，将针对CBCT图像和真实CT图像中相应位置处的像素对来学习非线性映射。利用L1损失函数或L2损失函数，可以计算每个图像像素处的差异并将所述差异相加。但是，如果CBCT图像和真实CT图像中相应位置处的像素对由于不完全匹配而实际上不表示相同的解剖结构，则误差可能会传播到学习过程中，并且可能最终会在这样的位置处产生具有模糊图像外观的不确定预测。常规***尚未探索改善GAN的操作和精确度的方法，例如通过使用CycleGAN(例如，其包括图像映射或图像对准约束)。

图1示出了示例性放射疗法***100，该放射疗法***100适于使用本文所讨论的方法中的一种或更多种来执行放射疗法计划处理操作。执行这些放射疗法计划处理操作，以使得放射疗法***能够基于捕获的医学成像数据和疗法剂量计算的特定方面向患者提供放射疗法。具体地，以下处理操作可以被实现为：由图像处理逻辑120实现的图像生成工作流130和图像生成训练工作流140的一部分。然而，应当理解，可以提供以下训练模型和图像处理逻辑120的许多变化和用例，包括数据验证、可视化以及其他医学评估和诊断设置。放射疗法***100可以使用GAN从所接收的CBCT图像生成sCT图像。sCT图像可以表示类似于真实CT图像的具有清晰边缘外观特征的改善的CBCT图像。因此，放射疗法***100可以使用被捕获的受试者的某个区域的较低质量的CBCT图像来实时地产生sCT类型的图像以用于医学分析。

放射疗法***包括托管图像处理逻辑120的放射疗法处理计算***110。放射疗法处理计算***110可以连接至网络(未示出)，并且这样的网络可以连接至因特网。例如，网络可以将放射疗法处理计算***110与一个或更多个医疗信息源(例如，放射信息***(RIS)、医疗记录***(例如，电子医疗记录(EMR)/电子健康记录(EHR)***)、肿瘤学信息***(OIS))、一个或更多个图像数据源150、图像获取装置170(例如，成像模态)、治疗装置180(例如，放射疗法装置)以及治疗数据源160连接起来。作为示例，放射疗法处理计算***110可以被配置成：通过执行来自图像处理逻辑120的指令或数据来接收受试者的CBCT图像并且生成与该CBCT图像相对应的sCT图像，作为生成要由治疗装置180使用和/或供在装置146上输出的改善的CBCT图像的操作的一部分。

放射疗法处理计算***110可以包括处理电路***112、存储器114、存储装置116以及诸如用户接口142、通信接口(未示出)的其他硬件和软件可操作的特征等。存储装置116可以存储诸如操作***、放射疗法治疗计划(例如，训练CBCT图像、真实CT图像、将训练图像和真实CT图像相关联的配对信息、所生成的sCT图像、经修改或经更改的CBCT图像等)、软件程序(例如，图像处理软件；图像或解剖可视化软件；诸如由DL模型、ML模型和神经网络提供的AI实现和算法等)的暂态或非暂态计算机可执行指令以及要由处理电路***112执行的任何其他计算机可执行指令。

在示例中，处理电路***112可以包括处理装置，例如，诸如微处理器、中央处理单元(CPU)、图形处理单元(GPU)、加速处理单元(APU)等的一个或更多个通用处理装置。更特别地，处理电路***112可以是复杂指令集计算(CISC)微处理器、精简指令集计算(RISC)微处理器、超长指令字(VLIW)微处理器、实现其他指令集的处理器或实现指令集的组合的处理器。处理电路***112也可以由诸如专用集成电路(ASIC)、现场可编程门阵列(FPGA)、数字信号处理器(DSP)、片上***(SoC)等的一个或更多个专用处理装置来实现。如本领域技术人员将理解的，在一些示例中，处理电路***112可以是专用处理器而不是通用处理器。处理电路***112可以包括一个或更多个已知的处理装置，例如来自由Intel^TM制造的Pentium^TM、Core^TM、Xeon^TM或

系列的微处理器以及来自由AMD^TM制造的Turion^TM、Athlon^TM、Sempron^TM、Opteron^TM、FX^TM、Phenom^TM系列的微处理器或者由太阳微***公司(SunMicrosystems)制造的各种处理器中的任何处理器。处理电路***112也可以包括诸如来自由Nvidia^TM制造的

系列以及由Intel^TM制造的GMA、Iris^TM系列或由AMD^TM制造的Radeon^TM系列的GPU的图形处理单元。处理电路***112还可以包括诸如由Intel^TM制造的Xeon Phi^TM系列的加速处理单元。所公开的实施方式不限于以其他方式被配置成满足识别、分析、维护、生成和/或提供大量数据或操纵这种数据以执行本文中公开的方法的计算需求的任何类型的处理器。另外，术语“处理器”可以包括多于一个物理(基于电路***)或基于软件的处理器，例如多核设计或每个都具有多核设计的多个处理器。处理电路***112可以执行被存储在存储器114中并且从存储装置116被访问的暂态或非暂态计算机程序指令的序列，以执行将在下面更详细地说明的各种操作、过程、方法。应当理解，***100中的任何部件可以单独地被实现并作为独立装置工作，并且可以耦接至***100中的任何其他部件以执行本公开内容中描述的技术。

存储器114可以包括只读存储器(ROM)、相变随机存取存储器(PRAM)、静态随机存取存储器(SRAM)、闪存、随机存取存储器(RAM)、动态随机存取存储器(DRAM)例如同步DRAM(SDRAM)、电可擦除可编程只读存储器(EEPROM)、静态存储器(例如，闪存、闪存盘、静态随机存取存储器)以及其他类型的随机存取存储器、高速缓冲存储器、寄存器、光盘只读存储器(CD-ROM)、数字多功能盘(DVD)或其他光存储装置、盒式磁带、其他磁存储装置、或者可以被用来存储能够由处理电路***112或任何其他类型的计算机装置访问的包括图像、数据或者暂态或非暂态计算机可执行指令(例如，以任何格式存储)的信息的任何其他非暂态介质。例如，计算机程序指令可以由处理电路***112访问，可以从ROM或任何其他合适的存储器位置被读取，并且可以被加载到RAM中以由处理电路***112执行。

存储装置116可以构成包括暂态或非暂态机器可读介质的驱动单元，在所述暂态或非暂态机器可读介质上存储有由本文中描述的方法或功能中的任何一个或更多个实施或利用的一个或更多个暂态或非暂态指令集和数据结构(例如，软件)(在各种示例中，包括治疗处理逻辑120和用户接口142)。在放射疗法处理计算***110执行指令期间，指令还可以全部或至少部分地驻留在存储器114和/或处理电路***112内，其中存储器114和处理电路***112也构成暂态或非暂态机器可读介质。

存储器装置114和存储装置116可以构成非暂态计算机可读介质。例如，存储器装置114和存储装置116可以将用于一个或更多个软件应用的暂态或非暂态指令存储或加载在计算机可读介质上。利用存储器装置114和存储器装置116存储或加载的软件应用可以包括例如用于通用计算机***以及用于软件控制的装置的操作***。放射疗法处理计算***110还可以操作包括用于实现图像处理逻辑120和用户接口142的软件代码的各种软件程序。此外，存储器装置114和存储装置116可以存储或加载能够由处理电路***112执行的整个软件应用、软件应用的一部分或者与软件应用相关联的代码或数据。在另一示例中，存储器装置114和存储装置116可以存储、加载和操纵一个或更多个放射疗法治疗计划、成像数据、分割数据、治疗可视化、直方图或测量值、AI模型数据(例如，权重和参数)、标记和映射数据等。可以预期，软件程序不仅可以被存储在存储装置116和存储器114上，而且可以被存储在诸如硬盘驱动器、计算机磁盘、CD-ROM、DVD、蓝光DVD、USB闪存驱动器、SD卡、记忆棒的可移除计算机介质上或任何其他合适的介质上；也可以通过网络传送或接收这样的软件程序。

尽管未示出，但是放射疗法处理计算***110可以包括通信接口、网络接口卡和通信电路***。示例通信接口可以包括例如网络适配器、线缆连接器、串行连接器、USB连接器、并行连接器、高速数据传输适配器(例如，光纤、USB 3.0、雷电接口(thunderbolt)等)、无线网络适配器(例如，IEEE 802.11/Wi-Fi适配器)、电信适配器(例如，与3G、4G/LTE和5G网络等进行通信)等。这样的通信接口可以包括一个或更多个数字和/或模拟通信装置，所述一个或更多个数字和/或模拟通信装置允许机器经由网络与其他机器和装置例如位于远处的部件进行通信。网络可以提供局域网(LAN)、无线网络、云计算环境(例如，软件即服务、平台即服务、基础设施即服务等)、客户端-服务器、广域网(WAN)等的功能。例如，网络可以是可以包括其他***(包括与医学成像或放射疗法操作相关联的附加图像处理计算***或基于图像的部件)的LAN或WAN。

在示例中，放射疗法处理计算***110可以从图像数据源150(例如，CBCT图像)获得图像数据152，以托管在存储装置116和存储器114上。结合图2B详细描述了示例性图像数据源150。在示例中，在放射疗法处理计算***110上运行的软件程序可以例如通过产生诸如伪CT图像或sCT的合成图像来将一种格式(例如，MRI)的医学图像转换成另一种格式(例如，CT)。在另一示例中，软件程序可以将患者医学图像(例如，CT图像或MR图像)与随后被创建或被捕获的该患者的CBCT图像(例如，也被表示为图像)配准或相关联，从而使得相应的图像适当地配对和相关联。在又一示例中，软件程序可以代替患者图像的功能，例如强调图像信息的一些方面的图像的有符号距离功能或经处理的版本。

在示例中，放射疗法处理计算***110可以从图像数据源150获得CBCT成像数据152或者将CBCT成像数据152传送至图像数据源150。这种成像数据可以被提供给计算***110，以使用GAN或CycleGAN建模来增强或改善成像数据以产生sCT。治疗数据源160或装置180可以使用sCT来治疗人类受试者。在另外的示例中，治疗数据源160由于由图像生成工作流130生成的sCT而接收或更新计划数据；图像数据源150还可以提供或托管成像数据，以供在图像生成训练工作流140中使用。

在示例中，计算***110可以使用图像数据源150来生成成对的CBCT图像和真实CT图像。例如，计算***110可以指示CBCT装置获取受试者的目标区域(例如，脑区域)的图像。计算***110可以将图像数据和通过CBCT图像捕获的时间和目标区域的相关联的指示一起存储在存储装置116中。计算***110还可以指示CT成像装置获取与真实CT图像相同的目标区域(例如，脑区域的同一截面)的图像。计算***110可以将真实CT图像与先前获得的同一区域的CBCT图像相关联，从而形成一对真实CT图像和CBCT图像，以作为训练对存储在装置116中。计算***110可以继续生成这样的训练图像对，直到获得阈值数目的对为止。在一些实现中，可以由人类操作者引导计算***110要获得哪个目标区域以及哪些CBCT图像与真实CT图像配对。

处理电路***112可以通信地耦接至存储器114和存储装置116，并且处理电路***112可以被配置成：执行存储在其上的来自存储器114或存储装置116的计算机可执行指令。处理电路***112可以执行指令，以使得来自图像数据152的医学图像能够被接收或被获取到存储器114中并且被使用图像处理逻辑120进行处理。在另外的示例中，处理电路***112可以利用软件程序(例如，图像处理软件)以及图像数据152和其他患者数据来增强或生成sCT图像。

另外，处理电路***112可以利用软件程序来生成中间数据，例如，要由例如神经网络模型、机器学习模型、图像生成工作流130、图像生成训练工作流140或者与如本文中讨论的利用GAN或CycleGAN生成sCT图像有关的其他方面使用的更新的参数。此外，使用本文中进一步讨论的技术，这样的软件程序可以利用图像处理逻辑120来实现图像生成工作流130，以产生新的或更新的sCT图像以用于部署至治疗数据源160和/或呈现在输出装置146上。于是，处理电路***112随后可以经由通信接口和网络将新的或更新的图像发送至治疗装置180，在治疗装置180处，放射疗法计划将被用于经由治疗装置180利用辐射对患者进行治疗，这与利用工作流140训练的工作流130的结果一致。软件程序和工作流130、140的其他输出和使用可以在使用放射疗法处理计算***110时发生。

在本文中的示例(例如，参考参照图3和图4讨论的生成式对抗网络处理)中，处理电路***112可以执行调用图像处理逻辑120的软件程序，以实现用于从输入的CBCT图像生成sCT图像的ML、DL、神经网络和人工智能的其他方面的功能。例如，处理电路***112可以执行如本文中讨论的从所接收的CBCT图像训练、分析、预测、评估和生成sCT图像的软件程序。

在示例中，图像数据152可以包括一个或更多个MRI图像(例如，2D MRI、3D MRI、2D流式MRI、4D MRI、4D体积MRI、4D影像MRI等)、功能MRI图像(例如，fMRI、DCE-MRI、扩散MRI)、计算机断层扫描(CT)图像(例如，2D CT、2D锥形束CT、3D CT、3D CBCT、4D CT、4D CBCT)、超声图像(例如，2D超声、3D超声、4D超声)、正电子发射断层扫描(PET)图像、X射线图像、荧光镜图像、放射疗法射野图像(radiotherapy portal image)、单光子发射计算机断层扫描(SPECT)图像、计算机生成的合成图像(例如，伪CT图像)等。此外，图像数据152还可以包括医学图像处理数据例如训练图像、真实图像(ground truth image)、轮廓图像和剂量图像或者与医学图像处理数据例如训练图像、真实图像、轮廓图像和剂量图像相关联。在其他示例中，可以以非图像格式(例如，坐标、映射等)来表示解剖区域的等效表示。

在示例中，可以从图像获取装置170接收图像数据152，并且将该图像数据152存储在图像数据源150(例如，图片存档及通信***(PACS)、供应商中立档案库(VNA)、医疗记录或信息***、数据仓库等)中的一个或更多个中。因此，图像获取装置170可以包括MRI成像装置、CT成像装置、PET成像装置、超声成像装置、荧光镜装置、SPECT成像装置、集成的线性加速器和MRI成像装置、CBCT成像装置、或者用于获取患者的医学图像的其他医学成像装置。图像数据152可以以图像获取装置170和放射疗法处理计算***110可以用来执行与所公开的实施方式一致的操作的任何数据类型或任何格式类型(例如，以医学数字成像和通信(DICOM)格式)被接收和被存储。此外，在一些示例中，本文中讨论的模型可以被训练成：对原始图像数据格式或其衍生进行处理。

在示例中，图像获取装置170可以与治疗装置180集成为单个设备(例如，与线性加速器组合的MRI装置，也被称为“MRI-Linac”)。这样的MRI-Linac可以被用来例如确定患者体内的靶器官或靶肿瘤的位置，从而根据放射疗法治疗计划将放射疗法准确地引导至预定靶。例如，放射疗法治疗计划可以提供关于要施加至每个患者的特定辐射剂量的信息。放射疗法治疗计划还可以包括其他放射疗法信息，例如束角度、剂量-直方图-体积信息、在治疗期间要使用的辐射束的数量、每束的剂量等。在一些示例中，图像生成工作流130中的经GAN训练的模型仅被用于生成增强CBCT图像，而其他工作流或逻辑(未示出)被用来将该增强CBCT图像转换成用于完成放射疗法治疗的具体束角度和辐射物理量。

放射疗法处理计算***110可以通过网络与外部数据库进行通信，以发送/接收与图像处理和放射疗法操作有关的多个各种类型的数据。例如，外部数据库可以包括机器数据(包括装置约束)，该机器数据提供与治疗装置180、图像获取装置170或者与放射疗法或医疗规程有关的其他机器相关联的信息。机器数据信息可以包括辐射束大小、弧放置、束开启和关闭持续时间、机器参数、段、多叶准直器(MLC)配置、机架速度、MRI脉冲序列等。外部数据库可以是存储装置并且可以配备有适当的数据库管理软件程序。此外，这样的数据库或数据源可以包括以中央式或分布式方式定位的多个装置或***。

放射疗法处理计算***110可以使用一个或更多个通信接口经由网络收集和获取数据并且与其他***进行通信，所述一个或更多个通信接口通信地耦接至处理电路***112和存储器114。例如，通信接口可以提供放射疗法处理计算***110与放射疗法***部件之间的通信连接(例如，允许与外部装置交换数据)。例如，在一些示例中，通信接口可以具有与输出装置146或输入装置148的适当的接口电路***以连接至用户接口142，用户接口142可以是用户可以通过其将信息输入至放射疗法***中的硬件键盘、小键盘或触摸屏。

作为示例，输出装置146可以包括显示装置，该显示装置输出：用户接口142的表示；医学图像、治疗计划的一个或更多个方面、可视化或表示；以及这样的计划的训练、生成、验证或实现的状态。输出装置146可以包括一个或更多个显示屏，所述一个或更多个显示屏显示医学图像、界面信息、治疗计划参数(例如，轮廓、剂量、束角度、标记、图等)、治疗计划、靶、对靶进行定位和/或对靶进行跟踪或者任何与用户相关的信息。连接至用户接口142的输入装置148可以是键盘、小键盘、触摸屏或者用户可以向放射疗法***输入信息的任何类型的装置。可替选地，输出装置146、输入装置148以及用户接口142的特征可以被集成到诸如智能电话或平板计算机(例如，Apple

Lenovo

Samsung

等)的单个装置中。

此外，放射疗法***的任何部件和所有部件都可以被实现为虚拟机(例如，经由VMWare、Hyper-V等虚拟化平台)或独立装置。例如，虚拟机可以是充当硬件的软件。因此，虚拟机可以包括一起充当硬件的至少一个或更多个虚拟处理器、一个或更多个虚拟存储器以及一个或更多个虚拟通信接口。例如，放射疗法处理计算***110、图像数据源150或类似部件可以被实现为虚拟机或被实现在基于云的虚拟化环境内。

图像处理逻辑120或其他软件程序可以使计算***与图像数据源150进行通信，以将图像读取到存储器114和存储装置116中，或者将图像或相关联的数据从存储器114或存储装置116存储到图像数据源150以及将图像或相关联的数据从图像数据源150存储到存储器114或存储装置116。例如，在模型训练或生成用例中，图像数据源150可以被配置成：存储和提供图像数据源150托管的、来自经由图像获取装置170从一个或更多个患者获得的图像数据152中的图像集的多个图像(例如，3D MRI、4D MRI、2D MRI切片图像、CT图像，2D荧光透视图像、X射线图像、来自MR扫描或CT扫描的原始数据、医学数字成像和通信(DICOM)元数据等)。图像数据源150或其他数据库也可以存储当执行进行从所接收的CBCT图像创建、修改或生成sCT图像的图像处理操作的软件程序时要由图像处理逻辑120使用的数据。此外，各种数据库可以存储由经训练的模型产生的数据，包括构成通过生成式对抗网络模型138学习的模型的网络参数和所得到的预测数据。因此，放射疗法处理计算***110可以从与执行放射治疗或诊断操作有关的图像数据源150、图像获取装置170、治疗装置180(例如，MRI-Linac)或其他信息***获取和/或接收图像数据152(例如，2D MRI切片图像、CT图像、2D荧光透视图像、X射线图像、3DMRI图像、4D MRI图像等)。

图像获取装置170可以被配置成：针对感兴趣的区域(例如，靶器官、靶肿瘤或这二者)获取患者解剖结构的一个或更多个图像。每个图像——通常是2D图像或切片——可以包括一个或更多个参数(例如，2D切片厚度、取向和位置等)。在示例中，图像获取装置170可以获取任何取向的2D切片。例如，2D切片的取向可以包括矢状取向、冠状取向或轴向取向。处理电路***112可以调整一个或更多个参数例如2D切片的厚度和/或取向，以包括靶器官和/或靶肿瘤。在示例中，可以根据诸如3D CBCT或CT或MRI体积的信息来确定2D切片。当患者正在接受放射疗法治疗时，例如当使用治疗装置180时，可以由图像获取装置170“接近实时”获取这样的2D切片(其中，“接近实时”意味着至少以数毫秒或更短的时间来获取数据)。

放射疗法处理计算***110中的图像处理逻辑120被描绘为实现图像生成工作流130，该工作流130涉及使用经训练(经学习)的生成模型(例如，实现下面参照图8描述的方法)。该生成模型可以由作为生成式对抗网络模型138的一部分被训练的生成器138B提供。在示例中，由图像处理逻辑120操作的计划生成工作流130与真实CT图像数据处理132和CBCT图像数据处理134结合，以基于在训练中使用的映射的CT图像和CBCT图像生成sCT图像。

在示例中，生成器138B包括作为训练的结果的经学习的权重和值，所述训练涉及结合图像生成训练工作流140对GAN 138中的判别器138A和生成器138B的使用，图像生成训练工作流140对成对的训练数据(例如，成对的CBCT图像和真实CT图像)进行处理。如上所述，该训练工作流140可以获得和利用来自数据源160、170的成像数据和相关联的图像数据152。

图2A示出了示例性的图像引导的放射疗法装置202，该图像引导的放射疗法装置202包括：诸如X射线源或线性加速器的辐射源、床216、成像检测器214和放射疗法输出部204。放射疗法装置202可以被配置成：发射放射束208以向患者提供疗法。放射疗法输出部204可以包括一个或更多个衰减器或准直器，例如多叶准直器(MLC)。如将理解的，可以结合图像处理逻辑120来设置放射疗法输出部204，该图像处理逻辑120实现图像生成工作流130以及来自GAN的生成器138B的图像生成的相关联使用。

作为示例，患者可以被放置在由治疗床216支承的区域212中，以根据放射疗法治疗计划接收放射疗法剂量。放射疗法输出部204可以被安装或附接至台架206或其他机械支承件。当床216被***到治疗区域中时，一个或更多个底盘马达(chassis motor)(未示出)可以使台架206和放射疗法输出部204绕床216旋转。在示例中，当床216被***到治疗区域中时，台架206可以围绕床216连续地旋转。在另一个示例中，当床216被***到治疗区域中时，台架206可以旋转到预定位置。例如，台架206可以被配置成使疗法输出部204绕轴(“A”)旋转。床216和放射疗法输出部204二者均可以独立地移动至患者周围的其他位置，例如，可沿横向方向(“T”)移动、可沿侧向方向(“L”)移动或者绕一个或更多个其他轴旋转例如绕横向轴(被表示为“R”)旋转。通信地连接至一个或更多个致动器(未示出)的控制器可以控制床216的移动或旋转，以便根据放射疗法治疗计划将患者适当地放置在辐射束208之中或之外。床216和台架206二者都可以以多个自由度彼此独立地移动，这允许患者被放置成使得辐射束208可以精确地瞄准肿瘤。

图2A中所示的坐标系(包括轴A、T和L)可以具有位于等中心(isocenter)210处的原点。等中心可以被定义为如下位置，在所述位置处，放射疗法束208的中心轴与坐标轴的原点相交，例如以将规定的辐射剂量递送至患者上或患者体内的位置。可替选地，等中心210可以被定义为如下位置，在所述位置处，对于如由台架206定位的放射疗法输出部204围绕轴A的各种旋转位置，放射疗法束208的中心轴与患者相交。

台架206还可以具有附接的成像检测器214。成像检测器214优选地位于与辐射源(输出部204)相对的位置，并且在示例中，成像检测器214可以位于疗法束208的场内。成像检测器214可以实现图像处理逻辑120(图1)，以从CBCT图像实时地生成sCT图像。成像检测器214可以优选地与放射疗法输出部204相对地安装在台架206上，例如以保持与疗法束208对准。随着台架206旋转，成像检测器214绕旋转轴旋转。在示例中，成像检测器214可以是平板检测器(例如，直接检测器或闪烁体检测器)。以这种方式，成像检测器214可以被用来监测疗法束208，或者成像检测器214可以用于对患者的解剖结构进行成像，例如射野成像。放射疗法装置202的控制电路***可以集成在放射疗法***100内或者远离放射疗法***100。

在说明性示例中，可以自动地放置床216、疗法输出部204或台架206中的一个或更多个，并且疗法输出部204可以根据用于特定疗法递送实例的指定剂量来创建疗法束208。可以根据放射疗法治疗计划——例如，使用台架206、床216或疗法输出部204的一个或更多个不同的取向或位置——来指定疗法递送的序列。疗法递送可以顺序地发生，但是可以在患者上或在患者体内的期望的疗法位点中例如在等中心210处交叉。由此，可以将放射疗法的规定累积剂量递送至疗法位点，同时可以减少或避免对疗法位点附近的组织的损害。

因此，图2A具体地示出了放射疗法装置202的示例，该放射疗法装置202可操作成向患者提供放射疗法治疗，该放射疗法装置202具有放射疗法输出部可以围绕中心轴(例如，轴“A”)旋转的配置。可以使用其他放射疗法输出部配置。例如，放射疗法输出部可以被安装至具有多个自由度的机械臂或操纵器。在又一示例中，疗法输出部可以被固定，例如被定位在与患者侧向分开的区域中，并且可以使用支承患者的平台来使放射疗法等中心与患者体内的指定靶位点对准。在另一示例中，放射疗法装置可以是线性加速器和图像获取装置的组合。如本领域普通技术人员将认识到的，在一些示例中，图像获取装置可以是MRI、X射线、CT、CBCT、螺旋CT、PET、SPECT、光学层析成像、荧光成像、超声成像或放射疗法射野成像装置等。

图2B示出了作为图2A和170(图1)的图像获取装置之一的X射线锥形束计算机断层扫描扫描仪220的示例。X射线锥形束计算机断层扫描扫描仪220可以包括X射线管224和检测器222。在操作期间，光子可以从X射线管224被发射并且在到达检测器222之前可以行进通过3D对象(例如，患者解剖结构的一部分)。3D对象可以吸收一部分发射的光子。检测器222可以包括可以将所接收的光子转换成相应的电子信号的2D扁平面板。电子信号可以沿着特定的X射线路径(直线路径)记录吸收强度，例如以形成2D投影空间图像。为了获得3D对象的3D结构信息，可以使3D对象绕旋转轴旋转，或者可以沿轨道状轨迹扫描X射线管224和检测器222，以从不同视角获得2D投影空间图像。在示例中，可以在大于200度的范围内收集2D投影空间图像，例如可以对应于数百个2D投影空间图像。

可以采用图像重建算法来从由X射线锥形束计算机断层扫描扫描仪220收集的2D投影空间图像形成3D对象的3D图像。重建算法可以包括分析和迭代重建算法。在示例中，可以使用分析算法(例如，Feldkamp或Feldkamp修改算法)来处理由扫描仪220收集的2D投影空间图像，以获得3D重建图像。在示例中，分析算法可以在几秒钟内处理2D投影空间图像。然而，3D重建图像可能会受到伪像的影响，例如由于所收集的2D投影空间图像与和分析算法相关联的数学假设之间的差异而引入的伪像。此外，伪像可能来自其他来源，例如噪音。在示例中，可以使用迭代算法来处理由扫描仪220收集的2D投影空间图像以获得3D重建图像。迭代算法可以抑制与分析算法相关联的一些伪像但不能抑制所有类型的伪像，并且迭代算法可以获得比分析算法更好的图像质量，但是即使使用先进的GPU技术，迭代算法也可能比分析算法花费更长的时间。分析算法和迭代算法都并不是对所有类型的伪像都有效。图像中的伪像可以包括噪声、散射伪像、消光伪像(extinction artefact)、射束硬化伪像(beam hardening artefact)、指数边缘梯度效应、混叠效应、环形伪像、运动伪像或未对准效应中的任何一种或更多种。

噪声伪像可能包括来自舍入误差的加性噪声或电噪声。噪声伪像还可以包括光子计数噪声，该光子计数噪声可能遵循泊松分布(Poisson distribution)。CBCT机器可以在毫安电流下运行，该电流可能比CT机器的电流低大约一个数量级，因此CBCT图像中的信噪比可能低于CT图像中的信噪比。散射伪像可以由对象散射的光子引起，这些光子偏离沿直线路径的行进。在可以假定光子沿直线路径行进的某些重建算法中，由于散射而可能引入伪像。散射伪像可以包括CBCT 2D/3D图像中的不均匀变暗。在对象包含强吸收材料并且光子无法穿透该对象的情况下，可能出现消光伪像，从而导致检测器上的信号非常弱或为零。在检测器上的信号非常弱或为零的情况下，吸收信息可能会丢失。2D CBCT投影空间图像中的消光伪像可能引起重建的CBCT 2D/3D图像中的伪像，例如强烈的亮条纹状伪像。在使用多色X射线束来形成2D CBCT投影空间图像的情况下，可能出现射束硬化伪像。在多色x射线束中，低能量x射线可以优先被患者体内的组织吸收，诸如可以导致高能量x射线与低能量x射线的比率的相对增加。该比率的相对增加可能导致重建的CBCT 2D/3D图像中的伪像。指数边缘梯度效应(EEGE)可能会在与相邻结构具有高对比度的尖锐边缘处发生。可能通过在有限的束宽度上对测得的强度进行平均而引起EEGE，而用于重建的算法假定束宽度为零。EEGE可以提供降低的计算密度值，并且可以导致在投影方向上与长直边相切的条纹。当图像采样频率(每单位面积像素)小于被采样的空间频率的值的两倍时，可能出现混叠伪像。由于发散的锥形束——例如在收集CBCT投影空间图像时使用的锥形束——也可能出现混叠伪像。环状伪像可能是由检测器元件的缺陷或未校准引起的。环状伪像可以表现为以旋转轴为中心的同心环。运动伪像和未对准效应可能是由于在CBCT图像的收集期间源、对象和检测器中的任何一个未对准引起的。

可以通过使用本文所讨论的涉及GAN的深度学习(DL)方法/机器学习(ML)方法——例如使用图像处理逻辑120(图1)——来改善这些CBCT图像。AI、DL或ML都基于对随机变量概率及其概率分布的数学分析。通常，以对X、Y——{x_i，y_i}，i＝1，N——观察随机变量，其中，对于每个值x_i∈X，我们希望将它分配给由标量类别索引y_i∈Y(分类)表示的类或类别，或者根据某个函数y_i＝f(x_i)(回归)为它分配数值。

所有分类或回归方法都依赖于概率分布的概念来描述随机变量X、Y。随机变量X，p(x)(x是离散的或连续的)的概率分布必须满足：1)p(x)的域必须是x的所有可能值的集合；2)对于所有x∈X，p(x)≥0；以及3)

从分布p(x)中抽出的样本x被写为x～p(x)。在联合分布p(x，y)是p(x)＝∫p(x，y)dy的情况下，X、Y的联合分布被写为p(x，y)并且边缘分布被写为x，p(x)。以x的值为条件观察y的概率为p(y|x)＝p(x，y)/p(x)。给定数据x来观察y的条件概率被称为数据似然。贝叶斯规则将X、Y条件似然联系为p(y|x)＝p(x|y)p(y)/p(x)。

统计学习的目标是确定将任何y与x关联的映射f：x→y。最重要的方法之一是最大似然估计。假定训练数据是由过程p_data(x，y)生成的。查找映射涉及学习模型过程p_model(x；θ)，该模型过程除了x之外还包括映射所依赖的参数θ。例如，θ可以包括神经网络层权重和偏差参数。最大似然将给出x的最可能值的参数θ_L估计为：

其中，E是括号中自变量的期望值。由于概率分布难以近似，并且由于目标是使p_data(x)分布与p_model(x；θ)分布之间的差异最小化，因此KL散度提供了数据驱动的替选方案，

其中，最大似然相当于使模型与数据分布之间的差异最小化。log p_data(x)项与模型无关，因此要使D_KL最小化，需要使以下式3最小化：

这与式(1)相同，其中θ隐含在模型表达式中。于是，所需的映射为f(θ)：x～p_mode1→y。

当前公开的用于CT图像建模和sCT图像生成的***提供了现代神经网络技术的有用应用，以对放射疗法治疗计划和图像生成进行建模。自1960年代以来就一直在研究神经网络(NN)，以解决分类问题(将观察到的数据x分配给两个或更多个类y_i(i＝1，...，n)中的一个)和回归问题(将观察到的数据x与和该数据有关的参数的值y相关联)。CT图像和CBCT图像参数的生成可以被视为回归问题，该回归问题是通过使用经由GAN配置学习的NN生成模型而产生的。

简单的NN由输入层、中间层或隐藏层以及输出层组成，每个层都包含计算单元或节点。(一个或多个)隐藏层节点具有来自所有输入层节点的输入，并连接至输出层中的所有节点。这样的网络被称为“完全连接”。每个节点根据其输入之和的非线性函数将信号传送至输出节点。对于分类器，输入层节点的数量通常等于被分类到类中的对象集中的每一个的特征的数量，而输出层节点的数量等于类的数量。通过以下操作对网络进行训练：向网络呈现已知类的对象的特征，并且通过被称为反向传播的算法来调整节点权重以减少训练误差。因此，经训练的网络可以对其类未知的新颖对象进行分类。

神经网络具有发现数据与类或回归值之间的关系的能力，并且在某些条件下可以模拟包括非线性函数的任何函数y＝f(x)。在ML中，假设训练和测试数据二者都是通过同一数据生成过程p_data生成的，其中每个{x_i,y_i}样本都相同且独立地分布(i.i.d.)。在ML中，目标是使训练误差最小化，并使训练误差和测试误差之间的差异尽可能小。如果训练误差太大，则会发生欠拟合(Underfitting)；在训练-测试误差差距太大时，会发生过拟合。两种类型的性能缺陷都与模型容量有关；大容量可能非常好地拟合训练数据，但会导致过拟合；小容量可能导致欠拟合。由于DNN具有巨大的容量，因此过拟合是机器学习中更常见的问题。

深度学***的性能。在本示例中，DNN可以被训练成确定观察到的数据X与输出Y之间的关系。数据X＝{X₁,...X_n}是CBCT图像的集合，输出Y是sCT图像。

DNN的动作由函数f(·)象征性地捕获

Y^*＝f(X；Θ)，

(式4)

其中，Θ＝(θ₁,...,θ_n)^T是与经训练的NN有关的参数的向量，其中，Y^*是在训练中观察到的真的Y的最接近的近似值。使用训练CBCT图像X和已知的真实的对应或配准的CT图像Y的数据集{X，Y}_i(i＝1，...，N)来训练DNN。训练使如下分类的成本函数J(Θ)最小化：

J(Θ^*)＝arg min_Θ||Y-Y^*||²，

(式5)

其中，Θ^*是使实际的Y与估计的Y^*之间的均方误差最小化的参数的集合。在深度学习中，成本函数通常将数据逼近函数表达为问题变量的概率函数，或者将给定X来观察Y并服从参数的值Θ的条件似然表达为P(Y|X；Θ)，为此，通过使似然最大化来获得最佳参数Θ_ML：

Θ_ML＝arg max_ΘP(Y|X；Θ)，

(式6)

或者可替选地，通过以下式7对训练数据求和：

产生属于真实CT类的sCT图像的识别的DNN输出是分类的示例。在这种情况下，DNN输出将是CBCT图像映射Y＝(y₁，...，y_M)^T的真实值元素y_i，这意味着网络计算将是回归的示例。

DNN比基本NN实现具有更多的层(更深)，原因是DNN通常包括数十或数百个层，每个层由数千个到数十万个节点组成，其中这些层以复杂的几何形状被布置。除了输入的加权总和之外，一些层还计算先前层输出上的其他运算，例如卷积。卷积和从卷积得到的滤波器可以定位图像中的边缘或声音流中的时间/音高特征，随后的层会发现由这些基元(primitives)组成的较大结构。涉及使用卷积层的这种经训练的DNN被称为卷积神经网络(CNN)。

跳跃连接(skip connection)是重要的CNN架构创新。最初是为了提高准确性和缩短训练而引入的，跳跃连接是将网络的一个级处的节点数据与另一级处的节点的数据进行拼接。重要的示例是针对医学图像分割而开发的U-Net架构。如下面进一步讨论的，“U”的“左”部分将图像数据编码为卷积滤波器特征，并且“U”的“右”部分将这些特征解码为连续的较高分辨率表示。跨相同网络层级的级的经编码和经解码特征的组合会导致更准确的分类。跳跃连接的另一种变型是在每个CNN块内实现的，它强制对层输出之间的差异(残差)进行训练，而不是直接对层输出进行训练。这种“ResNet”架构及其许多变型可以提高NN的准确性。

图3A示出了根据本公开内容的适于生成合成CT图像(sCT)的示例性CNN模型300。具体地，模型300描绘了“U-Net”深度CNN的布置，该“U-Net”深度CNN被设计成用于基于输入训练集(例如，配对的CBCT图像302和CT图像304)来生成输出数据集(输出sCT图像306)。该名称源自“U”配置，并且很好理解的是，这种形式的NN模型可以产生逐像素的分类或回归结果。

模型操作的左侧(“编码”操作312)学习如下特征集，右侧(“解码”操作314)使用所述特征集来重建输出结果。U-Net具有由conv/BN/ReLU(卷积/批量归一化/校正线性单元)块316组成的n个级，并且每个块具有跳跃连接以实现残差学习。块大小在图3A中由“S”和“F”数量表示；输入图像的大小为S×S，特征层的数量等于F。每个块的输出是与图像相同大小的阵列中的特征响应的模式。

沿着编码路径前进，块的大小在每个级处减小1/2或2^-1，而按照惯例，特征的大小增大2倍。网络的解码侧按比例从S/2ⁿ后退，同时在同一级处从左侧添加特征内容；这是复制/连接数据通信。图3A中所示的输入图像302、304可以被提供成用于训练网络以评估conv/BN/ReLU层参数，原因是将没有输出图像。为了使用该模型进行推理或测试，输入将是CBCT图像302的单个图像，并且输出将是sCT图像306。

因此图3A的模型300的表示示出了生成模型的训练和预测，该生成模型适于执行回归而不是分类。图3B示出了根据本公开内容的适于判别合成CT图像(sCT)的示例性CNN模型。图3B中所示的判别器网络可以包括若干级的块，这些块被配置有步长为2的卷积层、批量归一化层和ReLu层以及分离的池化层。在网络的末端处，将存在一个或几个完全连接层以形成用于判别目的2D片(patch)。图3B中所示的判别器可以是基于片的判别器，该基于片的判别器被配置成：接收输入的sCT图像(例如，来自图3A中所示的生成器)并将图像分类为真实的或仿造的，并且提供分类作为输出350。

与本公开内容的实施方式一致，基于这样的模型的治疗建模方法、***、装置和/或过程包括两个阶段：使用GAN中的判别器/生成器对来训练生成模型；以及使用经GAN训练的生成器，利用生成模型进行预测。在以下示例中详细地讨论了涉及用于sCT图像生成的GAN和CycleGAN的各种示例。将理解的是，还可以利用本技术来实现深度学习模型的类型的其他变型和组合以及其他神经网络处理方法。此外，尽管参照图像和图像数据讨论了以下示例，但是将理解的是，以下网络和GAN可以使用其他非图像数据表示和格式来进行操作。

在深度CNN训练中，经学习的模型是在训练期间确定的层节点参数θ(节点权重和层偏差)的值。训练采用最大似然或训练数据与模型分布之间的交叉熵。表达这种关系的成本函数是

关于具体问题的成本函数的确切形式取决于所使用的模型的性质。高斯模型p_mode1(y|x)＝N(y：f(x；θ))隐含成本函数例如：

其包括不依赖于θ的常数项。因此，使J(θ)最小化产生近似训练数据分布的映射f(x；θ)。

图4示出了用于训练和使用如下生成式对抗网络的示例性数据流，所述生成式对抗网络适于从所接收的CBCT图像生成合成CT图像。例如，图4的被训练成产生经训练的生成器模型460的生成器模型432可以被训练成：实现作为图1的放射疗法***100中的图像处理逻辑120的一部分提供的处理功能132、134。因此，GAN模型使用450(预测)的数据流在图4中被描绘为：向经训练的生成器模型460提供新数据470(例如，来自新患者的CBCT输入图像)以及使用经训练的生成器模型460来产生对生成的结果480(例如，与输入CBCT图像相对应的sCT图像)的预测或估计。

GAN包括两个网络：生成式网络(例如，生成器模型432)，其被训练成执行分类或回归；以及判别式网络(例如，判别器模型440)，其对生成式网络的输出分布(例如，模拟的输出436)进行采样并决定该样本与真实的测试分布是相同的还是不同的。该网络***的目标是驱动生成器网络尽可能准确地学***衡。判别器可以访问真实数据，但是生成器通过检测器对该生成器的输出的响应仅访问训练数据。

图4的数据流示出了训练输入410的接收，训练输入410包括模型参数412和训练数据420(其中这样的训练图像423包括CBCT患者成像数据、与患者成像数据相对应的真实CT图像以及/或者解剖区域的图424和425、条件或约束426)的各种值。训练输入被提供给GAN模型训练430，以产生在GAN模型使用450中使用的经训练的生成器模型460。解剖区域的图424和425提供了用于比较两个图像之间的相似性的度量(例如，使用SSIM权重)。

作为GAN模型训练430的一部分，生成器模型432在解剖区域的图424以及真实CT和CBCT数据对422(在图3A中也被描绘为302、304)上被训练，以在CNN中产生并映射段对。以这种方式，生成器模型432被训练成：基于输入图来产生模拟的或合成的CT图像表示436。判别器模型440决定模拟的表示436是来自训练数据(例如，真的CT图像)还是来自生成器(例如，如利用生成结果434和检测结果444在生成器模型432与判别器模型440之间传送的sCT)。该训练过程导致权重调整438、442的反向传播，以改进生成器模型432和判别器模型440。

因此，在该示例中，用于GAN模型训练430的数据准备需要与CBCT图像配对的CT图像(这些可以被称为训练CBCT图像/CT图像)。在示例中，原始数据包括成对的CBCT图像集和相应的CT图像，这些成对的CBCT图像集和相应的CT图像可以被配准并被重新采样到公共坐标系，以产生成对的源自解剖结构的2D图像。

详细地，在GAN模型中，生成器(例如，生成器模型432)学习数据x上的分布p_G(x)，从具有分布p_Z(z)的噪声输入开始，原因是生成器学习映射G(z；θ_G)：p_Z(z)→p_G(x)，其中G是表示具有层权重和偏差参数θ_G的神经网络的可微函数。判别器D(x；θ_D)(例如，判别器模型440)将生成器输出映射成二进制标量{真，假}，如果生成器输出来自实际数据分布p_data(x)则判定为真，如果生成器输出来自生成器分布p_G(x)则判定为假。也就是说，D(x)是x来自p_data(x)而不是来自p_G(x)的概率。

图5示出了根据本文中讨论的示例技术的在用于生成合成CT图像模型的GAN中进行训练。图5具体示出了GAN生成器模型G 560的操作流程550，该GAN生成器模型G 560被设计成产生模拟的(例如，估计的、人工的等)输出sCT图像580作为输入CBCT图像540的结果。图5还示出了GAN判别器模型D 520的操作流程500，GAN判别器模型D 520被设计成基于输入(例如，真实CT图像510或生成的sCT图像580)来产生确定值530(例如，真实的或仿造的、真的或假的)。特别地，判别器模型D 520被训练成产生如下输出，所述输出指示判别器模型D520确定所生成的sCT图像580是真实的还是仿造的。

在GAN的情况下，基于在训练期间应用的经调整的训练权重570，判别器D 520被训练成使将正确的标记分配给来自两个分布的样本的概率最大化，而生成器G 560被训练成使log(1-D(G(z)))最小化。D、G可以被视为利用如下值函数V(D，G)进行二元极小极大博弈(two-player minimax game)：

min_G max_DV(D，G)＝E_Y～P(CT)[logD(y)]+E_X～P(CBCT)[log(1-D(G(x))]。

(式10)

在学习的早期，当G表现不佳时，log(1-D(G(x)))项主导V(D，G)并导致提早且不正确的终止。代替训练G以使log(1-D(G(x)))最小化，G可以被训练成使log(1-D(G(x)))最大化，从而在训练中更早地产生更多提供信息的梯度。此外，随着训练的进行，分布p_G(x)收敛到真的数据分布p_data(x)。

GAN的有用扩展是下面结合图6描述的CycleGAN。图6示出了根据本公开内容的一些示例的CycleGAN 600的训练和使用，该CycleGAN 600用于从所接收的CBCT图像生成sCT图像。CycleGAN 600包括第一生成器模型610、第二生成器模型620、第一判别器模型630和第二判别器模型640。第一生成器模型610和第二生成器模型620各自可以是生成器模型432(图4)的实现(例如，作为回归类型的DCNN模型)，并且第一判别器模型630和第二判别器模型640各自可以是判别器模型440的实现(例如，作为分类类型的DCNN模型)。CycleGAN 600可以被分为两部分——第一部分650和第二部分652。

在示例中，在第一部分650中，第一生成器模型610可以被训练成接收CBCT训练图像602(其可以包括图像422之一)并且生成sCT图像作为生成结果612。生成结果612可以被提供给第一判别器模型630。第一判别器模型630可以将sCT图像分类为真实CT训练图像或模拟的CT训练图像，并且提供分类作为检测结果632。生成结果612和检测结果632可以被反馈至第一生成器模型610和第一判别器模型630，以调整由第一生成器模型610和第一判别器模型630实现的权重。例如，生成结果612(例如，由第一生成器模型610生成的sCT图像)可以用于计算对抗损失。生成结果612(例如，sCT图像)也可以同时被提供给第二生成器模型620。第二生成器模型620可以接收生成结果612并生成模拟的CBCT图像作为输出。模拟的CBCT图像可以被称为循环CBCT图像622，并且可以被用来计算循环损失以调整第一生成器模型610/第二生成器模型620的权重。

在示例中，在第二部分652中，第二生成器模型620可以被训练成接收真实的CT训练图像604(其可以包括图像422之一)并且生成sCBCT图像(合成的或模拟的CBCT图像)作为生成结果626。生成结果626可以被提供给第二判别器模型640。第二判别器模型640可以将sCBCT图像分类为真实的CBCT训练图像或模拟的CBCT训练图像，并且提供分类作为检测结果642。生成结果626和检测结果642可以被反馈至第二生成器模型620和第二判别器模型640，以调整由第二生成器模型620和第二判别器模型640实现的权重。例如，生成结果626(例如，由第二生成器模型620生成的sCBCT图像)可以被用来计算对抗损失。生成结果626(例如，sCBCT图像)也可以同时被提供给第一生成器模型610。第一生成器模型610可以接收生成结果626并且生成sCT图像作为输出。sCT图像可以被称为循环CT图像624，并且可以被用来计算循环损失以调整第一生成器模型610/第二生成器模型620的权重。

在一些示例中，“对抗损失”可以解释关于第一判别器630和第二判别器640的分类损失。第一判别器630和第二判别器640可以对合成图像是否具有与真的图像相似的分布进行分类。对于循环一致性损失，分别计算每对真的CBCT图像和Cycle-CBCT图像之间的损失以及每对真的CT图像和Cycle-CT图像之间的损失。例如，可以计算CBCT训练图像602与cycle-CBCT图像622之间的第一损失，并且可以计算真实的训练CT图像604与循环CT图像624之间的第二损失。可以通过进行正向循环和反向循环来获得Cycle-CBCT图像622和Cycle-CT图像624二者。每对真的CBCT图像602和Cycle-CBCT图像622可以在相同的CBCT图像域中，并且每对真的CT图像604和Cycle-CT图像624可以在相同的CT图像域中。因此，CycleGAN可以依赖于真的或真实的CBCT图像602的整个池(或大多数)以及真的CT图像604的整个池(或大多数)，以产生合成CT图像(sCT图像)612和合成CBCT图像(sCBCT图像)622。基于“对抗损失”和“循环一致性损失”，CycleGAN 600可以产生清晰的合成CT图像，该清晰的合成CT图像与真实的CT图像具有相似的图像分辨率。这是对上面讨论的使用DCNN来改善给定的CBCT图像的较早方法之一的至少一个技术改进。

在一些示例中，(例如，***100的)处理器可以应用图像配准以使真实的CT训练图像和训练CBCT图像配准。这可以在训练数据中的CBCT图像与CT图像之间创建一对一的对应关系。该关系可以被称为配对的CBCT图像和CT图像或者成对的CBCT图像和CT图像。在一个示例中，CycleGAN 600可以产生一个或更多个sCT图像，所述一个或更多个sCT图像保留与相应的CBCT图像中完全相同的解剖结构或基本上相同的结构并且还具有与真实的CT图像相似的高图像质量，包括像素值精度。在一些情况下，可以从提供表示两个图像之间的相似性的度量的解剖区域的图424(图4)来确定这些解剖结构。在示例中，为了保持与CBCT图像相对应的sCT图像的像素值精度(例如，为了使CBCT图像看起来像真实的CT图像)，可以向CycleGAN 600添加附加约束。这些约束可以包括：添加表示sCT图像与真的CT图像之间的像素值损失以及sCBCT图像与真的CBCT图像之间的像素值损失的像素值损失。这样的约束可以是约束426(图4)的一部分。将sCT图像与相应CT图像直接关联的这些约束可以由以下像素值损失项(基于像素的损失项)表示：

sCT-CT L1项：E_{x～p(CBCT)，y～p(CT)}||G1(x)-y||₁，

其中x，y是配对的CBCT图像和真实CT图像，G1是第一生成器模型610(例如，CBCT到sCT生成器)，E表示所有sCT图像和相应的真的CT图像之间的L1差异的期望，并且G1(x)是sCT图像。可以从存储装置116、外部数据源、人类输入中检索关于E的值，以及/或者可以在附加的sCT图像和sCBCT图像被生成时连续地更新关于E的值。

也可以添加另一个像素值损失项作为约束，以将sCBCT图像与相应的CBCT图像直接关联，可以通过以下像素值损失项来表示：

sCBCT-CBCT L1项：E_{x～p(CBCT)，y～p(CT)}||G2(y)-x||₁，

其中，x、y是配对的CBCT图像和CT图像，G2是第二生成器模型620(真实的CT到sCBCT生成器)，并且G2(x)是sCBCT图像。

这两个像素值损失项(L1范数项)将sCT图像与相应的真的CT图像进行比较，并且将sCBCT图像与相应的真的CBCT图像进行比较。通过最小化或减小这两个L1范数项，合成图像的像素值将更有可能与目标真的/真实的图像的像素值匹配。更具体地，例如，通过最小化或减小sCT-CT L1范数项，所产生的sCT图像可以被强制或者更可能具有像素级精度以及与相应CT图像的相似性。这可以提供优于常规***的技术改进，原因是医学图像中的绝对像素值可以表示一些特定的物理测量或量。例如，CT像素值包含关于电子密度的信息，这对于辐射剂量计算是有用的。作为另一个示例，放射疗法***100可以更准确地将放射疗法或辐射引向受试者体内的目标区域。

在另一个示例中，可以将诸如权重的度量添加到基于像素的损失项中(例如，以考虑配对的图像没有被完全对准的情况)。可以从约束426中检索这样的度量。可以使用预定的分配的权重、通用质量指数(UQI)、局部互相关或者使用测量两个图像之间的相似性或其他关系的任何其他技术来生成度量。出于本公开内容的目的，用于测量两个图像之间的关系的度量是SSIM权重，但是可以使用任何其他度量。例如，可以使用SSIM加权的L1范数方法来补偿配对的CBCT-CT图像的不完全匹配。特别地，通过最小化或减小sCT-CT L1范数项，CycleGAN 600可以强制执行以下约束：sCT图像的像素值与目标真的CT图像的像素值匹配。如果所有或基本上所有配对的CBCT-CT图像都完全对准，则目标真的CT图像可以具有与CBCT图像相同的解剖结构。在这种情况下，生成的sCT图像也可以保留CBCT图像中的相同解剖结构。在一些情况下，配对的CBCT图像和CT图像可能没有被完全对准(例如，由于患者的一些解剖结构(特别是一些器官或软组织)在拍摄CBCT图像和相应的真实CT图像之间已经改变)。在这些情况下，最小化或减小sCT-CT和/或sCBCT-CBCT L1损失项可能将误差引入经训练的生成器模型和判别器模型中(例如，通过强制所生成的合成的CT图像与那些未对准区域中的相应CT图像匹配)，从而导致生成的图像有些失真。消除/抑制/减少潜在失真影响的一种方法是为sCT-CT基于像素的损失项和sCBCT-CBCT基于像素的损失项添加SSIM权重，例如：

SSIM加权的sCT-CT L1项：E_{x～p(CBCT)，y～p(CT)}SSIM(x，y)·||G1(x)-y||₁，

以及

SSIM加权的sCBCT-CBCT L1项：E_{x～p(CBCT)，y～p(CT)}SSIM(x，y)·||G2(y)-x||₁。

在一些实现中，权重(SSIM(x，y))可以是图(例如，解剖图424)，其具有与配对的CBCT图像和CT图像相同的大小或基本上相同的大小。SSIM(x，y)中的每个像素值可以表示在相同像素位置处成对的原始CBCT图像和相应的真实CT图像之间的相似性程度。SSIM的像素值范围可以在0到1的范围内(尽管其他范围也是可能的)。值1可以表示完全的结构相似性，这表示CBCT图像和相应的真实CT图像在图像位置处对准良好，而0可以表示最小的结构相似性。例如，对于每一对CBCT图像和真实CT图像(例如，对于存储在存储装置116中的每一对CBCT图像和真实CT图像)，可以(例如，通过***100的处理器)计算SSIM图/图像。在形成给定的一对训练图像时或者在阈值数量的训练图像已经被获得和存储之后，可以由***110计算SSIM图。计算***可以使用图像建模来针对每个像素确定CBCT图像和真实CT图像对被对准的概率，并且存储该概率或者以所确定的概率更新该像素的SSIM值。在一些实现中，该概率值可以由人类操作者输入或者由医师指导。SSIM加权的sCT-CT基于像素的损失项可能意味着：如果一对CBCT与真实CT之间的一对像素具有相似性强的高SSIM值(接近1)，则通过最小化SSIM加权的L1范数项，CycleGAN 600可以使sCT图像与目标CT图像匹配(例如，因为CBCT图像与CT图像之间的相似性权重大)。另一方面，如果一对CBCT与真实CT之间的一对像素具有低的SSIM值(接近0)，则通过最小化或减小SSIM加权的L1范数项，CycleGAN600可以避免使合成CT图像与目标CT匹配(例如，因为权重已经很小(接近0))。特别地，当图的权重指示成对的CT图像/CBCT图像之间的相似性的程度低时，在给定的像素位置处像素值损失项被最小化或被减小的可能性降低。这减少了在像素位置处两个图像之间的差异对sCT的影响。此外，当图的权重指示成对的CT图像/CBCT图像之间的相似性的程度高时，在给定的像素位置处像素值损失项被最小化或被减小的可能性增加。这增加了在像素位置处两个图像之间的差异对sCT的影响。SSIM权重提供了如下机制：在sCT图像上强制执行不同的强度水平，以在逐像素水平上匹配作为目标的真实的CT图像。

类似地，SSIM加权的sCBCT-CBCT基于像素的损失项可能意味着：如果一对CBCT和真实CT之间的一对像素具有相似性强的高SSIM值(接近1)，则通过最小化SSIM加权的L1范数项，CycleGAN 600可以使sCBCT图像与目标CBCT图像匹配(例如，因为CBCT图像与CT图像之间的相似性权重大)。另一方面，如果一对CBCT和真实CT之间的一对像素具有低的SSIM值(接近0)，则通过最小化或减小SSIM加权的L1范数项，CycleGAN 600可以避免使合成CBCT图像与目标CBCT匹配(例如，因为权重已经很小(接近0))。特别地，当图的权重指示成对的CT图像/CBCT图像之间的相似性的程度低时，在给定的像素位置处像素值损失项被最小化或被减小的可能性降低。这减少了在像素位置处两个图像之间的差异对sCBCT的影响。此前，当图的权重指示成对的CT图像/CBCT图像之间的相似性的程度高时，在给定的像素位置处像素值损失项被最小化或被减小的可能性增加。这增加了在像素位置处两个图像之间的差异对sCBCT的影响。SSIM权重提供了如下机制：在sCBCT图像上强制执行不同的强度水平，以在逐像素水平上匹配作为目标的真实的CBCT图像。

在另一个示例中，可以使用有阈值的SSIM加权的L1范数方法。可以从约束426(图4)中检索该阈值。特别地，可以对SSIM权重设置阈值，以选择配对的CBCT图像和真实CT图像之间的高相似性区域并且忽略低相似性区域。例如，当SSIM(x，y)的权重值小于阈值α(超参数)时，所有那些权重可以被设置为零(例如，权重可以被忽略，从而降低了损失项被减小或被最小化的可能性)。对于这样的区域，由于权重为零(关于两个图像之间的那些差异的信息可能不可用)，因此不会强迫sCT与CT图像匹配。这样，由于权重＝0，所以乘以差＝0意味着在那些像素处两个图像之间的差异没有影响。反而，该过程依赖于对抗损失和循环一致性损失来恢复那些像素区域。当权重值大于或等于阈值α(超参数)时，权重对基于像素的损失值具有与上面讨论的相同的影响。该有阈值的SSIM加权的L1范数可以被表示为：

有阈值的SSIM加权的L1 sCT-CT基于像素的损失项可以被表示为：

有阈值的SSIM加权的sCT-CT L1项：

有阈值的SSIM加权的L1 sCBCT-CBCT项可以被表示为：

有阈值的SSIM加权的sCBCT-CBCT L1项：

可以将超参数α的范围设置在0和1之间。在一些示例中，可以将超参数α的值设置为0.5或0.6。

在一些实现中，CycleGAN 600可以被实现成根据如下目标函数生成sCT图像，所述目标函数包括对抗损失项、循环一致性损失项和基于像素的损失项(L1范数项)。基于像素的损失项可以被加权(例如，SSIM加权)和/或有阈值的被加权。可以使用第一生成器模型610/第二生成器模型620以及第一判别器模型630/第二判别器模型640来确定对抗损失，并且对抗损失可以被表示为：

对抗损失：L_GANs＝L_GAN(G1，D_ct，x，y)+L_GAN(G2，D_cbct，y，x)，其中，L_GAN(G1，D_ct，x，y)可以被表示为：

并且，L_GAN(G2，D_cbct，y，x)可以被表示为：

特别地，D_ct可以表示第一判别器模型630，而G1可以表示第一生成器模型610。用于L_GAN(D_cbct，x，y)和L_GAN(G2，x，y)的相似函数可以被最小化或被减少，其中D_cbct可以表示第二判别器模型640，G2可以表示第二发生器模型620。可以使用图像622和图像624来确定循环一致性损失项，并且循环一致性损失项可以被表示为：

循环一致性损失：L_CYC＝E_x～p(CBCT)||G2(G1(x)-x)||₁+E_y～p(CT)||Gl(G2(y)-y)||₁。

总的CycleGAN损失可以被表示为：

L_cyclegan＝L_GANs+λ₁·L_CYC。

基于像素的损失项可以被表示为：

L1损失项：L_L1＝E_{x～p(CBCT)，y～p(CT)}||G1(x)-y||₁+E_{x～p(CBCT)，y～p(CT)}||G2(y)-x||₁。

在这样的情况下，总目标函数可以被表示为：

L_cyclegan+L1＝L_cyclegan+λ₂·L_L1。

在将权重(SSIM)应用于基于像素的损失项的情况下，加权的基于像素的损失项可以被表示为：

SSIM加权的L1损失项：

在这样的情况下，总目标函数可以被表示为：

L_{cyclegan+SSIM-L1}＝L_cyclegan+λ₂·L_SSIM-L1。

在有阈值的权重(SSIM)被应用于基于像素的损失项的情况下，有阈值的加权的基于像素的损失项可以被表示为：

有阈值的SSIM加权的L1损失项：

因此，总目标函数可以被表示为：

其中λ₁，λ₂分别控制两个损失的相对强度。CycleGAN 600可以根据以下式子来训练第一生成器610和第二生成器620：

在一些实现中，在使用CycleGAN 600进行训练之后，可以在***100中使用第一生成器模型610，以从获取的CBCT图像生成sCT图像。可以从***100中排除CycleGAN 600的其他组件。

前面的示例提供了如下示例：如何基于CT图像和CBCT图像对——特别是从2D图像切片中的图像数据——来训练GAN或CycleGAN。将理解的是，GAN或CycleGAN可以处理其他形式的图像数据(例如，3D或其他多维图像)。此外，尽管通过附图仅描绘了灰度(包括黑和白)图像，但是将理解的是，如以下示例中所讨论的，通过GAN还可以生成和/或处理彩色图像。

图7示出了与训练和生成sCT图像模型相关的所使用的一对CBCT输入图像和真实CT输入图像。在图7中，图像702示出了与真实CT图像704配对的输入的CBCT图像。图像706表示被用作解剖区域的图424以提供图像相似性度量(例如，SSIM权重)的图像，图像708是被用作解剖区域的图424以提供有阈值的相似性度量(例如，有阈值的SSIM权重)的图像。在CycleGAN的生成器已经被训练之后，新的CBCT图像可以被接收。CycleGAN可以处理新的CBCT图像(例如，图像702)并输出sCT图像712。为了进一步提高CycleGAN的输出的质量，可以使用基于像素的损失项(或加权的基于像素的损失项以及/或者有阈值的加权的基于像素的损失项)来训练CycleGAN或GAN模型。在这样的情况下，在接收到输入图像702之后，CycleGAN或GAN(根据基于像素的损失项而训练的)可以输出sCT图像714。特别地，sCT图像714可以是由具有传统L1正则化的CycleGAN获得的sCT图像。在一些实现中，在接收到输入图像702之后，CycleGAN或GAN(根据考虑到图像度量的基于像素的损失项而训练的，诸如SSIM图图像706)可以输出sCT图像716。特别的，sCT图像716可以是由具有SSIM加权的L1损失的CycleGAN获得的sCT图像。在一些实现中，在接收到输入图像702之后，CycleGAN或GAN(根据考虑到图像度量的有阈值的基于像素的损失项而训练的，例如有阈值的SSIM图图像708)可以输出sCT图像718。特别地，sCT图像718可以是由具有有阈值的SSIM加权的L1损失的CycleGAN获得的sCT图像。如本文所讨论的，基于像素的损失项(或加权的基于像素的损失项以及/或者有阈值的加权的基于像素的损失项)可以表示全部或阈值数量的sCT图像与真实的CT图像以及/或者CBCT图像与sCBCT图像之间的基于像素值的期望差异。

图8示出了用于训练生成模型的示例性操作的过程800的流程图，该生成模型适于从输入的CBCT图像输出sCT图像。从放射疗法治疗处理***100的角度示出了过程800，放射疗法治疗处理***100如在先前示例中所讨论的那样使用GAN或CycleGAN来训练和利用生成模型。然而，相应的操作可以由其他装置或***执行(包括在与特定图像处理工作流或医学治疗分开的离线训练或验证设置中)。

如所示的，流程图工作流的第一阶段开始于创建训练和模型操作的参数的操作(810，820)。流程图800开始于接收(例如，获得、提取、识别)训练图像数据的操作(操作810)以及接收用于训练的约束或条件(操作820)。在示例中，该训练图像数据可以包括来自多个人类受试者的与特定状况、解剖特征或解剖区域有关的图像数据，例如目标区域的CBCT图像和真实CT图像对。同样在示例中，约束可以涉及成像装置、治疗装置、患者或医疗考虑。在示例中，这些约束可以包括对抗损失、基于循环一致性的损失和基于像素的值损失项(或者加权的基于像素的损失项以及/或者有阈值的加权的基于像素的损失项)。

流程图800的第二阶段继续训练操作，包括在生成式对抗网络中对生成模型和判别模型进行对抗训练(操作830)。在示例中，对抗训练包括：训练生成模型以从输入的CBCT图像生成模拟的CT图像(操作842)以及训练判别模型以将生成的CT图像分类为模拟的或真实的训练数据(操作844)。同样在这种对抗训练中，生成模型的输出用于训练判别模型，而判别模型的输出用于训练生成模型。在各个示例中，生成模型和判别模型包括相应的卷积神经网络(例如，如以上分别参照图3A和图3B所讨论的)。在进一步的示例中，生成式对抗网络是循环生成式对抗网络(例如，如以上参照图6所讨论的)，其中采用了多个生成模型和对抗模型，并且来自一个生成模型的输出作为输入被提供至第二生成模型。

流程图800继续用于生成sCT图像的生成模型的输出(操作850)，原因是生成模型适于基于受试者的输入CBCT图像生成sCT图像。可以在***100中的任何组件中采用生成模型，以增强CBCT图像或执行图像处理。在一些实现中，可以从外部源(例如，第三方供应商)将生成模型添加至***100。

流程图800继续利用经训练的生成模型来基于受试者的输入CBCT图像生成sCT图像(操作860)。可以在***100中的任何组件中采用生成模型，以增强CBCT图像或执行图像处理。在一些实现中，可以从外部源(例如，第三方供应商)将生成模型添加至***100。

流程图800结束于实现对生成模型的更新的最后阶段，包括基于附加训练数据更新生成模型(操作870)以及输出经更新的经训练的生成模型(操作880)。在各种示例中，可以结合接收附加的训练图像数据和约束(例如，以类似于操作810、820的方式)或执行附加的对抗训练(例如，以类似于操作830、842、844的方式)来产生更新。在另外的示例中，可以基于sCT图像的批准、改变或使用(例如，由医疗专业人员对图像数据的修改、验证或改变而导致)来具体地更新生成模型。该流程图结束于使用经更新的经训练的生成模型(操作890)，例如可以在使用经更新的生成模型以用于后续放射疗法治疗时被执行。

如上面参照图6和图8所讨论的，生成式对抗网络可以是包括生成模型和判别模型的循环生成式对抗网络。

如先前所讨论的，各个电子计算***或装置可以实现如本文中所讨论的方法或功能操作中的一个或更多个。在一个或更多个实施方式中，放射疗法处理计算***110可以被配置成、适于或用于：控制或操作图像引导的放射疗法装置202；从模型300执行或实现训练或预测操作；操作经训练的生成器模型460；执行或实现数据流500、550、600；执行或实现流程图800的操作；或者执行本文中讨论的其他方法中的任何一种或更多种方法(例如，作为治疗处理逻辑120和工作流130、140的一部分)。在各种实施方式中，这样的电子计算***或装置操作为独立装置或者可以连接(例如，联网)至其他机器。例如，这样的计算***或装置可以在服务器-客户端网络环境中以服务器或客户端机器的能力进行操作，或者在对等式(或分布式)网络环境中作为对等机器进行操作。计算***或装置的特征可以由个人计算机(PC)、平板PC、个人数字助理(PDA)、蜂窝电话、网络设备或者能够执行指定要由该机器执行的动作的指令(顺序的或以其他方式)的任何机器来实施。

也如上所述，以上讨论的功能可以通过机器可读介质上的指令、逻辑或其他信息存储来实现。尽管可能已经在各种示例中参考单个介质描述了机器可读介质，但是术语“机器可读介质”可以包括存储一个或更多个暂态或非暂态指令或数据结构的单个介质或多个介质(例如，集中式或分布式数据库和/或相关联的高速缓冲存储器和服务器)。术语“机器可读介质”也应该被认为包括如下任何有形介质，所述任何有形介质能够存储、编码或携载用于由机器执行并且使机器执行本发明的方法中的任何一种或更多种方法的暂态或非暂态指令，或者所述任何有形介质能够存储、编码或携载由这样的指令利用或与这样的指令相关联的数据结构。

以上的具体实施方式包括对附图的参照，附图形成具体实施方式的一部分。附图通过说明的方式而不是通过限制的方式示出了具体实施方式，在所述具体实施方式中可以实践本发明。这些实施方式在本文中也被称为“示例”。这样的示例可以包括除了示出的或描述的要素之外的要素。然而，本公开内容还预期了仅提供示出的或描述的那些要素的示例。此外，本公开内容还预期了使用关于特定示例(或者特定示例的一个或更多个方面)或关于在本文中示出或描述的其他示例(或者其他示例的一个或更多个方面)示出的或描述的那些要素(或者那些要素的一个或更多个方面)的任何组合或排列的示例。

本文献中参考的所有出版物、专利和专利文献都通过引用以其全部内容并入本文中，就好像通过引用单独地并入一样。如果在本文献与通过引用并入的那些文献之间存在不一致用法，则并入的(一个或多个)参考文献中的用法应该被视为对本文献的用法的补充；对于矛盾的不一致之处，请以本文献中的用法为准。

在本文献中，在介绍本发明的各方面的要素或其实施方式中的要素时，如在专利文献中常见的那样，使用术语“一”、“一个”、“该”和“所述”以包括要素中的一个或者多于一个或更多个，与“至少一个”或者“一个或更多个”的任何其他实例或用法无关。在本文献中，除非另有说明，否则术语“或”被用于指代非排他性或者使得“A或B”包括“A但不是B”、“B但不是A”以及“A和B”。

在所附权利要求中，术语“包括(including)”和“其中(in which)”被用作相应术语“包括(comprising)”和“其中(wherein)”的普通英语等同物。此外，在所附权利要求中，术语“包括(comprising)”、“包括(including)”和“具有”旨在是开放性的，以意指除了所列出的要素之外可能还存在其他要素，使得在权利要求中的这样的术语(例如，包括(comprising)、包括(including)、具有)之后的仍被认为落入该权利要求的范围内。此外，在所附权利要求中，术语“第一”、“第二”和“第三”等仅被用作标记，并不旨在对其对象施加数值要求。

本发明还涉及一种被适配、被配置或***作成用于执行本文中的操作的计算***。该***可以是针对所需目的而专门构建的，或者该***可以包括由存储在计算机中的计算机程序(例如，指令、代码等)选择性地启动或重新配置的通用计算机。除非另有说明，否则实施或执行本文中示出和描述的本发明的实施方式中的操作的顺序不是必需的。也就是说，除非另有说明，否则可以以任何顺序执行操作，并且本发明的实施方式可以包括比本文中公开的这些操作更多或更少的操作。例如，可以预期的是，在另外的操作之前、与另外的操作同时或在另外的操作之后实施或执行特定操作在本发明的各方面的范围内。

鉴于以上，将看到，本发明的若干目的被实现并且其他有利结果被获得。已经详细地描述了本发明的各方面，将明显的是，在不脱离如在所附权利要求中限定的本发明的各方面的范围的情况下，修改和变化是可能的。由于在不脱离本发明的各方面的范围的情况下可以对上述构造、产品和方法做出各种改变，所以旨在上面的描述中包含的以及附图中示出的所有内容应该被解释为说明性的而非限制性的意义。

本文中描述的示例可以在各种各样的实施方式中被实现。例如，一个实施方式包括一种计算装置，所述计算装置包括处理硬件(例如，处理器或其他处理电路***)和存储器硬件(例如，存储装置或易失性存储器)，所述存储器硬件包括在其上实施的指令，使得所述指令在由处理硬件执行时使计算装置实现、执行或协调用于这些技术和***配置的电子操作。本文讨论的另一实施方式包括一种例如可以由机器可读介质或其他存储装置实施的计算机程序产品，所述计算机程序产品提供用于实现、执行或协调用于这些技术和***配置的电子操作的暂态或非暂态指令。本文讨论的另一实施方式包括一种方法，所述方法能够在计算装置的处理硬件上操作以实现、执行或协调用于这些技术和***配置的电子操作。

在其他实施方式中，可以在分布式或集中式计算***——包括关于诸如台式计算机或笔记本个人计算机、譬如平板计算机、上网本和智能电话的移动装置、客户端终端和服务器托管的机器实例等的计算***的任何数量的形式因素——中提供实现上述电子操作的各方面的逻辑、命令或者暂态或非暂态指令。本文中讨论的另一实施方式包括将本文中讨论的技术并入其他形式，包括被编程的逻辑、硬件配置或者专用的部件或模块的其他形式，包括具有执行这样的技术的功能的相应装置的设备。用于实现这样的技术的功能的各个算法可以包括上述电子操作中的一些或全部的序列或者在附图和以上具体实施方式中所描绘的其他方面。

上面的描述旨在是说明性的，而不是限制性的。例如，以上描述的示例(或示例的一个或更多个方面)可以彼此结合使用。另外，在不脱离本本发明的范围的情况下，可以做出许多修改以使特定情况或材料适应本发明的教导。尽管本文中描述的材料的尺寸、类型和示例参数、功能以及实现旨在限定本发明的参数，但是它们绝不是限制性的实施方式，而是示例性的实施方式。在回顾以上描述之后，许多其他实施方式对本领域技术人员而言将是明显的。因此，应当参考所附权利要求以及这样的权利要求所赋予的等同物的全部范围来确定本发明的范围。

此外，在以上的具体实施方式中，可以将各种特征组合在一起以简化本公开内容。这不应该被解释为意欲：未要求保护的公开的特征对任何权利要求都是必不可少的。而是，本发明的主题可能在于少于特定公开的实施方式的所有特征。因此，所附权利要求由此被并入具体实施方式中，其中每个权利要求独立地作为单独的实施方式。应当参考所附权利要求以及这样的权利要求所赋予的等同物的全部范围来确定本发明的范围。

Claims (20)

1.一种用于使用经训练的模型来生成增强的锥形束计算机断层扫描(CBCT)图像的计算机实现的方法，所述方法包括：

接收受试者的CBCT图像；

使用生成模型来生成与所述CBCT图像相对应的合成的计算机断层扫描(sCT)图像，所述生成模型在生成式对抗网络(GAN)中被训练，其中，所述生成模型还被训练成：处理作为输入的所述CBCT图像并提供所述sCT图像作为输出；以及

呈现所述sCT图像以用于所述受试者的医学分析。

2.根据权利要求1所述的方法，其中，

所述生成式对抗网络被配置成：使用判别模型来训练所述生成模型；

使用所述判别模型与所述生成模型之间的对抗训练来创建由所述生成模型和所述判别模型应用的值；以及

所述生成模型和所述判别模型包括相应的卷积神经网络。

3.根据权利要求2所述的方法，其中，

所述对抗训练包括：训练所述生成模型以从给定的CBCT图像生成给定的sCT图像，以及训练所述判别模型以将所述给定的sCT图像分类为合成的计算机断层扫描(CT)图像或真实的计算机断层扫描(CT)图像，以及

所述生成模型的输出被用于训练所述判别模型，并且所述判别模型的输出被用于训练所述生成模型。

4.根据权利要求1所述的方法，其中，使用包括所述生成模型和所述判别模型的循环生成式对抗网络(CycleGAN)来训练所述生成式对抗网络，其中，所述生成模型是第一生成模型，所述判别模型是第一判别模型，其中，所述CycleGAN还包括：

第二生成模型，其被训练成：处理作为输入的给定的CT图像并提供给定的合成的(sCBCT)图像作为输出；以及

第二判别模型，其被训练成：将所述给定的sCBCT图像分类为合成的CBCT图像或真实的CBCT图像。

5.根据权利要求4所述的方法，其中，所述CycleGAN包括用于训练所述第一生成模型的第一部分和第二部分，并且其中，

所述第一部分被训练成：

获得与真实CT图像配对的训练CBCT图像；

将所述训练CBCT图像发送至所述第一生成模型的输入端，以输出给定的合成的CT图像；以及

在所述第一判别模型的输入端处接收所述给定的合成的CT图像，以将所述给定的合成的CT图像分类为合成的CT图像或真实的CT图像；并且在所述第二生成模型的输入端处接收所述给定的合成的CT图像，以生成用于计算循环一致性损失的循环CBCT图像；以及

所述第二部分被训练成：

将所述真实的CT图像发送至所述第二生成模型的输入端，以输出给定的合成的CBCT图像；以及

在所述第二判别模型的输入端处接收所述给定的合成的CBCT图像，以将所述给定的合成的CBCT图像分类为合成的CBCT图像或真实的CBCT图像；并且在所述第一生成模型的输入端处接收所述给定的合成的CBCT图像，以生成用于计算循环一致性损失的循环CT图像。

6.根据权利要求5所述的方法，其中，所述第一生成模型被训练成最小化或减小第一基于像素的损失项，所述第一基于像素的损失项表示多个合成的CT图像与分别配对的真实的CT图像之间的差异的期望；并且所述第二生成模型被训练成最小化或减小第二基于像素的损失项，所述第二基于像素的损失项表示多个合成的CBCT图像与分别配对的真实的CBCT图像之间的差异的期望。

7.根据权利要求6所述的方法，其中，所述CycleGAN被训练成将度量应用于所述第一基于像素的损失项和所述第二基于像素的损失项，所述度量基于与成对的CBCT图像和真实的CT图像具有相同大小的图而生成，使得所述图中的每个像素值表示给定的CBCT图像和与所述给定的CBCT图像配对的给定的真实的CT图像之间的相似性程度。

8.根据权利要求7所述的方法，其中，所述CycleGAN被训练成将阈值应用于所述度量，使得当所述相似性程度超过所述阈值时，所述度量被应用于所述第一基于像素的损失项和所述第二基于像素的损失项，否则零值被应用于所述第一基于像素的损失项和所述第二基于像素的损失项。

9.根据权利要求1所述的方法，其中，根据目标函数来训练所述生成式对抗网络，所述目标函数基于对抗损失、循环一致性损失和基于像素的损失项。

10.一种用于训练模型以生成增强的锥形束计算机断层扫描(CBCT)图像的计算机实现的方法，所述方法包括：

接收受试者的CBCT图像作为生成模型的输入；以及

在生成式对抗网络(GAN)中训练所述生成模型以处理所述CBCT图像，以提供与所述CBCT图像相对应的合成的计算机断层扫描(sCT)图像作为所述生成模型的输出。

11.根据权利要求10所述的方法，其中，使用包括所述生成模型和判别模型的循环生成式对抗网络(CycleGAN)来训练所述生成式对抗网络，其中，所述生成模型是第一生成模型，所述判别模型是第一判别模型，所述方法还包括：

训练第二生成模型，以处理作为输入的给定的CT图像并提供给定的合成的(sCBCT)图像作为输出；以及

训练第二判别模型，以将所述给定的sCBCT图像分类为合成的CBCT图像或真实的CBCT图像。

12.根据权利要求11所述的方法，其中，所述CycleGAN包括用于训练所述第一生成模型的第一部分和第二部分，所述方法还包括：

获得与真实CT图像配对的训练CBCT图像；

将所述训练CBCT图像发送至所述第一生成模型的输入端，以输出给定的合成的CT图像；

在所述第一判别模型的输入端处接收所述给定的合成的CT图像；

利用所述第一判别模型将所述给定的合成的CT图像分类为合成的CT图像或真实的CT图像；

在所述第二生成模型的输入端处接收所述给定的合成的CT图像，以生成用于计算循环一致性损失的循环CBCT图像；

将所述真实的CT图像发送至所述第二生成模型的输入端，以输出合成的训练CBCT图像；

在所述第二判别模型的输入端处接收所述合成的训练CBCT图像，以将所述合成的训练CBCT图像分类为合成的CBCT图像或真实的CBCT图像；并且在所述第一生成模型的输入端处接收所述合成的训练CBCT图像，以生成用于计算循环一致性损失的循环CT图像；

训练所述第一生成模型以最小化或减小第一基于像素的损失项，所述第一基于像素的损失项表示多个合成的CT图像与分别配对的真实的CT图像之间的差异的期望；以及

训练所述第二生成模型以最小化或减小第二基于像素的损失项，所述第二基于像素的损失项表示多个合成的CBCT图像与分别配对的真实的CBCT图像之间的差异的期望。

13.一种用于使用经训练的模型来生成增强的锥形束计算机断层扫描(CBCT)图像的***，所述***包括：

处理电路***，其包括至少一个处理器；以及

包括指令的存储介质，所述指令当由所述至少一个处理器执行时使所述处理器：

接收受试者的CBCT图像；

使用生成模型生成与所述CBCT图像相对应的合成的计算机断层扫描(sCT)图像，所述生成模型在生成式对抗网络(GAN)中被训练，其中，所述生成模型还被训练成：处理作为输入的所述CBCT图像并提供所述sCT图像作为输出；以及

呈现所述sCT图像以用于所述受试者的医学分析。

14.根据权利要求13所述的***，其中：

所述生成式对抗网络被配置成：使用判别模型来训练所述生成模型；

使用所述判别模型与所述生成模型之间的对抗训练来创建由所述生成模型和所述判别模型应用的值；以及

所述生成模型和所述判别模型包括相应的卷积神经网络；

所述对抗训练包括：训练所述生成模型以从给定的CBCT图像生成给定的sCT图像，以及训练所述判别模型以将所述给定的sCT图像分类为合成的计算机断层扫描(CT)图像或真实的计算机断层扫描(CT)图像，以及

所述生成模型的输出被用于训练所述判别模型，并且所述判别模型的输出被用于训练所述生成模型。

15.根据权利要求14所述的***，其中，使用包括所述生成模型和所述判别模型的循环生成式对抗网络(CycleGAN)来训练所述生成式对抗网络，其中，所述生成模型是第一生成模型，所述判别模型是第一判别模型，其中，所述CycleGAN还包括：

第二生成模型，其被训练成：处理作为输入的给定的CT图像并提供给定的合成的(sCBCT)图像作为输出；以及

第二判别模型，其被训练成：将所述给定的sCBCT图像分类为合成的CBCT图像或真实的CBCT图像。

16.根据权利要求15所述的***，其中，所述CycleGAN包括用于训练所述第一生成模型的第一部分和第二部分，并且其中：

所述第一部分被训练成：

获得与真实CT图像配对的训练CBCT图像；

将所述训练CBCT图像发送至所述第一生成模型的输入端，以输出给定的合成的CT图像；以及

在所述第一判别模型的输入端处接收所述合成的训练CT图像，以将所述给定的合成的CT图像分类为合成的CT图像或真实的CT图像；并且在所述第二生成模型的输入端处接收所述合成的训练CT图像，以生成用于计算循环一致性损失的循环CBCT图像；以及所述第二部分被训练成：

将所述真实的CT图像发送至所述第二生成模型的输入端，以输出给定的合成的CBCT图像；以及

在所述第二判别模型的输入端处接收所述给定的合成的CBCT图像，以将所述给定的合成的CBCT图像分类为合成的CBCT图像或真实的CBCT图像；并且在所述第一生成模型的输入端处接收所述给定的合成的CBCT图像，以生成用于计算循环一致性损失的循环CT图像。

17.根据权利要求16所述的***，其中，所述第一生成模型被训练成最小化或减小第一基于像素的损失项，所述第一基于像素的损失项表示多个合成的CT图像与分别配对的真实的CT图像之间的差异的期望；并且所述第二生成模型被训练成最小化或减小第二基于像素的损失项，所述第二基于像素的损失项表示多个合成的CBCT图像与分别配对的真实的CBCT图像之间的差异的期望。

18.根据权利要求17所述的***，其中，所述CycleGAN被训练成将度量应用于所述第一基于像素的损失项和所述第二基于像素的损失项，所述度量基于与成对的CBCT图像和真实的CT图像具有相同大小的图而生成，使得所述图中的每个像素值表示给定的CBCT图像和与所述给定的CBCT图像配对的给定的真实的CT图像之间的相似性程度。

19.根据权利要求18所述的***，其中，所述CycleGAN被训练成将阈值应用于所述度量，使得当所述相似性程度超过所述阈值时，所述权重被应用于所述第一基于像素的损失项和所述第二基于像素的损失项，否则零值被应用于所述第一基于像素的损失项和所述第二基于像素的损失项。

20.根据权利要求13所述的***，其中，根据目标函数来训练所述生成式对抗网络，所述目标函数基于对抗损失、循环一致性损失和基于像素的损失项。

Images