CN116391234A - 放射治疗的注量图的机器学习优化 - Google Patents

放射治疗的注量图的机器学习优化 Download PDF

Info

Publication number
CN116391234A
CN116391234A CN202180072153.5A CN202180072153A CN116391234A CN 116391234 A CN116391234 A CN 116391234A CN 202180072153 A CN202180072153 A CN 202180072153A CN 116391234 A CN116391234 A CN 116391234A
Authority
CN
China
Prior art keywords
fluence
model
radiation therapy
training
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180072153.5A
Other languages
English (en)
Inventor
林登·斯坦利·希巴德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Elekta Ltd
Original Assignee
Elekta Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Elekta Ltd filed Critical Elekta Ltd
Publication of CN116391234A publication Critical patent/CN116391234A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
    • A61N5/00—Radiation therapy
    • A61N5/10—X-ray therapy; Gamma-ray therapy; Particle-irradiation therapy
    • A61N5/103—Treatment planning systems
    • A61N5/1031—Treatment planning systems using a specific method of dose optimization
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
    • A61N5/00—Radiation therapy
    • A61N5/10—X-ray therapy; Gamma-ray therapy; Particle-irradiation therapy
    • A61N5/103—Treatment planning systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
    • A61N5/00—Radiation therapy
    • A61N5/10—X-ray therapy; Gamma-ray therapy; Particle-irradiation therapy
    • A61N5/103—Treatment planning systems
    • A61N5/1038—Treatment planning systems taking into account previously administered plans applied to the same patient, i.e. adaptive radiotherapy
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
    • A61N5/00—Radiation therapy
    • A61N5/10—X-ray therapy; Gamma-ray therapy; Particle-irradiation therapy
    • A61N5/1042—X-ray therapy; Gamma-ray therapy; Particle-irradiation therapy with spatial modulation of the radiation beam within the treatment head
    • A61N5/1045—X-ray therapy; Gamma-ray therapy; Particle-irradiation therapy with spatial modulation of the radiation beam within the treatment head using a multi-leaf collimator, e.g. for intensity modulated radiation therapy or IMRT
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
    • A61N5/00—Radiation therapy
    • A61N5/10—X-ray therapy; Gamma-ray therapy; Particle-irradiation therapy
    • A61N5/1077—Beam delivery systems
    • A61N5/1081—Rotating beam systems with a specific mechanical construction, e.g. gantries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/40—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Medical Informatics (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Urology & Nephrology (AREA)
  • Surgery (AREA)
  • Radiation-Therapy Devices (AREA)

Abstract

公开了用于生成使用机器学习预测的放射疗法治疗计划的注量图的***和方法。所述***和方法包括：识别指示受试者的解剖结构中的目标剂量区域和危及器官区域的治疗约束的图像数据；生成表示根据相应的射束角度的受试者的视图的解剖结构投影图像；使用经训练的神经网络模型以基于解剖结构投影图像生成计算机模拟的注量图表示，其中，注量图指示放射疗法治疗在射束角度中的每一个处的注量分布。

Description

放射治疗的注量图的机器学习优化
优先权要求
本申请要求于2020年9月21日提交的美国申请序列第16/948,486号的优先权的权益，该申请通过引用整体并入于此。
技术领域
本公开内容的实施方式总体上涉及确定指导由放射疗法治疗***执行的放射疗法的计划参数。具体地，本公开内容涉及使用机器学习技术来确定在放射疗法***的治疗计划中使用的注量图。
背景技术
放射疗法(或“放射治疗”)可以用于治疗哺乳动物(例如，人和动物)组织中的癌症或其他疾病。一种这样的放射治疗技术使用伽玛刀来提供，通过伽玛刀，患者被以高强度和高精度会聚在目标(例如，肿瘤)处的大量低强度伽玛射线辐射。另一种这样的放射治疗技术使用直线加速器(linac)来提供，由此通过高能粒子(例如，电子、质子、离子、高能光子等)辐射肿瘤。必须准确地控制放射束的布置和剂量以确保肿瘤接收到规定的放射，并且射束的布置应当使得对通常称为危及器官(OAR，organ at risk)的周围健康组织的损害最小化。放射被称为“规定的”，因为医师向肿瘤和周围器官发出预定义量的放射，与药物的处方类似。通常，以准直射束形式的电离放射从外部放射源指向患者。
可以使用指定的或可选择的射束能量，例如用于递送诊断能级范围或治疗能级范围。放射束的调制可以由一个或更多个衰减器或准直器(例如，多叶准直器(MLC))提供。可以通过准直来调整放射束的强度和形状，以通过使投射的射束与目标组织的轮廓一致来避免损坏与目标组织相邻的健康组织(例如，OAR)。
治疗计划过程可以包括使用患者的三维(3D)图像来识别目标区域(例如，肿瘤)并识别肿瘤附近的关键器官。治疗计划的创建可能是耗时的过程，在该过程中，计划者试图遵守各种治疗目标或约束(例如，剂量体积直方图(DVH)、交叠体积直方图(OVH))，考虑它们各自的重要性(例如，权重)，以便产生临床上可接受的治疗计划。该任务可能是耗时的反复试验过程，该过程由于各种OAR而变得复杂，因为随着OAR的数量增加(例如，对于头颈治疗十几个或更多个OAR)，该过程的复杂性也增加。远离肿瘤的OAR可以容易地免受放射，而接近目标肿瘤或与目标肿瘤交叠的OAR可能难以幸免。
传统上，对于每个患者，可以以“离线”方式生成初始治疗计划。可以在递送放射疗法之前很好地制定治疗计划，例如使用一种或更多种医学成像技术。成像信息可以包括例如来自X射线、计算机断层扫描(CT)、核磁共振(MR)、正电子发射断层扫描(PET)、单光子发射计算机断层扫描(SPECT)或超声波的图像。卫生保健提供者(例如，医师)可以使用指示患者解剖结构的3D成像信息来识别一个或更多个目标肿瘤以及肿瘤附近的OAR。卫生保健提供者可以使用手动技术来描绘要接收规定放射剂量的目标肿瘤，并且卫生保健提供者可以类似地描绘处于来自放射治疗的损害的风险中的附近的组织，例如器官。可替选地或另外地，可以使用自动化工具(例如，由瑞典的Elekta AB提供的ABAS)来帮助识别或描绘目标肿瘤和危及器官。然后，可以使用数值优化技术来创建放射疗法治疗计划(“治疗计划”)，所述数值优化技术使包括临床和剂量测定的目标和约束(例如，对肿瘤体积的一部分的最大放射剂量、最小放射剂量和部分放射剂量(“95％的目标应接收不少于100％的规定剂量”)，以及针对关键器官的类似措施)的目标函数最小化。优化的计划包括指定每个放射束的方向、截面形状和强度的数字参数。
然后，随后可以通过以下操作来执行治疗计划：将患者定位在治疗机器中并且递送由优化的计划参数指导的规定的放射疗法。放射疗法治疗计划可以包括剂量“分级”，从而在预定时间段内提供放射治疗的序列(例如，每天30至45个部分)，其中每个治疗包括总规定剂量的指定部分。
作为放射治疗剂量的治疗计划过程的一部分，确定并评估注量。注量是垂直于射束方向的放射光子或粒子的密度，而剂量与当光子或粒子与材料原子相互作用时在材料中释放的能量相关。因此，剂量取决于注量和放射-物质相互作用的物理学。重要的计划是作为确定治疗计划以及特定患者的注量和剂量的一部分而进行的。
发明内容
在一些实施方式中，提供了用于生成用作一个或更多个放射疗法治疗计划的一部分的优化注量图或注量图集合的方法、***和计算机可读介质。所述方法、***和计算机可读介质可以被配置成执行操作，所述操作包括：获得与放射疗法治疗的受试者对应的图像数据，图像数据指示受试者的解剖结构中的一个或更多个目标剂量区域以及一个或更多个危及器官区域；根据图像数据生成解剖结构投影图像，每个解剖结构投影图像提供根据放射疗法治疗的相应射束角度的受试者的视图；以及使用经训练的神经网络模型来基于解剖结构投影图像生成估计的注量图，估计的注量图中的每一个指示放射疗法治疗在相应射束角度下的注量分布。在这些和其他配置中，可以用解剖结构投影图像和注量图的相应对来对这样的神经网络模型进行训练，以产生估计的注量图。
在一些实现方式中，估计的注量图中的每一个是垂直于相应射束方向的单元射束权重的二维阵列，并且放射疗法治疗的射束角度对应于放射疗法治疗机器的台架角度。此外，获得与受试者对应的三维图像数据集合可以包括获得并投影针对放射疗法治疗机器的每个台架角度的图像数据，使得每个生成的解剖结构投影图像表示根据给定台架角度的受试者的解剖结构的视图，给定台架角度用于用给定放射治疗射束提供治疗。
在一些实现方式中，在操作期间使用所生成的估计的注量图来计算和优化放射疗法治疗计划中的放射剂量，诸如提供由放射疗法治疗机器执行的容积旋转调强治疗(VMAT)放射治疗的放射疗法治疗，因为多个放射治疗射束被成形为从多个射束角度之中实现用于目标区域的调制剂量，从而递送规定的放射剂量。例如，放射治疗计划的工作流程可以包括：使用神经网络模型来生成估计的注量图的集合；使用估计的注量图作为优化的输入来执行数值优化，其中，优化结合放射疗法治疗约束；以及产生在受试者的放射疗法治疗计划中使用的帕累托最优注量计划。这样的帕累托最优注量计划可以用于使用弧排序生成与多个放射治疗射束中的每一个对应的一组初始控制点，然后执行直接孔径优化，以生成与多个放射治疗射束中的每一个对应的一组最终控制点。此外，可以使用该组最终控制点来执行放射疗法治疗，因为该组最终控制点用于控制在与给定射束角度对应的给定台架角度下的放射疗法治疗机器的多叶准直器(MLC)叶片位置。
公开了生成、识别和优化注量图的其他方面，包括使用特定的神经网络训练布置。例如，在测试或验证设置中，可以将响应于解剖结构投影图像的输入集合而从神经网络模型产生的注量图与从另一源产生的注量图进行比较。还公开了包括生成式对抗网络(GAN)、条件生成式对抗网络(cGAN)和循环一致性生成式对抗网络(CycleGAN)的特定模型训练方面。
以上概述旨在提供本专利申请的主题的概述。并不旨在提供本发明主题的排他性或详尽的解释。包括具体实施方式以提供关于本专利申请的进一步信息。
附图说明
在不一定按比例绘制的附图中，遍及若干视图，相似的附图标记描述基本上相似的部件。具有不同字母后缀的相似的附图标记表示基本上相似的部件的不同实例。附图通过示例的方式而非通过限制的方式整体示出了本文献中讨论的各种实施方式。
图1示出了根据一些示例的示例性放射治疗***。
图2A和图2B示出了根据一些示例的椭圆和示例性***目标解剖结构的投影视图。
图3A示出了根据一些示例的可以包括被配置成提供治疗射束的放射疗法输出件的示例性放射治疗***。
图3B示出了根据一些示例的包括组合的放射治疗***和成像***诸如锥形射束计算机断层扫描(CBCT)成像***的示例性***。
图4示出了根据一些示例的包括组合的放射治疗***和成像***诸如核磁共振(MR)成像(MRI)***的示例性***的局部剖视图。
图5示出了根据一些示例的示例性伽玛刀放射治疗***。
图6A和图6B分别描绘了根据一些示例的示例性MRI图像与相对应的CT图像之间的差异。
图7示出了根据一些示例的用于成形、指导或调制放射疗法射束的强度的示例性准直器配置。
图8示出了根据一些示例的用于放射治疗计划制定的数据流和过程。
图9示出了根据一些示例的注量图优化操作的示例。
图10示出了根据一些示例的在放射治疗射束的特定角度下的解剖投影图像和注量图图像的示例。
图11示出了根据一些示例的在放射疗法治疗的多个角度下的解剖投影和放射疗法治疗约束的示例。
图12示出了根据一些示例的在放射疗法治疗的多个角度下的注量图投影的示例。
图13示出了根据一些示例的在放射疗法治疗的多个角度下的成对的解剖投影、放射疗法治疗约束和注量图投影。
图14示出了根据一些示例的用于训练模型以从投影图像数据和注量图数据预测注量图的深度学习过程。
图15A和图15B分别描绘了根据一些示例的在预测注量图表示时使用的生成深度卷积神经网络和判别深度卷积神经网络的示意图。
图16A和图16B分别描绘了根据一些示例的用于训练用于预测注量图表示的生成模型的生成式对抗网络和循环一致性生成式对抗网络的示意图。
图17和图18示出了根据一些示例的用于训练和使用适于产生模拟注量图的机器学习模型的相应数据流。
图19示出了根据一些示例的用于生成在放射疗法治疗计划中使用的注量图并生成用于递送放射疗法治疗计划的机器参数的方法。
图20示出了可以实现如本文所讨论的方法中的一种或更多种方法的机器的示例性框图。
具体实施方式
在以下具体实施方式中，参照形成具体实施方式的一部分的附图，并且通过可以实践本公开内容的图示特定实施方式的方式示出具体实施方式。在本文中也被称为“示例”的这些实施方式被足够详细地描述以使得本领域技术人员能够实践本公开内容，并且应当理解，在不脱离本公开内容的范围的情况下，可以组合实施方式或者可以利用其他实施方式并且可以进行结构、逻辑和电气改变。因此，以下具体实施方式不应被视为限制性意义，并且本公开内容的范围由所附权利要求及其等同内容限定。
调强放射治疗(IMRT)和容积旋转调强放射治疗(volumetric modulated arctherapy，VMAT)已经成为现代癌症放射疗法中的护理标准。创建个体患者IMRT或VMAT治疗计划通常是反复试验的过程，该过程权衡目标剂量与OAR免受伤害的折衷并且调整计划约束，所述计划约束对计划质量度量和剂量分布的影响可能很难预料。实际上，调整计划约束的顺序本身可能导致剂量差异。治疗计划质量通常取决于计划者的主观判断，这些主观判断取决于他/她的经验和技能。即使是最熟练的计划者，仍然不能保证其计划接近最佳可能，或者一点或大量的努力是否将产生明显更好的计划。
本公开内容包括通过生成注量图值来改进和增强放射疗法治疗的各种技术，生成注量图值作为放射治疗计划设计期间的模型驱动的注量图优化(FMO)过程的一部分。该模型可以包括经训练的机器学习模型，例如人工神经网络模型，其被训练以从给定输入产生(预测)注量图值的计算机建模的、基于图像的表示。这些注量图值随后可以用于计划和实现放射疗法治疗机器参数，包括控制放射治疗机器操作的控制点的计划和优化，以将带有治疗的放射疗法递送到患者的描绘的解剖结构。
这些技术的技术益处包括减少的放射疗法治疗计划创建时间、生成的放射疗法治疗计划的改进的质量、以及评估更少的数据或用户输入以产生更高质量的注量图设计。这样的技术益处可以产生许多明显的医疗益处，包括提高放射疗法治疗的准确性、减少对非预期放射的暴露等。所公开的技术可以适用于各种医疗和诊断设置或放射疗法治疗设备和装置，包括使用IMRT和VMAT治疗计划。
FMO通常作为数值计算执行，产生覆盖目标的3D剂量分布，同时试图使剂量对附近OAR的影响最小化。如将理解的，最佳注量图和由使用注量图产生的最终3D剂量分布通常被称为“计划”，即使注量3D剂量分布必须被重新采样和变换以适应直线加速器和多叶准直器(MLC)特性，从而成为临床可交付的治疗计划。这样的改变可以包括弧分段和孔径优化操作、以及变换或修改的其他方面，如下面参照图8进一步讨论的。然而，为简单起见，下面对下文使用的“计划”的引用通常是指从注量图优化得出的计划的放射剂量和适于产生注量图的训练模型的结果。
递送正确的注量以在组织中实现期望的剂量涉及一种正向断层扫描术，其中适当加权的单元射束的2D阵列从目标周围的许多角度被引导通过直线加速器MLC。实际上，在每个射束角度下的注量图是跨越目标的射束的眼睛视图投影图像的2D阵列。注量图的每个元素是与目标中的预期剂量成比例的实数权重。VMAT放射治疗可以具有100个或更多个射束，其中单元射束权重的总数等于105或更多。
FMO根据从许多方向瞄准目标的数千个小的单元射束以及单元射束的权重和描述每个单元射束的材料注量散布的物理参数来执行目标和OAR约束的详尽优化。这种高维优化通常从参数的默认初始值开始，而不考虑特定患者的解剖结构。除了其他技术外，以下讨论了FMO参数的解剖结构相关模型的创建和训练，从而可以将计算初始化为更接近参数的理想最终值，从而减少了产生令人满意的注量图所需的时间。另外，FMO参数的这样的解剖结构相关模型可以适用于注量图的验证或确认，并以多种方式整合以用于放射治疗计划。
以下段落提供了示例放射治疗***实现和治疗计划的概述(参照图2A至图7)，包括计算***和硬件实现的使用(参照图1和图20)。以下段落还提供了对注量图优化特定的考虑(参照图8至图9)以及注量图相对于患者解剖结构投影的表示(参照图10至图13)的讨论。最后，对机器学习技术的讨论(参照图14至图16B)被提供用于训练和使用机器学习模型的方法(图17至图19)。
图1示出了用于向患者提供放射疗法的放射治疗***100。放射治疗***100包括图像处理装置112。图像处理装置112可以连接至网络120。网络120可以连接至因特网122。网络120可以将图像处理装置112与下述中的一个或更多个连接：数据库124、医院数据库126、肿瘤学信息***(OIS)128、放射治疗装置130、图像获取装置132、显示装置134和用户接口136。图像处理装置112可以被配置成生成要由放射治疗装置130使用的放射疗法治疗计划142和计划相关数据。
图像处理装置112可以包括存储器装置116、图像处理器114和通信接口118。存储器装置116可以存储计算机可执行指令，例如操作***143、放射疗法治疗计划142(例如，原始治疗计划、经调整的治疗计划等)、软件程序144(例如，人工智能、深度学习神经网络、放射疗法治疗计划软件的可执行实现)以及要由处理器114执行的任何其他计算机可执行指令。在示例中，软件程序144可以通过产生合成图像诸如伪CT图像来将一种格式(例如，MRI)的医学图像转换成另一种格式(例如，CT)。例如，软件程序144可以包括图像处理程序，所述图像处理程序用以训练用于将一种模态的医学图像146(例如，MRI图像)转换成不同模态的合成图像(例如，伪CT图像)的预测模型；可替选地，图像处理程序可以将CT图像转换为MRI图像。在另一示例中，软件程序144可以将患者图像(例如，CT图像或MR图像)与该患者的剂量分布(也表示为图像)配准，使得相对应的图像体素和剂量体素通过网络适当地关联。在又一示例中，软件程序144可以替代患者图像的功能，例如签名的距离功能或强调图像信息的一些方面的图像的处理版本。这样的功能可能强调体素纹理的边缘或差异、或对神经网络学习有用的任何其他结构方面。在另一示例中，软件程序144可以替代强调剂量信息的一些方面的剂量分布的功能。这样的功能可能强调目标周围的陡峭梯度或对神经网络学习有用的任何其他结构方面。存储器装置116可以存储数据，包括医学图像146、患者数据145以及创建和实现至少一个放射疗法治疗计划142所需的其他数据、或与至少一个计划相关联的数据。
在又一示例中，软件程序144可以针对描绘解剖结构(例如，一个或更多个目标和一个或更多个OAR)的二维(2D)CT图像或MR图像和/或3D CT图像或MR图像的集合生成投影图像，所述投影图像表示根据用于递送放射治疗的一个或更多个射束角度的解剖结构的不同视图，所述射束角度可以对应于放射治疗设备的相应台架角度。例如，软件程序144可以处理CT图像或MR图像的集合并且创建投影图像的堆叠，所述投影图像描绘了从放射治疗射束的各种视角的CT图像或MR图像中描绘的解剖结构的不同视图，作为生成放射疗法治疗计划的注量数据的一部分。例如，一种投影图像可以表示从台架的0度的解剖结构的视图，第二投影图像可以表示从台架的45度的解剖结构的视图，而第三投影图像可以表示从台架的90度的解剖结构的视图，其中单独的放射治疗射束位于每个角度处。在其他示例中，每个投影图像可以表示根据特定射束角度的解剖结构的视图，对应于放射治疗射束在台架的相应角度处的位置。
在图2A中示意性地示出了简单椭圆202的投影视图。在图2A中，视图相对于椭圆中心取向，并且捕捉从每个角度(例如，由视图203表示的0度、由视图204表示的45度以及由视图205表示的90度)看到的椭圆202的形状和范围。例如，当从相对于椭圆202的y轴206成0度角查看时，椭圆202的视图被投影为视图203。例如，当从相对于椭圆202的y轴206成45度角查看时，椭圆202的视图被投影为视图204。例如，当从相对于椭圆202的y轴206成90度角查看时，椭圆202的视图被投影为视图205。
在图2B中示出了男性骨盆解剖结构相对于一组原始3D CT图像201的投影。在3DCT图像201中对所选择的危及器官和目标器官进行轮廓描绘，并根据解剖结构的类型为其体素分配代码值。可以使用重建过程(例如，锥形射束CT重建程序)的正向投影能力来获得围绕3D CT图像201的中心轴成所选择的角度(0度、45度和90度)的投影图像250。还可以通过由射线跟踪直接重新创建投影视图几何结构或者通过诸如在计算机断层扫描中使用的傅立叶重建来计算投影图像。
在示例中，可以通过在图像平面中将光的路径跟踪为像素并模拟其与虚拟对象相遇的效果来计算投影图像。在一些实现方式中，投影图像是通过跟踪从假想的眼睛(射束的眼睛视图或MLC视图)到虚拟屏幕中的每个像素的路径并计算通过其可见的对象的颜色来生成的。可以利用其他断层扫描重建技术来从3D CT图像201中描绘的解剖结构的视图生成投影图像。
例如，3D CT图像201的组(或集合)可以用于生成3D CT图像201中描绘的解剖结构(例如，膀胱、***、精囊、直肠、第一目标和第二目标)的一个或更多个视图。这些视图可以是从放射治疗射束的角度来看的(例如，由放射治疗装置的台架提供的)，并且为了简单起见，参照图2B，这些视图是以相对于3D CT图像201的y轴的度数并且基于图像中描绘的解剖结构与MLC之间的距离来测量的。具体地，第一视图210表示在台架相对于y轴成0度并且在距3D CT图像201中描绘的解剖结构处于给定距离时从台架观察或查看时的3D CT图像201的投影，第二视图220表示在台架相对于y轴成45度并且在距3D CT图像201中描绘的解剖结构处于给定距离时由台架观察或查看时的3D CT图像201的投影，并且第三视图230表示在台架相对于y轴成90度时由台架观察或查看时的3D CT图像201的投影。可以提供任何其他视图，例如围绕3D CT图像201中描绘的解剖结构的360度中的每个度数下的不同视图。
返回参照图1，在又一示例中，软件程序144可以使用本文中讨论的机器学习技术来在各种放射治疗射束和台架角度下生成注量图数据的图形图像表示(不同地称为注量图表示、注量图图像或“注量图”)。特别地，软件程序144可以在注量图优化的机器学习辅助方面优化来自这些注量图表示的信息。这样的注量图数据最终被用于生成和细化控制放射治疗装置以产生放射治疗射束的一组控制点。控制点可以表示射束强度、相对于患者位置的台架角度以及MLC的叶片位置等机器参数，以递送由注量图表示指定的剂量。
在又一示例中，软件程序144存储治疗计划软件，该治疗计划软件包括经训练的机器学习模型，诸如来自生成式对抗网络(GAN)、条件生成式对抗网络(cGAN)或循环一致性生成式对抗网络(CycleGAN)的经训练的生成模型，以基于对表示从给定角度的解剖结构的视图的解剖结构的投影图像的模型的输入和这样的解剖结构中的治疗约束(例如，目标剂量和危及器官)来生成或估计在给定放射治疗射束角度下的注量图图像表示。软件程序144还可以存储以下功能：优化或接受注量图数据的进一步优化，以及将注量图转换或计算为给定类型的放射治疗机器的机器参数或控制点(例如，以从MLC输出射束以使用MLC叶片位置实现注量图)。因此，治疗计划软件可以执行多次计算以使每个放射治疗射束的射束形状和强度以及台架角度适应放射疗法治疗约束，并且计算针对给定放射治疗装置的控制点以在受试者患者中实现该射束形状和强度。
除了存储软件程序144的存储器装置116之外，可以设想，软件程序144可以存储在可移除计算机介质上，可移除计算机介质诸如是硬盘驱动器、计算机盘、CD-ROM、DVD、HD、蓝光DVD、USB闪存驱动器、SD卡、记忆棒或任何其他合适的介质；并且软件程序144在被下载至图像处理装置112时可以由图像处理器114执行。
处理器114可以通信地耦接至存储器装置116，并且处理器114可以被配置成执行存储在存储器装置116上的计算机可执行指令。处理器114可以向存储器装置116发送医学图像146或者接收医学图像146。例如，处理器114可以经由通信接口118和网络120从图像获取装置132接收医学图像146以存储在存储器装置116中。处理器114还可以将存储在存储器装置116中的医学图像146经由通信接口118发送至网络120以存储在数据库124或医院数据库126中。
此外，处理器114可以利用软件程序144(例如，治疗计划软件)以及医学图像146和患者数据145来创建放射疗法治疗计划142。医学图像146可以包括诸如与患者解剖区域、器官或感兴趣的分割数据量相关联的成像数据的信息。患者数据145可以包括下述信息，例如：(1)功能性器官建模数据(例如，串行器官与并行器官、适当的剂量响应模型等)；(2)放射剂量数据(例如，DVH信息)；或(3)关于患者和治疗过程的其他临床信息(例如，其他手术、化学治疗、先前的放射治疗等)。
另外，处理器114可以利用软件程序来生成中间数据，诸如例如将由机器学习模型诸如神经网络模型使用的更新后的参数；或者生成中间2D图像或3D图像，然后，所述中间2D图像或3D图像可以随后被存储在存储器装置116中。然后，处理器114可以随后经由到网络120的通信接口118将可执行的放射疗法治疗计划142传送至放射治疗装置130，在该放射治疗装置130中放射治疗计划将被用于利用放射治疗患者。另外，处理器114可以执行软件程序144以实现诸如图像转换、图像分割、深度学习、神经网络和人工智能的功能。例如，处理器114可以执行训练医学图像或对医学图像进行轮廓描绘的软件程序144；这样的软件程序144在被执行时可以训练边界检测器或利用形状字典(shape dictionary)。
处理器114可以是处理装置，包括一个或更多个通用处理装置，例如微处理器、中央处理单元(CPU)、图形处理单元(GPU)、加速处理单元(APU)等。更具体地，处理器114可以是复杂指令集计算(CISC)微处理器、精简指令集计算(RISC)微处理器、超长指令字(VLIW)微处理器、实现其他指令集的处理器或实现指令集的组合的处理器。处理器114还可以由一个或更多个专用处理装置诸如专用集成电路(ASIC)、现场可编程门阵列(FPGA)、数字信号处理器(DSP)、片上***(SoC)等来实现。如本领域技术人员将理解的，在一些示例中，处理器114可以是专用处理器而不是通用处理器。处理器114可以包括一个或更多个已知的处理装置，例如来自由IntelTM制造的PentiumTM、CoreTM、XeonTM或
Figure BDA0004190886200000112
系列的微处理器、来自由AMDTM制造的TurionTM、AthlonTM、SempronTM、OpteronTM、FXTM、PhenomTM系列的微处理器或者由Sun Microsystems制造的各种处理器中的任何处理器。处理器114还可以包括图形处理单元，例如来自由NvidiaTM制造的/>
Figure BDA0004190886200000111
系列、由IntelTM制造的GMA、IrisTM系列或者由AMDTM制造的RadeonTM系列的GPU。处理器114还可以包括加速处理单元，例如由IntelTM制造的Xeon PhiTM系列。所公开的示例不限于以其他方式被配置成满足识别、分析、维护、生成和/或提供大量数据或操纵这样的数据以执行本文中公开的方法的计算需求的任何类型的处理器。另外，术语“处理器”可以包括多于一个处理器(例如，多核设计或各自具有多核设计的多个处理器)。处理器114可以执行存储在存储器装置116中的计算机程序指令序列，以执行以下将更详细地说明的各种操作、处理、方法。
存储器装置116可以存储医学图像146。在一些示例中，医学图像146可以包括一个或更多个MRI图像(例如，2D MRI、3D MRI、2D流式MRI、四维(4D)MRI、4D体积MRI、4D影像(cine)MRI、投影图像、注量图表示图像、图形孔径图像、投影图像与注量图表示图像之间的配对信息、以及投影图像与图形孔径图像之间的配对信息等)、功能性MRI图像(例如，fMRI、DCE-MRI、扩散MRI)、CT图像(例如，2D CT、锥形射束CT、3D CT、4D CT)、超声图像(例如，2D超声、3D超声、4D超声)、表示MRI中描绘的解剖结构的视图的一个或更多个投影图像、合成CT(伪CT)和/或台架相对于患者轴的不同角度下的CT图像、PET图像、X射线图像、荧光透视图像、放射治疗射野(portal)图像、SPECT图像、计算机生成的合成图像(例如，伪CT图像)、孔径图像、MLC叶片位置在不同台架角度下的图形孔径图像表示等。此外，医学图像146还可以包括医学图像数据，例如，训练图像和训练图像、轮廓图像以及剂量图像。在示例中，可以从图像获取装置132接收医学图像146。因此，图像获取装置132可以包括MRI成像装置、CT成像装置、PET成像装置、超声成像装置、荧光透视装置、SPECT成像装置、集成的直线加速器和MRI成像装置、或者用于获得患者的医学图像的其他医学成像装置。可以以图像处理装置112可以使用以执行符合所公开的示例的操作的任何数据类型或任何格式类型来接收和存储医学图像146。
存储器装置116可以是非暂态计算机可读介质，例如只读存储器(ROM)、相变随机存取存储器(PRAM)、静态随机存取存储器(SRAM)、闪速存储器、随机存取存储器(RAM)、动态随机存取存储器(DRAM)诸如同步DRAM(SDRAM)、电可擦除可编程只读存储器(EEPROM)、静态存储器(例如，闪速存储器、闪存盘、静态随机存取存储器)以及其他类型的随机存取存储器、高速缓冲存储器、寄存器、CD-ROM、DVD或其他光存储装置、盒式磁带、其他磁性存储装置、或者可以用于存储包括能够被处理器114或任何其他类型的计算机装置访问的(例如，以任何格式存储的)图像、数据或计算机可执行指令的信息的任何其他非暂态介质。计算机程序指令可以被处理器114访问、被从ROM或任何其他合适的存储器位置读取并被加载至RAM中以供处理器114执行。例如，存储器装置116可以存储一个或更多个软件应用。存储器装置116中存储的软件应用可以包括例如用于公共计算机***以及用于受软件控制的装置的操作***143。此外，存储器装置116可以存储可由处理器114执行的整个软件应用或软件应用的仅一部分。例如，存储器装置116可以存储一个或更多个放射疗法治疗计划142。
图像处理装置112可以经由通信接口118与网络120进行通信，通信接口118可以通信地耦接至处理器114和存储器装置116。通信接口118可以提供图像处理装置112与放射治疗***100部件之间的通信连接(例如，允许与外部装置交换数据)。例如，在一些示例中，通信接口118可以具有适当的接口电路***以连接至用户接口136，用户接口136可以是用户可以通过其将信息输入至放射治疗***100中的硬件键盘、小键盘或触摸屏幕。
通信接口118可以包括例如网络适配器、线缆连接器、串行连接器、USB连接器、并行连接器、高速数据传输适配器(例如，诸如光纤、USB 3.0、雷电(thunderbolt)等)、无线网络适配器(例如，诸如Wi-Fi适配器)、电信适配器(例如，3G、4G/LTE等)等。通信接口118可以包括一个或更多个数字通信装置和/或模拟通信装置，所述一个或更多个数字通信装置和/或模拟通信装置允许图像处理装置112经由网络120与其他机器和装置(例如，远程定位的部件)进行通信。
网络120可以提供局域网(LAN)、无线网络、云计算环境(例如，软件即服务、平台即服务、基础设施即服务等)、客户端-服务器、广域网(WAN)等的功能。例如，网络120可以是LAN或WAN，其可以包括其他***S1(138)、S2(140)和S3(141)。***S1、S2和S3可以与图像处理装置112相同，或者可以是不同的***。在一些示例中，网络120中的***中的一个或更多个***可以形成协作地执行本文中描述的示例的分布式计算/模拟环境。在一些示例中，一个或更多个***S1、S2和S3可以包括获得CT图像(例如，医学图像146)的CT扫描仪。另外，网络120可以连接至因特网122以与远程驻留在互联网上的服务器和客户端进行通信。
因此，网络120可以允许图像处理装置112与多个不同的其他***和装置诸如OIS128、放射治疗装置130和图像获取装置132之间的数据传输。此外，由OIS 128和/或图像获取装置132生成的数据可以被存储在存储器装置116、数据库124和/或医院数据库126中。根据需要，数据可以通过通信接口118经由网络120发送/接收以便由处理器114访问。
图像处理装置112可以通过网络120与数据库124进行通信以发送/接收在数据库124上存储的多种不同类型的数据。例如，数据库124可以包括机器数据(控制点)，所述机器数据(控制点)包括与放射治疗装置130、图像获取装置132或与放射治疗有关的其他机器相关联的信息。机器数据信息可以包括控制点，例如放射射束尺寸、弧放置、射束开启和关闭的持续时间、机器参数、分割、MLC配置、台架速度、MRI脉冲序列等。数据库124可以是存储装置并且可以配备有适当的数据库管理软件程序。本领域技术人员将理解，数据库124可以包括以中央式方式或分布式方式定位的多个装置。
在一些示例中，数据库124可以包括处理器可读存储介质(未示出)。虽然示例中的处理器可读存储介质可以是单个介质，但是术语“处理器可读存储介质”应当被视为包括存储一组或更多组计算机可执行指令或数据的单个介质或多个介质(例如，集中式数据库或分布式数据库，和/或相关联的高速缓存和服务器)。术语“处理器可读存储介质”还应当被视为包括能够存储或编码指令集的任何介质，所述指令集由处理器执行并且使处理器执行本公开内容的方法中的任何一种或更多种方法。因此，术语“处理器可读存储介质”应当被视为包括但不限于固态存储器、光学介质和磁介质。例如，处理器可读存储介质可以是一个或更多个易失性、非暂态或者非易失性有形计算机可读介质。
图像处理器114可以与数据库124进行通信以将图像读取到存储器装置116中或者将来自存储器装置116的图像存储到数据库124。例如，数据库124可以被配置成存储数据库124从图像获取装置132接收的多个图像(例如，3D MRI、4D MRI、2D MRI切片图像、CT图像、2D荧光透视图像、X射线图像、来自MR扫描或CT扫描的原始数据、医学数字成像与通信(DICOM)数据、投影图像、图形孔径图像等)。数据库124可以存储图像处理器114在执行软件程序144时或在创建放射疗法治疗计划142时要使用的数据。数据库124可以存储由经训练的机器学习模式例如神经网络所产生的数据，包括构成由网络学习的模型的网络参数和所得到的预测数据。图像处理装置112可以从数据库124、放射治疗装置130(例如，MRI-linac)和/或图像获取装置132接收成像数据诸如医学图像146(例如，2D MRI切片图像、CT图像、2D荧光透视图像、X射线图像、3D MRI图像、4D MRI图像、投影图像、图形孔径图像等)，以生成放射疗法治疗计划142。
在示例中，放射治疗***100可以包括图像获取装置132，该图像获取装置132可以获取患者的医学图像(例如，MRI图像、3D MRI、2D流式MRI、4D体积MRI、CT图像、锥形射束CT、PET图像、功能性MRI图像(例如，fMRI、DCE-MRI和扩散MRI)、X射线图像、荧光透视图像、超声图像、放射治疗射野图像、SPECT图像等)。图像获取装置132例如可以是MRI成像装置、CT成像装置、PET成像装置、超声装置、荧光透视装置、SPECT成像装置或者用于获得患者的一个或更多个医学图像的任何其他合适的医学成像装置。由图像获取装置132获取的图像可以作为成像数据和/或测试数据存储在数据库124内。通过示例的方式，由图像获取装置132获取的图像也可以作为医学图像146由图像处理装置112存储在存储器装置116中。
在示例中，图像获取装置132可以与放射治疗装置130集成为单个设备(例如，MRI-linac)。这样的MRI-linac可以用于例如确定患者体内的目标器官或目标肿瘤的位置，以根据放射疗法治疗计划142将放射疗法准确地引导至预定目标。
图像获取装置132可以被配置成针对感兴趣区域(例如，目标器官、目标肿瘤或两者)获取患者的解剖结构的一个或更多个图像。每个图像——通常是2D图像或切片——可以包括一个或更多个参数(例如，2D切片厚度、取向和位置等)。在示例中，图像获取装置132可以获取在任何取向上的2D切片。例如，2D切片的取向可以包括矢状取向(sagittalorientation)、冠状取向(coronal orientation)或轴向取向。处理器114可以对诸如2D切片的厚度和/或取向的一个或更多个参数进行调整以包括目标器官和/或目标肿瘤。在示例中，可以根据诸如3D MRI体积的信息来确定2D切片。例如，在使用放射治疗装置130的情况下，在患者正在进行放射疗法治疗的同时可以由图像获取装置132“实时”获取这样的2D切片，其中“实时”意味着至少以数毫秒或更短时间来获取数据。
图像处理装置112可以生成并且存储一个或更多个患者的放射疗法治疗计划142。放射疗法治疗计划142可以提供关于要施加给每个患者的特定放射剂量的信息。放射疗法治疗计划142还可以包括其他放射治疗信息，例如控制点，包括射束角度、台架角度、射束强度、剂量直方图体积信息、治疗期间要使用的放射射束的数量、每射束的剂量等。
图像处理器114可以通过使用软件程序144例如治疗计划软件(例如，由瑞典斯德哥尔摩的Elekta AB公司制造的
Figure BDA0004190886200000151
)来生成放射疗法治疗计划142。为了生成放射疗法治疗计划142，图像处理器114可以与图像获取装置132(例如，CT装置、MRI装置、PET装置、X射线装置、超声装置等)进行通信以访问患者的图像并且描绘目标诸如肿瘤。在一些示例中，可能需要一个或更多个OAR诸如肿瘤围围或接近肿瘤的健康组织的描绘。因此，在OAR靠近目标肿瘤时，可以执行对OAR的分割。另外，如果目标肿瘤靠近OAR(例如，接近膀胱和直肠的***)，则通过将OAR从肿瘤分割，放射治疗***100可以不仅研究目标中的剂量分布，而且研究OAR中的剂量分布。
为了从OAR描绘目标器官或目标肿瘤，可以通过图像获取装置132非侵入式地获得经历放射治疗的患者的医学图像例如MRI图像、CT图像、PET图像、fMRI图像、X射线图像、超声图像、放射治疗射野图像、SPECT图像等，以揭露身体部位的内部结构。基于来自医学图像的信息，可以获得相关解剖部分的3D结构。另外，在治疗计划过程期间，可以考虑许多参数以实现对目标肿瘤的有效率的治疗(例如，使得目标肿瘤接收足够的放射剂量以便有效治疗)与对OAR的低辐射(例如，OAR接收尽可能低的放射剂量)之间的平衡。可以考虑的其他参数包括目标器官和目标肿瘤的位置、OAR的位置以及目标相对于OAR的运动。例如，可以通过在MRI图像或CT图像的每个2D层或切片内对目标进行轮廓描绘或对OAR进行轮廓描绘并且将每个2D层或切片的轮廓进行组合来获得3D结构。可以手动地(例如，由医师、剂量师或医护人员使用程序例如由瑞典斯德哥尔摩的Elekta AB公司制造的MONACOTM)或自动地(例如，使用程序例如由瑞典斯德哥尔摩的Elekta AB公司制造的基于Atlas的自动分割软件ABASTM和后续自动分割软件产品ADMIRETM)生成轮廓。在某些示例中，可以通过治疗计划软件自动生成目标肿瘤或OAR的3D结构。
在目标肿瘤和(一个或多个)OAR已经被定位并且描绘之后，剂量师、医师或医护人员可以确定要施加至目标肿瘤的放射剂量以及可以由接近肿瘤的OAR(例如，左右腮腺、视神经、眼睛、晶状体、内耳、脊髓、脑干等)接收的剂量的任何最大量。在针对每个解剖结构(例如，目标肿瘤、OAR)确定了放射剂量之后，可以执行已知为逆向计划的处理以确定将实现期望的放射剂量分布的一个或更多个治疗计划参数。治疗计划参数的示例包括体积描绘参数(例如，其限定目标体积、轮廓敏感结构等)、目标肿瘤和OAR周围的边缘、射束角度选择、准直器设置和射束开启时间。在逆向计划处理期间，医师可以限定剂量约束参数，所述剂量约束参数设定OAR可以接受多少放射的界限(例如，限定对肿瘤目标的全剂量和对任何OAR的零剂量；限定对目标肿瘤的95％的剂量；限定脊髓、脑干和视神经结构分别接受≤45Gy、≤55Gy和<54Gy)。逆向计划的结果可以构成可以被存储在存储器装置116或数据库124中的放射疗法治疗计划142。这些治疗参数中的一些可以是相关的。例如，调整一个参数(例如，针对不同对象的权重，例如增加对目标肿瘤的剂量)以试图改变治疗计划可能会影响至少一个其他参数，这进而可能导致不同的治疗计划的发展。因此，图像处理装置112可以生成具有这些参数的定制的放射疗法治疗计划142以便放射治疗装置130向患者提供放射疗法治疗。
另外，放射治疗***100可以包括显示装置134和用户接口136。显示装置134可以包括向用户显示医学图像、接口信息、治疗计划参数(例如，投影图像、图形孔径图像、轮廓、剂量、射束角度等)、治疗计划、目标、定位目标和/或跟踪目标或者任何相关信息的一个或更多个显示屏。用户接口136可以是键盘、小键盘、触摸屏或者通过其用户可以向放射治疗***100输入信息的任何类型的装置。可替选地，显示装置134和用户接口136可以集成至诸如平板计算机(例如，苹果
Figure BDA0004190886200000171
联想/>
Figure BDA0004190886200000172
三星/>
Figure BDA0004190886200000173
等)的装置中。
此外，放射治疗***100的任何部件和所有部件可以被实现为虚拟机(例如，VMWare、Hyper-V等)。例如，虚拟机可以是充当硬件的软件。因此，虚拟机可以至少包括一起充当硬件的一个或更多个虚拟处理器、一个或更多个虚拟存储器和一个或更多个虚拟通信接口。例如，图像处理装置112、OIS 128、图像获取装置132可以被实现为虚拟机。在给定可用的处理能力、存储器和计算能力的情况下，整个放射治疗***100可以被实现为虚拟机。
图3A示出了放射治疗装置302，其可以包括放射源诸如X射线源或直线加速器、床316、成像检测器314和放射疗法输出件304。放射治疗装置302可以被配置成发射放射射束308以向患者提供治疗。放射疗法输出件304可以包括一个或更多个衰减器或准直器，例如如下面图7的说明性示例中描述的MLC。
返回参照图3A，患者可以被定位在区域312中并且由治疗床316支承以根据放射疗法治疗计划接受放射疗法剂量。放射疗法输出件304可以被安装或附接至台架306或其他机械支承件。当床316被***治疗区域中时，一个或更多个底盘电机(未示出)可以使台架306和放射疗法输出件304围绕床316旋转。在示例中，当床316被***治疗区域中时，台架306可以围绕床316连续地旋转。在另一示例中，当床316被***治疗区域中时，台架306可以旋转至预定位置。例如，台架306可以被配置成使疗法输出件304围绕轴(“A”)旋转。床316和放射疗法输出件304两者均可以独立地移动至患者周围的其他位置，例如，可沿横向方向(“T”)移动、可沿侧向方向(“L”)移动，或者作为围绕一个或更多个其他轴的旋转，例如围绕横轴(表示为“R”)的旋转。通信上连接至一个或更多个致动器(未示出)的控制器可以控制床316移动或旋转，以便根据放射疗法治疗计划将患者适当地定位在放射射束308之内或之外。床316和台架306两者均可以以多个自由度彼此独立地移动，这使得患者能够被定位成使得放射射束308可以精确地瞄准肿瘤。MLC可以被集成并包括在台架306内以递送特定形状的放射射束308。
图3A中所示的坐标系(包括轴A、T和L)可以具有位于等中心点310处的原点。等中心点可以被限定为放射射束308的中心轴与坐标轴的原点相交的位置，以便将规定的放射剂量递送至患者身上或患者体内的位置。可替选地，等中心点310可以被限定为下述位置：在该位置处，对于由台架306定位的放射疗法输出件304围绕轴A的各种旋转位置，放射射束308的中心轴与患者相交。如本文所讨论的，台架角度对应于台架306相对于轴A的位置，尽管任何其他轴或轴的组合都可以被参考并且用于确定台架角度。
台架306还可以具有附接的成像检测器314。成像检测器314优选地位于放射源的对面，并且在示例中，成像检测器314可以位于放射射束308的场内。
成像检测器314可以安装在台架306上(优选地与放射疗法输出件304相对)，以保持与治疗射束308对准。成像检测器314随着台架306旋转而围绕旋转轴旋转。在示例中，成像检测器314可以是平板检测器(例如，直接检测器或闪烁体检测器)。以这种方式，成像检测器314可以用于监测放射射束308，或者成像检测器314可以用于对患者的解剖结构进行成像，例如射野成像。放射治疗装置302的控制电路***可以集成在放射治疗***100内或远离放射治疗***100。
在说明性示例中，床316、疗法输出件304或台架306中的一个或更多个可以被自动地定位，并且疗法输出件304可以根据针对特定治疗递送实例的指定剂量来建立放射射束308。可以根据放射疗法治疗计划(例如，使用台架306、床316或疗法输出件304的一个或更多个不同的取向或位置)来指定治疗递送序列。治疗递送可以依次发生，但是可以在患者身上或患者体内的期望治疗部位中(例如，在等中心点310处)交叉。由此可以将放射疗法的规定的累积剂量递送至治疗部位，同时可以减少或避免对治疗部位附近的组织的损害。
图3B示出了放射治疗装置302，其可以包括组合的直线加速器和成像***，例如CT成像***。放射治疗装置302可以包括MLC(未示出)。CT成像***可以包括诸如以千电子伏特(keV)能量范围提供X射线能量的成像X射线源318。成像X射线源318可以提供指向成像检测器322诸如平板检测器的扇形和/或锥形放射射束308。放射治疗装置302可以类似于关于图3A所描述的***，例如包括放射疗法输出件304、台架306、床316和另一成像检测器314(例如，平板检测器)。X射线源318可以提供用于成像的相对较低能量的X射线诊断射束。
在图3B的说明性示例中，放射疗法输出件304和X射线源318可以被安装在同一旋转台架306上，彼此旋转分开90度。在另一示例中，可以沿着台架306的***安装两个或更多个X射线源，例如每个X射线源具有其自己的检测器布置以同时提供多角度的诊断成像。类似地，可以设置多个放射疗法输出件304。
图4描绘了放射治疗***400，其可以包括组合放射治疗装置302和成像***诸如符合所公开的示例的磁共振(MR)成像***(例如，本领域中已知为MR-linac)。如图所示，***300可以包括床316、图像获取装置420和放射递送装置430。***300根据放射疗法治疗计划向患者递送放射疗法。在一些示例中，图像获取装置420可以对应于图1中的可以获取第一模态的原始图像(例如，图6A中所示的MRI图像)或者第二模态的目标图像(例如，图6B中所示的CT图像)的图像获取装置132。
床316可以在治疗阶段期间支承患者(未示出)。在一些实现方式中，床316可以沿着水平平移轴(标记为“I”)移动，使得床316可以将躺在床316上的患者移入和/或移出***400。床316还可以围绕横向于平移轴的中心竖直旋转轴旋转。为了允许这样的移动或旋转，床316可以具有使床316能够在各个方向上移动并且沿着各个轴旋转的电机(未示出)。控制器(未示出)可以控制这些运动或旋转以便根据治疗计划适当地定位患者。
在一些示例中，图像获取装置420可以包括用于在治疗阶段之前、期间和/或之后获取患者的2D MRI图像或3D MRI图像的MRI机器。图像获取装置420可以包括用于生成用于磁共振成像的主磁场的磁体421。通过磁体421的操作而生成的磁场线可以基本上平行于中心平移轴I延伸。磁体421可以包括具有平行于平移轴I延伸的轴的一个或更多个线圈。在一些示例中，磁体421中的一个或更多个线圈可以间隔开，使得磁体421的中心窗口423没有线圈。在其他示例中，磁体421中的线圈可以足够薄或具有减小的密度，使得线圈对于由放射治疗装置430生成的波长的放射基本上是透射的。图像获取装置420还可以包括一个或更多个屏蔽线圈，所述一个或更多个屏蔽线圈可以在磁体421外部生成近似相等的幅度和相反极性的磁场，以便消除或减小磁体421外部的任何磁场。如下所述，放射递送装置430的放射源431可以被定位在磁场至少被消除至一阶或被减小的区域中。
图像获取装置420还可以包括两个梯度线圈425和426，这两个梯度线圈425和426可以生成叠加在主磁场上的梯度磁场。线圈425和426可以在所得到的磁场中生成梯度，该梯度使得能够对质子进行空间编码以使得质子的位置可以被确定。梯度线圈425和426可以围绕与磁体421的公共中心轴被定位，并且可以沿着该中心轴被移位。该移位可以在线圈425与线圈426之间产生间隙或窗口。在磁体421还可以包括线圈之间的中心窗口423的示例中，两个窗口可以彼此对准。
在一些示例中，图像获取装置420可以是除MRI之外的成像装置，例如X射线、CT、CBCT、螺旋CT、PET、SPECT、光学断层扫描、荧光成像、超声成像、放射治疗射野成像装置等。如本领域的普通技术人员将认识到的，图像获取装置420的以上描述涉及某些示例，而不旨在是限制性的。
放射递送装置430可以包括放射源431诸如X射线源或直线加速器以及MLC 432(下面在图7中更详细地示出)。放射递送装置430可以被安装在底盘435上。当床316被***治疗区域中时，一个或更多个底盘电机(未示出)可以使底盘435围绕床316旋转。在示例中，当床316被***治疗区域中时，底盘435可以围绕床316连续地旋转。底盘435还可以具有附接的放射检测器(未示出)，该放射检测器优选地位于与放射源431相对并且其中底盘435的旋转轴定位在放射源431与检测器之间。此外，装置430可以包括用于控制例如床316、图像获取装置420和放射治疗装置430中的一个或更多个的控制电路***(未示出)。放射递送装置430的控制电路***可以集成在***400内或远离***400。
在放射疗法治疗阶段期间，患者可以被定位在床316上。然后***400可以将床316移动至由磁体421、线圈425、426以及底盘435限定的治疗区域中。控制电路***然后可以控制放射源431、MLC 432和底盘电机以根据放射疗法治疗计划通过线圈425与线圈426之间的窗口将放射递送至患者。
图3A、图3B和图4大体示出了被配置成向患者提供放射疗法治疗的放射治疗装置的示例，包括放射疗法输出件可以围绕中心轴(例如，轴“A”)旋转的配置。可以使用其他放射疗法输出件配置。例如，放射疗法输出件可以被安装至具有多个自由度的机械臂或操纵器。在又一示例中，疗法输出件可以是固定的(例如，位于与患者横向分开的区域中)，并且可以使用支承患者的平台来将放射疗法等中心点与患者体内的指定目标部位对准。
图5示出了另一类型的放射治疗装置530(例如，莱克塞尔(Leksell)伽马刀)的示例。如图5中所示，在放射疗法治疗阶段中，患者502可以佩戴坐标框架520以保持进行手术或放射治疗的患者的身体部分(例如，头部)稳定。坐标框架520和患者定位***522可以建立空间坐标***，该空间坐标***可以在对患者成像时或在放射手术期间使用。放射治疗装置530可以包括保护壳体514以封闭多个放射源512。放射源512可以生成通过射束通道516的多个放射射束(例如，单元射束(beamlet))。多个放射射束可以被配置成从不同方向聚焦在等中心点310上。虽然每个单独的放射射束可以具有相对低的强度，但是当来自不同放射射束的多个剂量在等中心点310处累积时，等中心点310可以接收相对高水平的放射。在某些示例中，等中心点310可以对应于手术或治疗中的目标，例如肿瘤。
如以上所讨论的，由图3A、图3B和图4描述的放射治疗装置包括用于将放射疗法射束的强度成形、引导或调制至患者体内的指定目标部位的MLC。图7示出了MLC 432，其包括叶片732A至叶片732J，所述叶片732A至叶片732J可以被自动定位以限定近似肿瘤740截面或投影的孔径。叶片732A至叶片732J允许放射疗法射束的调制。根据放射治疗计划，叶片732A至叶片732J可以由被指定用于衰减或阻挡除了孔径之外的区域中的放射射束的材料制成。例如，叶片732A至叶片732J可以包括金属板(例如，包括钨)，其中板的长轴平行于射束方向取向，并且具有与射束方向正交取向的端部(如图2A的图示平面中所示)。MLC 432的“状态”可以在放射疗法治疗的过程期间自适应地调整，以便建立更好地接近肿瘤740或其它目标部位的形状或位置的治疗射束。这是与使用静态准直器配置相比，或者与使用专门使用“离线”治疗计划技术确定的MLC配置相比。使用MLC 432对肿瘤或肿瘤内的特定区域产生指定放射剂量分布的放射疗法技术可以被称为IMRT。使用MLC 432输出的所得到的射束形状被表示为图形孔径图像。即，生成给定的图形孔径图像以表示射束在通过MLC 432并由MLC 432输出之后的外观(射束形状)及其强度。
IMRT技术涉及以少量固定的台架角度辐射受试者患者；而VMAT技术通常涉及从100或更多的台架角度辐射受试者患者。具体地，利用VMAT放射治疗装置，围绕患者旋转的直线加速器用由MLC产生孔径而连续地成形的射束连续地辐射患者，以通过规定的放射剂量从每个角度实现目标的调制覆盖。VMAT已经变得流行，因为它准确地辐射目标，同时使到相邻OAR的剂量最小化，并且VMAT治疗通常比IMRT的治疗花费更少的时间。
使用IMRT或VMAT为每位患者创建个性化计划是困难的。治疗计划***对放射剂量的物理学进行建模，但是它们几乎没有向计划者提供帮助来指示如何改变治疗参数以实现高质量的计划。改变计划变量通常产生非直观的结果，并且治疗计划***无法告知计划者是否需要一点或大量的努力来将当前正在进行中的计划推进到临床上可用的计划。自动化多准则优化通过满足目标-OAR约束的层次的自动化、详尽的数值优化来减少计划不确定性，但是该方法是耗时的并且通常无法产生可交付计划。
放射治疗计划创建通常涉及应用多个过程来解决治疗计划考虑。图8示出了通过VMAT计划制定的三个典型阶段的数据流：注量图优化(FMO)820、弧排序840和直接孔径优化860。如图8所示，接收患者图像结构810诸如从CT、MRI或类似成像模态接收的图像数据作为治疗计划的输入。通过注量图优化820的过程，识别并创建注量图830。对于VMAT计划，注量图830表示必须通过以一组直线加速器台架角度构造片段(MLC孔径和监视器单元权重)来复制的理想目标剂量覆盖。
具体地，注量图830为放射疗法治疗提供理想3D剂量分布的模型，并且在注量图优化(FMO)820期间被构造。FMO是分层、多准则的数值优化，它对目标辐射进行建模，用经受目标剂量和OAR约束的许多小X射线单元射束对目标辐射。所得到的注量图830表示将放射映射到目标的射束眼视图上的单元射束权重的2D阵列；因此，在计划VMAT治疗时，在环绕患者的直线加速器台架的100个或更多个角度设置中的每一个处存在每个VMAT射束的注量图。由于注量是穿过垂直于射束方向的单位表面的射线的密度，而剂量是在被辐射材料中释放的能量，因此覆盖目标的最终3D剂量由2D注量图的集合指定。
在由FMO 820产生的注量图830中表示的3D剂量不包括关于机器可以如何递送放射以实现该分布的足够信息。因此，必须通过在不同的台架角度和适当的强度或权重下通过一系列MLC孔径对3D剂量进行迭代建模来创建一组初始的直线加速器/MLC加权孔径(每个台架角度一组；也称为控制点)。这些初始控制点850由弧排序840产生，其中所得到的(初始控制点85)的孔径和参数取决于特定患者的解剖结构和目标几何结构。
即使生成了许多控制点850，也经常涉及对孔径和权重的额外细化，偶尔添加或减去控制点。由于由弧排序840得到的3D剂量分布相对于原始最佳注量图830降低，并且孔径的一些细化总是提高所得到的计划质量，因此细化是必要的。优化这些控制点的孔径的过程被称为直接孔径优化860，其中所得到的细化孔径和权重(最终控制点870)取决于特定患者的解剖结构和目标几何结构。
在操作820、840、860的每一个中，可实现的解对应于高维空间中的可能具有许多最小值的目标函数的最小值并且需要冗长的数值优化。在每种情况下，目标函数描述患者解剖结构与剂量分布或直线加速器/MLC机器参数集合之间的映射或关系。以下技术讨论了一种机制，通过该机制可以从建模中优化注量图830的生成和注量图优化820的过程本身。具体地，注量图的优化可以通过使用概率模型(例如通过机器学习技术训练的学习模型)生成注量图来进行。
基于从临床计划群体中学习的模型的注量图的概率建模可以为图8中讨论的FMO操作提供两个显著的益处。使用概率模型的一个益处是加速对解的搜索。使用经训练的概率模型，可以使用新患者的结构来推断近似真实解的注量图(例如，注量图830)。解的这种近似可以用作数值优化的开始点，并且相比于从具有较少信息的点开始在更短的时间内得到正确的解(例如，最终控制点870)。使用概率模型的另一益处涉及使用近似来可靠地获得比通过从较少的信息开始而获得的更高质量的结果。例如，在一些设置中，推断的注量图可以用作注量图的期望优化质量的下限。
FMO是一种高维优化，其常规上使用问题参数的默认初始值，而不考虑特定患者的解剖结构。还执行FMO以产生帕累托最优结果，意味着所得到的剂量分布满足目标和OAR约束，使得没有约束可以在不降低另一约束的情况下得到改善。实现这种高水平的准确度需要在约束的排序列表下调整射束-法向注量图中的单元射束权重的详尽计算。因此，现有形式的FMO计算是耗时的，对于典型的***病例通常需要10到20分钟，而对于更复杂的头部/颈部治疗则需要更长的时间。因此，计算时间通常会随着计划的复杂性和约束的数量而缩放。并且这仅完成了三步骤过程中的第一步骤。
在各种示例中，生成式机器学习模型适于执行FMO以从输入成像数据产生注量图值。因此，以下示例确定了可以从机器学习模型创建和训练FMO参数的解剖结构相关模型的方式。通过使用经训练的机器学习模型，可以将FMO参数计算初始化为更接近参数的最终值，从而减少计算最佳注量图集合所需的时间。
另外，在各种示例中，以下技术使用机器学习模型执行FMO作为测量、验证或确认过程或程序的一部分。例如，来自机器学习模型的结果可以用于提供FMO程序在患者所涉及的特定物理学和临床信息之外的性能的独立测量。因此，机器学习模型可以提供或评估FMO数据以用作未来放射治疗计划制定的基准。
作为更详细的概述，以下概述了用概率机器学***面中的虚拟矩形网格的元素的单元射束。剂量是单元射束强度或注量的线性函数，用以下等式表示：
Figure BDA0004190886200000241
其中，di(b)是从具有强度bj的单元射束j沉积在体素i中的剂量，并且n个单元射束权重的矢量是b＝(b1，..，bn)T。Dij是剂量沉积矩阵。
FMO问题通过多准则优化得到解决。例如，Romeijn等人(“A unifying frameworkfor multi-criteria fluence map optimization models”，Phys Med Biol(医学物理与生物物理)(49)，1991-2013，2004)提供了以下FMO模型公式：
(P)：
Figure BDA0004190886200000242
Figure BDA0004190886200000243
…
Figure BDA0004190886200000244
(等式2)
其中，F(d(b))是其最小化受所列约束影响的剂量目标函数，并且其中，特定化目标G(b)受剂量约束C(b)影响，并且L是约束的数量。目标F(d(b))使被计算为的剂量与规定剂量P(b)的差最小化：
Figure BDA0004190886200000251
其中总和在所有体素上。在这样的设置下，可以通过几种方式实现约束目标的解。可以生成多准则问题的帕累托最优解，其具有这样的性质：只有当至少一个其他准则值劣化时，才有可能改进任何准则值，并且帕累托最优解族的所有成员都位于解空间中的帕累托边界上。通过改变约束的相对权重，计划者可以沿着最佳计划移动，以探索目标剂量与器官免受伤害的折衷的影响。
iCycle或mCycle实现证明了FMO操作的示例；iCycle最初由伊拉斯谟大学医学中心(荷兰鹿特丹)的研究人员实现，并由医科达有限公司(瑞典斯德哥尔摩；和美国密苏里州圣查尔斯)重新实现为mCycle。iCycle和mCycle FMO基于优先级目标和约束的意愿列表执行射束角度和射束轮廓(注量图)优化。从空计划(没有选择射束)开始，从预定义的输入方向集合中选择最佳射束取向。迭代i开始于选择第i个取向射束的候选射束以添加到计划中。对尚未被选择的所有取向逐一进行评估，针对它们中的每一个求解第i个试验射束和所有先前选择的射束的射束轮廓优化。每次迭代优化满足所有意愿列表目标及其约束。
图9示出了FMO操作的示例，提供了(例如由iCycle或mCycle执行的)常规FMO过程与利用本文讨论的各种示例执行的机器学习建模的FMO优化的比较。如图所示，常规FMO通过射束角度选择和轮廓优化进行迭代。每次迭代开始于选择添加到计划中的候选射束取向910，随后对新射束和所有先前选择的射束的射束轮廓进行多准则优化920。具有表示最佳方向940的最佳分数的候选射束被添加到计划中。当在搜索新方向930中识别的附加射束未能充分提高优化分数时，第一优化阶段完成。如果可能的话，执行第二优化阶段960以进一步改进目标。射束和轮廓的这种迭代建立的结果是相对于意愿列表目标和约束而言是帕累托最优的计划980。
相比之下，下面讨论的机器学习建模的FMO技术开始于从临床计划群体中学习的对射束方向和注量轮廓950的估计。该“计划估计”直接进入第二优化阶段960，以针对意愿列表目标进行细化。这避免了由第一优化阶段执行的搜索的耗时积累，并且实现了更短的计划创建时间，因为相比于常规FMO初始化参数，机器学习估计在参数空间中开始更接近帕累托最优。
对于每次迭代射束添加，目标和OAR目的目标由意愿列表引导，意愿列表提供类似于上述等式(2)中的硬约束和优化目标的优先化时间表。例如，***放射治疗的意愿列表可以包括硬约束(例如，指定对计划靶区(PTV)区域、诸如直肠、膀胱等的解剖结构的最大放射限制)和目标(对PTV区域、诸如直肠、膀胱等的解剖结构的优先目标治疗)。在示例中，以多准则优化一次一个地优化意愿列表目标。最高优先级目标是针对目标的规定剂量和针对最脆弱OAR的剂量限制。较低优先级目标提供附加约束以实现可能的最高治疗价值。在每个步骤处，先前的优化用作对后续约束优化的初始点和先前约束。此外，硬约束可以被定义为具有最高优先级，并且包括对靶区域(PTV)和主要OAR的硬限制(不能被超过)。目标是通过注量图的重复数值优化(如果可能的话)实现的目标。
在iCycle和mCycle实现中，通过使对数肿瘤控制概率(LTCP)最小化来优化目标剂量，
Figure BDA0004190886200000261
这惩罚剂量不足，但允许PTV受到附近OAR的影响。在该等式中，V是包括目标PTV的体素集合，并且dP是规定剂量。α是细胞敏感性参数——较高的α导致具有低剂量的较少目标体素，并因此导致接受95％规定剂量的较高比例的体素(良好的PTV覆盖)。广义等效均匀剂量(gEUD)是应用于OAR的第二有用剂量函数：
Figure BDA0004190886200000262
其中，V在此是相关器官中的体素集合，并且α是调制递送到该器官的剂量的参数。
针对意愿列表的多准则优化实际上在两个阶段中发生。在第一阶段中，从意愿列表上的第一目标进行到最后一个目标，目标在约束内被最小化。在每个目标最小化之后，并且基于其结果，该目标的约束成为后续较低优先级目标的新约束。添加新实现的约束确保较低优先级优化不会降低任何较高优先级目标。因此，较低优先级目标比较高目标具有更多的约束。在第一阶段结束时，具有限定目标的每个目标已经达到等于该目标的值(即使进一步最小化是可能的)，或者如果最小化约束阻止优化达到该目标则达到高于其目标的值。
在第二阶段中，所有目标被重新最小化到它们的最大程度。这意味着除了LTCP目标之外，本可以进一步最小化的第一阶段目标现在被最小化到相关约束集所允许的最大程度。LTCP目标的最小化在所定义的足够值处停止，以便为较低优先级目标的最小化留下更多的空间，并且不会不必要地增加剂量。
所得到的FMO计划(例如，帕累托最优计划980)实际上是目标解剖结构的坐标框架中的物理剂量的三维阵列。给定解剖结构和固定射束方向的阵列，所得到的最佳剂量分布也是固定的，因为许多优化层是确定性的，至少对于计算机的数值精度是确定性的。因此，限定最佳3D剂量的参数的集合是最佳射束方向和最佳注量图的集合，每个射束一个。此外，如果射束被限制到固定的角度集合，则注量图将单独限定3D剂量分布。
图10描绘了(在3D CT图像集1001中提供的)原始患者图像、目标解剖结构在90°台架角度下的投影图像1010、以及计划注量在该相同台架角度下的对应注量图图像1020的示例布置。目标解剖结构的投影图像1010具体表示用于治疗的目标计划靶区(PTV)和作为***放射治疗计划的一部分的最大OAR。注量图图像1020具体表示与通过瞄准目标的注量图像素的射线相对应的单元射束权重的2D阵列。目标解剖结构投影图像1010和注量图图像1020针对台架角度为90°的一个假想射束示出，但是应当理解，VMAT治疗计划可以具有不同角度的100至150个射束，每个射束具有其自身的目标解剖结构和注量图的视图。
在示例中，各种数据格式化技术被应用在机器学***面(在共面治疗中)产生2D注量图表示，所述2D注量图表示与直线加速器和患者坐标系相关、类似于患者解剖结构的射束眼视图投影。因此，解剖结构和注量图可以表示为圆柱坐标系中的平面投影，并用于训练FMO的机器学习模型并从中得出推断。
图11首先描绘了从CT图像数据的3D体积创建多个解剖结构投影1110、1120、1130。等效技术可以用于产生MR图像的投影，因此可以理解，提供以下对CT图像数据的引用是为了说明而非限制。如图11所描绘的，相对于该解剖结构的3D CT图像1101描绘了男性骨盆器官的多个投影，分别提供了0度、45度和90度的视图1110、1120、1130(先前关于图2A介绍)。患者的方位是头部首先仰卧，其中患者的头部超过投影的顶部。对危及器官(膀胱、直肠)、目标器官(***、精囊)及其包裹的目标体积(目标1、目标2)进行描绘(轮廓描绘)，并为每个器官体素分配恒定的密度值，并在两个或更多个结构中针对体素对密度求和。
例如，可以使用RTK锥形射束CT重建工具包、基于洞察工具包(ITK)的开源锥形射束CT重建工具包的正向投影能力来获得围绕3D CT体积1100的中心轴并在分配密度下通过该解剖结构的投影图像。在这些视图中，0°下的膀胱位于精囊的前面(膀胱最接近观察者)，并在接下来的两个视图中向左旋转。
图12接下来描绘了与图11中描绘的视图对应的等效几何注量图的集合。如所描绘的，通过将FMO剂量分布体积1200转换为阈值体积1202来产生2D注量图，作为来自放射治疗射束的剂量分布(例如，如在2D剂量分布投影1201中所描绘的)，然后将阈值剂量强度(如在1205中示出)转换为投影图-图像(例如，在2D注量图投影1210、1220和1230中)。例如，可以使用RTK锥形射束CT重建工具包和ITK工具包的正向投影能力来建立来自3D理想注量分布的投影。所产生的投影视图对应于图11中所示的那些视图：与0度投影视图1110对应的注量图1210；与45度投影视图1120对应的注量图1220；与90度投影视图1130对应的注量图1230。
图13在每一相应行中进一步描绘了一组2D解剖结构投影1310、对应的2D注量图1320以及叠加的2D注量图1330，所述叠加的2D注量图1330示出了叠加在解剖结构投影上的注量图。图13在每一列中进一步描绘了分别在直线加速器台架角度90°(布置1340)、120°(布置1350)、150°(布置1360)和180°(布置1370)下的这些投影和图。通过使用投影变换，可以以与治疗的几何结构兼容的格式准确地表示3D体素数据。
在各种示例中，这些投影可以用于训练机器学习模型以产生注量图或计划参数的预测。具体地，以下方法讨论了经训练的机器学习模型，所述经训练的机器学习模型仅在给定新患者的图像和相关放射治疗解剖结构诸如OAR和治疗目标的情况下预测注量图或计划参数。
在示例中，使用从现有最佳注量计划的群体中学习的概率计划模型来进行预测。与模型相结合的新患者数据使得能够预测用作直接孔径优化的起点的注量计划。除其他益处外，这使得细化计划以达到临床质量的时间得以缩短。
概率模型可以如下构造。将解剖结构数据表示为一种随机变量X，并且将注量计划信息表示为随机变量Y。贝叶斯规则规定：在给定患者X的情况下预测计划Y的概率p(Y|X)与在给定训练计划Y的情况下观察患者X的条件概率p(X|Y)和训练计划的先验概率p(Y)成比例，或者：
p(Y|X)∝p(X|Y)p(Y)
(等式6)
贝叶斯推断预测新患者X*的计划Y*，其中从训练后验分布p(Y|X)得出条件概率p(Y*|X*)。在实践中，新的解剖结构X*被输入到经训练的网络，然后经训练的网络根据存储的模型p(Y|X)生成对预测计划Y*的估计。
图14描绘了用于训练模型以预测注量图的深度学习过程的示意图。在示例中，训练数据包括来自同一数据源(例如，同一患者)的成对的3D成像投影1410和堆叠的3D注量图1420。训练产生从中可以推断出估计Y*的模型f(X；Θ)1430。该估计本身是3D数据体积1440，其具有与输入解剖结构和注量数据体积相同的尺寸和形状。该估计可以被转换为注量的函数集，并用作加速FMO的热启动。
计划后验模型p(Y|X)通过在优化中用成对的已知数据(解剖结构，计划；X，Y)训练卷积神经网络来构建，所述优化使网络损失函数最小化并且同时确定网络层参数Θ的值。这些神经网络参数值将后验模型p(Y|X)嵌入为p(Y|X；Θ)。一旦经过训练，网络就可以通过上述贝叶斯分析来推断对新解剖结构的计划。神经网络性能通过将未用于训练的测试患者的推断计划与那些相同测试患者的原始临床计划进行比较来建立——神经网络越好，计划集之间的差异就越小。
在各种示例中，可以通过人工神经网络(NN)来实现各种形式的机器学习模型。在其最简单的实现方式中，NN由输入层、中间层或隐藏层以及输出层组成。每个层由连接至多于一个输入节点以及连接至一个或更多个输出节点的节点组成。每个节点输出其输入x＝(x1，..，xn)之和的函数y～σ(wTx+β)，其中w是输入节点权重的矢量，以及β是层偏置，并且非线性函数σ通常是S形函数。参数Θ＝(w，β)是经过学习以表示关系Y＝f(X；Θ)的模型的实现。输入层节点的数量通常等于被分类为类别的对象集合中的每个对象的特征的数量，而输出层节点的数量等于类别的数量。对于回归，输出层通常具有传送参数的估计值或概值的单个节点。
通过向网络呈现对象的类别或参数值已知的对象特征并通过从输出层向输入层反向工作(称为反向传播的算法)来调整节点权重w和偏置β以减少训练误差，来训练网络。训练误差是在训练的任何阶段的真实答案y与推断估计f(x)之间的赋范差分||y-f(x)||。然后，经训练的网络通过将数据从输入层向前传递到输出层、计算每一层的节点输出σ(wTx+β)来执行推断(分类或回归)。
神经网络具有发现数据和类别或回归值之间的一般关系的能力，包括具有任意复杂度的非线性函数。这与放射治疗剂量预测、或治疗机器参数预测、或计划建模的问题相关，因为在剂量-体积直方图和交叠-体积直方图中捕获的目标和器官的形状或体积交叠关系是高度非线性的，并且已经被证明与剂量分布形状和计划质量相关联。
现代深度卷积神经网络(CNN)比早期的NN有更多的层(深得多)——并且可以包括几十层或数百层，每层包括数千到数十万个节点，其中这些层以复杂的几何结构布置。另外，卷积层同构地映射到图像或任何其他数据，其可以表示为多维阵列，并且可以在没有任何先前规范或特征设计的情况下学***——从数百万图像的数据库中将图片正确地分类成数千类。
对CNN进行训练以学习分别在源域X和目标域Y中的数据之间的一般映射f：X→Y。X的示例包括患者解剖结构的图像或传达结构信息的解剖结构的功能。Y的示例可以包括放射注量或递送剂量的图、或叠加在目标解剖结构X上的机器参数的图。如图14所示，可以使用成对的匹配的已知X、Y数据来对CNN进行训练。CNN学习解剖结构和网络参数Θ＝(θ1，...，θn)T两者的映射或函数f(X；Θ)，其中θi＝{wi，βi}是第i层的参数。训练使映射f和真实或参考计划参数
Figure BDA0004190886200000313
上的损失函数/>
Figure BDA0004190886200000314
最小化
Figure BDA0004190886200000311
其中第一项使网络估计目标f(X；Θ)与参考属性
Figure BDA0004190886200000312
之间的差最小化，而第二项使Θ值的变化最小化。下标K、L指定范数。L2范数(K，L＝2)是全局凸的，但产生Y的模糊估计，而L1范数(K，L＝1)鼓励更清晰的估计。网络性能通常决定了什么样的范数组合是有用的。
图15A描绘了U-Net深度卷积神经网络(CNN)的示意图。具体地，该示意图描绘了适于在生成装置中生成注量图表示的U-Net深度CNN模型，以便提供适于本文讨论的技术的生成模型。示出了表示目标解剖结构约束的一对输入图像(顶部图像)和与该目标解剖结构对应的放射疗法治疗X射线注量表示(底部图像)，它们被提供在输入训练集1510中以训练网络。输出是针对目标图像推断的预测注量图表示1540。输入训练集1510可以包括从3D解剖结构成像体积和3D注量体积投影的单独的成对输入图像；这些单独的成对输入图像可以包括在用于用放射治疗机器进行治疗的相关射束角度下投影的单独图像。在注量图表示1540中提供的输出数据集是可以包括单独的输出图像或3D注量体积的表示。
U-Net CNN通过最大池化在编码侧创建输入数据阵列的缩放版本，并在编码侧通过转置卷积以增加的比例将缩放数据与学***维度与该尺度下的卷积滤波器的数量(F)成比例。上面的等式7是典型的U-Net损失函数。
图15A所示的模型描绘了适于基于输入训练集1510(例如，成对的解剖结构图像和注量图表示图像)生成输出数据集(输出注量图表示图像1540)的布置。该名称来源于“U”配置，并且众所周知，这种形式的CNN模型可以产生像素级分类或回归结果。在一些情况下，通向CNN模型的第一路径包括一个或更多个可变形偏移层以及一个或更多个卷积层，一个或更多个卷积层包括卷积、批量归一化以及诸如修正线性单元(ReLU)或其变体之一的激活。
模型操作的左侧(“编码”操作1520)学习右侧(“解码”操作1530)用来重建输出结果的一组特征。U-Net具有由conv/BN/ReLU(卷积/批量归一化/修正线性单元)块1550组成的门个级，并且每个块具有跳过连接以实现残差学习。块大小在图15A中由“S”和“F”数字表示；输入图像在大小上为S×S，并且特征层的数量等于F。每个块的输出是与图像大小相同的阵列中的特征响应的模式。
沿着编码路径前进，块的大小在每个级处减小了1/2或2-1，而特征的大小按照惯例增加了2倍。网络的解码侧从S/2n开始按比例回升，同时在同一级处从左侧在特征内容上添加；这是复制/连接数据通信。输出图像与该图像的训练版本之间的差异通过反向传播驱动生成器网络权重调整。为了推断或测试，通过使用模型，输入将是放射疗法治疗约束的单个投影图像或多个投影图像的集合(例如，在不同的射束或台架角度)，并且输出将是图形注量图表示图像1540(例如，与不同射束或台架角度对应的一个或多个图形图像)。
图15A的模型的表示具体示出了生成模型的训练和预测，该生成模型适于执行回归而不是分类。图15B示出了根据本公开内容的适于判别合成注量图表示的示例性CNN模型。如本文所使用的，“合成”图像是指模型生成的图像，因此“合成”在本文中与术语“估计”、“计算机模拟”或“计算机生成”可互换使用。图15B中所示的判别器网络可以包括配置有步幅2的卷积层、批量归一化层和ReLU层的几个级块、以及分开的池化层。在网络的末端，将存在一个或几个完全连接层以形成用于判别目的的2D补丁。图15B中所示的判别器可以是基于补丁的判别器，其被配置成接收输入合成注量图表示图像(例如，从图15A中示出的生成器生成的)，将图像分类为真或假，并且提供分类作为输出检测结果1570。
在示例中，可以使用特定类型的CNN、生成式对抗网络(GAN)来生成本FMO建模技术，以根据新患者解剖结构的放射疗法治疗约束来预测注量计划参数(注量图)。在另一示例中，可以使用循环一致性GAN来根据新患者解剖结构预测注量计划参数。以下提供了相关GAN技术的概述。
生成式对抗网络是生成模型(生成概率分布)，其学习从随机噪声矢量Z到输出图像y的映射为G：z→y。条件对抗网络从观察到的图像x和随机噪声Z学习映射为G：{x，z}→y。两个对抗网络都由如下两个网络组成：判别器(D)和生成器(G)。生成器G被训练以产生不能通过对抗训练的判别器D与“真”或实际训练图像区分的输出，对抗训练的判别器D被训练以在检测G的输出或“假”时最大程度地准确。
条件GAN不同于无条件GAN，因为判别器和生成器推断两者都以以上讨论中的类型X的示例图像为条件。条件GAN损失函数表示为：
Figure BDA0004190886200000331
Figure BDA0004190886200000332
其中，相对于试图使这个损失最大化的对抗D，G试图使这个损失最小化，或者，
Figure BDA0004190886200000333
另外，希望生成器G使训练估计与实际训练真实图像之间的差异最小化，
Figure BDA0004190886200000334
因此，完全损失是两个损失的λ加权和：
Figure BDA0004190886200000335
在示例中，条件GAN中的生成器可以是U-Net。
与本公开内容的示例一致，基于这样的模型的治疗建模方法、***、装置和/或过程包括两个阶段：使用GAN中的判别器/生成器对来训练生成模型；以及使用经GAN训练的生成器，利用生成模型进行预测。在以下示例中详细讨论了涉及用于生成注量图表示图像的GAN和CycleGAN的各种示例。应当理解，深度学习模型的类型和其他神经网络处理方法的其他变化和组合也可以利用本技术来实现。此外，尽管参照图像和图像数据讨论了本示例，但是应当理解，以下网络和GAN可以通过使用其他非图像数据表示和格式来操作。
图16A示出了用于训练和使用GAN的数据流，该GAN适合于从接收的投影图像集合生成注量计划参数(注量图表示)，该投影图像集合表示受试者图像的解剖结构的视图。例如，被训练以产生经训练的生成器模型1660的图16A的生成器模型1632可以被训练以实现作为图1的放射治疗***100中的图像处理器114的一部分提供的处理功能。
因此，GAN模型使用1650(预测或推断)的数据流在图16A中被描绘为：向经训练的生成器模型1660提供新患者数据1670(例如，表示来自新患者的受试者输入图像的解剖结构的视图中的放射疗法治疗约束的投影图像)，以及使用经训练的生成器模型1660来产生对生成器输出(图像)1634(例如，与表示受试者图像的解剖结构的视图的输入投影图像相对应的合成图形注量图表示图像)的预测或估计。可以从表示从给定射束位置(例如，在台架的角度)或其他定义位置的解剖结构的视图的患者解剖结构的一个或更多个CT或MR图像生成投影图像。
GAN包括两个网络：生成网络(例如，生成器模型1632)，其被训练以执行分类或回归；以及判别网络(例如，判别器模型1640)，其对生成网络的输出分布(例如，生成器输出(图像)1634)或来自训练图像1623的训练注量图表示图像进行采样，并决定该样本是与真实测试分布相同还是不同。该网络***的目标是驱动生成器网络尽可能准确地学***衡。判别器可以访问真实情况，但是生成器仅通过检测器对生成器输出的响应来访问训练数据。
图16A的数据流还示出了训练输入1610的接收，训练输入1610包括模型参数1612和训练数据1620(其中这种训练图像1623包括一组投影图像、以及条件或约束1626，该组投影图像表示与和不同视图处的患者成像数据相对应的真实图形注量图表示配对的受试者患者成像数据的解剖结构的不同视图)的各种值。这些条件或约束1626(例如，一个或更多个放射疗法治疗目标区域、一个或更多个危及器官区域等)可以直接在解剖结构图像自身中指示(例如，如投影图像1010所示)，或者作为单独的数据集提供或提取。训练输入1610被提供至GAN模型训练1630，以产生在GAN模型使用1650中使用的经训练的生成器模型1660。
作为GAN模型训练1630的一部分，生成器模型1632在表示受试者图像对1622(在图16A中还被描绘为1623)的解剖结构的视图的真实训练注量图表示图像和相对应的训练投影图像上被训练以在CNN中产生和映射片段对。以这种方式，生成器模型1632被训练以基于输入图产生注量图表示和注量值的计算机模拟(估计或合成)图像作为生成器输出(图像)1634。判别器模型1640决定一个或多个模拟注量图表示图像是来自训练数据(例如，训练注量图表示图像或真实注量图表示图像)还是来自生成器(例如，估计或合成注量图表示图像)，如在生成器模型1632与判别器模型1640之间传递的。判别器输出1636是判别器模型1640的指示所接收的图像是模拟图像还是真实图像的决定，并且用于训练生成器模型1632。在一些情况下，在所生成的图像上利用判别器来训练生成器模型1632，并且基于循环一致性损失信息来进一步训练生成器模型1632。该训练过程导致权重调整1638、1642的反向传播，以改进生成器模型1632和判别器模型1640。
在生成器模型1632的训练期间，可以从患者图像(指示放射疗法治疗约束)和预期结果(注量图表示)中选择一批训练数据。所选择的训练数据可以包括表示根据给定射束/台架角度的患者解剖结构的视图的患者解剖结构的至少一个投影图像以及在该给定射束/台架角度下的相应训练注量图表示图像或真实注量图表示图像。所选择的训练数据可以包括表示从多个等距或非等距角度(例如，在台架角度，例如，从0度、从15度、从45度、从60度、从75度、从90度、从105度、从120度、从135度、从150度、从165度、从180度、从195度、从210度、从225度、从240度、从255度、从270度、从285度、从300度、从315度、从330度、从345度和/或从360度)的同一患者解剖结构的视图的患者解剖结构的多个投影图像、以及在那些不同的等距或非等距台架角度下的相应训练注量图表示图像和/或机器参数数据。
因此，在该示例中，用于GAN模型训练1630的数据准备需要注量图表示图像，其与表示受试者图像的解剖结构的视图的投影图像配对(这些可以被称为表示在各种射束/台架角度下的受试者图像的解剖结构的视图的训练投影图像)。也就是说，训练数据包括配对的与相应的投影图像在相同的台架角度下的注量图表示图像组。在示例中，原始数据包括成对的表示在各种射束/台架角度下的受试者的解剖结构的视图的投影图像、以及注量在相应射束/台架角度下的相应注量图表示，其可以被配准并重新采样到公共坐标系以产生成对的解剖结构导出图像。训练数据可以包括在任何数量的不同射束/台架角度下的多个患者的多个这些成对的图像。在一些情况下，训练数据可以包括360对投影图像和注量图表示图像，针对每个训练患者的台架的每个角度各一对投影图像和注量图表示图像。
预期结果可以包括注量结果的估计或合成的图形注量图表示，其可以被进一步优化并转换为控制点。这样的控制点可以被转换和优化为用于生成相应的射束/台架角度下的射束形状以限定对患者的放射治疗的递送的控制点。基于注量图的规范，控制点或机器参数可以包括至少一个射束/台架角度、至少一个多叶准直器叶片位置以及至少一个孔径权重或强度。
详细地，在GAN模型中，生成器(例如，生成器模型1632)学习数据x上的分布pG(x)，从具有分布pZ(z)的噪声输入开始，因为生成器学习映射G(z；θG)：pZ(z)→pG(x)，其中G是表示具有层权重和偏差参数θG的神经网络的可微函数。判别器D(x；θD)(例如，判别器模型1640)将生成器输出映射到二进制标量{真，假}，如果生成器输出来自实际数据分布pdata(x)则判定为真，以及如果生成器输出来自生成器分布pG(x)则判定为假。也就是说，D(x)是x来自pdata(x)而不是来自pG(x)的概率。在另一示例中，可以利用配对的训练数据，其中，例如，Y以X为条件(依赖于X)。在这种情况下，GAN生成器映射由来自数据域X和域Y的G(y|x；θG)；X→Y表示，在数据域X中数据x∈X表示解剖结构投影图像，在域Y中数据y∈Y表示对应于x的注量图表示值。在此，注量图表示值的估计以其投影为条件。与直GAN的另一个不同之处是，投影图像x是生成器输入，而不是随机噪声z输入。对于这个示例，判别器的设置与上面相同。一般而言，生成器模型1632和判别器模型1640处于循环数据流中，其中一个的结果馈送至另一个中。判别器获取训练图像或生成的图像，并且其输出用于调整判别器权重和指导生成器网络的训练两者。
GAN的另一个有用扩展是下面结合图16B描述的CycleGAN。图16B示出了根据本公开内容的一些示例的用于从接收的投影图像集合(例如，以放射治疗射束角度投影的指示放射疗法治疗约束的解剖结构的投影图像集合)生成注量图表示图像集合(例如，以放射治疗射束角度投影的合成或估计的注量图表示图像集合)的CycleGAN 1631的训练和使用。CycleGAN 1631包括第一生成器模型1635、第二生成器模型1637、第一判别器模型1639A和第二判别器模型1639B。第一生成器模型1635包括可变形偏移层和卷积块，并且第二生成器模型1637包括可变形偏移层和卷积块。这两个模型1635和1637可以各自是生成器模型1632的实现(例如，在图16A中，作为回归型DCNN模型)，并且第一判别器模型1639A和第二判别器模型1639B可以各自是判别器模型1640的实现(例如，作为分类型DCNN模型)。CycleGAN1631可以被划分成两个部分，第一部分1633A和第二部分1633B。
每个生成器模型1635和1637的卷积块可以一起训练，或者与其他生成器和判别器模型的训练分开训练。具体地，生成器模型1635和1637的卷积块被训练以获得正确的权重以执行它们的功能。可变形偏移层可以各自被训练以协调偏移、重新采样和执行插值。可变形偏移层可以一起训练，或者与生成器和判别器模型的训练分开训练。这些偏移层的作用改变来自上卷积块的原始规则采样网格，引入坐标偏移，并且使用插值对图像进行重新采样。可替选地或另外，可变形偏移层可以使用空间转换器、其他类型的卷积层和/或可以存储图像的变形结构信息的任何其他模块来实现。可变形偏移层中的偏移层数量可以基于图像大小、下采样卷积层数量和其他因素而变化。
在示例中，在第一部分1633A中，第一生成器模型1635可以被训练以接收训练投影图像1623A(其可以包括解剖投影图像、图像对1622之一)的集合，并且生成相应的第一合成注量图表示图像的集合作为第一生成结果1636A。第一生成器模型1635被称为Gproj2fluence。
第一生成结果1636A可以被提供至第一判别器模型1639A。第一判别器模型1639A可以将合成注量图表示图像的集合分类为真实注量图表示训练图像的集合或模拟注量图表示训练图像的集合，并提供该分类作为检测结果1644A。第一生成结果1636A和检测结果1644A可以反馈到第一生成器模型1635和第一判别器模型1639A，以调整由第一生成器模型1635和第一判别器模型1639A实现的权重。例如，第一生成结果1636A(例如，由第一生成器模型1635生成的注量图表示图像的集合)和检测结果1644A可以用于计算对抗损失。
第一生成结果1636A(例如，合成注量图表示图像的集合)还可以同时提供至第二生成器模型1637。第二生成器模型1637可以接收第一生成结果1636A，并生成相应的模拟解剖投影图像的集合作为输出。模拟解剖投影图像的集合可以被称为循环解剖投影图像1641的集合，并且可以用于计算循环损失以调整第一生成器模型1635/第二生成器模型1637的权重。生成第一循环解剖投影图像1641的集合的第二生成器模型16被称为Gfluence2proj。
在示例中，在第二部分1633B中，第二生成器模型1637可以被训练以接收真实训练注量图表示图像1623B(其可以包括图像对1622之一)的集合，并且生成相应的合成解剖投影图像的集合(合成或模拟解剖投影图像的集合)作为第一生成结果1636B。生成第一生成结果1636B的第二生成器模型1637是与第一部分1633A中使用的生成器相同的生成器。
第一生成结果1636B可以被提供至第二判别器模型1639B。第二判别器模型1639B可以将合成解剖投影图像的集合分类为真实解剖投影训练图像的集合或模拟解剖投影训练图像的集合，并且提供该分类作为检测结果1644B。第一生成结果1636B和检测结果1644B可以反馈到第二生成器模型1637和第二判别器模型1639B，以调整由第二生成器模型1637和第二判别器模型1639B实现的权重。例如，第一生成结果1636B(例如，由第二生成器模型1637生成的合成解剖投影图像的集合)和检测结果1644B可以用于计算对抗损失。
第一生成结果1636B(例如，合成解剖投影图像的集合)还可以同时提供至第一生成器模型1635。第一生成器模型1635可以接收第一生成结果1636B，并生成相应的循环注量图表示图像1643作为输出。循环注量图表示图像1643可以用于计算循环损失，以调整第一生成器模型1635/
第二生成器模型1637的权重。生成循环注量图表示图像1643的第一生成器模型1635是与第一部分1633A中使用的生成器相同的生成器，并且生成循环注量图表示图像1643的第二生成器模型1637是与第一部分1633A中使用的生成器相同的生成器。
在一些示例中，“对抗损失”可以解释第一判别器模型1639A和第二判别器模型1639B的分类损失。第一判别器模型1639A和第二判别器模型1639B可以对合成图像是否具有与真实图像相似的分布进行分类。对于循环一致性损失，分别在每对真实投影图像的集合和循环投影图像的集合之间，以及在每对真实注量图表示图像和循环注量图表示图像之间计算损失。例如，可以在投影训练图像1623A的集合与循环投影图像1641的集合之间计算第一损失，并且可以在真实训练注量图表示图像1623B的集合与循环注量图表示图像1643的集合之间计算第二损失。循环投影图像1641的集合和循环注量图表示图像1643都可以通过进行正向和反向循环来获得。每对真实投影图像1623A的集合和循环投影图像1641的集合可以在相同的投影图像集合域中，并且每对真实训练注量图表示图像1623B和循环注量图表示图像1643可以在相同的图形注量图表示图像域中。CycleGAN 1631可以相应地依靠整个池(或多个)真或真实投影训练图像1623A和整个池(或多个)真实训练注量图表示图像1623B来产生合成注量图表示图像(注量图表示图像的集合)、合成投影图像的集合、循环投影图像1641的集合和循环注量图表示图像1643。基于“对抗损失”和“循环一致性损失”，CycleGAN 1631可以产生清晰的合成注量图表示图像，所述合成注量图表示图像具有与真实注量图表示图像相似的图像分辨率。
在一些示例中，(例如，放射治疗***100的)处理器可以应用图像配准来将真实注量图表示训练图像配准到训练投影图像的集合。这可以创建在训练数据中的不同角度(例如，射束角度、台架角度等)下的投影图像与不同角度中的每个角度下的注量图表示图像之间的一对一对应关系。这种关系可以被称为配对的或成对的投影图像和注量图表示图像。
在一些实现方式中，CycleGAN 1631可以被实现为根据包括对抗损失项和循环一致性损失项的目标函数来生成注量图表示图像的集合。CycleGAN网络具有两个独立的对抗损失。与条件GAN类似，映射G：X→Y及其相关联的判别器Dy给出了由以下表示的损失：
Figure BDA0004190886200000391
对于CycleGAN，网络的前向循环一致性x→G(x)→F(G(x))≈x并且网络的后向循环一致性y→F(y)→G(F(y))≈y。在循环一致性损失中捕获网络中的对抗损失(例如，使用第一生成器模型1635/第二生成器模型1637和第一判别器模型1639A/第二判别器模型1639B)作为L1范数，
Figure BDA0004190886200000392
另外，当输入目标域Y的真实样本时，身份(identify)损失将生成器正则化为接近身份映射：
Figure BDA0004190886200000393
因此，循环一致GAN的全损失函数是
Figure BDA0004190886200000394
其中DX是确定一个图像是真实注量图表示图像的集合还是合成注量图表示图像的集合的第一判别器模型。DY是确定一个图像是真实投影图像的集合还是合成投影图像的集合的第二判别器模型。
前面的示例提供了可以如何基于注量图表示图像的集合和投影图像的集合对，具体地从多个平行或顺序路径中的2D或3D图像切片中的图像数据训练GAN、条件GAN或CycleGAN的示例。应当理解，GAN、条件GAN或CycleGAN可以处理其他形式的图像数据(例如，3D或其他多维图像)或包括非图像格式的该数据的表示。此外，尽管由附图仅描绘了灰度(包括黑色和白色)图像，但是应当理解，可以由GAN生成和/或处理其他图像格式和图像数据类型。
图17示出了用于训练神经网络模型的方法的示例流程图1700，所述神经网络模型诸如将被训练用于使用以上讨论的技术和约束来生成注量图的模型。明显的是，附加操作或操作序列的变化可以在该方法内实施。
在操作1710处，执行操作以获得训练解剖结构投影图像，并且在操作1720处，执行操作以获得训练注量图投影图像。在流程图1700的该训练场景中，可以从多个人类受试者获得成对解剖结构投影图像和注量图，使得从同一人类受试者提供每对对应的投影图像和注量图。此外，可以针对放射疗法治疗机器的每个射束角度获得用于训练神经网络模型的解剖结构投影图像和注量图的相应对。操作1710、1720还可以包括识别、提取、投影和修改投影图像和注量图的其他方面，如以上所提出的。
流程图1700进行至操作1730，以执行和监督模型的训练。在各种示例中，模型被实现为神经网络，并且神经网络模型可以是生成式对抗网络(GAN)的生成模型。这样的GAN可以包括至少一个生成模型和至少一个判别模型，其中至少一个生成模型和至少一个判别模型对应于相应的生成卷积神经网络和判别卷积神经网络。在又一示例中，GAN包括条件对抗网络(cGAN)或循环一致性生成式对抗网络(CycleGAN)。在下面讨论的操作1740至1750中，执行用于GAN训练的操作；在操作1755至1775中，执行用于CycleGAN训练的其他操作。
在示例中，用于GAN训练的操作(操作1740至1750)包括使用GAN来使用判别模型训练生成模型。例如，这可以包括使用判别模型与生成模型之间的对抗训练来建立神经网络参数值，用于通过生成模型和判别模型学习值。这样的对抗训练可以包括：训练生成模型以根据投影图像生成在第一射束角度下的第一估计注量图，该投影图像表示训练根据第一射束角度的受试者解剖结构的视图(操作1740)；训练判别模型以将第一估计注量图分类为估计的或真实的训练注量图投影图像(操作1745)；以及使用生成模型的输出用于训练判别模型并使用判别模型的输出用于训练生成模型(操作1750)。
在示例中，用于CycleGAN训练的操作(操作1755至1775)包括在GAN布置中使用两组模型，包括第一判别模型和第一生成模型(用对应于操作1740、1745的操作1755、1760训练)、以及第二生成模型和第二判别模型(用操作1765、1770训练)。具体地，第二生成模型被训练用于根据成对的解剖结构投影图像和注量图中的给定对解剖结构投影图像和注量图处理给定射束角度下的给定注量图作为输入；以及生成估计的解剖结构投影图像作为输出，所述估计的解剖结构投影图像表示根据给定射束角度的受试者解剖结构的视图。第二判别模型被训练以将估计的解剖结构投影图像分类为估计的或真实的解剖结构投影图像。
在示例中，针对CycleGAN的第一部分(第一生成模型和第一判别模型，对应于操作1755、1760)的对抗训练包括：从先前治疗中获得表示患者解剖结构的不同视图的训练解剖结构投影图像的集合，所述训练解剖结构投影图像的集合和与不同视图中的每一个对应的训练注量图的集合成对，训练注量图中的每一个与训练解剖结构投影图像中的相应一个对准；将训练解剖结构投影图像的集合输入到第一生成模型；并从第一生成模型输出估计的注量图的集合；将估计的注量图的集合输入到第一判别模型，并用第一判别模型将估计的注量图的集合分类为估计或真实的注量图的集合；以及将注量图的集合输入到第二生成模型，并生成估计的解剖结构投影图像的集合，以计算循环一致性损失。在示例中，针对CycleGAN的第二部分(第二生成模型和第二判别模型，对应于操作1765和1770)的对抗训练包括：将与不同视图中的每一个对应的训练注量图的集合输入到第二生成模式，并从第二生成模型输出所生成的解剖结构投影图像的集合；将所生成的解剖结构投影图像的集合输入到第二判别模型，并将所生成的解剖结构投影图像的集合分类为估计的或真实的解剖结构投影图像的集合；以及将解剖结构投影图像的集合输入到第一生成模型以生成估计的注量图的集合以计算循环一致性损失。根据这种对抗训练，可以计算和考虑循环一致性损失，以改进第一生成模型和整体CycleGAN的训练(操作1775)。
流程图1700在操作1780处结束，提供经训练的生成模型(来自GAN、CycleGAN或其他训练布置)，以与患者解剖结构投影图像一起使用，并用于本文所述的放射学治疗计划过程。
图18示出了流程图1800中的方法的示例，其用于基于上文讨论的技术使用经训练的神经网络模型来确定注量图。附加操作或操作序列的变化可以在该方法内实施，特别是当作为放射治疗计划或治疗操作的一部分实施时。
流程图1800从操作1810开始，以获得与放射疗法治疗的受试者相对应的三维图像数据集合。例如，这可以通过从使用对受试者患者进行成像的成像模态(例如，CT、MRI)获得数据来执行。流程图1800继续操作1820，以获得受试者的放射疗法治疗约束。例如，作为放射疗法治疗计划过程的一部分，这可以通过目标剂量区域、危及器官区域的定义来定义。流程图1800继续操作1830，以生成指示放射疗法治疗约束(例如，目标剂量区域、危及器官区域)的三维图像数据。在示例中，用(在下面的操作1860中提及的)经训练的模型提供的输入数据是指示受试者的解剖结构中的一个或更多个目标剂量区域以及一个或更多个危及器官区域的图像数据。
流程图1800继续操作以对三维图像数据执行正向投影(在操作1840处)，并针对每个放射治疗射束角度生成受试者解剖结构的投影图像(在操作1850处)。在示例中，每个解剖结构投影图像提供根据放射疗法治疗的相应射束角度的受试者的视图，所述射束角度诸如与由放射疗法治疗机器使用的每个台架角度对应的角度。
流程图1800在操作1860处继续，使用经训练的神经网络模型(例如，根据流程图1700中指示的方法训练的)来生成一个或更多个注量图。在示例中，用从多个人类受试者之中提供的解剖结构投影图像和注量图的相应对来训练神经网络模型(例如，如参照图17所讨论的)。流程图1800在操作1870处结束，产生三维注量图表示，例如通过生成由经训练的模型生成的多个二维注量图而提供的。在示例中，针对放射疗法治疗中使用的每个放射治疗射束角度提供所生成的(估计的)注量图和模型的训练。
图19提供了示出根据各种示例的协调放射疗法治疗和计划方法的处理***(例如，图像处理装置112或其他计算***)的总体示例操作的流程图1900。如以上所讨论的，附加操作或操作顺序的变化可以在该方法中实施，特别是当作为放射治疗计划或治疗操作的一部分实施时。
在操作1910处，该方法开始于获得对应于放射疗法治疗的受试者的包括放射治疗约束的三维图像数据。如上所述，这样的图像数据可以指示受试者的解剖结构中的一个或更多个目标剂量区域以及一个或更多个危及器官区域，并且这样的图像数据可以被转换或生成为投影，以便进一步处理。
在操作1920处，使用经训练的神经网络模型来生成估计的注量图表示(注量图)。例如，估计的注量图中的每一个可以指示放射疗法治疗在相应射束角度下的注量分布。在具体示例中，对于与放射疗法治疗机器的台架角度对应的放射疗法治疗的射束角度，估计的注量图中的每一个是垂直于相应射束方向的单元射束权重的二维阵列。
在操作1930处，基于估计的注量图表示优化注量分布。例如，这样的优化可以包括执行数值优化，其中估计的注量图被提供作为优化的输入，其中优化结合放射疗法治疗约束以产生在受试者的放射疗法治疗计划中使用的帕累托最优注量计划。
在操作1940处，基于注量分布针对放射治疗射束生成一组初始控制点。在示例中，该组初始控制点可以通过基于帕累托最优注量计划执行弧排序来生成，以生成与多个放射治疗射束中的每一个对应的一组初始控制点。在操作1950处，基于初始控制点针对放射治疗射束生成一组最终控制点。在示例中，该组最终控制点可以通过执行直接孔径优化来生成，以生成与多个放射治疗射束中的每一个对应的一组最终控制点。
在操作1960处，基于最终控制点用放射治疗射束来递送放射治疗。在示例中，放射疗法治疗被提供为由放射疗法治疗机器执行的容积旋转调强治疗(VMAT)放射治疗，并且多个放射治疗射束被成形为从多个射束角度之中实现目标剂量区域的调制覆盖，以递送规定的放射剂量。明显的是，也可以使用放射疗法治疗的其他方法和优化。
图20示出了机器2000的示例的框图，在该机器2000上可以实现如本文所讨论的方法中的一个或更多个方法。在一个或更多个示例中，图像处理装置112的一项或更多项可以由机器2000来实现。在替选的示例中，机器2000作为独立的装置进行操作，或者可以连接(例如，联网)至其他机器。在一个或更多个示例中，图像处理装置112可以包括机器2000的项中的一项或更多项。在联网的部署中，机器2000可以在服务器客户端网络环境中以服务器或客户端机器的能力进行操作，或者在对等(或分布式)网络环境中作为对等机器进行操作。机器可以是个人计算机(PC)、服务器、平板电脑、智能电话、网络设备、边缘计算装置、网络路由器、交换机或网桥或者能够(顺序地或以其他方式)执行指定要由该机器采取的动作的指令的任何机器。此外，尽管仅示出了单个机器，但是术语“机器”也应被理解为包括机器的任合集合，这些机器单独地或联合地执行一组(或多组)指令以执行本文所讨论的方法中的任何一个或更多个方法。
示例机器2000包括经由总线2008彼此通信的处理电路***或处理器2002(例如，CPU、图形处理单元(GPU)、ASIC、电路***(例如，一个或更多个晶体管、电阻器、电容器、电感器、二极管、逻辑门、复用器、缓冲器、调制器、解调器、无线电(例如，发送或接收无线电或者收发器))、传感器2021(例如，将一种形式的能量(例如，光、热、电、机械或其他能量)转换为另一种形式的能量的换能器)等或者其组合)、主存储器2004和静态存储器2006。机器2000(例如，计算机***)还可以包括视频显示装置2010(例如，液晶显示器(LCD)或阴极射线管(CRT))。机器2000还包括字母数字输入装置2012(例如，键盘)、用户接口(UI)导航装置2014(例如，鼠标)、磁盘驱动器或大容量存储单元2016、信号生成装置2018(例如，扬声器)和网络接口装置2020。
磁盘驱动器单元2016包括机器可读介质2022，在该机器可读介质2022上存储有一组或更多组指令和数据结构(例如，软件)2024，这些指令和数据结构(例如，软件)体现本文所述的方法或功能中的任何一种或更多种或者被本文所述的方法或功能中的任何一种或更多种利用。在由机器2000执行指令2024期间，指令2024还可以全部或至少部分地驻留在主存储器2004内和/或在处理器2002内，主存储器2004和处理器2002也构成机器可读介质。
如所示的机器2000包括输出控制器2028。输出控制器2028管理至机器2000/来自机器2000的数据流。输出控制器2028有时被称为装置控制器，其中直接与输出控制器2028交互的软件被称为装置驱动器。
虽然在示例中机器可读介质2022被示出为单个介质，但是术语“机器可读介质”可以包括存储一个或更多个指令或者数据结构的单个介质或多个介质(例如，集中式或分布式数据库，和/或相关联的缓存和服务器)。术语“机器可读介质”还应被认为包括能够存储、编码或携带指令或者能够存储、编码或携带数据结构的任何有形介质，所述指令由机器执行并且使机器执行本公开内容的方法中的任何一种或更多种方法，所述数据结构由这样的指令利用或与这样的指令相关联。因此，术语“机器可读介质”应被认为包括但不限于固态存储器以及光学介质和磁介质。机器可读介质的特定示例包括非易失性存储器，所述非易失性存储器通过示例的方式包括：半导体存储装置，例如可擦除可编程只读存储器(EPROM)、EEPROM和闪存装置；磁盘，例如内部硬盘和可移动磁盘；磁光盘；以及CD-ROM盘和DVD-ROM盘。
还可以使用传输介质通过通信网络2026来发送或接收指令2024。可以使用网络接口装置2020和许多公知的传输协议(例如，HTTP)中的任何一种传输协议来发送指令2024。通信网络的示例包括LAN、WAN、因特网、移动电话网络、普通老式电话(POTS)网络和无线数据网络(例如Wi-Fi和4G/5G数据网络)。术语“传输介质”应被认为包括能够存储、编码或携带由机器执行并且包括数字或模拟通信信号的指令的任何无形介质、或者便于这样的软件的通信的其他无形介质。
如本文所使用的，“在……之间通信地耦接”指的是在耦接中的任何一个上的实体必须通过在其之间的项进行通信，并且这些实体在不通过该项进行通信的情况下就不能彼此进行通信。
补充注释
以上的详细描述包括对附图的参照，这些附图形成详细描述的一部分。附图通过说明的方式而不是通过限制的方式示出了可以实践本公开内容的具体的实施方式。这些实施方式在本文中也被称为“示例”。这样的示例可以包括除了示出或描述的那些元素之外的元素。然而，本发明人还设想了提供仅示出或描述的那些元素的示例。此外，或者相对于特定示例(或其一个或更多个方面)或者相对于在本文中示出或描述的其他示例(或其一个或更多个方面)，本发明人还设想了使用示出或描述的那些元素的任何组合或置换(或其一个或更多个方面)的示例。
本文档中参考的所有出版物、专利和专利文献都通过引用整体并入本文，就好像通过引用单独地并入一样。在本文档与通过引用并入的那些文献之间存在不一致用法的情况下，并入的一个或多个参考文献中的用法应被视为对本文档的用法的补充；对于矛盾的不一致之处，以本文档中的用法为准。
在本文档中，在介绍本公开内容的各个方面或其实施方式中的元素时，如在专利文献中常见的那样，使用术语“一”、“一个”、“该”和“所述”以包括元素中的一个或多于一个或更多个，独立于“至少一个”或者“一个或更多个”的任何其他实例或用法。在本文档中，术语“或”被用于表示非排他性，或者，使得除非另有说明，否则“A或B”包括“A但不是B”、“B但不是A”以及“A和B”。
在所附权利要求中，术语“包括(including)”和“其中(in which)”被用作相应术语“包括(comprising)”和“其中(wherein)”的通俗英语等同物。此外，在所附权利要求中，术语“包含(comprising)”、“包括(including)”和“具有”旨在是开放性的，意指除了所列元素之外可能还有其他元素，使得在权利要求中的这样的术语(例如，包含(comprising)、包括(including)、具有)之后的仍被认为落入该权利要求的范围。此外，在所附权利要求中，术语“第一”、“第二”和“第三”等仅被用作标记，并且不旨在对其对象施加数字要求。
本公开内容的实施方式可以用计算机可执行指令来实现。计算机可执行指令(例如，软件代码)可以被组织成一个或更多个计算机可执行部件或模块。可以用任何数目的这样的部件或模块以及这样的部件或模块的任何组织来实现本公开内容的各个方面。例如，本公开内容的各个方面不限于在附图中示出和在本文中描述的特定计算机可执行指令或者特定部件或模块。本公开内容的其他实施方式可以包括具有比本文中示出和描述的功能更多或更少的功能的不同的计算机可执行指令或部件。
本文中描述的方法示例(例如，操作和功能)可以至少部分地是机器或计算机实现的(例如，被实现为软件代码或指令)。一些示例可以包括编码有指令的计算机可读介质或机器可读介质，所述指令能够操作成配置电子装置来执行如在以上示例中所述的方法。这样的方法的实现可以包括软件代码例如微代码、汇编语言代码、高级语言代码等(例如，“源代码”)。这样的软件代码可以包括用于执行各种方法的计算机可读指令(例如，“对象”或“可执行代码”)。软件代码可以形成计算机程序产品的部分。可以经由在其上存储有代码或指令的制品，或者经由操作通信接口以经由通信接口(例如，无线地、通过互联网、经由卫星通信等)发送数据的方法来提供本文描述的实施方式的软件实现。
此外，可以在执行期间或在其他时间将软件代码有形地存储在一个或更多个易失性或非易失性计算机可读存储介质上。这些计算机可读存储介质可以包括以可由机器(例如，计算装置、电子***等)访问的形式存储信息的任何机构，例如但不限于软盘、硬盘、可移动磁盘、任何形式的磁盘存储介质、CD-ROM、磁光盘、可移动光盘(例如，压缩盘和数字视频盘)、闪存装置、磁带盒、存储卡或存储棒(例如，安全数字卡)、RAM(例如CMOS RAM等)、可记录/不可记录介质(例如，只读存储器(ROM))、EPROM、EEPROM或者适于存储电子指令的任何类型的介质等。这样的计算机可读存储介质被耦接至计算机***总线以可由处理器和OIS的其他部分来访问。
在实施方式中，计算机可读存储介质可以已经编码了用于治疗计划的数据结构，其中治疗计划可以是自适应的。用于计算机可读存储介质的数据结构可以是医学数字成像和通信(DICOM)格式、扩展的DICOM格式、XML格式等中的至少一种。DICOM是一种定义用于在各种类型的医疗设备之间传输与医学图像有关的数据的格式的国际通信标准。DICOM RT指的是特定于放射疗法的通信标准。
在本公开内容的各种实施方式中，创建部件或模块的方法可以以软件、硬件或其组合来实现。例如，可以通过使用标准编程语言诸如例如C、C++、Java、Python等以及其组合以软件来实现由本公开内容的各个实施方式提供的方法。如本文所使用的，术语“软件”和“固件”是可互换的，并且包括存储在存储器中以由计算机执行的任何计算机程序。
通信接口包括与硬连线介质、无线介质、光学介质等中的任何一种接口以与另一装置进行通信的任何机构，例如存储器总线接口、处理器总线接口、因特网连接、盘控制器等。可以通过提供配置参数和/或发送信号来配置通信接口，以准备通信接口来提供描述软件内容的数据信号。可以经由被发送至通信接口的一个或更多个命令或信号来访问通信接口。
本公开内容还涉及用于执行本文中的操作的***。该***可以针对所需目的专门地被构造，或者可以包括由存储在计算机中的计算机程序选择性地激活或重新配置的通用计算机。除非另有说明，否则本文示出和描述的本公开内容的实施方式中的操作的运行或执行的顺序不是必须的。也就是说，除非另有说明，否则可以以任何顺序来执行操作，并且与本文公开的那些操作相比，本公开内容的实施方式可以包括另外的操作或更少的操作。例如，可以设想，在另一操作之前、与另一操作同时或在另一操作之后运行或执行特定操作落入本公开内容的各个方面的范围内。
鉴于以上内容，将看到，实现了本公开内容的若干目的并且获得了其他有利的结果。已经详细地描述了本公开内容的各个方面，将明显的是，在不脱离如在所附权利要求中限定的本公开内容的各个方面的范围的情况下，修改和变化是可行的。由于可以在不脱离本公开内容的各个方面的范围的情况下在以上构造、产品和方法中进行各种改变，因此旨在，以上描述中包含的和附图中示出的所有内容应被解释为说明性的，而并非在限制性的意义上。
上面的描述旨在是说明性的，而不是限制性的。例如，上述示例(或其一个或更多个方面)可以彼此组合使用。另外，在不脱离本公开内容的范围的情况下，可以做出许多修改以使特定情况或材料适应本公开内容的教导。尽管本文描述的材料和涂层的尺寸、类型旨在限定本公开内容的参数，但是其绝不是限制性的，而是示例性实施方式。在回顾以上描述之后，许多其他的实施方式对于本领域技术人员将是明显的。因此，本公开内容的范围应参考所附权利要求以及这些权利要求被赋予的等同物的全部范围来确定。
此外，在以上具体实施方式中，可以将各种特征组合在一起以简化本公开内容。这不应被解释为未要求保护的公开特征对于任何一个权利要求是必要的意图。而是，本发明的主题可以在于少于特定公开的实施方式的所有特征。因此，所附权利要求由此被并入具体实施方式中，其中每个权利要求独自作为单独的实施方式。本公开内容的范围应参考所附权利要求以及这样的权利要求被赋予的等同物的全部范围来确定。此外，所附权利要求的限制不以装置加功能的格式编写，并且也不旨在基于35U.S.C.§112第六段进行解释，除非并且直到这样的权利要求的限制明确地使用短语“用于……的装置”，之后是没有进一步的结构的功能陈述。
提供摘要以允许读者快速地确定技术公开的实质。提交时应理解，其将不被用于解释或限制权利要求的范围或含义。

Claims (21)

1.一种计算机实现的用于生成放射疗法治疗计划中使用的注量图的方法，所述方法包括：
获得与放射疗法治疗的受试者相对应的三维图像数据集合，所述图像数据指示所述受试者的解剖结构中的一个或更多个目标剂量区域以及一个或更多个危及器官区域；
根据所述图像数据生成解剖结构投影图像，每个解剖结构投影图像提供根据所述放射疗法治疗的相应射束角度的所述受试者的视图；以及
使用经训练的神经网络模型来基于所述解剖结构投影图像生成估计的注量图，所述估计的注量图中的每一个指示所述放射疗法治疗在相应射束角度下的注量分布，其中，用解剖结构投影图像和注量图的相应对来对所述神经网络模型进行训练。
2.根据权利要求1所述的方法，其中，所述估计的注量图中的每一个是垂直于相应射束方向的单元射束权重的二维阵列，并且其中，所述放射疗法治疗的射束角度对应于放射疗法治疗机器的台架角度。
3.根据权利要求2所述的方法，其中，获得与受试者相对应的所述三维图像数据集合包括获得针对所述放射疗法治疗机器的每个台架角度的图像数据，并且其中，每个生成的解剖结构投影图像表示根据给定台架角度的所述受试者的解剖结构的视图，所述给定台架角度用于用给定放射治疗射束提供治疗。
4.根据权利要求1至3中任一项所述的方法，还包括：
使用所述估计的注量图来确定所述放射疗法治疗计划中的放射剂量，其中，所述放射疗法治疗包括由放射疗法治疗机器执行的容积旋转调强治疗(VMAT)放射治疗，其中，多个放射治疗射束被成形为从多个射束角度之中实现用于目标区域的调制剂量，从而递送规定的放射剂量。
5.根据权利要求1至4中任一项所述的方法，其中，通过从多个射束角度的相应角度对所述三维图像数据集合进行正向投影来生成每个解剖结构投影图像。
6.根据权利要求1至5中任一项所述的方法，其中，对所述神经网络模型进行训练使用来自多个人类受试者的成对的解剖结构投影图像和注量图，其中，每个单独的对从同一人类受试者提供，并且其中，用包括以下的操作对所述神经网络模型进行训练：
获得训练解剖结构投影图像的多个集合，所述训练解剖结构投影图像的每个集合指示相应受试者的解剖结构中的一个或更多个目标剂量区域以及一个或更多个危及器官区域；
获得与所述训练解剖结构投影图像相对应的训练注量图的多个集合，所述训练注量图的每个集合指示所述相应受试者的注量分布；以及
基于与所述训练注量图相对应的所述训练解剖结构投影图像对所述神经网络模型进行训练。
7.根据权利要求6所述的方法，其中，针对放射疗法治疗机器的每个射束角度获得用于对所述神经网络模型进行训练的所述解剖结构投影图像和所述注量图的相应对。
8.根据权利要求6所述的方法，其中，所述神经网络模型是包括至少一个生成模型和至少一个判别模型的生成式对抗网络(GAN)的生成模型，其中，所述至少一个生成模型和所述至少一个判别模型对应于相应的生成卷积神经网络和判别卷积神经网络。
9.根据权利要求8所述的方法，其中，所述GAN包括条件对抗网络(cGAN)或循环一致性生成式对抗网络(CycleGAN)。
10.根据权利要求8所述的方法，其中，所述GAN被配置成使用判别模型对所述生成模型进行训练，
其中，由所述生成模型和所述判别模型学习的神经网络参数值使用所述判别模型与所述生成模型之间的对抗训练来建立，并且
其中，所述对抗训练包括：
训练所述生成模型以根据投影图像生成在第一射束角度下的第一估计注量图，所述投影图像表示训练根据所述第一射束角度的受试者解剖结构的视图；以及
训练所述判别模型以将所述第一估计注量图分类为估计的或真实的训练注量图投影图像；并且
其中，所述生成模型的输出被用于训练所述判别模型，并且所述判别模型的输出被用于训练所述生成模型。
11.根据权利要求8所述的方法，其中，所述GAN是包括所述生成模型和所述判别模型的循环一致性生成式对抗网络(CycleGAN)，其中，所述生成模型是第一生成模型，并且所述判别模型是第一判别模型，其中，所述CycleGAN还包括：
第二生成模型，所述第二生成模型被训练成：
根据成对的解剖结构投影图像和注量图中的给定对解剖结构投影图像和注量图处理给定射束角度下的给定注量图作为输入；以及
生成估计的解剖结构投影图像作为输出，所述估计的解剖结构投影图像表示根据所述给定射束角度的受试者解剖结构的视图；以及第二判别模型，所述第二判别模型被训练成将所述估计的解剖结构投影图像分类为估计的或真实的解剖结构投影图像。
12.根据权利要求11所述的方法，其中，所述CycleGAN包括训练所述第一生成模型的第一部分，所述第一部分被训练成：
从先前治疗中获得表示患者解剖结构的不同视图的训练解剖结构投影图像的集合，所述训练解剖结构投影图像的集合和与不同视图中的每一个相对应的训练注量图的集合成对，所述训练注量图中的每一个与所述训练解剖结构投影图像中的相应一个对准；
将所述训练解剖结构投影图像的集合输入到所述第一生成模型，并从所述第一生成模型输出估计的注量图的集合；
将所述估计的注量图的集合输入到所述第一判别模型，并用所述第一判别模型将所述估计的注量图的集合分类为估计的或真实的注量图的集合；以及
将所述注量图的集合输入到所述第二生成模型，并生成估计的解剖结构投影图像的集合，以计算循环一致性损失。
13.根据权利要求12所述的方法，其中，所述CycleGAN包括第二部分，所述第二部分被训练成：
将与不同视图中的每一个相对应的所述训练注量图的集合输入到所述第二生成模式，并从所述第二生成模型输出所生成的解剖结构投影图像的集合；
将所生成的解剖结构投影图像的集合输入到所述第二判别模型，并将所生成的解剖结构投影图像的集合分类为估计的或真实的解剖结构投影图像的集合；以及
将所述解剖结构投影图像的集合输入到所述第一生成模型以生成估计的注量图的集合以计算循环一致性损失。
14.根据权利要求12所述的方法，其中：
基于以下生成所述循环一致性损失：
a)将所生成的解剖结构投影图像的集合与所述训练解剖结构投影图像的集合进行比较，以及
b)将所生成的注量图的集合与所述训练注量图的集合进行比较；
其中，所述第一生成模型被训练成使第一损失项最小化，所述第一损失项表示多个估计的注量图表示图像与相应成对的训练注量图之间的差异的预期；并且
其中，所述第二生成模型被训练成使第二损失项最小化，所述第二损失项表示多个估计的解剖结构投影图像与相应成对的训练解剖结构投影图像之间的差异的预期。
15.根据权利要求1至14中任一项所述的方法，还包括：
使用所述神经网络模型生成估计的注量图的集合；以及
使用所述估计的注量图作为优化的输入来执行数值优化，其中，所述优化结合放射疗法治疗约束，以产生在所述受试者的放射疗法治疗计划中使用的帕累托最优注量计划。
16.根据权利要求15所述的方法，还包括：
基于所述帕累托最优注量计划执行弧排序，以生成与多个放射治疗射束中的每一个相对应的一组初始控制点；以及
执行直接孔径优化，以生成与所述多个放射治疗射束中的每一个相对应的一组最终控制点。
17.根据权利要求16所述的方法，其中，所述放射疗法治疗包括由放射疗法治疗机器执行的容积旋转调强治疗(VMAT)放射治疗，并且其中，基于所述帕累托最优注量计划执行所述弧排序，使得所述多个放射治疗射束被成形为从多个射束角度之中实现所述目标剂量区域的调制覆盖，以递送规定的放射剂量。
18.根据权利要求16所述的方法，还包括：
使用所述一组最终控制点来生成用于控制放射疗法治疗的数据，其中，所述一组最终控制点用于控制在与给定射束角度相对应的给定台架角度下的放射疗法治疗机器的多叶准直器(MLC)叶片位置。
19.根据权利要求1至18中任一项所述的方法，还包括：
将响应于解剖结构投影图像的输入集合而从所述神经网络模型产生的注量图与从另一源产生的注量图进行比较。
20.一种用于生成放射疗法治疗计划中使用的注量图的计算机***，所述计算机***包括：
一个或更多个存储器装置，所述一个或更多个存储器装置用于存储与放射疗法治疗的受试者相对应的三维图像数据集合，所述图像数据指示所述受试者的解剖结构中的一个或更多个目标剂量区域以及一个或更多个危及器官区域；以及
一个或更多个处理器，所述一个或更多个处理器被配置成执行根据权利要求1至19中任一项所述的方法。
21.一种计算机可读存储介质，包括用于生成放射疗法治疗计划中使用的注量图的计算机可读指令，其中，所述指令在由计算机***执行时使所述计算机***执行根据权利要求1至19中任一项所述的方法。
CN202180072153.5A 2020-09-21 2021-09-09 放射治疗的注量图的机器学习优化 Pending CN116391234A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/948,486 US11992702B2 (en) 2020-09-21 2020-09-21 Machine learning optimization of fluence maps for radiotherapy treatment
US16/948,486 2020-09-21
PCT/US2021/071408 WO2022061324A1 (en) 2020-09-21 2021-09-09 Machine learning optimization of fluence maps for radiotherapy

Publications (1)

Publication Number Publication Date
CN116391234A true CN116391234A (zh) 2023-07-04

Family

ID=78080608

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180072153.5A Pending CN116391234A (zh) 2020-09-21 2021-09-09 放射治疗的注量图的机器学习优化

Country Status (4)

Country Link
US (1) US11992702B2 (zh)
EP (1) EP4200872A1 (zh)
CN (1) CN116391234A (zh)
WO (1) WO2022061324A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117524502A (zh) * 2024-01-04 2024-02-06 安徽大学 一种基于模式挖掘的调强放射治疗多目标射束优化方法
US11992702B2 (en) 2020-09-21 2024-05-28 Elekta, Inc. Machine learning optimization of fluence maps for radiotherapy treatment

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210244970A1 (en) * 2018-05-07 2021-08-12 Dalhousie University Systems and methods for planning, controlling and/or delivering radiotherapy and radiosurgery using combined optimization of dynamic axes (coda)
US11956407B2 (en) * 2021-01-25 2024-04-09 Changxin Memory Technologies, Inc. Image view angle conversion/fault determination method and device, apparatus and medium
US20220241614A1 (en) * 2021-02-01 2022-08-04 The University Of North Carolina At Charlotte Fluence map prediction and treatment plan generation for automatic radiation treatment planning
US11642550B2 (en) * 2021-03-25 2023-05-09 Varian Medical Systems International Ag Method and apparatus to facilitate generating an optimized radiation treatment plan using direct-aperture optimization that includes fluence-based sub-optimization
US20220409929A1 (en) * 2021-06-29 2022-12-29 Varian Medical Systems International Ag Method and apparatus to facilitate generating a leaf sequence for a multi-leaf collimator
US20230307113A1 (en) * 2022-03-25 2023-09-28 Siemens Healthineers International Ag Radiation treatment planning using machine learning
CN114712733A (zh) * 2022-04-29 2022-07-08 上海联影医疗科技股份有限公司 一种自动确定射野信息的方法、***和装置
CN117180638A (zh) * 2022-05-31 2023-12-08 上海联影医疗科技股份有限公司 质量保证的方法和***
CN115270588B (zh) * 2022-08-03 2023-06-23 中山大学肿瘤防治中心（中山大学附属肿瘤医院、中山大学肿瘤研究所） 一种注量谱分布计算建模、注量谱分布计算方法及装置
US20240139547A1 (en) * 2022-11-01 2024-05-02 Siemens Healthineers International Ag Local neural network for three-dimensional dose calculations

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7880154B2 (en) 2005-07-25 2011-02-01 Karl Otto Methods and apparatus for the planning and delivery of radiation treatments
US20130142310A1 (en) 2011-06-06 2013-06-06 The Board Of Trustees Of The Leland Stanford Junior University Dynamic multi-axes trajectory optimization and delivery method for radiation treatment
EP3007771B1 (en) 2013-06-12 2017-09-06 University Health Network Method and system for automated quality assurance and automated treatment planning in radiation therapy
WO2014205128A1 (en) 2013-06-18 2014-12-24 Duke University Systems and methods for specifying treatment criteria and treatment parameters for patient specific radiation therapy planning
US10046177B2 (en) 2014-06-18 2018-08-14 Elekta Ab System and method for automatic treatment planning
US10537749B2 (en) 2014-08-15 2020-01-21 Koninklijke Philips N.V. Supervised 4-D dose map deformation for adaptive radiotherapy planning
EP3984594A1 (en) 2014-11-21 2022-04-20 The Regents of the University of California Three-dimensional radiotherapy dose distribution prediction
US11056243B2 (en) 2015-12-21 2021-07-06 Elekta Ab (Publ) Systems and methods for optimizing treatment planning
JP6688536B2 (ja) 2016-09-07 2020-04-28 エレクタ、インク.Elekta, Inc. 放射線療法治療計画のモデルを学習して放射線療法の線量分布を予測するためのシステムおよび方法
US10449389B2 (en) 2016-12-05 2019-10-22 Varian Medical Systems International Ag Dynamic target masker in radiation treatment of multiple targets
US20180185672A1 (en) 2016-12-30 2018-07-05 Sun Nuclear Corporation Determination of radiation collimator component position
US20180310907A1 (en) * 2017-05-01 2018-11-01 EchoPixel, Inc. Simulated Fluoroscopy Images with 3D Context
US11517768B2 (en) 2017-07-25 2022-12-06 Elekta, Inc. Systems and methods for determining radiation therapy machine parameter settings
US11011264B2 (en) * 2017-08-09 2021-05-18 Varian Medical Systems International Ag Radiotherapy treatment planning using artificial intelligence (AI) engines
US11100632B2 (en) 2018-04-13 2021-08-24 Elekta, Inc. Image synthesis using adversarial networks such as for radiation therapy
US11557390B2 (en) 2018-04-30 2023-01-17 Elekta, Inc. Radiotherapy treatment plan modeling using generative adversarial networks
US11232541B2 (en) * 2018-10-08 2022-01-25 Rensselaer Polytechnic Institute CT super-resolution GAN constrained by the identical, residual and cycle learning ensemble (GAN-circle)
US20220305291A1 (en) 2019-06-20 2022-09-29 Elekta, Inc. Predicting radiotherapy control points using projection images
US11436766B2 (en) * 2019-12-20 2022-09-06 Varian Medical Systems International Ag Tomographic image reconstruction using artificial intelligence (AI) engines
US11738208B2 (en) * 2020-07-08 2023-08-29 The Board Of Trustees Of The Leland Stanford Junior University Pareto optimal projection search (POPS) for automated radiation therapy treatment planning
US11992702B2 (en) 2020-09-21 2024-05-28 Elekta, Inc. Machine learning optimization of fluence maps for radiotherapy treatment
CA3225552A1 (en) 2021-06-24 2022-12-29 David Todjar Hengami Seal ends box with horizontal slide openings for dispensing

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11992702B2 (en) 2020-09-21 2024-05-28 Elekta, Inc. Machine learning optimization of fluence maps for radiotherapy treatment
CN117524502A (zh) * 2024-01-04 2024-02-06 安徽大学 一种基于模式挖掘的调强放射治疗多目标射束优化方法
CN117524502B (zh) * 2024-01-04 2024-03-22 安徽大学 一种基于模式挖掘的调强放射治疗多目标射束优化方法

Also Published As

Publication number Publication date
WO2022061324A1 (en) 2022-03-24
US20220088410A1 (en) 2022-03-24
US11992702B2 (en) 2024-05-28
EP4200872A1 (en) 2023-06-28

Similar Documents

Publication Publication Date Title
US11896847B2 (en) Adversarial prediction of radiotherapy treatment plans
US20240075315A1 (en) System and method for learning models of radiotherapy treatment plans to predict radiotherapy dose distributions
JP6960509B2 (ja) 合成医療画像を生成するためのニューラルネットワーク
CN112041026B (zh) 用于生成放射疗法剂量分布的方法和***
US11992702B2 (en) Machine learning optimization of fluence maps for radiotherapy treatment
JP6934559B2 (ja) ディープ畳み込みニューラルネットワークを使用する放射線治療計画
CN111432879B (zh) 用于放射机器的束模型的计算机实现的方法和***
CN114206438B (zh) 使用投影图像预测放射治疗控制点
US20230302297A1 (en) Patient imaging for dynamic online adaptive radiotherapy
US11989851B2 (en) Deformable image registration using deep learning
WO2023041167A1 (en) Generative model of phase space
US20240207645A1 (en) Radiotherapy optimization for arc sequencing and aperture refinement
WO2023279188A1 (en) Quality factor using reconstructed images
CN116096461A (zh) 基于深度学习的自动束建模
US20240242813A1 (en) Image quality relative to machine learning data
EP4279125A1 (en) Joint training of deep neural networks across clinical datasets for automatic contouring in radiotherapy applications
US20230218926A1 (en) Bed calculation with isotoxic planning
WO2023041166A1 (en) Inferring clinical preferences from data
WO2022261742A1 (en) Image quality relative to machine learning data

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination