CN110556178A - 用于医学疗法规划的决策支持*** - Google Patents

Abstract

提供了用于医学疗法规划的决策支持***。针对医学疗法中的决策支持，机器学习提供机器学习生成器来用于生成针对患者个性化的疗法的效果预测。深度学习可以导致比手工放射学对效果更具预测性的特征。通过使用多任务学习可以提供更全面的学习，其中任务（例如，分割、非图像数据和/或特征提取）中的一个是无监督的和/或利用比单独的可用于效果预测的更大数量的训练样本。

Description

用于医学疗法规划的决策支持***

技术领域

本专利文件要求2018年5月30日提交的临时美国专利申请序列号62/677,716、2018年10月15日提交的临时美国专利申请序列号62/745,712在35 U.S.C.§119(e)下的提交日期的权益，特此将所述临时美国专利申请通过引用并入。

背景技术

本实施例涉及用于疗法的决策支持。一个典型示例是在放射疗法中的应用。对于许多类型的癌症，放射疗法是有用且具有成本效益的治疗策略。尽管放射疗法是有效的癌症治疗，但大部分患者随后经历放射抗性（radio-resistance）和其癌症的复发。医生寻求基于患者的具体特性及其疾病选择治疗，以避免治疗抗性和复发。

放射响应的预测因子主要限于临床和组织病理学参数。由于肿瘤的空间和时间异质性，使用基因组和蛋白质组技术的分子表征受到限制。肿瘤通常需要活组织检查和侵入性外科手术来提取和分析肿瘤组织的小部分，这不允许对肿瘤的完整表征。医学成像可以在持续进行的基础上提供对整个肿瘤的更全面的视图，以监视肿瘤的发展和进展或其对疗法的响应。成像是非侵入性的，并且已经在例行实践中经常在治疗期间重复。

可以从医学成像提取针对患者个性化的预测信息。一个示例是用于非小细胞肺癌（NSCLC）的治疗选择。立体定向体部放射疗法（SBRT）是对于具有早期NSCLC的无法进行医学手术的患者的护理标准。然而，在SBRT之后可以观察到不同模式的失败（局部复发或远处复发）。此外，当患者经受重复SBRT或挽救疗法时，效果明显更差。证明对群体有效的用于放射疗法的标准方法可能对个体患者并不实现最优结果。未满足的临床需求是尽可能早地预测潜在的效果。例如，如果基于某个预后性或预测生物标记将患者分成响应者和非响应者两个分组，则可以遵循一系列策略来进一步改变响应模式。对于非响应者分组中的患者，可以在治疗策略中改变治疗参数或治疗次序和模态。

在临床实践中，仅使用肿瘤大小的一维或二维描述符（分别为RECIST和WHO）来测量肿瘤对疗法的响应。尽管在随访扫描中测量的肿瘤大小可以指示对疗法的响应，但是它经常无法对疗法效果提供足够的预测信息。

在放射学中，数字医学图像被转换为高维数据以用于改进的决策支持。假设是：生物医学图像包含反映潜在病理生理学的信息，并且可以经由定量图像分析揭示这些关系。放射学的实践典型地涉及对来自体积的描述性特征的提取和鉴定以及模型的应用以根据描述性图像特征预测效果。在经典的放射学分析中，预先定义可以描述各种肿瘤物理和几何特性的图像特征，并且可以使用不同的数学公式来计算所述图像特征（手工特征）。这些特征通常量化关于肿瘤强度、形状、纹理和聚焦于频域的小波变换的特性。放射学分析可能无法最大化所获得的信息，其中通常从包含大量冗余或无关信息的图像提取大量特征。手工放射学特征在预定义的分组中，因此很可能某些预测信息没有被预定义的特征完全捕获。

发明内容

提供了用于医学疗法中的决策支持的***、方法以及计算机可读介质上的指令。机器学习提供了用于生成针对患者个性化的疗法的效果预测的机器学习生成器。深度学习可能会导致比手工特征更具效果预测性的特征。通过使用多任务学习可以提供更全面的学习，其中任务（例如，分割、非图像数据和/或特征提取）中的一个是无监督的和/或利用比单独的可用于效果预测的更大数量的训练样本。

在第一方面中，提供了一种用于医学疗法***中的决策支持的方法。支持是以针对患者个性化的效果预测的形式。获取患者的医学扫描。通过已经基于图像特征误差和效果误差两者训练的机器学习的多任务生成器，生成来自对患者的疗法的效果预测。显示效果（例如，疗法失败风险评分）的图像以用于决策支持。

医学扫描可以具有任何模态，诸如利用计算机体层摄影扫描仪扫描患者。扫描可以在患者中具有任何空间广度，诸如获取表示患者体积中的位置的三维分布的体素数据。基于体积的分割或其他三维区域的体素数据的输入生成效果。

提供了用于生成效果的各种实施例。机器学习的多任务生成器可以是卷积神经网络；可以已经利用深度学习来训练以创建特征，该特征与手工放射学特征进行比较来得到图像特征误差；相比于针对效果误差的训练数据样本，可以已经利用更大数量的针对图像特征误差的训练数据样本来训练；并且可以已经利用图像特征误差和效果误差的加权组合作为损失函数来训练。效果误差可以是交叉熵损失或部分似然损失函数，并且图像特征误差可以是均方损失函数。

效果可以是疗法失败或肿瘤复发的似然率。效果可以是对复发或死亡的估计时间。

在一个实施例中，机器学习的多任务生成器用于识别训练数据中的一个或多个离群样本。可以基于对离群样本的识别，诸如通过校正、验证和/或移除离群部来重新训练机器学习的多任务生成器。

机器学习的多任务生成器包括用于图像特征的编码器和用于效果的分类器。

由于在学习中使用多个任务，所获取的图像和效果生成可以针对第一临床问题，诸如针对第一器官、第一肿瘤和/或第一诊断。可以使用相同的机器学习的多任务生成器来获取图像，并且针对不同的临床问题（诸如不同的器官）生成效果。对于任何临床问题，基于所生成的效果治疗患者。使用所预测的效果来选择哪种疗法或疗法的设置，诸如在预测特定疗法对于特定患者的效果为差的情况下使用替代物。

在第二方面中，提供了一种用于医学疗法***中机器训练决策支持的方法。多任务网络被定义有用于效果估计的输出层和用于图像特征估计的输出层。机器训练多任务网络以估计图像特征并根据输入医学成像体积估计效果。训练基于地面真值（ground truth）效果和地面真值（例如手工的）图像特征。存储经机器训练的多任务网络。

机器训练使用包括图像特征损失和效果损失的加权组合的损失函数。训练使用针对地面真值效果的训练数据样本以及针对地面真值（例如手工的）图像特征的训练数据样本。针对地面真值效果的训练数据样本在数量方面比针对地面真值（例如手工的）图像特征的训练数据样本少一个数量级。机器训练可以使用移除或校正了离群部的训练数据。由多任务网络的先前迭代来识别离群部。

在第三方面中，提供了一种用于疗法决策支持的医学成像***。医学成像器由软件、固件和/或硬件配置以扫描患者。图像处理器被配置为响应于来自扫描的扫描数据到多任务训练网络的输入而预测对患者的疗法结果。显示器被配置为显示所预测的结果。

医学成像器可以是计算机体层摄影成像器。使用针对基于手工放射学的图像特征的第一损失并使用针对效果的第二损失来训练所应用的多任务训练网络。

在一个实施例中，多任务训练网络包括用于图像特征的机器学习编码器和用于预测疗法结果（例如，效果）的全连接网络。

在第四方面中，提供了一种用于医学疗法***中的决策支持的方法。诸如利用医学成像器来获取患者的医学扫描。通过已经基于包括生存损失的至少两个损失训练的机器学习的多任务生成器来生成对患者的疗法后生存的预测。显示生存图像。

医学扫描可以具有任何模态，诸如利用计算机体层摄影扫描仪扫描患者。扫描可以在患者中具有任何空间广度，诸如获取表示患者体积中的位置的三维分布的体素数据。基于体积的分割或其他三维区域的体素数据的输入生成生存。

机器学习的多任务生成器可以是卷积神经网络，诸如作为编码器和解码器网络的部分训练的编码器网络以及被配置为接收编码器网络的瓶颈特征的神经网络。神经网络生成生存。

另一个损失可以是各种损失中的一个，诸如图像特征损失。对于图像特征损失，已利用深度学习来训练机器学习的多任务生成器以创建特征，该特征与手工放射学特征进行比较来得到图像特征损失。

另一个损失是用于在训练数据中提供更大数量的样本的任务。例如，相比于针对至少两个损失中的生存损失的训练数据样本，利用更大数量的针对图像特征误差的训练数据样本来训练机器学习的多任务生成器。可以已经利用深度学习来训练机器学习的多任务生成器，所述深度学习包括生存和图像特征之间的非线性关系。

生存可以是事件发生时间或者作为时间的函数的似然率，诸如依据每个时间的复发的似然率。在一个实施例中，训练中使用的生存损失是最大似然率。在另一个实施例中，生存是分层的。可以基于分层来治疗患者，诸如如果在给定时间复发的似然率低于阈值则治疗。

在第五方面中，提供了一种用于在医学疗法***中机器训练决策支持的方法。多任务网络被定义为具有用于生存估计的输出层和用于图像特征估计的输出层。机器训练多任务网络以估计图像特征并根据输入医学成像体积估计生存。训练基于地面真值生存和地面真值（例如手工的）图像特征。存储经机器训练的多任务网络。

在一个实施例中，机器训练使用包括图像特征损失和生存损失（诸如最大似然率）的加权组合的损失函数。机器训练包括利用针对地面真值生存的训练数据样本和针对地面真值（例如手工的）图像特征的训练数据样本来训练。针对地面真值生存的训练数据样本在数量方面比针对地面真值（例如手工的）图像特征的训练数据样本少一个数量级。

在另一实施例中，多任务网络被定义为编码器和解码器，所述编码器和解码器具有接收编码器和解码器的瓶颈特征作为输入的神经网络。机器训练包括将地面真值（例如手工的）图像特征与解码器的输出进行比较，并将地面真值生存与神经网络的输出进行比较。

在第六方面中，提供了一种用于疗法决策支持的医学成像***。医学成像器被配置为扫描患者。图像处理器被配置为响应于来自扫描的扫描数据到多任务训练网络的输入而预测对患者的疗法之后的事件发生时间（time-to-event）或失败风险。显示器被配置为显示所预测的结果。

医学成像器可以是计算机体层摄影成像器。可以已经使用针对基于手工放射学的图像特征的第一损失并且使用针对作为生存的事件发生时间的第二损失来训练多任务训练网络。在一个实施例中，多任务训练网络包括用于图像特征的机器学习编码器和用于疗法之后的事件发生时间或失败风险的预测的神经网络。

在第七方面中，提供了一种用于医学疗法***中的决策支持的方法。获取患者的医学扫描，诸如来自扫描患者或来自从存储器加载扫描。通过已经基于分割损失和效果损失训练的机器学习的多任务生成器来生成对患者的疗法的效果预测。显示效果的图像。

医学扫描可以是来自利用计算机体层摄影扫描仪或其他扫描仪扫描患者的结果或扫描数据。所获取的医学扫描包括表示患者体积中的位置的三维分布的体素数据。基于体素数据到生成器的输入来生成效果。

在一个实施例中，机器学习的多任务生成器是卷积神经网络。例如，在机器学习的多任务生成器是作为编码器和解码器网络的部分训练的编码器网络以及被配置为接收编码器网络的瓶颈特征的神经网络的情况下，生成效果。神经网络生成效果。

在另一个实施例中，利用深度学习来训练机器学习的多任务生成器以创建分割并将预测结果与地面真值结果进行比较来得到效果损失，所述分割与地面真值分割进行比较来得到分割损失。相比于针对至少两个损失中的生存损失的训练数据样本，可以已经利用更大数量的针对图像特征损失的训练数据样本来训练机器学习的多任务生成器。

在其他实施例中，输入其他类型的数据。例如，生成器是自动编码器，其响应于患者的非图像数据到机器学习的多任务生成器的输入而生成效果。

可以训练多个生成器。从经训练的网络的分组中选择用于效果预测的机器学习的多任务生成器，经训练的网络中的每一个对应于输入数据类型的不同组合。

在第八方面中，提供了一种用于医学疗法***中的决策支持的方法。获取表示患者特性的第一非图像数据。通过机器学习网络生成对患者的疗法的效果预测，该机器学习网络已经被训练为自动编码器以用于根据表示其他患者的第三非图像数据生成表示患者的第二非图像数据。第二非图像数据具有与第三非图像数据相同的类型。显示效果的图像。

在一个实施例中，第一非图像数据是患者的基因组、临床、测量和/或家族史数据。第三非图像数据是其他患者的基因组、临床、测量和/或家族史数据。

机器学习网络可以是作为编码器和解码器网络的部分训练的编码器网络和被配置为接收编码器网络的瓶颈特征的全连接网络，其中全连接网络生成效果。

在一个实施例中，利用多任务深度学习来训练机器学习网络以创建分割并创建效果预测，该分割与地面真值分割进行比较来得到分割损失，该效果预测与地面真值结果进行比较来得到效果损失。

可以已经从经训练的网络的分组中选择机器学习网络，其中经训练的网络中的每一个对应于输入数据类型的不同组合。

在第九方面中，提供了一种用于在医学疗法***中机器训练决策支持的方法。机器训练架构被定义为具有多个数据输入选项。每个数据输入选项对应于不同类型的数据。利用一个或多个数据输入选项的不同组合来机器训练该机器训练架构。利用不同组合的机器训练结果产生被配置为生成对疗法的输出预测的不同的经机器训练的生成器。确定经机器训练的生成器中的每一个的性能。基于性能来选择经机器训练的生成器中的一个。存储所选择的经机器训练的生成器。

在一个实施例中，机器训练是具有损失函数的多任务操作，所述损失函数包括图像特征损失和效果损失的加权组合。机器训练架构可以是自动编码器以及被配置为从自动编码器接收瓶颈特征的神经网络，其中数据输入选项包括非图像数据。训练神经网络以生成预测。

在其他实施例中，该定义包括不同类型的数据，所述数据包括裁切到肿瘤的图像数据、疗法剂量图、其中肿瘤小于所表示区域的一半的图像数据、人口统计数据和临床数据。

在第十方面中，提供了一种用于医学疗法***中的决策支持的方法。获取患者的医学扫描。通过机器学习的多任务生成器来根据医学扫描的扫描数据生成对患者的疗法的效果预测，该机器学习的多任务生成器已经根据针对效果无标注的训练数据利用无监督学习来训练并且已经根据针对效果的标注训练数据来训练。显示效果的图像。

可以利用计算机体层摄影扫描仪或其他扫描仪扫描患者。医学扫描可以是表示患者体积中的位置的三维分布的体素数据。基于体素数据到生成器的输入来生成效果。

在一个实施例中，机器学习的多任务生成器是已经利用无监督学习训练的自动编码器。例如，训练数据针对效果是无标注的，并且包括肿瘤分割、非图像数据和/或放射学图像特征。自动编码器可以是作为编码器和解码器网络的部分训练的编码器网络，并且其中机器学习的多任务生成器包括被配置为接收编码器网络的瓶颈特征以用于生成效果的神经网络。

机器学习的多任务生成器可以是全连接网络，其被配置为从自动编码器的瓶颈接收输入，其中全连接网络是根据无标注训练数据来训练的。

在另一个实施例中，响应于扫描数据的经缩放和强度标准化版本的输入、以及响应于针对医学扫描版本的缩放、强度最大值和强度最小值的输入而生成效果。

可以基于效果将疗法应用于或不应用于患者。为了辅助应用的决策，来自机器学习的多任务生成器的编码器的瓶颈的图像特征被聚类。基于聚类识别另一患者，诸如基于瓶颈特征值的相似性找到相似的患者。

在第十一方面中，提供了一种用于疗法决策支持的医学成像***。医学成像器被配置为扫描患者。图像处理器被配置为响应于来自扫描的扫描数据到经机器训练的网络的输入而预测对患者的疗法的结果。经机器训练的网络包括以无监督方式训练的自动编码器的编码器和被配置为接收编码器的输出以预测结果的全连接网络。显示器被配置为显示所预测的结果。

在一个实施例中，医学成像器是计算机体层摄影成像器。可以已经使用针对图像特征或分割的第一损失并且使用针对效果的第二损失来训练经机器训练的网络。

在另一个实施例中，经机器训练的网络是编码器，其中自动编码器是编码器和在以无监督方式的训练中根据编码器的输出估计输入的解码器。全连接网络可以是全连接的多层感知器。

在其他实施例中，图像处理器被配置为对编码器的输出进行聚类并基于编码器的输出的聚类识别另一个患者。

在第十二方面中，提供了一种用于医学疗法***中的决策支持的方法。获取患者的医学扫描。生成经机器学习的自动编码器的瓶颈特征的值，该经机器学习的自动编码器已经利用无监督学习根据针对疗法效果无标注的训练数据来训练。瓶颈特征的值被聚类。基于所聚类的值识别另一患者。显示另一患者的疗法数据。

可以通过利用计算机体层摄影扫描仪扫描患者来获取医学扫描。可以利用经机器学习的自动编码器生成效果，该经机器学习的自动编码器作为被配置为根据瓶颈特征的值生成对患者的疗法输出的多任务生成器。

上文描述的方面或概念中的任何一个或多个可以单独使用或组合使用。针对一个实施例描述的方面或概念可以用在其他实施例或方面中。针对方法或***描述的方面或概念可以用在其他的***、方法或非暂时性计算机可读存储介质中。

根据以下要结合附图来阅读的优选实施例的详细描述，这些和其他方面、特征和优点将变得清楚。本发明由所附权利要求限定，并且该部分中的任何内容均不应被视为对那些权利要求的限制。本发明的另外方面和优点在下面结合优选实施例来讨论，并且可以稍后独立或组合地要求保护。

附图说明

组件和附图不一定是按比例的，而是将重点放在说明实施例的原理上。此外，在附图中，同样的参考标号贯穿不同视图标示对应部分。

图1图示了机器训练决策支持***的示例；

图2图示了机器训练决策支持***的另一个示例；

图3是用于在医学疗法***中机器训练决策支持的方法的一个实施例的流程图；

图4是用于医学疗法***中的决策支持的方法的一个实施例的流程图；

图5示出了一示例机器学习网络，用于使用具有比效果更通常可用的地面真值的放射学特征损失来训练；

图6示出了另一个示例机器学习网络，用于使用具有比效果更通常可用的地面真值的分割损失来训练；

图7示出了用于多任务生成器的示例机器训练架构；

图8示出了用于多任务生成器的另一示例机器训练架构；

图9示出了在多任务生成器的训练中使用两个损失的示例；

图10示出了在训练多任务生成器中使用两个损失的另一示例；

图11是在决策支持中使用效果预测和聚类两者的布置的一个实施例；

图12示出了使用手工放射学和多任务生成器的生存的示例输出的比较；以及

图13是用于疗法决策支持的***的一个实施例的框图。

具体实施方式

基于成像的人工智能提供患者分层和/或放射疗法响应预测。该放射疗法决策支持可以基于治疗前CT或其他模态扫描。可以基于成像和/或非成像数据来预测疗法效果，从而提供医师决策辅助。

图1示出了用于根据放射性成像数据产生疗法的预后性签名的决策支持***的一个实施例。签名是来自医学图像的成像数据的患者信息或特征。针对肿瘤或包括肿瘤的区域，对医学图像进行预处理，诸如缩放、标准化和/或分割。与通常手工制作的传统放射学特征不同，要使用完全数据驱动的基于深度学习的放射学特征。手工放射学被用作地面真值，这是因为这些特征可以根据任何图像创建，从而允许无监督学习或针对效果无标注的地面真值。预训练神经网络以基于作为地面真值的手工放射学为每个图像生成特征。可以使用预训练的网络识别数据集中的离群部，并将所述离群部验证为准确的、校正的或丢弃的。然后使用具有作为地面真值的已知效果的训练数据来对网络进行微调。被训练为生成导致手工放射学的特征的网络用于初始化用于预测效果的网络或与所述网络一起使用。该决策支持***可以用于基于疗法失败的似然率或治疗后肿瘤复发的似然率对患者进行分层（例如，使用相同或不同的经训练的网络来预测不同疗法的效果），并将具有高失败风险的患者重定向至替代或修改的疗法方案。

图2示出了另一个实施例。在图2中，完全数据驱动的深度推理器模型用于预测。深度推理器模型利用人工智能（AI）技术来从在疗法规划阶段获取的患者成像数据中提取相关特征（即，疾病指纹（disease fingerprint））。该任务特定性指纹是直接根据具有相似疾病和治疗的患者的成像数据计算的。因此，深度推理器仅包括与疗法效果密切相关的信息。这些指纹与放射学特征不同，因为它们不是通用测量并且被训练为对特定条件或事件最具判别性。通过在多任务布置（效果任务和放射学图像特征任务）中微调网络，针对预测效果生成的特征可能与手工放射学不同，这是因为机器训练在微调中识别对疗法效果最具判别性的图像指纹信息。与根据手工放射学的分类相比较，以及与使用单一效果任务来对效果进行分类相比较，这种基于AI的图像特征提取可以增加效果预测的准确性。这种基于AI的图像特征提取可以增加效果预测的准确性，这是因为：由于使用基于多个可用图像的地面真值而不是更少数量的具有已知效果的样本，可以存在使用在训练决策支持***的至少部分中的更多样本。

在另一个实施例中，决策支持***提供如下的放射疗法治疗规划的决策支持：用于放射疗法（RT）或其他疗法规划的自动化目标结构轮廓绘制，在规划阶段中根据CT图像对放射疗法效果的预测，聚合图像和非图像特征以用于疗法效果预测，和/或找到预后性和预测签名以用于临床决策支持。

在一个示例中，提供用于放射疗法治疗规划的疗法决策支持***。输入数据包括放射学、组织学和分子学特征。该决策支持***使能以下各项：对从某种放射疗法（例如，与外科手术、其他放射疗法或其他治疗相比较）获益最多的患者的选择，放射的最优放射剂量的推荐，对疗法的响应的预测（例如，局部控制/失败的似然率）和/或患者咨询及共享决策制定。可以通过机器训练生成器以创建输出来提供任何期望的输出。

与利用手工放射学的支持决策相比较，这些实施例中的任何实施例的决策支持***可以提供优势。效果预测是自动的并且是数据驱动的，其不具有人类交互引入的偏差。在深度学习模型中，不需要手动特征选择。图像特征不是基于来自其他研究的经验而预定义的，因此它们专用于每个特定的临床问题。可以改进预测性能，从而提供更准确的决策支持。深度学习模型可以提取在手工放射学中不存在的更多特征。而且，与传统的计算特征不同，卷积神经网络的特征保留大量的全局空间信息。神经网络提供对肿瘤体积的物理和几何特性的更鲁棒的估计。

该附加信息有助于预测性能的改进。针对各种问题的统一处理流水线使***更高效。通过包括使用可以从训练样本本身提取的地面真值（例如，手工放射学或分割）的一些训练，决策支持模型能够利用大量无标注数据中的信息。例如，自动编码器以无监督方式根据无标注图像来训练。当标注数据稀缺时——由于在获取数据和标注两者中的高劳动力和财务成本而在医学数据领域中非常常见的问题，这尤其有用。

最初训练的网络可以用于自动识别来自大型训练数据库的离群部，从而有效地降低训练中的劳动力成本。相同的神经网络架构可以在没有改变的情况下用于不同的问题（例如，不同器官中的肿瘤）。对于新的临床问题，如果成像模态相同，则不需要预训练网络，这节省更多用于开发和部署的时间。

在另一实施例中，决策支持***的经机器学习的生成器将原始高维图像数据投影到低维空间中（例如，自动编码器、图像到图像网络或编码器-解码器网络的瓶颈）。低维空间中的特征值可以用作到全连接网络或另一网络的输入以预测效果。可替代地或附加地，低维空间的值可以用于依据所预测的疗法效果对患者进行分组。可以在该低维空间中执行无监督聚类，以在呈现未见过的案例时识别相似案例。当被提供相似性质的经验案例时，患者的预后可以是更可靠的。

决策支持模型可以输出患者针对某种疗法的响应的定量预测。这类预测评分在辅助医师对疗法选择和预后做出临床决策中有帮助。可以改进放射疗法中的临床工作流程。决策制定中的成像价值——除了诊断和疗法规划之外——可以增加，从而根据已经存在的数据提供更多信息。本文使用的示例是计算机体层摄影图像，但是该想法可以应用于任何成像模态，诸如超声、磁共振、单光子发射计算机体层摄影、光学相干或正电子发射体层摄影。利用该决策支持***，临床医师可以基于图像改进其对于患者对放射疗法的响应的预测率。

图3示出了用于机器训练AI以用于决策支持的示例方法。图4示出了用于使用经训练的网络或生成器的决策支持的方法的一个实施例的流程图。图3将训练数据和架构总地称作训练的定义的部分。结合图4的应用讨论了如针对效果预测训练的各种示例多任务网络和网络的训练。被提供用于图3的训练的示例可以导致在图4的应用中可使用的用于效果的经训练的生成器。相反，结合图4的应用所讨论的示例可以作为图3的训练的部分来训练。

图3示出了用于在医学疗法***中机器训练决策支持的示例方法。由机器（例如，计算机、处理器、工作站或服务器）使用存储器中的训练数据（例如，样本和样本的地面真值）来实现所述方法。

该训练训练生成器。任何机器学习网络或分类器可以形成生成器。训练生成器以生成诸如效果预测之类的输出。对于作为训练（即，深度学习）的部分的学习特征，生成器是神经网络。可以使用其他网络或分类器。

生成器包括针对一个或多个任务的输出。例如，自动编码器、图像到图像网络、U-net或卷积神经网络用于输出针对一个任务的估计。为了提供更多训练样本以改进一个任务中的预测的准确性，生成器可以是多任务生成器。例如，利用具有两个或更多个输出的架构来定义神经网络。使用多任务生成器，使得生成器被训练为针对多个任务进行优化，诸如包括基于多个损失（即，针对每一个任务有一个损失）的损失函数。在训练数据中具有较少样本的任务可以从针对具有更多样本的任务的学习中受益（变得更准确，同时限制过拟合）。

在动作32中，定义要训练的网络的架构。在一个实施例中，该架构被定义为多任务架构。网络架构包括用于每个任务的输出层，诸如用于分割或图像特征（例如，手工放射学特征）的估计的一个输出层和用于效果（诸如生存或疗法结果）的另一个输出层。任何生成架构可以用于无监督学习以预测特征，并且任何网络架构可以用于效果预测。例如，使用图像到图像或生成对抗网络（GAN）的网络架构，诸如具有或不具有跳跃连接（skipconnection）的具有下采样（down sampling）和上采样（up sampling）块或层的U-net类型的布置。对于GAN中的多任务，GAN包括两个或更多个鉴别器网络或层布置。为每个任务提供鉴别器网络。

下面描述的图5-9示出了网络架构的示例实施例。在一个实施例中，多任务网络被定义为包括编码器和解码器作为图像到图像网络，以用于根据输入图像为一个任务生成分割或图像特征。多任务网络被定义为还包括用于效果预测的神经网络，诸如接收由编码器输出到解码器的瓶颈特征作为输入的神经网络。对于图像特征或分割，相比于对于效果或生存而言可以存在更多具有地面真值（例如，已经已知的地面真值或者稍后确定的地面真值）的可用样本。针对每个任务的训练从可用于其他任务的附加样本受益。具有较少的具有地面真值的样本的针对效果或生存的训练从针对分割或图像特征的训练受益，从而导致对效果或生存的更准确的预测。可以使用其他网络架构，诸如使用解码器的输出和/或从编码器或解码器中接收学习的特征（例如，跳跃连接）作为输入的针对效果的分类器架构。

为了训练机器学习网络，定义机器学习网络布置。该定义是通过学习的编程或配置。层或单元的数量、学习的类型、层的顺序、连接以及网络的其他特性由程序员或用户控制。在其他实施例中，在学习期间由机器定义和选择架构的一个或多个方面（例如，节点的数量、层或单元的数量或者连接）。

在动作34中，机器（例如，处理器、计算机、工作站或服务器）机器训练所定义的网络（例如，所定义的多任务生成器）。训练网络以生成针对一个或多个任务（诸如多个任务）的输出。通过机器学习，训练生成器和任何鉴别器。基于该架构，生成器被训练为生成输出。

训练数据包括输入图像（例如，要用于成像的扫描数据或格式化以供显示的图像）的许多样本（例如，数百或数千）以及地面真值。地面真值可以是来自专家的注释或从患者记录中挖掘的数据，诸如针对样本的效果或分割。地面真值可以是根据输入自动确定的，诸如分割或放射学特征。网络被训练为基于为输入样本分配的地面真值来输出。

为了训练网络中的任何一个，可以使用各种优化器，诸如Adadelta、SGD、RMSprop或Adam。网络的权重可以被随机初始化，但是可以使用另一种初始化。执行端到端训练，但是可以设置一个或多个特征。针对一个任务的网络最初可以单独训练，并且然后用于针对该一个任务的该网络以及针对另一个任务的其他网络的进一步训练。可以为每个任务提供单独的损失。可以使用联合训练。可以执行任何多任务训练。没有使用批标准化（batchnormalization）、随机失活（dropout）和/或数据扩充（data augmentation），但可以使用（例如，使用批标准化和随机失活）。在优化期间，学习不同的区别特征。学习提供效果的指示和另一任务的指示的特征。

优化器最小化误差或损失，诸如均方误差（MSE）、Huber损失、L1损失或L2损失。针对每个任务可以使用相同或不同的损失。在一个实施例中，机器训练使用来自不同任务的损失的组合。

在一个实施例中，机器训练多任务网络以估计图像特征（例如，作为在图像中所检测的空间分布的量化的放射学特征）并根据输入医学成像体积来估计效果。地面真值效果用于确定效果损失，并且地面真值图像特征用于确定图像特征损失。训练中用于优化的损失函数是图像特征损失和效果损失的加权组合。训练可以包括重新训练，诸如使用经学习的生成器来识别训练数据中的离群部。利用移除或校正了离群部的训练数据来重新训练、微调或再次训练多任务网络。

在另一个实施例中，机器训练多任务网络以估计图像特征并根据输入医学成像体积估计生存。地面真值生存（例如，随时间推移的生存概率、随时间推移的复发概率或事件（例如，复发）发生时间）用于确定生存损失（例如，最大似然损失）。将地面真值生存与正在训练的多任务网络的输出预测生存进行比较。地面真值图像特征用于确定图像特征损失。将地面真值图像特征与图像到图像网络中的编码器输出的估计图像特征进行比较。用于训练的损失函数包括图像特征损失和生存损失的加权组合。

在动作36中，存储经训练的网络。存储网络参数，诸如连接、卷积核、权重或针对网络的其他学习值。将网络存储在存储器中以用于应用或检验。

一旦被训练，生成器就可以被应用来估计疗法效果以用于决策支持。训练数据中的许多样本用于学习在给定未见过的样本（诸如来自患者的扫描体积）的情况下输出。

图4是用于医学疗法***中的决策支持的方法的一个实施例的流程图。机器学习网络或生成器用于基于患者的输入数据估计疗法的效果。例如，预测来自用于治疗NSCLC的放射疗法的效果。可以预测诸如化疗、免疫疗法等其他疗法的效果。可以预测放射疗法的疗程或设置的特定布置的效果。不同的网络或生成器可以用于相同病理学的不同疗法和/或用于不同病理学。在一些实施例中，为得到比基于单独针对效果的训练提供的更准确的效果预测，使用多任务网络或生成器来预测效果。

所述方法以示出的顺序（例如，自顶向下或数字）执行，但是可以使用其他顺序。例如，动作40和41以任何顺序执行。作为另一个示例，动作44在动作43之前执行。动作45可以在动作43或44前执行。动作47和48可以在动作43前执行，诸如使用经机器学习的生成器来选择然后用于在对患者应用之前更新或重新训练生成器的数据的部分。

可以提供附加的、不同的或更少的动作。例如，不执行动作41、43、44、45、46、47和/或48。在一些实施例中可以不使用动作42B和/或42C，诸如在利用不是多任务的和/或不使用非图像数据的经机器学习的生成器来预测效果的情况下。

所述方法由医学诊断扫描仪、工作站、服务器或计算机执行。扫描仪或存储器用于获取患者的数据。图像处理器（诸如扫描仪的图像处理器或单独的计算机）预测效果、分层和/或簇。图像处理器使用显示屏或打印机来显示。医师可以使用输出信息来为患者做出治疗决策。

在动作40中，图像处理器获取患者的医学扫描。来自患者扫描的扫描数据是从医学扫描仪（诸如计算机体层摄影扫描仪）获取的。计算机体层摄影扫描仪使用安装到患者的相对侧的台架的X射线源和检测器利用x射线扫描患者。可以使用磁共振、正电子发射体层摄影、单光子发射计算机体层摄影或超声扫描仪。在可替代实施例中，来自患者的先前扫描的扫描数据是从存储器获取的或通过计算机网络传送获取的。

决策支持***的输入是医学图像，诸如在疗法规划阶段获取的扫描数据。扫描数据表示患者的面积或体积。例如，扫描数据表示患者体积中的体素或位置的三维分布。位置的分布可以是在笛卡尔坐标系或均匀网格中。可替代地，使用非均匀网格或极坐标格式。为了表示体积，为表示体积的每个体素提供缩放值。

扫描数据可以在应用于决策支持***之前或作为决策支持***的部分而被预处理。预处理可以包括分割、滤波、标准化、缩放或另一图像处理。例如，分割一个或多个肿瘤体积（例如，大体肿瘤体积）或具有或不具有非肿瘤组织的包括肿瘤的区域。分割可以通过手动划定或者由图像处理器自动进行。要输入的扫描数据仅表示分割区域，或者为分割区域和整个扫描体积提供单独的输入。

单独使用经预处理的扫描数据（例如，图像数据）来预测效果。可替代地，输入经预处理的扫描数据和具有更多或更少处理的扫描数据两者来预测效果。可以代替扫描数据或者附加于扫描数据而输入非图像数据。

在动作41中，图像处理器获取非图像数据。非图像数据来自传感器、计算机化的患者医学记录、手动输入、病理学数据库、实验室数据库和/或其他源。非图像数据表示患者的一个或多个特性，诸如家族史、服用的药物、温度、体质量指数和/或其他信息。例如，从存储器、变换、数据挖掘和/或手动输入获取患者的基因组、临床、测量、分子和/或家族史数据。在另一个示例中，获取所提出的疗法设置，诸如包括一系列疗法事件的疗程、每个事件的功效、每个事件的持续时间和/或每个事件的应用区域。

在一个实施例中，决策支持***包括多个输入模块。一个输入模块是用于接收医学图像（例如，表示体积的扫描数据）的网络接口或总线。另一个或相同的输入模块接收其他相关医学信息，诸如血液检验和组织学图像。

在动作42中，图像处理器根据对患者的疗法生成效果预测。该预测基于扫描数据（例如，体素数据）和/或非图像数据的输入。例如，输入肿瘤和周围组织的分割三维区域的体素数据。

预测使用人工智能。经机器学习的生成器（诸如机器学习的多任务生成器）基于输入来预测。输入扫描数据和/或非图像数据以用于由人工智能执行的预测。

动作42在图4中被表示为具有三个组分：在动作42A中利用经机器学习的生成器生成，在动作42B中训练为多任务生成器，以及在动作42C中使用非图像数据。在各种实施例中可以使用这些组分中的一个、任何两个、全部三个或不使用任一个。在一个实施例中，动作42A和42B（即，机器学习的多任务生成器）用于预测效果。

可以使用任何经机器学习的生成器。例如，提供支持向量机、聚类或其他生成器，用于基于输入生成对效果的估计。可以使用经机器学习的分类器。在一个实施例中，神经网络被训练为生成器，诸如经训练的卷积神经网络（CNN）。

可以使用各种架构。架构定义层、单元或其他机器学习部分的布置。对于神经网络，架构可以包括一个或多个卷积层，其中深度学习训练用于滤波（卷积）的一个核或多个核。可以包括全连接层、最大池化层、批标准化和/或其他层。

网络是深度架构，其可以包括CNN或深度信念网（DBN）。可以使用其他深度网络。CNN学习前馈映射功能，而DBN学习数据的生成模型。此外，CNN对所有本地区域使用共享权重，而DBN是全连接网络（即，对图像的所有区域具有不同的权重）。CNN的训练完全通过反向传播而具判别性。另一方面，DBN采用逐层无监督训练（例如，预训练），如果有必要则随后是利用反向传播的判别性细化。

网络被定义为多个依次的特征单元或层。依次用于指示从一个层输出特征值以输入到下一个层的一般流程。来自下一层的信息被馈送到下一层，并依此类推，直到最终输出。各层可以仅向前馈送或者可以是双向的，包括对先前层的一些反馈。每个层或单元的节点可以与先前或后续层或单元的全部节点或仅节点的一个子集连接。跳跃连接，将特征的值直接馈送给附加于下一层或连同下一层的层，诸如用于密集网络。

在单元或层内，提供任何数量的节点。例如，提供100个节点。稍后或后续单元可以具有更多、更少或相同数量的节点。通过机器使用任何构建块来学习节点的特征。例如，使用自动编码器（AE）或受限玻尔兹曼机器（RBM）方法。AE线性变换数据，并且然后应用非线性整流（rectification），比如sigmoid函数。AE的目标函数是输入图像和使用所学习特征的重建图像之间的期望均方误差。可以使用随机梯度下降或其他方法来训练AE，以通过机器学习导致最佳重建的特征。RBM的目标函数是能量函数。与RBM相关联的似然项的精准计算是难处理的。因此，使用近似算法（诸如基于k-步吉布采样的对比-散度或其他）来训练RBM以根据特征重建图像。

AE或RBM的训练对于高维输入数据倾向于过拟合。采用稀疏或去噪技术（例如，稀疏去噪AE（SDAE））来约束参数的自由度并强制学习数据内的感兴趣结构。在隐藏层内强制实施稀疏（即，一次仅激活隐藏层中的少量单元）也可以正则化网络。在其他实施例中，至少一个单元是具有ReLU激活的卷积，或者是具有ReLU激活、随后是卷积层的批标准化（BN+LeakyRU+卷积）。可以使用最大池化、上采样、下采样和/或软性最大（softmax）层或单元。不同单元可以具有相同或不同的类型。

在一个实施例中，架构提供多任务生成器或者被训练为多任务生成器（动作42B）。可以响应于输入生成多个输出。对于应用，可以使用少于所有经训练的网络，诸如训练为多任务生成器但是仅使用多任务网络的输出效果的部分。可替代地，使用整个网络或输出针对不同任务的估计的部分。

针对不同任务训练网络或架构的不同部分。一个部分可以用于两个任务。一个任务是效果。为了辅助更准确的效果预测，学习另一个任务，诸如无监督学习以分割（例如，掩模、提取或按位置标注）、生成放射学图像特征和/或生成非图像数据。效果任务使用特征或针对另一任务训练的网络的部分。

对于无监督学习以辅助针对效果的学习，机器学习网络可以包括图像到图像网络，诸如U-net、生成对抗网络（GAN）的生成器或自动编码器。训练网络的这部分以使用无监督学习来将输入转换为分割、非图像数据和/或放射学特征。图5示出了一示例。输入扫描数据50。扫描数据在52处被预处理。网络62的经训练的卷积单元、权重、链路和/或其他特性被应用于体积数据，以通过多个层提取对应的特征并输出分割或放射学图像特征。在网络62内，从输入提取输入的深度学习特征。可以使用该架构从那些所提取的特征提取其他更抽象的特征。取决于单元或层的数量和/或布置，从输入提取其他特征。卷积网络62输出图像特征56。全连接层57用于将图像特征转换为估计的放射学58。对于训练，将输出的放射学或图像特征58与从预处理的扫描数据52提取的特征53进行比较以生成损失59，损失59表示作为地面真值的手工放射学特征53与输出58之间的差异。

图6示出了分割而不是放射学图像特征的上下文中的另一个示例。扫描数据50被输入到网络54。在该示例中，网络54包括连接在瓶颈64处的编码器62和解码器66。瓶颈64可以是连接。在该示例中，瓶颈64包括一个或多个卷积层。编码器62和解码器66包括卷积层。解码器66输出经掩模的体积，诸如分割。对于训练，可以将该分割与地面真值分割进行比较以找到损失。

用于根据输入空间分布输出空间分布的任何机器训练架构可以用于分割或放射学特征生成任务。例如，使用U-Net。使用卷积-转置-卷积网络。层或单元的一个分割应用卷积来增加抽象性或压缩性。然后，最抽象的特征值作为瓶颈特征被输出到另一个分割。然后，层或单元的另一分割应用转置-卷积来减小抽象性或压缩性，从而导致按位置输出类成员的指示。该架构可以是全卷积网络。

GAN包括生成器（诸如图像到图像或U-Net）以及两个或更多个鉴别器。为多任务网络的每个任务提供鉴别器。生成器包括形成“U”形状的编码器（卷积）网络和解码器（转置-卷积）网络，该“U”形状在从编码器向解码器以最大压缩性或抽象性级别的传递特征之间具有瓶颈连接。跳跃连接可以以其他抽象级别提供——与瓶颈相比，从编码器提供到解码器的特征值以不同的抽象性级别。可以使用任何现在已知的或以后开发的U-Net架构。可以使用其他全卷积网络。

对于对给定患者的应用，在没有鉴别器的情况下使用GAN的生成器。鉴别器是用于训练的。对于图像到图像或自动编码器，可以在应用中没有解码器的情况下使用编码器。可替代地，使用整个网络。对于训练，可以构造和训练仅使用编码器和分类器而没有解码器的更简单形式的模型。仅在训练中的该编码器可能需要更多标注数据，因为该模型缺乏以无监督方式利用来自无标注数据的信息的能力。

机器学习的多任务生成器包括用于效果预测任务的分类器部分。可以使用用于输出效果的任何机器学习架构。例如，训练分类器以输出效果。神经网络（诸如卷积神经网络）输出效果。在效果预测中使用用于另一任务（例如，分割或放射学特征生成）的网络的至少一个层、单元或其他部分。例如，解码器的输出由单独的层使用，以用于生成效果。在另一个示例中，使用编码器的输出，诸如神经网络或其他分类器从瓶颈64接收特征值作为输入来输出效果估计。

在另一个实施例中，架构的输出或最终层可以形成两个输出。一个网络可以用于两个任务。存在来自一个网络的多个输出。存在针对分割或放射学特征生成任务的一个输出，以及针对效果估计的另一个输出。可以在该框架中添加一个或多个附加层以进一步处理针对一个任务的输出来生成针对另一个任务的输出。

在一个实施例中，在应用中使用的多任务生成器是作为编码器和解码器网络的部分训练的编码器网络，以及被配置为接收编码器网络的瓶颈特征以用于生成效果或生存的卷积神经网络。多任务学习用于训练编码器-解码器和CNN。可以使用其他布置或架构。

图7示出了具有网络架构的实施例，所述网络框架包括用于针对分割或放射学特征估计训练的编码器62、瓶颈64和解码器66（例如，一起形成自动编码器）。对于应用，可以不使用解码器66。对于效果预测，网络架构包括卷积神经网络72，卷积神经网络72被连接以接收编码器62或瓶颈64的输出作为输入并输出效果的二元分类。在图7中的每个层上示出了每个层的输入特征值的数量。在人工智能预测模块中，编码器62和网络72的深度神经网络54是从3D肺CT图像提取高级别特征的模型。自动编码器模型54将特征馈送到全连接的分类模型72，以利用来自大量无标注数据以及有限量的标注数据的信息。

在一个实施例中，自动编码器网络54（编码器62、瓶颈64和解码器66）包括具有三个3D卷积层和三个批标准化层的单元（例如，每个矩形），如由虚线箭头指示的中央顶部盒中所图示的那样。输入图像在开始处具有32x32x32x1的尺寸，随着卷积***作而逐渐缩小为1x1x1x128的瓶颈向量，并利用反卷积操作逐渐生长回32x32x32x1的尺寸。分类器部分（CNN 72）接收进1x1x1x128的瓶颈潜在性变量。输入图像在预处理中被缩放和标准化。为了计及缩放和标准化，将原始图像50的缩放值以及最大和最小强度的值输入70到具有瓶颈特征的分类器部分。分类器部分是全连接的多层感知器，其将所预测的效果输出为二元类成员。可以使用其他分辨率、输入变量、向量大小、单元数量、单元中的层或跨单元的变化。

图8示出了具有图7的网络架构或相似网络的应用的实施例。输入扫描数据50和疗***廓。扫描数据被预处理（例如，分割的感兴趣区域80），因此经预处理的扫描数据和放射疗***廓被输入到编码器62。解码器66被训练为输出诸如肿瘤强度、肿瘤形状和/或肿瘤纹理特征之类的放射学特征。神经网络72被训练为将失败风险作为随时间推移的风险或概率分布而不是二元效果来输出。

机器学习的多任务生成器响应于扫描数据的输入而预测效果。例如，在疗法规划阶段中根据患者的肿瘤的CT图像预测个性化放射疗法效果。与对所有任务使用预定义特征的当前放射学方法不同，深度学习训练生成器以直接提取高吞吐量图像特征。由于特征是基于特定任务创建的，因此特征可以比用于疗法效果预测的一般定量图像测量更准确并更有教益。在图7和8的示例中，网络54是被布置为编码器网络62的CNN，以构建受欢迎的任务特定性指纹（特征）。在这种情况下，指纹基于总体编码器和解码器网络54的瓶颈64处的一组潜在性变量。

由基于图像特征误差和效果误差两者训练的机器学习的多任务生成器来生成效果。深度学习用于既创建特征以供与手工放射学特征进行比较，又创建效果以供与地面真值效果进行比较。在可替代实施例中，使用用于无监督学习的其他数据源和对应的误差，诸如分割而不是手工放射学特征。

在一个实施例中，使用手工放射学来预训练机器学习的多任务生成器。最初仅训练用于无监督学习或者从放射学特征或分割进行学习的网络部分。在计算机视觉领域，经常使用迁移学习和微调来解决小数据集的问题。针对临床问题而预训练网络的部分（例如，使用针对NSCLC的肺的3D CT图像）。然后通过针对多个任务的训练来对机器学习的多任务生成器进行微调（参见图1）。使用组合的损失，针对放射疗法分割或放射学特征和效果预测问题两者来训练多任务学习网络。许多成像特征（例如纹理或分割）对两个任务都是有教益的。通过在相关任务之间共享表示，该模型在两个原始任务上更好地归纳（generalize）。

在一个实施例中，一个任务是生成手工放射学特征（参见图5）。在另一个实施例中，任务是生成分割。机器学习的多任务生成器通过已经部分地基于分割损失和效果损失被训练而生成对患者的疗法的效果预测。图6示出了被训练为生成分割（诸如依据成员的体素的标注、边界的拟合和/或子区域的提取）的机器学习的多任务生成器的部分。利用深度学习来训练该部分以创建分割，该分割与地面真值分割进行比较来得到分割损失。为了进行微调，机器学习的多任务生成器被训练为将分割与地面真值进行比较，并将预测结果与地面真值结果进行比较来得到效果损失。

对于分割实施例，为放射疗法规划提供自动化目标结构轮廓绘制。使用规划计算机体层摄影图像和不同的放射疗***廓（即，地面真值分割）来构建分割模型。例如，网络的输入是包括大体肿瘤体积（GTV）和邻近组织的计算机体层摄影图像（例如，3D扫描数据）。地面真值目标图像是所选ROI的掩模，因此网络的输出是GTV热图。在图6中，架构是U-Net卷积网络架构，以实现图像的快速分割。其他种类的全卷积网络可以用于分割。可以采用半监督卷积神经网络、循环神经网络、无监督聚类或强化学习用于进一步细化分割。

自动轮廓（自动分割）可以降低目标划定中的观察者间和观察者内的可变性，降低绘制轮廓时间，并因而改进放射疗法的质量，因此整个部分可以在应用中使用以提供分割。用于分割的编码器网络架构和参数（例如，UNet的编码器和瓶颈层）可以用于初始化特征提取网络（即，训练图6的网络以初始化图5的网络）。用于分割的模型还可以用作用于效果预测的预训练网络，以克服较少数量的效果地面真值样本。可替代地，机器学习的多任务生成器针对效果和分割或特征生成两者而被最初训练。

由于扫描数据中表示的分割或放射学特征的使用，可以存在许多可用样本。任何扫描可以用作样本，这是因为可以从扫描数据提取地面真值。相反，在没有专家或患者记录的手动审查的情况下，可能无法确定效果。可能难以确定针对任一给定患者的效果，因此可能存在较少的效果地面真值样本。由于数据的可用性，相比于针对效果误差的训练数据样本，可以已经利用更大数量的针对图像特征或分割误差的训练数据样本来训练机器学习的多任务生成器。可替代地，相比于针对图像特征或分割的样本，存在相同数量针对效果的样本或更多针对效果的样本。

当数据集足够大时，与传统算法相比较，深度学习算法和编码器-解码器架构经常表现得好得多。在医学图像分析领域中，针对效果的数据集经常不充足（例如，太少的样本，诸如几百个）以达到深度学习的全部潜力，从而导致过拟合问题。由于更少数量的样本，这更有可能发生在疗法效果预测问题中。对于利用放射疗法治疗的所有患者，治疗前成像和对应的肿瘤划定经常是可用的，但由于有限的随访，疗法效果经常是缺失的。为了充分利用整个数据集，尤其是没有效果标注的图像，使用多任务架构（例如，分类器和用于估计肿瘤体积的物理和几何属性的基于CNN的回归模型）。

图5图示了该过程的一个实例，该过程被应用于对非小细胞肺癌（NSCLC）患者的立体定向体部放射疗法（SBRT）的规划计算机体层摄影扫描。与手工放射学相似，网络将具有注释的大体肿瘤体积（GTV）的经预处理的计算机体层摄影扫描图像取作输入，并生成一组图像特征56。全连接层57用于连接图像层56和回归层58，回归层58是网络的输出。输出58是对放射学特征的估计，并与手工放射学53进行比较。所估计的放射学和手工放射学之间的误差被用作用于训练网络的损失。由于放射学特征具有不同的物理意义和单位，因此在确定损失中标准化放射学特征或者为个体特征设置不同的权重。

鉴于手工放射学是肿瘤表型（例如大小、形状、纹理等）的相对高效又通用的表示，网络54的解码器网络66根据潜在性指纹变量重建放射学特征。在这种情况下，指纹将能够重建一组完整的放射学特征，并且从而整个网络54、72是更受约束且正则化的，并且作为结果更不易受到过拟合的影响。传统放射学或分割约束网络54、72以减轻过拟合。多任务学习框架添加对神经网络图像特征的约束，使得图像特征保留肿瘤体积的物理属性。

机器学习的多任务生成器通过以下来生成疗法效果：已经根据针对效果无标注的训练数据利用无监督学习进行训练并且已经根据针对效果的标注的训练数据进行训练。由于扫描数据可能针对效果是无标注的，因此利用无监督学习来训练自动编码器、U-net、图像到图像网络或编码器-解码器网络以提供许多样本。无监督学习可以基于肿瘤分割、非图像数据、放射学图像特征和/或对于许多样本可用的其他数据。根据标注训练数据和无标注训练数据来训练用于效果预测的全连接网络72。

利用损失的组合来训练机器学习的多任务生成器。例如，图像特征误差和效果误差的加权组合被用作用于训练的损失函数。任何组合都可以用于针对不同任务的联合学习或损失。由于训练中多个损失的使用，所得的机器学习的多任务生成器可以更好地预测效果。

同时训练两个或更多个任务。主要任务是效果预测。任何损失函数都可以用于效果损失或误差。例如，使用交叉熵损失函数L ₁ ：

其中M是不同效果的数量，y是类标注c是否为针对观察的正确分类的二元指示符（0或1），并且p是类c的预测概率观察。可以使用其他损失函数，诸如部分似然损失或用于连续输出变量而非二元类成员的另一函数。

附属任务是手工放射学、分割或非图像数据的估计。任何损失函数都可以用于分割或图像特征损失或误差。例如，使用网络输出58和手工放射学特征值53之间的均方误差。均方损失函数L ₂ 可以表示为：

其中n是放射学特征尺寸的数量，y是手工特征值，并且o是在尺寸d处的网络输出值。可以使用其他损失函数。

对于同时训练，提供任务损失的组合。例如，总损失是两个任务的加权组合：

权重λ是超参数，其确定是否为效果预测保留更多手工制作的信息。可以使用其他组合，诸如比率。

图10示出了组合的示例。将放射学特征58的网络输出与地面真值手工制作放射学特征53进行比较，以提供特征误差59。将来自网络72的效果与地面真值效果100进行比较，以提供效果误差96。将效果误差96和特征误差59组合成总误差104。

图9示出了使用分割而不是图像特征作为辅任务的另一个示例。该辅任务和对应的损失为用于主要效果任务的神经网络添加约束和正则性，使得指纹可以重建放射学特征又在性能方面足以估计针对每个患者的效果。可以预训练分割网络54。对于微调，使用针对多个任务的损失。分割网络54提供用于效果预测的特征，被表示为特征提取网络90。特征提取网络90可以是分割网络54的编码器62。例如，来自分割网络54的瓶颈特征值被提供给预测网络72。将输出分割与地面真值轮廓进行比较92以提供分割损失94。将输出效果与地面真值效果进行比较92来得到预测损失96。将分割损失94和预测损失96组合，以用于使用多任务学习的训练。

效果预测具有以形式的损失函数。附属任务是分割的估计（重建），其被制定为均方损失函数L ₂ 。总损失是两个任务的加权组合。

效果被预测为疗法失败或成功的似然率。成功可以基于大小方面没有增加或肿瘤消失。成功可以是在疗法之后的给定时间处的测量。效果可以针对肿瘤复发。可以使用疗法效果的任何测量。预测是二元确定。可替代地，提供针对二元确定的概率。

通过预测效果，医师可以确定给定疗法是否可以适宜于给定患者。预测可以针对多于一种类型的疗法的效果，使得医师可以选择更可能成功的疗法。相同或不同的机器学习的多任务生成器对不同的疗法做出预测。

在一个实施例中，效果被预测为生存。预测可以具有连续变量（诸如作为时间的函数的生存概率），而不是二元预测。生存可以是事件发生时间（例如，28个月）。事件发生时间可以是在局部区域处的肿瘤的治疗和复发之间的时间、在任何区域（例如，由无进展生存时间给定的局部、节点或远处）中的肿瘤的治疗和复发之间的时间和/或死亡以前的时间。机器学习的多任务生成器预测在疗法后对于患者和/或肿瘤的生存。基于生成器来预测生存，所述生成器已经根据作为效果损失的生存损失被训练。

深度神经网络模型通常用于解决分类问题。在处理关于时间中的一组事件的疗法效果的生存预测中，通过在某个不利事件的发生时间的值上设置阈值来创建二元标注。在事件发生时间变量上设置阈值的问题有两部分：1）阈值本身相当主观并且其变化对总体结果有显著影响并需要以某种方式考虑在内，以及2）由于删失（censor）（即，随访的损失或竞争事件的发生），因为无法知道真实标注而可能需要丢弃大量数据。为了解决这些问题，在预测中使用生存分析或事件发生时间方法。

生存分析通常用于医学研究中，以评估预后性变量在对从观察时段的开始（例如开始治疗）直到感兴趣事件（比如死亡）的发生或疾病的发生所经过的时间进行建模中的显著性。一个标准生存模型是Cox比例危险模型（Cox proportional hazards model），其假设失败的风险是所有协变量的线性组合。在许多情况下，线性组合可能过于简单化。神经网络可以学习预后性变量组之间的高度复杂和非线性关系。深度学习将常规线性Cox回归扩展为非线性形式。如Cox模型那样，深度学习也是非参数模型，其一般意味着没有做出关于基线危险函数的形式的假设。个体在新治疗下的危险与个体在标准治疗下的危险的比率被假设为随时间推移保持恒定，但是危险比率的对数不再是协变量的线性形式。可以已经利用深度学习来训练机器学习的多任务生成器，所述深度学习允许生存和图像特征或分割之间的非线性关系。

由于生存可以是连续变量（例如，直到X的时间），因此损失函数可以与用于二元分类的不同。例如，生存损失是最大似然率而不是二元交叉熵。为了拟合模型，以与处理Cox回归大致相同的方式使用最大似然方法来估计系数。为了训练网络以回归事件发生时间，损失函数计及各种变量以及输出变量的连续体。假设针对每个患者i的k个不同变量（或图像体素），，预测网络的损失函数是训练数据集中所有样本的负对数部分似然率，表示为：

可以使用其他损失函数。

在另一个实施例中，非图像数据代替分割和放射学特征使用或与分割和放射学特征一起使用。机器学习的多任务生成器响应于患者的非图像数据的输入而生成效果。机器学习的多任务生成器被训练为自动编码器，以基于非图像数据的输入而输出非图像数据。无监督学习部分的输出与输入具有相同信息类型。训练神经网络以提取特征，所述特征允许预测与输入相同的输出。

非图像数据可能比效果更广泛地可用。例如，非图像数据包括基因组、临床、测量和/或家族史数据。这类数据可以从许多其他患者的计算机化医学记录中获得。

在另一个实施例中，聚合图像和非图像特征以用于疗法效果预测。例如，将分割和/或放射学特征与非图像特征组合以用于效果预测。可以从每种类型的数据（例如，基因组、临床）创建特征向量，并且将特征向量连结为新的特征向量。通过使用深度自动编码器，输入可以是任何形式的数据，并且输出与输入相同，但是是从中间低维表示或网络学习特征重建的。可以将低维表示集成为用于效果预测的网络72的输入。自动编码器网络54是无监督学习方法，因此可以在没有疗法效果标注的情况下进行训练。

返回到图4，图像处理器在动作43中对所预测的效果进行分层。因为类定义了分组成员，所以二元分类不能被进一步分层。对于生存，可以对事件发生时间或其他连续变量进行分层。例如，阈值用于将患者分组到两个分组中——少于两年的生存和多于两年的生存。可以使用三个或更多个分组来用于分层。分层可以辅助与准则（guideline）或标准的相对比较。在可替代实施例中，不执行分层。

在动作44中，显示器显示效果的图像。显示器是视觉输出。图像处理器生成图像。图像可以被输出到显示器、输出到患者医学记录中和/或输出到报告。

效果可以是注释、字母数字文本、图或图表。例如，生存被显示为作为时间的函数的生存概率图。作为另一个示例，显示分层结果。输出可以是作为疗法效果预测的单个图像签名。为医师将预测分数投影到显示器。

可以输出由机器学习网络估计的放射学特征值、分割和/或非图像数据。诸如输入信息之类的其他信息可以与所预测的效果一起显示。可以输出多于一个预测，诸如针对不同疗法的效果预测。

效果可以与患者的图像一起呈现或者在其上呈现（例如，覆盖或注释）。例如，显示穿过肿瘤区域的切片的图像。在显示屏上与感兴趣的解剖结构（诸如，肺或大体肿瘤体积）的图像一起提供效果。在提供3D扫描数据的情况下，3D扫描数据被渲染到2D平面。可以使用任何渲染，诸如投影渲染。

显示器可以包括来自一个或多个相似患者的信息。给定针对患者的可用的大量变量，可能难以识别相似患者。在动作45中，机器学习的多任务生成器用于选择相似患者。为了降低搜索参数的数量，可以将深度学习特征用于相似性匹配。例如，来自图像到图像网络的瓶颈的图像特征（即，编码器的输出）用于基于聚类110识别一个或多个其他患者，如图11中所示出的。在分割80以及任何其他预处理之后，自动编码器或图像到图像模型可以将高维图像数据投射到低维空间中以由效果预测网络72执行分类。来自低维空间的值可以用于聚类110。训练数据提供其他患者的样本。训练可以为数据库114中的这些不同样本提供瓶颈特征值。聚类110用于简化针对相似患者的搜索112。显示116所识别的患者或关于所识别的患者的信息。

在一个实施例中，机器学习的多任务生成器生成经机器学习的自动编码器的瓶颈特征值，该经机器学习的自动编码器已经利用无监督学习根据针对疗法效果无标注的训练数据被训练。可替代地，经机器学习的生成器不是多任务生成器，而是自动编码器或另一个编码器-解码器网络。将值聚类。可以使用任何分组或聚类方法，诸如K-均值聚类、高斯混合模型（GMM）或谱聚类。聚类的值用于识别另一个患者。通过搜索引擎将其他患者的代表性采样的瓶颈值的簇与患者的簇进行比较。可以使用任何比较，诸如皮尔逊相关距离或高维空间中的欧式距离。显示最相似或足够相似的患者的数据来用于决策支持以辅助疗法规划。为医师将针对一个或多个相似案例的图像、疗法效果和/或其他数据投影到显示器上，以在决策制定过程期间提供经验信息。

在动作46中，医师治疗患者。医师使用关于患者的信息和输出效果来选择一种疗法或不选择一种疗法。分层、生存和/或其他效果用于选择针对患者的治疗。例如，放射疗法的效果被预测为阳性或分层为阳性级别，因此在没有反指示的情况下选择放射疗法。作为另一个示例，医师基于放射疗法或具有特定设置或应用疗程的放射疗法的预测效果比其他疗法或没有疗法的预测效果更好，而选择该放射疗法或具有该特定设置的放射疗法。在又一个示例中，医师基于所预测的效果和聚类识别的相似患者的阳性结果而选择疗法。医师可以使用其他准则。效果用于支持决策。所预测的效果可以用于确认医师的选择。

机器学习的多任务生成器可以已经被训练用于针对给定临床问题（诸如NSCLC）的应用。由于其他临床问题的肿瘤可能具有相似性，因此可以将相同的机器学习的多任务生成器应用于针对另一个临床问题的图像及其他数据。针对一个器官（例如，肺）训练的生成器可以应用于针对另一个器官（例如，肝脏）中的治疗的效果预测。相同的生成器可以用于不同的器官、肿瘤类型和/或肿瘤进展阶段。在可替代实施例中，不同的生成器被训练并应用于不同的临床问题。用于一个临床问题的生成器可以用于初始化用于针对另一个临床问题的训练的网络。

在动作47中，机器学习的多任务生成器用于细化自身。最初训练的机器学习的多任务生成器或仅最初训练的图像到图像网络可以应用于训练数据。通过将来自训练数据的样本输入到经机器学习的生成器中，可以识别训练数据中的离群样本。经预训练的网络用于识别离群部。可替代地，要利用附加样本来更新网络。识别附加样本中的离群部。

由于网络是根据手工放射学或分割来训练的，因此可以将网络应用在具有肿瘤体积的任何未知图像上以估计其物理和/或几何特性。与使用定义的公式不同，该模型是根据大量图像训练的，因此该模型将提供更加鲁棒的特性估计。如果观察到模型输出和公式计算之间的大的分歧，则识别图像数据集的潜在离群部。

可以基于离群样本的识别来重新训练或训练经机器学习的生成器或多任务生成器。可以发送这些离群部以供进一步审查或手动校正。离群部可以来自不同类型的源。一个简单的原因是感兴趣区域中的大的伪像。可以通过应用阈值以限制图像强度的范围或通过滤波来校正伪像。另一个可能的原因是肿瘤的一些特性与数据集中的其他特性非常不同，因此模型不能精确估计它们的值。应用定义的公式可能仍然返回合理的值，这使得在大型数据集中难以识别该离群部。这种类型的离群部不能被自动校正，因为大的放射学分歧可能暗示重要的病理学。对可能的离群部的手动审查可以允许丢弃、包括而不校正、或者校正。然后，重新训练或训练使用离群部被校正或移除的训练样本。

在动作48中，机器学习的多任务生成器用于识别对效果最具预后性的因子（例如，变量）。相似地，可以训练使用不同输入组合的不同的机器学习的多任务生成器。在效果预测中提供最大准确性的利用输入组合的机器学习的多任务生成器被选择并且应用于患者。

为了确定输入数据签名，机器训练架构被定义为包括适宜的输入选项。每种类型的输入数据被提供有到生成器中的单独的输入层。可替代地，将不同的输入连结成提供到给定输入层的一个输入向量。例如，自动编码器被定义为接收非图像数据。自动编码器可以被定义为接收裁切到肿瘤的图像数据、疗法剂量图、其中肿瘤小于所表示区域的一半的图像数据、人口统计数据、基因组数据和/或临床数据的不同组合。定义不同的网络和对应的输入选项（即，数据类型）。不同网络的训练导致被配置为生成针对疗法的输出预测的不同的经机器训练的生成器。确定每个经训练的生成器的性能。选择具有最佳性能的机器学习的多任务生成器。选择也可以考虑输入数据的类型的可用性。

在一个实施例中，找到预后性和预测签名以用于临床决策支持。一旦机器学习的多任务生成器提供预测，从它们中识别最显著的预后性和预测签名（生物标记）是重要的。使用如统计分析中的前向逐步特征选择的方法。例如，初始化没有预测因子的空模型。从仅包括局部肿瘤区域的信息（例如，肿瘤的形状、大小和纹理）的裁切CT图像提取的放射学特征被添加为到所训练的网络的输入。在下一步骤中，将放射疗法剂量图作为到计算机体层摄影图像的附加通道而添加为到模型中的输入，并且训练或重新训练网络。具有较大视场的计算机体层摄影图像（例如整个肺的CT）被添加为输入或用于替换具有较小视场的图像。较大的视场提供更多的肿瘤局部性信息。训练或重新训练网络。可以将人口统计和/或临床数据添加到网络中，并且训练或重新训练网络。可以使用其他添加物和对应的训练或重新训练。可以使用输入的各种组合。比较添加新变量之前和之后的预测性能。根据比较，依据输入数据的潜在预后性和预测签名被识别为导致性能方面的最大改变。

在一个实施例中，为了量化预测性能，在生存的深度推理器（即，机器学习的多任务生成器）输出与地面真值或实际事件时间（局部生存、LC、无进展生存期（PFS）或总体生存OS）之间测量一致性指数（C-指数）。一致性指数是0和1之间的测量值，其指示预测模型可以多好地对实际事件时间进行排序（order）：1指示完美一致性，而0.5指示不比偶然性更好的一致性。在另一个实施例中，比较高失败风险分组和低失败风险分组之间的Kaplan-Meier生存曲线或累积发病曲线。统计检验可以用于计算分组之间差异的显著性级别。

比较（a）利用Alerts等人的“Decoding tumor phenotype by noninvasiveimaging using quantitative radiomics approach,”Nature Communications, 2014的定量方法使用手工放射学和（b）使用多任务训练的图8的深度推理器模型之间的性能。将患者分层为两个——高和低——疗法失败风险分组中，深度推理器方法的一致性指数以统计学显著的方式高于放射学方法的一致性指数。作为示例，图12示出了对于每个方法的随时间推移的局部控制概率。将基线（无分层）的疗法失败率降低与深度推理器方法和放射学的疗法失败率降低进行比较。两种方法的低失败风险分组内的显著降低产生，而深度推理器降低更显著。表1示出了两种方法的指数和演绎结果。

表1

	一致性指数	时序检验（Log-Rank Test）	2-yr失败率演绎
				放射学	0.663		31.8%
深度推理器	0.690		44.7%

机器学习的多任务生成器或深度推理器输出放射疗法或其他疗法中的临床工作流程的决策支持。基于成像和/或其他非侵入性信息提供支持，从而在对患者具有较小风险的情况下辅助诊断和疗法规划。利用该决策支持，临床医师可以基于图像改进其对于患者对疗法的响应的预测率。放射学特征和效果预测可以帮助对将响应于某种疗法的患者进行分层，并将会失败的患者重定向至替代疗法方案。

可以利用工作站或医学扫描仪来提供机器学习的多任务生成器。在另一个实施例中，机器学习的多任务生成器由服务器提供为服务。医师将图像发送到服务器，服务器将效果预测作为服务返回。

图13示出了用于疗法决策支持的医学成像***。该***在显示器130上生成疗法效果的预测以支持疗法决策。

医学成像***包括显示器130、存储器134和图像处理器132。显示器130、图像处理器132和存储器134可以是医学成像器136、计算机、服务器、工作站或用于对来自患者的扫描的医学图像进行图像处理的其他***的部分。没有医学成像器136的工作站或计算机可以用作医学成像***。

可以提供附加的、不同的或更少的组件。例如，包括计算机网络以用于基于本地捕获的扫描数据来远程预测。作为另一个示例，提供用户输入设备（例如，键盘、按钮、滑块、转盘、跟踪球、鼠标或其他设备）以用于与效果预测的用户交互。

医学成像器136是计算机体层摄影、磁共振、超声、正电子发射体层摄影或单光子发射计算机体层摄影扫描仪。例如，医学成像器136是计算机体层摄影***，其具有连接到患者床的相对侧的可移动台架的x射线源和检测器。

通过设置来配置医学成像器136以扫描患者。医学成像器136被设定为针对给定的临床问题执行扫描（例如肺扫描）。扫描产生扫描或图像数据，其可以被处理以在显示器103上生成患者内部的图像。扫描或图像数据可以表示患者的体积中的位置（例如，体素）的三维分布。

图像处理器132是控制处理器、通用处理器、数字信号处理器、三维数据处理器、图形处理单元、专用集成电路、现场可编程门阵列、人工智能处理器或加速器、数字电路、模拟电路、其组合或其他现在已知的或以后开发的用于处理医学图像数据的设备。图像处理器132是单个设备、多个设备或网络。对于多于一个设备，可以使用并行处理或处理的依次划分。构成图像处理器132的不同设备可以执行不同的功能。在一个实施例中，图像处理器132是医学诊断成像***（诸如医学成像器136）的控制处理器或其他处理器。图像处理器132按照存储的指令、硬件和/或固件操作以执行本文所描述的各种动作。

在一个实施例中，图像处理器132被配置为训练一个或多个机器学习网络。基于网络架构的用户提供的源或其他源以及训练数据，图像处理器132学习用于编码器、解码器、鉴别器或其他网络部分的特征以训练网络。使用针对两个或更多个任务的地面真值和对应的损失来训练多任务生成器。一个任务是效果预测。另一个任务使用针对效果无标注的数据，诸如放射学特征、分割、非图像数据和/或可能比效果更通常可用的和/或可以从可用图像导出的其他信息。

可替代地或附加地，图像处理器132被配置为应用一个或多个机器学习的生成网络或生成器。例如，图像处理器132将来自成像器136的扫描数据应用于机器学习的多任务网络。网络响应于扫描数据的输入而预测对患者的疗法的结果。网络可以包括以无监督方式训练的自动编码器的编码器和被配置为接收编码器的输出以预测疗法效果结果的全连接网络。在以无监督方式的训练中，利用自动编码器的解码器训练编码器以根据编码器的输出估计输入。

使用机器学习网络的图像处理器132可以响应于扫描数据的输入而预测对患者的疗法之后的事件发生时间。网络可以是多任务的，如已经利用附加于效果或生存预测的任务所训练的。例如，训练包括针对分割或放射学或其他图像特征的损失以及效果或生存损失。在应用中，可以不使用该额外的任务。

图像处理器132可以被配置为聚类。机器学习网络的编码器的输出或其他深度学习特征被用在到所识别的相似患者的聚类中。使用聚类来找到具有深度学习特征（诸如瓶颈特征）的值的相似聚类的患者。

图像处理器132被配置为生成图像。生成示出所预测的效果的图像。效果可以与患者内部的图像（诸如计算机体层摄影图像）一起显示。显示疗法的所预测结果以用于决策支持。

显示器130是CRT、LCD、投影仪、等离子体、打印机、平板电脑、智能电话或其他现在已知或以后开发的用于显示输出（诸如具有效果预测的图像）的显示设备。

扫描数据、训练数据、网络定义、特征、机器学习网络、分割、放射学特征值、非图像数据、效果和/或其他信息存储在诸如存储器134的非暂时性计算机可读存储器中。存储器134是外部存储设备、RAM、ROM、数据库和/或本地存储器（例如，固态驱动或硬驱动）。相同或不同的非暂时性计算机可读介质可以用于指令和其他数据。存储器134可以使用数据库管理***（DBMS）来实现，并且驻留在存储器（诸如硬盘、RAM或可移除介质）上。可替代地，存储器134在处理器132内部（例如，高速缓存）。

用于实现本文所讨论的训练或应用过程、方法和/或技术的指令被提供在非暂时性计算机可读存储介质或存储器上，所述非暂时性计算机可读存储介质或存储器诸如高速缓存、缓冲器、RAM、可移除介质、硬驱动或其他计算机可读存储介质（例如，存储器134）。计算机可读存储介质包括各种类型的易失性和非易失性存储介质。响应于存储在计算机可读存储介质中或上的一组或多组指令而执行附图中图示或本文描述的功能、动作或任务。功能、动作或任务独立于特定类型的指令集、存储介质、处理器或处理策略，并且可以由单独或组合地操作的软件、硬件、集成电路、固件、微代码等来执行。

在一个实施例中，指令存储在可移除介质设备上以供本地或远程***读取。在其他实施例中，指令存储在远程位置中以供通过计算机网络传送。在又其他实施例中，指令存储在给定计算机、CPU、GPU或***内。因为附图中描绘的组成***组件和方法步骤中的一些可以在软件中实现，所以***组件（或处理步骤）之间的实际连接可以取决于以之来编程本实施例的方式而不同。

以下是以要求保护的格式的代表性方面。在这些代表性方面之后，呈现了本申请的权利要求。

A1. 一种用于医学疗法***中的决策支持的方法，所述方法包括：

获取患者的医学扫描；

根据对所述患者的疗法生成效果预测，所述效果由已经基于图像特征误差和效果误差两者训练的机器学习的多任务生成器生成；以及

显示所述效果的图像。

A2. 根据权利要求1所述的方法，其中，获取包括利用计算机体层摄影扫描仪来扫描所述患者。

A3. 根据权利要求1所述的方法，其中，获取包括获取表示所述患者的体积中的位置的三维分布的体素数据，并且其中，生成包括基于分割三维区域的所述体素数据的输入而生成。

A4. 根据权利要求1所述的方法，其中，生成包括利用包括卷积神经网络的所述机器学习的多任务生成器来生成。

A5. 根据权利要求1所述的方法，其中，生成包括利用已经利用深度学习训练以创建特征的所述机器学习的多任务生成器来生成，所述特征与手工放射学特征进行比较来得到所述图像特征误差。

A6. 根据权利要求1所述的方法，其中，生成包括利用已经利用相比于针对所述效果误差的训练数据样本更大数量的针对所述图像特征误差的训练数据样本训练的所述机器学习的多任务生成器来生成。

A7. 根据权利要求1所述的方法，其中，生成包括将所述效果生成为疗法失败或肿瘤复发的似然率。

A8. 根据权利要求1所述的方法，还包括通过所述机器学习的多任务生成器识别训练数据中的一个或多个离群样本，以及基于对所述离群样本的所述识别重新训练所述机器学习的多任务生成器。

A9. 根据权利要求1所述的方法，其中，生成包括利用已经利用所述图像特征误差和效果误差的加权组合作为损失函数来训练的所述机器学习的多任务生成器来生成。

A10. 根据权利要求9所述的方法，其中，生成包括利用已经利用所述图像特征误差和所述效果误差来训练的所述机器学习的多任务生成器来生成，所述图像特征误差包括均方损失函数，所述效果误差包括交叉熵损失或部分似然损失函数。

A11. 根据权利要求1所述的方法，其中，生成包括利用包括用于图像特征的编码器和用于所述效果的分类器的所述机器学习的多任务生成器来生成。

A12. 根据权利要求1所述的方法，其中，获取和生成针对第一临床问题而被执行，并且还包括针对不同于所述第一临床问题的第二临床问题重复所述获取和生成，所述第一临床问题和所述第二临床问题是针对不同器官的，针对所述第一临床问题和所述第二临床问题的所述生成使用相同的机器学习的多任务生成器。

A13. 根据权利要求1所述的方法，还包括基于所述效果治疗所述患者。

A14. 一种用于在医学疗法***中机器训练决策支持的方法，所述方法包括：

定义多任务网络，所述多任务网络具有用于效果估计的输出层和用于图像特征估计的输出层；

机器训练所述多任务网络以估计图像特征并且根据输入医学成像体积估计效果，所述训练是基于地面真值效果和地面真值图像特征的；以及

存储经机器训练的多任务网络。

A15. 根据权利要求14所述的方法，其中，机器训练包括利用包括图像特征损失和效果损失的加权组合的损失函数来机器训练。

A16. 根据权利要求14所述的方法，其中，机器训练包括利用针对所述地面真值效果的训练数据样本和针对所述地面真值图像特征的训练数据样本来训练，针对所述地面真值效果的训练数据样本在数量方面比针对所述地面真值图像特征的训练数据样本少一个数量级。

A17. 根据权利要求14所述的方法，其中，机器训练包括在从训练数据移除离群部或校正训练数据中的离群部的情况下的机器训练，所述离群部通过所述多任务网络的先前迭代识别。

A18. 一种用于疗法决策支持的医学成像***，所述医学成像***包括：

被配置为扫描患者的医学成像器；

被配置为响应于来自所述扫描的扫描数据到多任务训练网络的输入而预测对所述患者的疗法的结果；以及

被配置为显示所预测的结果的显示器。

A19. 根据权利要求18所述的医学成像***，其中，所述医学成像器包括计算机体层摄影成像器，并且其中，所述多任务训练网络是使用针对基于手工放射学的图像特征的第一损失以及使用针对效果的第二损失来训练的。

A20. 根据权利要求18所述的医学成像***，其中，所述多任务训练网络包括用于图像特征的机器学习编码器和用于所述疗法的所述结果的所述预测的全连接网络。

B1. 一种用于医学疗法***中的决策支持的方法，所述方法包括：

获取患者的医学扫描；

生成对所述患者的疗法后的生存预测，所述生存由已经基于包括生存损失的至少两个损失训练的机器学习的多任务生成器生成；以及

显示所述生存的图像。

B2. 根据权利要求1所述的方法，其中，获取包括利用计算机体层摄影扫描仪来扫描所述患者。

B3. 根据权利要求1所述的方法，其中，获取包括获取表示所述患者的体积中的位置的三维分布的体素数据，并且其中，生成包括基于分割三维区域的所述体素数据的输入而生成。

B4. 根据权利要求1所述的方法，其中，生成包括利用包括卷积神经网络的所述机器学习的多任务生成器来生成。

B5. 根据权利要求4所述的方法，其中，生成包括利用所述卷积神经网络来生成，所述卷积神经网络包括作为编码器和解码器网络的部分训练的编码器网络，并且所述卷积神经网络包括被配置为接收所述编码器网络的瓶颈特征的神经网络，所述神经网络生成所述生存。

B6. 根据权利要求1所述的方法，其中，所述至少两个损失包括图像特征损失，并且其中，生成包括利用已经利用深度学习训练以创建特征的所述机器学习的多任务生成器来生成，所述特征与手工放射学特征进行比较来得到所述图像特征损失。

B7. 根据权利要求1所述的方法，其中，生成包括利用已经利用相比于针对所述至少两个损失中的生存损失的训练数据样本更大数量的针对图像特征损失的训练数据样本训练的所述机器学习的多任务生成器来生成。

B8. 根据权利要求1所述的方法，其中，生成包括将所述生存生成为事件发生时间。

B9. 根据权利要求1所述的方法，其中，生成包括利用已经利用包括最大似然率的所述生存损失来训练的所述机器学习的多任务生成器来生成。

B10. 根据权利要求1所述的方法，其中，生成包括利用已经利用深度学习训练的所述机器学习的多任务生成器来生成，所述深度学习包括所述生存和图像特征之间的非线性关系。

B11. 根据权利要求1所述的方法，其中，生成包括将所述生存生成为作为时间的函数的似然率。

B12. 根据权利要求1所述的方法，还包括对所述生存进行分层。

B13. 根据权利要求12所述的方法，还包括基于所述分层治疗所述患者。

B14. 一种用于在医学疗法***中机器训练决策支持的方法，所述方法包括：

定义多任务网络，其具有用于生存估计的输出层和用于图像特征估计的输出层；

机器训练所述多任务网络以估计图像特征并且根据输入医学成像体积估计生存，所述训练是基于地面真值生存和地面真值图像特征的；以及

存储经机器训练的多任务网络。

B15. 根据权利要求14所述的方法，其中，机器训练包括利用包括图像特征损失和生存损失的加权组合的损失函数来机器训练，所述生存损失包括最大似然率。

B16. 根据权利要求14所述的方法，其中，机器训练包括利用针对所述地面真值生存的训练数据样本和针对所述地面真值图像特征的训练数据样本来训练，针对所述地面真值生存的训练数据样本在数量方面比针对所述地面真值图像特征的训练数据样本少一个数量级。

B17. 根据权利要求14所述的方法，其中，定义包括将所述多任务网络定义为编码器和解码器，所述编码器和解码器具有接收所述编码器和解码器的瓶颈特征作为输入的神经网络，并且其中，机器训练包括将所述地面真值图像特征与所述解码器的输出进行比较以及将所述地面真值生存与所述神经网络的输出进行比较。

B18. 一种用于疗法决策支持的医学成像***，所述医学成像***包括：

被配置为扫描患者的医学成像器；

图像处理器，其被配置为响应于来自所述扫描的扫描数据到多任务训练网络的输入而预测对所述患者的疗法之后的事件发生时间或失败风险；以及

被配置为显示所述事件发生时间或失败风险的显示器。

B19. 根据权利要求18所述的医学成像***，其中，所述医学成像器包括计算机体层摄影成像器，并且其中，所述多任务训练网络是使用针对基于手工放射学的图像特征的第一损失以及使用针对作为生存的所述事件发生时间的第二损失来训练的。

B20. 根据权利要求18所述的医学成像***，其中，所述多任务训练网络包括用于图像特征的机器学习编码器和用于所述疗法之后的所述事件发生时间或失败风险的所述预测的神经网络。

C1. 一种用于医学疗法***中的决策支持的方法，所述方法包括：

获取患者的医学扫描；

生成对所述患者的疗法的效果预测，所述效果由已经基于分割损失和效果损失训练的机器学习的多任务生成器生成；以及

显示所述生存的图像。

C2. 根据权利要求1所述的方法，其中，获取包括利用计算机体层摄影扫描仪来扫描所述患者。

C3. 根据权利要求1所述的方法，其中，获取包括获取表示所述患者的体积中的位置的三维分布的体素数据，并且其中，生成包括基于所述体素数据的输入而生成。

C4. 根据权利要求1所述的方法，其中，生成包括利用包括卷积神经网络的所述机器学习的多任务生成器来生成。

C5. 根据权利要求4所述的方法，其中，生成包括利用所述卷积神经网络来生成，所述卷积神经网络包括作为编码器和解码器网络的部分训练的编码器网络，并且所述卷积神经网络包括被配置为接收所述编码器网络的瓶颈特征的神经网络，所述神经网络生成所述效果。

C6. 根据权利要求1所述的方法，其中，生成包括利用所述机器学习的多任务生成器来生成，所述机器学习的多任务生成器已经利用深度学习训练以创建分割并将预测结果与地面真值结果进行比较来得到所述效果损失，所述分割与地面真值分割进行比较来得到所述分割损失。

C7. 根据权利要求1所述的方法，其中，生成包括利用已经利用相比于针对至少两个损失中的生存损失的训练数据样本更大数量的针对图像特征损失的训练数据样本训练的所述机器学习的多任务生成器来生成。

C8. 根据权利要求1所述的方法，其中，生成包括响应于到所述机器学习的多任务生成器的所述患者的非图像数据的输入而生成，所述机器学习的多任务生成器包括自动编码器。

C9. 根据权利要求1所述的方法，其中，生成包括利用已经被从经训练的网络的分组中选择的所述机器学习的多任务生成器来生成，所述经训练的网络中的每一个对应于输入数据类型的不同组合。

C10. 一种用于在医学疗法***中的决策支持的方法，所述方法包括：

获取表示患者特性的第一非图像数据；

生成对所述患者的疗法的效果预测，所述效果由机器学习网络生成，所述机器学习网络已经被训练为用于根据表示其他患者的第三非图像数据生成表示患者的第二非图像数据的自动编码器，所述第二非图像数据与所述第三非图像数据具有相同的类型；以及

显示所述效果的图像。

C11. 根据权利要求10所述的方法，其中，获取所述第一非图像数据包括获取所述患者的基因组、临床、测量和/或家族史数据，并且其中，所述第三非图像数据包括所述其他患者的基因组、临床、测量和/或家族史数据。

C12. 根据权利要求10所述的方法，其中，生成包括利用所述自动编码器以及全连接网络来生成，所述自动编码器包括作为编码器和解码器网络的部分训练的编码器网络，所述全连接网络被配置为接收所述编码器网络的瓶颈特征，所述全连接网络生成所述效果。

C13. 根据权利要求1所述的方法，其中，生成包括利用所述机器学习网络来生成，所述机器学习网络已经利用多任务深度学习训练以创建分割以及创建效果预测，所述分割与地面真值分割进行比较来得到分割损失，所述效果预测与地面真值结果进行比较来得到效果损失。

C14. 根据权利要求1所述的方法，其中，生成包括利用已经被从经训练的网络的分组中选择的所述机器学习网络来生成，所述经训练的网络中的每一个对应于输入数据类型的不同组合。

C15. 一种用于在医学疗法***中机器训练决策支持的方法，所述方法包括：

定义机器训练架构，所述机器训练架构具有多个数据输入选项，每个数据输入选项对应于不同类型的数据；

利用所述数据输入选项中的一个或多个的不同组合来机器训练所述机器训练架构，利用所述不同组合的所述机器训练导致被配置为生成疗法的输出预测的不同的经机器训练的生成器；

确定所述经机器训练的生成器中的每个的性能；

基于所述性能选择所述经机器训练的生成器中的一个；以及

存储所选择的经机器训练的生成器。

C16. 根据权利要求15所述的方法，其中，机器训练包括作为具有损失函数的多任务操作的机器训练，所述损失函数包括图像特征损失和效果损失的加权组合。

C17. 根据权利要求15所述的方法，其中，定义包括将所述机器训练架构定义为自动编码器，其中所述数据输入选项包括非图像数据，以及定义为被配置为从所述自动编码器接收瓶颈特征的神经网络，所述神经网络被训练为生成所述预测。

C18. 根据权利要求15所述的方法，其中，定义包括利用所述不同类型的数据来定义，所述不同类型的数据包括裁切到肿瘤的图像数据、疗法剂量图、其中肿瘤小于所表示区域的一半的图像数据、人口统计数据和临床数据。

D1. 一种用于医学疗法***中的决策支持的方法，所述方法包括：

获取患者的医学扫描；

根据所述医学扫描的扫描数据生成对所述患者的疗法的效果预测，所述效果由机器学习的多任务生成器来生成，所述机器学习的多任务生成器已经根据针对所述效果无标注的训练数据利用无监督学习来训练并且已经根据针对所述效果的标注训练数据来训练；以及

显示所述效果的图像。

D2. 根据权利要求1所述的方法，其中，获取包括利用计算机体层摄影扫描仪来扫描所述患者。

D3. 根据权利要求1所述的方法，其中，获取包括获取表示所述患者的体积中的位置的三维分布的体素数据，并且其中，生成包括基于所述体素数据的输入而生成。

D4. 根据权利要求1所述的方法，其中，生成包括利用包括自动编码器的所述机器学习的多任务生成器来生成，所述自动编码器已经利用所述无监督学习来训练。

D5. 根据权利要求4所述的方法，其中，生成包括利用针对所述效果无标注的所述训练数据来生成，所述训练数据包括肿瘤分割、非图像数据和/或放射学图像特征。

D6. 根据权利要求4所述的方法，其中，生成包括利用包括全连接网络的所述机器学习的多任务生成器来生成，所述全连接网络被配置为从所述自动编码器的瓶颈接收输入，所述全连接网络已经根据所述标注训练数据来训练。

D7. 根据权利要求6所述的方法，其中，生成包括响应于所述扫描数据的缩放和强度标准化版本的输入、以及响应于所述医学扫描的所述版本的缩放、强度最大值和强度最小值的输入而生成。

D8. 根据权利要求4所述的方法，其中，生成包括利用所述自动编码器以及利用所述机器学习的多任务生成器来生成，所述自动编码器包括作为编码器和解码器网络的部分训练的编码器网络，所述机器学习的多任务生成器包括被配置为接收所述编码器网络的瓶颈特征的神经网络，所述神经网络生成所述效果。

D9. 根据权利要求1所述的方法，还包括基于所述效果将疗法应用于所述患者。

D10. 根据权利要求1所述的方法，还包括对来自所述机器学习的多任务生成器的编码器的瓶颈的图像特征进行聚类，以及基于所述聚类识别另一患者。

D11. 一种用于疗法决策支持的医学成像***，所述医学成像***包括：

被配置为扫描患者的医学成像器；

图像处理器，其被配置为响应于来自所述扫描的扫描数据到经机器训练的网络的输入而预测对所述患者的疗法结果，所述经机器训练的网络包括以无监督方式训练的自动编码器的编码器和被配置为接收所述编码器的输出以预测所述结果的全连接网络；以及

被配置为显示所预测的结果的显示器。

D12. 根据权利要求11所述的医学成像***，其中，所述医学成像器包括计算机体层摄影成像器，并且其中，所述经机器训练的网络是使用针对图像特征或分割的第一损失以及使用针对效果的第二损失来训练的。

D13. 根据权利要求11所述的医学成像***，其中，所述经机器训练的网络包括所述编码器，其中所述自动编码器包括所述编码器和在以所述无监督方式的所述训练中根据所述编码器的所述输出估计输入的解码器。

D14. 根据权利要求11所述的医学成像***，其中，所述全连接网络包括全连接多层感知器。

D15. 根据权利要求11所述的医学成像***，其中，所述图像处理器被配置为对所述编码器的所述输出进行聚类，并且基于所述编码器的所述输出的所述聚类识别另一患者。

D16. 一种用于医学疗法***中的决策支持的方法，所述方法包括：

获取患者的医学扫描；

生成经机器学习的自动编码器的瓶颈特征的值，所述经机器学习的自动编码器已经利用无监督学习根据针对疗法效果无标注的训练数据来训练；

对所述瓶颈特征的所述值进行聚类；

基于所聚类的所述值识别另一患者；以及

显示所述另一患者的疗法数据。

D17. 根据权利要求16所述的方法，其中，获取包括利用计算机体层摄影扫描仪来扫描所述患者。

D18. 根据权利要求16所述的方法，其中，生成还包括利用所述经机器学习的自动编码器来生成，所述经机器学习的自动编码器包括被配置为根据所述瓶颈特征的所述值生成对所述患者的疗法的输出的多任务生成器。

本文描述的各种改进可以一起使用或单独使用。尽管本文已经参考附图描述了本发明的说明性实施例，但是要理解，本发明不限于那些精确的实施例，并且本领域技术人员可以在不脱离本发明的范围或精神的情况下在其中实现各种其他改变和修改。

Claims (20)

1.一种用于医学疗法***中的决策支持的方法，所述方法包括：

获取患者的医学扫描；

根据对所述患者的疗法生成效果预测，所述效果由已经基于图像特征误差和效果误差两者训练的机器学习的多任务生成器来生成；以及

显示所述效果的图像。

2.根据权利要求1所述的方法，其中，获取包括利用计算机体层摄影扫描仪来扫描所述患者。

3.根据权利要求1所述的方法，其中，获取包括获取表示所述患者的体积中的位置的三维分布的体素数据，并且其中，生成包括基于分割三维区域的所述体素数据的输入而生成。

4.根据权利要求1所述的方法，其中，生成包括利用包括卷积神经网络的所述机器学习的多任务生成器来生成。

5.根据权利要求1所述的方法，其中，生成包括利用已经利用深度学习训练以创建特征的所述机器学习的多任务生成器来生成，所述特征与手工放射学特征进行比较来得到所述图像特征误差。

6.根据权利要求1所述的方法，其中，生成包括利用已经利用相比于针对所述效果误差的训练数据样本更大数量的针对所述图像特征误差的训练数据样本训练的所述机器学习的多任务生成器来生成。

7.根据权利要求1所述的方法，其中，生成包括将所述效果生成为疗法失败或肿瘤复发的似然率。

8.根据权利要求1所述的方法，还包括通过所述机器学习的多任务生成器识别训练数据中的一个或多个离群样本，以及基于对所述离群样本的所述识别重新训练所述机器学习的多任务生成器。

9.根据权利要求1所述的方法，其中，生成包括利用已经利用所述图像特征误差和效果误差的加权组合作为损失函数来训练的所述机器学习的多任务生成器来生成。

10.根据权利要求9所述的方法，其中，生成包括利用已经利用所述图像特征误差和所述效果误差来训练的所述机器学习的多任务生成器来生成，所述图像特征误差包括均方损失函数，所述效果误差包括交叉熵损失或部分似然损失函数。

11.根据权利要求1所述的方法，其中，生成包括利用包括用于图像特征的编码器和用于所述效果的分类器的所述机器学习的多任务生成器来生成。

12.根据权利要求1所述的方法，其中，获取和生成针对第一临床问题而被执行，并且还包括针对不同于所述第一临床问题的第二临床问题重复所述获取和生成，所述第一临床问题和所述第二临床问题是针对不同器官的，针对所述第一临床问题和所述第二临床问题的所述生成使用相同的机器学习的多任务生成器。

13.根据权利要求1所述的方法，还包括基于所述效果治疗所述患者。

14.一种用于在医学疗法***中机器训练决策支持的方法，所述方法包括：

定义多任务网络，其具有用于效果估计的输出层和用于图像特征估计的输出层；

机器训练所述多任务网络以估计图像特征并且根据输入医学成像体积估计效果，所述训练是基于地面真值效果和地面真值图像特征的；以及

存储经机器训练的多任务网络。

15.根据权利要求14所述的方法，其中，机器训练包括利用包括图像特征损失和效果损失的加权组合的损失函数来机器训练。

16.根据权利要求14所述的方法，其中，机器训练包括利用针对所述地面真值效果的训练数据样本和针对所述地面真值图像特征的训练数据样本来训练，针对所述地面真值效果的训练数据样本在数量方面比针对所述地面真值图像特征的训练数据样本少一个数量级。

17.根据权利要求14所述的方法，其中，机器训练包括在从训练数据移除离群部或校正训练数据中的离群部的情况下机器训练，所述离群部通过所述多任务网络的先前迭代识别。

18.一种用于疗法决策支持的医学成像***，所述医学成像***包括：

被配置为扫描患者的医学成像器；

图像处理器，其被配置为响应于来自所述扫描的扫描数据到多任务训练网络的输入而预测对所述患者的疗法的结果；以及

被配置为显示所预测的结果的显示器。

19.根据权利要求18所述的医学成像***，其中，所述医学成像器包括计算机体层摄影成像器，并且其中，所述多任务训练网络是使用针对基于手工放射学的图像特征的第一损失以及使用针对效果的第二损失来训练的。

20.根据权利要求18所述的医学成像***，其中，所述多任务训练网络包括用于图像特征的机器学习编码器和用于所述疗法的所述结果的所述预测的全连接网络。