CN111971751A - 用于评估动态数据的***和方法 - Google Patents

Abstract

一种用于实时分析由成像模态在扫描程序期间生成的动态数据的方法包括接收对应于受检者的动态数据。此外，该方法包括接收被配置为处理动态数据的深度学习模型，其中深度学习模型是基于使用先前获取的动态数据所训练的神经网络。该方法包括使用深度学习模型实时处理动态数据以生成代表受检者的医疗状态的至少一个特征值。另外，该方法包括基于至少一个特征值自动生成对应于医疗状态的医疗推荐。该方法还包括经由显示单元呈现医疗推荐以便于向受检者提供医疗护理。

Description

用于评估动态数据的***和方法

背景技术

本说明书的实施方案整体涉及动态数据的处理和评估，并且更具体地涉及用于使用在扫描程序期间获取的动态数据来识别医疗状态的***和方法。

医学成像数据越来越多地用于诊断和治疗健康状况，诸如但不限于癌症状况和动脉疾病。成像技术诸如动态计算机断层扫描(CT)和磁共振成像(MRI)生成具有有价值的诊断信息的大量医学图像。然而，医疗专业人员需要研究这些图像以得出任何有用的诊断信息。而且，对图像的研究是费力且耗时的过程。

由于需要大量体素来表示增加的动态分辨率，因此在新兴应用中动态数据的视觉检查是不切实际的。通常，使用基于物理学的模型或生理模型通过一个或多个参数来量化动态数据。处理参数以识别病变或“风险”区域，并且得出治疗决策或指导外科干预。通常，量化不是标准化的，并且参数具有高可变性并且不一致。此外，在许多情况下，量化需要大量的计算工作并且可能需要离线执行。分析参数和确定医疗状态的负担由医疗专业人员承担。

医学图像体积的自动分割和分析是医疗专业人员用于为患者提供有效治疗计划的有前景且有价值的工具。通常使用机器学习技术来执行医学图像体积的自动分割和分析。然而，常规机器学习技术需要从动态数据中提取临床相关信息。通常，由医疗专业人员手动生成临床相关信息。生成训练数据集需要用户干预，这必然带来主观性和质量问题。

近来，深度学习技术越来越多地用于在各种医学应用中处理动态数据。这些深度学习技术已用于在非线性建模和计算要求方面涉及极其复杂的***的机器学习任务。

发明内容

根据本说明书的一个方面，公开了一种用于实时分析由成像模态在扫描程序期间生成的动态数据的方法。该方法包括经由数据获取单元实时接收对应于受检者的动态数据。此外，该方法包括经由数据获取单元接收被配置为处理动态数据的深度学习模型，其中深度学习模型是基于使用先前获取的动态数据所训练的神经网络，并且其中深度学习模型被配置为确定解剖区的功能状态、感兴趣区的生理状态和用于生成临床决策的临床参数中的至少一者。此外，该方法包括经由深度学习单元使用深度学习模型实时处理动态数据以生成代表受检者的医疗状态的至少一个特征值。此外，该方法包括经由推荐单元基于至少一个特征值自动生成对应于医疗状态的医疗推荐。该方法还包括经由显示单元呈现医疗推荐以便于向受检者提供医疗护理。

根据本说明书的另一方面，公开了一种用于实时分析由成像模态在扫描程序期间生成的动态数据的***。该***包括数据库单元，该数据库单元被配置为存储对应于多个医疗状态的多个深度学习模型，其中多个深度学习模型是基于使用先前获取的动态数据所训练的神经网络。此外，该***包括数据获取单元，该数据获取单元被配置为接收对应于受检者的动态数据。另外，数据获取单元被配置为接收多个深度学习模型中的深度学习模型，其中深度学习模型被配置为确定解剖区的功能状态、感兴趣区的生理状态和用于生成临床决策的临床参数中的至少一者。该***还包括深度学习单元，该深度学习单元通信地耦接到数据获取单元并且被配置为使用深度学习模型实时处理动态数据以生成代表受检者的医疗状态的至少一个特征值。此外，该***包括推荐单元，该推荐单元通信地耦接到深度学习单元并且被配置为基于至少一个特征值自动生成对应于医疗状态的医疗推荐。该***还包括显示单元，该显示单元通信地耦接到推荐单元并且被配置为呈现医疗推荐以便于向受检者提供医疗护理。

附图说明

当参考附图阅读以下详细描述时，将更好地理解本发明实施方案的这些和其他特征和方面，其中附图中相同的符号在所有附图中表示相同的部分，其中：

图1是根据本说明书的各方面的用于评估在扫描程序期间获取的动态数据的***的图解示意图；

图2是根据本说明书的各方面的示出用于由图1的***处理动态数据的工作流程的示意图；

图3是根据本说明书的各方面的用于评估动态数据的方法的流程图；

图4A至图4D示出了根据本说明书的各方面的用于生成深度学习模型以检测缺血性中风的动态磁敏感MRI灌注数据；

图5A至图5B示出了根据本说明书的各方面的用于生成深度学习模型以检测肿瘤状况的扩散加权成像(DWI)表示；

图6A至图6E是根据本说明书的各方面的表示用于生成深度学习模型以检测肿瘤侵袭性的动态对比增强MRI(DCE-MRI)数据的曲线图；

图7A是根据本说明书的各方面的代表用于生成深度学习模型的脑胶质瘤DCE数据的图像；

图7B至图7C是根据本说明书的各方面的表示对应于图7A的肿瘤区和非肿瘤区的曲线图；

图8A至图8D是根据本说明书的各方面的示出动态数据处理在区分开肿瘤与血管之间的高血容量区方面的有效性的图像；并且

图9A至图9B是根据本说明书的各方面的示出由动态数据处理生成的数据特征的一致性的图形表示。

具体实施方式

如将在下文中详细描述的，呈现了用于实时分析动态数据的***和方法。更具体地，呈现了用于使用在扫描程序期间获取的动态数据实时识别受检者诸如患者的医疗状态的***和方法。

术语“动态数据”是指代表对应于受检者体内的器官、血管或流体运动的时变生理特性的数据。术语“实时”是指对应于数据生成、获取和/或处理的速率的时间窗口。短语“实时接收”是指从数据生成的瞬间起在指定持续时间内接收数据，而短语“实时处理”是指在指定持续时间内处理所接收的数据。术语“医疗状态”是指受检者的医学状况，并且具体地是指受检者体中感兴趣解剖器官或感兴趣区的医学状况。术语“医疗状态”也可指感兴趣区的功能状态或生理状态中的一种。医疗状态通过在本文称为“至少一个特征值”的一个或多个特征值来表示。可以指出的是，在一些实施方案中，使用一个特征值来表示医疗状态可能就足够了。在其他实施方案中，可使用多个特征值来表示医疗状态。术语“至少一个特征值”、“一个或多个特征值”和“多个特征值”可等效地并且互换地使用。至少一个特征值可以是生成临床决策所需的临床参数。

图1是根据本说明书的各方面的医学成像模态100的示意图，该医学成像模态具有用于实时分析在扫描程序期间获取的动态数据的动态成像***104。在一个实施方案中，医学成像模态100包括动态成像***104和图像数据获取***106。可以指出的是，尽管图1的示例将动态成像***104描绘为独立单元，但在某些实施方案中，动态成像***104可以是图像数据获取***106的一部分，反之亦然。

在一个实施方案中，图像数据获取***106可以是被配置为生成CT图像数据的计算机断层扫描(CT)成像***。在另一个实施方案中，图像数据获取***106是被配置为生成MRI数据的磁共振成像(MRI)***。在又一个实施方案中，图像数据获取***106是被配置为生成超声图像数据的超声成像***。在某些其他实施方案中，图像数据获取***106可以是被配置为分别生成PET图像数据或X射线图像数据的正电子发射断层扫描(PET)成像***或X射线成像***。可以指出的是，图像数据获取***106不限于任何类别的成像设备，并且可包括任何其他成像***。

图像数据获取***106包括机架102，该机架被配置为接收患者检查台110，执行受检者112诸如患者的成像，并且实时生成动态数据114。在一个实施方案中，动态数据114以医学数字成像和通信(DICOM)标准格式来表示。

此外，动态成像***104被配置为从图像数据获取***106接收动态数据114并且处理动态数据114以实时生成至少一个特征值108。该特征值108代表受检者112的医疗状态。在一个实施方案中，特征值108包括对应于受检者112体中的感兴趣区(ROI)中的多个位置的多个参数。该多个参数可代表生理状况，诸如但不限于对应于受检者112体中的ROI中的多个位置的恶性肿瘤状况和动脉疾病状况。动态成像***104还可被配置为基于多个参数实时生成代表ROI的健康状况的风险图像。动态成像***104还可被配置为在控制台诸如显示单元130上可视化风险图像。

在一个实施方案中，动态数据114是时变图像数据。可以指出的是，动态数据114可表示为二维(2D)图像数据、三维(3D)图像数据或四维(4D)图像数据。可以指出的是，2D图像由布置在平面中的多个像素形成。该多个像素中的每个像素都被表示为代表灰度值的实值或代表颜色值的实值的三元组。类似地，3D图像可由布置在体积中的多个体素形成。该多个体素中的每个体素都可表示为代表灰度(颜色)值和不透明度值的实值向量。对应于动态数据114的多个特征值也可类似地表示为2D图像、3D图像或4D图像。在一个实施方案中，动态数据还可代表向量值动态数据。可以指出的是，向量值动态数据包括时间序列动态数据。在一个示例中，时变***中的向量值动态数据可以是按时间索引的动态数据。在另一个示例中，扩散实验中的向量值动态数据可以是按扩散敏化因子索引的动态数据。时间序列动态数据是向量值动态数据的特例，其中时间作为索引参数。

基于图像数据获取***106，动态数据114可包括X射线图像数据、CT图像数据、MRI数据、超声图像数据等中的一者。在某些其他实施方案中，动态数据114还可包括动态磁敏感磁共振成像(MRI)灌注数据、动态对比增强磁共振成像(DCE-MRI)数据、扩散加权成像磁共振成像(DWI-MRI)数据和灌注加权成像磁共振成像(PWI-MRI)数据。在另外的实施方案中，动态数据114可包括动态磁敏感加权磁共振成像数据、多扩散敏感因子(b-值)扩散加权成像(多-b-值-DWI)数据、单个体素处的向量值动态数据、计算机断层扫描动态数据、超声动态数据动态对比增强(DCE)钆时间序列和动态PET、体素内不相干运动(IVIM)数据。

在当前设想的配置中，动态成像***104包括数据库单元116、数据获取单元118、深度学习单元120、推荐单元122、处理器单元124和存储器单元126。动态成像***104中的各种单元通过通信总线128彼此互连。

数据库单元116被配置为存储多个深度学习模型。深度学习模型继而代表非线性模型，该非线性模型被自定义为有助于确定受检者112的医疗状态。医疗状态包括但不限于存在癌组织、冠状动脉阻滞和其他此类疾病状况。在一个实施方案中，基于对应于受检者112的医疗状态的历史或先前获取的动态数据集离线生成深度学习模型。历史动态数据集是指先前获取的动态数据并且包括具有对应于先前执行的扫描程序的动态数据的医疗记录。例如，历史动态数据集可包括在某个时间段内获取的对应于特定患者的图像。历史动态数据集还包括已知的历史医疗状态和对应于动态图像数据的一个或多个历史参数。历史动态数据集还可包括医学治疗选项和对应的医疗结果状况。

在一个实施方案中，存储在数据库单元116中的深度学习模型包括但不限于神经网络模型、卷积网络模型和递归神经网络模型。深度学习模型包括对应于图1的动态图像数据114的处理方案。具体地，基于动态图像数据的期望格式来定制/自定义该处理方案，并且该处理方案包括多个模型参数和处理步骤。一般来讲，使用训练技术，基于对应于医学状况的历史动态图像数据集的子集生成深度学习模型。经训练的深度学习模型被配置为检测ROI的医疗状态。

此外，在一个实施方案中，每个深度学习模型可被配置为检测受检者112的给定医疗状态。以举例的方式，多个深度学习模型中的一个深度学习模型被配置为使用对应于脑区的动态磁敏感MRI灌注数据来检测缺血性中风。类似地，另一个深度学习模型被配置为使用对应于***区的扩散加权成像数据来检测肿瘤侵袭性。以类似的方式，又一个深度学习模型被配置为基于对应于具有神经胶质(神经元支持组织)的脑区的DCE-MRI数据来检测神经肿瘤。另外，深度学习模型中的一个深度学习模型被配置为基于对应于ROI的推注浓度曲线来将非肿瘤区与肿瘤区区分开。类似地，深度学习模型可被配置为使用对应于血管的DCE曲线来确定与血管相关联的肿瘤概率值。在一些实施方案中，深度学习模型中的一个深度学习模型可被配置为生成代表医疗状态的数值。在其他实施方案中，深度学习模型被配置为生成对应于医疗状态的诊断。本文应当指出的是，一个或多个深度学习模型还可被配置为建议治疗选项、对应于该治疗选项的成功概率和与医疗状态相关联的其他此类参数。

动态成像***104还包括数据获取单元118，该数据获取单元通信地耦接到图像数据获取***106并且被配置为实时接收在扫描程序期间生成的对应于受检者112的动态数据114。该数据获取单元118还被配置为从数据库单元116接收深度学习模型。在一个实施方案中，基于所接收的动态数据114的类型和待确定的医疗状态的类型来选择多个深度学习模型中的一个深度学习模型。为此，在一些实施方案中，数据获取单元118被配置为接收有助于选择对应的深度学习模型的用户偏好。此外，数据获取单元118被配置为基于所接收的用户偏好从数据库单元116中选择多个深度学习模型中的一个深度学习模型。在其他实施方案中，处理器单元124可被配置为在没有用户干预的情况下从多个深度学习模型中自动选择一个或多个深度学习模型。此外，在一个实施方案中，基于使用先前获取的动态数据所训练的神经网络生成深度学习模型。此外，深度学习模型被配置为确定解剖区的功能状态、感兴趣区的生理状态和用于生成临床决策的临床参数中的至少一者。

此外，在某些实施方案中，数据库单元116还被配置为存储由机架102生成的动态数据114。可以指出的是，在一个实施方案中，数据库单元116以DICOM格式存储动态数据114。在一个实施方案中，数据库单元116采用关系数据库管理***(RDBMS)来支持对使用动态数据114重建的图像进行存档。在另一个实施方案中，数据库单元116采用可扩展的无模式数据，该数据不仅仅支持结构查询语言(NoSQL)数据库，诸如但不限于Cassandra、CouchDB、MongoDB、Bigtable、Redis和Hbase。

动态成像***104还包括深度学习单元120，该深度学习单元通信地耦接到数据获取单元118并且被配置为实时处理动态数据114。更具体地，深度学习单元120被配置为使用所选择的深度学习模型处理动态数据114，以生成代表受检者112的医疗状态的至少一个特征值108。深度学习单元120被配置为使用由所选择的深度学习模型所指定的处理方案并且处理动态数据114以用于生成特征值108。此外，深度学习单元120还被配置为基于历史动态数据集生成一个或多个深度学习模型。在一个实施方案中，深度学习单元120包括一个或多个处理器、软件代码和其他硬件元件，诸如但不限于定制电路和现成部件。

在一个实施方案中，特征值108可以是代表对应于ROI的一部分的医疗状态的概率的归一化数值。医疗状态的一些非限制性示例包括但不限于组织的恶性肿瘤状况和血管的出血状况。在另一个实施方案中，特征值108可以是代表贝叶斯类别的二进制值。贝叶斯类别的一些示例可包括组织类别，诸如ROI内的组织的正常状况和恶性状况。

此外，深度学习单元120被配置为生成对应于ROI中的多个空间位置的多个参数。在一个实施方案中，基于特征值108确定多个参数。在一个实施方案中，参数可代表ROI中的多个位置处的组织的恶性肿瘤状态。

此外，深度学习单元120被配置为基于这些参数生成风险图像。在一个实施方案中，这些参数可具有代表概率值的对应值。概率值继而可代表ROI中的组织恶性肿瘤的可能性。在另一个实施方案中，参数可具有二进制值。在该示例中，“0”参数值表示ROI的一部分的正常状况，并且“1”参数值表示ROI的该部分的异常状况。

另外，在某些实施方案中，风险图像形成为具有从多个参数值中所选择的像素值的2D图像。可以指出的是，如果多个参数包括时变参数，则风险图像形成为时变2D图像。在另一个实施方案中，风险图像可形成为具有多个体素值的3D图像，该多个体素值选自从3D动态图像数据集导出的多个参数值。

此外，在一个实施方案中，深度学习单元120可被配置为使用循环神经网络(RNN)处理动态数据114中的图像。在另一个实施方案中，深度学习单元120可被配置为使用递归网络处理动态数据114中的图像。在又一个实施方案中，深度学习单元120可被配置为使用卷积神经网络(CNN)处理动态数据114中的图像。CNN可包括多个卷积级，并且每个卷积级可包括以级联方式操作地耦接的卷积层、激活层和池化层。卷积层、激活层和池化层中的每一者都包括对应的多个层参数。可选择级的数量和层参数的数量以对动态数据114的至少一个特征值108建模。

如先前所指出的，深度学习单元120还被配置为基于历史动态数据集生成深度学习模型。具体地，深度学习单元120被配置为选择神经网络结构。使用来自历史动态数据集的训练图像数据来训练所选择的神经网络结构。训练图像数据包括多个训练图像和对应于该多个训练图像中的每个训练图像的至少一个特征值。此外，可对应于特定医学状况来选择训练图像数据。对应于训练图像数据的至少一个特征值可用于诊断特定医学状况。

动态成像***104还包括推荐单元122，该推荐单元通信地耦接到深度学习单元120并且被配置为基于特征值108生成对应于医疗状态的医疗推荐132。在一个实施方案中，医疗推荐132可基于对疾病状况的诊断。在该示例中，推荐单元122被配置为生成对疾病状况(如果有的话)的诊断。具体地，在一个示例中，推荐单元122被配置为通过将特征值108与预先确定的阈值进行比较来生成对疾病状况的诊断。医疗推荐132的一些示例包括附加扫描、血液测试、活检等。在另一个示例中，医疗推荐132可为针对诊断出的疾病/医学状况的药物处方。

在另一个实施方案中，推荐单元122被配置为基于特征值108从历史动态数据集中识别一个或多个医疗记录。在一个实施方案中，基于特征值108与对应的历史特征值之间的相似性来识别一个或多个医疗记录。此外，推荐单元122被配置为实时生成医疗推荐132。该医疗推荐132包括基于一个或多个医疗记录的治疗选项和预期医疗结果。

根据本说明书的各方面，推荐单元122可包括一个或多个专家***，该一个或多个专家***被配置为基于至少一个特征值108生成医疗推荐。此外，专家***可被配置用于基于医疗专业人员提供的反馈来学习决策规则。以举例的方式，医疗专业人员接收由推荐单元122生成的医疗推荐并且将该推荐与他们的评价进行比较，以向专家***提供反馈。

在一个实施方案中，推荐单元122还被配置为实时评价所接收的用于生成医疗推荐的动态数据的充分性。此外，推荐单元122还被配置为基于所接收的动态数据的所评价的充分性来终止扫描程序。具体地，在一个示例中，当所接收的动态数据量超过所确定的动态数据量时，推荐单元122可终止扫描。在某些实施方案中，所确定的动态数据量可由用户提供。在该示例中，基于所接收的动态数据114的量来确定所接收的动态数据的充分性。又如，当基于所接收的动态数据生成的推荐能够准确地表示受检者的医疗状态时，推荐单元122可终止扫描。在该示例中，基于医疗推荐132的质量来确定充分性。在一个实施方案中，医疗推荐132的质量由算法使用从所接收的动态数据114导出的质量度量值来确定。

可以指出的是，推荐单元122被配置为仅使用预先配置的深度学习模型而不使用分析模型来处理动态数据114。本文所用的术语“分析模型”是指对应于动态数据114的物理模型、生理模型、解剖模型和化学模型中的一者或多者。应当理解，当前可用的***使用分析模型来生成对应的推荐。这些分析模型基于代表物理***的行为的物理原理、对生理过程的生理理解和对应于解剖结构的解剖信息来生成推荐。然而，分析模型可能不能准确地表示物理过程，并且可能无法捕获考虑中的动态数据的特殊性。通过避免使用分析模型并且经由使用深度学习模型来生成推荐，避开了本发明的可用***的缺点。

显示单元130通信地耦接到动态成像***104。此外，显示单元130被配置为向用户可视化至少一个特征值108。另外，显示单元130被配置为向用户实时呈现医疗推荐132，从而便于向受检者112提供医疗护理。医疗推荐132用于向受检者112实时提供医疗护理。例如，在CT扫描程序期间，动态成像***104可通过将动态数据114叠加在风险图像上来生成合成图像。在一些实施方案中，风险图像可为二进制图像。动态成像***104可在显示单元130上实时显示合成图像。执行扫描程序的医疗专业人员可基于所显示的合成图像来调整和/或修改扫描程序。以举例的方式，医疗专业人员可实时执行对期望区的附加成像，而无需中断正在进行的扫描程序。

处理器单元124包括通用计算机、GPU、数字信号处理器和控制器中的至少一者。在其他实施方案中，处理器单元124包括定制处理器元件，诸如但不限于专用集成电路(ASIC)和现场可编程门阵列(FPGA)。处理器单元124还可被配置为经由控制台从操作员接收命令和/或参数，该控制台具有键盘或鼠标或者用于生成至少一个特征值108的任何其他输入装置。在某些实施方案中，处理器单元124可被配置为自动帮助生成至少一个特征值108。在一些实施方案中，处理器单元124可被配置为帮助数据获取单元118、深度学习单元120和推荐单元122中的一者或多者执行相应的功能。处理器单元124可包括彼此合作地工作以执行预期功能的多于一个处理器。处理器单元124还被配置为将内容存储到存储器单元126中和从存储器单元中检索内容。在一个实施方案中，处理器单元124被配置为发起和控制数据获取单元118、深度学习单元120和推荐单元122中的一者或多者的功能。

在一个实施方案中，处理器单元124通信地耦接到数据获取单元118并且被配置为辅助数据获取单元118从存储器单元126接收历史动态数据集。处理器单元124还被配置为辅助深度学习单元120基于历史动态数据集生成多个深度学习模型。在一个实施方案中，深度学习单元120被配置为生成深度学习模型。深度学习单元120生成深度学习模型需要选择神经网络结构并且基于先前获取的动态数据来训练对应于所选择的神经网络结构的多个深度学习模型参数。具体地，生成每个深度学习模型包括基于先前获取的动态数据来训练循环神经网络(RNN)。在训练阶段之后，深度学习模型被存储在数据库单元116中。

在一个实施方案中，存储器单元126为随机存取存储器(RAM)、只读存储器(ROM)、闪存存储器或可由数据获取单元118、深度学习单元120和推荐单元122中的至少一者访问的任何其他类型的计算机可读存储器。另外，在某些实施方案中，存储器单元126可为用程序编码的非暂态计算机可读介质，该程序具有多个指令以指示数据获取单元118、深度学习单元120和推荐单元122中的至少一者执行步骤序列以生成至少一个特征值108。该程序还可指示推荐单元122基于至少一个特征值108生成对应于医疗状态的医疗推荐132。此外，该程序还指示推荐单元122经由显示单元130呈现医疗推荐132，使得用户可使用推荐132来向受检者112提供医疗护理。

如上文所述的医学成像模态100提供了用于增强对动态数据的处理以向医疗专业人员/临床医生实时提供临床相关信息的稳健性技术。临床相关信息可包括正在研究的病理的“组织的风险状态”。基于由医学成像模态100实时提供的信息，临床医生还可使用高级数据收集方法或离线量化工具来分析对应于风险区域的数据。另外，医学成像模态100提供用于处理不同类型的动态数据的深度学习模型，以基于连续获取和重建的动态数据提供实时信息，同时避免对任何离线处理的需要。因此，成像***(包括示例性动态成像***104)不仅在例行扫描中而且在其他医疗护理套件(诸如外科手术计划和指导、治疗递送、放射计划)中的影响都可能得到有利的改善。

图2是根据本说明书的各方面的示出用于由图1的***100处理动态数据的工作流程200的示意图。如图2中所描绘的，图像数据获取***202(诸如图1的图像数据获取***106)被配置为实时生成动态数据204。参考图1的部件来描述图2的工作流程200。

如框206所指示的，由深度学习模型处理动态数据204的解剖图像以生成代表受检者112的医疗状态的至少一个特征值208。深度学习模型是存储在数据储存库(诸如数据库单元116)中的多个深度学习模型中的一个深度学习模型。如先前所指出的，医学成像模态100被配置为生成深度学习模型并且将深度学习模型存储在数据库单元116中。由深度学习模型处理实时动态数据204以生成对应于受检者112体中的ROI的一个或多个特征值208。可由深度学习单元120执行框206。

此外，在框210处，基于这些特征值208实时生成风险图像212。深度学习单元120可用于生成风险图像212。在一个实施方案中，风险图像212代表ROI中的多个位置处的组织的恶性肿瘤状态。在另一个实施方案中，风险图像212代表ROI中的多个位置处的疾病的进展。在显示设备(诸如图1的显示单元130)上实时可视化风险图像212。在一个实施方案中，深度学习单元120可用于使用对应于ROI中的多个空间位置的多个参数来生成风险图像212。基于特征值108确定这些参数。此外，通过将风险图像212叠加在解剖图像上来生成合成图像并且在显示单元130上显示该合成图像。风险图像212可包括医疗状态的量化、组织区的分类、疾病的进展以及受检者112的基础医疗状态的其他此类指标。

另外，如框214所指示的，医学成像模态100被配置为基于特征值208生成医疗推荐132。医疗推荐132的一些非限制性示例包括外科手术计划216、治疗递送218、报告生成220和其他治疗选项。在一个示例中，特征值208可用于有效的外科手术计划216。在另一个示例中，特征值208可用于治疗递送218。在又一个示例中，特征值208可用于记录和报告医疗状态220。图1的推荐单元122用于生成医疗推荐132。

图3是根据本说明书的各方面的用于实时分析动态数据的方法300的流程图。参考图1至图2的部件来描述该方法。方法300包括实时接收对应于受检者112的动态数据114，如步骤302所指示的。由成像模态(诸如图像数据获取***106)在扫描程序期间生成动态数据114。动态成像***104(并且具体地，数据获取单元118)被配置为从图像数据获取***106接收动态数据114。动态数据114包括以下中的至少一项：DCE-MRI数据、动态对比增强扩散加权成像数据(DCE-DWI)、计算机断层扫描动态数据、超声动态数据或它们的组合。在另一个实施方案中，步骤302需要接收DCE钆时间序列数据。

此外，方法300包括接收被配置为处理所接收的动态数据的深度学习模型，如步骤302所指示的。在某些实施方案中，所接收的动态数据可包括向量值动态数据。深度学习模型是基于使用先前获取的动态数据所训练的神经网络。

在一个实施方案中，深度学习模型是由深度学习单元120生成的多个深度学习模型中的一个深度学习模型。在步骤312-316中呈现深度学习模型的生成。现在参考步骤312，从存储器单元126接收历史动态数据。随后，在步骤314处，通过使用历史动态数据训练神经网络来构建多个深度学习模型。深度学习模型的一些非限制性示例包括循环神经网络(RNN)模型、递归深度学习网络模型和卷积神经网络模型。根据本说明书的各方面，使用对应于医疗状态的一组医疗病例来生成多个深度学习模型中的每个深度学习模型。该组中的每个医疗病例都包括输入数据和对应的期望输出数据。该组医疗病例用于训练多个深度学习模型中的每个深度学习模型的多个深度学习参数。此外，在步骤316处，将多个深度学习模型存储在存储器单元126中以用于实时处理动态数据114。

现在转到步骤306，在一个实施方案中，经由深度学习模型实时处理动态数据。具体地，由深度学习模型处理动态数据114以生成代表受检者112的医疗状态的至少一个特征值108。此外，还处理动态数据204以基于多个特征值208生成风险图像，诸如对应于ROI中的多个位置的风险图像212。风险图像212继而包括代表ROI中的多个位置处的组织的恶性肿瘤状态的多个风险概率值。在另一个实施方案中，在步骤306处，可处理动态数据114以生成对应于ROI中的一部分的灌注曲线的形状。此外，对灌注曲线的形状进行分类以识别组织类别。可以指出的是，方法300不限于生成灌注曲线，并且适用于对应于ROI的一部分的任何其他动态曲线。

此外，在步骤308处，基于至少一个特征值108自动生成对应于医疗状态的医疗推荐132。在一个实施方案中，可基于历史数据生成医疗推荐132。推荐单元122用于生成医疗推荐132。为此，可从医学数据库中识别和/或检索与至少一个特征值108所表示的医疗状态基本上类似的一个或多个医疗病例。这些基本上类似的病例可用于生成医疗推荐132。在该示例中，医疗推荐132可包括基于类似病例所识别的治疗选项和预期医疗结果。在另一个实施方案中，推荐单元122用于将动态数据114叠加在风险图像212上方以生成合成图像。可将该合成图像与预定义的模板图像进行比较以生成医疗推荐132。也可将风险图像212提供给医疗专业人员，以帮助促进关于治疗选项的决策。

在步骤310处，向医疗专业人员实时呈现医疗推荐。在一个实施方案中，可在显示单元130上可视化医疗推荐。医疗专业人员可使用医疗推荐来向受检者112实时提供医疗护理。在一个实施方案中，提供医疗护理可包括执行以下中的至少一项：活检计划、外科手术指导、治疗计划、治疗递送、放射计划、来自ROI的数据获取任务或它们的组合。

图4A至图4D示出了根据本说明书的各方面的用于生成深度学习模型的动态数据，诸如历史动态数据。图4A中呈现的动态数据包括MRI扩散数据，并且图4B至图4D描绘了动态磁敏感MRI灌注数据。

图4A是使用对应于受中风影响的脑区的扩散加权成像(DWI)数据生成的图像400。图像400包括代表受缺血性中风影响的梗塞组织的亮区402。图4B是使用对应于图4A所示的受中风影响的脑图像数据的灌注加权图像(PWI)数据生成的图像404。图像404包括代表健康组织的第一区406和代表受中风影响的梗塞组织的第二区408。

图4C是灌注曲线412的曲线图410，该曲线图具有代表推注时间索引的x轴414和代表以AU为单位的信号强度的y轴416。灌注曲线412对应于图4B的第一区406。如图4C所描绘的，灌注曲线412包括谷区418。谷区418对应于早期推注并且一般代表正常组织。

图4D为对应于由中风引起的梗塞组织的灌注曲线422的曲线图420。曲线图420包括代表推注时间索引的x轴424和代表以AU为单位的信号强度的y轴426。如图4D所描绘的，曲线图420的灌注曲线422对应于图4B的第二区408。灌注曲线422在区428中是相对平坦的。该区428一般代表梗塞区。

在一个实施方案中，图像400、404的像素可用于训练深度学习模型。在另一个实施方案中，来自灌注曲线412、422的多个样本用于训练深度学习模型。在一个实施方案中，可训练深度学习模型以提供代表组织分类为正常或恶性的特征值。在另一个实施方案中，可训练深度学习模型以提供代表组织的恶性肿瘤程度的特征值。经训练的深度学习模型能够检测ROI中的缺血性中风状况。此外，经训练的深度学习模型可用于处理从新患者获取的动态数据集，以生成代表新受检者的医学状况的至少一个特征值。

图5A和图5B示出了根据本说明书的各方面的用于生成深度学习模型以检测肿瘤状况的图像数据的扩散加权成像(DWI)表示。具体地，图5A是DWI格式的图像500并且代表水分子在感兴趣区中的扩散。图像500包括代表肿瘤组织的第一区502和代表正常组织的第二区504。可以观察到，第一区502与第二区504相比更亮，从而能够对肿瘤区进行视觉检查。

图5B是具有一般代表肿瘤组织的第一多个扩散曲线512、514和代表正常组织的第二多个扩散曲线516的曲线图506。参考标号508代表表示B-因子值的x轴，并且参考标号510代表表示信号强度值的y轴。可以看出，第一多个扩散曲线512、514与紧密间隔的第二多个扩散曲线516相比表现出更大的变化。在一个实施方案中，图5B的对应于多个受检者的扩散曲线可用于训练深度学习模型。在一个实施方案中，深度学习模型可被配置为提供代表组织分类为正常和恶性的特征值。在另一个实施方案中，深度学习模型可被配置为提供代表组织的恶性肿瘤程度的特征值。

图6A至图6E分别示出了根据本说明书的各方面的对应于受检者体中的ROI并且用于生成深度学习模型以检测肿瘤侵袭性的动态对比增强(DCE-MRI)数据的曲线图600、602、604、606、608。在图6A至图6E中，参考标号610一般表示具有时间单位的x轴，并且参考标号612代表具有信号强度单位的y轴。曲线图600、602、604、606、608表示不同类型的组织细胞对对比剂的对比度响应(在本文称为“增强”)。

图6A的曲线图600包括不具有增强的平坦曲线并且代表正常组织。另外，图6B的曲线图602包括具有缓慢持续增强的基本上线性曲线并且代表缓慢生长的肿瘤类型。

类似地，图6C中所描绘的曲线图604包括第一分段线性曲线。具体地，分段线性曲线的第一部分具有快速的初始增强，而分段线性曲线的第二部分具有持续的后期增强。该曲线图604代表轻度侵袭性类型的肿瘤组织。此外，图6D所示的曲线图606包括第二分段线性曲线。在图6D的示例中，分段线性曲线的第一部分具有快速的初始增强，而分段线性曲线的第二部分具有稳定的后期增强。这种类型的曲线图代表肿瘤组织的侵袭性类型。图6E的曲线图608包括第三分段线性曲线。在图6E的示例中，分段线性曲线的第一部分具有快速的初始增强，而分段线性曲线的第二部分具有减小的后期增强。这种类型的曲线图代表最具侵袭性的肿瘤类型。

在一个实施方案中，可使用对应于多个受检者的多个对比度响应曲线诸如图6A至图6E的曲线602-608用于训练深度学习模型。在一个实施方案中，深度学习模型可被配置为提供离散的特征值，该离散的特征值代表组织分类为正常、缓慢、轻度、侵袭性和非常侵袭性生长的恶性组织。在另一个实施方案中，深度学习模型可被配置为提供代表实值的特征值。实值继而可代表组织的恶性肿瘤。在一个示例中，特征值可具有介于零和一之间的任何分数值，其中极值分别表示正常组织和恶性组织。以举例的方式，“0”值可指示正常组织，并且“1”值可指示更具侵袭性类型的恶性组织。

图7A是使用对应于脑胶质瘤的DCE-MRI数据集生成的图像700。根据本说明书的各方面，对应于脑胶质瘤的DCE-MRI数据集用于生成深度学***上生成“正常”标记和“肿瘤”标记中的一者。在该实施方案中，深度学习模型对应于门控循环单元(GRU)，该门控循环单元是循环神经网络(RNN)的变型。具有100个隐藏单元和约60％的高丢弃的自适应矩估计(ADAM)优化器用于训练GRU型RNN。

图7B是代表对应于由经训练的深度学习模型所识别的多个肿瘤组织的多个DCE钆浓度曲线的曲线图706。该曲线图706包括代表推注阶段数的x轴708和代表响应于对比剂的组织浓度值的y轴710。图7C是代表对应于由经训练的深度学习模型所识别的多个正常组织的多个DCE钆浓度曲线的曲线图712。曲线图712包括代表推注阶段数的x轴714和代表响应于对比剂的组织浓度值的y轴716。可以观察到，曲线图706中的对应于肿瘤组织的预测曲线可与曲线图712中的对应于正常组织的预测曲线区分开。使用如上文所述的DCE钆浓度曲线证实了经训练的深度学习模型的有效性。

图8A、图8B、图8C和图8D是根据本说明书的各方面的示出深度学习模型在识别血管方面的有效性的图像。图8A是对应于DCE成像程序的最后一个推注阶段的图像800。在图像800中，指示了血管802诸如具有低肿瘤概率值的静脉。使用深度学习模型来识别对应于血管802的概率值。

图8B是代表由深度学习模型生成的肿瘤概率标测图的图像804，该深度学习模型用于识别对应于图8A的血管802的概率值。在图像804中，暗像素代表血管。

而且，图8C为代表通过常规生理建模技术生成的容量转移(Ktrans)图谱的图像806。图8D是代表对应于图8C的图像806的细胞外血管外间隙(Ve)图谱的图像808。

可以指出的是，虽然使用示例性深度学习模型导致在图像804中以深色像素的形式清晰地描绘出血管，但图8C和图8D中的对应区中的像素包括浅色像素和深色像素两者。因此，图8A和图8B表明，与图8C中使用的常规技术相比，深度学习模型更适用于将血管与肿瘤区区分开，即使这两者都是高血容量区域。

图9A和图9B示出了通过深度学习技术和常规技术生成的数据特征的比较。图9A是根据本说明书的各方面的代表由深度学习模型确定的多个受检者的肿瘤概率值的曲线图900。该曲线图900包括代表受检者身份码的x轴902和代表由深度学习模型确定的肿瘤概率的y轴904。在该示例中，曲线图900是跨多个受检者具有可比较的肿瘤概率值的柱状图。由深度学习模型生成的可比较的肿瘤概率值有助于选择统一截止阈值来在小组研究中协助患者分层。这些统一阈值提供了自动分析医学图像和诊断的机会。

图9B是代表由常规生理模型确定的对应于多个受检者的肿瘤概率值的曲线图906。该曲线图906是具有代表受检者身份码的x轴908和代表由常规生理模型确定的肿瘤概率的y轴910的柱状图。如图9B所描绘的，柱状图表现出对应于多个受检者的Ktrans值的较大变化。Ktrans值的可变性不适用于统一截止阈值情况下的处理。

用于评估上文呈现的动态数据的***和方法使得能够使用深度学习模型实时处理动态数据。此外，这些***和方法便于实时自动诊断基础医疗状态，从而避免了患者反复就诊以进行扫描程序。另外，使用这些***和方法可提供对医疗状态的一致诊断，推荐治疗选项，并且实时提供预期的治疗结果。使用上文呈现的***和方法可以深度学习方法替代主观性视觉评价步骤，该深度学习方法被配置为学习动态数据的形状和其他特性并且指导治疗或进一步扫描。以举例的方式，如果使用本文呈现的***和方法描绘出肿瘤，则医疗专业人员可请求在该区中进行MR波谱分析，以用于获得在同一就诊期间对应于可疑区域的代谢分布图，而不必稍后召回患者进行后续扫描，从而帮助医疗专业人员快速做出明智的决策。

应当理解，根据任何特定实施方案，不一定能够实现上述所有此类目标或优点。因此，例如，本领域技术人员将认识到，可能以实现或改进如本文所教导的一个优点或一组优点而未必实现如本文可能教导或建议的其他目标或优点的方式来体现或进行本文描述的***和技术。

虽然已结合仅有限数目的实施方案详细描述了本技术，但应当容易理解，本说明书不限于此类所公开的实施方案。相反，可对本技术进行修改，以结合此前未描述的但与本权利要求的实质和范围相称的任何数量的变型、更改、替换或等同的布置。另外，虽然已经描述了本技术的各种实施方案，但应当理解，本说明书的方面可仅包括所描述的实施方案中的一些。因此，本说明书不应被视为受前述说明的限制，而是只受所附权利要求书的范围的限制。

Claims (20)

1.一种用于实时分析由成像模态在扫描程序期间生成的动态数据的方法，所述方法包括：

经由数据获取单元接收对应于受检者的动态数据；

经由所述数据获取单元接收被配置为处理所述动态数据的深度学习模型，其中所述深度学习模型是基于使用先前获取的动态数据所训练的神经网络，并且其中所述深度学习模型被配置为确定解剖区的功能状态、感兴趣区的生理状态和用于生成临床决策的临床参数中的至少一者；

经由深度学习单元使用所述深度学习模型实时处理所述动态数据以生成代表所述受检者的医疗状态的至少一个特征值；

经由推荐单元基于所述至少一个特征值自动生成对应于所述医疗状态的医疗推荐；以及

经由显示单元呈现所述医疗推荐以便于向所述受检者提供医疗护理。

2.根据权利要求1所述的方法，其中接收所述动态数据包括接收以下中的至少一项：动态对比增强磁共振成像(DCE-MRI)数据、动态磁敏感加权磁共振成像、多扩散敏感因子(b-值)扩散加权成像(多-b-值-DWI)数据、单个体素处的向量值动态数据、计算机断层扫描动态数据、超声动态数据、动态对比增强(DCE)钆时间序列、动态正电子发射断层扫描(PET)数据、体素内不相干运动(IVIM)数据或它们的组合。

3.根据权利要求1所述的方法，还包括：

实时评价所接收的用于生成所述医疗推荐的动态数据的充分性；以及

基于所接收的动态数据的所述评价的充分性来终止所述扫描程序。

4.根据权利要求1所述的方法，还包括基于所述先前获取的动态数据生成所述深度学习模型，并且其中生成所述深度学习模型包括基于所述先前获取的动态数据训练循环神经网络(RNN)。

5.根据权利要求1所述的方法，其中生成所述医疗推荐包括在不使用分析模型的情况下处理所述动态数据，并且其中所述分析模型代表对应于所述动态数据的物理模型、生理模型、解剖模型和化学模型中的一者或多者。

6.根据权利要求1所述的方法，还包括基于代表对应于所述感兴趣区中的多个位置的恶性肿瘤状态的多个参数来生成风险图像。

7.根据权利要求6所述的方法，其中生成所述医疗推荐包括将所述动态数据叠加在所述风险图像上以生成合成图像。

8.根据权利要求1所述的方法，其中处理所述动态数据包括：

生成对应于所述感兴趣区中的一部分的灌注曲线的形状；以及

对所述灌注曲线的所述形状进行分类以确定所述至少一个特征值。

9.根据权利要求1所述的方法，其中处理所述动态数据包括生成代表所述感兴趣区中的一部分的正常状况的二进制值。

10.根据权利要求1所述的方法，其中自动生成所述医疗推荐包括：

基于所述至少一个特征值从所述先前获取的动态数据中识别医疗记录；以及

基于所述医疗记录生成医疗治疗选项和预期医疗结果中的至少一者。

11.一种用于实时分析由成像模态在扫描程序期间生成的动态数据的***，所述***包括：

数据库单元，所述数据库单元被配置为存储对应于多个医疗状态的多个深度学习模型，其中所述多个深度学习模型是基于使用先前获取的动态数据所训练的神经网络；

数据获取单元，所述数据获取单元被配置为：

接收对应于受检者的动态数据；

接收所述多个深度学习模型中的深度学习模型，其中所述深度学习模型被配置为确定解剖区的功能状态、感兴趣区的生理状态和用于生成临床决策的临床参数中的至少一者；

深度学习单元，所述深度学习单元通信地耦接到所述数据获取单元并且被配置为使用所述深度学习模型实时处理所述动态数据以生成代表所述受检者的医疗状态的至少一个特征值；

推荐单元，所述推荐单元通信地耦接到所述深度学习单元并且被配置为基于所述至少一个特征值自动生成对应于所述医疗状态的医疗推荐；和

显示单元，所述显示单元通信地耦接到所述推荐单元并且被配置为呈现所述医疗推荐以便于向所述受检者提供医疗护理。

12.根据权利要求11所述的***，其中所述动态数据包括以下中的至少一项：动态对比增强磁共振成像(DCE-MRI)数据、动态磁敏感加权磁共振成像、多扩散敏感因子(b-值)扩散加权成像(多-b-值-DWI)数据、单个体素处的向量值动态数据、计算机断层扫描动态数据、超声动态数据、动态对比增强(DCE)钆时间序列、动态正电子发射断层扫描(PET)数据、体素内不相干运动(IVIM)数据或它们的组合。

13.根据权利要求11所述的***，其中所述推荐单元还被配置为：

实时评价所接收的用于生成所述医疗推荐的动态数据的充分性；以及

基于所接收的动态数据的所述评价的充分性来终止所述扫描程序。

14.根据权利要求11所述的***，其中所述深度学习单元还被配置为基于先前获取的动态数据生成所述多个深度学习模型。

15.根据权利要求11所述的***，其中所述推荐单元被配置为在不使用分析模型的情况下处理所述动态数据，并且其中所述分析模型代表对应于所述动态数据的物理模型、生理模型、解剖模型和化学模型中的一者或多者。

16.根据权利要求11所述的***，其中所述深度学习单元被配置为基于代表所述感兴趣区中的多个位置处的恶性肿瘤状态的多个参数来生成风险图像。

17.根据权利要求16所述的***，其中所述推荐单元被配置为将所述动态数据叠加在所述风险图像上以生成合成图像以便在所述显示单元上显示。

18.根据权利要求11所述的***，其中所述深度学习单元被配置为：

生成对应于所述感兴趣区中的一部分的灌注曲线的形状；以及

对所述灌注曲线的所述形状进行分类以确定所述至少一个特征值。

19.根据权利要求11所述的***，其中所述深度学习单元被配置为处理所述动态数据以生成代表所述感兴趣区中的一部分的正常状况的二进制值。

20.根据权利要求11所述的***，其中所述推荐单元被配置为：

基于所述至少一个特征值从所述先前获取的动态数据中识别医疗记录；以及

基于所述医疗记录生成医疗治疗选项和预期医疗结果中的至少一者。

Images