CN111801705A

CN111801705A - 用于加速临床工作流程的***和方法

Info

Publication number: CN111801705A
Application number: CN201980015990.7A
Authority: CN
Inventors: 达蒂什·达亚南·尚巴格; 拉凯什·穆利克; 克里希纳·希瑟拉姆·施莱姆; 桑迪普·苏亚纳拉亚纳·考希克; 阿拉蒂·斯雷库马里
Original assignee: General Electric Co
Current assignee: General Electric Co
Priority date: 2018-03-02
Filing date: 2019-03-01
Publication date: 2020-10-20
Also published as: JP2021515326A; EP3759685A1; EP3759685B1; JP7155274B2; WO2019169251A1

Abstract

本发明公开了一种用于成像的方法，该方法被配置为提供加速临床工作流程，该方法包括采集对应于受试者中的感兴趣的解剖区域的解剖图像数据。该方法还包括使用基于学习的技术，基于解剖图像数据确定对应于感兴趣的解剖区域的定位信息。该方法也包括基于定位信息从对应于感兴趣的解剖区域的多个图谱图像中选择图谱图像。该方法还包括基于该图谱图像生成分割分段图像。该方法还包括基于分割分段图像推荐医疗活动。医疗活动包括引导图像采集、监督治疗计划、帮助向受试者进行治疗递送和生成医疗报告中的至少一者。

Description

用于加速临床工作流程的***和方法

背景技术

本说明书的实施方案整体涉及临床工作流程，并且更具体地涉及用于使用深度学习的加速放射学工作流程的***和方法。

医学成像数据越来越多地用于健康状况的诊断和治疗，诸如但不限于癌症病症和动脉疾病。成像技术(诸如计算机断层摄影(CT)和磁共振成像(MRI))生成了大量具有有价值的诊断信息的医学图像。采集与患者体内的解剖区域相关联的医学图像数据可能需要重复成像。此外，这些图像需要由医疗专业人员分析以得出任何可用的诊断信息。另外，对图像的研究是费力且耗时的过程。

医学图像容积的自动分段和分析对于为患者提供有效治疗计划的医疗专业人员来说是有前景且有价值的工具。机器学习技术经常用于推荐医学图像容积的自动分段和分析。然而，常规机器学习技术需要从医学图像数据中提取临床相关信息。通常，临床相关信息由医疗专业人员手动生成。需要用户干预来生成训练数据集总是会带来主观性和质量问题。

最近，深度学习技术越来越多地用于在各种医疗应用中处理图像数据。这些深度学习技术已用于机器学习任务，这些任务涉及非线性建模和计算要求方面的极其复杂的***。图像分段和分段图像的分割可能是识别病理或“危险”区域以及得出治疗决策或指导外科手术治疗所需要的。此外，在许多情况下，量化需要大量的计算工作，并且可能需要离线执行。图像分析和确定医疗状态的负担由医疗专业人员承担。

发明内容

根据本说明书的一个方面，公开了一种用于成像的方法，该方法被配置为提供加速临床工作流程。该方法包括采集对应于受试者中的感兴趣的解剖区域的解剖图像数据。该方法还包括使用基于学习的技术，基于解剖图像数据确定对应于感兴趣的解剖区域的定位信息。该方法也包括基于定位信息从对应于感兴趣的解剖区域的多个图谱图像中选择图谱图像。该方法还包括基于该图谱图像生成分割分段图像。该方法还包括基于分割分段图像推荐医疗活动。医疗活动包括引导图像采集、监督治疗计划、帮助向受试者进行治疗递送和生成医疗报告中的至少一者。

根据本说明书的另一个方面，公开了一种成像***。该成像***包括图像数据采集子***，该图像数据采集子***被配置为采集对应于受试者中的感兴趣的解剖区域的解剖图像数据。该成像***还包括学习单元，该学习单元通信地耦接到图像数据采集子***，并且被配置为使用基于学习的技术，基于解剖图像数据来确定对应于感兴趣的解剖区域的定位信息。该成像***还包括图谱选择单元，该图谱选择单元通信地耦接到学习单元，并且被配置为基于定位信息从对应于感兴趣的解剖区域的多个图谱图像中选择图谱图像。该成像***还包括分段单元，该分段单元通信地耦接到图谱选择单元，并且被配置为基于图谱图像分段解剖图像数据以生成分割分段图像；并且该成像***还包括治疗单元，该治疗单元可通信地耦接到分段单元，并且被配置为基于分割分段图像推荐医疗活动。医疗活动包括引导图像采集、监督治疗计划、帮助向受试者进行治疗递送和生成医疗报告中的至少一者。

附图说明

当参考附图阅读以下详细描述时，将更好地理解本发明实施方案的这些和其他特征和方面，其中附图中相同的符号在所有附图中表示相同的部分，其中：

图1是根据本说明书的各方面的被配置为提供加速临床工作流程的成像***的图解示意图；

图2是示出根据本说明书的各方面的使用图1的成像***的临床工作流程的示意图，该临床工作流程基于深度学习并且用于选择用于分段解剖图像的图谱图像；

图3A至图3D是根据本说明书的各方面的对应于受试者中感兴趣的解剖区域的蒙片图像；

图4A至图4D是示出根据本说明书的各方面的图谱图像选择的效果的图像，该图谱图像选择基于深度学习并且用于解剖图像的分割；并且

图5是根据本说明书的各方面的被配置为提供加速临床工作流程的成像方法的流程图。

具体实施方式

如下文将详细描述的，呈现了用于加速临床工作流程的***和方法。更具体地讲，呈现了使用了深度学习的用于加速放射学工作流程的***和方法。

应当理解，放射学是采用X射线成像来检查和记录受试者(诸如患者)体内的医学病症的科学。用于放射学的医疗技术的一些非限制性示例包括X射线摄影、超声、计算机断层摄影术(CT)、正电子发射断层摄影术(PET)、磁共振成像(MRI)等。术语“解剖图像”是指表示患者体内的解剖区域(诸如但不限于心脏、脑、肾、***和肺)的二维图像。此外，术语“分段图像”、“分割图像”和“亚分割图像”在本文中用来指解剖图像，其中解剖结构的部分和/或子区域可能借助界标用边界标记和/或颜色编码来描绘。本文所用术语“图谱”或“图谱图像”是指对应于具有已知医学病症的特定解剖结构的参考分段图像。本文所指的图谱图像一般包括多个标签，该标签代表解剖图像数据中感兴趣区域的子区域。另外，术语“蒙片”或“蒙片图像”用于指在图像的一部分上具有边界标记的解剖图像，以表示定位信息和/或取向信息。定位信息表示图像内具有固定或相对参考的位置、大小和/或边界信息。取向信息表示图像的一部分的倾斜度和/或方向。术语“医疗状态”或“医学病症”用于指疾病病症、疾病进展和对应于解剖区域的其他相关属性。术语“医疗建议”用于指代关于基于医学病症生成的治疗计划或治疗或附加检查的建议或推荐。

图1是根据本说明书各方面的用于加速临床工作流程的成像***100的示意图。成像***100包括图像数据采集子***102，该图像数据采集子***被配置为采集对应于受试者(诸如患者132)中的感兴趣的解剖区域的解剖图像数据106。图像数据采集子***102包括但不限于磁共振成像(MRI)***、计算机断层摄影(CT)成像***和正电子发射断层摄影(PET)成像***。解剖图像数据106可包括多个解剖图像。在一个示例中，解剖图像可表示感兴趣的解剖区域，诸如受试者(诸如患者132)的脑。在另一个示例中，解剖图像可表示患者132的脊柱区域。在另一个实施方案中，解剖图像可对应于作为患者132中感兴趣的解剖区域的***区域。

成像***100还包括图像处理子***104，该图像处理子***通信地耦接到图像数据采集子***102并且被配置为生成将用于各种医学活动(诸如但不限于医学病症的诊断、治疗递送、外科手术计划和报告生成)的分割分段图像130。在当前设想的配置中，图像处理子***104包括通过通信总线128彼此通信地耦接的学习单元116、图谱选择单元118、分段单元120、控制单元124和存储器单元126。

在一个实施方案中，控制单元124包括通用计算机、GPU、数字信号处理器和控制器中的至少一者。在其他实施方案中，控制单元124包括定制处理器元件，诸如但不限于专用集成电路(ASIC)和现场可编程门阵列(FPGA)。在一些实施方案中，控制单元124可执行学习单元116、图谱选择单元118、分段单元120中的至少一者的一个或多个功能。控制单元124可以包括彼此合作地工作以执行预期功能的一个以上的处理器。控制单元124还被配置为将内容存储到存储器单元126中以及从存储器单元中检索内容。在一个实施方案中，控制单元124被配置为启动和控制学习单元116、图谱选择单元118、分段单元120中的一者或多者的功能。

在一些实施方案中，控制单元124可与输入设备(诸如键盘、鼠标和任何其他输入设备)通信地耦接。此外，控制单元124被配置为经由输入设备从操作者接收命令和/或参数。可以注意到，控制单元124的功能可以基于所执行的功能来定制/定做。举例来说，当控制单元124被配置为辅助学习单元116的功能时，控制单元124被编程为基于历史解剖数据来监督对应于多个医学病症的多个深度学习模型的生成。类似地，当控制单元124被配置为辅助图谱选择单元118的运行时，控制单元124被编程为监督对应于多个图谱图像的多个相似值的生成。类似地，当控制单元124用于辅助分段单元120时，控制单元124被配置为监督两个图像的配准。

在一个实施方案中，存储器单元126是随机存取存储器(RAM)、只读存储器(ROM)、闪存或可由学习单元116、图谱选择单元118、分段单元120中的至少一者访问的任何其他类型的计算机可读存储器。另外，在某些实施方案中，存储器单元126可以是用具有多个指令的程序编码的非暂态计算机可读介质，该多个指令用于指示学习单元116、图谱选择单元118、分段单元120中的至少一者执行步骤序列以生成分割分段图像130。具体地讲，该程序可指示学习单元116生成定位信息，指示图谱选择单元118选择图谱图像，和/或指示分段单元120执行图像配准以生成分割分段图像130。存储器单元126被配置为存储所采集的解剖图像数据106。在一个实施方案中，存储器单元126被配置为存储对应于由多个标签索引的多个患者的多个医疗记录。存储器单元126被配置为存储具有用多个标签注释的多个医疗记录的一个或多个医疗数据库。

成像***100还包括治疗单元122，治疗单元122可通信地耦接到图像处理子***104，并且被配置成生成对应于一个或多个医疗活动的医疗建议108。治疗单元122被配置为从图像处理子***104接收分割分段图像130，并且处理所接收的分割分段图像130以生成医疗建议108。在一个实施方案中，医疗建议108可包括医学病症的诊断110。在另一个实施方案中，医疗建议108可建议治疗递送112活动。在另一个实施方案中，医疗建议108可建议活检114。医疗建议108还可包括基于分段图像130生成报告。报告可由治疗单元122生成。

图像数据采集子***102被配置为采集对应于患者132中的感兴趣的解剖区域的解剖图像数据106。解剖图像数据106还可包括侦查数据集。该侦查数据集指的是低分辨率解剖图像数据集，其可以相对快速地获得，同时对患者132的辐射暴露最小。解剖图像数据106可包括二维(2D)图像数据、三维(3D)图像数据或四维(4D)图像数据形式的多个解剖图像。2D图像数据包括多个2D图像，其中每个图像具有排列在平面中的多个像素。另外，3D图像数据包括多个3D图像，其中每个3D图像具有排列在体积中的多个体素。在一个实施方案中，3D数据可以是2D图像的集合。4D数据可包括多个3D图像或多个2D图像。一般来讲，每个像素(或体素)被表示为矢量值，该矢量值继而表示图像特性，诸如但不限于灰度值、色值和不透明度值。图像数据采集子***102还可被配置为将所采集的解剖图像数据106存储在存储器单元126中。在一个实施方案中，所采集的解剖图像数据106可实时提供给图像处理子***104。

图像处理子***104被配置为处理解剖图像数据106以确定对应于感兴趣的解剖区域的定位信息。图像处理子***104还被配置为生成对应于感兴趣的解剖区域的取向信息。在一个实施方案中，可以使用机器学习技术或图像分段技术来生成定位信息。此外，图像处理子***104被配置为基于定位信息来选择图谱图像。将所选择的图谱图像与解剖图像数据106配准，以生成分割分段图像130。

学习单元116被配置为从图像数据采集子***102接收解剖图像数据106。如前所述，解剖图像数据106包括对应于患者132的感兴趣的解剖区域的侦查数据集和多个解剖图像。学习单元116被配置为处理解剖图像数据106中的多个解剖图像中的解剖图像，以确定对应于被成像的感兴趣的解剖区域的定位信息。如前所述，定位信息表示图像内具有固定或相对参考的位置、大小和/或边界信息。在一个实施方案中，学习单元116被配置为处理侦查数据集以确定定位信息。在某些情况下，定位信息还可包括对应于感兴趣的解剖区域的取向信息。如前所述，取向信息表示图像的一部分的倾斜度和/或方向。

可使用图像分段技术或机器学习技术来生成定位信息。具体地讲，学习单元116被配置为通过使用深度学习模型处理解剖图像来生成定位信息。在该实施方案中，深度学习模型可基于解剖图像生成边界图像。在该示例中，可离线训练深度学习模型以生成边界图像。此外，学习单元116被配置为基于边界图像与存储在存储器单元126中的多个蒙片图像的比较来选择蒙片图像。

在一个实施方案中，学习单元116被配置为使用深度学习模型处理解剖图像，并且通过以多种方式对解剖图像进行分类来生成多标签索引值。例如，解剖图像可具有对应于性别、年龄和疾病类型的三个标签。对应的索引值可为具有三个元素的向量，其中第一元素表示性别，第二元素表示年龄，并且第三元素表示疾病类型。在该实施方案中，深度学习模型可离线训练，以基于多个训练图像执行解剖图像的分类。

学习单元116被进一步配置为从存储器单元126选择蒙片图像，其中蒙片图像表示基于多标签索引值的定位信息。在该实施方案中，深度学习模型是多标签分类器，其已经使用感兴趣的特定解剖区域的历史解剖图像数据先验地设计。举例来说，深度学习模型可被训练以生成表示***蒙片图像的多标签索引值。在另一个示例中，可训练深度学习模型以生成表示大脑蒙片图像的多标签索引值。在又一个示例中，可训练深度学习模型以生成表示脊柱蒙片图像的多标签索引值。在其他实施方案中，学习单元116可被配置为采用深度学习模型，该深度学习模型被设计为从多个存储的蒙片图像中选择蒙片图像。

学习单元116被进一步配置为基于历史解剖图像数据以离线模式训练深度学习模型。一般来讲，学习单元116被配置为基于历史医疗数据库生成对应于多种医学病症的多个深度学习模型。多个深度学习模型对应于多种医学成像技术、多个感兴趣的器官和多个医学病症。在一个实施方案中，多个深度学习模型存储在存储器单元126中并由控制单元124检索，以用于评估解剖图像数据106。

深度学习模型包括但不限于神经网络模型、卷积神经网络(CNN)模型和递归神经网络模型。CNN可包括多个卷积级，并且每个卷积级可包括以级联方式操作地耦接的卷积层、激活层和池化层。卷积层、激活层和池化层中的每一者继而包括对应的多个层参数。可选择卷积级的数量和层参数的数量以使得能够配置CNN以处理解剖图像数据106。

历史医疗数据库是具有对应于每个医疗记录的多个标签的带注释医疗数据库。多个标签也用于索引医学图像，包括图谱图像。图谱图像对应于感兴趣的特定器官、感兴趣的解剖区域、感兴趣的器官的医疗状态、对应于医疗状态的医疗建议、或它们的组合。多个标签可表示受试者的年龄和性别、疾病类型、受试者的居住区域、疾病的进展、感兴趣的器官的类型和图像采集类型。可以注意到，多个标签列表不是穷举性的，并且也可以包括其他此类因素。

图谱选择单元118通信地耦接到学习单元116，并且被配置为基于蒙片图像从多个图谱图像中选择图谱图像。在一个实施方案中，多个图谱图像中的每一个图谱图像包括图谱蒙片图像和对应的图谱解剖图像。图谱解剖图像为具有多个标签的先前分段解剖图像，该多个标签表示图像中的多个子区域。在一个实施方案中，图谱选择单元118被配置为使用基于形状的度量将由学习单元116选择的蒙片图像与多个图谱蒙片图像进行比较以生成多个相似值。在一个实施方案中，使用戴斯相似系数(DSC)作为基于形状的度量，用于将蒙片图像与多个图谱蒙片图像中的每一个图谱蒙片图像进行比较。具体地讲，蒙片图像与多个图谱蒙片图像中的每一个图谱蒙片图像配准。随后，计算蒙片图像和每个配准的图谱蒙片图像之间的DSC值以生成多个相似值。选择对应于多个相似值中的最大相似值的图谱图像作为匹配图谱图像。在其他实施方案中，可使用其他度量(诸如但不限于互相关值或相互信息值)来生成多个相似值。

分段单元120通信地耦接到图谱选择单元118，并且被配置为基于图谱图像分段解剖图像数据106中的图像，以生成对应于感兴趣的解剖区域的分割分段图像。在一个实施方案中，分段单元120被配置为将图谱解剖图像与选自所采集的解剖图像数据106的图像配准。在另一个实施方案中，分段单元120被配置成将对应于所选择的图谱图像的图谱蒙片图像和图谱解剖图像与所选择的图像联合配准。此外，分段单元120被配置为将一个或多个标签从图谱解剖图像转移到所选择的图像，以生成分割分段图像130。在一个实施方案中，将标签从图谱解剖图像转移至所选择的图像包括将标签叠加到所选择的图像上。

治疗单元122被配置为基于分割分段图像130推荐医疗活动。医疗活动包括引导图像采集、监督治疗计划、帮助向患者132进行治疗递送以及生成医疗报告中的至少一者。另外，治疗单元122被配置为基于分割分段图像130与具有已知医疗状态的多个存储图像的比较来确定感兴趣的解剖区域的医疗状态。治疗单元122还被配置为基于医疗状态识别医疗建议。在一个实施方案中，治疗单元122还被配置为基于对应于感兴趣的解剖区域的定位信息推荐活检、放射治疗和干细胞治疗中的至少一者。在一个实施方案中，可基于将定位信息与历史图像匹配并检索对应于匹配的历史图像的医学病例中关于成功的医学治疗的信息来生成建议。在一个实施方案中，治疗单元122被配置为以心脏成像靶心图、***成像报告与数据***(PiRADS)、肝脏成像报告与数据***(LiRADS)等形式呈现医疗状态。可以注意到，使用深度学习技术来选择图像蒙片和使用如上文所述的基于图谱的图像分段有助于减少手动干预并且加速放射手术中的临床工作流程。

另外，心脏成像靶心图、PiRADS和LiRADS中的一者或多者可在显示单元134上可视化，以有助于评估心脏、***和肝脏的医疗状态。

图2是示出根据本说明书各方面的临床工作流程200的示意图。具体地讲，临床工作流程200表示使用图1的成像***对用于分段解剖图像的图谱图像的基于深度学习的选择。方法200可以参考图1的组件来描述。

临床工作流200包括获得所采集的解剖图像204，如步骤202所示。解剖图像204选自图1的解剖图像数据106。此外，在步骤206处，由学习单元116使用深度学习模型208处理所采集的解剖图像204以生成蒙片图像210。蒙片图像210表示解剖图像204中感兴趣的解剖区域的定位信息。在图2的示例中，蒙片图像210表示解剖图像204中的***区域216。

此外，在步骤212处，基于蒙片图像210从多个图谱图像214中选择图谱图像218。随后，如步骤220所示，将所选择的图谱图像218与解剖图像204配准，以生成分割分段图像222。分割分段图像222包括标签224。如前所述，标签224可表示***区域的内部区域或周边区域。使用深度学习模型208通过处理解剖图像204来生成蒙片图像210有助于减少生成蒙片图像210所花费的时间，从而产生加速临床工作流程200。

图3A至图3D为根据本说明书的各方面的对应于受试者(诸如图1的患者132)中的感兴趣的解剖区域的蒙片图像。具体地讲，图3A示出患者132中***区域310的实况蒙片图像302。图3B是通过使用经过训练以确定***区域的常规深度学习模型处理解剖图像而获得的蒙片图像304。对应于图像304中的***区域的定位信息由标号312表示。在该实施方案中，不使用图谱图像。

另外，图3C示出了从对应于***区域的常规图谱图像获得的蒙片图像306。在该实施方案中，仅图谱图像用于确定定位信息。此外，在图像306中，对应于***区域的定位信息由附图标号314表示。图3D为使用***100获得的蒙片图像308，其中通过深度学习模型来选择图谱图像，并且所选择的图谱图像经由非刚性配准与解剖图像配准。在图3D的示例中，定位信息316对应于***区域。

此外，通过将图3A的实况图像302与图3B、图3C和图3D的蒙片图像304、306和308进行比较来计算戴斯相似系数(DSC)值。DSC的一个示例使用公式(1)来定义。

其中TP是真正值，FP是假正值，并且FN是参考实况图像302的给定分段图像中的假负值。

基于公式(1)计算每个图像304、306和308的DSC值。在一个示例中，对应于图3B的图像304的DSC值为0.82，而对应于图3C的图像306的DSC值为0.79。类似地，对应于图3D的图像308的DSC值为0.84。可以观察到，与对应于通过使用基于深度学习的分段技术和基于图谱的分段技术获得的分段图像304、306的DSC值相比，通过使用非刚性配准技术获得的图3D的蒙片图像308提供了更好的DSC值。

图4A至图4D是示出根据本说明书的各方面的图谱图像选择的效果的图像，该图谱图像选择基于深度学习并且用于解剖图像的分割。图4A示出了对应于第一患者的第一分段图像402。在图4A中，第一分段图像402包括***区域的第一周边区404和第一内区406。类似地，图4B示出了对应于第二患者的第二分段图像408。第二分段图像408包括***区域的第二周边区410和第二内区412。另外，图4C示出了对应于第三患者的第三分段图像414。第三分段图像414包括***区域的第三周边区416和第三内区418。此外，图4D示出了对应于第四患者的第四分段图像420。第四分段图像420包括***区域的第四周边区422和第四内区424。

图4A至图4D示出了对应于不同患者的分割解剖图像402、408、424、420中的内区406、412、418、424的尺寸和形状的变化。可以注意到，需要基于深度学习来选择图谱图像的***100被配置为从对应于不同患者的图像中有效地识别或分割感兴趣区域的正确尺寸和形状。更具体地，***100的使用被配置为不知道对应于不同患者的图像中的感兴趣区域的大小和/或形状的变化，从而有助于从对应于不同患者的图像中有效地分割感兴趣区域。

图5是根据本说明书各方面的用于加速临床工作流程的方法500的流程图。参考图1的组件描述方法500。方法500包括采集对应于受试者132中的感兴趣的解剖区域的解剖图像数据106，如步骤502所示。解剖图像数据106包括多个解剖图像。另外，解剖图像数据106可经由使用图像数据采集子***102来采集。在一个实施方案中，采集解剖图像数据还包括从图像数据采集子***102接收对应于受试者132的侦查数据集，其中该侦查数据集对应于低分辨率解剖图像数据。

此外，方法500包括使用基于深度学习的技术基于解剖图像数据106确定对应于感兴趣的解剖区域的定位信息，如步骤504所示。在一个实施方案中，确定定位信息包括使用深度学习模型处理侦查数据集以生成对应于感兴趣的解剖区域的边界信息和取向信息。具体地讲，深度学习模型基于侦查数据集中的图像生成边界图像。在该实施方案中，在离线模式下训练深度学习模型，以基于历史解剖图像数据来确定边界图像。边界图像包括定位信息和取向信息。通过将边界图像与多个蒙片图像进行比较来选择多个蒙片图像中的蒙片图像。

在另一个实施方案中，确定定位信息包括使用深度学习模型处理来自解剖图像数据106的解剖图像以生成多标签索引值。另外，基于多标签索引值来选择蒙片图像。在该实施方案中，可训练深度学习模型以基于历史解剖图像数据确定多标签索引值。具体地讲，使用对应于从历史解剖图像数据中提取的期望定位信息的数据集来训练深度学习模型。在一个实施方案中，定位信息是蒙片图像。此外，在一个实施方案中，深度学习模型选自对应于多个医学病症的多个深度学习模型。可使用历史解剖图像数据离线生成多个深度学习模型。此外，基于历史医疗数据库生成对应于多个医学病症的多个深度学习模型。历史医疗数据库用表示年龄、性别、区域、医学病症进展、疾病类型等的标签进行注释。

另外，在步骤506处，基于定位信息从对应于感兴趣的解剖区域的多个图谱图像中选择图谱图像。如前所述，基于多标签索引值，由蒙片图像表示定位信息。在一个实施方案中，选择图谱图像包括使用基于形状的度量将蒙片图像与多个图谱图像蒙片进行比较以生成多个相似值。此外，基于多个相似值在多个图谱图像中选择匹配的图谱图像。匹配的图谱图像包括表示解剖图像数据106中的感兴趣区域的子区域的多个标签。

此外，在步骤508处，使用图像配准技术基于图谱图像来生成分割分段图像。在一个实施方案中，将所选择的图谱图像与来自解剖图像数据106的解剖图像配准以生成配准的解剖图像。此外，将对应于所选择的图谱图像的多个标签中的一个或多个标签转移到配准的解剖图像以生成分割分段图像。

方法500还包括基于分割分段图像推荐医疗活动，如步骤510所示。医疗活动包括引导图像采集、监督治疗计划、帮助向受试者进行治疗递送和生成医疗报告中的至少一者。在一个实施方案中，基于分割分段图像确定感兴趣的解剖区域的医疗状态。此外，基于医疗状态生成医疗建议。医疗活动可包括基于感兴趣区域信息的活检、放射治疗和干细胞治疗中的至少一者。在一个实施方案中，医疗活动可包括在医疗报告中呈现医疗状态。具体地讲，医学报告可包括心脏成像靶心图或***成像报告和数据***(PiRADS)以及肝脏成像报告和数据***(Li-RADS)中的至少一者。在一个实施方案中，可在显示单元134上显示带有建议的分割分段图像，建议的形式为文字、符号或颜色代码中的至少一种。另外，一个或多个分割区域可在显示器中突出显示或着色以引起临床医生的注意。

上文呈现的***和方法使用深度学习技术提供了改善的放射学临床工作流程。由于深度学习技术能够基于被分析的解剖图像选择图谱蒙片图像，图像处理时间得到减少。通过将基于深度学习模型的图像分段与基于图谱的分割组合，来提高采集准确度。所述***和方法的使用使得能够减少报告和/或指导外科手术或放射治疗所花费的时间。另外，使用基于深度学习模型的图像分段和基于图谱的分割有助于临床工作流程的自动化，其中通过将基于深度学习的蒙片选择与基于图谱的图像分段集成，来在显示单元上实时呈现任何结果。

此外，使用本发明的***和方法使得能够通过定位或分段一个或多个解剖区域以及分割解剖结构来作出临床决策。可借助经由使用深度学习模型获得的对应于感兴趣的解剖区域的定位信息来加速图像采集和/或优化扫描参数。精确分段解剖图像有助于规划和引导组织活检或放射治疗。此外，基于分段解剖结构生成的统计量度可用于生成临床结论，诸如***癌分期。解剖结构的自动分割有助于在显示单元上快速呈现采集的图像。解剖图像的分割对于伪影是稳健的，并且在存在病变的情况下是准确的。分段技术需要使用子集训练数据集，并且能够包括较新的子区域而不增加计算复杂性。

应当理解，根据任何特定实施方案，不一定能够实现上述所有此类目标或优点。因此，例如，本领域技术人员将认识到，可能以实现或改进如本文所教导的一个优点或一组优点而未必实现如本文可能教导或建议的其他目标或优点的方式来体现或进行本文描述的***和技术。

虽然已结合仅有限数目的实施方案详细描述了本技术，但应当容易理解，本说明书不限于此类所公开的实施方案。相反，可对本技术进行修改，以结合此前未描述的但与本权利要求的实质和范围相称的任何数量的变型、更改、替换或等同的布置。另外，虽然已经描述了本技术的各种实施方案，但应当理解，本说明书的方面可仅包括所描述的实施方案中的一些。因此，本说明书不应被视为受前述说明的限制，而是只受所附权利要求书的范围的限制。

Claims

1.一种方法，包括：

采集对应于受试者中的感兴趣的解剖区域的解剖图像数据；

使用基于学习的技术，基于所述解剖图像数据确定对应于所述感兴趣的解剖区域的定位信息；

基于所述定位信息从对应于所述感兴趣的解剖区域的多个图谱图像中选择图谱图像；

基于所述图谱图像生成分割分段图像；以及

基于所述分割分段图像推荐医疗活动，其中所述医疗活动包括引导图像采集、监督治疗计划、帮助向所述受试者进行治疗递送、以及生成医疗报告中的至少一者。

2.根据权利要求1所述的方法，其中采集所述解剖图像数据还包括从图像数据采集子***接收对应于所述受试者的侦查数据集，并且其中所述侦查数据集对应于低分辨率解剖图像数据。

3.根据权利要求2所述的方法，其中确定所述定位信息包括：

处理所述侦查数据集以生成对应于所述感兴趣的解剖区域的边界图像；以及

基于所述边界图像与多个蒙片图像中的每一个蒙片图像的比较，从所述多个蒙片图像中选择蒙片图像。

4.根据权利要求1所述的方法，其中确定所述定位信息包括：

使用深度学习模型处理来自所述解剖图像数据中的多个解剖图像的解剖图像，以生成多标签索引值；以及

基于所述多标签索引值来选择蒙片图像。

5.根据权利要求4所述的方法，其中选择所述图谱图像包括：

使用基于形状的度量将所述蒙片图像与多个图谱图像进行比较以生成多个相似值；以及

基于所述多个相似值从所述多个图谱图像中选择匹配图谱图像，其中所述匹配图谱图像包括多个标签。

6.根据权利要求5所述的方法，其中生成所述分割分段图像包括：

将所述选择的匹配图谱图像与所述解剖图像配准以生成配准的解剖图像；以及

将所述多个标签中的一个或多个标签从所述选择的匹配图谱图像转移到所述配准的解剖图像以生成所述分割分段图像。

7.根据权利要求1所述的方法，其中推荐医疗活动包括：

基于所述分割分段图像确定所述感兴趣的解剖区域的医疗状态；以及

基于所述医疗状态生成医疗建议。

8.根据权利要求7所述的方法，其中所述医学活动包括活检、放射治疗和干细胞治疗中的至少一者。

9.根据权利要求1所述的方法，其中生成所述定位信息还包括基于历史解剖数据生成与多个医学病症相对应的多个深度学习模型。

10.根据权利要求1所述的方法，还包括基于历史解剖数据生成与多个医学病症相对应的多个深度学习模型。

11.一种成像***，包括：

图像数据采集子***，所述图像数据采集子***被配置为采集对应于受试者中的感兴趣的解剖区域的解剖图像数据；

学习单元，所述学习单元通信地耦接到所述图像数据采集子***，并且被配置为使用基于学习的技术，基于所述解剖图像数据来确定对应于所述感兴趣的解剖区域的定位信息；

图谱选择单元，所述图谱选择单元通信地耦接到所述学习单元，并且被配置为基于所述定位信息从对应于所述感兴趣的解剖区域的多个图谱图像中选择图谱图像；

分段单元，所述分段单元通信地耦接到所述图谱选择单元，并且被配置为基于所述图谱图像分段所述解剖图像数据以生成分割分段图像；和

治疗单元，所述治疗单元通信地耦接到所述分段单元，并且被配置为基于所述分割分段图像推荐医疗活动，其中所述医疗活动包括引导图像采集、监督治疗计划、帮助向所述受试者进行治疗递送、以及生成医疗报告中的至少一者。

12.根据权利要求11所述的成像***，其中所述图像数据采集子***还被配置为：

接收对应于所述受试者的侦查数据集，其中所述侦查数据集对应于低分辨率解剖图像数据；

13.根据权利要求11所述的成像***，其中学习单元被配置为：

基于所述多标签索引值来选择蒙片图像。

14.根据权利要求13所述的成像***，其中所述图谱选择单元被配置为：

15.根据权利要求14所述的成像***，其中所述分段单元被配置为：

将所述多个标签中的一个或多个标签从所述选择的匹配图谱图像转移到所述配准的解剖图像以生成分割分段图像。

16.根据权利要求14所述的成像***，其中所述基于形状的度量为戴斯相似系数。

17.根据权利要求11所述的成像***，其中所述治疗单元被配置为：

基于所述医疗状态生成医疗建议。

18.根据权利要求17所述的成像***，其中所述治疗单元被配置为基于所述分割分段图像推荐活检、放射治疗和干细胞治疗中的至少一者。

19.根据权利要求11所述的成像***，其中所述学习单元还被配置为基于历史解剖数据生成与多个医学病症相对应的多个深度学习模型。