CN117916778A - 使用图像修复的对机器学习模型的发现特异性训练 - Google Patents

Abstract

本发明涉及图像处理。为了生成用于训练机器学习模型的真实情况数据，提出了一种用于训练用于对由医学扫描器采集的图像中的图像特征进行分类的机器学习模型的计算机实施的方法。所述方法包括：a)接收由医学扫描器采集的图像；b)识别所述图像中的伪影；c)对所述伪影进行分割以获得要在其上执行修复的区域的分割掩模；d)对所述区域执行修复以获得经修复的图像；以及e)将所述经修复的图像并入训练集以用于开发所述机器学习模型。

Description

使用图像修复的对机器学习模型的发现特异性训练

技术领域

本发明涉及一种用于训练用于对由医学扫描器采集的图像中的图像特征进行分类的机器学习模型的计算机实施的方法和装置。本发明还涉及医学成像***、计算机程序产品和计算机可读介质。

背景技术

机器学习算法(诸如卷积神经网络(CNN))在许多计算机视觉任务中实现最先进的结果。它们在放射学中得到应用，其中研究的数量显著超过可用于阅读它们的放射科医师的数量。然而，机器学习算法可以依赖于视觉特征和给定标签的共存，以便做出分类决策。

机器学习算法与预期标签相关联的视觉特征并不总是与图像上标签的实际表现一致。在气胸标签的情况下，机器学习算法可能学习将标签与用于引流气胸的管的存在相关联。因此，这种机器学习算法可能错过尚未处置的气胸实例。因此，真实情况生成的初始阶段最经常是由于存在伪影而导致的标记中的不准确性而限制算法的最终性能的因素。

发明内容

因此，本发明的目的是提供一种用于生成用于训练机器学习模型的真实情况数据的改进的装置和方法。

本发明的目的通过独立权利要求的主题来解决。本发明的其他实施例和优点并入从属权利要求中。此外，应当注意，本发明的关于方法的所有实施例可以以所描述的步骤的顺序来执行，然而这不必是如本文呈现的方法的步骤的唯一且必要的顺序。在不脱离相应的方法实施例的情况下，本文公开的方法可以以所公开的步骤的另一顺序来执行，除非在下文中明确地相反地提及。

根据本发明的第一方面，提供了一种用于训练用于对由医学扫描器采集的图像中的图像特征进行分类的机器学习模型的计算机实施的方法，包括：

a)接收由医学扫描器采集的图像；

b)识别所述图像中的伪影；

c)对所述伪影进行分割以获得要在其上执行修复的区域的分割掩模；

d)对所述区域执行修复以获得经修复的图像；以及

e)将所述经修复的图像并入训练集以用于开发所述机器学习模型。

本公开中提出的方法引导机器学习算法的训练朝向标签在图像上的表现。所提出的方法去除了通常但不总是与标签共现的其他特征。共存对象的简单移除将导致其轮廓仍然存在于图像上。因此，为了避免标签与剪影的关联，共存对象被相应位置处的组织的自然外观替换。它通过使用数学方法、生成模型(诸如生成对抗网络(GAN)、变分自动编码器(VAE)、归一化流)或其他方法修复来实现。然后将经修复的图像添加到用于训练机器学习模型的训练集。

在一些示例中，可以通过使用全自动过程来生成注释的真实情况数据，以计算经修复的图像中的一个或多个特征(例如，标志、器官边界、感兴趣区域和/或图像标签)。一个选项是使用图像处理算法，诸如在经修复的图像中找到一个或多个图像的近似中心和边界框的图像检测算法。另一选项是从由操作者规划的扫描体积的配置参数导出一个或多个特征。

所提出的方法可以具有以下优点中的一个或多个：

以这种方式导出的没有伪影(例如，异物)的图像可以用于训练机器学习模型，并且因此可以防止机器学习算法丢失不与这种伪影(例如，异物)共存的病理或图像特征。

例如胸部X射线的质量评估对于其处理的自动化是必需的。通过在质量评估之前修复外部对象，可以防止它们阻碍视场和旋转检查，从而改善自动化胸部X射线处理的质量。

通过使用来自先前研究的所有可用信息(例如，许多胸部X射线、放射学报告等)，可以去除将隐藏重要发现的外部对象。例如，可以在正面视图上修复在先前的侧面视图上观察到并且隐藏在起搏器的电子控制板后面的肺结节。

此外，可以在经修复的图像中自动标记感兴趣的内部解剖结构的位置和大小，以生成注释的真实情况数据。注释的真实情况数据可以根据一个或多个临床场所处的常规检查生成。采集注释的真实情况数据的连续且无监督的过程提供了用于生成大型真实情况数据库的基础，从而克服了通过手动或半自动过程获得的有限数量的训练集的缺点。可以改善标记的准确性，因为以这种方式导出的经修复的图像不包含伪影。所提出的方法的一个优点是可以以全自动方式根据例行检查和研究检查连续生成真实情况数据，从而进一步且连续地扩展训练集数据库。大量注释的真实情况数据对于训练机器学习模型可能是必不可少的。例如，对于深度学习方法(例如，CNN)，用非常大量的数据训练神经网络以避免过度拟合效应从而确保经训练的***很好地推广到未见数据是必要的。

根据本发明的实施例，所述方法还包括从所述经修复的图像中提取一个或多个特征，以及将标记所述经修复的图像中的一个或多个特征的数据并入所述训练集。

例如，可以通过使用全自动过程来生成注释的真实情况数据，以计算经修复的图像中的一个或多个特征，诸如标志、器官边界、感兴趣区域和/或图像标签。

在一些示例中，可以使用图像处理算法从经修复的图像中提取所述一个或多个特征。

在一些示例中，可以从检查元数据导出所述一个或多个特征，所述检查元数据包括由操作者规划的扫描体积的配置参数。

根据本发明的实施例，所述伪影包括所述图像中的运动引起的伪影、添加到所述图像上的文本标记和由与所述患者一起成像的对象引起的伪影中的至少一个。

根据本发明的实施例，所述图像包括以下图像中的一种或多种：胸部X射线图像、计算机断层摄影图像、磁共振图像、超声图像、正电子发射断层摄影图像和单光子发射计算机断层摄影图像。

在一些示例中，图像可以是由智能手机捕获的医学图像。

在一些示例中，图像是定位图像或平片图像。

根据本发明的实施例，步骤b)包括：

应用所述机器学习模型来对所述图像中的图像特征进行分类；

分析分类结果以确定特定类别是否表现出超过阈值的误差；并且

如果特定类别表现出超过阈值的误差，则确定所述图像中的伪影的共存。

换句话说，如果特定类别表现出显著的错误，则它可能是标签的表现与不同特征共存的迹象。可以以两种方式确认假设：(a)通过在更小的背景下重新训练机器学习算法，其中不存在共存特征；以及(b)通过观察类别激活图(CAM)，以便获得对图像的最有影响的区域的理解。

因此，本公开提出了一种用于基于标签在图像中的表现而不是外部因素的存在来引导决策的方法。

根据本发明的实施例，步骤c)包括：

基于类别激活图CAM上的阈值来对所述伪影进行分割；

利用类UNET结构来对所述伪影进行分割；或者

利用深度生成式机器学习模型来对所述伪影进行分割。

根据本发明的实施例，步骤d)包括：

利用深度生成式机器学习模型执行修复；或者

利用偏微分方程执行修复。

根据本发明的实施例，所述深度生成式机器学习模型包括生成对抗网络(GAN)、变分自动编码器(VAE)和归一化流中的至少一个。

根据本发明的实施例，所述方法还包括在所述训练集上训练所述机器学习模型。

这可以防止机器学习算法丢失不与这样的伪影(例如，异物)共存的病理或图像特征。

根据本发明的实施例，所述方法还包括显示所述经修复的图像。

根据本发明的第二方面，提供了一种用于训练用于对由医学扫描器采集的图像中的图像特征进行分类的机器学习模型的装置。所述装置包括输入单元、处理单元和输出单元。所述输入单元被配置为接收由医学扫描器采集的图像。所述处理单元被配置为识别所述图像中的伪影，对所述伪影进行分割以获得要在其上执行修复的区域的分割掩模，并且对所述区域执行修复以获得经修复的图像。所述输出单元被配置为将所述经修复的图像并入训练集以用于所述机器学习模型。

根据本发明的实施例，所述处理单元还被配置为从所述经修复的图像中提取一个或多个特征，并且经由所述输出单元将标记所述经修复的图像中的所述一个或多个特征的数据并入所述训练集。

根据本发明的第三方面，提供了一种医学成像***。所述医学***包括被配置为采集患者的图像的医学成像装置和根据第二方面和任何相关联的示例的装置。

所述医学成像装置可以是例如X射线成像装置、MR成像装置、CT成像装置或PET成像装置。所述医学成像装置的其他示例可以包括组合的治疗/诊断装置，诸如MR-Linac装置、MR质子治疗装置和/或锥形束CT装置。

根据本发明的第四方面，提供了一种包括指令的计算机程序产品，所述指令在由至少一个处理单元执行时使所述至少一个处理单元执行根据第一方面和任何相关示例的方法的步骤。

根据本发明的另一方面，提供了一种存储有程序产品的计算机可读介质。

应当理解，以下更详细地讨论的前述概念和附加概念的所有组合(只要这些概念不相互冲突)被预期为是这里公开的发明主题的一部分。具体地，出现在本公开的结尾处的所要求保护的主题的所有组合被预期为是本文中公开的发明主题的一部分。

本发明的这些和其他方面将参考下文描述的(一个或多个)实施例变得显而易见并将参考下文描述的(一个或多个)实施例得以阐述。

附图说明

在附图中，相似的附图标记贯穿不同的视图通常指代相同的部分。而且，附图不一定按比例绘制，而是通常将重点放在图示本发明的原理上。

图1示出了用于训练用于对由医学扫描器采集的图像中的图像特征进行分类的机器学习模型的示例性装置

图2A和2B示出了CAM的示例。

图3示出了示例性医学成像***。

图4示出了用于训练用于对由医学扫描器采集的图像中的图像特征进行分类的机器学习模型的方法的流程图。

具体实施方式

本公开的发明人已经发现，当病理与图像中的外部或内部异物共存时，诸如CNN的机器学习算法可能学习聚焦于对象而不是病理。这可能导致机器学习算法将异物的存在与病理相关联，并且当它不与异物共存时可能导致病理情况的错误分类。另外，这样的异物可能阻挡背景中的图像特征，这在基于机器学习的方法(诸如病理检测或图像质量评估)中可能是至关重要的。

为此，提出了一种用于训练用于对由医学扫描器采集的图像中的图像特征进行分类的机器学习模型的装置。机器学习模型的示例可以包括但不限于卷积神经网络(CNN)、决策树、支持向量机(SVM)和增强分类器。图1中示出了示例性装置10。

以下描述聚焦于适用于由异物引起的伪影的本公开的实施例。然而，应当理解，本发明不限于该应用，而是可以应用于其他伪影，诸如文本标记和运动引起的伪影。例如，可以针对可能类似的应用执行对CT/MR图像中的运动损坏的2D切片进行修复。通常，3D图像中的单个切片受到大的运动伪影的影响，这可能会使自动图像分类结果劣化。如果通过类似的修复方法校正这样的2D切片，则可以以与我们在下面针对例如胸部X射线图像中的异物讨论的完全类似的方式向自动图像分类或质量评估算法添加鲁棒性。

输入单元12被配置为接收由医学扫描器采集的图像。图像可以包括通过各种采集模态采集的二维(2D)、三维(3D)或四维(4D)图像，所述采集模态包括但不限于X射线成像、计算机断层扫描(CT)成像、磁共振(MR)成像、超声成像、正电子发射断层扫描(PET)成像和单光子发射计算机断层扫描(SPECT)成像。医学成像装置的其他示例可以包括组合的治疗/诊断装置，诸如MR-Linac装置、MR质子治疗装置和/或锥形束CT装置。图像还可以包括在MR和CT研究中用于识别横截面图像的集合的相对解剖位置的***图像或侦察图像。图像可以包括从智能手机捕获的医学图像。

处理单元14被配置为识别图像中的伪影。伪影的示例可以包括但不限于运动引起的伪影、添加到图像上的文本标记、以及由与患者一起成像的异物引起的伪影。

在示例中，伪影可以由患者外部的异物产生。可以沿着患者成像的异物的示例可以包括但不限于起搏器、探头、导管、植入物、珠宝等。在示例中，通常在成像检查(最常见的是普通射线照片)上看到珠宝伪影，但是在其他模态上也有，其中它们可能产生可能掩盖重要结构并妨碍可信诊断评估的无用伪影。在另一示例中，伪影可以由植入设备产生。例如，诸如管或引流管的外部对象通常可能出现在针对气胸标记的图像上。

图像中的运动引起的伪影随着图像采集期间的自愿或不自愿的患者移动而发生。例如，表现为模糊、条纹或阴影的未配准伪影是由CT扫描期间的患者移动引起的。在射线照相检查期间，患者移动也会发生模糊。如果患者运动是自愿的，则患者可能需要固定或镇静以防止这种情况。不自主运动(诸如呼吸或心脏运动)可能引起模拟周围结构中的病理的伪影。

根据一些示例，可以通过在机器学习模型的开发期间分析分类结果来实现对伪影的识别。例如，可以应用机器学习模型来对图像中的图像特征进行分类。可以分析分类结果以确定特定类别是否表现出超过阈值的误差。如果特定类别表现出超过阈值的误差，则可以确定图像中的伪影的共存。换句话说，如果特定类别表现出显著的错误，则它可能是标签的表现与不同特征共存的迹象。可以以两种方式确认该假设。第一种方式是在更小的背景下重新训练机器学习模型(例如，CNN)，在所述更小的背景下，不存在共存特征。第二种方式是观察CAM以便获得对图像的最有影响的区域的理解。

类别激活映射(CAM)是一种生成图像的热图的方法，所述热图示出哪些区域在用于图像分类的神经网络方面具有高重要性。该方法有几种变型，包括Score-CAM和Grad-CAM(梯度加权类别激活映射)。由CAM生成的热图是可以被解读为告诉我们神经网络正在(隐喻地)看图像中的何处以做出其决定的可视化，然而它们不告诉我们它可能正在看什么特殊性。在一些情况下，来自CAM的热图不仅可以用于通知哪些像素在图像的神经网络分类过程中是重要的，而且可以用于对象定位。

在图2A和2B中示出了CAM的示例。在该示例中，图2A示出了引流管在其上是可见的并且由箭头突出的胸部X射线。在图2B中示出了对应的CAM，其映射图像的不同部分在针对气胸对该胸部X射线图像进行分类时的相对影响。可以看出，气胸分类中的最常见组成部分是引流管。由于该特定类别表现出显著的错误，因此它可能是标签的表现形式与伪影(该示例中，诸如引流管)共存的迹象。

回到图1，处理单元14还被配置为对伪影进行分割以获得要在其上执行修复的区域的分割掩模。

根据一些示例，图像的分割可以利用类UNET结构来实现。该体系结构包含两条路径。第一路径是用于捕获图像中的背景的收缩路径(也称为编码器)。编码器只是卷积层和最大池化层的传统堆叠。第二路径是用于使用转置卷积来实现精确定位的对称扩展路径(也称为解码器)。因此，它是端到端全卷积网络(FCN)，即它仅包含卷积层而不包含任何密集层，因为它可以接受任何大小的图像。在这种情况下，可能需要注释图像的大量数据集用于训练。

在一些示例中，可以使用深度生成式机器学习模型，该深度生成式机器学习模型最小化在其上存在外部对象的源图像与在其上不存在外部对象的所生成的图像之间的距离。可以通过在图像中***(一个或多个)伪影来训练这样的深度生成式机器学习模型而无需注释。

在一些示例中，由于下一个修复步骤，分割可能不需要极其精确。可以在CAM上使用阈值，以便粗略地突出显示(一个或多个)伪影并移除它们。

处理单元14还被配置为对区域执行修复以获得经修复的图像。

可以对区域执行若干修复技术以获得经修复的图像。

在一些示例中，使用偏微分方程来执行修复步骤。数字图像基本上是二维整数矩阵，其中每个整数表示单个像素的颜色或灰度值。图像中的分割掩模由矩阵中的未知值表示。因此，偏微分方程基于附近像素的值来填充这些缺失值。偏微分方程的示例可以包括但不限于傅里叶热方程、Perona-Malik方程、四阶总变分方程等。

在一些示例中，修复技术利用深度生成式机器学习模型。如果被适当地训练，深度生成式机器学习模型能够学习数据的潜在分布并使用该信息来创建新样本。深度生成式机器学习模型的这种能力使得它们对于图像修复是完美的，图像修复是利用似乎合理的像素填充图像中的缺失部分。深度生成式机器学习模型的示例可以包括但不限于生成对抗网络(GAN)、变分自动编码器(VAE)和归一化流。

输出单元16被配置为将经修复的图像并入训练集以用于开发机器学习模型。例如，输出单元16被配置为耦合到训练集数据库(未示出)以用于将经修复的图像添加到用于训练机器学习模型的训练集数据库。训练集数据库可以被存储在装置10的内部存储设备中。替代地或额外地，训练集数据库可以被存储在外部存储设备中，例如，存储在云存储中。

在一些示例中，可以从经修复的图像中提取并自动注释一个或多个特征。从经修复的图像中提取的一个或多个特征可以包括但不限于经修复的图像中的标志、器官边界、感兴趣区域和/或图像标签。例如，可以使用图像处理算法(诸如将找到相关特征的近似中心和边界框的检测算法)从经修复的图像中提取一个或多个特征。替代地或额外地，可以基于检查元数据从经修复的图像中提取一个或多个特征，该检查元数据包括由操作者规划的扫描体积的配置参数。配置参数可以用于从经修复的图像中提取一个或多个特征。因此，除了经修复的图像之外，还可以将从经修复的图像提取的一个或多个特征和标记一个或多个特征的数据添加到训练集以用于训练机器学习模型。

该装置被提出用于植入伪影以改善图像分类和图像质量评估，否则由于伪影隐藏下面的解剖组织而使图像分类和图像质量评估劣化。此外，可以实现注释的真实情况数据的连续和无监督采集，这为理想地生成大的真实情况数据库提供了基础。由于不需要手动搜索和编辑图像中的伪影，因此可以改善时间效率。另外，可以进一步且连续地扩展真实情况数据库。如果出现具有新的和未预见的特性的数据，或如果需要调整经训练的***的期望结果，则利用真实情况数据库训练的机械学习模型可以适应随时间发生的这些变化。

装置10可以被实施为设备或装置或者被实施在设备或装置中，所述设备或装置诸如为服务器、工作站、成像***或移动设备。装置10可以包括执行适当软件的一个或多个微处理器或计算机处理器。装置的处理单元可以由这些处理器中的一个或多个来体现。软件可能已经被下载和/或存储在对应的存储器中，例如，诸如RAM的易失性存储器或诸如闪存的非易失性存储器。软件可以包括配置一个或多个处理器以执行参考***的处理器描述的功能的指令。替代地，装置的功能单元(例如，输入单元、处理单元和输出单元)可以以可编程逻辑的形式(例如，作为现场可编程门阵列(FPGA))被实施在设备或装置中。输入单元和输出单元可以由装置的相应接口来实施。通常，装置的每个功能单元可以以电路的形式实施。注意，装置10也可以以分布式方式实施。例如，装置的一些或所有单元可以被布置为分布式架构中的单独模块，并且连接在合适的通信网络(诸如第三代合作伙伴计划(3GPP)网络、长期演进(LTE)网络、互联网、LAN(局域网)、无线LAN(局域网)、WAN(广域网)等)中。

装置10可以被安装在医院或其他环境中，允许在类似临床的条件下进行扫描，以收集和处理来自一个或多个临床场所处的常规检查和研究检查的数据。图3示出了可以用于从例行检查连续地采集真实情况数据或注释的真实情况数据的医学成像***100。医学成像***100包括医学成像装置20和如上所述的装置10。

在图3的示例中，医学成像***100是胸部放射摄影成像***，并且医学成像装置20是X射线成像装置。在一些其他示例(未示出)中，医学成像装置10可以是例如MR成像装置、CT成像装置或PET成像装置。医学成像装置10的其他示例可以包括组合的治疗/诊断装置，诸如MR-Linac装置、MR质子治疗装置和/或锥形束CT装置。

X射线成像装置20包括X射线源20a和X射线探测器20b。X射线探测器20b与X射线源间隔开以容纳要被成像的患者PAT。

通常，在图像采集期间，经准直的X射线束(用箭头P指示)从X射线源20a发出，在感兴趣区域(ROI)处穿过患者PAT，通过与患者PAT中的物质相互作用而经历衰减，并且衰减的束然后撞击X射线探测器20b的表面。构成ROI的有机材料的密度决定了衰减的水平。也就是

X射线成像装置20的总体操作可以由操作者从控制台22控制。控制台22可以耦合到屏幕或监视器24，在屏幕或监视器24上可以查看或审查所采集的X射线图像或成像器设置。诸如医学实验室技术人员的操作者可以经由控制台22通过释放个体X射线曝光(例如通过致动操纵杆或踏板或耦合到控制台22的其他合适的输入装置)来控制图像采集运行。即胸部X线影像学检查中的肋骨和肺组织。高密度材料(例如骨骼)比较低密度材料(例如肺组织)产生更高的衰减。然后，所记录的X射线数字值被合并为数字值阵列，形成给定采集时间和投影方向的X射线投影图像。

X射线成像装置20的总体操作可以由操作者从控制台22控制。控制台22可以耦合到屏幕或监视器24，在屏幕或监视器24上可以查看或审查所采集的X射线图像或成像器设置。诸如医学实验室技术人员的操作者可以经由控制台22通过释放个体X射线曝光(例如通过致动操纵杆或踏板或耦合到控制台22的其他合适的输入装置)来控制图像采集运行。

在图3的示例中，患者PAT面向平坦表面站立，在该平坦表面后面的是X射线探测器20b。根据不同的示例(未示出)，X射线成像装置可以是C形臂类型的，并且患者PAT实际上躺在检查台上而不是站立。

装置10可以是如关于图1所描述的装置。在图3的示例中，装置10是被配置为通过基于无线和/或有线的接口与医学成像装置20通信的单独设备。然而，在替代示例(未示出)中，装置10可以驻留在作为软件例程运行的控制台22中。装置10被配置为生成包括经修复的图像的真实情况数据。可选地，装置10可以被配置为生成经注释的真实情况数据，除了经修复的图像之外，该经注释的真实情况数据还包括标记从经修复的图像提取的一个或多个特征的数据。

***100可以包括用于存储从一个或多个临床站点获得的训练集数据库的存储设备(未示出)，例如，以用于存储训练集数据库18的云存储的形式。换句话说，可以根据请求并且在与一个或多个临床场所一致时以全自动方式连续地收集和处理注释的真实情况数据。可以例如经由云技术共享和聚合注释的真实情况数据。这可以以符合对隐私数据的规定的方式来完成，例如，通过确保输入数据被匿名化并且仅共享和存储经处理的数据的中间层，其中保证匿名性。

图4示出了用于训练用于对由医学扫描器采集的图像中的图像特征进行分类的机器学习模型的方法200的流程图。机器学习模型的示例可以包括但不限于卷积神经网络(CNN)、决策树、支持向量机(SVM)和增强分类器。

计算机实施的方法200可以被实施为设备、模块或相关部件，其以一组逻辑指令存储在非瞬态机器或计算机可读存储介质(诸如随机存取存储器(RAM)、只读存储器(ROM)、可编程ROM(PROM)、固件、闪存存储等)中、存储在可配置逻辑器件(例如可编程逻辑阵列(PLA)现场可编程门阵列(FPGA)复杂可编程逻辑设备(CPLD)中、存储在使用电路技术(例如专用集成电路(ASIC)、互补金属氧化物半导体(CMOS)或晶体管-晶体管逻辑(TTL)技术)的固定功能硬件逻辑中、或其任何组合。例如，执行方法200中所示的操作的计算机程序代码可以以一种或多种编程语言(包括诸如JAVA、SMALLTALK、C++、Python等的面向对象的编程语言以及诸如“C”编程语言或类似编程语言的常规程序编程语言)的任何组合来编写。

在步骤210(即，步骤a)中，接收由医学扫描器采集的图像。图像可以由选自X射线成像装置、MR成像装置、CT成像装置、超声成像装置和/或PET成像装置的医学扫描器采集。在步骤220(即，步骤b)中，识别图像中的伪影。伪影可以是运动引起的伪影、添加到图像上的文本标记和/或由患者外部的异物产生的伪影。

根据一些示例，可以通过在机器学习模型的开发期间分析分类结果来实现伪影的识别。例如，可以应用机器学习模型来对图像中的图像特征进行分类。可以分析分类结果以确定特定类别是否表现出超过阈值的误差。如果特定类别表现出超过阈值的误差，则确定所述图像中的伪影的共存。换句话说，如果特定类别表现出显著的错误，则它可能是标签的表现与不同特征共存的迹象。

在步骤230(即步骤c))中，对伪影进行分割以获得要在其上执行修复的区域的分割掩模。换句话说，一旦已经识别出伪影的同现，就必须对它们进行分割以便获得要在其上执行修复的区域的掩模。

根据一些示例，图像的分割可以利用类UNET结构或深度生成式机器学习模型来实现，所述深度生成式机器学习模型最小化在其上存在外部对象的源图像与在其上不存在外部对象的所生成的图像之间的距离。在一些示例中，可以在CAM上使用阈值以便粗略地突出显示(一个或多个)伪影并移除它们。

在步骤240(即步骤d))中，对该区域进行修复以获得经修复的图像。换句话说，在异物分割之后，分割掩模可以用作必须被修复的位置的标记。

可以对区域执行若干修复技术以获得经修复的图像，包括但不限于利用偏微分方程和深度生成式机器学习模型(诸如GAN、VAE和归一化流)进行修复。

在步骤250(即步骤e))中，将经修复的图像并入训练集以用于开发机器学习。可选地，可以使用图像处理算法从经修复的图像中提取一个或多个特征。除了经修复的图像之外，还可以将标记一个或多个特征的数据添加到训练集中以生成注释的真实情况数据。

可选地，该方法还可以包括在训练集上训练机器学习模型。

将认识到，以上操作可以以任何合适的顺序(例如，连续地、同时地、或其组合)被执行，在适当的情况下经受例如输入/输出关系所必需的具体顺序。

如本文所定义和使用的所有定义应被理解为控制在字典定义、通过引用并入的文献中的定义和/或所定义的术语的普通含义上。

如本文中在说明书和权利要求书中所使用的词语“一”和“一个”应被理解为意指“至少一个”，除非明确相反指示。

如在本说明书和权利要求书中所使用的短语“和/或”应该被理解为是指如此联合的元素中的“任一个或两者”，即在一些情况下联合存在并且在其它情况下分离存在的元素。利用“和/或”列出的多个元素应该以相同的方式解释，即如此联合的元素中的“一个或多个”。除了由“和/或”子句特别识别的元素，其他元素可以任选地存在，不管与具体标识的那些元素相关还是不相关。

如本文中在说明书和权利要求书中所使用的，涉及一个或多个元素的列表的短语“至少一个”应该被理解为是指选自元素列表中的元素中的任何一个或多个的至少一个元素，但是不必包括元素列表内具体列出的每一个元素和每个元素中的至少一个，并且不排除元素列表中的元素的任何组合。该定义还允许除了在短语“至少一个”涉及的元素列表内具体识别的元素之外元素可以任选地存在，而不管与具体识别的那些元素相关还是不相关。

在本发明的另一示例性实施例中，提供了一种计算机程序或计算机程序单元，其特征在于适于在适当***上运行根据前述实施例中的一个所述的方法的方法步骤。

因此，计算机程序单元因此可以被存储在计算机单元上，所述计算机单元也可以是本发明的实施例的部分。该计算单元可以适于执行或引起上述方法的步骤的执行。此外，其可以适于操作上面描述的装置的部件。计算单元能够适于自动操作和/或适于执行用户的命令。计算机程序可以被加载到数据处理器的工作存储器中。因此，数据处理器可以被装备为执行本发明的方法。

本发明的该示例性实施例涵盖从最开始使用本发明的计算机程序和借助于更新将现有程序转变为使用本发明的程序的计算机程序两者。

此外，计算机程序单元可以能够提供所有必要步骤，以完成如上面描述的方法的示例性实施例的流程。

根据本发明的又一示例性实施例，提出了一种计算机可读介质，诸如CD-ROM，其中，所述计算机可读介质具有被存储在其上的计算机程序单元，前述章节描述了所述计算机程序单元。

计算机程序可以被存储和/或分布在适当的介质上，诸如与其他硬件一起被提供或作为其他硬件的部分被提供的光学存储介质或固态介质，但是所述计算机程序也可以以其他形式分布，诸如经由互联网或其他有线或无线通信***分布。

然而，计算机程序也可以被提供在如万维网的网络上并且能够从这样的网络下载到数据处理器的工作存储器中。根据本发明的又一示例性实施例，提供一种用于令计算机程序单元可用于下载的介质，所述计算机程序单元被布置为执行根据本发明的前面描述的实施例中的一个的方法。

尽管已经在此描述和图示了多个本发明的实施例，但本领域普通技术人员将容易地想到用于执行功能和/或获得结果和/或本文描述的优点中的一个或多个的多种其他装置和/或结构，并且每个这种变型和/或修改都应当被认为在本文描述的本发明实施例的范围内。更一般地，本领域普通技术人员将容易地认识到，本文描述的所有参数、尺寸、材料和构造都意味着是示例性的，并且实际的参数、尺寸、材料和/或构造将取决于本发明教导所使用的具体的一个或多个应用。本领域普通技术人员将认识到或仅仅使用常规实验就能够确定本文描述的具体发明实施例的很多等同形式。因此，应当理解的是，前面的实施例仅仅通过示例的方式提出，并且在所附权利要求及其等同形式的范围内，可以实现除具体描述和要求保护的实施例以外的其他本发明实施例。本公开的本发明实施例涉及本文描述的每个单独的特征、***、物品、材料、配套元件和/或方法。此外，两个或更多这种特征、***、物品、材料、配套元件和/或方法的任意组合——如果这些特征、***、物品、材料、配套元件和/或方法不会相互冲突——都被包括在本公开的发明范围内。

Claims (15)

1.一种用于训练用于对由医学扫描器采集的图像中的图像特征进行分类的机器学习模型的计算机实施的方法(200)，包括：

a)接收(210)由医学扫描器采集的图像；

b)识别(220)所述图像中的伪影；

c)对所述伪影进行分割(230)以获得要在其上执行修复的区域的分割掩模；

d)对所述区域执行(240)修复以获得经修复的图像；以及

e)将所述经修复的图像并入(250)训练集中以用于开发所述机器学习模型。

2.根据权利要求1所述的计算机实施的方法，还包括：

从所述经修复的图像中提取一个或多个特征；以及

将标记所述经修复的图像中的所述一个或多个特征的数据并入所述训练集中。

3.根据权利要求1或2所述的计算机实施的方法，

其中，所述伪影包括以下中的至少一种：

所述图像中的运动引起的伪影；

添加到所述图像上的文本标记；以及

由与所述患者一起被成像的对象引起的伪影。

4.根据前述权利要求中的任一项所述的计算机实施的方法，

其中，所述图像包括以下图像中的一种或多种：胸部X射线图像、计算机断层摄影图像、磁共振图像、超声图像、正电子发射断层摄影图像和单光子发射计算机断层摄影图像。

5.根据前述权利要求中的任一项所述的计算机实施的方法，

其中，步骤b)包括：

应用所述机器学习模型来对所述图像中的图像特征进行分类；

分析分类结果以确定特定类别是否表现出超过阈值的误差；以及

如果特定类别表现出超过阈值的误差，则确定所述图像中的伪影的共存。

6.根据前述权利要求中的任一项所述的计算机实施的方法，

其中，步骤c)包括：

基于类别激活图CAM上的阈值来对所述伪影进行分割；

利用类UNET结构来对所述伪影进行分割；或

利用深度生成式机器学习模型来对所述伪影进行分割。

7.根据前述权利要求中的任一项所述的计算机实施的方法，

其中，步骤d)包括：

利用深度生成式机器学习模型执行修复；或

利用偏微分方程执行修复。

8.根据权利要求6或7所述的计算机实施的方法，

其中，所述深度生成式机器学习模型包括以下中的至少一种：

生成对抗网络GAN；

变分自动编码器VAE；以及

归一化流。

9.根据前述权利要求中的任一项所述的计算机实施的方法，还包括：

在所述训练集上训练所述机器学习模型。

10.根据前述权利要求中的任一项所述的计算机实施的方法，还包括：

显示所述经修复的图像。

11.一种用于训练用于对由医学扫描器采集的图像中的图像特征进行分类的机器学习模型的装置(10)，包括：

输入单元(12)；

处理单元(14)；以及

输出单元(16)；

其中，所述输入单元被配置为接收由医学扫描器采集的图像；

其中，所述处理单元被配置为：识别所述图像中的伪影，对所述伪影进行分割以获得要在其上执行修复的区域的分割掩模，并且对所述区域执行修复以获得经修复的图像；并且

其中，所述输出单元被配置为将所述经修复的图像并入训练集中以用于开发所述机器学习模型。

12.根据权利要求11所述的装置，

其中，所述处理单元还被配置为：从所述经修复的图像中提取一个或多个特征，并且经由所述输出单元将标记所述经修复的图像中的所述一个或多个特征的数据并入所述训练集中。

13.一种医学成像***(100)，包括：

医学成像装置(20)，其被配置为采集患者的图像；以及

根据权利要求11或12所述的装置。

14.一种包括指令的计算机程序产品，所述指令在由至少一个处理单元执行时使所述至少一个处理单元执行根据权利要求1至10中的任一项所述的方法的步骤。

15.一种存储有根据权利要求14所述的程序产品的计算机可读介质。