CN116018611A - 使用深度卷积网络的噪声抑制 - Google Patents

Abstract

一种机器学习网络被训练成从放射摄影(X射线)图像生成噪声场图像。该训练包括：访问许多先前采集的放射摄影图像；复制先前采集的放射摄影图像；以及用模拟的噪声内容调节复制的图像中的每个，以形成多个模拟的低曝光量图像。模拟的低曝光量图像中的每个与其对应的先前采集的图像成对以形成学习对。机器学习网络被训练成使用图像的学习对来生成噪声场图像。对象的经噪声抑制的图像能够通过以下方式来生成：将缩放因子应用于对应的噪声场图像的至少一部分并且将经缩放的噪声场图像与对象的当前捕获的图像组合。

Description

使用深度卷积网络的噪声抑制

技术领域

本公开一般涉及数字图像处理的领域，并且更特别地涉及用于数字X射线图像中的噪声抑制的方法。

背景技术

为了提供适合于诊断目的的放射摄影图像，某种图像增强措施通常是期望的。在支配放射摄影图像的图像质量的基本属性之中的是亮度、动态范围、细节的对比度(或细节对比度)、边缘的锐度、图像曝光范围(latitude)以及噪声在图像中的出现。

噪声抑制对于使用数字X射线成像的从业人员而言是相当令人感兴趣的。通过使噪声内容最小化或消除噪声内容，图像处理***可以渲染更准确地表示对促进诊断和治疗有用的解剖特征或结构特征的图像。

使用深度卷积神经网络(具体的人工智能(AI)工具)的噪声抑制是用于在数字医学X射线图像中实现显著地更低的噪声的相对新近的方法。该方法的一个优点在于：与使用基于低通滤波的传统噪声减少方法相比，更好地保留高频图像内容，诸如高对比度边缘和低对比度边缘。此外，图像中的平的(flat)区域维持原始的噪声纹理(尽管在更低得多的级别下)，从而防止在图像增强之后噪声在这些区中的块状纹理。这允许细微图像细节在后捕获图像处理和渲染中被更积极地增强。

使用深度卷积神经网络的噪声抑制可导致遵循合理可实现的尽可能低(As LowAs Reasonably Achievable，ALARA)的原则的有意义的剂量减少。国际放射防护委员会(InternationalCommissiononRadiologicalProtection，ICRP)从1977年开始已提议针对放射人员采用ALARA政策，并且最近提议针对经受X射线成像的患者采用ALARA政策。

为了解决该问题，X射线设备的制造商和用户已在开发有助于降低曝光量(exposure)级别的规程技术和阈值设定两者中付出努力。例如，可以开发针对各种条件而提供推荐的曝光量设定的技术图表来满足ALARA目标。这些降低的设定然后可以用于有助于控制剂量级别的***工具，诸如自动曝光量控制(AEC)和解剖编程放射摄影(APR)。

虽然曝光量减少是值得出力的目标，然而曝光量减少的实现不应当损害放射成像***向诊断医师提供的能力。错误地降低X射线曝光量级别可能导致具有降低的诊断价值的、质量差的图像。在太小曝光量的情况下产生的图像可能以诸如过大的粒度和低对比度之类的问题为特征。这样的图像可能难以使用并且可能潜在地损害诊断。在一些情况下，诸如这些问题之类的问题甚至可能要求重新拍摄图像，从而严重地损害用来降低总体的患者曝光量的努力。

在工业放射摄影中，低剂量不是主要考虑因素，但噪声抑制可具有显著价值。实际上，低噪声图像通常通过以下方式来产生：使用长曝光时间(计算放射摄影和胶片)，或通过对每帧在较短曝光时间的大量帧进行平均。对于工业用途和非医学用途，曝光量减少可以有助于减小获得合适的图像所要求的时间量，从而导致节能以及生产率提高。

即使利用AI，X射线捕获的实际要求的剂量也仍然由以下项来确定：在图像中需要被检测的最关键特征的大小和对比度。然而，对于许多检查(例如检验硬件(诸如管和线、起搏器、或整形外科的***物)的放置，或测量解剖特征与硬件的距离和角度)，可以大幅地降低剂量。此外，更干净、几乎无噪声的图像可有助于减少放射科医师在长的察看时间段中的疲劳。

常规的噪声抑制技术在一些情况中可以是令人满意的，但往往缺乏提供高质量放射摄影图像结果所需要的，特别是在最期望曝光量减少的情况下。常规的噪声抑制途径已遵循针对传统X射线处理而开发的模式，这些常规方法未能准确地表征和校正在从数字放射摄影***所获得的图像中普遍存在的噪声行为。

因此，可以看出，需要可以利用人工智能和机器学习能力的噪声抑制技术，但允许用于调节数字放射摄影图像内容的用户调整和适配的措施。

发明内容

本公开的目标是要解决对于数字放射摄影图像的改进的噪声抑制的需要，不论是对于医学用途，还是对于工业/商业用途。

这些目标仅通过说明性示例的方式来给出，并且这样的目标可以例示本公开的一个或多个实施例。本领域技术人员可以想到固有地实现的其它期望的目标和优点，或所述其它期望的目标和优点对本领域技术人员而言可以变得明白。本发明由所附权利要求来限定。

本公开的方法的一个新颖的方面在于，由神经网络产生的噪声减少的量可以针对诸如医生和/或放射科医师之类的从业人员的偏好而定制。另外，诸如自动角度和距离测量或疾病特征检测之类的附加特征可以与通过图像处理的附加增强以及降低的图像噪声一起更可靠地工作。

根据本公开的一个方面，提供有生成经噪声抑制的放射摄影图像的计算机实现的方法。该方法包括训练机器学习网络以从当前的放射摄影图像生成噪声场图像。该方法还包括：访问多个先前采集的放射摄影图像；复制(duplicate)先前采集的放射摄影图像；用模拟的噪声内容调节复制的图像中的每个，由此形成多个模拟的低曝光量图像。模拟的低曝光量图像中的每个与其对应的先前采集的图像成对以形成学习对。机器学习网络被训练成使用图像的学习对来生成噪声场图像。此后，经训练的学习网络可以使用对象的当前捕获的图像来为此形成对应的噪声场图像。然后，对象的经噪声抑制的图像可以通过以下方式来生成：将缩放因子应用于对应的噪声场图像的至少一部分并且将经缩放的噪声场图像与对象的当前捕获的图像组合。经噪声抑制的图像可以诸如通过显示、存储或传送图像，在通常的进程中作为完整的图像来处理。

附图说明

本发明的前文的目标、特征和优点以及其它的目标、特征和优点根据如附图中所图示的以下的对本公开的实施例的更特定的描述是明白的。附图的元件相对于彼此不一定是按比例的。

图1是示出卷积网络逻辑在生成噪声场中的作用并且示出噪声场如何被缩放并用于形成经噪声抑制的图像的示意图。

图2是示出可以如何将卷积网络结构化以用于噪声场生成的简化示意图。

图3是示出用于形成经噪声抑制的图像的序列的示意图。

图4是示出用于卷积神经U-Net网络的训练序列的示意图。

图5是示出根据本公开的实施例的、对于根据图像码值来缩放噪声场的示例的图。

图6是示出在其中噪声场的缩放由完全重叠的感兴趣区域(ROI)的标准偏差来确定的备选示例的图。

图7是示出对于通过用于噪声抑制的网络来处理的阶梯楔测试图像的示例的图。

图8示出具有影响对比度的变化的失真级别的示例。

图9是示出用于在用户接口处调整噪声减少的控制的平面图。

图10是示出如本文中所描述的影响曝光量减少并且可对噪声抑制产生影响的因子中的一些因子的图。

图11A是示出用于一般放射摄影或荧光透视的***的示意图。

图11B是示出用于非破坏性测试和工业放射摄影的***的示意图。

图11C是示出锥形束计算断层摄影***的示意图。

图11D是示出使用U-Net的噪声抑制如何适应到图11C的工作流中的逻辑流程图。

图12示出具有由于散射(scatter)抑制而导致的增强的对比度的图像在不存在噪声抑制的情况下和在存在噪声抑制的情况下的比较。

图13A-图13B示出所采集的图像和在噪声覆盖掩码的情况下所采集的图像，该噪声覆盖掩码标识与是亚阈值或量子缺乏的像素对应的所采集的图像的区域。

具体实施方式

本申请要求对于以William J.Sehnert、Karin Toepfer以及Levon Vogelsang的名义在2020年9月3日临时提交的标题为“NOISE SUPPRESSION USING DEEP CONVOLUTIONALNEURAL NETWORKS”的美国序号No.63/074,129的美国临时申请的优先权，该美国临时申请特此通过引用而以其整体并入于本文中。

下文是对优选实施例的详细描述，参考附图，在附图中，相同的参考标号标识在若干图中的每个图中的结构的相同元件。

在本文献中，用语“一”或“一个”如在专利文献中常见的那样用于独立于“至少一个”或“一个或多个”的任何其它实例或用法而包括一个或多于一个。在本文献中，除非另外指示，否则用语“或”用于指非排他性的或，使得“A或B”包括“A但没有B”、“B但没有A”以及“A和B”。在本文献中，用语“包括”和“在其中”用作相应的用语“包含”和“其中”的简明英语等同体。而且，在以下的权利要求中，用语“包括”和“包含”是开放式的，即，包括除了在权利要求中的这样的用语之后所列出的那些元件之外的元件的***、装置、物品或过程仍然被认为是落入该权利要求的范围内。

在以下的权利要求中，用语“第一”、“第二”以及“第三”等可以仅仅用作标签，用于更清楚地将一个元件或时间间隔与另一元件或时间间隔区分开，不旨在对它们的对象强加数值顺序或优先级要求。用语“多个”意味着至少两个。

在本公开的上下文中，用语“察看者”、“操作者”以及“用户”被认为是等同的，并且指的是在显示监视器上察看并操纵X射线或其它诊断图像的察看从业人员或其他人。

如本文中所使用的，用语“集合”指的是非空集合，因为集合的成员或元素的集的概念在初等数学中被广泛地理解。除非另外明显地陈述，否则用语“子集”在本文中用于指非空的恰当的子集，即，指具有一个或多个成员的较大集合的子集。对于集合S，子集可以包括完整的集合S。然而，集合S的“恰当的子集”严格地被包含在集合S中并且排除集合S的至少一个成员。

短语“放射摄影图像”指的是从不可见的辐射能量(一般为电离辐射)生成并且记录于放射敏感表面上的图像。放射摄影成像由各种模态的***实行，所述各种模态的***包括：一般的X射线成像设备；体积成像***，诸如锥形束计算断层摄影(CBCT)和计算断层摄影(CT)***；荧光透视***；并且可以包括在医学应用/兽医应用中使用的设备以及用于非破坏性测试(NDT)的工业***。

如在背景技术章节中所指出的，机器学习技术已应用于噪声抑制的问题，但未针对在数字放射摄影中特别地普遍存在的噪声特性。在机器学习实践中，神经网络用于预测要从所捕获的图像去除的噪声场。

根据在本文中更详细地描述的本公开的实施例，如在图1的过程中示意性地示出的，可以根据用户偏好来生成和缩放预测的噪声场N，以在最终显示的图像中产生受控量的噪声。如随后更详细地描述的，低剂量图像10被输入到卷积网络12(诸如U-Net布置)以生成噪声场N。此外，所减去的噪声场N可以根据原始图像中的任何感兴趣区域中的空间细节的估计量和/或码值来缩放，以优化经噪声抑制的图像16的出现和诊断值。噪声抑制可以是成像过程的一部分，该成像过程包括：出于医学或工业目的而捕获数字X射线图像；对于显示的图像增强和渲染；以及可选的附加算法，诸如管和线增强，距离、角度的自动测量，以及对疾病特征或材料缺陷的检测。另外，放射摄影成像设备可以基于由来自医学或工业信息***的附加元数据指定的检查的目的和所减去的噪声场的缩放因子S来推荐相对于当前实践的X射线剂量减少。因此，检查类型可以是在确定要应用的噪声抑制量中的因子。

本公开适用于用于医学和工业数字X射线成像的放射摄影成像设备。所包括的模态是具有计算放射摄影(CR)盒和数字平板检测器两者的常规的二维放射摄影、长的长度成像、双能量投影放射摄影、CR***摄影。还包括的是任何形式的帧捕获的数字放射摄影，诸如计算断层摄影，其包括锥形束计算断层摄影(CBCT)、断层合成、串行放射摄影以及荧光透视/实时成像。

如本文中所描述的，在放射摄影成像设备处按序采集多个帧(例如，诸如在CBCT成像中)的情况下，提供作为输入图像的集合来采集的一系列图像以供处理可以是有利的。使用多个帧可以有益于揭示帧间变化的随机性质，从而用作比单一图像所提供的噪声预测器更准确的噪声预测器。

一般而言，深度神经网络具有大量的参数(通常在数百万的数量级中)并且采用大量的训练样本。为了开发用于噪声抑制的AI应用程序，必须考虑机器学习环境的这些方面。

用于噪声抑制的训练样本由低剂量和高剂量图像对的一个或多个集合组成。考虑到电离辐射的潜在地有害的影响以及对低剂量图像数据和高剂量图像数据的精确配准(registration)的需要，样本集合的开发使用成对的图像。该方法开始于在表示当前最佳实践的剂量级别下拍摄的现有的临床图像。然后，使用图像模拟技术来复制(copy)每个图像，然后调节该复制品以添加与较低剂量对应的噪声。在从模拟添加的噪声的情况下，对相同的图像内容的使用有助于消除较高剂量原始图像与其低剂量对应物之间的少量的配准不良(misregistration)的可能性。

通过示例的方式，先前公开了用于从高剂量图像生成低剂量图像的模拟方法的细节(标题为“Dose reduced digital medical image simulations”的、对Topfer和Ellinwood共同授予(assign)的美国专利7480365，图1至图3)。噪声模拟各自与用于具体检测器类型的噪声模型相关联，并且基于用于具体检测器类型的噪声模型，例如，具有碘化铯闪烁体的平板检测器或具有硫氧化钆闪烁体的平板检测器。该噪声模型通过在具体束条件(管电压和滤波)(例如，RQA-5束)下在不同曝光量级别下捕获平场图像来获得。来自检测器的图像的码值随曝光量而变化。平场捕获的噪声功率谱被计算，并且三维表面被拟合为曝光量和空间频率的函数。使用该途径，可以确定与每个检测器码值对应的噪声功率谱的幅度和形状。如果检测器码值以线性方式随着曝光量而变化，则低剂量图像可以通过将高剂量图像除以曝光量缩放因子来生成。对应的噪声功率谱是原始噪声功率谱与曝光量缩放因子的逆平方(inverse square)的乘积。这用作对于将噪声添加到低剂量图像的参考。随空间频率和曝光量而变的原始噪声功率谱与经缩放的功率谱之间的差经由使用噪声表(即，随码值而变的噪声的标准偏差)和卷积滤波器的图像模拟被添加到经缩放的高剂量图像。

对于一些应用，如下是有利的：使用分仓(binned)图像，即，将每个方向中的多个像素组合以形成较大的像素。在许多应用中，2x2分仓是实用的，即，组合的像素覆盖原始像素的区域的4倍，并且对于这些应用的像素间距是2x传感器的原生像素间距。经常这样做，以便提高对于实时成像和按快的速率拍摄多个图像的其它应用的帧速率。这些应用包括但不限于荧光透视、锥形束CT(CBCT)以及断层合成。在这些情况中，可以使用关于常规的2D放射摄影的相同的训练集合来用于训练。经由图像模拟来实行分仓，并且针对分仓***使用如上文所描述的平场图像的分析来获得噪声模型。

本公开的方法的本描述旨在提供根据一个或多个说明性实施例的本文中公开的主题的概述。本描述被提供，以便介绍实施例的说明性选择。本描述旨在标识本主题的所选择的特征。本主题不限于解决所指出的任何缺点或所有缺点的实现方式。为了能够理解其中本公开的特征的方式，可以通过参考某些实施例来描述所述方法，在附图中图示所述实施例中的一些实施例。然而，要注意到，附图图示本公开的某些实施例，并且因此不要被认为是限制其范围，因为本公开的范围包含其它同等地有效的实施例。附图不一定按比例绘制，重点一般放在图示本公开的某些实施例的特征上。

利用深度卷积神经网络处理的噪声抑制的有利实现方式是：通过引用并入本文中的由Ronneberger等人提出的U-Net“完全”卷积网络(Olaf Ronneberger，PhilippFischer，Thomas Brox，“U-Net:Convolutional Networks for Biomedical ImageSegmentation”，关于医学图像计算和计算机辅助介入的国际会议，2015年，第234-241页)。在本公开的上下文中，U-Net用作充当被训练成执行机器学习软件的处理器的卷积神经网络的便利示例。本文中针对U-Net而描述的操作和功能可应用于所采用的任何类似的卷积神经网络或处理器。应当强调的是，除了卷积神经网络(诸如，如本文中所描述的U-Net)之外，可存在针对执行经训练的逻辑功能而采用的其它类型的处理器。

如在图2中示意性地表示的，可以依据卷积块B、特征以及降低分辨率的级别而将U-Net配置参数化。U-Net过程流程遵循卷积网络模型，在左侧具有收缩路径，其中重复的卷积布置在多个下采样级别L中。下采样中的每个步骤可使特征通道的数量加倍。可使用多个卷积块B，其中在每个级别下有对应的滤波器F。在网络示意图的右侧示出扩展路径。扩展路径中的每个步骤可对特征映射进行上采样，并且提供将特征通道的数量减少一半的上卷积。

卷积块的最大池化、卷积以及连接(concatenation)被用来训练U-Net处理，以便生成噪声场N。最大池化被理解为操作以减小图像维数的众所周知的离散化过程。最大池化可以用来加速从一个连续处理阶段到下一个连续处理阶段的输入数据的缩减规模(downscaling)。最大池化可以使用例如应用于输入图像或对应的特征映射内容的非重叠子区域的最大滤波器来实现。U-Net的训练使用具有低剂量和高剂量图像对的训练集合来实行，每一对具有相同的图像内容。

高剂量图像被缩放到与低剂量图像相同的平均数字码值。网络优选地预测高剂量图像、目标以及所生成的低剂量图像之间的残差。

如上文所描述的，使用图像模拟来从高剂量图像生成低剂量图像。该模拟基于X射线成像中的噪声的物理性质。对于平板数字X射线检测器，噪声主要是电子噪声和量子噪声的组合。噪声随着空间频率和X射线曝光量而变化。使用图像模拟来从对应的较高剂量图像生成低剂量图像允许实际患者图像可用于训练的优点。此外，训练对的图像可在空间上精确地配准。通过使量化高剂量图像与低剂量图像之间的差异的成本函数最小化来优化(即，训练)U-Net或其它卷积神经网络的参数。在其最简单的形式中，成本函数可以表示通过U-Net来处理的低剂量图像与高剂量参考图像之间的平均绝对误差或均方误差。然而，可以使用两个或更多个成本函数的组合，其中所述成本函数中的一个成本函数本质上是感知性的，即，它预测人类观察者是否可以感知参考图像与预测图像之间的差异。

虽然大多数数字平板检测器利用码值与曝光量之间的线性关系产生原图像，但图像可以以其它方式来变换。例如，可以在训练之前使用曝光量映射(例如诸如使用查找表或数学函数)来将图像变换成不同码值。一些备选示例包括使用图像码值与曝光量之间的对数关系或采用表示图像码值与曝光量的平方根之间的比例的具有对于补偿电子噪声的偏移的Anscombe变换(

M.,Foi,A.(2011)，“Optimal inversion of the Anscombetransformation in low-count Poisson image denoising”，IEEE图像处理汇刊，20(1)，第99-109页)。此外，如果原始图像的整体被归一化为零均值和单位标准偏差，或至少输入在0与1之间的范围内(其中1表示***可以产生的最大的可能的码值)，则深度神经网络(诸如，遵循U-Net架构的那些深度神经网络)最好地工作。

成本函数可以应用于由U-Net预测的图像与参考图像之间的差异。备选地，成本函数可以用于评价参考噪声场，即，在从使用U-Net或其它卷积神经网络所生成的低剂量图像来预测的噪声场的情况下，提供曝光量经缩放的高剂量图像与低剂量图像之间的差异的测量。

一旦U-Net或其它卷积神经网络的性能是合适的，就能够保存训练参数。在图像处理中，所保存的参数应用于来自数字X射线检测器的医学或工业图像捕获，以便预测并去除噪声场。该处理可以在计算机的CPU(中央处理单元)或专用图形处理单元(GPU)(其可以是计算机的一部分或者可以是连接到计算机的附加装置)上实现。该算法在GPU上的执行时间通常比在CPU上显著地更快。

根据本公开的实施例，该网络预测需要从原始低剂量噪声图像减去的噪声场N，以形成经噪声抑制的图像。在图3的示意图中概述该过程。噪声场N最有可能具有接近零的均值。该实现方式的优点在于：可以基于附加参数来缩放或以其它方式调节噪声场N，以实现预确定的图像处理目标。例如，噪声场N可以根据图像码值或根据图像的某个局部部分上的细节的量来缩放，例如由预确定的局部感兴趣区域内的变化来表征。

图4是示出对于卷积神经U-Net网络的训练序列的示意图。具有多个原始标准剂量图像的第一集合提供用于生成训练集合的起始点。第一集合的每个原始元素或成员被复制。然后调节每个复制图像以提供具有较高的噪声内容的模拟的低剂量图像。原始图像及其经调节的复制品然后形成供在训练集合内使用的图像对。以此方式，生成由多对原始图像和对应的模拟的低剂量图像形成的训练集合，并且该训练集合可以由神经网络来处理以生成预测的噪声场N。在训练序列中，与真实的噪声场T的比较用于计算在图4中示出为L1损失的成本因子，并且用于对U-Net参数进行更新，直到实现足够低的差异为止。一旦差异可接受地小或可忽略，卷积神经网络就被认为是经训练的并且可以投入使用。

图5的图示出根据本公开的实施例的、用于根据图像码值来缩放噪声场的示例，其中缩放由缩放因子s_c表示。在该情况中，在没有高于16384的原始图像码值的噪声减少的情况下，以线性的方式逐步停止(phase out)噪声抑制。该示例针对具有针对4x曝光量减少而训练的65536个可能的码值的基本上线性的16位***。由于曝光量缩放因子4，该***的训练集合中的最大码值是16384；在实施例中，不针对高于16384的码值来训练U-Net。为了避免在较高的码值下可能的细节损失，逐步停止噪声减少。然而，在许多情况中，这些较高的码值表示背景开放字段，并且因此对于医学诊断或对于找到工业零件中的缺陷是不相关的。

图6的图示出了备选示例，其中噪声场的缩放随图像内容中的空间频率(如由完全重叠的8x8像素感兴趣区域(ROI)的标准偏差所确定的)而变。ROI尺寸(8)仅出于说明目的，可以选择不同的大小。输入图像中的ROI中的像素的标准偏差与预测的噪声场中的ROI的标准偏差比较。在此情况中，由缩放因子s_d表征的噪声场的缩放取决于两个标准偏差的比率，如图6中所示出的。此类型的缩放可以是有用的，因为与包含高频细节的区域比较，网络在图像的平的部分中实现更多的噪声减少。

噪声场也可以基于图5和图6中所示出的示例的组合来缩放。同样地，针对缩放预测的噪声场N而示出的函数可以是非线性的。此外，对噪声场和输入图像进行滤波的其它统计措施或方法可以用于确定用于噪声场的缩放因子。

适于每个图像，还可以基于以下来对预测的噪声场N进行缩放：对于当前的放射摄影图像的标准IEC(国际电工技术委员会)曝光量指数、对于当前的检查类型的IEC目标指数、或对于当前的放射摄影图像的标准IEC偏差指数。IEC曝光量指数在IEC 62494-1中定义：数字X射线成像***的曝光量指数——第1部分：对于一般放射摄影的定义和要求以及AAPM报告116。例如，应用随着IEC偏差指数而单调地减小的噪声场缩放因子提供如下的能力：无论在放射摄影捕获中使用的曝光量如何，都利用较均匀的噪声出现来渲染图像。备选地，可以将噪声场缩放因子设定成随着放射照片的IEC曝光量指数而单调地减小，或设定为当前的检查类型的IEC目标指数与IEC曝光量指数之间的差的函数。

用于缩放噪声场的第三个因子是用户对于图像中的更多或更少的噪声减少的偏好。该主观因子可以用于调节噪声场生成参数，并且可以从站点到站点可变，或甚至从一个用户到另一用户可变。

在训练中，最大可实现的噪声减少由高剂量图像与低剂量图像之间的曝光量比率来控制。优选的曝光量比率在2与10之间的范围内。网络通常可以在图像的平的ROI中实现噪声减少的最大部分(fraction)。图7是示出针对通过用于噪声抑制的网络所处理的阶梯楔形测试图像的示例的图。在4个不同的曝光量级别下捕获了测试图像，以覆盖宽范围的可用数字码值。该图示出对于每个阶梯的若干64x 64像素ROI的稳健均值和标准偏差。顶部曲线(X符号)表示噪声输入图像。中间曲线(+符号)使用了对于利用高剂量图像与低剂量图像之间的2x曝光量比率训练的U-Net的参数。底部曲线(正方形符号)使用了对于利用高剂量图像与低剂量图像之间的4x曝光量比率所训练的U-net的参数。

如图8中所示出的，即使利用大的神经网络，高级别的噪声抑制也可能使低对比度细节失真。此外，高级别的噪声减少可使图像捕获过程的小的***性缺陷更可见，因而分散图像捕获的总体目的。因此，针对不会导致细节的显著失真或捕获缺陷的增强的噪声减少的最大量来训练网络可以是有利的。与原始捕获的噪声图像比较，该训练级别可能导致在噪声阈值级别下的特征的可检测性中的小的增强。在大多数情形中，网络不增强由于低剂量而被噪声真正地隐藏的特征。在噪声阈值以上，网络最有可能能够增强小的且低对比度的对象的对比度与噪声的比率。所得到的增强的量取决于噪声减少的量。然而，在有增强或没有增强的情况下，对象和特征将由经训练的放射科医师可检测。本文中所描述的方法的优点中的一个优点在于：可以定制所呈现的图像的噪声级别，从而根据放射科医师偏好允许更大的或更小的噪声级别。该缩放因子s_p直接地应用于由网络预测的噪声场。

图像中的噪声的量随着X射线曝光量而变化。低曝光量图像倾向于比在更高级别下采集的曝光量图片看起来更嘈杂。通常，成像中心(例如，医院)建立被推荐为图像质量与对患者的辐射负担之间的平衡的目标曝光量级别。所述辐射曝光量可以通过诸如先前指出的IEC曝光量指数之类的度量来量化。与曝光量目标的偏差可以通过以分贝为单位而表达的IEC偏差指数来测量，其中负值指示低于目标曝光量级别的曝光量级别。当曝光量与目标偏离时，噪声的量也改变，使得基于IEC偏差指数而修改噪声减少的量是有利的。这可以例如通过以下方式来实现：利用是IEC偏差指数的非增函数的因子来调制噪声减少的量。

基于IEC偏差指数而控制噪声减少的量是相对于目标IEC曝光量指数的。然而，这可能不是期望的实现方式。也可以通过以下方式在绝对的基础上实行控制：利用是IEC曝光量指数的非增函数的因子来调制噪声减少的量。

非增的概念涉及X射线量子的基础物理(X射线信号的信噪比随着曝光量增大而增大)，由此导致噪声减少可随着曝光量增大而减少的一般观念。然而，X射线与检测器的相互作用仅是要考虑的一个因子，因为捕获***包括其它部件，例如，诸如包括***的壳体的机械材料和电子部件。由于可能存在影响噪声生成的多个因子，因而在一些情况中，以下可以是有益的：利用并非纯粹地非增的函数来调制噪声，以便在将捕获过程的所有方面都并入时最佳地实行。

一般而言，根据本公开的经噪声抑制的图像I_s使用缩放因子s_c、s_d和s_p、IEC偏差指数d和IEC曝光量指数e以及缩放函数F(其在变量中的每个变量中优选地是单调的)，根据由U-Net或其它卷积神经网络所预测的噪声场N以及输入图像I₀来计算，如下：

I_s＝I₀-F(s_c,s_d,s_p,d,e,I₀,N)

可以例如使用滑块90来在设置屏幕上定义偏好因子s_p，以在零与100％或数值输入之间调整。在图9中示出示例。可选地，可以在设施处针对每个放射科医师来定义优选的缩放因子s_p的集合。

偏好因子还可以与曝光量控制因子(ECF)关联，所述ECF控制响应于累积的X射线曝光量而截止的自动曝光量控制(AEC)的阈值电压。用于ECF的软件接口控制是例如以一个增量为单位从-5变化到+5的数字设定。一个单元的改变对应于从默认基线到AEC的阈值电压的12.5％增量的改变以及随后12.5％的曝光量改变。ECF设定0表示由设施配置的默认基线曝光量。偏好因子与ECF之间的关联可以由单调减小的关系来指定，由此ECF随着偏好因子的增大而减小。利用该关系，可以通过增大偏好因子来实现全面的(across the board)剂量减少。

图10示出影响曝光量减少并且定义可能影响如本文中所描述的噪声抑制的推荐的剂量减少130的因子中的一些因子。医学或工业成像***可以基于缩放因子S和与特定检查相关的其它元数据而推荐超过当前的实践(其在不采用基于机器学习方法的噪声抑制的情况下操作)的另外的剂量减少。例如，如图10中所示出的，检查元数据110(其包括关于身体部分的信息和所要求的测试)可以对噪声抑制产生超过其它因素的影响的影响。标准技术表120或其它站点指南对于确定曝光量级别可以是重要的。另外，偏好缩放因子140的集合在特定站点处可以是有用的。检查可要求对非常细微的和/或低对比度的细节的可见性，并且可仍然要求与在没有噪声抑制的情况下使用的剂量级别相同的剂量级别。例如，可以生成剂量减少表150，从而将剂量减少值映射到偏好缩放因子。

频带分解是用于通过以下方式来控制图像质量的一个已证实的途径：在不损害图像内容的情况下，允许改进如所渲染的图像的特定方面。例如，通过引用而并入于本文中的、标题为“Control ofMultiple FrequencyBands forDigital Image”的、对Wang等人公共授予的美国专利No.7848560采用频率分解，从而将图像内容划分成特定谱带以允许在每个带内调整增益和/或对比度并且重建所调整的图像以便进行渲染。

图11A-11D分别示出基于U-Net实现方式的噪声抑制可以如何集成到用于患者1180或工业零件1190的各种医学和工业成像***中。图11A示出用于一般放射摄影或荧光透视的***。该***具有：图像采集***1110中的X射线管和发生器1112；手动开关1120，其连接到发生器，并且可选地连接到具有用于用户输入的键盘1132和/或触摸屏的工作站113；数字显示器1140；以及数字X射线检测器1150或计算放射摄影盒。工作站1130具有用于以下项的软件：用于管理工作列表、技术选择、图像采集；用于实行图像处理；以及用于显示图像。它可以接收用于以下项的用户输入：选择解剖构造和投影；检查目的；设定偏好；以及修改默认技术。优选地，X射线发生器1110连接到工作站1130，以便进行所选择的技术的直接通信。备选地，与发生器1110的通信可以是无线的，并且另外，***可以配置用于自动曝光量检测，而不要求检测器/工作站1130与发生器1110之间的有线同步。数字平板检测器1150可以具有到工作站的有线或无线连接。工作站1130和显示器1140可以组合到单个单元中，并且在包括高分辨率显示器的平板电脑上运行软件也是可能的。工作站1130处的图像处理可包括本文中所描述的噪声抑制。

对于X射线检查，软件可以基于所请求的检查的目的而自动地选择解剖构造、投影以及技术。备选地，用户可以人工地选择身体部分和投影，并覆盖默认的技术。通常，AEC基于针对预确定的***速度的AEC设置而使用。患者定位于X射线管1112与检测器1150之间，并且技术人员使用手动开关1120来启动X射线曝光。检测器1150经由无线或以太网连接将经增益校正、偏移校正以及缺陷校正的图像发送到工作站1130。作为第一步骤，在***的GPU 1170上基于U-Net的预训练的权重1160而实行噪声抑制，预训练的权重1160可根据检测器1150类型而变化。这可以包括在应用噪声抑制之前进行任何移位/缩放操作或应用查找表或应用使用方程的变换。然后，实行图像处理，该图像处理可以包括但不限于直方图均衡化、查找表(LUT)以及卷积滤波器。这以最佳方式渲染图像以用于显示。另外，***可以包含执行以下项的特殊软件：实行测量任务(例如，测量距离和角度)，提供关于疾病特征的分布或大小的统计数据以及疾病特征的自动检测，这些在显示器上标记并示出。

使用本文中所描述的机器学习方法来应用的噪声抑制可在多频率分解之前或在多频率分解之后使用，以便在同时不放大噪声内容的情况下，改进高频图像内容的估计，并且提供高频图像内容的改进的锐化。噪声抑制、对比度增强以及边缘锐化可以以变化的量应用于不同的频带内容。例如，较高级别的噪声抑制可更适合于较低频带；它可适合于在图像的一些较高频率部分上逐步地缩放噪声抑制，以便更清楚地渲染具有显著细节的区域。

噪声抑制能够具有如下的感知性的效果：使图像柔化，使得图像对人类观察者显得不那么锐利。因此，控制从图像去除的噪声的量或将一定的噪声的量加回到图像的能力可提供更令人满意的结果。如果将噪声加回到图像，则用于噪声调节的谱的形状可针对人类感知而优化。继噪声抑制之后，关于放射摄影成像设备的调制传递函数(MTF)而获得的知识可用于图像边缘复原。可选地，还可以调整噪声抑制的量以模拟给定的曝光速度。例如，图像可被调节成看起来好像它是以200的速度来采集的。

噪声抑制可应用于具有其它处理特征(包括管和线增强、骨骼抑制或其它图像调节)的图像。基于机器学习技术的噪声抑制可与基于机器学习技术的其它图像复原任务(诸如，在整个图像或图像的部分上的超分辨率)组合而应用。

感兴趣区域

本公开的实施例使用户能够定义所采集的图像的感兴趣区域并且能够定义特定于所定义的区域内的像素的噪声抑制量。图像在感兴趣区域之外的其它部分可以不被处理，或者可以使得经缩放的噪声抑制被应用。操作者可以调整在感兴趣区域内应用的噪声抑制的量。

散射校正

根据本公开的实施例，可以生成可选的散射图像，并且诸如使用减法来将该散射图像与所采集的图像数据组合，以便减少散射影响。可以在工作站1130或其它处理器处提供散射校正，以作为针对噪声的校正措施并且以便帮助改进图像对比度。设计成从曝光场去除散射的X射线的图像处理策略一般预测要从图像减去的平滑的散射场，由此增大总体对比度。然而，由于所估计的散射场是平滑的，因而与散射的辐射相关联的噪声可以保留在图像中。由于该过程增大总体对比度，因而噪声的出现可能分散注意力(distracting)。在散射补偿之前应用基于深度学习的噪声抑制可以显著地减少散射补偿之后的噪声出现。

图12示出在没有基于机器学习的噪声抑制的情况下仅具有散射抑制的图像1200。图像1210示出通过在先的散射抑制由基于机器学习的噪声抑制可实现的改进的结果。

散射校正还可以扩展到CBCT投影，其中散射估计对于提高重建的体积中的对比度以及对于Hounsfield单位的改进的估计是有用的(参见图11D中的步骤S430)。

类似的工作流适用于荧光透视或实时成像以及串行放射摄影，其中用户还选择期望的帧速率(通常在1帧/秒与30帧/秒之间，取决于采集的目的)。在串行放射摄影中，与荧光透视比较，捕获图像的更小的集合，并且通常，帧速率更低。在两种场景中，捕获多个帧。在串行放射摄影中，不需要将帧实时地递送到工作站，并且在随后递送到工作站的情况下，可以离线地进行处理。在采集之后而非在采集期间检查(review)视频帧，由此降低针对处理而要求的计算功率。然而，不同于串行放射摄影，在荧光透视中，每个帧实时地传送到工作站，并且在GPU 1170上接收噪声减少。荧光透视中的噪声抑制是很有价值的，因为个别的图像在非常低的剂量下采集，并且采集通常是量子限制的。通常，多个像素被分仓以创建单个较大的像素。这有助于降低噪声并且实现较高的帧速率。针对最佳的噪声减少，相同检测器模型上的荧光透视和一般放射摄影采集可以要求对于U-Net的不同的模型权重1160。

图11B示出用于检查工业零件1190和其它感兴趣对象(例如，化石、艺术品以及法医的对象)的非破坏性测试的***。除了该***可以与X射线和伽马源一起工作之外，该***以与医学***类似的方式工作。X射线源可以具有与医学X射线源不同的性质，例如以便实现较高的kVp以穿透厚金属部分，或实现非常小的焦点以考虑到(allow for)非常细微的细节的可视化和放大。用于NDT的源的多样性使得难以找到对于所有情况的公共噪声模型。以下可以是有必要的：针对伽马源和X射线源而单独地实行训练并且存储对于这两种不同情况的模型。NDT中的对象是无生命的，并且剂量不是关键因子。常见的是，获得同一对象的多个配准的帧并且对它们进行平均以增大信噪比。NDT中的曝光量减少导致节省时间和更高效的工作流。在NDT中，噪声抑制的优选实现方式是要在多帧平均之前在个别的图像上运行算法。

图11C示出CBCT(锥形束计算断层摄影)***100，其中平板检测器24与X射线源22同步地围绕受试者或对象20旋转，从而覆盖180度与360度之间的总旋转角度，捕获多个2D投影图像帧，通常超过100个投影图像。此外，在高速下使用分仓来采集图像，以创建较大的像素，从而将总采集时间保持为最小值并且降低患者运动的影响。每个投影图像帧的低剂量是必要的，以便对于这些多帧捕获保持总剂量尽可能低。

图11D是示出使用U-Net或其它卷积神经网络的噪声抑制如何适应(fit)到图11C的用于CBCT成像的工作流中的逻辑流程图。在采集步骤S400中，从检测器获得原图像。如在本文中详细地描述的，在实行任何其它图像处理步骤之前，噪声抑制步骤S410在GPU上实时地在个别的原图像上操作，这通常还要求针对快速的显示时间进行GPU处理。归一化步骤S420通常与可选的对数转换一起执行。散射校正步骤S430可以提供散射补偿。迭代重建步骤S440根据所采集的图像的集合来实行体积重建。可选的增强步骤S450针对体积内容而提供可变级别的图像增强。然后，可以在可选的分析和测量步骤S460中应用特殊分析和测量处理。

根据实施例，可以提供显示应用程序，以用于指示在图像的不同部分上的预测的噪声。例如，可以将半透明颜色覆盖物显示于图像内容上面以传达预测的噪声的量。

除了减少剂量并且抑制噪声之外，前面提到的成像***的用户还期望迅速地评估图像质量，以用于维持高效工作流。***的用户应当确信所采集的图像具有使用最低的有用的X射线剂量的必要的解剖信息。当采集图像时，通常利用预览图像来使用户能够在全分辨率图像被处理并且准备好显示之前，评估采集的技术和定位。预览图像通常具有减少的分辨率，并且不适合于评估图像中的细微细节和噪声。为了促进接受基于尚未被噪声抑制的预览图像的研究，显示应用程序被提供，以用于指示图像数据(预览或全分辨率)的哪个(哪些)部分在对于噪声抑制是亚阈值的信号电平下。这样的区域可以在颜色覆盖物中被突出，该颜色覆盖物可以显示于所采集的图像上，以向用户传达量子缺乏的像素数据。虽然噪声可以在这些区域中被抑制，但可能的是，在图像采集中未充分地捕获重要的解剖信息。当与检查的目的有关的关键的解剖构造在覆盖物中被强调时，用户可以迅速地评估和/或拒绝图像，增大曝光量，并且重新采集图像。图13A示出在覆盖物被叠加之前采集的前臂的图像1300，并且图13B示出具有叠加的覆盖物1310的所采集的图像，其中用红色示出的像素1311指示亚阈值或量子缺乏的像素数据。亚阈值像素在图像的与诊断前臂无关的区域中，因此用户可以确信曝光量是足够的。

相同的检测器模型上的CBCT和一般放射摄影采集可以针对U-Net或其它卷积神经网络要求不同的权重，以用于最佳的噪声减少。如在图11D序列中所指出的，在用于显示的迭代重建和增强的情况下，用于CBCT的其它图像处理步骤一般包括对数转换和归一化、散射减少。该图像处理可以后接用于测量距离和角度和/或用于检测疾病特征的附加软件；这些过程也可以由可选的硬件来辅助。与图11D序列类似的工作流可以适用于数字断层合成，其中通常捕获少于100帧，其中X射线源相对于患者和检测器在有限角度的弧中移动。

如本领域技术人员将意识到的，本公开的方面可以体现为***、方法或计算机程序产品。因此，本公开的方面可以采取以下的形式：硬件和软件实施例(包括固件、驻留软件、微代码等)；或组合可在本文中所有一般被称为“服务”、“电路”、“电路***”、“模块”和/或“***”的软件方面和硬件方面的实施例。

本书面描述使用示例来公开本发明(包括最佳模式)，并且还使本领域中的任何技术人员能够实践本发明(包括制作和使用任何装置或***以及实行任何并入的方法)。本发明的可专利的范围由权利要求来限定，并且可以包括本领域技术人员所想到的其它示例。如果这样的其它示例具有不异于权利要求的字面语言的结构元件，或如果它们包括具有与权利要求的字面语言无实质性差异的等同结构元件，则这样的其它示例旨在处于权利要求的范围内。

执行本文中所描述的过程的计算机程序产品可以包括一个或多个存储介质，例如：磁存储介质，诸如磁盘(诸如软盘)或磁带；光存储介质，诸如光盘、光带或机器可读条形码；固态电子存储装置，诸如随机存取存储器(RAM)或只读存储器(ROM)；或被采用来存储具有用于控制一个或多个计算机以实践根据本公开的方法的指令的计算机程序的任何其它物理装置或介质。

已详细地描述本发明，并且可能已特别地参考合适的或目前优选的实施例而描述本发明，但将理解到，可以在本公开的精神和范围内实现变型和修改。目前公开的实施例因此在所有方面都被视为说明性的而非限制性的。本发明的范围由任何所附权利要求指示，并且归入本发明的等同体的含义和范围内的所有改变都旨在被包含在本发明中。

Claims (15)

1.一种生成经噪声抑制的放射摄影图像的计算机实现的方法，所述方法包括以下的步骤：训练机器学习网络以通过以下方式来从当前的放射摄影图像生成噪声场图像：

访问多个先前采集的标准曝光量放射摄影图像；

复制所述先前采集的标准曝光量放射摄影图像中的每个；

用模拟的噪声内容调节所述复制的图像中的每个，以形成多个模拟的低曝光量图像，

将每个模拟的低曝光量图像与其对应的先前采集的标准曝光量放射摄影图像相关联，以形成放射摄影图像的多个学习对；以及

训练所述机器学习网络以使用放射摄影图像的所述多个学习对来生成噪声场图像；

捕获对象的当前的放射摄影图像，并且使用所述经训练的机器学习网络来从所述对象的所述当前的放射摄影图像生成对应的噪声场图像；

抑制所述对象的所述当前的放射摄影图像中的噪声，包括将缩放因子应用于所述对应的噪声场图像的至少一部分并且将所述经缩放的噪声场图像与所述对象的所述当前的放射摄影图像组合；以及

显示、存储或传送所述对象的所述经噪声抑制的放射摄影图像。

2.根据权利要求1所述的计算机实现的方法，还包括基于所述对象的所述当前的放射摄影图像的相同部分中的曝光量级别而确定所述缩放因子的幅度。

3.根据权利要求2所述的计算机实现的方法，其中，所述缩放因子包括相对于所述曝光量级别的基本上线性的关系。

4.根据权利要求1所述的计算机实现的方法，还包括根据所述对象的所述当前的放射摄影图像的空间频率来确定所述缩放因子的幅度。

5.根据权利要求1所述的计算机实现的方法，还包括响应于可变的用户输入来确定所述缩放因子的幅度。

6.根据权利要求5所述的计算机实现的方法，还包括当用户正改变所述可变的用户输入时，同时地显示所述对象的当前的示例性的经噪声抑制的放射摄影图像。

7.根据权利要求1所述的计算机实现的方法，还包括：捕获所述对象的多个当前的放射摄影图像；和将迭代重建方法应用于所述对象的所述多个当前的放射摄影图像，以生成所述对象的体积图像。

8.根据权利要求1所述的计算机实现的方法，还包括基于所述对象的所述当前的放射摄影图像的IEC指数值而确定所述缩放因子的幅度。

9.根据权利要求8所述的计算机实现的方法，还包括基于对于用于捕获所述对象的所述当前的放射摄影图像的检查类型的IEC目标指数来确定所述缩放因子的所述幅度。

10.根据权利要求1所述的计算机实现的方法，还包括从所述对象的所述当前的放射摄影图像的IEC偏差指数推导所述缩放因子。

11.根据权利要求1所述的计算机实现的方法，其中，应用所述缩放因子的步骤包括对所述所生成的噪声场图像的至少一部分进行求反。

12.根据权利要求1所述的计算机实现的方法，还包括基于所述对象的所述当前的放射摄影图像的相同部分的信噪比而确定所述缩放因子的幅度。

13.根据权利要求1所述的计算机实现的方法，其中，组合的步骤包括从所述对象的所述当前的放射摄影图像减去所述经缩放的噪声场图像。

14.根据权利要求1所述的计算机实现的方法，其中，捕获的步骤包括捕获所述对象的荧光透视图像。

15.根据权利要求1所述的计算机实现的方法，还包括：在所述对象的所述当前的放射摄影图像中标识是亚阈值的图像数据；形成与所标识的亚阈值图像数据对应的覆盖图像；以及显示与所述对象的所述当前的放射摄影图像组合的所述覆盖图像。

Images