CN112770838A - 使用自关注深度学习进行图像增强的***和方法 - Google Patents

Abstract

提供了一种用于改进图像质量的计算机实现的方法。该方法包括：使用医学成像设备获取受试者的医学图像，其中以缩短的扫描时间或减少的示踪剂量获取医学图像；将深度学习网络模型应用于医学图像以生成一个或多个特征关注图，以便医师分析具有改进的图像质量的受试者的医学图像。

Description

使用自关注深度学习进行图像增强的***和方法

相关申请的交叉引用

本申请要求于2019年10月1日提交的美国临时申请号62/908,814的优先权，其内容整体合并于此。

背景技术

医学成像在医疗保健中起着至关重要的作用。例如，正电子发射断层扫描(PET)、磁共振成像(MRI)、超声成像、X射线成像、计算机断层扫描(CT)的多种成像方式或这些方式的组合有助于预防，早期发现，早期诊断和治疗疾病和综合症。由于诸如电子设备的物理限制、动态范围限制、来自环境的噪声以及由于成像期间患者的运动引起的运动伪像的各种因素，图像质量可能下降，并且图像可能被噪声污染。

正在进行努力以提高图像质量并减少各种类型的噪声，例如混叠噪声和各种伪像，例如，金属伪像。例如，PET已被广泛用于临床诊断具有挑战性的疾病，例如，癌症、心血管疾病和神经***疾病。在PET检查之前将放射性示踪剂注入患者体内，这不可避免地会带来辐射风险。为了解决辐射问题，一种解决方案是通过在PET扫描期间使用全部剂量的一部分来减少示踪剂剂量。由于PET成像是量子积累过程，因此降低示踪剂剂量不可避免地会带来不必要的噪声和伪像，从而在一定程度上降低PET图像质量。作为另一个示例，与其他方式(例如，X射线、CT或超声)相比，常规PET可能花费更长的时间，有时是数十分钟，以进行数据获取以生成临床上有用的图像。PET检查的图像质量通常受检查期间患者运动的限制。例如PET的成像方式的漫长扫描时间可能会使患者感到不适并引起一些运动。解决此问题的一种方法是缩短或加快获取时间。缩短PET检查的直接结果是，可能会降低相应的图像质量。作为另一个示例，可以通过降低X射线管的工作电流来实现CT辐射的减少。与PET相似，减少的辐射可能导致减少的收集和检测到的光子，进而可能导致重构图像中的噪声增加。在另一个示例中，通常在MRI中获取多个脉冲序列(也称为图像对比度)。具体地，液体衰减反转恢复(FLAIR)序列通常用于识别大脑中的白质病变。但是，当FLAIR序列在较短的扫描时间内被加速(类似于PET的更快扫描)时，小的病变很难被解析。

发明内容

提供了用于增强图像(例如医学图像)的质量的方法和***。本文提供的方法和***可以解决常规***的各种缺点，包括上面认识到的那些缺点。本文提供的方法和***可能能够以缩短的图像获取时间，更低的辐射剂量或减少的示踪剂或对比剂剂量来提供改进的图像质量。

本文提供的方法和***可以允许越来越快的医学成像而不牺牲图像质量。传统上，短的扫描持续时间可能会导致图像帧中的计数较低，并且由于断层扫描的位置不正确且噪声较高，因此从低计数的投影数据中重构图像可能具有挑战性。此外，减少辐射剂量还可能导致图像质量下降的噪声较大的图像。在此描述的方法和***可以在不修改物理***的情况下改进医学图像的质量，同时保留量化精度。

所提供的方法和***可以通过应用深度学习技术来显着改进图像质量，从而减轻成像伪像并消除各种类型的噪声。医学成像中的伪像的示例可以包括噪声(例如，低信号噪声比)、模糊(例如，运动伪像)、阴影(例如，感测的阻塞或干扰)、信息丢失(例如，由于信息的删除或屏蔽导致绘画中的像素或体素缺失)和/或重构(例如，测量域的降级)。

另外，本公开的方法和***可以应用于现有***而无需改变下层基础设施。具体地，所提供的方法和***可以在不增加硬件组件成本的情况下加速PET扫描时间，并且可以被部署，而与下层基础设施的配置或规范无关。

一方面，提供了一种用于改进图像质量的计算机实现的方法。该方法包括：(a)使用医学成像设备获取受试者的医学图像，其中以缩短的扫描时间或减少的示踪剂量获取医学图像；(b)将深度学习网络模型应用于医学图像，以生成一个或多个关注特征图(attention feature map)和增强医学图像(enhanced medical image)。

在相关但又分开的方面，提供了一种非暂时性计算机可读存储介质，其包括指令，该指令在由一个或多个处理器执行时使一个或多个处理器执行操作。所述操作包括：(a)使用医学成像设备获取受试者的医学图像，其中以缩短的扫描时间或减少的示踪剂量获取医学图像；(b)将深度学习网络模型应用于医学图像，以生成一个或多个关注特征图和增强医学图像。

在一些实施方式中，深度学习网络模型包括用于生成一个或多个关注特征图的第一子网和用于生成增强医学图像的第二子网。在某些情况下，到第二子网的输入数据包括一个或多个关注特征图。在某些情况下，第一子网和第二子网是深度学习网络。在某些情况下，第一子网和第二子网在端到端训练过程中进行训练。在某些情况下，训练第二子网以适应一个或多个关注特征图。

在一些实施方式中，深度学习网络模型包括U-net结构和残差网络的组合。在一些实施方式中，一个或多个关注特征图包括噪声图或病变图。在一些实施方式中，医学成像设备是变换磁共振(MR)装置或正电子发射断层扫描(PET)装置。

根据以下具体实施方式，本公开内容的其他方面和优点对于本领域技术人员将变得容易理解，其中仅示出和描述了本公开内容的说明性实施方式。将会认识到，本公开内容能够具有其他和不同的实施方式，并且其若干细节能够在各种容易理解的方面进行修改，所有这些都不脱离本公开内容。因此，附图和具体实施方式应被视为本质上是说明性的，而非限制性的。

援引并入

本说明书中提到的所有出版物、专利和专利申请均通过引用并入本文，其程度如同特别地且单独地指出每一个单独的出版物、专利或专利申请均通过引用而并入。

附图说明

本发明的新颖特征在所附权利要求中具体阐述。通过参考以下对其中利用到本发明原理的说明性实施方式加以阐述的详细描述以及其附图，将会获得对本发明特征和优点的更好理解，在这些附图中：

图1示出了根据本发明一些实施方式的用于处理和重构医学图像数据的工作流程的示例。

图1A示出了根据本发明一些实施方式的用于产生噪声关注图或噪声掩码的Res-UNet模型框架的示例。

图1B示出了根据本发明一些实施方式的用于自适应增强图像质量的Res-UNet模型框架的示例。

图1C示出了根据本发明的一些实施方式的双重Res-UNet框架的示例。

图2示出了根据本公开的实施方式的示例性PET图像增强***的框图。

图3示出了根据本发明一些实施方式的用于改进图像质量的方法的示例。

图4示出了在标准采集时间下拍摄的PET图像，具有加速的采集，噪声屏蔽以及通过所提供的方法和***处理的增强图像。

图5示意性地图示了包括病变关注子网的双重Res-UNet框架的示例。

图6示出了示例病变图。

图7示出了模型架构的示例。

图8示出了将深度学习自关注机制(deep learning self-attention mechanism)应用于MR图像的示例。

具体实施方式

尽管在此已经示出和描述了本发明的各种实施方式，但是对于本领域技术人员容易理解的是，这些实施方式仅以示例的方式提供。在不脱离本发明的情况下，本领域技术人员可以想到许多变化、改变和替代。应当理解，可以采用本文所述的本发明的实施方式的各种替代方案。

本公开提供了能够改进医学图像质量的***和方法。具体地，所提供的***和方法可以采用可以显着改进图像质量的自关注机制和自适应深度学习框架。

所提供的***和方法可以在各个方面改进图像质量。医学成像中低质量的示例可能包括噪声(例如，低信号噪声比)、模糊(例如，运动伪像)、阴影(例如，感测的阻塞或干扰)、信息丢失(例如，由于去除信息或掩蔽导致丢失像素或体素)、重构(例如，测量域中的降级)和/或欠采样伪像(例如，由于压缩感测，混叠导致的欠采样)。

在某些情况下，提供的***和方法可能会采用自关注机制和自适应深度学习框架，以改进低剂量正电子发射断层扫描(PET)或快速扫描PET的图像质量，并实现高量化精度。正电子发射断层扫描(PET)是一种核医学功能成像技术，用于观察体内的代谢过程，以帮助诊断疾病。PET***可以检测由发射正电子的放射性配体(最常见的是氟18)间接发射的伽马射线对，它在例如放射性示踪剂的生物活性分子上引入患者体内。生物活性分子可以是任何合适的类型，例如氟氧葡萄糖(FDG)。通过示踪动力学建模，PET能够量化感兴趣区域或体素方面的生理或生化重要参数，以检测疾病状态并表征严重性。

尽管本文主要提供正电子发射断层扫描(PET)和PET数据示例，但应理解，本方法可用于其他成像方式环境。例如，目前描述的方法可用于其他类型的断层扫描仪获取的数据，包括但不限于计算机断层扫描(CT)、单光子发射计算机断层扫描(SPECT)扫描仪、功能磁共振成像(fMRI)、或磁共振成像(MRI)扫描仪。

PET成像的术语“准确定量”或“量化准确性”可以指定量生物标志物评估的准确性，例如放射性分布。可以使用各种指标来量化PET图像的准确性，例如FDG-PET扫描的标准化摄取值(SUV)。例如，SUV峰值可以用作量化PET图像的准确性的度量。还可以计算其他常见统计数据，例如平均值、中位数、最小值、最大值、范围、偏度、峰度和更复杂的值，例如高于绝对SUV的5个标准摄取值(SUV)为18-FDG的代谢量，并且用于量化PET成像的准确性。

如本文所用，术语“缩短的获取”通常是指缩短的PET获取时间或PET扫描持续时间。所提供的***和方法可能能够以至少1.5、2、3、4、5、10、15、20的加速因子，大于20或小于1.5的值或上述两个值中任意一个之间的值的加速因子来实现具有改进的图像质量的PET成像。通过缩短PET扫描仪的扫描持续时间，可以实现加快获取。例如，可以在执行PET扫描之前通过PET***设置获取参数(例如，3分钟/床，总共18分钟)。1，提供的***和方法可以更快和更安全地进行PET获取。如上所述，在短扫描持续时间和/或减少的辐射剂量下拍摄的PET图像由于除了各种物理劣化因素之外还由于检测到的低重合光子数而可能具有低图像质量(例如，高噪声)。PET中噪声源的示例可能包括散射(检测到的一对光子，其中至少一个通过与视场中的物质相互作用而偏离其原始路径，导致该对光子被分配给错误的视线-响应)和随机事件(源自两个不同的消灭事件的光子，但由于它们到达其各自的检测器发生在重合定时窗口内，因此被错误地记录为重合对)。本文所述的方法和***可以改进医学图像的质量同时保留定量精度而无需修改物理***。

本文提供的方法和***可以通过利用自关注深度学习机制来进一步改进超过现有的加速方法的成像方式的加速能力。在一些实施方式中，自关注深度学习机制可能能够识别感兴趣区域(ROI)，例如图像上的病变或包含病理的区域，并且自适应深度学习增强机制可以用于进一步优化ROI内的图像质量。在一些实施方式中，可以通过双重Res-UNet框架来实现自关注深度学习机制和自适应深度学习增强机制。可以对双重Res-UNet框架进行设计和训练，以首先识别突出显示低质量PET图像中感兴趣区域(ROI)的特征，然后合并ROI关注信息以执行图像增强并获得高质量PET图像。

本文提供的方法和***可能能够减少图像的噪声，而不管噪声的分布、噪声的特征或方式的类型如何。例如，医学图像中的噪声可能分布不均匀。本文中提供的方法和***可以通过实现通用的和自适应的鲁棒损耗机制来解决低质量图像中的混合噪声分布，该机制可以自动适应模型训练以学习最佳损耗。通用的和自适应的鲁棒损失机制还可以有益地适应不同的方式。在PET的情况下，PET图像可能遭受伪像，伪像可能包括噪声(例如，低信号噪声比)、模糊(例如，运动伪像)、阴影(例如，遮挡或干扰感测)、信息丢失(例如，由于信息去除或掩蔽而导致丢失绘画中的像素或体素)、重构(例如，测量域中的降级)、清晰度和可能降低图像质量的各种其他伪像。除加速获取因子外，其他来源也可能会在PET成像中引入噪声，其中可能包括散射(检测到的一对光子，其中至少一个通过与视场中物质的相互作用而偏离其原始路径，导致分配给不正确的LOR的对)和随机事件(源自两个不同的消灭事件的光子，但由于它们到达各自检测器的时间是在一致定时窗口内发生而被错误地记录为一致对)。在MRI图像的情况下，输入图像可能遭受诸如盐和胡椒噪声、斑点噪声、高斯噪声和泊松噪声的噪声或诸如运动或呼吸伪像的其他伪像。自关注深度学习机制和自适应深度学习增强机制可以自动识别ROI，并在ROI中优化图像增强，而与图像类型无关。改进的数据适应机制可以导致更好的图像增强并提供改进的降噪结果。

图1示出了用于处理和重构图像数据的工作流程100的示例。图像可以从任何医学成像方式获得，例如但不限于CT、fMRI、SPECT、PET、超声等。图像质量可能由于例如快速获取或辐射剂量减少或成像序列中存在噪声而降低。所获取的图像110可以是诸如低分辨率或低信噪比(SNR)的低质量图像。例如，由于如上所述的快速获取或辐射剂量(例如，放射性示踪剂)的减少，所获取的图像可以是具有低图像分辨率和/或信噪比(SNR)的PET图像101。

可以通过遵守现有的或常规的扫描协议(例如代谢量校准或机构间交叉校准和质量控制)来获取PET图像110。可以使用任何常规的重建技术来获取和重构PET图像110，而无需对PET扫描仪进行额外的改变。以缩短的扫描持续时间获取的PET图像110也可以被称为低质量图像或原始输入图像，其可以在整个说明书中互换使用。

在某些情况下，获取的图像110可以是使用任何现有的重构方法获得的重构图像。例如，可以使用滤波后的反投影、统计、基于似然的方法以及各种其他常规方法来重构所获取的PET图像。然而，由于缩短的获取时间和减少的检测到的光子数量，重构的图像可能仍然具有低图像质量，例如低分辨率和/或低SNR。所获取的图像110可以是2D图像数据。在一些情况下，输入数据可以是包括多个轴向切片的3D体积。

低分辨率图像的图像质量可以使用序列化深度学习***来改进。序列化深度学习***可以包括深度学习自关注机制130和自适应深度学习增强机制140。在一些实施方式中，对序列化深度学习***的输入可以是低质量图像110，并且输出可以是对应的高质量图像150。

在一些实施方式中，序列化深度学习***可以接收与ROI和/或用户偏爱的输出结果有关的用户输入120。例如，可以允许用户设置增强参数或要增强的较低质量图像中的识别感兴趣区域(ROI)。在某些情况下，用户可能能够与***进行交互以选择增强的目标(例如，减少整个图像或所选ROI中的噪声，在用户所选ROI中生成病理信息等)。作为非限制性示例，如果用户选择使用极端噪声(例如，高强度噪声)增强低质量PET图像，则***可能会专注于区分高强度噪声和病理状况并改进整体图像质量，***的输出可以是质量改进的图像。如果用户选择增强特定ROI(例如，肿瘤)的图像质量，则***可以输出突出显示ROI位置和高质量PET图像150的ROI概率图。ROI概率图可以是关注特征图160。

深度学习自关注机制130可以是训练的深度学习模型，其能够检测所需的ROI关注。该模型网络可以是深度学习神经网络，其被设计为在输入图像(例如，低质量图像)上应用自关注机制。自关注机制可用于图像分割和ROI识别。自关注机制可以是能够识别与低质量PET图像中的关注区域(ROI)相对应的特征的训练模型。例如，可以训练深度学习自关注机制以能够区分高强度小异常和高强度噪声，即极端噪声。在某些情况下，自关注机制可能会自动识别所需的ROI关注。

感兴趣区域(ROI)可以是极端噪声所在的区域或感兴趣的诊断区域的区域。ROI关注可能是噪声关注或具有临床意义的关注(例如，病变关注、病理学关注等)。噪声关注可以包括诸如输入的低质量PET图像中的噪声位置的信息。ROI关注可能是与正常结构和背景相比需要更准确的边界增强的病变关注。对于CT图像，ROI关注可能是金属区域关注，因为提供的模型框架能够区分骨骼结构和金属结构。

在一些实施方式中，深度学习自关注模型130的输入可以包括低质量图像数据110，并且深度学习自关注模型130的输出可以包括关注图。关注图可以包括关注特征图或ROI关注掩码。关注图可以是噪声关注图，其包括关于噪声的位置的信息(例如，坐标、分布等)、病变关注图或包括临床上有意义的信息的其他关注图。例如，用于CT的关注图可以包括关于CT图像中的金属区域的信息。在另一个示例中，关注图可以包括关于特定组织/特征所位于的区域的信息。

如本文其他地方所述，深度学习自关注模型130可以识别ROI，并提供关注特征图，例如噪声掩码。在某些情况下，深度学习自关注模型的输出可能是指示区域需要进一步分析的ROI关注掩码的集合，可以将其输入到自适应深度学习增强模块以实现高质量图像(例如，精确的高质量PET图像150)。ROI关注掩码可以是像素方式的掩码(pixel-wise mask)或体素方式的掩码(voxel-wise mask)。

在某些情况下，可以使用分段技术产生ROI关注掩码或关注特征图。例如，ROI关注掩码(例如，噪声掩码)可能会占据整个图像的一小部分，这可能会导致标记过程中候选标签之间的类别不平衡。为了避免不平衡策略，例如但不限于加权交叉熵函数，可以使用灵敏度函数或骰子损失函数来确定准确的ROI分割结果。二进制交叉熵损失也可以用于稳定深度学习ROI检测网络的训练。

深度学***衡问题。在某些情况下，Dice loss

可用作损失函数来克服此问题。在某些情况下，可以使用二进制交叉熵损失

来形成体素方式的测量值，以稳定训练过程。噪声关注的总损失

可以表示为：

其中，ρ代表基础事实数据(例如，全剂量或标准时间PET图像或全剂量放射CT图像等)，

代表通过所提出的图像增强方法的重构结果，并α代表平衡

和

的权重。

深度学习自关注模型可以采用任何类型的神经网络模型，例如前馈神经网络、径向基函数网络、递归神经网络、卷积神经网络、深度残差学习网络等。在一些实施方式中，机器学习算法可以包括深度学习算法，例如卷积神经网络(CNN)。模型网络可以是可包括多个层的深度学习网络，例如CNN。例如，CNN模型可以至少包括输入层、多个隐藏层和输出层。CNN模型可以包括任何总数的层以及任何数量的隐藏层。神经网络的最简单架构始于输入层，然后是一系列中间层或隐藏层，最后是输出层。隐藏层或中间层可以充当可学习的特征提取器，而输出层则可以输出噪声掩码或一组ROI关注掩码。神经网络的每一层可以包括多个神经元(或节点)。神经元接收直接来自输入数据(例如，低质量图像数据，快速扫描的PET数据等)或其他神经元的输出的输入，并执行特定的操作，例如求和。在某些情况下，从输入到神经元的连接与权重(或加权因子)相关联。在某些情况下，神经元可以求和所有输入对及其相关权重的乘积。在某些情况下，加权和会被偏置。在某些情况下，可以使用阈值或激活函数来控制神经元的输出。激活函数可以是线性的或非线性的。激活函数可以是例如整流线性单元(ReLU)激活函数或其他函数，例如饱和双曲线正切、恒等式、二元阶跃、逻辑、arcTan、softsign、参数整流线性单元、指数线性单元、softPlus、弯曲恒等式，softExponential、Sinusoid、Sinc、高斯、Sigmoid函数或其任何组合。

在一些实施方式中，可以使用监督学习来训练自关注深度学习模型。例如，为了训练深度学习网络，可以提供成对的低质量快速扫描的PET图像(即在减少的时间或较低的放射性示踪剂剂量下获取)和标准/高质量的PET图像作为来自多个受试者的基础事实作为训练数据集。

在一些实施方式中，可以使用可能不需要大量标记数据的无监督学习或半监督学习来训练模型。高质量的医学图像数据集或成对的数据集可能很难收集。在某些情况下，所提供的方法可以利用无监督训练方法，从而允许深度学习方法训练并应用于临床数据库中已经可用的现有数据集(例如，非配对数据集)。

在一些实施方式中，深度学习模型的训练过程可以采用残差学习方法。在某些情况下，网络结构可以是U-net结构和残差网络的组合。图1A示出了用于识别噪声关注图或生成噪声掩码的Res-UNet模型框架1001的示例。Res-UNet是UNet的扩展，在每个解析阶段都带有残差块。Res-UNet模型框架利用了两个网络架构：UNet和Res-Net。所示的Res-UNet1001将低剂量PET图像作为输入1101，并生成噪声关注概率图或噪声掩码1103。如示例中所示，Res-UNet架构包括2个池化层、2个上采样层和5个残差块。根据不同的性能要求，Res-UNet架构可以具有任何其他合适的形式(例如，不同数量的层)。

参考回到图1，ROI关注掩码或关注特征图可以被传递到自适应深度学习增强网络140以增强图像质量。在某些情况下，ROI关注掩码(例如，噪声特征图)可以与原始的低剂量/快速扫描的PET图像联结在一起，并传递到自适应深度学习增强网络以进行图像增强。

在一些实施方式中，可以训练自适应深度学习网络140(例如，Res-UNet)以增强图像质量并执行自适应图像增强。如上所述，到自适应深度学习网络140的输入可以包括低质量图像110和由深度学习自关注网络130生成的输出，例如关注特征图或ROI关注掩码(例如，噪声掩码、病变关注图)。自适应深度学习网络140的输出可以包括高质量/去噪图像150。可选地，也可以生成关注特征图160并将其呈现给用户。关注特征图160可以与提供给自适应深度学习网络140的关注特征图相同。可替代地，可以基于深度学习自关注网络的输出来产生关注特征图160，并以例如噪声关注概率图的用户容易理解的形式(例如，热图、颜色图等)呈现。

自适应深度学习网络140可以被训练为能够适应各种噪声分布(例如，高斯、泊松等)。可以在端对端训练过程中训练自适应深度学习网络140和深度学习自关注网络130，使得自适应深度学习网络140可以适应各种类型的噪声分布。例如，通过实现自适应鲁棒损失机制(损失函数)，可以自动调整深度学习自关注网络的参数以适合模型，从而通过适应关注特征图来学习最佳总损失。

在端到端训练过程中，为了自动适应图像中各种类型噪声的分布，例如高斯噪声或泊松噪声，可以设计通用和自适应鲁棒损失来适应输入的低质量图像的噪声分布。通用和自适应鲁棒损失可用于在训练过程中自动确定损失函数，而无需手动调整参数。该方法可以根据数据(例如，噪声)分布有益地调整最佳损失函数。以下是损失函数的示例：

其中α和c是训练过程中需要学习的两个参数，第一个控制损失的鲁棒性，第二个控制损失的大小，接近

ρ代表实际数据，例如全剂量或标准时间PET图像或全剂量辐射CT图像等，并且

通过提出的图像增强方法代表重构结果。

在一些实施方式中，自适应深度学习网络可以采用残差学习方法。在某些情况下，网络结构可以是U-net结构和残差网络的组合。图1B示出了用于自适应地增强图像质量的Res-UNet模型框架1003的示例。所示的Res-UNet 1003可以将低质量图像和深度学习自关注网络130的输出(例如关注特征图或ROI关注掩码(例如，噪声掩码、病变关注图))作为输入，并输出与低质量图像相对应的高质量图像。如示例所示，Res-UNet架构包括2个池化层、2个上采样层和5个残差块。根据不同的性能要求，Res-UNet架构可以具有任何其他合适的形式(例如，不同数量的层)。

自适应深度学习网络可以采用任何类型的神经网络模型的人工神经网络，例如前馈神经网络、径向基函数网络、递归神经网络、卷积神经网络、深度残差学习网络等。在一些实施方式中，机器学习算法可以包括深度学习算法，例如卷积神经网络(CNN)。模型网络可以是可包括多个层的深度学习网络，例如CNN。例如，CNN模型可以至少包括输入层、多个隐藏层和输出层。CNN模型可以包括任何总数的层以及任何数量的隐藏层。神经网络的最简单架构始于输入层，然后是一系列中间层或隐藏层，最后是输出层。隐藏的或中间的层可以充当可学习的特征提取器，而输出层可以生成高质量图像。神经网络的每一层可以包括多个神经元(或节点)。神经元接收直接来自输入数据(例如，低质量图像数据，快速扫描PET数据等)或其他神经元的输出的输入，并执行特定的操作，例如求和。在一些情况下，从输入到神经元的连接与权重(或加权因子)相关联。在一些情况下，神经元可以总结所有输入对及其相关权重的乘积。在一些情况下，加权和被偏置。在一些情况下，可以使用阈值或激活函数来控制神经元的输出。激活函数可以是线性的或非线性的。激活函数可以是例如整流线性单元(ReLU)激活函数或其他函数，例如饱和双曲线正切、恒等式、二元阶跃、逻辑、arcTan、softsign、参数整流线性单元、指数线性单元、softPlus、弯曲恒等式，softExponential、Sinusoid、Sinc、高斯、Sigmoid函数或其任何组合。

在一些实施方式中，可以使用监督学习来训练自关注深度学习模型。例如，为了训练深度学习网络，可以提供成对的低质量快速扫描的PET图像(即在减少的时间下获取)和标准/高质量的PET图像作为来自多个受试者的基础事实数据作为训练数据集。

在一些实施方式中，可以使用可能不需要大量标记数据的无监督学习或半监督学习来训练模型。高质量的医学图像数据集或成对的数据集可能很难收集。在某些情况下，所提供的方法可以利用无监督训练方法，从而允许深度学习方法训练并应用于临床数据库中已经可用的现有数据集(例如，非配对数据集)。在一些实施方式中，深度学习模型的训练过程可以采用残差学习方法。在某些情况下，网络结构可以是U-net结构和残差网络的组合。

在一些实施方式中，可以使用双重Res-UNet框架来实现所提供的深度学习自关注机制和自适应深度学习增强机制。双重Res-UNet框架可以是序列化深度学习框架。深度学习自关注机制和自适应深度学习增强机制可以是双重Res-UNet框架的子网。图1C示出了双重Res-UNet框架1000的示例。在所示的示例中，双重Res-UNet框架可以包括第一子网，其是Res-UNet 1001，其被配置为自动识别输入图像中的ROI关注(例如，低质量图片)。第一子网(Res-UNet)1001可以与图1A中描述的网络相同。第一子网(Res-UNet)1001的输出可以与原始低质量图像组合，并传输到可以是Res-UNet 1003的第二子网。第二子网(Res-UNet)1003可以与图1B中描述的网络相同。可以训练第二子网(Res-UNet)1003以生成高质量图像。

在优选实施方式中，两个子网(Res-UNet)可以被训练为整体***。例如，在端到端训练期间，可以将训练第一Res-UNet的损失和训练第二Res-UNet的损失相加，以达到训练整体深度学习网络或***的总损失。总损失可以是两个损失的加权和。在其他情况下，第一Res-UNet 1001的输出可用于训练第二Res-UNet 1003。例如，第一Res-UNet 1001生成的噪声掩码可用作输入特征的一部分以训练第二Res-UNet 1003。

本文描述的方法和***可以应用于其他方式图像增强，例如但不限于MRI图像中的病变增强和CT图像中的金属去除。例如，对于MRI图像中的病变增强，深度学习自关注模块可以首先生成病变关注掩码，而自适应深度学习增强模块可以根据关注图增强所识别区域中的病变。在另一个示例中，对于CT图像，可能难以区分骨骼结构和金属结构，因为它们可能共享相同的图像特征，例如强度值。本文所述的方法和***可以使用深度学习自关注机制来准确地区分骨骼结构与金属结构。可以在关注特征图上识别金属结构。自适应深度学习机制可以使用关注特征图来去除图像中不需要的结构。

***总览

该***和方法可以在现有的成像***上实现，例如但不限于PET成像***，而无需改***件基础设施。图2示意性地图示了示例PET***200，其包括计算机***210和通过网络230可操作地耦合至控制器的一个或多个数据库。计算机***210可以用于进一步实现上述方法和***以改进图像质量。

控制器201(未示出)可以是一致处理单元。控制器可以包括或耦合到操作员控制台(未示出)，该操作员控制台可以包括输入设备(例如，键盘)、控制面板和显示器。例如，控制器可能具有连接到显示器、键盘和打印机的输入/输出端口。在某些情况下，操作员控制台可以通过网络与计算机***进行通信，从而使操作员可以控制显示器屏幕上图像的产生和显示。图像可以是根据加速的获取方案获取的具有改进的质量和/或精度的图像。图像获取方案可以由PET成像加速器和/或由用户自动确定，如本文稍后所述。

PET***可以包括用户界面。用户界面可以被配置为接收用户输入并向用户输出信息。用户输入可以与控制或建立图像获取方案有关。例如，用户输入可以指示每个获取的扫描持续时间(例如，分钟/床)或帧的扫描时间，该帧确定用于加速获取方案的一个或多个获取参数。用户输入可以与PET***的操作有关(例如，用于控制程序执行的某些阈值设置、图像重构算法等)。用户界面可以包括例如触摸屏的屏幕以及例如手持控制器、鼠标、操纵杆、键盘、轨迹球、触摸板、按钮、口头命令、手势识别、姿态传感器、热传感器、触摸-电容式传感器、脚踏开关或任何其他设备的任何其他用户交互式外部设备。

PET成像***可以包括计算机***和数据库***220，它们可以与PET成像加速器相互作用。该计算机***可以包括膝上型计算机、台式计算机、中央服务器、分布式计算***等。处理器可以是硬件处理器，例如中央处理单元(CPU)、图形处理单元(GPU)、通用处理单元(可以是单核或多核处理器)、或用于并行处理的多个处理器。处理器可以是任何合适的集成电路，例如计算平台或微处理器、逻辑设备等。尽管参考处理器描述了本公开内容，但是其他类型的集成电路和逻辑设备也可适用。处理器或机器可能不受数据操作能力的限制。处理器或机器可以执行512位、256位、128位、64位、32位或16位数据操作。该成像平台可以包括一个或多个数据库。一个或多个数据库220可以利用任何合适的数据库技术。例如，结构化查询语言(SQL)或“NoSQL”数据库可用于存储图像数据，原始收集的数据，重构的图像数据，训练数据集，训练后的模型(例如，超参数)，自适应混合权重系数等。一些数据库可以使用各种标准数据结构来实现，例如阵列、哈希、(链接的)列表、结构、结构化文本文件(例如，XML)、表格、JSON、NOSQL等。这样的数据结构可以存储在存储器和/或(结构化)文件中。在另一个替代方案中，可以使用面向受试者的数据库。受试者数据库可包含许多受试者集合，这些受试者集合通过通用属性分组和/或链接在一起；它们可能通过一些公共属性与其他受试者集合相关。面向受试者的数据库的执行类似于关系数据库，不同的是受试者不仅是数据片段，而且还可能具有封装在给定受试者中的其他类型的功能。如果本公开内容的数据库被实现为数据结构，则本公开内容的数据库的使用可以被集成到另一个组件中，例如本公开的组件。而且，数据库可以实现为数据结构、受试者和关系结构的混合。数据库可以通过标准数据处理技术进行整合和/或分布。数据库的部分，例如表格，可以被导出和/或导入，从而分散和/或集成。

网络230可以在成像平台中的组件之间建立连接以及成像***到外部***的连接。网络230可以包括使用无线和/或有线通信***的局域网和/或广域网的任何组合。例如，网络230可以包括互联网以及移动电话网络。在一个实施方式中，网络230使用标准通信技术和/或协议。因此，网络230可以包括使用例如以太网、802.11、微波接入全球互通(WiMAX)、2G/3G/4G移动通信协议、异步传输模式(ATM)、无限宽带、PCI Express高级交换等技术的链路。网络230上使用的其他网络协议可包括多协议标签交换(MPLS)、传输控制协议/互联网协议(TCP/IP)、用户数据报协议(UDP)、超文本传输协议(HTTP)、简单邮件传输协议(SMTP)、文件传输协议(FTP)等。通过网络交换的数据可使用包括二进制形式的图像数据(例如，便携式网络图形(PNG))、超文本标记语言(HTML)、可扩展标记语言(XML)等)的技术和/或格式来表示。此外，所有或部分链路可使用常规的加密技术进行加密，例如安全套接字层(SSL)、传输层安全性(TLS)、互联网协议安全性(IPsec)等。在另一个实施方式中，网络上的实体可使用定制的和/或专用的数据通信技术来代替或补充上述技术。

成像平台可以包括多个组件，包括但不限于训练模块202、图像增强模块204、自关注深度学习模块206和用户界面模块208。

训练模块202可以被配置为训练序列化的机器学习模型框架。训练模块202可以被配置为训练用于识别ROI关注的第一深度学习模型和用于自适应地增强图像质量的第二模型。训练模块202可以分别训练两个深度学习模型。替代地或附加地，两个深度学习模型可以被训练为整体模型。

训练模块202可以被配置为获得和管理训练数据集。例如，用于自适应图像增强的训练数据集可以包括成对的标准获取图像和缩短的获取图像和/或来自同一受试者的关注特征图。训练模块202可以被配置为训练深度学习网络以增强图像质量，如本文其他地方所述。例如，训练模块可以采用监督训练、无监督训练或半监督训练技术来训练模型。训练模块可以被配置为实现如本文其他地方所描述的机器学习方法。训练模块可以离线训练模型。替代地或附加地，训练模块可以使用实时数据作为反馈来完善模型以进行改进或连续训练。

图像增强模块204可以被配置为使用从训练模块获得的训练模型来增强图像质量。图像增强模块可以实现训练的模型以进行推论，即生成具有改进质量的PET图像。

自关注深度学习模块206可被配置为使用从训练模块获得的训练模型来生成ROI关注信息，例如关注特征图或ROI关注掩码。自关注深度学习模块206的输出可以被发送到图像增强模块204，作为到图像增强模块204的输入的一部分。

计算机***200可以被编程或以其他方式配置为管理和/或实施增强的PET成像***及其操作。计算机***200可以被编程为实现与本文的公开内容一致的方法。

计算机***200可以包括中央处理单元(CPU，在本文中也称为“处理器”和“计算机处理器”)、图形处理单元(GPU)、通用处理单元，其可以是单核或多核处理器，或用于并行处理的多个处理器。计算机***200还可包括存储器或存储器位置(例如，随机存取存储器、只读存储器、闪存)、电子存储单元(例如，硬盘)、用于与一个或多个其他***进行通信的通信接口(例如，网络适配器)以及***设备235、220，例如高速缓存、其他存储器、数据存储和/或电子显示适配器。存储器、存储单元、接口和***设备通过诸如母板的通信总线(实线)与CPU通信。该存储单元可以是用于存储数据的数据存储单元(或数据存储库)。计算机***200可以借助于通信接口可操作地耦合到计算机网络(“网络”)230。网络230可以是互联网、因特网和/或外联网，或与互联网通信的内联网和/或外联网。在某些情况下，网络230是电信和/或数据网络。网络230可以包括一个或多个计算机服务器，其可以启用分布式计算，例如云计算。在某些情况下，网络230可以在计算机***200的帮助下实现对等网络，该对等网络可以使耦合到计算机***200的设备能够充当客户端或服务器。

CPU可以执行一系列机器可读指令，该指令可以体现在程序或软件中。该指令可以存储在存储位置，诸如存储器中。可以将指令引导至CPU，该指令随后可以编程或以其他方式配置CPU以实现本公开内容的方法。CPU所执行的操作的实例可以包括提取、解码、执行和回写。

CPU可以是电路(诸如集成电路)的一部分。***的一个或多个其他组件可以包含在电路中。在一些情况下，该电路是专用集成电路(ASIC)。

存储单元可以存储文件，诸如驱动程序、文库和保存的程序。存储单元可以存储用户数据，例如用户偏好和用户程序。在一些情况下，计算机***200可以包括一个或多个附加数据存储单元，该附加数据存储单元在计算机***外部，诸如位于通过内联网或因特网与计算机***通信的远程服务器上。

计算机***200可以通过网络230与一个或多个远程计算机***通信。例如，计算机***200可以与用户或参与平台(例如，操作员)的远程计算机***通信。远程计算机***的示例包括个人计算机(例如，便携式PC)、平板或平板型PC(例如，

iPad、

Galaxy Tab)、电话、智能电话(例如，

iPhone、支持Android的设备、

)或个人数字助理。用户可以经由网络230访问计算机***300。

可以通过存储在计算机***200的电子存储位置上(例如在存储器或电子存储单元上)的机器(例如计算机处理器)可执行代码来实现如本文所述的方法。机器可执行代码或机器可读代码可以以软件的形式提供。在使用期间，所述代码可以由处理器执行。在一些情况下，可以从存储单元检索该代码并将其存储在存储器上以备处理器访问。在一些情况下，可以排除电子存储单元，并且机器可执行指令存储在存储器上。

代码可以被预编译并配置为与由具有适于执行该代码的处理器的机器使用，或者可以在运行期间被编译。代码可以以编程语言提供，可以选择编程语言以使该代码能够以预编译或即时编译(as-compiled)的方式执行。

本文提供的***和方法的方面，如计算机***，可以在编程中体现。本技术的各个方面可被认为是一般在机器可读介质上携带或体现的机器(或处理器)可执行代码和/或关联数据的形式的“产品”或“制品”。机器可执行代码可存储在电子存储单元如存储器(例如，只读存储器、随机存取存储器、闪速存储器)或硬盘上。“存储”型介质可包括计算机的任何或全部有形存储器、处理器等，或其相关模块，如各种半导体存储器、磁带驱动器、磁盘驱动器等，其可在任何时候为软件编程提供非暂时性存储。软件的全部或部分有时可以通过因特网或各种其他电信网络进行通信。例如，这样的通信可以使得软件能够从一个计算机或处理器加载到另一个计算机或处理器中，例如从管理服务器或主机计算机加载到应用服务器的计算机平台中。因此，可以承载软件元素的另一类型的介质包括光波、电波和电磁波，诸如跨本地设备之间的物理接口、通过有线和光学陆线网络以及通过各种空中链路而使用。携载此类波的物理元件，诸如有线或无线链路、光学链路等，也可以被认为是承载软件的介质。如本文所用的，除非受限于非暂时性有形“存储”介质，否则诸如计算机或机器“可读介质”的术语是指参与向处理器提供指令以供执行的任何介质。

因此，机器可读介质(诸如计算机可执行代码)可以采取许多形式，包括但不限于有形存储介质、载波介质或物理传输介质。非易失性存储介质包括例如光盘或磁盘，诸如任何计算机中的任何存储设备等，诸如可以用于实现附图中所示的数据库等。易失性存储介质包括动态存储器，诸如这样的计算机平台的主存储器。有形传输介质包括同轴缆线；铜线和光纤，包括包含计算机***内总线的线。载波传输介质可以采取电信号或电磁信号或者声波或光波的形式，诸如在射频(RF)和红外(IR)数据通信期间生成的那些。因此，计算机可读介质的常见形式包括例如：软盘、柔性盘、硬盘、磁带、任何其他磁性介质、CD-ROM、DVD或DVD-ROM、任何其他光学介质、穿孔卡片纸带、任何其他具有孔洞图案的物理存储介质、RAM、ROM、PROM和EPROM、FLASH-EPROM、任何其他存储器芯片或匣盒、传送数据或指令的载波、传送这样的载波的电缆或链路，或者计算机可从中读取编程代码和/或数据的任何其他介质。这些计算机可读介质形式中的许多可涉及将一个或多个指令的一个或多个序列携带至处理器以供执行。

计算机***200可以包括电子显示器235或与电子显示器235通信，电子显示器235包括用于提供例如显示重构图像、获取方案的用户界面(UI)。UI的实例包括但不限于图形用户界面(GUI)和基于网络的用户界面。

***200可以包括用户界面(UI)模块208。用户界面模块可以被配置为提供UI以接收与ROI和/或用户优选的输出结果有关的用户输入。例如，可以允许用户通过UI设置增强参数或在较低质量的图像中识别要增强的关注区域(ROI)。在某些情况下，用户可能能够通过UI与***交互以选择增强的目标(例如，减少整个图像或ROI中的噪声，在用户选择的ROI中生成病理信息等)。UI可以显示改进的图像和/或ROI概率图(例如，噪声关注概率mal)。

可以通过一种或多种算法来实现本公开的方法和***。可以在中央处理单元执行时通过软件来实现算法。例如，一些实施方式可以使用图1和图3所示的算法或以上相关描述中提供的其他算法。

图3示出了用于从低分辨率或嘈杂的图像改进图像质量的示例性过程300。可以从诸如PET成像***的医学成像***获得多个图像(操作310)以训练深度学习模型。还可以从外部数据源(例如，临床数据库等)或从模拟图像集获得用于形成训练数据集320的多个PET图像。在步骤330中，使用双重残差-Unet框架基于训练数据集训练模型。双重残差-Unet框架可以包括例如本文中其他地方所述的自关注深度学习模型，该模型用于生成关注特征图(例如，ROI图、噪声掩码、病变关注图等)和第二深度学习机制可用于自适应地增强图像质量。在步骤340中，可以部署训练模型以进行预测以增强图像质量。

示例数据集

图4示出了在标准获取时间(A)、加速获取(B)、由深度学习关注机制C产生的噪声掩码以及由所提供的方法和***(D)处理的快速扫描的图像的情况下拍摄的PET图像。A示出没有增强或缩短的获取时间的标准PET图像。此示例的获取时间为每床4分钟(分钟/床)。该图像可用于训练深度学习网络，作为基础事实的示例。A示出具有缩短的获取时间的PET图像的示例。在此示例中，获取时间加快了4倍，获取时间减少到1分钟/床。快速扫描的图像呈现较低的图像质量，例如高噪声。该图像可以是用于训练深度学习网络的图像对中的第二图像的示例，以及从这两个图像中生成的噪声掩码C。D示出本公开的方法和***被应用于的改进质量图像的示例。图像质量已大大改进，可与标准PET图像质量相比。

示例

在一项研究中，在IRB批准并知情同意后为这项研究招募十名受试者(年龄：57±16岁，体重：80±17Kgs)在GE Discovery扫描仪(GE Healthcare，Waukesha，WI)上进行了全身FDG-18PET/CT扫描。护理标准是以列表模式获取的3.5分钟/床PET获取。使用来自原始获取的列表模式数据，将4倍剂量减少的PET获取合成为低剂量PET图像。对于所有增强和非增强加速PET扫描，均使用标准3.5分钟获取作为事实真相来计算定量图像质量指标，例如归一化均方根误差(NRMSE)、峰信噪比(PSNR)和结构相似性(SSIM)。结果在表1中示出。使用建议的***获得更好的图像质量。

表1图像质量指标的结果

	NRMSE	PSNR	SSIM
				不增强	0.69±0.15	50.52±4.38	0.87±0.43
DL增强	0.63±0.12	53.66±2.61	0.91±0.25

MRI示例

目前描述的方法可用于各种断层扫描仪获取的数据，包括但不限于计算机断层扫描(CT)、单光子发射计算机断层扫描(SPECT)扫描仪、功能磁共振成像(fMRI)、或磁共振成像(MRI)扫描仪。在MRI中，通常会获取多个脉冲序列(也称为图像对比度)。例如，液体衰减反转恢复(FLAIR)序列通常用于识别大脑中的白质病变。但是，当FLAIR序列在较短的扫描时间内被加速(类似于PET的更快扫描)时，小的病变很难被解析。如本文所述的自关注机制和自适应深度学习框架也可以容易地应用于MRI中以增强图像质量。

在某些情况下，自关注机制和自适应深度学习框架可通过增强由于缩短的获取时间而具有低图像质量(例如低分辨率和/或低SNR)的原始图像的质量来应用于加速MRI。通过采用自关注机制和自适应深度学习框架，可以在保持高质量重构的同时以更快的扫描执行MRI。

如上所述，感兴趣区域(ROI)可以是极端噪声所位于的区域或感兴趣的诊断区域的区域。ROI关注可能是与正常结构和背景相比需要更准确的边界增强的病变关注。图5示意性地图示了包括病变关注子网的双重Res-UNet框架500的示例。类似于图1C中描述的框架，双重Res-UNet框架500可以包括分割网络503和自适应深度学习子网505(超分辨率网络(SR-net))。在所示的示例中，分割网络503可以是经训练以执行病变分割(例如，白质病变分割)的子网，并且分割网503的输出可以包括病变图519。然后病变图519和低质量图像可以被自适应深度学习子网505处理以产生高质量图像(例如，高分辨率T1 521、高分辨率FLAIR 523)。

分割网络503可以接收具有低质量的输入数据(例如，低分辨率T1 511和低分辨率FLAIR图像513)。可以使用配准算法来配准501低分辨率T1图像和低分辨率FLAIR图像以形成一对配准图像515、517。例如，图像/体积共配准算法可以应用于生成空间匹配的图像/体积。在一些情况下，共配准算法可以包括粗略刚性算法以实现对对准的初始估计，然后是细粒度刚性/非刚性共配准算法。

接下来，分割网503可以接收配准的低分辨率T1和低分辨率FLAIR图像，以输出病变图519。图6示出了一对配准的低分辨率T1图像601和低分辨率FLAIR图像603以及叠加在图像上的病变图605的示例。

参考回到图5，配准的低分辨率T1图像515、低分辨率FLAIR图像517以及病变图519然后可以由深度学习子网505处理，以输出高质量的MR图像(例如，高分辨率T1 521和高分辨率FLAIR 523)。

图7示出了模型架构700的示例。如示例中所示，模型架构可以采用原子空间金字塔池化(ASPP)技术。与上述训练方法类似，可以使用端到端训练将两个子网训练为整体***。类似地，Dice损失函数可以用于确定准确的ROI分割结果，并且Dice损失和边界损失的加权和可以用作总损失。以下是总损失的示例：

如上所述，通过在端到端训练过程中同时训练自关注子网和自适应深度学习子网，用于增强图像质量的深度学习子网可以有益地适应关注图(例如病变图)以利用ROI知识更好地改进图像质量。

图8示出了将深度学习自关注机制应用于MR图像的示例。如示例中所示，图像805是在没有自关注子网的情况下使用常规的深度学习模型在低分辨率T1 801和低分辨率FLAIR 803上增强的图像。与由包括自关注子网的呈现模型生成的图像807相比，图像807具有更好的图像质量，示出了深度学习自关注机制和自适应深度学习模型提供了更好的图像质量。

虽然本文已经示出并描述了本发明的优选实施方式，但是对于本领域技术人员容易理解的是，这些实施方式仅以示例的方式提供。本领域技术人员在不脱离本发明的情况下现将想到多种变化、改变和替代。应当理解，本文所述的本发明实施方式的各种替代方案可用于实施本发明。以下权利要求旨在限定本发明的范围，并由此涵盖这些权利要求范围内的方法和结构及其等同物。

Claims (20)

1.一种用于改进图像质量的计算机实现的方法，包括：

(a)使用医学成像设备获取受试者的医学图像，其中以缩短的扫描时间或减少的示踪剂量获取所述医学图像；以及

(b)将深度学习网络模型应用于所述医学图像，以生成一个或多个关注特征图和增强医学图像。

2.根据权利要求1所述的计算机实现的方法，其中所述深度学习网络模型包括用于生成所述一个或多个关注特征图的第一子网和用于生成所述增强医学图像的第二子网。

3.根据权利要求2所述的计算机实现的方法，其中到所述第二子网的输入数据包括所述一个或多个关注特征图。

4.根据权利要求2所述的计算机实现的方法，其中所述第一子网和所述第二子网是深度学习网络。

5.根据权利要求2所述的计算机实现的方法，其中所述第一子网和所述第二子网在端到端训练过程中训练。

6.根据权利要求5所述的计算机实现的方法，其中训练所述第二子网以适应所述一个或多个关注特征图。

7.根据权利要求1所述的计算机实现的方法，其中所述深度学习网络模型包括U-net结构和残差网络的组合。

8.根据权利要求1所述的计算机实现的方法，其中所述一个或多个关注特征图包括噪声图或病变图。

9.根据权利要求1所述的计算机实现的方法，其中所述医学成像设备是变换磁共振(MR)装置或正电子发射断层扫描(PET)装置。

10.根据权利要求1所述的计算机实现的方法，其中所述增强医学图像具有更高的分辨率或改进的信噪比。

11.一种非暂时性计算机可读存储介质，其包括指令，当所述指令由一个或多个处理器执行时，使所述一个或多个处理器执行操作，包括：

(a)使用医学成像设备获取受试者的医学图像，其中以缩短的扫描时间或减少的示踪剂量获取所述医学图像；以及

(b)将深度学习网络模型应用于所述医学图像，以生成一个或多个关注特征图和增强医学图像。

12.根据权利要求11所述的非暂时性计算机可读存储介质，其中所述深度学习网络模型包括用于生成所述一个或多个关注特征图的第一子网和用于生成所述增强医学图像的第二子网。

13.根据权利要求12所述的非暂时性计算机可读存储介质，其中到所述第二子网的输入数据包括所述一个或多个关注特征图。

14.根据权利要求12所述的非暂时性计算机可读存储介质，其中所述第一子网和所述第二子网是深度学习网络。

15.根据权利要求12所述的非暂时性计算机可读存储介质，其中所述第一子网和所述第二子网在端到端训练过程中被训练。

16.根据权利要求15所述的非暂时性计算机可读存储媒体，其中训练所述第二子网以适应所述一个或多个关注特征图。

17.根据权利要求11所述的非暂时性计算机可读存储介质，其中所述深度学习网络模型包括U-net结构和残差网络的组合。

18.根据权利要求11所述的非暂时性计算机可读存储介质，其中所述一个或多个关注特征图包括噪声图或病变图。

19.根据权利要求11所述的非暂时性计算机可读存储介质，其中所述医学成像设备是变换磁共振(MR)装置或正电子发射断层扫描(PET)装置。

20.根据权利要求11所述的非暂时性计算机可读存储介质，其中所述增强医学图像具有更高的分辨率或改进的信噪比。

Images