CN117813055A - 用于从快速spect扫描和ct图像合成spect图像的多模态和多尺度特征聚合 - Google Patents

Abstract

提供了一种用于提高图像质量的计算机实现的方法。该方法包括：使用单光子发射计算机断层扫描(SPECT)(301)获取对象的医学图像，其中用缩短的获取时间获取医学图像；以及将深度学习网络模型(330)应用于医学图像以生成增强的医学图像。

Description

用于从快速SPECT扫描和CT图像合成SPECT图像的多模态和多 尺度特征聚合

相关申请的交叉引用

本申请要求于2021年6月9日提交的PCT国际申请号PCT/CN2021/099142的优先权，其全部内容并入本文。

背景技术

单光子发射计算机断层扫描(SPECT)是一种使用伽马射线的核医学断层成像技术。SPECT扫描监测分析的3D区域中每个位置的生物活性水平。与使用伽马相机的传统核医学平面成像类似，在扫描之前，将放射性示踪剂(例如，伽马发射放射性同位素(放射性核素))注射到患者体内，然后由SPECT***的伽马相机捕获来自放射性核素指示的发射。

然而，一个SPECT图像的标准获取时间可能很长(例如，大约20分钟/床)，这对于患者在扫描仪中保持静止来说是不舒服且无法忍受的。由于扫描时间长以及扫描期间患者的不期望的移动，可能会出现不期望的成像伪影以及空间中事件的错位。漫长的检查时间也可能会让难以保持静止的患者感到手术不舒服。SPECT检查的这种长扫描时间可能导致高成像成本，并限制患者体积和可达性。此外，减少获取时间可能放大噪声并不可避免地降低图像质量，从而妨碍SPECT图像的临床解释。

发明内容

需要缩短SPECT的获取时间，以提高患者的体验、降低检查成本并减少扫描期间患者运动的可能性，而不损害SPECT图像的质量。本公开提供了改进的单光子发射计算机断层扫描(SPECT)***和方法，其可以解决传统***的各种缺陷，包括上面认识到的那些缺陷。本公开的方法和***能够提供改进的图像质量或用缩短的图像获取时间保留图像质量。本公开的方法和***提供了具有缩短的图像获取时间而不损害图像质量的SPECT成像。

单光子发射计算机断层扫描可以与成像方式组合。例如，与计算机断层扫描(SPECT/CT)耦合的SPECT是一种重要且准确的诊断测量。例如，SPECT/CT技术可以提供准确的信息来区分***癌骨转移与脊柱和骨盆骨关节炎病变。这种SPECT/CT成像还可以通过所提出的方法和***通过缩短获取时间而不降低图像质量来提高。

传统上，短的扫描持续时间可能会导致低图像质量。所提供的方法和***可以通过应用深度学习技术来显著减少SPECT扫描时间，从而减轻成像伪影并提高图像质量。医学成像中的示例伪影可能包括噪声(例如，低信噪比)、模糊(例如，运动伪影)、阴影(例如，阻塞或干扰感测)、损失信息(例如，由于去除信息或掩蔽而损失绘画中的像素或体素)和/或重建(例如，测量域中的退化)。

本公开提供了一种采用深度学习技术的加速方法，以提高用缩短的获取时间(即，快速扫描)获取的图像质量。在一些情况下，深度学习技术可以包括使用基于多模态和多尺度特征聚合的框架来从快速扫描中生成SPECT图像，该快速扫描具有与用标准获取时间(例如，慢速扫描)或者长获取时间获取的SPECT图像相当的图像质量。这有利地将SPECT图像获取加速至少1.5、2、3、4、5、6、7、8、9、10、15、20的加速因子、高于20或低于1.5的值的因子、或在任何上述两个值之间的值。例如，快速扫描SPECT图像仅用1/7的获取时间或更快获取，而不损害图像质量。

在一些实施方式中，所提供的方法可以利用快速SPECT扫描和相应的CT图像之间的关联特征来提高解剖结构边界和整体图像质量。包括CT图像作为网络的输入有利地提供了清晰的解剖特征，从而在合成的标准SPECT图像中产生清晰的边界。如本文所使用的术语“标准SPECT图像”通常是指用标准获取时间获取的SPECT图像。

另外，所提供的方法可以允许更快的SPECT成像获取，同时保留与生理或生化信息有关的量化准确度。例如，本公开的方法和***可以提供加速的SPECT图像获取，同时保留标准化摄取量化的准确度。通过提升图像对比度和准确度(例如，病变区域中的标准化摄取值(SUV))，可以在快速扫描SPECT图像上保留或提高量化准确度。可以通过至少1.5、2、3、4、5、6、7、8、9、10、15、20的加速因子、大于20或小于1.5的值的因子、或上述两个值中任意一个之间的值来加速SPECT图像获取。术语“快速扫描SPECT图像”一般可以是指以大于1的值的加速因子在缩短的获取时间下获取的SPECT图像。标准获取时间为快速扫描SPECT图像的缩短获取时间的至少1、2、3、4、5、6、7、8、9、10、15、20倍。

本文的方法可以通过惩罚这些区域中的损失如利用相应的病变注意力图(lesionattention map)来提升病变区域中的图像对比度和准确度(例如，标准化摄取值(SUV))。

在一方面，提供了一种用于提高图像质量的计算机实现的方法。该方法包括：使用单光子发射计算机断层扫描(SPECT)获取对象的第一医学图像，其中，用缩短的获取时间获取第一医学图像；将医学图像与使用计算机断层扫描(CT)获取的第二医学图像组合以生成输入图像；将深度学习网络模型应用于输入图像并输出增强的医学图像。增强医学图像具有与组合相应的CT图像的、用比缩短的获取时间长的获取时间获取的SPECT图像相同的图像质量，或者具有比第一医学图像改进的量化准确度。

在一些实施方式中，深度学习网络模型包括U²-Net架构。在一些情况下，U²-Net架构包括具有不同尺寸的多个残差块。在一些情况下，U²-Net架构的解码器级生成的输出与输入图像融合以生成增强的医学图像。

在一些实施方式中，使用包括使用缩短的获取时间获取的SPECT图像、相应的CT图像和使用标准获取时间获取的SPECT图像的训练数据来训练深度学习网络模型。在一些实施方式中，通过使用病变注意力掩模训练深度学习网络模型来提高量化准确度。在一些情况下，病变注意力掩模被包括在深度学习网络模型的损失函数中。在一些情况下，病变注意力掩模是从使用训练数据中的缩短的获取时间获取的SPECT图像生成的。例如，通过利用标准化摄取值(SUV)阈值对使用缩短的获取时间获取的SPECT图像进行过滤来生成病变注意力掩模。

在一些实施方式中，使用SPECT/CT扫描仪获取第一医学图像和第二医学图像。在一些实施方式中，增强的医学图像具有改进的信噪比。

在相关但单独的方面中，一种非暂时性计算机可读存储介质包括指令，当由一个或多个处理器执行时，该指令使得一个或多个处理器执行操作。所述操作包括：使用单光子发射计算机断层扫描(SPECT)获取对象的第一医学图像，其中，用缩短的获取时间获取第一医学图像。将医学图像与使用计算机断层扫描(CT)获取的第二医学图像组合以生成输入图像；将深度学习网络模型应用于输入图像，并输出增强的医学图像，其中增强的医学图像具有与组合相应的CT图像的、用比缩短的获取时间长的获取时间获取的SPECT图像相同的图像质量，或者具有比第一医学图像改进的量化准确度。

在一些实施方式中，深度学习网络模型包括U²-Net架构。在一些情况下，U²-Net架构包括具有不同尺寸的多个残差块。在一些情况下，U²-Net架构的解码器级生成的输出与输入图像融合以生成增强的医学图像。

在一些实施方式中，使用包括使用缩短的获取时间获取的SPECT图像、相应的CT图像和使用标准获取时间获取的SPECT图像的训练数据来训练深度学习网络模型。在一些实施方式中，通过使用病变注意力掩模训练深度学习网络模型来提高量化准确度。在一些情况下，病变注意力掩模被包括在深度学习网络模型的损失函数中。在一些情况下，病变注意力掩模是从使用训练数据中的缩短的获取时间获取的SPECT图像生成的。例如，通过使用标准化摄取值(SUV)阈值对使用缩短的获取时间获取的SPECT图像进行过滤来生成病变注意力掩模。

在一些实施方式中，使用SPECT/CT扫描仪获取第一医学图像和第二医学图像。在一些实施方式中，增强的医学图像具有改进的信噪比。

根据以下详细描述，本公开的附加方面和优点对于本领域技术人员来说将变得容易理解，其中仅示出和描述了本公开的说明性实施方式。如将认识到的，本公开能够具有其他和不同的实施方式，并且其若干细节能够在各个明显方面进行修改，所有这些都不背离本公开。因此，附图和描述本质上被认为是说明性的，而不是限制性的。

援引并入

本说明书中提及的所有出版物、专利和专利申请均通过引用并入本文，其程度如同每个单独的出版物、专利或专利申请被具体且单独地指示通过引用并入一样。

附图说明

本发明的新颖特征在所附权利要求中具体阐述。通过参考以下阐述说明性实施方式的详细描述，将更好地理解本发明的特征和优点，其中利用了本发明的原理，并且在附图中：

图1显示了用缩短的获取时间获取的快速扫描SPECT图像的示例。

图2显示了从快速扫描的SPECT图像和相应的CT图像合成SPECT图像的深度学习框架的示例。

图3示意性地示出了实施本文的方法的***的示例。

图4和图5显示了实施所提供的方法和***的实验的结果。

图6显示了实验的定性结果的示例。

图7显示了有CT图像和没有CT图像作为输入的视觉结果。

图8显示了使用病变注意力和不使用病变注意力的视觉结果。

具体实施方式

本发明尽管本文已经示出和描述了本发明的各种实施方式，但是对于本领域技术人员来说容易理解的是，仅通过示例的方式提供了这样的实施方式。在不脱离本发明的情况下，本领域技术人员可以想到许多变化、改变和替代。应当理解，可以采用本文描述的本发明的实施方式的各种替代方案。

短扫描持续时间可能会导致低图像质量。如本文所述的SPECT图像的图像质量可以包括一般图像质量(例如，信噪比、分辨率等)、放射性示踪剂(例如，99mTc-MPD)分布的细节、伪影的存在和/或一般诊断信心。图1显示了用1/7标准获取时间或更快获取的快速扫描SPECT图像的示例。在该示例中，通过SPECT/CT获取快速扫描SPECT图像103和相应的CT图像101。用1/7标准获取时间(称为1/7SPECT 103)获取快速SPECT扫描。与标准SPECT 105(用如大约20分钟/床的标准时间获取的SPECT)相比，快速扫描SPECT具有劣化的图像质量(例如，更大的噪声和伪影、更少的放射性示踪剂分布的细节)。

所提供的方法和***可以通过应用深度学习技术来显著减少SPECT扫描/获取时间，从而减轻成像伪影并提高图像质量。本公开提供了一种采用深度学习技术的成像加速方法，以提高用缩短的获取时间(即，快速扫描)获取的图像质量。在一些情况下，深度学习技术可以包括使用基于多模态和多尺度特征聚合的框架来从快速扫描生成SPECT图像，其图像质量与用标准获取时间(例如，标准SPECT)获取的SPECT图像相当。这有利地将SPECT图像获取加速至少1.5、2、3、4、5、6、7、8、9、10、15、20的加速因子、高于20或低于1.5的值的因子、或在任何上述两个值之间的值。所提供的方法和***可以实现不超过标准获取时间的1/5、1/6、1/7、1/8、1/9、1/10的缩短的获取时间。

SPECT成像可以与其他成像模态组合，以在不同的应用中提供成像。例如，与计算机断层扫描(SPECT/CT)耦合的单光子发射计算机断层扫描在如良性和恶性骨病变的诊断等鉴别诊断中发挥着关键作用。在SPECT/CT混合成像中，两种不同类型扫描的图像被组合在一起。例如，SPECT伽马扫描仪可被构建为与传统CT扫描仪一起运行，并具有图像的配准。

组合的SPECT/CT扫描可以提供有关身体不同部位如何运作的精确信息，并更清楚地识别问题。例如，骨混合成像(SPECT/CT)扫描仪中已经开发了重建算法。与经典的SPECT重建不同，这种重建算法可以利用有序子集共轭梯度最小化算法(OSCGM)来进行图像重建。由于基于CT的组织分割被纳入SPECT重建中，因此该构建算法可以提供具有骨解剖外观的SPECT图像，并且还提供定量重建。图像获取和重建的这种进展可以通过增强的骨摄取位置来传达更高的诊断信心。然而，就SPECT/CT检查的CT部分产生的有效剂量而言，患者仍然暴露于额外的辐射暴露。

尽管硬件(例如，相机和准直器)和软件(例如，包含噪声正则化和分辨率恢复的重建算法)的最新进展可以促进减少扫描时间和/或注入活动。缩短获取时间仍可能会降低图像质量。如图1所示，使用SPECT/CT***或扫描仪获取一对SPECT和CT图像。快速扫描SPECT(例如，1/7SPECT)由于快速扫描而具有低图像质量。

本文的方法和***可以通过缩短SPECT/CT检查时间(例如，缩短SPECT扫描时间)来有效地减少辐射暴露，而不包括输出图像的质量。在一些实施方式中，本文的***和方法可以从快速扫描SPECT图像和CT图像合成增强的医学图像，并且增强的医学图像具有与组合相应的CT图像的、用标准获取时间获取的SPECT图像相同的图像质量。在一些实施方式中，增强的医学图像可以具有在量化准确度方面优于快速扫描SPECT图像的图像质量。例如，所提供的方法可以利用快速SPECT扫描和相应的CT图像之间的关联特征来提高解剖结构边界和整体图像质量。

在一些实施方式中，所提供的方法可以允许更快的SPECT成像获取，同时保留与生理或生化信息相关的量化准确度。例如，本公开的方法和***可以提供加速的SPECT图像获取，同时保留标准化摄取量化的准确度。本文的方法可以通过提升图像对比度和准确度(例如，病变区域中的标准化摄取值(SUV))来保留或提高量化准确度。在一些情况下，可以通过在这些区域中(例如，利用注意力图)惩罚损失来保留病变区域中的图像对比度和准确度。注意力图可以包括注意力特征图或ROI注意力掩模。注意力图可以包括关于病变注意力图的信息或包括临床上有意义的信息的其他注意力图。例如，注意力图可以包括特定组织/特征所在区域的信息。例如，所提出的方法可以有效抑制快速扫描SPECT图像中的噪声纹理并恢复清晰的解剖结构细节，特别是病变区域中的SUV值，这与使用标准获取时间的SPECT图像质量相当。

本公开的深度学习框架可以组合来自快速SPECT图像及其相应CT图像的丰富特征，以预测具有改进的质量的合成SPECT图像。在实施方式中，深度学习框架可以基于U²-Net架构，其可以集成来自加速扫描(例如，1/7SPECT)图像和相应的CT图像两者的多尺度和多模态特征。在一些实施方式中，所提供的方法还可以结合病变注意力损失函数，以增强深度学习模型的灵敏度，从而用更准确的SUV测量来重建病变区域。

本文的方法还能够定量评估模型的图像质量和性能。例如，可以为增强和非增强的加速SPECT扫描计算如归一化均方根误差(NRMSE)、峰值信噪比(PSNR)和结构相似性(SSIM)之类的定量图像质量度量，其中较高的图像质量由较高的PSNR和/或SSIM表示。还可以利用其他合适的图像质量量化度量来量化图像质量。

方法和深度学习框架

图2显示了用于从快速扫描的SPECT图像203和相应的CT图像205合成SPECT图像220的深度学习框架200的示例。所提供的方法应用U²-Net框架200来集成来自这两种不同模态图像203、205的多尺度特征，如图2所示。深度学习框架200可以包括独特的残差U块和用该块构建的U²-Net架构。所提供的方法还可以利用改进的损失函数来训练模型以及注意力损失(例如，病变注意力损失)来提高准确度(例如，SUV)以及帮助训练顺利收敛的深度监督策略。

快速扫描SPECT和CT的组合

在一些实施方式中，输入数据201可以包括一对SPECT图像203和CT图像205。输入数据201可以是SPECT图像203和CT图像205的组合图像。例如，包括组合的SPECT图像和CT图像的SPECT/CT扫描的输出可以用作深度学习模型的输入。快速扫描SPECT图像和CT图像可以例如通过CT和SPECT图像的配准来组合以使这些图像空间对准。在配准后，可以执行SPECT和CT图像的融合，以组合来自SPECT的功能信息与来自CT的解剖信息。

SPECT图像和CT图像可以同时获取。例如，SPECT图像和CT图像可以通过SPECT/CT扫描仪获取。SPECT/CT扫描仪的同时SPECT和CT获取模式可以便于来自两种模态的输入数据的整合，这将在下文中描述。CT图像205可以提供用于描绘详细的高分辨率特征的补充解剖信息，如果仅使用快速SPECT图像作为输入则可能会错过这些详细的高分辨率特征。所提供的方法可以组合快速扫描SPECT图像(例如，1/7SPECT图像203)以及相应的CT图像205作为输入数据201。输入数据201然后可以由用残差U块和U²-Net构建的框架210处理。

在训练阶段期间，训练数据集可以包括与标准SPECT图像配对的输入数据(包括组合的快速扫描SPECT和CT图像)作为真实数据。在一些情况下，真实数据可以通过具有标准获取时间的SPECT扫描与相应的CT图像组合来获取，即，用SPECT/CT扫描仪的同时SPECT和CT获取模式获取的标准SPECT/CT图像。

残差U块和U²-Net

使用所提供的U²-Net架构处理SPECT和CT图像的组合可以有利地保留局部和全局上下文特征两者。U²-Net的神经网络架构与传统的CNN设计不同。与通常使用小型卷积滤波器(例如，尺寸为1x1或3x3)来提取特征的传统CNN网络不同，U²-Net是一种简单而强大的深度网络架构，包含新颖的两层嵌套U形结构。

U-Net架构210本质上是多尺度编码器-解码器架构，其具有将每个编码器层的输出直接转发到对应解码器层的输入的跳跃连接。引入输入图像201和输出图像220之间的残差连接以加速训练过程。

U-net架构210可包括一个或多个功能块，其包括残差U-块(RSU)211。RSU块可以包括可变尺寸的接收域的混合，这有助于在不同尺度上有效地捕获上下文信息。RSU块可以包括多个卷积层。在大多数层中，其卷积层的输出之后是逐点ReLU激活函数ReLU(·)＝max(·,0)。RSU块可以包括多个部件，包括输入卷积层、“L”高度的类似U-Net的对称编码器-解码器结构、以及用于融合局部和多尺度特征的残差连接(例如，通过使用求和)。

在训练时，批量归一化层(BN)被放置在卷积层和ReLU层之间。在评估时，批量归一化层可以被移除，并用由应用学习归一化的仿射层来替换。RSU块可以使用池化操作来增加整体架构深度，而不显著影响计算成本。

示例中所示的U²-Net架构210包括编码器(例如，6级编码器)、解码器(例如，5级解码器)以及附接到不同级的解码器的图融合模块。基于U²-Net的框架能够从由多个RSU块获得的多尺度特征中提取局部和全局信息。如示例中所示，在编码器级中，可变高度/尺寸的多个RSU块211(例如，RSU-7、RSU-6、RSU-5、RSU-4，其中‘7’、‘6’、‘5’和‘4’表示RSU块的高度(L))分别用于提取特征图。具有多种不同尺寸的多个RSU块有利地提供来自不同尺度的上下文信息，以提高特征(例如，解剖结构细节)的准确度。

由于U²-Net的中间部分中的特征图的分辨率相对较低，对这些特征图的进一步下采样可能会导致有用上下文的损失。所提供的框架可以在解码器级中使用扩张卷积来代替池化和上采样操作，以便保留上下文信息。扩张卷积可以通过在内核元素之间***定义的间隙/孔来扩展内核。在解码器级中，可以包括一个或多个功能块213(例如，高度L＝4的‘RS-L’)。这种功能块(例如，RS-4)可以具有与对称编码器级类似的结构。解码器可以包括多个解码器级(例如，总共5个级)，其中每个解码器级可以将来自其前一级的上采样特征图和来自其对称编码器级的特征图的串接作为输入，如图2所示。

框架的最后图形融合模块可以用于生成最终合成的SPECT图像220。U²-Net框架可以生成多个侧输出合成的SPECT图像215，其被上采样以具有与输入图像201相同的尺寸。这些侧输出合成的SPECT图像215可以分别由多个解码器级生成。接下来，多个侧输出合成的SPECT图像215可以诸如通过串接操作并输入到卷积层(例如，1*1卷积层)217来融合。然后，框架可以通过与输入的快速扫描SPECT图像(例如，1/7SPECT 203)的长跳跃连接来生成最终合成的SPECT图像220。

病变注意力损失和深度监督

本文的方法可能能够通过包括注意力图来保留图像的准确度。例如，为了确保合成的SPECT图像和重要感兴趣区域(ROI)的准确度和清晰度，可以利用具有结构相似性(SSIM)损失L_SSIM和L₁损失(即L₁范数损失)组合的损失函数。下面是损失函数的示例：

L＝L₁+αL_SSIM

其中α是平衡SSIM损失和L₁损失的权重(例如，α＝0.5)。在一些情况下，两个损失函数可以与可调整权重(例如，α)组合。

在一些情况下，可以添加注意力图或掩模来保留特定区域中的信息。例如，可以包括病变注意力掩模以突出显示这些区域中的损失。注意力图可以包括注意力特征图或ROI注意力掩模。注意力图可以是病变注意力图或包括有临床意义的信息的其他注意力图。例如，注意力图可以包括关于特定组织/特征所在的区域的信息。

可以自动获取病变注意力掩模。在一些情况下，可以从相同的快速扫描SPECT图像生成病变注意力掩模，或者不需要额外的扫描或信息源。例如，可以基于快速扫描SPECT图像中的SUV阈值来获得病变注意力掩模。例如，可以选择SUV阈值并且可以基于该阈值来过滤快速扫描SPECT图像或输入图像。在一些情况下，过滤后的快速扫描SPECT图像可以用作病变注意力掩模。与正常结构和背景相比，病变注意力掩模可能需要更准确的边界增强。包括损伤注意力掩模可以有利地保留特征(例如，损伤的特征)的量化准确度和/或清晰度。可以使用任何其他合适的方法(例如，利用深度学习技术)来获得病变注意力掩模。下面是改进的病变注意力损失函数的示例：

l＝L+βL*M

其中β是平衡病变区域损失和非病变区域损失的权重(例如，β＝100)，M表示病变注意力掩模。权重β可以是可调整的，以改变模型训练期间要考虑的ROI中的信息量。

在一些情况下，本文的方法可以在训练过程中利用深度监督策略来辅助训练收敛。深度监督策略可以为隐藏层提供直接监督。这有利地缓解了梯度“***”或“消失”的问题。在一些情况下，训练U²-Net的总损失可能包括侧输出SPECT图像的损失和最终输出SPECT图像的损失。通过使用这些隐藏层特征图训练判别分类器，这有利地提高了判别器(分类器)的性能。下面是总损失函数的示例：

其中是侧输出SPECT的损失(例如，N＝6，如图2中的Sup1，Sup2，…，Sup6)并且，l_fuse是最终融合输出SPECT/>的损失，其中w_fuse控制每个损失项的权重。权重和w_fuse可以基于经验数据来确定。例如，基于实验数据或经验数据，可以将权重设置为/>和w_fuse＝1。可以基于经验数据自动调整权重。可备选地，重量可以由用户手动调整。

在训练阶段期间，训练数据集可以包括一对快速扫描SPECT图像、相应的CT图像和标准SPECT图像(例如，以标准获取时间获取的SPECT图像)作为真实数据。训练数据可以从成像***(例如，SPECT/CT扫描仪、SPECT扫描仪、CT扫描仪)、从外部数据源(例如，临床数据库等)或从模拟图像集获得。例如，快速扫描SPECT图像可以是通过将不同水平或类型的噪声应用于高质量SPECT图像(即，真实数据)而生成的模拟低质量SPECT图像。术语“高质量”SPECT图像也可称为慢速扫描SPECT图像或标准SPECT图像，它们在整个说明书中可互换使用。术语“快速扫描”SPECT图像也可称为低质量SPECT图像或加速SPECT图像，它们在整个说明书中可互换使用。利用模拟的低质量SPECT图像可能有利地增强训练数据集。如本文所述的SPECT图像的图像质量可以包括一般图像质量、放射性示踪剂(例如，99mTc-MPD)分布的细节、伪影的存在和/或一般诊断信心。

***总览

该***和方法可以在现有的成像***上实现，例如但不限于SPECT成像***、CT成像***或SPECT/CT成像***，而不需要改***件基础设施。图3示意性地示出了***300的示例，该***300包括计算机***340和通过网络330可操作地耦合到成像***的一个或多个数据库。计算机***310可用于进一步实施上述方法和***以提高图像质量。

如上所述，SPECT-CT成像***将单光子发射计算机断层扫描(SPECT)伽马相机和计算机断层扫描(CT)组合成一个成像***。可备选地，成像***可以包括单独的SPECT成像***和CT***，其中处理并组合SPECT和CT图像以生成输入数据。在一些实施方式中，SPECT/CT成像***可以包括用于控制两种模态(SPECT成像模块301、CT成像模块303)的操作、成像或传送***305的移动的控制器。例如，控制器可以基于为CT扫描设置的一个或多个获取参数控制CT扫描，并基于为SPECT扫描设置的一个或多个获取参数控制SPECT扫描。SPECT成像模块301可以通过使用伽玛相机从多个角度获取多个2-D图像(即，投影)来执行。控制器可以将断层扫描重建算法(例如，过滤反投影(FBP)、诸如代数重建技术(ART)的迭代算法等)应用于多个投影，产生3-D数据集。SPECT图像可以与CT图像组合以生成组合图像作为成像***的输出。例如，骨混合成像(SPECT/CT)扫描仪中已经开发了重建算法。与经典的SPECT重建不同，这种重建算法可以利用有序子集共轭梯度最小化算法(OSCGM)来进行图像重建。由于基于CT的组织分割被并入SPECT重建中并且还提供定量重建，因此该构建算法可以提供具有骨解剖外观的SPECT图像。图像获取和重建的这种进展可以通过增强的骨摄取位置来传达更高的诊断信心。

控制器可以耦合到操作员控制台(未示出)，操作员控制台可以包括输入设备(例如，键盘)和控制面板以及显示器。例如，控制器可以具有连接到显示器、键盘和/或其他IO设备的输入/输出端口。在一些情况下，操作员控制台可以通过网络与计算机***通信，该计算机***使得操作员能够控制图像在显示器屏幕上的产生和显示。例如，图像可以是根据加速获取方案获取的具有改进的质量和/或准确度的图像。例如，用户可以设置用于获取加速SPECT图像和/或标准SPECT图像的扫描时间。

***300可以包括用户界面。用户界面可以被配置为接收用户输入并向用户输出信息。用户输入可以与控制或设置图像获取方案有关。例如，用户输入可以指示每个获取的扫描持续时间(例如，分钟/床)或帧的扫描时间，其确定用于加速获取方案的一个或多个获取参数。用户输入可以与SPECT/CT***的操作有关(例如，用于控制程序执行、图像重建算法等的某些阈值设置)。用户界面可以包括诸如触摸屏的屏幕和任何其他用户交互式外部设备，诸如手持控制器、鼠标、操纵杆、键盘、轨迹球、触摸板、按钮、口头命令、手势识别、姿态传感器、热传感器、触摸-电容式传感器、脚踏开关或任何其他设备。

***300可以包括计算机***和数据库***320，其可以与SPECT成像加速器350交互。计算机***可以包括膝上型计算机、台式计算机、中央服务器、分布式计算***等。处理器可以是硬件处理器，例如中央处理单元(CPU)、图形处理单元(GPU)、通用处理单元等，它可以是单核或多核处理器，或者用于并行处理的多个处理器。处理器可以是任何合适的集成电路，例如计算平台或微处理器、逻辑器件等。尽管本公开是参考处理器来描述的，但是其他类型的集成电路和逻辑器件也是适用的。处理器或机器可以不受数据操作能力的限制。处理器或机器可以执行512位、256位、128位、64位、32位或16位数据操作。成像平台可以包括一个或多个数据库。一个或多个数据库可以利用任何合适的数据库技术。例如，结构化查询语言(SQL)或“NoSQL”数据库可用于存储图像数据、原始收集的数据、重建的图像数据、训练数据集、训练模型(例如，超参数)、损失函数、加权系数等。一些数据库可以使用各种标准数据结构来实现，例如数组、散列、(链接)列表、结构、结构化文本文件(例如，XML)、表格、JSON、NOSQL等。这种数据结构可以存储在存储器和/或(结构化)文件中。在另一替代方案中，可以使用面向对象的数据库。对象数据库可以包括通过公共属性分组和/或链接在一起的多个对象集合；它们可能通过一些公共属性与其他对象集合相关。面向对象数据库与关系数据库类似地执行，不同之处在于对象不仅仅是数据片段，而且可能具有封装在给定对象中的其他类型的功能。如果本公开的数据库被实现为数据结构，则本公开的数据库的使用可以被集成到诸如本公开的部件的另一部件中。而且，数据库可以被实现为数据结构、对象和关系结构的混合。数据库可以通过标准数据处理技术以变化形式被合并和/或分布。数据库的部分(例如，表格)可以被导出和/或导入，从而分散和/或集成。

网络330可以建立成像平台中的部件之间的连接以及成像***与外部***的连接。该网络可以包括使用无线和/或有线通信***的局域网和/或广域网的任意组合。例如，网络可以包括互联网以及移动电话网络。在一个实施方式中，网络使用标准通信技术和/或协议。因此，网络可能包括使用诸如以太网、802.11、全球微波接入互操作性(WiMAX)、2G/3G/4G/5G移动通信协议、异步传输模式(ATM)、InfiniBand、PCI快速高级交换等技术的链路。网络上使用的其他网络协议可以包括多协议标签交换(MPLS)、传输控制协议/互联网协议(TCP/IP)、用户数据报协议(UDP)、超文本传输协议(HTTP)、简单邮件传输协议(SMTP)、文件传输协议(FTP)等。通过网络交换的数据可以使用包括二进制形式(例如，便携式网络图形(PNG)、超文本标记语言(HTML)、可扩展标记语言(XML)等)的图像数据的技术和/或格式来表示。另外，可以使用诸如安全套接字层(SSL)、传输层安全性(TLS)、网际协议安全性(IPsec)等的常规加密技术对所有或一些链路进行加密。在另一个实施方式中，代替上述技术或除上述技术之外，网络上的实体可以使用定制和/或专用数据通信技术。

在一些实施方式中，SPECT成像加速器可以包括多个部件，包括但不限于训练模块、图像增强模块和用户界面模块。

训练模块可以被配置为使用如上所述的深度学习模型框架来训练模型。训练模块可以训练模型来预测SPECT图像，其比输入的低质量SPECT具有改进的质量。训练模块可以被配置为获得和管理训练数据集。例如，训练数据集可以包括来自同一对象的成对的标准获取和缩短获取SPECT图像、CT图像和/或注意力特征图。训练模块可以被配置为训练深度学习网络以增强图像质量，如本文其他地方所描述的。训练模块可以被配置为实现深度学习方法，如本文其他地方所描述的。训练模块可以离线训练模型。备选地或附加地，训练模块可以使用实时数据作为反馈来细化模型以用于提高或持续训练。

图像增强模块可以被配置为使用从训练模块获得的训练模型来增强SPECT图像质量。图像增强模块可以实现用于进行推理的训练模型，即，输出比输入的快速扫描SPECT图像具有改进的质量的SPECT图像。

用户界面(UI)模块可以被配置为提供UI以接收与ROI相关的用户输入和/或用户优选的输出结果。例如，可以允许用户经由UI设置加速参数(例如，获取时间)或识别要增强的较低质量图像中的感兴趣区域(ROI)。UI可以显示改进的SPECT图像。

本公开的方法和***可以通过一种或多种算法来实现。算法可以通过由中央处理单元执行的软件来实现。

实验和结果

图4和图5显示了实施所提供的方法和***的实验的结果。在示例中，临床数据集包括接受全身骨成像的30名对象，并在X医院的SPECT/CT扫描仪上收集定量断层扫描(注射剂量，25-30mCi)。存在两种扫描协议：一种是每帧20秒的标准扫描(称为标准SPECT)，一种是每帧3秒的快速扫描(称为1/7SPECT)。其他采样参数如下：60帧，单探头旋转180°，单次旋转6°。SPECT投影数据使用有序子集共轭梯度(OSCG)算法重建。20名对象用于训练所提出的深度学习模型，其余10名对象用于测试合成结果。

实施细节：在PyTorch 1.6.0中实施所提供的方法，并在深度学***面，批量尺寸设置为4。选择优化器和学习率(例如，学习率设置为0.0002)用于训练生成器和鉴别器(分类器)网络，并在80个时期后除以10。

定量评价方法

本文的方法还能够定量评价合成的SPECT图像的模型性能或质量。例如，可以针对增强和非增强加速SPECT扫描计算定量图像质量度量，例如归一化均方根误差(NRMSE)、峰值信噪比(PSNR)和结构相似性(SSIM)，其中较高的图像质量由较高的PSNR和/或SSIM表示。所提出的深度学习模型还分别与其他广泛使用的深度学习图像增强方法(例如，EDSR、RCAN和ESRGAN)进行比较，以证明所提供模型的性能。如下表所示，与其他方法相比，所提出的方法具有优越的性能。

表1.与现有技术方法相比的平均PSNR和SSIM

与不同方法比较的可视化结果如图4所示。在图5中还提供了放大区域以便更好地比较。定量结果ARE呈现于上表中。总的来说，本公开的结果在定性和定量评价上都优于其他竞争方法。

在1/7SPECT图像中所示的胸部区域的噪声已在由本方法生成的合成的SPECT图像(如图中所提出的标记)中成功移除。这种提高是通过使用U²-Net作为神经网络架构来实现的，因为它提供了来自不同尺度的丰富的上下文信息用于提高解剖结构细节，以及包括CT图像作为网络的输入以提供清晰的解剖特征。所提供的方法还增加了清晰度以及一致细节，并同时实现了最高的PSNR和SSIM分数。如表所示，所提供的方法生成的合成的标准SPECT图像具有最高的评价度量(PSNR＝40.8，SSIM＝0.788)。

临床评估

在一般图像质量、99mTc-MPD分布的细节、伪影的存在和一般诊断信心方面，两个阅读器独立地对1/7SPECT、由DeepSPECT方法和标准SPECT提供的合成的SPECT进行评分。评分设置为1至5(5为最高分)。详细结果如图6所示。与标准SPECT相比，合成的SPECT图像示为具有相同的一般图像质量和99mTc-MPD分布细节。关于伪影的存在和一般诊断信心，合成的SPECT图像明显优于快速SPECT图像。

消融研究

为了验证使用SPECT和CT图像(例如，1/7SPECT和CT图像)作为输入来提高图像质量的有效性，比较使用和不使用CT图像获得的结果。结果如图7所示，其中在1/7SPECT和CT作为输入的结果中，蓝色箭头所指的骨结构被清晰恢复，而没有CT作为输入的结果由于原始1/7SPECT图像中信息缺失，无法恢复该骨结构。使用病变注意力损失的有效性在图8中得到证明。示出与没使用病变注意力的SPECT图像相比，使用病变注意力的合成的SPECT图像具有更准确的SUV值和更好的对比度。

虽然本文已经示出和描述了本发明的优选实施方式，但是对于本领域技术人员来说容易理解的是，这些实施方式仅作为示例来提供。现在，本领域技术人员将构思到许多变化、改变和替代而不背离本发明。应当理解，在实践本发明时可以采用本文描述的本发明实施方式的各种替代方案。所附权利要求旨在限定本发明的范围，并且由此涵盖这些权利要求及其等同物的范围内的方法和结构。

Claims (22)

1.一种用于提高图像质量的计算机实现的方法，所述方法包括：

(a)使用单光子发射计算机断层扫描(SPECT)获取对象的第一医学图像，其中用缩短的获取时间获取所述第一医学图像；

(b)将所述医学图像与使用计算机断层扫描(CT)获取的第二医学图像组合以生成输入图像；以及

(c)将深度学习网络模型应用于所述输入图像并输出增强的医学图像，其中所述增强的医学图像具有与SPECT图像相同的图像质量或者具有相比于所述第一医学图像改进的量化准确度，所述SPECT图像组合有相应的CT图像并且是用比所述缩短的获取时间更长的获取时间获取的。

2.根据权利要求1所述的计算机实现的方法，其中所述深度学习网络模型包括U²-Net架构。

3.根据权利要求2所述的计算机实现的方法，其中所述U²-Net架构包括具有不同尺寸的多个残差块。

4.根据权利要求2所述的计算机实现的方法，其中由所述U²-Net架构的解码器级生成的输出与所述输入图像融合以生成所述增强的医学图像。

5.根据权利要求1所述的计算机实现的方法，其中使用包括使用缩短的获取时间获取的SPECT图像、相应的CT图像和使用标准获取时间获取的SPECT图像的训练数据来训练所述深度学习网络模型。

6.根据权利要求1所述的计算机实现的方法，其中通过使用病变注意力掩模训练深度学习网络模型来提高所述量化准确度。

7.根据权利要求6所述的计算机实现的方法，其中所述病变注意力掩模被包括在所述深度学习网络模型的损失函数中。

8.根据权利要求6所述的计算机实现的方法，其中所述病变注意力掩模是从使用所述训练数据中的缩短的获取时间获取的SPECT图像生成的。

9.根据权利要求8所述的计算机实现的方法，其中通过利用标准化摄取值(SUV)阈值对使用缩短的获取时间获取的所述SPECT图像进行过滤来生成所述病变注意力掩模。

10.根据权利要求1所述的计算机实现的方法，其中使用SPECT/CT扫描仪获取所述第一医学图像和所述第二医学图像。

11.根据权利要求1所述的计算机实现的方法，其中所述增强的医学图像具有改进的信噪比。

12.一种非暂时性计算机可读存储介质，包括指令，当由一个或多个处理器执行时，所述指令使所述一个或多个处理器执行包括以下的操作：

(a)使用单光子发射计算机断层扫描(SPECT)获取对象的第一医学图像，其中用缩短的获取时间获取所述第一医学图像；

(b)将所述医学图像与使用计算机断层扫描(CT)获取的第二医学图像组合以生成输入图像；以及

(c)将深度学习网络模型应用于所述输入图像并输出增强的医学图像，其中所述增强的医学图像具有与SPECT图像相同的图像质量或者具有相比于所述第一医学图像改进的量化准确度，所述SPECT图像组合有相应的CT图像并且是用比所述缩短的获取时间更长的获取时间获取的。

13.根据权利要求12所述的非暂时性计算机可读存储介质，其中所述深度学习网络模型包括U²-Net架构。

14.根据权利要求13所述的非暂时性计算机可读存储介质，其中所述U²-Net架构包括具有不同尺寸的多个残差块。

15.根据权利要求13所述的非暂时性计算机可读存储介质，其中由所述U²-Net架构的解码器级生成的输出与所述输入图像融合以生成所述增强的医学图像。

16.根据权利要求12所述的非暂时性计算机可读存储介质，其中使用包括使用缩短的获取时间获取的SPECT图像、相应的CT图像和使用标准获取时间获取的SPECT图像的训练数据来训练所述深度学习网络模型。

17.根据权利要求12所述的非暂时性计算机可读存储介质，其中通过使用病变注意力掩模训练深度学习网络模型来提高所述量化准确度。

18.根据权利要求17所述的非暂时性计算机可读存储介质，其中所述病变注意力掩模被包括在所述深度学习网络模型的损失函数中。

19.根据权利要求17所述的非暂时性计算机可读存储介质，其中所述病变注意力掩模是从使用所述训练数据中的缩短的获取时间获取的SPECT图像生成的。

20.根据权利要求19所述的非暂时性计算机可读存储介质，其中通过利用标准化摄取值(SUV)阈值对使用缩短的获取时间获取的所述SPECT图像进行过滤来生成所述病变注意力掩模。

21.根据权利要求12所述的非暂时性计算机可读存储介质，其中使用SPECT/CT扫描仪获取所述第一医学图像和所述第二医学图像。

22.根据权利要求12所述的非暂时性计算机可读存储介质，其中所述增强的医学图像具有改进的信噪比。