CN115428025A - 用于生成对象的增强图像的装置 - Google Patents

Abstract

本发明涉及一种用于生成增强图像的装置(110)，包括：a)基础图像提供单元(111)，其中，基础图像是基于谱图像数据的组合来生成的；b)对比度图像提供单元(112)，其中，对比度图像是基于所述谱图像数据的不同组合来生成的；c)显著性程度确定单元(113)，其中，显著性程度指示所述对比度图像的体素的图像值与预定模板图像的对应体素的图像值之间的差异；以及d)增强图像生成单元(114)，其用于通过基于显著性程度增强基础图像的体素来生成对象的增强基础图像。本发明允许提供具有改进的图像质量和信息内容的增强基础图像。

Description

用于生成对象的增强图像的装置

技术领域

本发明涉及用于生成对象的增强图像的装置、方法和计算机程序。

背景技术

近年来，谱成像(特别是谱X射线计算机断层摄影成像)已经在医学成像设施中变得更广泛地可用。当使用谱成像时，利用至少两个不同的辐射谱(例如，利用包括第一波长的X射线辐射和包括第二波长的X射线辐射)来采集对象的图像数据。在不同辐射谱下采集的这些图像数据形成谱图像数据，可以从该谱图像数据导出对象的多幅不同图像。例如，在谱图像数据中提供的信息允许确定仅反映对对象的衰减的康普顿效应或光电效应的图像。这些所谓的康普顿图像和光电图像然后可以以多种方式被进一步组合以从谱图像数据导出具有多个不同信息内容的图像，例如，导出不同能级的虚拟单能量图像、材料分解图像等。所有这些导出的图像向用户(例如，医师)提供不同的信息内容，并且示出针对某些材料的不同水平的噪声和灵敏度。因此，为了访问所采集的谱图像数据的完整信息内容，用户常常必须查看从谱图像数据导出的多幅图像。例如，用户必须首先查看以低噪声和高图像质量示出感兴趣区域中的软组织的导出图像，并且然后查看提供更低图像质量但以更高对比度示出某些感兴趣材料的第二导出图像。因此，如果由谱图像数据提供的信息能够被更直接地提供给用户，则将是有帮助的。

发明内容

本发明的目的是提供允许提供从谱图像数据导出的包括改进的信息内容和质量的图像的装置、方法和计算机程序。

在本发明的第一方面中，提出了一种用于生成对象的增强图像的装置，其中，所述装置包括：a)基础图像提供单元，其被配置为提供对象的基础图像，其中，所述基础图像是基于使用谱X射线成像装置采集的所述对象的谱图像数据的组合来生成的；b)对比度图像提供单元，其被配置为提供所述对象的对比度图像，其中，所述对比度图像是基于与用于生成所述基础图像的所述组合不同的所述对象的所述谱图像数据的组合来生成的；c)显著性程度确定单元，其被配置为针对所述对比度图像的每个体素确定显著性程度，其中，所述显著性程度指示所述对比度图像的体素的图像值与预定模板图像的对应体素的图像值之间的差异；以及d)增强图像生成单元，其被配置为通过基于针对所述对比度图像的对应体素确定的所述显著性程度增强所述基础图像的体素来生成所述对象的增强基础图像。所述显著性程度确定单元被配置为确定允许基于所述预定模板图像的对应体素的图像值来近似所述对比度图像的体素的图像值的近似函数，并且所述显著性程度确定单元还被配置为基于所述近似函数和所述预定模板图像来生成近似对比度图像，并且基于所述近似函数来确定所述显著性程度。所述近似函数可以被确定为使得其尽可能地基于所述预定模板图像的对应体素的图像值来近似所述对比度图像的体素的图像值。优选地，所述近似函数是指所述对比度图像的体素的图像值与所述预定模板图像的体素的图像值之间的线性回归函数。然而，也可以提供所述对比度图像的体素的图像值与所述预定模板图像的体素的图像值之间的非线性近似。因此，基于所述近似函数，所述预定模板图像可以用于生成近似对比度图像，其中，然后可以基于所述近似对比度图像来确定显著性程度。优选地，所述显著性程度确定单元被配置为确定体素的所述显著性程度，使得它指示所述对比度图像的体素的图像值与所述近似对比度图像的对应体素的所述图像值的偏差。这允许确定对比度图像中不能通过使用近似函数和预定模板图像来近似的体素。这些体素可以被认为包含尚未包含在预定模板图像中的信息，并且因此包含可能对增强基础图像感兴趣的信息。优选地，所述增强图像生成单元被配置为通过增强所述基础图像的以下体素来生成所述增强基础图像：对于所述体素，所述显著性程度指示所述体素的所述图像值示出与所述体素的近似图像值的向上偏差。

由于针对对比度图像的每个体素确定显著性程度，并且通过基于针对对比度图像的对应体素确定的显著性程度增强基础图像的体素来增强基础图像，因此可以通过由第二图像提供的额外信息来增强向用户提供第一信息的图像。此外，可以选择基础图像以用于提供良好的图像质量，其中，即使所述对比度图像本身仅具有低图像质量，由对比度图像提供的额外信息也可以被提取并提供给所述基础图像。因此，可以为所述增强基础图像提供改进的图像质量和信息内容。

针对其生成增强图像的对象可以是能够利用谱X射线成像装置成像的任何对象。优选地，对象是指生物(特别是患者)的感兴趣区域内的解剖结构，其中，患者可以是人或动物。然而，对象也可以是无生命对象，例如，安全应用中的手提箱或包。

也可以被视为基础图像提供器的所述基础图像提供单元被配置为提供对象的基础图像，特别是将基础图像提供给增强图像生成单元。基础图像提供单元可以是存储单元，对象的基础图像被存储在该存储单元中并且可以从该存储单元中检索基础图像以用于提供所述基础图像。基础图像提供单元也可以是用于接收对象的基础图像并用于提供所接收的图像的接收单元。此外，所述基础图像提供单元也可以是被配置为基于使用谱X射线成像装置采集的对象的谱图像数据的组合来生成基础图像的基础图像生成单元。优选地，所述基础图像提供单元是被配置为向用户提供通过谱图像数据的不同组合生成的多幅图像的基础图像选择单元，其中，所述用户然后可以选择所述图像中的一幅作为基础图像，其中，基础图像提供单元然后被配置为提供所选择的基础图像。

基础图像是指基于使用谱X射线成像装置采集的对象的谱图像数据的组合而生成的图像。谱X射线成像装置例如可以基于双源技术、快速kV切换技术、光电计数探测器技术等。利用所述谱X射线成像装置采集的谱图像数据提供利用至少两个不同的辐射谱采集的所述对象的图像数据，并且因此指示所述对象相对于至少两个不同的辐射谱的衰减。如果对象是指患者的感兴趣区域中的解剖结构，则优选的是，谱图像数据是在已经向所述患者提供造影剂(如基于碘的造影剂)之后采集的。然而，在其他实施例中，谱图像数据也可以在不将造影剂应用于所述对象的情况下被采集，特别是在对象是无生命对象的情况下。根据所述谱图像数据，可以从谱图像数据的不同组合导出多幅不同的图像，如例如在N.Rassouli等人的文章“Detector-based spectral CT with a novel dual-layertechnology:principles and applications”(Insights into Imaging，第8卷，第589–598页(2017年))中更详细地解释的。

基础图像可以是指基于谱图像数据的组合生成的图像中的一幅，并且可以是指谱图像数据的预定组合或由用户例如经由用户输入选择的谱图像数据的组合。优选地，基础图像包括高图像质量，例如，基本上不提供条纹伪影。此外，优选的是，基础图像以足够的灵敏度提供关于对象的感兴趣区域中的软组织材料的信息。优选地，基础图像是指从谱图像数据导出的虚拟单能量图像，特别是200keV处的虚拟单能量图像。然而，在一些应用中，可能优选的是，基础图像是指常规CT图像，因为这种图像类型与放射科医师的大多数查看专业知识相关联。

也可以被视为对比度图像提供器的对比度图像提供单元被配置为提供对象的对比度图像，特别是将对比度图像提供给显著性程度确定单元。对比度图像提供单元可以是存储单元，其中，对象的对比度图像已经存储在该存储单元中，并且可以从该存储单元检索对比度图像以用于提供所述对比度图像。对比度图像提供单元还可以是用于例如从用户可以在其上选择对比度图像的输入单元接收对象的对比度图像并且用于提供所接收的对比度图像的接收单元。此外，对比度图像提供单元也可以是被配置为基于对象的谱图像数据的组合来生成对比度图像的对比度图像生成单元。

对比度图像是指基于与用于生成基础图像的组合不同的谱图像数据的组合而生成的图像。因此，基础图像和对比度图像是指包括关于对象的不同信息内容的图像。优选地，对比度图像包括关于特定材料(例如，像碘的造影剂)在对象的感兴趣区域中的分布的信息。优选地，对比度图像是指从谱图像数据导出的虚拟单能量图像(特别是40keV处的虚拟单能量图像)或光电图像。此外，如果被施加于患者的造影剂是基于碘的造影剂，则对比度图像还可以是指对每个图像区域(特别是体素)中的碘密度进行量化的碘密度图。该对比度图像具有以下优点：碘密度图非常准确且清楚地示出造影剂在感兴趣区域中的分布，其中，未示出钙影响的结构，如骨骼。

通常，基础图像和对比度图像可以是指考虑对象随时间的发展的二维图像、三维图像或甚至四维图像。在该背景下，涉及图像元素的术语“体素”也将用于2D或4D图像，并且因此如果对2D图像进行寻址，则术语“体素”要被解释为“像素”。此外，基础图像和对比度图像也可以是指谱图像，即，针对每个体素包括多于一个图像值的图像，其中，每个体素的图像值反映对象的对应部分在不同辐射谱处的衰减。因此，谱图像也可以被认为包含由谱图像数据的不同组合生成的两幅不同图像。

也可以被视为显著性程度确定器的显著性程度确定单元被配置为确定对比度图像的每个体素的显著性程度。显著性程度指示对比度图像的体素的图像值与预定模板图像的对应体素的图像值之间的差异。对比度图像的体素的图像值与预定模板图像的对应体素的图像值之间的差异还指示对比度图像与预定模板图像之间的信息差异，使得显著性程度也指示该信息差异。优选地，显著性程度确定单元被配置为仅针对包括对比度图像中的大于模板图像的图像值的图像值的图像区域(特别是体素)将显著性程度确定为大于零。显著性程度通常可以被视为定义对比度图像的图像值相对于由预定模板图像表示的预定范数突出多少。

预定模板图像可以例如由用户通过从多个所提供的可能模板图像中选择预定模板图像来预先确定。此外，预定模板图像还可以基于所选择的基础图像和所选择的对比度图像和/或基于谱图像采集的目标来自动地预先确定。例如，预定模板图像可以是指基于与用于对比度图像的谱图像数据的组合类似的谱图像数据的组合而生成的图像，其中，已经从健康人采集了根据其生成模板图像的谱图像数据。然后，可以例如基于关于患者的信息(如年龄、尺寸、体重等)和/或基于对该患者进行检查的原因来选择根据其生成预定模板图像的谱图像数据。在这种情况下，显著性程度指示患者中的感兴趣区域相对于健康人的差异。在模板图像不涉及基于患者的谱图像数据生成的图像的情况下，可以基于通常公知的配准方法将所选择的模板图像配准到对比度图像。然而，模板图像也可能已经以配准不是必需的方式提供，例如，在模板图像涉及恒定模板图像的情况下。

也可以被视为增强图像生成器的增强图像生成单元被配置为通过基于针对对比度图像的对应体素确定的显著性程度增强基础图像的体素来生成对象的增强基础图像。增强图像生成单元可以被配置为例如通过增加体素的强度、通过向体素提供预定颜色、通过改变在基础图像上提供的颜色层的透明度等来增强基础图像的体素。基础图像的体素的增强基于针对对比度图像的对应体素确定的显著性程度。例如，如果体素的显著性程度高于显著性程度的预定阈值，则可以通过添加预定强度值或为体素提供预定颜色来增强基础图像的体素。另外地或备选地，可以提供描述显著性程度与应当被添加到对应体素的强度值或颜色值之间的关系的函数关系，其中，函数关系可以是例如线性函数、二次函数或基于显著性程度的任何其他种类的函数。

因此，增强基础图像被提供有来自对比度图像的额外信息，特别地，被提供有对比度图像的体素相对于预定模板图像的显著性程度的额外信息。例如，基础图像可以指具有良好图像质量(即，基本上没有图像伪影)和良好软组织对比度的谱图像，而基础图像不包含关于造影剂的分布的许多信息。此外，在该示例中，对比度图像可以是指提供软组织与其中可以找到造影剂的区之间的高对比度的图像，并且模板图像可以被选择为使得包含造影剂的区被提供有高度显著性。在这种情况下，将针对对比度图像中包含造影剂的区确定高度显著性，使得增强基础图像将不仅包含基础图像的良好质量和良好软组织对比度，而且包含在包含造影剂的区中被增强的体素。因此，可以为用户(如医师)提供感兴趣区中的软组织的信息，并且还提供关于乍看之下造影剂在感兴趣区中的分布的信息。

在实施例中，所述预定模板图像是指所述基础图像。选择基础图像作为模板图像具有以下优点：可以确定包含另一信息内容(即，偏离基础图像的体素)的对比度图像的体素。通过增强基础图像中的这些体素，其信息内容也被提供给基础图像。然而，模板图像的其他选择也可能是有利的，例如，通过选择模板图像作为在多个患者上平均的对象的平均图像，使得仅识别和增强偏离平均值的体素。而且，可以使用健康患者的感兴趣区域的图像作为模板图像，使得仅在基础图像中识别和增强示出与健康患者的图像的高偏差的区。

在实施例中，所述预定模板图像是指其中每个体素的图像值相同的恒定图像，其中，所述显著性程度确定单元被配置为基于所述对比度图像的体素的图像值与所述预定模板图像的恒定图像值之间的差异来确定所述显著性程度。由于恒定图像仅包含一个图像值，即恒定图像值，因此在该实施例中，模板图像也可以被认为是常数。恒定图像值可以例如被选择为对比度图像的所有图像值的平均值、低于针对特定材料(例如，造影剂)预期的图像值的图像值、在先前情况下已经示出是有利的恒定图像值等。所述显著性程度确定单元可以被配置为例如通过从对比度图像的每个体素的图像值中减去恒定图像值来确定这种情况下的显著性程度，其中，所得到的差异图像指示每个体素的显著性程度。该实施例允许非常快速且简单地确定对比度图像中可能感兴趣的信息。

在优选实施例中，所述增强图像生成单元被配置为通过增强所述基础图像的以下体素来生成所述增强基础图像：对于所述体素，所述显著性程度指示所述对比度图像的所述体素的图像值大于所述预定模板图像的恒定图像值。例如，在该实施例中，显著性程度确定单元可以被配置为将差异图像的示出负值的所有图像值设置为零，其中，然后在差异图像中包括正图像值的所有剩余体素是指具有大于预定模板图像的恒定图像值的图像值的体素。增强图像生成单元然后可以例如被配置为通过简单地将所得到的差异图像添加到基础图像来增强基础图像。在该实施例中，显著性程度是指对比度图像的体素的图像值与恒定图像值之间的差异，并且如果差异为负，则是指零，其中，显著性程度直接用于通过将所述显著性程度添加到基础图像中的对应体素的图像值来增强基础图像。

优选地，所述对比度图像是指虚拟单能量图像或光电图像。根据谱图像数据确定的虚拟单能量图像和光电图像作为对比度图像是有利的，因为它们提供包含高对比度材料(如造影剂)的区与软组织之间的更好对比度。甚至更优选地，对比度图像是指模拟40keV的辐射能量的虚拟单能量图像。然而，通过包含关于感兴趣区域中的特别感兴趣材料的信息的谱图像数据的组合生成的其他图像也可以用作对比度图像。

在优选实施例中，所述基础图像和所述对比度图像是虚拟单能量图像，并且参考比生成所述基础图像的能量更低的能量来生成所述对比度图像。通常，针对更高能量生成的虚拟单能量图像示出软组织材料的良好对比度，并且还提供基本上没有图像伪影(特别是具有比针对更低能量生成的虚拟单能量图像更少的图像伪影)的高图像质量。然而，通常已知针对更低能量生成的虚拟单能量图像提供包含造影剂的区域与软组织区域之间的更高对比度，但是对图像伪影更敏感。因此，使用虚拟单能量图像作为涉及比针对其生成基础图像的能量更低的能量的对比度图像允许利用高对比材料(如造影剂)的分布的信息来增强包括良好图像质量和良好软组织对比度的基础图像。

在实施例中，所述对比度图像和所述预定模板图像是指谱图像，其中，谱图像针对每个体素包括至少两个强度值，所述至少两个强度值指示与所述体素相对应的所述对象的部分在不同辐射能量谱处的衰减，并且所述显著性程度确定单元被配置为基于谱度量来确定所述显著性程度，所述谱度量指示由不同辐射能量谱定义的谱空间中的所述对比度图像与所述预定模板图像的图像值之间的差异。谱图像可以被定义为以下图像：其中，图像的每个体素包括指示与体素相对应的对象的部分在不同辐射能量谱处的衰减的至少两个强度值。例如，谱图像可以包括两幅虚拟单能量图像，使得谱图像的每个体素包括与该体素相对应的对象在不同辐射能量处的衰减的两个强度值。在这种情况下，显著性程度确定单元可以基于谱空间中的谱度量来确定显著性程度。谱空间可以被定义为由不同的能量谱跨越，在不同的能量谱处在所涉及的谱图像中提供强度值，使得谱图像的体素的至少两个强度值定义体素在谱空间中的位置。例如，如果谱图像包括针对40keV的能量生成的虚拟单能量图像和针对200keV的能量生成的虚拟单能量图像，则图像中的每幅图像中的体素的强度定义其在谱空间中的位置。谱度量(如欧几里德向量距离、谱向量角度或巴氏距离等)可以用于确定谱对比度图像与预定谱模板图像在谱空间中的图像值之间的差异。优选地，谱对比度图像和谱模板图像包括针对涉及相同能量谱的每个体素的值，即，形成谱对比度图像的图像和形成谱模板图像的图像分别基于相同的辐射能量谱。

在实施例中，所述显著性程度确定单元被配置为使用经训练的深度学习算法来生成所述显著性程度，其中，所述经训练的深度学习算法是基于训练对比度图像来训练的，在所述训练对比度图像中，每个体素与显著性程度相关联。例如，训练图像可以由用户通过使用先前情况的多幅可能的对比度图像并且为这些对比度图像提供关于这些对比度图像的每个体素相对于预定模板图像的显著性程度的注释(例如，通过用涉及不同显著性程度的不同颜色标记对比度图像中的不同体素等)来生成。然后将这些注释的图像作为训练图像提供给训练中的深度学习算法。替代地，可以通过使用用于确定显著性程度的任何上述实施例来提供训练图像，其中，然后将这样的所确定的显著性程度与对比度图像和任选地模板图像一起作为输入提供给深度学习算法以用于进行训练。然后，深度学习算法可以学习对比度图像的哪些体素应当被提供有哪种显著性程度。在该实施例中，可以认为预定模板图像反映在经训练的深度学习算法的变量中。优选地，经训练的深度学习算法是指卷积神经网络。

在实施例中，所述增强图像生成单元被配置为通过向所述基础图像的体素添加增强值和/或通过向所述体素提供颜色来增强所述体素，其中，所述增强值基于所述显著性程度，其中，所述颜色基于所述显著性程度。例如，增强值可以等于显著性程度，但是也可以通过预定函数(如线性或非线性函数)连接到显著性程度。颜色也可以通过颜色函数连接到显著性程度，该颜色函数确定哪种颜色或颜色强度是指哪种显著性程度。连接增强值或颜色的函数可以是连续函数，也可以是离散函数。

在本发明的另一方面中，提出了一种用于生成对象的增强图像的方法，其中，所述方法包括：a)提供对象的基础图像，其中，所述基础图像是基于使用谱X射线成像装置采集的所述对象的谱图像数据的组合来生成的；b)提供所述对象的对比度图像，其中，所述对比度图像是基于与用于生成所述基础图像的所述组合不同的所述对象的所述谱图像数据的组合来生成的；c)针对所述对比度图像的每个体素确定显著性程度，其中，所述显著性程度指示所述对比度图像的体素的图像值与预定模板图像的对应体素的图像值之间的差异；以及d)通过基于针对所述对比度图像的对应体素确定的显著性程度来增强所述基础图像的体素来生成所述对象的增强基础图像。针对所述对比度图像的每个体素确定显著性程度包括：确定允许基于所述预定模板图像的对应体素的图像值来近似所述对比度图像的体素的图像值的近似函数；基于所述近似函数和所述预定模板图像来生成近似对比度图像；并且基于所述近似函数来确定所述显著性程度。

在本发明的另一方面中，提出了一种用于增强对象的图像的计算机程序，其中，所述计算机程序包括程序代码模块，当所述计算机程序由如上所述的装置运行时所述程序代码模块用于使所述装置执行如上所述的方法的步骤。

应当理解，根据权利要求1所述的装置、根据权利要求13所述的方法和根据权利要求14所述的计算机程序具有相似和/或相同的优选实施例，特别地如从属权利要求中所限定的相似和/或相同的优选实施例。

应当理解，本发明的优选实施例也能够是独立权利要求或以上实施例与相应从属权利要求的任何组合。

参考下文所述的实施例，本发明的这些方面和其他方面将是显而易见的并且得到阐述。

附图说明

在以下附图中：

图1示意性且示例性地示出了包括用于生成对象的增强图像的装置的谱成像***的实施例，

图2示出了示例性地图示用于生成对象的增强图像的方法的实施例的流程图，

图3示例性地图示了用于确定显著性程度的实施例，并且

图4和5示例性地图示了增强图像的结果。

具体实施方式

图1示意性且示例性地示出了包括用于生成对象的增强图像的装置的谱成像***的实施例。在该实施例中，谱成像***100包括用于采集躺在患者台122上的患者121的感兴趣区域的谱图像数据的成像单元120，例如双能量X射线CT成像单元。在优选实施例中，在采集谱图像数据之前，患者121被注射造影剂，例如碘造影剂。由谱成像单元120采集的患者121的谱图像数据包括涉及感兴趣区域中的解剖结构的对象的谱图像数据。

为了提供对象(在该示例中，解剖结构)的增强图像，谱成像***100包括用于生成对象的增强图像的装置110。装置110包括基础图像提供单元111、对比度图像提供单元112、显著性程度确定单元113和增强图像生成单元114。此外，装置110可以包括如鼠标或键盘的输入单元115和/或例如用于显示增强图像的显示单元116。

在该示例中，基础图像提供单元111被配置用于接收由谱成像单元120采集的谱图像数据。基础图像提供单元111然后被配置为基于所接收的谱图像数据的组合来生成基础图像。特别地，可以基于谱图像数据的预选组合来生成基础图像。然而，基础图像提供单元111还可以例如经由显示器116向用户提供多幅可能生成的基础图像，并且然后可以例如经由输入单元115接收用户的输入，该输入指示应当被选择的基础图像。然后，基础图像提供单元111被配置为特别地将相应的所选择的图像作为基础图像提供给增强图像生成单元114。

在该示例中，对比度图像提供单元112还被配置为接收由谱成像单元120采集的谱图像数据，并且基于接收到的谱图像数据来生成对比度图像。而且，对比度图像可以基于谱图像数据的预选组合来生成，或可以由用户选择，如关于基础图像提供单元111所描述的。通常，对比度图像是基于与基础图像不同的谱图像数据的组合来生成的。对比度图像提供单元112然后被配置为特别地向显著性程度确定单元113提供对比度图像。

显著性程度确定单元113被配置为确定对比度图像的每个体素的显著性程度。特别地，显著性程度指示对比度图像的体素的图像值与预定模板图像的对应体素的图像值之间的差异。预定模板图像可以例如通过使用显示器116向用户提供可能的模板图像的选择来预先确定，其中，用户然后可以使用输入单元115选择所呈现的模板图像之一作为预定模板图像。然而，预定模板图像也可以是用于所有对象的默认模板图像，或可以针对特定情况(例如，针对对比度图像和基础图像的特定选择)来预先确定。此外，可以基于关于患者和成像流程提供的信息来预先确定预定模板图像。例如，预定模板图像可以基于应用于患者121的造影剂、应当被成像的感兴趣区域、患者121的年龄或尺寸、对患者121进行检查的原因等来预先确定。因此，由显著性程度确定单元113确定的显著性程度也可以被视为指示由对比度图像提供的信息，其偏离在预定模板图像中提供的信息。

然后，增强图像生成单元114被配置为通过基于针对对比度图像的对应体素确定的显著性程度增强基础图像的体素来生成患者121的感兴趣区域的增强基础图像。例如，增强图像生成单元114可以将针对对比度图像的体素确定的显著性程度添加到基础图像的对应体素的图像值。替代地或另外地，增强图像生成单元114可以被配置为基于显著性程度向基础图像的体素提供颜色，以用于增强基础图像的体素。

图2示意性且示例性地示出了用于生成对象的增强图像的方法的实施例。方法200包括提供对象(例如，患者121的解剖结构)的基础图像的第一步骤210，其中，基于使用例如谱X射线成像装置120采集的对象的谱图像数据的组合来生成基础图像。此外，方法200包括提供对象的对比度图像的步骤220，其中，基于与用于生成基础图像的组合不同的对象的谱图像数据的组合来生成对比度图像。通常，提供基础图像的步骤210和提供对比度图像的步骤220可以以任何顺序或甚至同时执行。基于在步骤230中提供的对比度图像，针对对比度图像的每个体素确定显著性程度。在最后的步骤240中，然后通过基于在步骤230中针对对比度图像的对应体素确定的显著性程度来增强基础图像的体素来生成增强基础图像。

在下文中，将关于装置110的以上设置更详细地描述本发明的一些优选实施例。在优选实施例中，预定模板图像是恒定图像，即仅包括针对所有体素的一个恒定图像值的图像。在这种情况下，显著性程度确定单元113被配置为从对比度图像的每个体素的图像值中减去恒定图像(即恒定图像值)，从而得到差异图像。此外，在该实施例中，优选的是，显著性程度确定单元113被配置为将差异图像的所有图像值设置为零，所述所有图像值是指负图像值，即指示对比度图像中包含低于恒定图像值的图像值的体素。任选地，显著性程度确定单元113可以被配置为例如通过使用高斯平滑算法或二项平滑算法来平滑所得到的差异图像，以减少图像噪声并提供具有更柔和外观(即，具有相邻体素的图像值之间的减少的强过渡)的差异图像。然后将所得到的差异图像的图像值确定为对比度图像的每个体素的显著性程度。因此，所得到的差异图像也可以被视为显著性程度图像，其中，每个图像值指示对应体素的对比度图像的显著性程度。在该实施例中，还优选的是，增强图像生成单元114被配置为通过将显著性程度图像添加到基础图像来生成增强基础图像，即，利用显著性程度图像中的对应显著性程度来增强基础图像的每个体素。任选地，增强图像生成单元114可以被配置为将显著性程度图像的每个图像值乘以加权因子α，该加权因子α可以由用户预先确定或交互地改变。然后可以由增强图像生成单元114使用以下等式来确定增强图像：

I_提升(x)＝I_基础(x)+α·G*(max(0，I_低E(x)-T))，

其中，I_提升(x)是指针对每个体素x的增强图像的图像值，I_基础(x)是指针对每个体素x的基础图像的图像值，G是指高斯卷积函数，I_低E(x)是指针对每个体素x的对比度图像的图像值，并且T是指预定模板图像的恒定图像值。

在另一优选实施例中，选择预定模板图像作为参考基础图像。而且，在该实施例中，可以通过根据上述实施例从对比度图像中减去在这种情况下是基础图像的预定模板图像来确定显著性程度。然而，在该实施例中，优选的是，显著性程度确定单元113被配置为确定允许基于基础图像(此处是预定模板图像)的对应体素的图像值来近似对比度图像的体素的图像值的近似函数。为了确定近似函数，优选地使用回归函数，如线性回归函数或非线性回归函数。

在图3中图示了关于可以如何确定近似函数的示例。图3示出了其中基础图像并且因此预定模板图像被选择为200keV虚拟单能量图像而对比度图像被选择为40keV虚拟单能量图像的示例。图3中所示的谱空间300的x轴310是指对应于200kev虚拟单能量谱的强度(即图像值)，并且y轴320是指对应于40keV虚拟单能量谱的强度，其中，在该示例中，两个轴都以亨氏单位提供。基础图像和对比度图像的每个体素然后可以被视为包括两个图像值，一个图像值是体素在基础图像中具有的图像值，并且另一个图像值是指体素在对比度图像中包括的图像值。基于这两个图像值，每个体素可以被放置在谱空间中，即，体素在谱空间300中的位置由其在40keV虚拟单能量图像中的强度值和其在200keV单能量图像中的强度值来定义。如果所有体素相应地被放置在谱空间中，则散射区340由谱空间300中的这些体素参考由体素的图像值覆盖的区形成。示例性放置的体素是相对于40keV虚拟单能量谱比相对于200keV虚拟单能量谱包括更高的图像值(特别是强度值)的点331。点350对应于相应能量谱中的空气的图像值。然后可以相对于散射区340执行线性回归以确定线性回归函数330作为近似函数。优选地，仅对散射区340的包含零以下的图像值的部分(如由线性回归函数330的被提供为虚线的部分所指示的)执行线性回归，其中，线性回归然后可以被用于也外推到零以上的区(如由线性回归函数330的被提供为实线的部分所指示的)中。已经发现，将线性回归限制到零以下的区导致更可靠的回归并且还导致更好的增强结果。线性回归或外推并且因此对比度图像的近似图像值可以由以下等式表示：

I_{低E_Fit}(x)＝α+β·I_基础(x)，

其中，I_{低E_Fit}(x)是指针对每个体素x的对比度图像的近似图像值，I_基础(x)是指针对每个体素x的基础图像的图像值，并且α和β是指通过线性回归确定的回归常数。在已经基于回归确定近似函数330之后，可以基于近似函数并基于预定模板图像(此处是基础图像)来生成近似对比度图像。这样的近似对比度图像的图像值然后全部位于近似函数330上，如图3所示。然后可以将对比度图像的体素的图像值与近似对比度图像的图像值进行比较，特别地，可以确定对比度图像的图像值与近似对比度图像的近似图像值之间的差异。优选地，通过从针对对应体素的对比度图像的图像值中减去近似图像值来确定差异，其中，如果相减结果为正，则该结果指的是该体素的显著性程度，并且如果结果为负，则该体素的显著性程度被设置为零。这在图3中针对示例性体素进行表示。点333是指对比度图像的体素的近似图像值，而点331是指该体素的原始图像值。然后可以将差异332设置为该体素的显著性程度。然后，增强图像生成单元114被配置为通过根据所确定的显著性程度增加基础图像的体素的图像值来增强基础图像，例如，如上面关于第一优选实施例所描述的。

图4和5示出了基于上述原理生成的增强图像的结果。图4在左侧示出了与右侧的增强图像相比的两幅常规CT切片图像。在右上角，示出了200kev虚拟单能量图像，其包括比常规CT图像更低的噪声水平但是对于包含碘造影材料的区还包括更低的强度。在右下方，示出了根据上述实施例生成的增强图像，其中，可以看出，特别地，与右上方的未增强图像(即，基础图像)相比，涉及包括碘造影材料的区的体素已经被增强，而在所有其他区中，200keV基础图像的优选软组织表现被维持。

图5还在左侧示出了用于比较的常规CT切片图像。在这些常规CT切片图像中可以看到典型的条纹伪影，如由宽白色箭头标记的。此外，包含碘造影材料的小区由细白色箭头指示。在右上方再次示出了用作基础图像的200keV虚拟单能量图像，其不包含常规CT切片图像中所示的任何条纹伪影，但是也仅示出包含碘造影材料的区的非常低的强度。在右下方，示出了根据上述实施例生成的增强图像，其中，可以清楚地看到，特别地，包含碘造影材料的区被增强，其中，同时维持条纹伪影的不存在和200keV基础图像的优选软组织表现。

尽管在上述实施例中优选的是预定模板图像是指基础图像，但是如上所述的显著性程度的确定也可以应用于其他预定模板图像，特别是不是指恒定图像的所有模板图像。例如，预定模板图像可以是从谱图像数据或非谱图像数据导出的健康患者的图像。而且在这种情况下，可以通过根据上述描述确定近似函数来确定显著性程度。此外，在上述实施例中，对比度图像和预定模板图像也可以是指谱图像，如以下实施例中所定义的。

在另一优选实施例中，对比度图像和预定模板图像是指谱图像，其中，谱图像被定义为包括针对体素的多于一个图像值的图像，其中，每个图像值指示对象的与体素相对应的部分在遭受不同能量谱时的衰减。因此，谱图像可以被视为包括由谱图像数据的不同组合生成的至少两幅图像。在这种情况下，谱图像的体素的图像值也可以被认为是更多维的图像值，即，是指图像值向量。对比度图像和预定模板图像然后可以被选择为使得它们表示由谱图像数据的不同组合产生的多幅不同图像，其中，谱图像数据的所有不同组合也不同于根据其生成基础图像的谱图像数据的组合。在这种情况下，可以通过在谱空间中表示图像值向量并且应用用于比较图像值向量的谱度量来确定指示对比度图像的体素的图像值与预定模板图像的对应体素的图像值之间的差异的显著性程度，其中，在这种情况下，图像值是指图像值向量。谱空间由谱图像提供的不同辐射谱(即，不同谱通道)跨越。例如，谱空间中到例如由预定模板图像定义的谱参考点的欧几里德向量距离可以用于确定显著性程度。此外，图像值向量相对于谱原点和例如由预定模板图像定义的参考向量的谱空间中的谱向量角度也可以用于确定显著性程度。此外，也可以使用例如由预定模板图像定义的巴氏距离，即到谱参考椭球的二次加权距离。通常，谱空间中的谱图像的图像值向量的表示可以以与涉及提供近似函数的上述实施例所描述的类似的方式来确定。然而，由于涉及谱图像的实施例中的谱空间在大多数情况下将包括多于两个维度，因此类似于图3的附图不可用。

然后，增强图像生成单元114可以被配置为基于由对比度图像的更多维图像值与预定模板图像的更多维图像值的接近度确定的显著性程度来生成增强基础图像。因此，在这种情况下，显著性程度指示更多维空间中(特别是包括多于两个维度的谱空间中)的点之间的距离。以这种方式，可以在谱对比度图像中(即，在谱图像数据的多个组合中)识别不是由谱模板图像提供的信息。例如，如果谱模板图像是指针对健康患者采集的谱图像数据的不同组合，则该方法允许确定患者的谱图像数据中的在多个可能的辐射谱上的总体概览中提供额外的信息并且因此对于增强基础图像可能是感兴趣的体素。

在另一实施例中，显著性程度确定单元113包括经训练的深度学习算法，特别是卷积神经网络，其被训练为确定对比度图像的每个体素的显著性程度。优选地，深度学习算法通过向深度学习算法提供对比度图像(例如，虚拟单能量图像、光电图像或谱图像)来训练，其中，针对每个体素的这些训练对比度图像，已经例如由用户或通过任何上述原理确定显著性程度。然后，深度学习算法可以学习在没有进一步输入的情况下基于对比度图像来确定对比度图像的每个体素的显著性程度，其中，可以认为在这种情况下的预定模板图像是经训练的深度学习算法的变量设置的一部分。基于由经训练的深度学习算法以对比度图像作为输入确定的显著性程度，然后可以增强基础图像。

谱CT成像***生成在不同程度上由康普顿效应和光电效应支配的从低能级到高能级的多个(即至少两个)谱通道。谱通道(即谱图像数据)也可以被转换成各种表示，例如纯康普顿图像、纯光电图像和纯虚拟单能量图像。通常，已知高keV虚拟单能量图像具有更少的条纹伪影和更少的图像噪声，并且更敏感地描绘软组织材料，并且因此通常对于查看是优选的。而且，由于现有的阅读习惯和积累的专业知识，常规图像(即非虚拟单能量图像)通常对于查看是优选的。另一方面，已知低keV虚拟单能量图像更灵敏地示出对比材料，而对比材料的弱浓度在高keV虚拟单能量图像或常规图像中不是很好地可见的。然而，弱对比材料贴片可能有助于检测和区分诸如息肉、粪便等的异常。

因此，本发明在实施例中提出了基础图像由用户任意选择例如作为常规或高keV虚拟单能量图像，并且该图像通过在低keV虚拟单能量图像或光电图像中示出高强度的图像位置处添加强度或颜色来增强，即，“对比度提升”。

在实施例中，从作为对比度图像的低keV单能量图像或光电图像中减去某个阈值T(即作为模板图像的恒定图像)，并且然后将所得到的相减图像(即差异图像)在零处下箝位，仅留下具有正值的高对比度区，否则大部分为零，从而产生高对比度图像。任选地，可以例如通过高斯平滑或二项平滑来平滑差异图像，以减少噪声并产生更柔和的外观。然后可以以逐体素的方式将平滑的差异图像添加到基础图像。任选地，在添加之前，可以将差异图像乘以加权因子α，该加权因子α可以由用户交互地改变。

在实施例中，在逐体素的基础上比较在这种情况下也是指模板图像的所选择的基础图像和作为对比度图像的低keV虚拟单能量图像或光电图像的强度。执行回归，使得低keV虚拟单能量图像或光电图像例如通过线性回归拟合由基础图像预测，但是非线性拟合也是可能的。任选地，由于最高对比度点预期用于比水区更密集的区，因此回归限于亨氏值低于0的点。在建立回归之后，针对所有体素x计算作为近似对比度图像值的低keV回归值。对于实际的低keV值高于如通过从基础图像值的回归预测的回归值的体素，基础图像的显示强度在强度上增加该差异，该差异表示在这种情况下的显著性程度。结果是包括基础图像的更好的图像质量同时还示出了弱对比材料浓度的区的增强(即“提升”)基础图像。

在实施例中，通过将谱对比度图像与谱模板图像进行比较来确定谱显著体素。与谱模板的接近度可以通过由谱通道跨越的谱空间中的若干度量来测量。所使用的度量可以是指例如谱空间中到谱参考点的欧几里德向量距离、相对于谱原点和参考点的谱向量角度、到谱参考椭球的巴氏距离(即二次加权距离)等。然后可以根据如由与谱模板图像的接近度确定的显著性程度来增加基础图像的图像值。

在实施例中，在训练阶段期间，用户可以将例如低keV虚拟单能量图像或光电图像中的区注释为他们认为在谱上显著的对比度图像。卷积神经网络(CNN)然后可以使用深度学***上识别这些区。在部署阶段中，经训练的CNN根据多谱输入图像生成体素水平响应，并且这些体素在基础图像中在强度上被强调。

如上所述的本发明具有以下优点：用户可以仅评估一种图像类型，而不是必须读取两个或甚至整个系列的不同图像表示。此外，对于诊断查看，即读取，用户可以自由地选择他/她偏好的常规或虚拟单能量图像以最佳地支持他/她的工作流程，而不必担心损害造影剂可见性。如果白色用于增强的显著体素，则增强图像的外观与标准图像非常相似，使得不需要开发新的阅读专业知识。此外，这允许部署在广泛的黑白监测器上。此外，强度仅增加，即“提升”，但从不降低，使得例如源于低能量图像中的射束缺乏的暗条纹不被携带，而是来自碘的高对比度的线索被携带。而且，上述增强实施例对于交互式实时的运行中的计算是足够快的，并且不需要增强图像体积的额外存储。增强图像还可以用作针对常规图像训练但是受益于弱对比度区的提升(例如CT结肠镜检查中的标记粪便的所谓虚拟清洁)的现有图像处理算法的输入。

尽管在上面的实施例中使用对比度图像和基础图像的特定组合作为示例，但是在其他实施例中也可以使用基础图像和对比度图像的另一组合。例如，尽管通常优选的是基础图像是指高keV虚拟单能量图像(如200keV虚拟单能量图像)，基础图像也可以是指例如康普顿图像或材料分解图像的谱图像数据的任何组合。尽管通常还优选的是，对比度图像是指光电图像或低keV虚拟单能量图像(如40keV虚拟单能量图像)，但是对比度图像也可以是指任何其他种类的图像，如康普顿图像、材料分解图像或谱图像数据的任何其他组合。

尽管上述实施例是关于医学环境描述的，其中，对象是指患者体内的解剖结构，但是上述原理也可以容易地应用于其他对象，特别是无生命对象，如手提箱或袋子。特别地，本发明也可以应用于安全场景，如针对危险或禁止对象对袋子进行扫描。

尽管优选的是在采集谱图像之前向患者注射基于碘的造影剂，但是也可以应用其他造影剂，如基于钡的造影剂。此外，基于谱图像的临床原因，也不可以使用造影剂。在这种情况下，可以使用涉及在没有造影剂的情况下也可见的患者解剖结构中的其他信息的基础图像和对比度图像。

本领域技术人员通过研究附图、公开内容以及权利要求，在实践请求保护的发明时能够理解并实现对所公开的实施例的其他变型。

在权利要求中，“包括”一词不排除其他元件或步骤，并且词语“一”或“一个”不排除多个。

单个单元或设备可以实现在权利要求中记载的若干项的功能。尽管某些措施被记载在互不相同的从属权利要求中，但是这并不指示不能有利地使用这些措施的组合。

由一个或多个若干单元或设备执行的像提供对比度图像、提供基础图像、确定显著性程度或增强基础图像等的流程可以由任何其他数量的单元或设备执行。这些流程可以被实施为计算机程序的程序代码模块和/或为专用的硬件。

计算机程序可以被存储/分布在合适的介质上，例如与其他硬件一起或作为其他硬件的部分供应的光学存储介质或固态介质，但是计算机程序也可以以其他形式分布，例如经由互联网或其他有线或无线的电信***分布。

权利要求中的任何附图标记都不应被解释为对范围的限制。

本发明涉及一种用于生成增强图像的装置，包括：a)基础图像提供单元，其中，基础图像是基于谱图像数据的组合来生成的，b)对比度图像提供单元，其中，对比度图像是基于所述谱图像数据的不同组合来生成的，c)显著性程度确定单元，其中，显著性程度指示所述对比度图像的体素的图像值与预定模板图像的对应体素的图像值之间的差异，以及d)增强图像生成单元，用于通过基于显著性程度增强基础图像的体素来生成对象的增强基础图像。本发明允许提供具有改进的图像质量和信息内容的增强基础图像。

Claims (14)

1.一种用于生成对象的增强图像的装置，其中，所述装置(110)包括：

-基础图像提供单元(111)，其被配置为提供对象的基础图像，其中，所述基础图像是基于使用谱X射线成像装置(120)采集的所述对象的谱图像数据的组合来生成的，

-对比度图像提供单元(112)，其被配置为提供所述对象的对比度图像，其中，所述对比度图像是基于与用于生成所述基础图像的所述组合不同的所述对象的所述谱图像数据的组合来生成的，

-显著性程度确定单元(113)，其被配置为针对所述对比度图像的每个体素确定显著性程度，其中，所述显著性程度指示所述对比度图像的体素的图像值与预定模板图像的对应体素的图像值之间的差异，以及

-增强图像生成单元(114)，其被配置为通过基于针对所述对比度图像的对应体素确定的所述显著性程度增强所述基础图像的体素来生成所述对象的增强基础图像，其中，所述显著性程度确定单元(113)被配置为确定允许基于所述预定模板图像的对应体素的图像值来近似所述对比度图像的体素的图像值的近似函数，并且其中，所述显著性程度确定单元(113)还被配置为基于所述近似函数和所述预定模板图像来生成近似对比度图像并基于所述近似函数来确定所述显著性程度。

2.根据权利要求1所述的装置，其中，所述显著性程度确定单元(113)被配置为确定体素的所述显著性程度，使得所述显著性程度指示所述对比度图像的所述体素的图像值与所述近似对比度图像的对应体素的所述图像值的偏差。

3.根据权利要求2所述的装置，其中，所述增强图像生成单元(114)被配置为通过增强所述基础图像的以下体素来生成所述增强基础图像：对于所述体素，所述显著性程度指示所述体素的所述图像值示出与所述体素的近似图像值的向上偏差。

4.根据权利要求1至3中的任一项所述的装置，其中，所述近似函数是指所述对比度图像的所述体素的所述图像值与所述预定模板图像的所述体素的图像值之间的线性回归函数。

5.根据前述权利要求中的任一项所述的装置，其中，所述预定模板图像是指所述基础图像。

6.根据权利要求1所述的装置，其中，所述预定模板图像是指其中每个体素的所述图像值都相同的恒定图像，其中，所述显著性程度确定单元(113)被配置为基于所述对比度图像的体素的图像值与所述预定模板图像的恒定图像值之间的差异来确定所述显著性程度。

7.根据权利要求6所述的装置，其中，所述增强图像生成单元(114)被配置为通过增强所述基础图像的以下体素来生成所述增强基础图像：对于所述体素，所述显著性程度指示所述对比度图像的所述体素的所述图像值大于所述预定模板图像的所述恒定图像值。

8.根据前述权利要求中的任一项所述的装置，其中，所述对比度图像是指虚拟单能量图像或光电图像。

9.根据权利要求1至7中的任一项所述的装置，其中，所述基础图像和所述对比度图像是虚拟单能量图像，并且其中，所述对比度图像是参考比生成所述基础图像的能量更低的能量来生成的。

10.根据权利要求1所述的装置，其中，所述对比度图像和所述预定模板图像是指谱图像，其中，谱图像针对每个体素包括至少两个强度值，所述至少两个强度值指示与所述体素相对应的所述对象的部分在不同辐射能量谱处的衰减，并且其中，所述显著性程度确定单元(113)被配置为基于谱度量来确定所述显著性程度，所述谱度量指示由所述不同辐射能量谱定义的谱空间中的所述对比度图像的所述图像值与所述预定模板图像的所述图像值之间的差异。

11.根据前述权利要求中的任一项所述的装置，其中，所述显著性程度确定单元(113)被配置为使用经训练的深度学习算法来生成所述显著性程度，其中，所述经训练的深度学习算法是基于训练对比度图像来训练的，在所述训练对比度图像中，每个体素与显著性程度相关联。

12.根据前述权利要求中的任一项所述的装置，其中，所述增强图像生成单元(114)被配置为通过向所述基础图像的体素添加增强值并且/或者通过向所述体素提供颜色来增强所述体素，其中，所述增强值基于所述显著性程度，其中，所述颜色基于所述显著性程度。

13.一种用于生成对象的增强图像的方法，其中，所述方法包括：

-提供(210)对象的基础图像，其中，所述基础图像是基于使用谱X射线成像装置(120)采集的所述对象的谱图像数据的组合来生成的，

-提供(220)所述对象的对比度图像，其中，所述对比度图像是基于与用于生成所述基础图像的所述组合不同的所述对象的所述谱图像数据的组合来生成的，

-针对所述对比度图像的每个体素确定(230)显著性程度，其中，所述显著性程度指示所述对比度图像的体素的图像值与预定模板图像的对应体素的图像值之间的差异，并且

-通过基于针对所述对比度图像的对应体素确定的显著性程度增强所述基础图像的体素来生成(240)所述对象的增强基础图像，

其中，针对所述对比度图像的每个体素确定(230)显著性程度包括：确定允许基于所述预定模板图像的对应体素的图像值来近似所述对比度图像的体素的图像值的近似函数；基于所述近似函数和所述预定模板图像来生成近似对比度图像；并且基于所述近似函数来确定所述显著性程度。

14.一种用于增强对象的图像的计算机程序，其中，所述计算机程序包括程序代码模块，当所述计算机程序由根据权利要求1所述的装置(110)运行时，所述程序代码模块用于使所述装置(110)执行根据权利要求13所述的方法的步骤。

Images