CN117355865A - 确定用于计算机断层扫描中的深度学习图像重建的置信度指示 - Google Patents

确定用于计算机断层扫描中的深度学习图像重建的置信度指示 Download PDF

Info

Publication number
CN117355865A
CN117355865A CN202280035278.5A CN202280035278A CN117355865A CN 117355865 A CN117355865 A CN 117355865A CN 202280035278 A CN202280035278 A CN 202280035278A CN 117355865 A CN117355865 A CN 117355865A
Authority
CN
China
Prior art keywords
image
confidence
uncertainty
energy
ray
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280035278.5A
Other languages
English (en)
Inventor
M·佩尔松
A·埃吉扎瓦尔
M·丹尼尔松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Prismatic Sensors AB
Original Assignee
Prismatic Sensors AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Prismatic Sensors AB filed Critical Prismatic Sensors AB
Publication of CN117355865A publication Critical patent/CN117355865A/zh
Pending legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • A61B6/032—Transmission computed tomography [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/48—Diagnostic techniques
    • A61B6/482—Diagnostic techniques involving multiple energy imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N23/00—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00
    • G01N23/02—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material
    • G01N23/04—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material and forming images of the material
    • G01N23/046—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material and forming images of the material using tomography, e.g. computed tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • G06T11/005—Specific pre-processing for tomographic reconstruction, e.g. calibration, source positioning, rebinning, scatter correction, retrospective gating
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2223/00—Investigating materials by wave or particle radiation
    • G01N2223/40—Imaging
    • G01N2223/401—Imaging image processing
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2223/00—Investigating materials by wave or particle radiation
    • G01N2223/40—Imaging
    • G01N2223/419—Imaging computed tomograph
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2223/00—Investigating materials by wave or particle radiation
    • G01N2223/40—Imaging
    • G01N2223/423—Imaging multispectral imaging-multiple energy imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2211/00—Image generation
    • G06T2211/40—Computed tomography
    • G06T2211/408—Dual energy
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2211/00—Image generation
    • G06T2211/40—Computed tomography
    • G06T2211/441—AI-based methods, deep learning or artificial neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • General Physics & Mathematics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Pathology (AREA)
  • Evolutionary Computation (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Optics & Photonics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Pulmonology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Probability & Statistics with Applications (AREA)
  • Biochemistry (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Immunology (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Measurement Of Radiation (AREA)

Abstract

提供了一种用于确定用于计算机断层扫描即CT中的机器学习图像重建的一个或多个置信度指示的方法和***。该方法包括获取(S1)能量分辨X射线数据，以及基于至少一个机器学习***来处理(S2)该能量分辨X射线数据以生成至少一个重建的基图像或其图像特征的后验概率分布的表示。该方法还包括基于后验概率分布的该表示来生成(S3)用于以下各项的一个或多个置信度指示：所述至少一个重建的基图像、或者源自所述至少一个重建的基图像的至少一个衍生图像、或者所述至少一个重建的基图像或所述至少一个衍生图像的图像特征。

Description

确定用于计算机断层扫描中的深度学习图像重建的置信度 指示
提出本专利申请的项目已经从欧盟地平线2020研究和创新项目根据第830294号拨款协议得到资助。
提出本专利申请的项目也已经从欧盟地平线2020研究和创新项目根据MarieSklodowska-Curie第795747号拨款协议得到资助。
技术领域
所提出的技术涉及X射线技术和X射线成像以及对应的成像重建和成像任务。具体地，所提出的技术涉及用于确定用于计算机断层扫描(CT)中的深度学习图像重建的置信度指示的方法和***、用于生成用于光谱CT中的深度学习图像重建的不确定性图的方法和***、和对应图像重建***和X射线成像***以及相关的计算机程序和计算机程序产品。
背景技术
放射照相成像(诸如X射线成像)多年来一直在医疗应用中用于无损检测。
通常，X射线成像***包括X射线源和X射线检测器阵列，其中X射线检测器阵列由包括一个或许多个检测器元件(测量X射线强度/能量密度的独立装置)的多个检测器组成。X射线源发射X射线，这些X射线穿过待成像的对象或物体，然后被检测器阵列记录。由于一些材料比其他材料吸收更大一部分X射线，因此形成对象或物体的图像。
X射线成像检测器面临的挑战是从检测到的X射线中提取最大信息以提供对物体或对象的图像的输入，其中该物体或对象根据密度、组成和结构来描绘。
在典型的医用X射线成像***中，X射线由X射线管产生。典型的医用X射线管的能谱很宽，范围从0直到160keV。因此，检测器通常检测具有变化能量的X射线。
参考图1对说明性整体X射线成像***的简要概述可能是有用的。在该说明性但非限制性的示例中，X射线成像***100基本上包括X射线源10，X射线检测器***20和相关联的图像处理***或设备30。一般而言，X射线检测器***20被配置为记录来自X射线源10的辐射，该辐射任选地已经被任选的X射线光学器件聚焦并且经过对象、受检者或其部分。X射线检测器***20可经由合适的模拟和读出电子器件连接到图像处理***30，该模拟和读出电子器件至少部分地集成在X射线检测器***20中，以使图像处理***30能够进行图像处理和/或图像重建。
例如，X射线计算机断层扫描(CT)***包括X射线源和X射线检测器，其被布置成使得可以覆盖至少180度的不同视角采集对象或物体的投影图像。这最常见地通过将源和检测器安装在能够围绕对象或物体旋转的支撑件上来实现。包含针对不同视角在不同检测器元件中记录的投影的图像被称为正弦图，在下文中，针对不同视角在不同检测器元件中记录的投影的集合将被称为正弦图，即使检测器是二维的也是如此，从而使正弦图成为三维图像。
X射线成像的进一步发展是能量分辨X射线成像，也称为光谱X射线成像，其中针对若干不同能级测量X射线透射。这可通过使源在两个不同发射光谱之间快速地切换、通过使用发射不同X射线光谱的两个或更多个X射线源，或更重要地，通过使用测量两个或更多个能级下的入射辐射的能量分辨检测器来实现。这种检测器的一个示例是多仓光子计数检测器，其中每个记录的光子生成一个电流脉冲，将该电流脉冲与一组阈值进行比较，从而对入射到多个能量仓中的每个能量仓中的光子的数量进行计数。
光谱X射线投影测量通常产生每个能级的投影图像。可进行这些投影图像的加权和以优化用于指定成像任务的对比度～噪声比(CNR)，如在Tapsovaara和Wagner,“SNR andDQE analysis of broadspectrum X-ray imaging”,Phys.Med.Biol.30,519中描述的。
通过能量分辨X射线成像实现的另一种技术是基材料分解。这种技术利用这样一个事实：所有的由具有低原子序数的元素构成的物质(诸如人体组织)都具有线性衰减系数μ(E)，其能量依赖性可很好地近似表示为两个基函数的线性组合：
μ(E)＝a1f1(E)+a2f2(E).
其中，f1和f2是基函数，并且a1和a2是对应的基系数。更一般地，其中f，是基函数，而ai是对应的基系数。如果成像体积中存在一个或多个具有高原子序数的元素，高到足以在用于成像的能量范围内出现K吸收边缘，则必须为每个此类元素添加一个基函数。在医学成像领域中，此类K边缘元素通常可以是碘或钆，它们是用作造影剂的物质。
基材料分解已经在Alvarez和Macovski，“Energy-selective reconstructionsin X-ray computerised tomography”，Phys.Med.Biol.21,733中进行描述。在基材料分解中，基系数中的每个基系数的积分(针对i＝1，...，N为Ai＝∫faidl，其中N是基函数的数量)根据从源到检测器元件的每条投影射线l中的测量数据推断。在一个具体实施中，这是通过首先将每个能量仓中的预期记录的计数数量表示为Ai的函数实现的：
这里，λi是能量仓中的预期计数数量，i，E是能量，Si是响应函数，该响应函数取决于入射到被成像对象上的光谱形状、检测器的量子效率以及能量仓i对能量为E的X射线的灵敏度。尽管术语“能量仓”最常用于光子计数检测器，但该式也可描述其他能量分辨X射线***，诸如多层检测器或kVp开关源。
然后，在假设每个仓中的计数数量是泊松分布的随机变量的情况下，可使用最大似然法来估计Ai。这是通过最小化负对数似然函数来实现的，参见Roessl和Proksa，K-edgeimaging in x-ray computed tomography using multi-bin photon countingdetectors,Phys.Med.Biol.52(2007),4679-4696：
其中ms是能量仓l中测量的计数数量，而Mb是能量仓的数量。
当将每条投影线所得的估计基系数线积分布置成图像矩阵时，结果得到针对每个基i的材料特定投影图像，也称为基图像。该基图像可直接查看(例如在投影X射线成像中)，或者可作为用于形成物体内部的基系数ai的映射的重建算法的输入(例如在CT中)。无论如何，基础分解的结果可以被视为一个或多个基础图像表示，诸如基系数线积分或基系数本身。
物体内部的基系数ai的映射被称为基材料图像、基图像、材料图像、材料特定图像、材料图或基础图。
然而，这种和其他技术的所熟知的限制是估计的线积分的方差通常随着基分解中使用的基的数量而增大。除其他外，这造成了在改进的组织量化与增加的图像噪声之间的不幸的折衷。
另外，具有多于两个基函数的准确基分解在实践中可能难以执行，并且可能造成伪像、偏差或过量噪声。这种基分解还可能需要大量校准测量和数据预处理来产生准确结果。
由于许多图像重建任务中固有的复杂性，人工智能(AI)和机器学***，但实际上由于神经网络估计器中的偏差而包含误差。
因此，存在对用于计算机断层扫描(CT)的机器学习图像重建诸如深度学习图像重建中的改进的信任和/或可解释性的需要。
发明内容
通常，期望提供与用于X射线成像应用的图像重建相关的改进。
一个目的是提供一种用于确定用于计算机断层扫描(CT)中的机器学习图像重建诸如深度学习图像重建的置信度指示的方法。
一个特定目的是提供一种用于生成用于光谱CT中的机器学习图像重建诸如深度学习图像重建的不确定性图的方法。
还有一个目的是提供一种用于确定用于计算机断层扫描(CT)中的机器学习图像重建诸如深度学习图像重建的置信度指示的***。
另一个目的是提供一种用于生成用于光谱CT中的机器学习图像重建诸如深度学习图像重建的不确定性图的***。
又一个目的是提供一种对应图像重建***。
再一个目的是提供一种整体X射线成像***。
另外的目的是提供对应计算机程序和计算机程序产品。
这些目的和其他目的可以通过所提出技术的一个或多个实施方案来实现。
发明人已经认识到，为了能够信任由机器学***，特别是对于三基分解，意味着机器学习图像重建诸如深度学习重建方法可能必须被用作图像重建链的重要组分。
本发明的基本思想是向放射科医生提供置信度指示，诸如通过机器学习图像重建诸如深度学习图像重建生成的每个图像的不确定性或置信度图。
应当理解，一组训练数据(例如一组测量的能量分辨X射线数据集和专门选择用于训练机器学习***诸如神经网络的对应的一组基准真值或重建的基材料图)可用于指定或近似一个或多个重建的基材料图像的概率分布。在要评估的新测量之前的这种分布将被称为先验分布。如果此外还执行X射线图像数据的表示的一个或多个测量，则具有该测量的附加知识的可能的基材料图像的概率分布被称为后验概率分布。
根据第一方面，提供了一种用于确定用于计算机断层扫描GT中的机器学习图像重建的一个或多个置信度指示的方法。基本上，该方法包括以下步骤：
·获取能量分辨X射线数据；
·基于至少一个机器学习***来处理该能量分辨X射线数据以生成至少一个重建的基图像或其图像特征的后验概率分布的表示；以及
·基于后验概率分布的该表示来生成用于以下各项的一个或多个置信度指示：所述至少一个重建的基图像、或者源自所述至少一个重建的基图像的至少一个衍生图像、或者所述至少一个重建的基图像或所述至少一个衍生图像的图像特征。
以举例的方式，置信度指示可包括一个或多个不确定性或置信度图。此类不确定性或置信度图可与相关联的图像或图像特征一起以各种方式呈现，以向放射科医生提供附加有用信息。
根据第二方面，提供了一种用于确定用于计算机断层扫描即CT中的机器学习图像重建的一个或多个置信度指示的***。该***被配置为获取能量分辨X射线数据。该***被进一步配置为基于至少一个机器学习***来处理该能量分辨X射线数据以获得至少一个重建的基图像或其图像特征的后验概率分布的表示。该***也被配置为基于后验概率分布的该表示来生成用于以下各项的一个或多个置信度指示：所述至少一个重建的基图像、或者源自所述至少一个重建的基图像的至少一个衍生图像、或者所述至少一个重建的基图像或所述至少一个衍生图像的图像特征。
根据第三方面，提供了一种保证这种用于确定置信度指示的***的对应图像重建***。
根据第四方面，提供了一种包括这种图像重建***的整体X射线成像***。
根据第五方面，提供了对应计算机程序和计算机程序产品。
以这种方式，可获得用于计算机断层扫描(CT)的机器学习图像重建中的改进的信任和/或可解释性。
附图说明
通过结合附图参考以下描述，可以最好地理解所述实施方案连同其进一步的目的和优点，其中：
图1是示出整体X射线成像***的一个示例的示意图。
图2是示出X射线成像***的另一个示例的示意图。
图3是作为X射线成像***的一个说明性示例的CT***的示意性框图。
图4是示出X射线成像***的相关部分的另一个示例的示意图。
图5是根据现有技术的光子计数电路和/或设备的示意图。
图6A是示出用于确定用于计算机断层扫描(CT)中的机器学习图像重建诸如深度学习图像重建的置信度指示的方法的一个示例的示意性流程图。
图6B是示出根据一个示例性实施方案的用于确定用于机器学习图像重建的置信度指示(附加包括执行实际图像重建)的方法的一个示例的示意性流程图。
图7是示出用于生成用于光谱CT中的机器学习图像重建诸如深度学习图像重建的不确定性图的方法的一个示例的示意性流程图。
图8是示出根据一个实施方案的不确定性图的一个示例的示意图。
图9是示出可用于解决材料分解任务或问题的贝叶斯或随机神经网络的一个示例的示意图。
图10是示出采用从基于深度学习的材料分解获得的材料浓度图并且生成置信度图的神经网络估计器的一个示例如何的示意图。
图11是示出用于基于展开迭代材料分解方法的正弦图空间材料分解的神经网络的示意图。
图12是示出将能量仓正弦图作为输入并且生成重建的基材料图像的神经网络的一个示例的示意图。
图13是示出将能量仓正弦图作为输入并且基于随机失活来生成重建的基材料图像的随机神经网络的一个示例的示意图。
图14是示出将能量仓正弦图作为输入并且基于加性噪声***来生成重建的基材料图像的随机神经网络的一个示例的示意图。
图15是示出将能量仓正弦图作为输入并且基于变分自编码器(包括编码器、随机特征生成和解码器)来生成重建的基材料图像的随机神经网络的一个示例的示意图。
图16是示出根据一个实施方案的计算机具体实施的一个示例的示意图。
具体实施方式
为了更好地理解，继续介绍性地描述整体X射线成像***的非限制性示例可能是有用的，
图2是展示X射线成像***100的一个示例的示意图，该X射线成像***包括：X射线源10，其发射X射线；X射线检测器***20，其具有X射线检测器，该X射线检测器在X射线已穿过物体之后检测这些X射线；模拟处理电路***25，其处理来自X射线检测器的原始电信号并将其数字化；数字处理电路***40，其可以对测量数据进行进一步的处理操作，诸如应用校正、临时存储，或过滤；以及计算机50，其存储经处理的数据并且可以执行进一步的后处理和/或图像重建。根据本发明，模拟处理电路***25的全部或部分可以在X射线检测器***20中实现。
整体X射线检测器可以被视为X射线检测器***20，或者与相关联的模拟处理电路***25组合的X射线检测器***20。
包括数字处理电路***40和/或计算机50的数字部分可被视为图像处理***30，该图像处理***基于来自X射线检测器的图像数据来执行图像重建。图像处理***30可被定义为计算机50，或者另选地图像处理***35(数字图像处理)可被定义为数字处理电路***40和计算机50的组合***，或者，如果数字处理电路***40进一步还被专门用于图像处理和/或重建，则可能被定义为该数字处理电路***本身。
通常使用的X射线成像***的一个示例是X射线计算机断层扫描(CT)***，其可以包括产生X射线的扇形或锥形束的X射线管和测量透过患者或物体的X射线的分数的相对的X射线检测器阵列。X射线管和检测器阵列安装在围绕成像物体旋转的机架中。
图3是作为X射线成像***的一个说明性示例的CT***的示意性框图。CT***包括计算机50，该计算机经由操作员控制台60从操作员接收命令和扫描参数，该操作员控制台可以具有显示器和某种形式的操作员界面，例如键盘和鼠标。操作员提供的命令和参数然后被计算机50用来向X射线控制器41、机架控制器42和检查台控制器43提供控制信号。具体而言，X射线控制器41向X射线源10提供功率和定时信号，以控制X射线发射到位于检查台12上的物体或患者上。机架控制器42控制包括X射线源10和X射线检测器20的机架11的旋转速度和位置。举例来说，X射线检测器可以是光子计数X射线检测器。检查台控制器43控制并确定患者检查台12的位置和患者的扫描覆盖率。还存在检测器控制器44，其被配置用于控制和/或接收来自检测器20的数据。
在一个实施方案中，计算机50还对从X射线检测器输出的图像数据执行后处理和图像重建。因此，计算机对应于如图1和图2所示的图像处理***30。
相关联的显示器允许操作员观察来自计算机的重建图像和其他数据。
布置在机架11中的X射线源10发射X射线。X射线检测器20(例如，为光子计数检测器的形式)在X射线已穿过患者之后检测这些X射线。X射线检测器20可以例如由多个像素(也称为传感器或检测器元件)以及布置在检测器模块中的相关联的处理电路***(诸如ASIC)形成。该模拟处理部分的一部分可以在像素中实现，而任何剩余的处理部分例如在ASIC中实现。在一个实施方案中，该处理电路***(ASIC)将来自这些像素的模拟信号数字化。该处理电路***(ASIC)还可以包括数字处理部分，该部分可以对测量数据进行进一步的处理操作，诸如应用校正、临时存储和/或过滤。在扫描以获取X射线投影数据期间，机架和安装在其上的部件围绕等中心旋转。
现代X射线检测器通常需要将入射X射线转换成电子，这往往通过光电效应或康普顿相互作用而发生，并且所得到的电子通常产生二次可见光，直到其能量损失并且这种光进而被光敏材料检测到为止。还存在基于半导体的检测器，并且在这种情况下，由X射线产生的电子根据通过施加的电场收集的电子-空穴对产生电荷。
存在以能量积分模式工作的检测器，就该模式的意义而言，这类检测器提供来自大量X射线的积分信号。输出信号与由所检测到的X射线沉积的总能量成比例。
具有光子计数和能量分辨能力的X射线检测器越来越普遍地用于医疗X射线应用。光子计数检测器具有优势，因为原则上可测量每个X射线的能量，这产生有关物体组成的附加信息。该信息可以用于提高图像质量并且/或者降低辐射剂量。
一般来讲，光子计数X射线检测器通过将由检测器材料中的光子相互作用生成的电脉冲的高度与一组比较器电压进行比较来确定光子的能量。这些比较器电压也被称为能量阈值。一般来讲，比较器中的模拟电压由数模转换器DAG设置。DAC将控制器发送的数字设置转换成模拟电压，光子脉冲的高度可以相对于该模拟电压进行比较。
光子计数检测器对在测量时间期间在检测器中已经相互作用的光子的数量进行计数。新光子一般通过电脉冲的高度超过至少一个比较器的比较器电压来识别。当识别出光子时，通过递增与通道相关联的数字计数器来存储该事件。
当使用若干个不同的阈值时，获得所谓的能量分辨光子计数检测器，其中，检测到的光子可以被分类到对应于各种阈值的能量仓中。有时，这种类型的光子计数检测器也被称为多仓检测器。一般来讲，能量信息允许创建新种类的图像，其中新信息是可用的，并且可以去除常规技术固有的图像伪影。换句话讲，对于能量分辨光子计数检测器，将脉冲高度与比较器中的多个可编程阈值(T1-TN)进行比较，并且根据脉冲高度进行分类，其中脉冲高度又与能量成比例。换句话说，包括多于一个比较器的光子计数检测器在这里被称为多仓光子计数检测器，在多仓光子计数检测器的情况下，光子计数被存储在一组计数器中，通常每个能量阈值一个计数器。例如，计数器可以被分配为对应于光子脉冲已经超过的最高能量阈值。在另一个示例中，计数器跟踪光子脉冲越过每个能量阈值的次数。
作为一个示例，“侧面朝向”是光子计数检测器的特殊的非限制性设计，其中X射线传感器(诸如X射线检测器元件或像素)被定向为侧面朝向进入的X射线。
例如，此类光子计数检测器可以在至少两个方向上具有像素，其中侧面朝向光子计数检测器的这两个方向之一在X射线的方向上具有分量。这种侧面朝向光子计数检测器有时被称为深度分段光子计数检测器，其在进入的X射线的方向上具有两个或更多个像素深度分段。
替代性地，像素可以在基本上垂直于入射的X射线的方向上被布置为阵列(非深度分段的)，并且每个像素可以被定向为侧面朝向入射的X射线。换句话说，该光子计数检测器可以是非深度分段的，同时仍然被布置成侧面朝向进入的X射线。
为了提高吸收效率，该侧面朝向光子计数检测器可以相应地被布置为侧面朝向，在这种情况下，吸收深度可以被选择为任何长度，并且该侧面朝向光子计数检测器仍然可以被完全耗尽而不会达到非常高的电压。
通过直接半导体检测器检测X射线光子的常规机制基本上如下工作。检测器材料中的X射线相互作用的能量被转换成半导体检测器内部的电子-空穴对，其中电子-空穴对的数量通常与光子能量成比例。电子和空穴朝向检测器电极和背面漂移(或者反过来)。在该漂移期间，电子和空穴在电极中感应出电流，该电流可以被测量。
如图4所示出，信号从X射线检测器的检测器元件21路由27到模拟处理电路***(例如ASIC)25的输入端。应当理解，术语“专用集成电路(ASIC)”应广义地解释为针对特定应用而使用和配置的任何通用电路。ASIC处理从每个X射线生成的电荷并且将其转换成数字数据，该数字数据可以用于获得测量数据，诸如光子计数和/或估计的能量。ASIC被配置用于连接到数字处理电路***，使得数字数据可被发送到另外的数字处理电路***40和/或一个或多个存储器45，并且最终该数据将是供图像处理电路***30生成重建的图像的输入。
由于来自一个X射线事件的电子和空穴的数量与X射线光子的能量成比例，因此一个感应电流脉冲中的总电荷与该能量成比例。在ASIC中的过滤步骤之后，脉冲振幅与电流脉冲中的总电荷成比例，因此与X射线能量成比例。然后可通过在一个或多个比较器(COMP)中将脉冲振幅的值与一个或若干个阈值(THR)进行比较来测量脉冲振幅，并且引入计数器，通过该计数器可记录当脉冲大于阈值时的情况的数量，以这种方式，可能计数和/或记录具有超过与已经在特定时间帧内检测到的相应阈值(THR)对应的能量的能量的X射线光子的数量。
ASIC通常每个时钟周期对模拟光子脉冲采样一次，并且记录比较器的输出。取决于模拟信号是高于还是低于比较器电压，比较器(阈值)输出一或零。每个样本处的可用信息例如是每个比较器的一或零，其表示比较器是已被触发(光子脉冲高于阈值)还是未被触发。
在光子计数检测器中，通常存在光子计数逻辑部件，其确定是否已经记录了新光子，并且将光子记录在计数器中。就多仓光子计数检测器而言，通常存在若干个计数器，例如每个比较器一个计数器，并且光子计数根据光子能量的估计值被记录在这些计数器中。该逻辑部件能够以若干种不同的方式实施。光子计数逻辑部件的最常见类别中的两种类别是所谓的不可瘫痪计数模式和可瘫痪计数模式。其他光子计数逻辑部件包括例如局部最大值检测，其对电压脉冲中检测到的局部最大值进行计数，并且还可能记录其脉冲高度。
光子计数检测器有许多有益效果，包括但不限于：高空间分辨率；低电子噪声；能量分辨能力和材料分离能力(光谱成像能力)。然而，能量积分检测器具有高计数率容差的优点。计数率容差来自这样的事实/认识：由于测量了光子的总能量，因此添加一个附加光子将总是增大输出信号(在合理的限度内)，而不管当前由检测器记录的光子的量是多少。这个关键优点是能量积分检测器成为当今医用CT的标准的主要原因之一。
为了更好地理解，从简要的***概述和/或对技术问题中的一些技术问题的分析开始可能是有用的。为此，参考图5，其提供根据现有技术的光子计数电路和/或设备的示意图。
当光子在半导体材料中相互作用时，产生电子-空穴对云。通过在检测器材料上施加电场，电荷载流子被附接到检测器材料的电极收集。信号从检测器元件路由到模拟处理电路***(例如ASIC)的输入端。应当理解，术语“专用集成电路(ASIC)”应广义地解释为针对特定应用而使用和配置的任何通用电路。ASIC处理从每个X射线生成的电荷并且将其转换成数字数据，该数字数据可以用于获得测量数据，诸如光子计数和/或估计的能量。在一个示例中，ASIC可以处理电荷，使得产生最大高度与检测器材料中的光子所沉积的能量的量成比例的电压脉冲。
ASIC可包括一组比较器302，其中每个比较器302将电压脉冲的量值与参考电压进行比较。比较器输出通常为零或一(0/1)，这取决于所比较的两个电压中的哪一个较大。这里，我们假设：如果电压脉冲高于参考电压，则比较器输出为一(1)；如果参考电压高于电压脉冲，则比较器输出为零(0)。数模转换器(DAC)301能够用于将可以由用户或控制程序提供的数字设置转换成可以由比较器302使用的参考电压。如果电压脉冲的高度超过特定比较器的参考电压，则我们将该比较器称为被触发。每个比较器通常与数字计数器303相关联，该计数器根据光子计数逻辑基于比较器输出而递增。
通常，基材料分解利用这样一个事实：所有的由具有低原子序数的元素构成的物质(诸如人体组织)都具有线性衰减系数μ(E)，其能量依赖性可很好地近似表示为两个(或更多个)基函数的线性组合：
μ(E)＝a1f1(E)＝a2f2(E).
其中，f1和f2是基函数，并且a1和a2是对应的基系数。更一般地，fi是基函数，并且ai是对应的基系数，如果成像体积中存在一个或多个具有高原子序数的元素，高到足以在用于成像的能量范围内出现k吸收边缘，则必须为每个此类元素添加一个基函数，对于医学成像领域，此类k边缘元素通常可以是碘或钆，它们是用作造影剂的物质。
如先前所提及，每个基系数at的线积分Ai是根据从源到检测器元件的每条投影射线l中的测量数据推断的。线积分Ai可表示为：
针对i＝1，...，N为Ai＝∫faidl
其中N是基函数的数量，在一个具体实施中，通过首先将每个能量仓中的预期记录计数数量表达为A的函数来实现基材料分解。通常，这种函数可采取以下形式：
这里，λi是能量仓i中的预期计数数量，E是能量，Si是响应函数，该响应函数取决于入射到被成像对象上的光谱形状、检测器的量子效率以及能量仓i对能量为E的X射线的灵敏度。尽管术语“能量仓”最常用于光子计数检测器，但该式也可描述其他能量分辨X射线***，诸如多层检测器或kVp开关源。
然后，在假设每个仓中的计数数量是泊松分布的随机变量的情况下，可使用最大似然法来估计Ai。这是通过最小化负对数似然函数来实现的，参见Roessl和Proksa，K-edgeimaging in x-ray computed tomography using multi-bin photon countingdetectors,Phys.Med.Biol.52(2007),4679-4696：
其中mi是能量仓i中测量的计数数量，而Mi是能量仓的数量。
根据线积分A，可执行断层扫描重建以获得基系数ai。该过程步骤可被认为是单独的断层扫描重建，或者可替代性地被看作是整体基分解的一部分。
如先前所提及，当将每条投影线所得的估计基系数线积分布置成图像矩阵时，结果是每个基i的材料特定投影图像，也称为基图像。该基图像可供直接查看(例如，在投影X射线成像中)或作为重建算法的输入以在物体内部形成基系数ai的图(例如，在CT中)。无论如何，基础分解的结果可以被视为一个或多个基础图像表示，诸如基系数线积分或基系数本身。
在X射线成像领域内，图像数据的表示可包括例如正弦图、投影图像或重建CT图像。如果图像数据的这种表示包括多个通道，其中不同通道中的数据与不同能量间隔中的测量X射线数据相关，即所谓的多通道或多仓能量信息，则该表示可是能量分辨的。
通过采用能量分辨X射线图像数据的表示作为输入的材料分解的过程，可生成基图像表示集。这种集是一定数量的基图像表示的集合，其中每个基图像表示与特定基函数对总体X射线衰减的贡献相关。这种基图像表示集可以是一组基正弦图、一组重建基CT图像或一组投影图像。应当理解，“图像”在该上下文中可意指例如二维图像、三维图像或时间分辨图像序列。
例如，能量分辨X射线图像数据的表示可包括能量仓正弦图的集合，其中每个能量正弦图包含在一个能量仓中测量的计数的数量。通过将能量仓正弦图的这个集合作为材料分解算法的输入，可生成一组基正弦图。这种基正弦图可被示例性地作为重建算法的输入以生成重建基图像。
在两基分解中，基于成像对象中的任何材料的衰减可被表示为两个基函数上的线性组合的近似，生成两个基图像表示。在三基分解中，基于成像对象中的任何材料的衰减可被表示为在三个基图像上的线性组合的近似，生成三个基图像表示。类似地，可定义四基分解、五基分解和类似的更高阶分解。还可通过将图像对象中的所有材料近似为具有类似的能量依赖性的X射线衰减系数直到密度比例因子来执行单基分解。
两基分解可例如产生一组基正弦图，该组基正弦图包括分别对应于由水和碘的线性衰减系数给出的基函数的水正弦图和碘正弦图。另选地，基函数可表示水和钙的衰减；或者钙和碘的衰减；或者聚氯乙烯和聚乙烯的衰减。三基分解可例如产生包括水正弦图、钙正弦图和碘正弦图的一组基正弦图。另选地，基函数可表示水、碘和钆的衰减；或者聚氯乙烯、聚乙烯和碘的衰减。
如所提及的，人工智能(AI)和机器学***，但实际上由于神经网络估计器中的偏差而包含误差。
通常，深度学习涉及基于人工神经网络或具有表示学习的类似架构的机器学习方法。学习可以是监督的、半监督的或无监督的。深度学习***(诸如深神经网络、深度置信网络、循环神经网络和卷积神经网络)已经应用于各种技术领域，包括计算机视觉、语音识别、自然语言处理、社交网络过滤、机器翻译和棋盘游戏程序，其中它们产生了与人类专家表现相当并在一些情况下超过人类专家表现的结果。
深度学习中的形容词“深度”源于在网络中使用多个层。早期工作表明，线性感知器不能是通用分类器，但是另一方面，具有带有无界宽度的一个隐藏层的非多项式激活函数的网络可以是通用分类器。深度学习是涉及理论上无限数量的有界大小的层的现代变型，其准许实际应用和优化实施，同时在温和条件下保持理论通用性。在深度学习中，为了效率、可训练性和可理解性，还准许层是异构的并广泛地偏离生物上了解的连接模型。
发明人已经认识到，存在对尤其用于计算机断层扫描(CT)的机器学习图像重建诸如深度学习图像重建中的改进的信任和/或可解释性的需要。
所提出的技术通常适用于提供基于机器学习诸如神经网络和/或深度学习而重建的图像和/或图像特征的置信度的指示。
如所提及的，发明人已经认识到，为了能够信任由机器学***，特别是对于三基分解，意味着机器学习诸如深度学习图像重建必须或应当被用作图像重建链的重要组分。
在某种意义上，本发明的基本思想是向放射科医生提供置信度指示，诸如通过机器学习图像重建诸如深度学习图像重建生成的每个图像或图像特征的不确定性图。
根据第一主要方面，提供了一种用于确定用于计算机断层扫描(CT)中的机器学习图像重建诸如深度学习图像重建的置信度指示的方法的非限制性示例。
图6A是示出用于确定用于计算机断层扫描(CT)中的机器学习图像重建诸如深度学习图像重建的置信度指示的方法的一个示例的示意性流程图。
基本上，该方法包括以下步骤：
·获取(S1)能量分辨X射线数据；
·基于至少一个机器学习***诸如神经网络来处理(S2)所述能量分辨X射线数据以生成至少一个重建的基图像或其图像特征的后验概率分布的表示；以及
·基于后验概率分布的所述表示来生成(S3)用于以下各项的一个或多个置信度指示：所述至少一个重建的图像、或者源自所述至少一个重建的基图像的至少一个衍生图像、或者所述至少一个重建的基图像或所述至少一个衍生图像的图像特征。
换句话说，这可被表达为基于至少一个神经网络或类似的机器学习***来处理能量分辨X射线数据以获得至少一个基图像或其图像特征的至少一个后验概率分布的表示。然后可处理该表示以形成针对一个或多个图像或图像特征的置信度指示。
应当理解，一组训练数据(例如一组测量的能量分辨X射线数据集和专门选择用于训练机器学习***诸如神经网络的对应的一组基准真值或重建的基材料图)可用于指定或近似一个或多个重建的基材料图像的概率分布。在要评估的新测量之前的这种分布将被称为先验分布。如果此外还执行X射线图像数据的表示的一个或多个测量，则具有该测量的附加知识的可能的基材料图像的概率分布被称为后验概率分布。
换句话说，关于CT图像可能看起来如何的先验信息通常由训练数据集指定，该训练数据集由训练输入和输出图像数据对组成。此类输入和输出图像数据可采取正弦图或具有不同内容的图像(诸如仓图像或正弦图或基图像或正弦图)的形式。通过训练映射以将每对中的输入数据映射到尽可能类似于输入-输出训练对中的对应输出图像数据的输出图像数据，获得能够从测量的图像数据去噪、分解成基图像或重建图像的映射。每对中的训练输出图像数据也被称为标签。在一个优选实施方案中，这种映射可采用卷积神经网络(CNN)的形式，但是也存在可实现/构成这种映射的其他实施方案，诸如支持向量机或决策树。为了找到给出网络输出与训练输出图像数据之间的最佳一致的映射，通常使用数据差异函数(也称为损失函数)来计算网络输出与训练输出图像数据之间的数据差异。在本发明的一个优选实施方案中，所述映射可以是随机的，这意味着当多次应用于相同的输入数据时其给出不同的输出。在该实施方案中，损失函数可例如采取由网络生成的输出图像数据的分布与训练输出图像数据的分布之间的Kullback-Leibler距离或Wasserstein距离的形式。
例如，通过使用优化方法(例如ADAM)使该数据差异最小化来进行卷积神经网络的训练。一旦训练了映射，就可在运行时通过映射测量的图像数据来应用该映射以产生输出图像数据。例如，随机映射可多次应用于输入图像数据以生成输出图像数据的整体，其也可被称为来自给定输入图像数据的图像数据的后验分布的样本。然后可在该整体上计算输出图像数据的该均值和标准差，于是均值输出图像可用作去噪、分解或重建的图像的估计，并且标准差可用作所述去噪、分解或重建的图像的不确定性的估计。
在本发明的另一个实施方案中，使用两个单独的神经网络，其中一个网络被训练以生成输出图像数据的估计，例如重建的基图像，并且第二网络被训练以生成输出图像数据的不确定性的估计，例如重建的基图像的不确定性的图。例如，训练此类网络的一种方式是首先训练从如上所述的输出图像数据的后验分布生成样本的单个随机神经网络，并且然后训练两个神经网络以预测所述后验分布的均值和标准差。
在本发明的又一个实施方案中，可直接训练预测输出图像数据的均值和标准差的网络。这是通过假设由均值和标准差参数化的输出概率分布并且使数据差异度量(诸如具有由网络预测的参数的输出概率分布与基于训练数据集的输出图像数据的后验分布的近似之间的Lullback-Leibler差或Wasserstein差)最小化来实现的。
在本发明的又一个实施方案中，根据上述方法中的一种方法实现的神经网络估计器可被训练以预测基于非神经网络的CT数据处理方法(例如重建、分解或去噪方法)的不确定性。为此，所述CT数据处理方法的不确定性可通过将所述方法重复应用于噪声数据(例如模拟或测量的数据)来预测，并且神经网络可被训练以预测此类噪声数据。
在本发明的一个示例性实施方案中，所述能量分辨X射线数据是利用光子计数X射线检测器获取的，或者是从存储所述能量分辨X射线数据的中间存储器获得的。
使用能量分辨X射线数据的事实意味着采用多通道能量信息。此外，考虑一个或多个基图像(也称为基材料图像或材料特定图像或材料选择性图像)的事实意味着在总体分析中涉及多种材料(即至少两种基材料)。这导致更高维度的上下文。
置信度指示可以是通过机器学习图像重建诸如深度学习图像重建最终重建的图像或图像特征的置信度的任何合适的指示，例如重建的图像和/或图像特征中置信度和/或信任程度的相关量化。置信度指示也可以是置信度的复杂表示，诸如不确定性图，如稍后将更详细地举例说明的。
置信度指示的示例是示出基图像估计中的一个基图像估计的不确定性的图，例如估计的碘浓度的标准差。该wifi提供了图像突出区，其中在重建的碘基图像中存在碘浓度的高不确定性。
置信度指示的另一个示例是置信度图，其示出了特定材料存在于不同位置中的置信度程度。以举例的方式，这种图可突出图像中的确存在碘的区域，同时如果可高确定性地说它们不包含碘，则留下暗的区域。这种置信度图可例如通过将估计的碘浓度除以碘浓度的估计的标准差来计算。在另一个示例中，这种图可通过计算该图在指定位置处包含碘的后验概率来计算。置信度指示的又一个示例是一种或多种基材料在图像中的每个点处的浓度的置信区间。
以举例的方式，机器学习图像重建是深度学习图像重建，并且所述至少一个机器学习***包括至少一个神经网络。
在特定示例中，后验概率分布的表示包括以下中的至少一者：均值方差、协方差、标准差、偏度和峰度。
任选地，一个或多个置信度指示可包括针对所述至少一个重建的基图像中的至少一个点的统计不确定性的误差估计或度量，和/或针对能够从所述至少一个重建的基图像导出的至少一个图像测量结果的统计不确定性的误差估计或度量。
例如，统计不确定性的误差估计或度量可包括误差上限、误差下限、标准差、方差或平均绝对误差中的至少一者。
作为一个示例，所述至少一个图像测量结果可包括以下中的至少一者：特征的尺寸度量、面积、体积、不均匀性程度、形状或不规则性的度量、组成的度量以及物质浓度的度量。
如稍后将举例说明的，一个或多个置信度指示可包括针对以下各项的一个或多个不确定性图：所述至少一个重建的基图像、或者源自所述至少一个重建的基图像的至少一个衍生图像、或者所述至少一个重建的基图像或所述至少一个衍生图像的图像特征。
在特定示例中，生成一个或多个置信度指示的步骤S3包括生成针对计算机断层扫描即CT的重建的材料选择性X射线图像的置信度图。
例如，可生成置信度图以突出重建的材料选择性X射线图像的机器学***(即，以高置信度)确定的部分。
例如，生成一个或多个置信度指示的步骤S3可包括通过神经网络采用从基于深度学习的材料分解获得的材料浓度图作为输入来生成一个或多个置信度图。
在图6B中示意性示出的特定示例中，该方法还包括执行S2a基于材料分解的图像重建和/或机器学习图像重建以基于获取的能量分辨X射线数据来生成所述至少一个重建的基图像或其图像特征。
作为一个示例，执行基于材料分解的图像重建和/或机器学习图像重建的步骤S2a可包括通过神经网络采用能量仓正弦图作为输入来生成所述至少一个重建的基图像或图像特征。
在一个任选实施方案中，生成S3一个或多个置信度指示的步骤可包括确定各个基材料图像的不确定性或置信度图以及不同基材料图像之间的协方差。这允许使用用于不确定性传播的公式或算法来传播不确定性或置信度图以产生用于导出的图像的不确定性图。
在特定示例中，所述至少一个基材料图像可与至少一个不确定性图一起生成，其中不确定性图是所述至少一个基材料图像的不确定性或误差估计的表示，并且其中所述至少一个基材料图像和所述至少一个不确定性图能够作为单独的图像/图或组合地呈现给用户。
例如，所述至少一个不确定性图可能够作为相对于所述至少一个基材料图像的叠加来呈现，或者所述至少一个不确定性图可能够借助于用于所述至少一个基材料图像的失真滤波器来呈现。
以举例的方式，基于至少一个机器学习***来处理能量分辨X射线数据以生成后验概率分布的表示的步骤S2(图6A)或S2b(图6B)包括在给定所获取的能量分辨X射线数据的情况下通过神经网络生成后验概率分布的样本，并且生成一个或多个置信度指示的步骤S3包括生成作为多个样本上的标准差的不确定性图。
在一个任选实施方案中，基于至少一个机器学习***来处理能量分辨X射线数据以生成后验概率分布的表示的步骤S2或S2b包括应用被实现为变分自编码器的神经网络来将输入数据向量编码成潜在随机变量的概率分布的参数，并且从此概率分布提取潜在随机变量的后验样本的集合以用于(随后)由对应解码器进行处理以获得后验观察结果。
在特定示例中，生成一个或多个置信度指示的步骤S3包括生成与所述至少一个重建的基图像相关联的至少一个基系数的方差或标准差的至少一个图和/或至少一对基函数的协方差或相关系数的至少一个图，
在本发明的一个示例性实施方案中，后验概率分布的所述表示由多个图像特征的均值和方差来指定。
在本发明的一个示例性实施方案中，后验概率分布的所述表示可由来自所述分布的多个蒙特卡洛样本给出。
在本发明的一个示例性实施方案中，所述神经网络是具有至少五层的卷积神经网络(CNN)。
在本发明的一个示例性实施方案中，基于所述神经网络的所述处理可包括利用随机神经网络来处理。
在本发明的一个示例性实施方案中，神经网络被配置为基于随机失活、噪声***、变分自编码器或噪声随机梯度下降来操作。
在本发明的一个示例性实施方案中，基于所述神经网络的所述处理可包括利用提供后验概率分布的度量的确定性神经网络来处理。
在本发明的一个示例性实施方案中，基于所述神经网络的所述处理可包括利用提供重建的图像或图像特征的不确定性的度量的确定性神经网络来处理。
在本发明的一个示例性实施方案中，基于所述神经网络的所述处理是基于按照从数据获取的至少一个物理模型计算的一个或多个输入的神经网络。
在本发明的一个示例性实施方案中，从数据获取的物理模型计算的所述至少一个输入是数据差异函数的梯度、散射光子分布的估计、或检测器像素之间的串扰的表示、或堆积的表示。
在本发明的一个示例性实施方案中，所述处理是基于包括展开优化神经网络架构的神经网络。
在本发明的一个示例性实施方案中，所述处理是基于神经网络，该神经网络采用基于Cramer-Rao下限的图像空间或正弦图空间中的至少一个标准差、方差或协方差图作为输入。
在本发明的一个示例性实施方案中，所述处理可基于执行以下步骤的神经网络：
·基于能量分辨X射线图像数据的至少一个表示来执行至少两个基材料分解，从而产生至少两个原始基图像表示集，
·从所述原始基图像表示集中的至少两个原始基图像表示集获得或选择至少两个基图像表示，以及
·利用基于所述神经网络的数据处理来处理所述获得或选择的基图像表示，从而产生基图像表示集的后验概率分布的表示。
在本发明的一个示例性实施方案中，所述处理是基于通过使被计算为标签(即，与训练集中的网络输入对应的规定输出)与网络输出之间的图像空间或正弦图空间中的差异度量的损失函数最小化来训练的神经网络，其中所述损失函数结合了至少两种不同基材料组分的差异。
在本发明的一个示例性实施方案中，所述损失函数是基于加权均方误差、Kullback-Leibler距离或Wasserstein距离。
在本发明的一个示例性实施方案中，所述损失函数结合了与不同权重因子结合的至少两种不同基材料组分。
在本发明的一个示例性实施方案中，所述损失函数基于相对于原始基的变换基中的一组基系数来计算。
在本发明的一个示例性实施方案中，在以故意引入的模型误差生成的图像数据上训练算法。这可使得神经网络估计器对于模型误差和模型不确定性更鲁棒。该技术也可允许随机神经网络并入由于未知模型误差引起的图像不确定性。
根据一个补充方面，提供了一个用于生成用于光谱CT中的机器学习图像重建诸如深度学习图像重建的不确定性图的方法的非限制性示例。
图7是示出用于生成用于光谱CT中的机器学习图像重建诸如深度学习图像重建的不确定性图的方法的一个示例的示意性流程图。
该方法包括以下步骤：
·获得(S11)能量分辨X射线数据；
·基于至少一个神经网络来处理(S12)所述能量分辨X射线数据，使得获得至少一个重建的基图像或其图像特征的后验概率分布的表示；以及
·基于后验概率分布的所述表示来生成(S13)针对至少一个重建的图像、或衍生图像、或该重建的图像和该衍生图像的图像特征的一个或多个不确定性图。
在本发明的一个示例性实施方案中，生成一个或多个不确定性图的步骤包括生成至少一个基系数的方差或标准差的图和/或至少一对基函数的协方差或相关系数的至少一个图的步骤。
例如，能量分辨X射线数据可从光子计数X射线检测器获得或由光子计数X射线检测器获取，或者从存储所述能量分辨X射线数据的中间存储器获得。
在本发明的一个示例性实施方案中，所述神经网络是具有至少五层的卷积神经网络(CNN)。
在本发明的一个示例性实施方案中，后验概率分布的所述表示由多个图像特征的均值和方差来指定。
在本发明的一个示例性实施方案中，后验概率分布的所述表示可由来自所述分布的多个蒙特卡洛样本给出。
在本发明的一个示例性实施方案中，基于所述神经网络的所述处理可包括利用随机神经网络来处理。
在本发明的一个示例性实施方案中，所述神经网络被配置为基于随机失活、噪声***、变分自编码器或噪声随机梯度下降来操作。
在本发明的一个示例性实施方案中，基于所述神经网络的所述处理可包括利用提供概率分布的度量的确定性神经网络来处理。
在本发明的一个示例性实施方案中，基于所述神经网络的所述处理可包括利用提供重建的图像或图像特征的不确定性的度量的确定性神经网络来处理。
在本发明的一个示例性实施方案中，基于所述神经网络的所述处理是基于按照从数据获取的至少一个物理模型计算的一个或多个输入的神经网络。
在本发明的一个示例性实施方案中，从数据获取的物理模型计算的所述至少一个输入是数据差异函数的梯度、散射光子分布的估计、或检测器像素之间的串扰的表示、或堆积的表示。
在本发明的一个示例性实施方案中，所述处理是基于包括展开优化神经网络架构的神经网络。
在本发明的一个示例性实施方案中，所述处理是基于神经网络，该神经网络采用基于Cramer-Rao下限的图像空间或正弦图空间中的至少一个标准差、方差或协方差图作为输入。
在本发明的一个示例性实施方案中，所述处理是基于通过使被计算为标签与网络输出之间的图像空间或正弦图空间中的差异度量的损失函数最小化来训练的神经网络，其中所述损失函数结合了至少两种不同基材料组分的差异。
在本发明的一个示例性实施方案中，所述损失函数是基于加权均方误差，其中至少两种不同基材料组分与不同权重因子结合。
为了提供用于促进理解所提出的技术的示例性框架，现在将给出在CT图像重建的特定背景下的基于深度学习的图像重建的特定示例。
然而应当理解，用于在CT应用中提供深度学习图像重建的置信度的指示的所提出的技术通常适用于针对CT的基于深度学习的图像重建，并且不限于以下基于深度学习的图像重建的特定示例。
例如，所公开的发明可提供用于重建的材料选择性X射线CT图像的置信度图。这种置信度图可突出图像的重建算法已经能够以高置信度确定的部分。
具体地，这种图像可被提供用于造影剂诸如碘的分布的图像，应当理解，在三基分解中量化碘对噪声高度敏感，并且因此重建算法诸如深度学习算法可能需要大量地利用先验信息来获得该图像。因此，用于碘浓度的置信度图对于观察者诸如放射科医生能够解释图像是有用的，例如，如图8中示意性地示出的，这将在后面更详细地描述。
还应当理解，分解的基图像和正弦图中的噪声通常在不同基材料图像之间高度相关。还应当理解，如果图像重建算法是有瑕疵的，则基图像中的一个基图像中的特征(诸如包含碘的区域)可在另一个基图像(诸如骨基图像)中显示为伪影。因此重要的是不仅预测各个材料图的不确定性，而且预测不同材料图之间的协方差。这可允许使用用于不确定性传播的公式或算法来传播置信度图，以产生用于导出的图像(例如，虚拟非造影图像、虚拟非钙图像、虚拟单能图像或合成Hounsfield单位图像)的不确定性图。
在所公开的发明的一个非限制性实施方案中，提供了一种用于与至少一个不确定性图一起生成至少一个基材料图像的方法，其中所述不确定性图是所述基材料图像的不确定性或误差估计的表示。此类至少一个基材料图像与至少一个不确定性图一起可作为单独的图像或以组合方式(例如作为颜色叠加)呈现给用户。另一种可能性是以用于基材料图的失真滤波器的形式(例如借助于模糊滤波器)呈现至少一个不确定性图。
图9示出与方差图或不确定性图一起生成均值材料图像的随机神经网络的非限制性示例。
图10示出了将材料浓度图映射到不确定性图的深度神经网络。此类图可与基材料图一起呈现或单独地呈现。
也应当理解，生成高度准确的CT图像需要具有良好能量分辨率的检测器，诸如光子计数检测器。也应当理解，准确的物理模型对于从能量分辨测量数据生成高度准确的CT图像是有益的。这种物理模型可例如通过展开迭代优化循环而被并入到深度学习图像处理或重建算法中。
图11示出了用于正弦图空间基材料分解的这种展开迭代循环的示例性实施方案。输入正弦图由此通过一系列神经网络块被处理，其中每个块可包括一个或多个神经网络层。如前所述，能量正弦图可包括例如在特定能量仓中测量的计数的数量。每个块将来自前一块的输出以及目标函数(例如似然函数或对数似然函数)的梯度的估计作为其输入。在本发明的一个实施方案中，该似然函数可以是用于在给定基材料正弦图的估计的情况下检测测量的计数的特定组合的似然函数。在一个优选实施方案中，神经网络的层可以是卷积神经网络的层，即卷积层。在一个优选实施方案中，使用图形处理单元(GPU)来实现神经网络。应当理解，这是非限制性示例，并且网络可通过神经网络内部的投影和反投影操作将材料或能量仓计数图像变换成材料图像，或者将仓计数或材料正弦图变换成材料图像。
除了上述展开梯度下降算法之外，还可展开其他迭代算法，诸如牛顿法、共轭梯度法、Nesterov加速法或原始对偶法，从而导致不同网络架构或图像估计的不同函数作为到每个网络层的输入。
在本发明的一个示例性实施方案中，神经网络架构可基于考虑物理模型或校正项的材料分解方法，该物理模型或校正项基于焦点形状、X射线光谱形状、电荷共享、患者中的散射、检测器内部的散射或堆积的模型。这些可导致在神经网络内部的一个或多个步骤处将不同函数应用于估计的输出。
光子计数检测器和仔细的物理建模的组合可生成高度准确的光子计数图像。应当理解，这种高准确性的好处可通过提供可靠的误差估计来增强。所提出的技术是基于这样的见解：光谱CT与基于神经网络的误差估计一起可用于生成高度准确的定量图像以及误差估计。还应当理解，通过结合图像获取的至少一个物理模型，可进一步挨近图像估计和不确定性估计。
以举例的方式，公开了一种生成不确定性图的方式。随机神经网络(诸如贝叶斯神经网络)可用于从给定观察/测量的数据和训练集的一个或多个图像的后验概率分布生成样本。以举例的方式，训练集可包括一组输入-输出对，其中每个训练输入是一组仓正弦图，并且训练输出或“标签”是一组基图像。此类对可例如通过模拟数值体模的CT成像或通过测量具有已知组成的物理体模来生成。在另一个示例中，此类训练对可通过患者的CT成像来生成，其中训练输出作为重建的图像来获得，并且训练输入可作为测量的正弦图、作为其中已经添加额外噪声的修改的正弦图、或者作为来自以较低剂量获取的相同对象的另一CT获取的正弦图来获得。通过使用与训练输出相比具有增加的噪声的训练输入，所得到的训练的神经网络可实现减少噪声的能力。在本发明的另一个实施方案中，输入数据可以是一组基正弦图、一组重建的仓图像或一组基图像，在本发明的又一个实施方案中，输出数据可以是一组基正弦图、一组重建的仓图像或一组基图像，以这种方式，可构建在正弦图域中或图像域中操作的神经网络，执行基图像或基正弦图或者仓图像或仓正弦图的基分解或去噪。
一经训练，神经网络就准备好处理观察/测量的数据以生成置信度指示，诸如在“运行时间”期间(例如，在临床环境中)针对每个考虑的图像生成不确定性或置信度图。这种类型的神经网络向网络提供输出，该输出是取决于输入的随机变量。通过将相同的数据馈送到该网络中，可对后验概率分布采样。例如，可生成不确定性图作为许多此类样本上的标准差。
这种生成基材料图像的不确定性图的神经网络需要专门设计以处理多能量通道图像和/或正弦图数据。具体地，这种神经网络可采用能量分辨测量数据的至少两个表示(例如两个能量仓图像或两个先前分解的基材料图像)作为输入。而且，这种神经网络可生成至少一个基材料图像的至少一个不确定性图。这种神经网络可联合地或单独地处理不同材料图，或者单独地处理多个层并且随后联合地处理至少一个层。
应当理解，用于生成基材料图像或用于不确定性图或两者的神经网络估计器可并入具有可调谐滤波器大小的平滑滤波器，以便调整所得图像的空间分辨率。一个或多个这种可调谐滤波器可例如在至少一层中采取高斯平滑的形式。神经网络可被训练以当所述一个或多个可调谐滤波器的一个或多个参数变化时生成一组具有变化分辨率属性的图像。在训练之后，神经网络可用于通过调整所述可调谐滤波器的至少一个参数来生成变化分辨率的图像。这种可调谐滤波器可以不同的滤波器属性(例如核大小)应用于不同基材料图像，以便在每个材料图像中实现期望的空间分辨率和噪声属性，
贝叶斯神经网络可通过使其给定训练输入图像的输出分布与训练输出图像(也称为训练标签)的分布之间的差异最小化来训练。这种差异可用均方误差、Kullback-Leibler散度或Wasserstein距离来测量。应当理解，“训练输入图像”和“训练输出图像”的概念是非限制性的，并且是指可以是例如仓图像或正弦图或基图像或正弦图的图像数据的表示。
这种随机神经网络可例如基于随机失活，其中网络连接具有可固定或从数据学习的特定概率(图13)。在本发明的另一个实施方案中，随机神经网络可基于在至少一个网络层之后的加性噪声***(图14)。这种加性噪声***也可被乘性噪声***或其他类型的噪声***替代。
在本发明的另一个实施方案中，随机神经网络被实现为变分自编码器(图15)。该变分自解码器首先将数据输入向量编码成潜在随机变量的概率分布的参数，诸如正态分布参数。然后从潜在分布提取潜在变量的后验样本的集合，并由解码器处理以获得结果的后验观察结果。这些后验观察结果用于计算后验均值(最终结果)和后验方差(结果的不确定性图)。
具体地，通过不同地处理不同基组分，反映它们的不同噪声水平和潜在不同的临床重要性，用于训练神经网络的这种差异或损失函数适于光谱CT材料分解中的情况可以是最佳的。以举例的方式，可在计算数据差异之前通过基的改变来变换基图像。例如，可通过将来自训练集的基图像与作为来自网络的输出而生成的基投影进行比较来计算数据差异，在另一个示例中，可通过将基图像变换为一组单能图像并且然后将这些单能图像在训练集与网络输出之间进行比较来计算数据差异。根据使用哪种类型的图像来计算数据差异，神经网络去噪方法的性能可针对向最终用户显示的感兴趣的图像类型进行优化。在另一个示例中，计算数据差异的数学函数可对基图像的不同线性组合不同地进行加权，以在其中低噪声更重要的图像类型中获得与其中无偏性更重要的图像类型相比更大的噪声抑制。以举例的方式，可能有利的是使单能图像70keV中的噪声最小化，而更重要的是实现有效原子序数的图中的无偏性以便准确地表征样本的材料组成。
作为生成不确定性图的一部分或除此之外，可能使用所公开的方法来生成一个或多个导出图像特征(例如放射组学特征)的不确定性估计。此类特征的示例是病灶的体积、区域的平均密度、区域的平均有效原子序数、或者区域上方的不均匀性的标准差或另一个度量。为了生成针对这种导出的特征的误差估计，可使用随机神经网络来生成一组图像实现，然后可使用该组图像实现来计算该特征的多个实现。然后可获得特征的不确定性，例如作为这些实现的标准差。
例如，具有多于两个基函数的准确基分解在实践中可能难以执行，并且可能造成伪像、偏差或过量噪声。这种基分解还可能需要大量校准测量和数据预处理来产生准确结果。通常，与分解成更小数量的基函数的分解相比，分解成更大数量的基函数的基分解可能技术上更具挑战性。
例如，与两基分解相比，可能难以执行准确到足以给出具有低水平的图像偏差或伪像的三基分解的校准。而且，可能难以找到能够执行具有有高度噪声的数据的三基分解而不生成有过度噪声的基图像的材料分解算法，即，可能难以获得由Cramer-Rao下限给出的基图像噪声的理论下限，而当执行两基分解时，该界限可能更容易获得。
作为一个示例，生成更大数量的基图像表示所需的信息量可能从若干组基图像表示提取，每组基图像表示在各自中具有更小数量的基图像表示。例如，生成分解成水、钙和碘的三基分解的正弦图所需的信息可能从一组三个两基分解提取：水-钙分解、水-碘分解和钙-碘分解。
准确地执行若干两基分解可能比准确地执行单个三基分解更容易。这种观察结果可用于解决例如执行准确三基分解的问题。例如，能量分辨图像数据可首先用于执行水-钙分解、水-碘分解和钙-碘分解。然后，可使用卷积神经网络来将所得的六个基图像或其子集映射到包括水、钙和碘图像的一组三个输出图像。这种网络可用若干两基图像表示集作为输入数据和若干三基图像表示集作为输出数据进行训练，其中所述两基图像表示集和三基图像表示集已经从测量患者图像数据或体模图像数据生成，或者从基于数值体模的模拟图像数据生成。
通过前述方法，与直接地在能量分辨图像数据上执行的三基分解相比，可显著减少三基图像表示集中的偏差、伪像或噪声。另选地，可生成更高分辨率的图像。
作为神经网络的替代形式或补充，应用于原始基图像的机器学习***或方法可包括另一种机器学习***或方法，诸如支持向量机或基于决策树的***或方法。
用于生成原始基图像表示的基材料分解步骤可包括先验信息，诸如例如体积或质量保持约束或非负性约束。另选地，此类先验信息可采取先验图像表示的形式，例如来自先前检查的图像或从所有的能量仓中的合计计数重建的图像，并且该算法可惩罚分解的基图像表示相对于这个先验图像表示的偏差。另一种另选型式是使用从一组训练图像学习的先验信息，例如被表示为学习的字典或预训练的卷积神经网络，或者学习的子空间，即，重建图像预期驻留的可能图像的向量空间的子空间。
例如可通过独立地处理每个测量投影射线来在投影图像数据或正弦图数据上执行材料分解。这种处理可采取最大似然分解或最大后验分解的形式，其中假定成像对象中的材料组成的先验概率分布。它还可采取从输入计数集到输出计数集的线性或仿射变换、如Alvarez(Med Phys 2011May；38(5):2324-2334)示例性地描述的A表估计器、例如如Lee等人(IEEE Transactions on Medical Imaging(第36卷，发布日：2017年2月2日：560-573))示例性地描述的低阶多项式近似、如Alvarez(https:z7arxiv.org/abs/1702.01006)示例性地描述的神经网络估计器或查找表的形式。另选地，材料分解方法可联合地处理若干射线，或者包括一步或两步重建算法。
Chen和Li在Optical Engineering 58(1)，013104中的文章公开了一种用于使用深度神经网络来执行光谱CT数据的多材料分解的方法。
Poirot等人在Scientific Reports，第9卷，文章号：17709(2019)中的文章公开了一种使用卷积神经网络来从双能量CT图像生成非造影单能量CT图像的方法。
图8是示出根据一个实施方案的不确定性图的一个示例的示意图。而碘图示出了碘浓度的估计，其中高强度区域包含高浓度的碘，碘置信度图示出了其中算法可预测图像的每个给定像素中存在碘的置信度。所得到的图像以高概率突出了存在碘的区域，而暗区域是最可能不存在碘的区。
图9是示出可用于解决材料分解问题的贝叶斯或随机神经网络的一个示例的示意图。该示例性神经网络采用八个能量仓正弦图作为输入，并且生成T个材料正弦图作为输出。神经网络由映射表示，其中8是随机参数向量。由于这种映射取决于随机参数，将网络多次应用于相同输入数据将给出不同输出。然后将这种输出整体的均值用作材料图的估计，而将方差用作不确定性图的估计。
图10是示出采用从基于深度学习的材料分解获得的材料浓度图并且生成置信度图的神经网络估计器的一个示例如何的示意图。这些置信度图突出了分别存在骨、软组织和碘的可能性很高的图像区。如在图像中可看到的，碘置信度图突出了其中存在吸收碘的肿瘤的区，但是也将一个低但非零的值附接到脊柱区域，因为该算法不能完全排除在该区域中存在碘。将神经网络应用于从基于深度学习的材料分解获得的材料浓度图是示例性的，并且在本发明的另一个实施方案中，可将神经网络应用于使用其他方法(诸如滤波反投影)重建的图像。
图11是示出用于基于展开迭代材料分解方法的正弦图空间材料分解的神经网络的示意图。该方法是基于具有预定义数量的迭代的迭代去噪方法，其中每个迭代中的更新步骤已经被神经网络替代，在该示例性实施方案中，梯度下降算法已经展开，这意味着梯度在每个迭代步骤被计算并且被作为下一个网络的附加输入，从而向网络提供关于作为去噪基础的物理和统计模型的信息。
图12是示出将能量仓正弦图作为输入并且生成重建的基材料图像的神经网络的一个示例的示意图。以举例的方式，可使用生成八个能量仓正弦图的检测器，并且这些作为八个输入通道被提供给神经网络。该示例中的三个输出通道对应于三个基图像：骨、软组织和碘。
图13是示出将能量仓正弦图作为输入并且基于随机失活来生成重建的基材料图像的随机神经网络的一个示例的示意图。每当将网络应用于一组输入正弦图时，网络权重的随机选择被随机地设置为零，给出随机网络输出。
图14是示出将能量仓正弦图作为输入并且基于加性噪声***来生成重建的基材料图像的随机神经网络的一个示例的示意图。通过将噪声值添加到网络的每个层处的节点，输出基图像将变为输入仓正弦图的随机函数，以这种方式，将网络多次应用于相同输入图像可给出输出图像的随机分布，并且可以这种方式训练网络，即该分布与给定输入数据的图像的后验分布一致。
图15是示出将能量仓正弦图作为输入并且基于变分自编码器(包括编码器、随机特征生成和解码器)来生成重建的基材料图像的随机神经网络的一个示例的示意图。编码器部分将能量仓正弦图翻译成特征均值向量和方差向量。这些向量然后被用作参数以便随机地生成随机特征向量。例如，可从具有由来自编码器部分的输出向量给出的均值和方差的多变量正态分布选择该向量作为样本。采取随机特征向量作为解码器网络的输入，生成骨、软组织和碘基图像。以这种方式，整个变分自编码器作为将输入正弦图映射到一组输出基图像的随机神经网络工作，其中这些输出图像不是确定性的但是从统计分布中采样。该网络可以这种方式训练，即该分布与给定输入数据的图像的后验分布一致。
用深度神经网络映射不确定性的一些非限制性示例性特征可包括：
a.神经网络学习以近似解的后验概率分布。
b.神经网络作为随机函数。这意味着利用相同观察结果“y”(网络输入)，网络可提供K个不同提取的解(网络输出，x1、x2、……、XK)。
-在贝叶斯网络中，这是例如利用随机失活来实现的。
-在变分编码器后处理中，存在随机潜在参数z。
-在生成网络中，存在随机输入参数z。
c.为了学习解的后验概率分布，在神经网络上的训练损失中使用统计距离(KL散度、Wasserstein距离等)。
根据第二主要方面，提供了一种用于确定用于计算机断层扫描(CT)中的机器学习图像重建诸如深度学习图像重建的置信度指示的对应***的非限制性示例。用于确定置信度指示的***被配置为获取能量分辨X射线数据。该***被进一步配置为基于至少一个机器学习***(诸如一个或多个神经网络)来处理该能量分辨X射线数据以获得至少一个重建的基图像或其图像特征的后验概率分布的表示。该***也被配置为基于后验概率分布的所述表示来生成用于以下各项的一个或多个置信度指示：所述至少一个重建的图像、或者源自所述至少一个重建的基图像的至少一个衍生图像、或者所述至少一个重建的图像或所述至少一个衍生图像的图像特征。
如所提及的，机器学习图像重建可以是例如深度学习图像重建，并且所述至少一个机器学习***可包括至少一个神经网络。
以举例的方式，一个或多个置信度指示可包括针对所述至少一个重建的基图像中的至少一个点的统计不确定性的误差估计或度量，和/或针对能够从所述至少一个重建的基图像导出的至少一个图像测量结果的统计不确定性的误差估计或度量。
任选地，该***可被配置为生成以针对以下各项的一个或多个不确定性图的形式的所述一个或多个置信度指示：所述至少一个重建的基图像、或者源自所述至少一个重建的基图像的至少一个衍生图像、或者所述至少一个重建的基图像或所述至少一个衍生图像的所述图像特征。
在特定示例中，该***可被配置为生成以针对计算机断层扫描即CT的重建的材料选择性X射线图像的置信度图的形式的所述一个或多个置信度指示。
作为一个示例，该***被进一步配置为基于作为输入的能量仓正弦图来执行基于材料分解的图像重建和/或机器学习图像重建，以生成所述至少一个重建的基图像或其图像特征。
任选地，该***可被配置为生成置信度图，以便突出重建的材料选择性X射线图像的所述机器学***确定的部分。
根据一个补充方面，提供了一个用于生成用于光谱GT中的机器学习图像重建诸如深度学习图像重建的不确定性图的对应***的非限制性示例。用于生成不确定性图的***被配置为获得能量分辨X射线数据。该***被进一步配置为基于至少一个机器学习***(诸如一个或多个神经网络)来处理所述能量分辨X射线数据使得获得至少一个基图像或其图像特征的后验概率分布的表示。该***也被配置为基于后验概率分布的表示来生成针对至少一个重建的图像、或衍生图像、或该重建的图像和该衍生图像的图像特征的一个或多个不确定性图。
根据一个附加方面，提供了一种对应图像重建***，该对应图像重建***包括用于确定置信度指示的这种***和/或用于生成针对深度学习图像重建的不确定性图的这种***。
根据另一个方面，提供了一种包括这种图像重建***的整体X射线成像***。
根据又一个方面，提供了对应计算机程序和计算机程序产品。
在本发明的一个示例性实施方案中，获取或获得能量分辨X射线(图像)数据的步骤或配置借助CT成像***完成。
在本发明的一个示例性实施方案中，获取或获得能量分辨X射线(图像)数据的步骤或配置借助能量分辨光子计数检测器(也称为多仓光子计数X射线检测器)完成。
另选地，获取或获得能量分辨X射线(图像)数据的步骤或配置借助多X射线管获取、慢或快kV切换获取、多层检测器或拆分滤波器获取完成。
在本发明的一个示例性实施方案中，机器学习涉及可基于卷积神经网络的机器学习架构和/或算法。另选地，所述机器学习架构和/或算法可基于支持向量机或基于决策树的方法。
在本发明的一个示例性实施方案中，卷积神经网络可基于残差网络(ResNet)、残差编码器-解码器、U-Net AlexNet或LeNet架构。另选地，基于卷积神经网络的机器学习算法可基于按照梯度下降算法的展开优化方法、原始对偶算法或乘法器交替方向法(ADMM)算法。
在本发明的一个示例性实施方案中，卷积神经网络包括作为网络架构的一部分的至少一个正向投影或至少一个反投影。
为了更好地理解，现在将描述所提出的技术的说明性和非限制性示例。
以举例的方式，有可能通过引入单独的基于机器学习的估计器以生成例如不同重建的基图像的偏差、方差和/或协方差的估计来确定置信度指示诸如不确定性或置信度图。然后，这些可被传播以产生针对任何衍生图像诸如虚拟单能或虚拟非造影图像的不确定性图。
存在生成这些图的不同方式。一种方式是基于自举法，通过训练神经网络以对训练数据集重新采样。例如，随机的一组训练样本(每个训练样本包括输入和输出训练数据)可被替换地采样并且用于训练神经网络。通过重复该过程，可获得神经网络的整体，并且通过使用这些网络中的每个网络来处理输入图像数据，可获得输出图像或输出图像数据表示的整体。输出图像的该整体内的变化或不确定性可被测量，例如作为图像分布上的逐像素标准差。然后可训练第二神经网络以将测量的图像数据映射到所得到的不确定性或所得到的图像值分布。然而，计算要求较低的方法是基于变分自编码器。将数据映射到中间层处的低维特征空间的这种神经网络架构可被训练以对机器学习图像重建过程(诸如所研究的深度学习重建方法)的图像结果的后验概率分布进行采样。可从编码器函数中找到变分自编码器的低维中间潜在特征的后验概率分布。然后，可使用解码器来找到重建的图像的对应后验概率分布。
表示概率分布的一种方式是从分布提供随机样本，也称为蒙特卡洛样本。
处理图像表示以获得概率分布的表示的一种方式是通过将随机神经网络应用于所述图像表示。随机神经网络是包含随机元素或分量的神经网络，使得输出将是随机函数，针对其概率分布取决于输入。
以举例的方式，所述随机神经网络可提供概率分布的一个或多个蒙特卡洛样本。
在另一个示例性实施方案中，可训练确定性神经网络以提供后验随机变量(例如图像或图像特征)的概率分布的度量。
例如，后随机变量的概率分布的所述度量可以是均值方差、协方差、标准差、偏度、峰度或这些的组合。
例如，可初始地创建用于图像不确定性或后验概率分布的统计估计器，诸如蒙特卡洛估计器、马尔可夫链蒙特卡洛估计器、自举估计器或随机神经网络估计器，并且随后用于生成用于训练确定性神经网络以预测后验概率分布的一个或多个度量的训练数据。
以举例的方式，所述基图像可以是物理材料(诸如水、软组织、钙、碘、钆或金)的密度的图。基图像也可以是例如表示物理性质的假想或虚拟材料的图，诸如Compton散射横截面、光电吸收横截面、密度或有效原子序数的图。
例如，所述置信度指示可以是针对一个或多个重建的图像中的至少一个点的统计不确定性的误差估计或度量。所述置信度指示也可以是误差估计或者针对可从至少一个图像导出的至少一个图像测量结果的统计不确定性的度量。
例如，统计不确定性的误差估计或度量可以是误差上限、误差下限、标准差、方差或平均绝对误差。
例如，可从至少一个图像导出的图像测量结果可以是特征的尺寸度量、面积、体积、不均匀性程度、形状或不规则性的度量、组成的度量或物质浓度的度量。
例如，可从至少一个图像导出的图像测量结果可以是放射组学特征，例如标准化放射组学特征。
在本发明的示例性实施方案中，能量分辨X射线数据的处理包括形成至少一个基正弦图或重建的基图像并且基于神经网络来处理所述图像。
例如，神经网络可以是卷积神经网络。
例如，为了在拟合训练数据时允许足够的灵活性，神经网络可以是具有至少五个层的深度神经网络。
以举例的方式，估计误差图的方法可包括基于变分丢弃法的马尔可夫链蒙特卡洛或近似贝叶斯估计器。
Tanno等人在NeuroImage 225，2020年10月9日的文章“Uncertainly modellingin deep teaming for safer neuroimage enhancement:Demonstration in diffusionMRI”涉及一种使用具有变分丢弃法的贝叶斯神经网络来生成用于增强扩散磁共振图像的不确定性图的方法。
Edupuganti等人在IEEE Transactions on Medical Imaging，第40卷，第1期，2021年1月中的文章“Uncertainty Quantification in Deep MRI Reconstruction”涉及一种使用变分自编码器作为后处理步骤的方法，该后处理步骤生成结果的后验样本，并且利用那些样本来从欠采样的数据中构造用于磁共振图像(MRI)重建的不确定性图。然而，作者需要在没有深度学习的情况下计算的预处理重建，并且进一步涉及MRI。
Adler和的文章“Deep posterior sampling:Uncertaintyquantification for large scale inverse problems”(Medical Imaging with DeepLearning 2019)涉及一种考虑对结果的后验概率分布进行采样的后处理生成神经网络来量化X射线计算机断层扫描图像中的不确定性的方法。然而，作者需要预处理的重建，并且该文章没有公开量化特定材料密度图中的误差的方式。该文章还涉及MRI。
US20200294284A1涉及一种生成关于重建的图像的不确定性信息的方法。然而，该文章没有公开量化特定材料密度图中的误差的方式，并且考虑不具有任何能量分辨数据的能量积分CT。这进一步意味着不可能实现材料基分解以生成基图像。
本申请的方法主要考虑具有多能量和多材料结果的能量分辨(光谱)CT。
以举例的方式，光子计数CT意味着更高维度的问题，其中需要良好的缩放，并且跨材料和跨能量信息影响后验采样。
上述三篇文章是基于后处理神经网络，其没有解决具有深度学习的重建问题。
利用所提出的技术，可利用机器学习诸如深度学习来解决基图像重建和不确定性映射。
应当理解，本文描述的机构和布置能够以多种方式实施、组合和重新布置。
例如，实施方案可以在硬件中实施，或至少部分地在由适当的处理电路***执行的软件中实施，或者上述实施方式的组合。
本文描述的步骤、功能、过程和/或框可以使用任何常规技术(诸如离散电路或集成电路技术)在硬件(包括通用电子电路***和专用电路***)中实施。
替代性地，或者作为补充，本文描述的步骤、功能、过程和/或框中的至少一些能够在软件中实施，该软件诸如由适当的处理电路***(诸如一个或多个处理器或处理单元)执行的计算机程序。
这可例如被实现为基于计算机的图像重建***的一部分。
图16是示出根据一个实施方案的计算机具体实施的一个示例的示意图。在该特定的示例中，***200包括处理器210和存储器220，该存储器包括能够由处理器执行的指令，由此处理器可操作以执行本文所述的步骤和/或动作。指令通常被组织为计算机程序225、235，该计算机程序可被预配置在存储器220中或从外部存储器装置230下载。任选地，***200包括输入/输出接口240，该输入/输出接口可以互连到处理器210和/或存储器220，以实现相关数据(诸如输入参数和/或所得的输出参数)的输入和/或输出。
在特定示例中，存储器包括可由处理器执行的这种指令集，由此处理器操作以生成置信度指示，诸如用于CT成像中基于深度学习的图像重建的不确定性图。
术语“处理器”应当在一般意义上解释为能够执行程序代码或计算机程序指令以执行特定的处理、确定或计算任务的任何***或设备。
因此，包括一个或多个处理器的处理电路***被配置为在执行计算机程序时执行被明确定义的处理任务(诸如本文描述的那些)。
处理电路***不必仅专用于执行上述的步骤、功能、过程和/或框，而是还可以执行其他任务。
所提出的技术还提供了一种计算机程序产品，该计算机程序产品包括计算机可读介质220、230，该计算机可读介质上存储有这种计算机程序。
例如，软件或计算机程序225、235可被实现为计算机程序产品，其通常被携带或存储在计算机可读介质220、230、特别是非易失性介质上。计算机可读介质可包括一个或多个可移动或不可移动存储器设备，包括但不限于：只读存储器(ROM)、随机存取存储器(RAM)、压缩光盘(CD)、数字多功能光盘(DVD)、蓝光光盘、通用串行总线(USB)存储器、硬盘驱动器(HDD)存储设备、闪存存储器、磁带，或任何其他常规存储器设备。因此，计算机程序可以被加载到计算机或等效处理设备的操作存储器中，以便由其处理电路***来执行。
方法流程在被一个或多个处理器执行时，可以被视为计算机动作流程。相应的设备、***和/或装置可以被定义为一组功能模块，其中由处理器执行的每个步骤对应于一个功能模块。在这种情况下，功能模块被实施为在处理器上运行的计算机程序。因此，该设备、***和/或装置可以替代性地被定义为一组功能模块，其中这些功能模块被实施为在至少一个处理器上运行的计算机程序。
驻留在存储器中的计算机程序因此可以被组织为适当的功能模块，这些功能模块被配置为当计算机程序由处理器运行时，执行本文所述的步骤和/或任务的至少一部分。
替代性地，可以主要通过硬件模块，或者替代性地通过硬件来实现这些模块。软件相对于硬件的程度纯粹是实施方式的选择。

Claims (30)

1.一种用于确定用于计算机断层扫描即CT中的机器学习图像重建的一个或多个置信度指示的方法，所述方法包括以下步骤：
·获取(S1)能量分辨X射线数据；
·基于至少一个机器学习***来处理(S2；S2b)所述能量分辨X射线数据以生成至少一个重建的基图像或其图像特征的后验概率分布的表示；以及
·基于后验概率分布的所述表示来生成(S3)用于以下各项的一个或多个置信度指示：所述至少一个重建的基图像、或者源自所述至少一个重建的基图像的至少一个衍生图像、或者所述至少一个重建的基图像或所述至少一个衍生图像的图像特征。
2.根据权利要求1所述的方法，其中所述机器学习图像重建是深度学习图像重建，并且所述至少一个机器学习***包括至少一个神经网络。
3.根据权利要求1或2所述的方法，其中后验概率分布的所述表示包括以下中的至少一者：均值方差、协方差、标准差、偏度和峰度。
4.根据权利要求1至3中任一项所述的方法，其中所述一个或多个置信度指示包括针对所述至少一个重建的基图像中的至少一个点的统计不确定性的误差估计或度量，以及/或者针对能够从所述至少一个重建的基图像导出的至少一个图像测量结果的统计不确定性的误差估计或度量。
5.根据权利要求4所述的方法，其中统计不确定性的所述误差估计或度量包括误差上限、误差下限、标准差、方差或平均绝对误差中的至少一者。
6.根据权利要求4或5所述的方法，其中所述至少一个图像测量结果包括以下中的至少一者：特征的尺寸度量、面积、体积、不均匀性程度、形状或不规则性的度量、组成的度量以及物质浓度的度量。
7.根据权利要求1至6中任一项所述的方法，其中所述一个或多个置信度指示包括针对以下各项的一个或多个不确定性图：所述至少一个重建的基图像、或者源自所述至少一个重建的基图像的至少一个衍生图像、或者所述至少一个重建的基图像或所述至少一个衍生图像的所述图像特征。
8.根据权利要求1至7中任一项所述的方法，其中生成一个或多个置信度指示的所述步骤(S3)包括生成针对计算机断层扫描即CT的重建的材料选择性X射线图像的置信度图。
9.根据权利要求8所述的方法，其中生成所述置信度图以突出所述重建的材料选择性X射线图像的所述机器学***确定的部分。
10.根据权利要求1至9中任一项所述的方法，其中生成一个或多个置信度指示的所述步骤(S3)包括通过神经网络采用从基于深度学习的材料分解获得的材料浓度图作为输入来生成一个或多个置信度图。
11.根据权利要求1至10中任一项所述的方法，其中所述方法还包括执行(S2a)基于材料分解的图像重建和/或机器学习图像重建以基于获取的能量分辨X射线数据来生成所述至少一个重建的基图像或其图像特征。
12.根据权利要求11所述的方法，其中执行基于材料分解的图像重建和/或机器学习图像重建的所述步骤(S2a)包括通过神经网络采用能量仓正弦图作为输入来生成所述至少一个重建的基图像或图像特征。
13.根据权利要求1至12中任一项所述的方法，其中生成(S3)一个或多个置信度指示的所述步骤包括确定各个基材料图像的不确定性或置信度图以及不同基材料图像之间的协方差，从而允许使用用于不确定性传播的公式或算法来传播所述不确定性或置信度图以产生用于导出的图像的不确定性图。
14.根据权利要求1至13中任一项所述的方法，其中与至少一个不确定性图一起生成至少一个基材料图像，其中所述不确定性图是所述至少一个基材料图像的不确定性或误差估计的表示，并且
其中所述至少一个基材料图像和所述至少一个不确定性图能够作为单独的图像或以组合方式呈现给用户。
15.根据权利要求13或14所述的方法，其中所述至少一个不确定性图能够作为相对于所述至少一个基材料图像的叠加来呈现，或者其中所述至少一个不确定性图能够借助于用于所述至少一个基材料图像的失真滤波器来呈现。
16.根据权利要求1至15中任一项所述的方法，其中基于至少一个机器学习***来处理所述能量分辨X射线数据以生成后验概率分布的表示的所述步骤(S2；S2b)包括在给定所获取的能量分辨X射线数据的情况下通过神经网络生成所述后验概率分布的样本，并且
其中生成(S3)一个或多个置信度指示的所述步骤包括生成作为多个样本上的标准差的不确定性图。
17.根据权利要求1至16中任一项所述的方法，其中基于至少一个机器学习***来处理所述能量分辨X射线数据以生成后验概率分布的表示的所述步骤(S2；S2b)包括应用被实现为变分自编码器的神经网络来将输入数据向量编码成潜在随机变量的概率分布的参数，并且从此概率分布提取所述潜在随机变量的后验样本的集合以用于由对应解码器进行处理以获得后验观察结果。
18.根据权利要求1至17中任一项所述的方法，其中生成(S3)一个或多个置信度指示的所述步骤包括生成与所述至少一个重建的基图像相关联的至少一个基系数的方差或标准差的至少一个图和/或至少一对基函数的协方差或相关系数的至少一个图。
19.根据权利要求1至18中任一项所述的方法，其中后验概率分布的所述表示由多个图像特征的均值和方差来指定。
20.一种用于确定用于计算机断层扫描即CT中的机器学习图像重建的一个或多个置信度指示的***(30；40；50；200)，
其中所述***被配置为获取能量分辨X射线数据；
其中所述***被进一步配置为基于至少一个机器学习***来处理所述能量分辨X射线数据以获得至少一个重建的基图像或其图像特征的后验概率分布的表示；并且
其中所述***也被配置为基于后验概率分布的所述表示来生成用于以下各项的一个或多个置信度指示：所述至少一个重建的基图像、或者源自所述至少一个重建的基图像的至少一个衍生图像、或者所述至少一个重建的基图像或所述至少一个衍生图像的图像特征。
21.根据权利要求20所述的***(30；40；50；200)，其中所述机器学习图像重建是深度学习图像重建，并且所述至少一个机器学习***包括至少一个神经网络。
22.根据权利要求20或21所述的***(30；40；50；200)，其中所述一个或多个置信度指示包括针对所述至少一个重建的基图像中的至少一个点的统计不确定性的误差估计或度量，以及/或者针对能够从所述至少一个重建的基图像导出的至少一个图像测量结果的统计不确定性的误差估计或度量。
23.根据权利要求20至22中任一项所述的***(30；40；50；200)，其中所述***(30；40；50；200)被配置为生成以针对以下各项的一个或多个不确定性图的形式的所述一个或多个置信度指示：所述至少一个重建的基图像、或者源自所述至少一个重建的基图像的至少一个衍生图像、或者所述至少一个重建的基图像或所述至少一个衍生图像的所述图像特征。
24.根据权利要求20至23中任一项所述的***(30；40；50；200)，其中所述***(30；40；50；200)被配置为生成以针对计算机断层扫描即CT的重建的材料选择性X射线图像的置信度图的形式的所述一个或多个置信度指示。
25.根据权利要求20至24中任一项所述的***(30；40；50；200)，其中所述***(30；40；50；200)被进一步配置为基于作为输入的能量仓正弦图来执行基于材料分解的图像重建和/或机器学习图像重建，以生成所述至少一个重建的基图像或其图像特征。
26.根据权利要求20至25中任一项所述的***(30；40；50；200)，其中所述***(30；40；50；200)被配置为生成所述置信度图，以便突出所述重建的材料选择性X射线图像的所述机器学***确定的部分。
27.一种图像重建***，所述图像重建***包括根据权利要求20至26中任一项所述的用于确定用于CT中的机器学习图像重建的一个或多个置信度指示的***(30；40；50；200)。
28.一种X射线成像***(100)，所述X射线成像***包括根据权利要求27所述的图像重建***。
29.一种计算机程序(225；235)，所述计算机程序包括指令，所述指令当由与计算机断层扫描***(100)相关联的至少一个处理器(30；40；
50；210)执行时使得所述至少一个处理器(30；40；50；210)执行根据权利要求1至19中任一项所述的方法。
30.一种计算机程序产品，所述计算机程序产品包括承载根据权利要求29所述的计算机程序(225；235)的非暂态计算机可读存储介质(220；230)。
CN202280035278.5A 2021-04-13 2022-04-06 确定用于计算机断层扫描中的深度学习图像重建的置信度指示 Pending CN117355865A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US202163174164P 2021-04-13 2021-04-13
US63/174,164 2021-04-13
PCT/SE2022/050344 WO2022220721A1 (en) 2021-04-13 2022-04-06 Determining a confidence indication for deep-learning image reconstruction in computed tomography

Publications (1)

Publication Number Publication Date
CN117355865A true CN117355865A (zh) 2024-01-05

Family

ID=83639858

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280035278.5A Pending CN117355865A (zh) 2021-04-13 2022-04-06 确定用于计算机断层扫描中的深度学习图像重建的置信度指示

Country Status (4)

Country Link
EP (1) EP4323967A1 (zh)
JP (1) JP2024515595A (zh)
CN (1) CN117355865A (zh)
WO (1) WO2022220721A1 (zh)

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6950492B2 (en) * 2003-06-25 2005-09-27 Besson Guy M Dynamic multi-spectral X-ray projection imaging
WO2014185078A1 (ja) * 2013-05-15 2014-11-20 国立大学法人京都大学 Ｘ線ｃｔ画像処理方法，ｘ線ｃｔ画像処理プログラム及びｘ線ｃｔ画像装置
US9808216B2 (en) * 2014-06-20 2017-11-07 Marquette University Material decomposition of multi-spectral x-ray projections using neural networks
US9870628B2 (en) * 2015-03-18 2018-01-16 Prismatic Sensors Ab Image reconstruction based on energy-resolved image data from a photon-counting multi-bin detector
WO2016175755A1 (en) * 2015-04-28 2016-11-03 Siemens Healthcare Gmbh METHOD AND SYSTEM FOR SYNTHESIZING VIRTUAL HIGH DOSE OR HIGH kV COMPUTED TOMOGRAPHY IMAGES FROM LOW DOSE OR LOW kV COMPUTED TOMOGRAPHY IMAGES
EP3338636B1 (en) * 2016-12-22 2024-02-28 Nokia Technologies Oy An apparatus and associated method for imaging
US10672153B2 (en) * 2018-04-23 2020-06-02 Elekta Ab (Publ) Posterior image sampling using statistical learning model
KR102174600B1 (ko) * 2018-06-04 2020-11-05 한국과학기술원 뉴럴 네트워크를 이용한 다방향 엑스레이 전산단층 촬영 영상 처리 방법 및 그 장치
US11039806B2 (en) * 2018-12-20 2021-06-22 Canon Medical Systems Corporation Apparatus and method that uses deep learning to correct computed tomography (CT) with sinogram completion of projection data
US10945695B2 (en) * 2018-12-21 2021-03-16 Canon Medical Systems Corporation Apparatus and method for dual-energy computed tomography (CT) image reconstruction using sparse kVp-switching and deep learning
EP3789963A1 (en) * 2019-09-06 2021-03-10 Koninklijke Philips N.V. Confidence map for neural network based limited angle artifact reduction in cone beam ct

Also Published As

Publication number Publication date
WO2022220721A1 (en) 2022-10-20
JP2024515595A (ja) 2024-04-10
EP4323967A1 (en) 2024-02-21

Similar Documents

Publication Publication Date Title
US10274439B2 (en) System and method for spectral x-ray imaging
US20210290193A1 (en) Apparatus and method that uses deep learning to correct computed tomography (ct) with sinogram completion of projection data
US10034646B2 (en) Material decomposition of multi-spectral X-ray projections using neural networks
US11769277B2 (en) Deep learning based scatter correction
US10945695B2 (en) Apparatus and method for dual-energy computed tomography (CT) image reconstruction using sparse kVp-switching and deep learning
JP6495450B2 (ja) 光子計数マルチビンｘ線検知器からの画像データに基づくｘ線撮像
JP2018140165A (ja) 医用画像生成装置
US9261467B2 (en) System and method of iterative image reconstruction for computed tomography
Weidinger et al. Polychromatic iterative statistical material image reconstruction for photon‐counting computed tomography
JP2016536032A (ja) 電子密度画像の連結再構成
JP5853123B2 (ja) 光子計数検出装置のための不完全性の動的モデリング
JP6793469B2 (ja) データ処理装置、ｘ線ｃｔ装置及びデータ処理方法
JP2015033581A (ja) Ｘ線コンピュータ断層撮像装置及び医用画像処理プログラム
JP7143330B2 (ja) 画像再構築のための方法および装置
CN107019518B (zh) 用于计算机断层扫描中的散射校正的信号处理方法及成像***
US20230326100A1 (en) Methods and systems related to x-ray imaging
CN117355865A (zh) 确定用于计算机断层扫描中的深度学习图像重建的置信度指示
JP7061673B6 (ja) 対象物の関心領域のスペクトル画像を再構成するための装置、システム、方法及びコンピュータプログラム
US20230309937A1 (en) Spectral x-ray material decomposition method
WO2024036278A1 (en) System and method for generating denoised spectral ct images from spectral ct image data acquired using a spectral ct imaging system
Fredette Multi-Material Discrimination Using Photon Counting Spectral Computed Tomography

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination