CN113052936A - 集成fdk和深度学习的单视角ct重建方法 - Google Patents

Abstract

本发明涉及一种集成FDK和深度学习的单视角CT重建方法，属于计算机视觉与深度学习领域。为了使用FDK算法完成精确的2D到3D映射，本发明方法提出两阶段的深度学习框架，在第一阶段通过全视角生成网络，将单视角重建病态问题转化为一般性CT重建问题。在第二阶段通过FDK算法实现2D投影到3D体积的精确映射，再搭建CT微调网络对反投影所得的CT体积进行微调，提高断层图像质量。

Description

集成FDK和深度学习的单视角CT重建方法

技术领域

本发明涉及一种集成FDK和深度学习的单视角CT重建方法，属于计算机视觉与深度学习领域。

背景技术

电子计算机断层扫描技术(CT)如今广泛应用于临床医学、无损探伤、公共安检领域。特别是在医学领域，由于其极高的成像质量，为疾病的诊断提供了可靠的图像依据。随着CT技术的大规模普及，X射线对人体造成的伤害也开始被人们关注。根据CT重建理论，为了获得人体的内部结构，需要使用高能量的X射线穿透人体，进行旋转扫描获得充足的投影数据。这将对人体造成巨大的电子辐射，有研究表明患者在多次接受CT检查后会显著增加患癌风险。

因此，在CT研究领域，低剂量重建一直以来都是重要课题。降低辐射剂量可以通过稀疏角度或有限角度采样实现，但根据CT理论重建断层需要采集充足的投影，否则投影信息不全将导致重建所得断层出现伪影，影响观察质量。不过结合先验结构知识，仍然能够通过有限的投影信息完成CT重建，例如中国专利“低采样率下肺部CT图像稀疏重构”(CN112070855A)，以及中国专利“一种基于贝叶斯估计的图像重建方法”(CN110458907A)。但这些重建方法只是依据一些浅层特征或者回归函数，无法掌握2D投影到3D体积的复杂映射关系。随着能够拟合复杂函数关系的神经网络在计算机视觉方面的广泛应用，CT重建领域也展开了基于深度学习的有限或稀疏角度重建研究。通过深度学习提取CT的先验结构，神经网络能够使用有限的投影信息完成复杂的2D到3D映射关系，最终输出CT体积，大大减轻了有限视角重建时造成的伪影，改善了断层图像质量。例如中国专利“一种基于生成对抗网络的有限角CT重建去伪影的方法”(CN110648376A)，以及中国专利“一种基于插值卷积神经网络的低剂量CT重建方法”(CN112489156A)。甚至在仅有双目投影的情况下，神经网络也能通过深度学习做到CT重建，例如中国专利“CT图像的生成方法、装置、设备及存储介质”(CN109745062A)。

为进一步降低对人体的伤害，目前也有学者提出对最低剂量情况下的单视角投影进行CT重建。已有的单视角CT研究都基于深度学习，通过神经网络结合模型先验知识根据输入单视角投影进行CT断层重建。虽然神经网络可以拟合复杂的映射关系，但由于没有传统算法的理论基础，缺乏可解释性将成为临床应用时的障碍。而且完全基于数据驱动的方法只能在大量标注数据的监督下进行深度学习，而医学数据资源获取难度较大所以很难收敛到有效模型，所以最终生成的断层质量还有待进一步改善。

发明内容

为了实现最低剂量的CT重建，本发明基于一幅X射线投影图像，提出集成FDK和深度学习的单视角CT重建方法。为了使用FDK算法完成精确的2D到3D映射，本方法提出两阶段的深度学习框架，在第一阶段通过全视角生成网络，将单视角重建病态问题转化为一般性CT重建问题。在第二阶段通过FDK算法实现2D投影到3D体积的精确映射，再搭建CT微调网络对反投影所得的CT体积进行微调，提高断层图像质量。

为实现上述发明目的，本发明的技术方案如下：

一种集成FDK和深度学习的单视角CT重建方法，包括以下步骤：

步骤1、数据获取及预处理。

数据集包含X射线体正位投影图像及其1°间隔的360°全视角投影图像，以及CT体积。其中X射线体正位投影图像及其对应的全视角投影为第一阶段全视角生成网络训练数据，CT体积为第二阶段CT微调网络的监督数据。在训练中所有使用的数据通过先分别求取均值μ和方差σ，然后进行标准化(x-μ)/σ的方式处理，其中x表示待标准化的训练数据。将数据集划分为训练集和测试集分别用于网络的训练和测试。

步骤2、搭建全视角生成网络。

所述全视角生成网络由特征编解码器、残差模块和特征跳跃级联结构组成。特征编解码器由一个连续下采样的卷积神经网络，以及在其最底层获得编码特征后连接的一个连续上采样卷积神经网络组成。残差模块为加深卷积神经网络的组件，通过引入一个短连接将输入特征接到非线性层的输出上，使得网络获得更强拟合高维函数的能力。特征跳跃级联结构是将编解码器中相同尺度的编码特征与解码特征进行级联，实现了特征融合。

首先全视角生成网络对输入的X射线体正位投影图像使用残差模块提取特征，然后将其送入编解码器进行编码，在解码时采用特征跳跃级联结构实现特征融合最终生成全视角投影图像。

步骤3、训练全视角生成网络。

使用X射线体正位投影图像作为输入，对应的全视角投影作为监督，使用一致性损失函数作为优化目标，使用梯度下降算法进行深度学习，对所搭建的全视角生成网络进行训练。

步骤4、生成预测的粗CT体积数据。

使用步骤3所训练的全视角生成网络，输入数据集中的X射线体正位投影图像，获得预测的全视角投影并对其执行FDK算法。FDK算法是针对锥束投影图像的滤波反投影CT重建算法，可以通过加权滤波反投影步骤获得CT体积数据。此时反投影使用的全视角投影为神经网络的预测结果，相对真值存在一定误差，而这些误差经过FDK算法也反投影到生成的CT体积中。因此反投影生成的粗CT需要进一步处理，去除由于投影的误差导致的CT断层中的伪影。对反投影后的粗CT进行标准化，然后与其所对应的CT体积真值组成训练对，送入CT微调网络进行训练去除粗CT体积中存在的伪影。

步骤5、搭建CT微调网络。

所述CT微调网络由特征编解码器、残差模块与特征跳跃级联结构组成，其结构如步骤2所述。

首先CT微调网络对输入的粗CT体积使用残差模块提取特征，然后将其送入编解码器进行编码，在解码时采用特征跳跃级联结构实现特征融合实现对粗CT体积的微调，去除粗CT体积中存在的伪影，输出更为精确的CT体积。

步骤6、训练CT微调网络。

使用步骤4所得的反投影粗CT作为输入，CT真值作为监督，使用一致性损失函数作为优化目标，使用梯度下降算法进行深度学习，对所搭建的CT微调网络进行训练，完成对粗CT的微调，最终生成清晰无伪影的CT重建图像。

本发明的有益效果是：

(1)本发明率先提出在单视角CT重建问题中引入滤波反投影算法，为解决这一病态问题提供了解析的理论支撑。

(2)本发明方法引入FDK算法可以精确地完成2D到3D映射，省去了神经网络完成转换所需训练的模型参数，大大节约了计算资源。

(3)本发明方法两阶段的训练方法可以对每一部分神经网络进行可视化，提高了单视角CT的可解释性。并且此方法拥有极强的扩展性，可以针对两阶段的任务设计复杂的神经网络结构和针对性的损失函数。

(4)本发明方法提高了单视角CT重建断层图像质量，这一方面可以在介入治疗中根据投影图像为医生提供患者身体结构的断层图像提供引导信息，另一方面可以在肿瘤等慢性病患者的长期治疗过程中根据其DR检查图像提供单视角投影进行断层重建，一定程度上避免过度检查，从而大大减少X射线对患者的辐射。

附图说明

图1是本发明方法步骤流程图。

图2是本发明方法基于U-net结构结合残差模块的神经网络结构图。

图3是本发明方法的一阶段全视角生成神经网络可视化投影图像。

图4是本发明方法使用的FDK反投影算法示意图。

图5使本发明方法的二阶段CT微调神经网络可视化CT断层图像。

具体实施方式

下面结合附图和技术方案，进一步说明本发明的具体实施方式。

如图1所示，一种集成FDK和深度学习的单视角CT重建方法，包括以下步骤：

步骤1、数据获取及预处理。本实施例从公开的医学图像数据集获得了一个癌症病人肺部的4DCT数据集，使用模拟投影的方法生成深度学习样本对，并通过对CT体积进行位移和旋转模拟患者在扫描床上的偏移，完成数据增广。深度学习样本包括X射线体正位投影图像，及其对应的1°间隔360°全视角投影图像，以及对应的患者肺部CT体积，本实施例将数据集按照7:3的方式划分出训练集和测试集。其中X射线体正位投影图像及其对应的全视角投影为第一阶段全视角生成网络训练数据，CT体积为第二阶段CT微调网络的监督数据。投影图像分辨率为128×128，CT体积分辨率为128×128×128。数据集中的数据通过先分别求取均值和方差，然后进行标准化的方式进行处理。例如，对于输入的X射线图像，先求取其均值μ和方差σ，然后进行标准化(x-μ)/σ的方式进行处理，其中x表示待标准化的X射线图像。用于监督的1°间隔360°投影图像与对应的CT体积也都按相同的方式进行标准化处理。

步骤2、搭建全视角生成网络。全视角投影生成神经网络采用U-net结构结合残差模块的神经网络(如图2所示)，其中U-net为包含特征跳跃级联结构的神经网络特征编解码器。将神经网络的输入和输出的通道数设置为输入的投影数1与输出的投影数360。该网络首先在输入端使用7×7大尺寸卷积核提取特征，并通过残差结构提升特征通道，加深网络结构。在U-net的每次下采样之前和上采样之后，都使用残差快加深网络，提取复杂特征。最终通过跨越级联进行逐级的特征融合，编码输出360张全视角投影图像。

步骤3、训练全视角生成网络。使用训练集的X射线体正位投影图像数据作为输入，对应标准化的全视角投影图像作为监督对全视角投影生成网络进行训练。本实施例采用一致性损失函数L1范数进行训练：

p_f为1°间隔360°全视角投影真值，

为网络预测的全视角投影，使用Adam优化器对神经网络进行梯度下降迭代训练。完成训练后在测试集上计算生成投影与真值间的误差，验证全视角生成网络的有效性，见图3。

步骤4、生成预测的粗CT体积数据。使用完成训练的全视角生成网络，将数据集中的X射线体正位投影图像数据作为输入，生成预测的全视角投影数据。使用FDK算法对生成的全视角投影数据进行滤波反投影，获得粗CT体积数据(见图4)。FDK算法包括三步，首先对投影图像进行加权，公式如下：

P_β(s,h)为投影数据，(s,h)为探测器坐标系中的坐标，

为加权系数，D为射线源到旋转轴的距离。然后对加权投影进行滤波：

Q_β(s,h)＝P′_β(s,h)×g(s)

P′_β(s,h)为加权投影数据，g(s)为‘Ram-Lak’一维斜坡滤波器。对完成滤波的数据做反投影：

1/U(x,y,β)²为加权系数，其中：

U(x,y,β)＝(D+xcosβ+ysinβ)/D

(s,h)为世界坐标系中的坐标，β为射线源到旋转轴的连线与x轴的夹角，对0-2π全视角进行反投影可以求取带重建点R(x,y,z)的体素。执行FDK算法后我们获得了CT体积，但由于预测的全视角投影相对真值存在误差，这些误差也被引入了CT体积中，导致伪影出现，如图5的粗CT断层所示。将此时生成的粗CT体积进行标准化进一步训练。

步骤5、搭建CT微调网络。CT微调网络采用U-net结构结合残差模块的神经网络(如图2所示)。我们将神经网络的输入和输出的通道数设置为对应的CT断层数量128。该网络模型通过跨越级联的U-net编解码结构先对输入的粗CT体积结构特征进行编码，在解码时去除伪影完成微调，输出清晰的CT断层图像。

步骤6、训练CT微调网络。将步骤4所得的粗CT作为CT微调网络的输入，对应的真值作为监督。本实施例采用L1范数对CT微调网络进行训练：

为CT微调网络预测的CT体积，V_ct为CT体积真值。经过深度学习，CT微调网络能够完成对粗CT的微调，生成了无伪影的CT结果。将测试集的粗CT送入CT微调神经网络，验证微调网络的有效性，如图5所示。

最终通过将测试集的X射线体正位投影图像依次完成训练的输入全视角投影生成网络，再对预测的全视角投影执行FDK算法获得粗CT，最后将粗CT送入完成训练的CT微调网络中进行微调获得清晰无伪影的CT重建图像，验证了结合FDK算法的深度学习单视角CT方法的有效性，在整个测试集上预测CT体积的结构相似性SSIM达到了0.9329，峰值信噪比PSNR达到了30.25dB。

Claims (1)

1.一种集成FDK和深度学习的单视角CT重建方法，其特征在于，包括以下步骤：

步骤1、数据获取及预处理

数据集包含X射线体正位投影图像及其1°间隔的360°全视角投影图像，以及CT体积；其中X射线体正位投影图像及其对应的全视角投影为第一阶段全视角生成网络训练数据，CT体积为第二阶段CT微调网络的监督数据；在训练中所有使用的数据通过先分别求取均值μ和方差σ，然后进行标准化(x-μ)/σ的方式处理，其中x表示待标准化的训练数据；将数据集划分为训练集和测试集分别用于网络的训练和测试；

步骤2、搭建全视角生成网络

所述全视角生成网络由特征编解码器、残差模块和特征跳跃级联结构组成；特征编解码器由一个连续下采样的卷积神经网络，以及在其最底层获得编码特征后连接的一个连续上采样卷积神经网络组成；残差模块为加深卷积神经网络的组件，通过引入一个短连接将输入特征接到非线性层的输出上，使得网络获得更强拟合高维函数的能力；特征跳跃级联结构是将编解码器中相同尺度的编码特征与解码特征进行级联，实现了特征融合；

首先全视角生成网络对输入的X射线体正位投影图像使用残差模块提取特征，然后将其送入编解码器进行编码，在解码时采用特征跳跃级联结构实现特征融合最终生成全视角投影图像；

步骤3、训练全视角生成网络

使用X射线体正位投影图像作为输入，对应的全视角投影作为监督，使用一致性损失函数作为优化目标，使用梯度下降算法进行深度学习，对所搭建的全视角生成网络进行训练；

步骤4、生成预测的粗CT体积数据

使用步骤3所训练的全视角生成网络，输入数据集中的X射线体正位投影图像，获得预测的全视角投影并对其执行FDK算法；FDK算法通过加权滤波反投影步骤获得CT体积数据；

步骤5、搭建CT微调网络

所述CT微调网络由特征编解码器、残差模块与特征跳跃级联结构组成，其结构如步骤2所述；

首先CT微调网络对输入的粗CT体积使用残差模块提取特征，然后将其送入编解码器进行编码，在解码时采用特征跳跃级联结构实现特征融合实现对粗CT体积的微调，去除粗CT体积中存在的伪影，输出更为精确的CT体积；

步骤6、训练CT微调网络

使用步骤4所得的反投影粗CT作为输入，CT真值作为监督，使用一致性损失函数作为优化目标，使用梯度下降算法进行深度学习，对所搭建的CT微调网络进行训练，完成对粗CT的微调，最终生成清晰无伪影的CT重建图像。

Images