CN110363797B - 一种基于过度形变抑制的pet与ct图像配准方法 - Google Patents

一种基于过度形变抑制的pet与ct图像配准方法 Download PDF

Info

Publication number
CN110363797B
CN110363797B CN201910634301.2A CN201910634301A CN110363797B CN 110363797 B CN110363797 B CN 110363797B CN 201910634301 A CN201910634301 A CN 201910634301A CN 110363797 B CN110363797 B CN 110363797B
Authority
CN
China
Prior art keywords
pet
image
registration
image block
sequence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910634301.2A
Other languages
English (en)
Other versions
CN110363797A (zh
Inventor
姜慧研
康鸿健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northeastern University China
Original Assignee
Northeastern University China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northeastern University China filed Critical Northeastern University China
Priority to CN201910634301.2A priority Critical patent/CN110363797B/zh
Publication of CN110363797A publication Critical patent/CN110363797A/zh
Application granted granted Critical
Publication of CN110363797B publication Critical patent/CN110363797B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10104—Positron emission tomography [PET]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本发明涉及医学图像配准技术领域，提供一种基于过度形变抑制的PET与CT图像配准方法。本发明首先采集二维PET/CT序列图像，得到PET/CT序列图像集并对其预处理，得到PET/CT图像块训练集；然后基于3D U‑Net卷积神经网络构建PET/CT配准网络，并结合图像相似性约束项与过度形变抑制项构造代价函数；接着初始化神经网络权重参数，设置超参数，将PET/CT图像块训练集输入PET/CT配准网络并对其进行迭代训练；最后将待配准的PET/CT图像对输入训练后的PET/CT配准网络，生成配准后的PET图像块。本发明能够实现PET/CT弹性配准，提高配准效率与准确性，降低对过度形变抑制的计算成本。

Description

一种基于过度形变抑制的PET与CT图像配准方法
技术领域
本发明涉及医学图像配准技术领域，特别是涉及一种基于过度形变抑制的PET与CT图像配准方法。
背景技术
医学图像配准在许多医学图像处理任务中起着重要的作用。通常将图像配准制定为优化问题以寻求空间变换，该空间变换通过最大化图像之间的空间对应的替代度量(例如配准图像之间的图像强度相关性)来建立一对固定和移动图像之间的像素/体素对应。
正电子断层扫描(Positron Emission Computer Tomography,PET)利用回旋加速器产生放射性同位素18F、13N，静脉注射后参与人体的新陈代谢。代谢率高的组织或病变，在PET上呈现明确的高代谢亮信号；代谢率低的组织或病变在PET上呈低代谢暗信号。计算机断层扫描(ComputedTomography,CT)是用X线束对人体的某一部分按一定厚度的层面进行扫描，当X线射向人体组织时，部分射线被组织吸收，部分射线穿过人体被检测器官接收，产生信号，能准确对图像进行定位。
PET/CT可以进行功能与解剖结构的同机图像融合，是影像医学的一个重要进展。多模态图像配准利用各种成像方式的特点，为不同的影像提供互补信息，增加图像信息量，有助于更全面地了解病变的性质及与周围解剖结构的关系，为临床诊断和治疗的定位提供有效的方法。通过融合两种不同模态的PET/CT图像获得兼具结构信息和功能信息的融合图像，对于医学图像分析和诊断具有重要意义。由于PET/CT图像间像素强度的相似性较低，导致配准后容易产生过度形变，所以PET/CT配准是一项具有挑战性的任务。
现有的PET与CT图像配准方法中，大都是基于迭代优化进行配准。其中最常使用的方法是将配准问题转换为优化问题以最小化代价函数。常用的代价函数包括均方误差(MSE)、互信息(MI)、归一化互信息(NMI)、归一化互相关(NCC)以及梯度相关(GC)。而这些相似性度量指标直接在像素级别比较图像，而无法反映图像中的更高级别结构。尽管存在全局优化方法，例如模拟退火算法和遗传算法，但它们需要对参数空间进行全面采样，这将导致过高的计算成本。从而导致现有PET与CT图像配准方法对过度形变抑制的计算成本高且对图像配准的效率及准确性低下。
发明内容
针对现有技术存在的问题，本发明提供一种基于过度形变抑制的PET与CT图像配准方法，能够实现PET/CT弹性配准，提高配准效率与准确性，降低对过度形变抑制的计算成本。
本发明的技术方案为：
一种基于过度形变抑制的PET与CT图像配准方法，其特征在于，包括下述步骤：
步骤1：采集m个患者的二维PET序列图像、二维CT序列图像，得到PET/CT序列图像集；
步骤2：对PET/CT序列图像集进行预处理，得到PET/CT图像块训练集；所述预处理包括计算SUV值与hu值并限制阈值范围、调整图像分辨率、生成图像块并进行归一化处理；
步骤3：基于3DU-Net卷积神经网络构建PET/CT配准网络；
步骤4：结合图像相似性约束项与过度形变抑制项，构造PET/CT配准网络的代价函数；所述相似性约束项为归一化互相关NCC，所述过度形变抑制项为基于位移矢量场元素与高斯分布函数元素间差值的惩罚项加和；
步骤5：初始化神经网络权重参数，设置批处理中批的大小N、正则化项权重λ、最大迭代次数COUNT、网络学习速率、优化器，采用学习率衰减策略；
步骤6：将PET/CT图像块训练集作为PET/CT配准网络的输入，输出位移矢量场，将位移矢量场和PET图像块共同输入到空间变换器，获取配准后的PET图像块，根据CT图像块和配准后的PET图像块获取相似性约束项、根据位移矢量场获取过度形变抑制项，从而通过代价函数更新神经网络权重参数，并进行反向传播，由此对PET/CT配准网络进行迭代训练，直至最大迭代次数COUNT，得到训练后的PET/CT配准网络；
步骤7：对待配准的PET/CT图像对进行步骤1中所述的预处理，将得到的PET/CT图像块对输入训练后的PET/CT配准网络中，生成配准后的PET图像块，并进行可视化。
所述步骤2包括下述步骤：
步骤2.1：计算二维PET序列图像的SUV值为SUV＝PixelsPET×LBM×1000/injecteddose
计算二维CT序列图像的hu值为Hu＝PixelsCT×slopes+intercepts
其中，PixelsPET为PET序列图像的像素值，LBM为瘦体重，injected dose为示踪剂注射剂量；PixelsCT为CT序列图像的像素值，slopes为斜率，intercepts为截距；
步骤2.2：对二维PET序列图像、二维CT序列图像进行增强图像对比度处理，调整hu值窗宽窗位为[a1，b1]，将SUV值限制在[a2，b2]内；其中，a1、b1、a2、b2均为常数；
步骤2.3：对二维CT序列图像进行调整图像分辨率处理，调整512×512的二维CT序列图像的尺寸至二维PET序列图像的尺寸H×W＝128×128；
步骤2.4：对第i个患者的二维PET序列图像、二维CT序列图像分别生成三维体数据[H，W，DPET，i]、[H，W，DCT，i]，将三维体数据变换成五维体数据[N，H，W，Di，C]，以d像素为采样间隔对五维体数据在Z方向上进行裁剪，生成多对H×W×D大小的图像块，对图像块进行归一化处理，得到图像块集，从图像块集中随机选取l对PET图像块和CT图像块形成PET/CT图像块训练集；其中，i∈{1，2，…，m}，DPET，i为第i个患者的PET序列图像的切片数量，DCT，i为第i个患者的CT序列图像的切片数量，DPET，i＝DCT，i＝Di；N为批处理中批的大小，C为输入神经网络数据的通道数，C＝2。
所述步骤2中，[a1，b1]＝[-90，300]，[a2，b2]＝[0，5]，d＝32，D＝64。
所述步骤2.4中，对图像块进行归一化处理的公式为
Figure BDA0002129709220000031
使图像块的数据变为均值为0且标准差为1的正态分布；其中，x、x*分别为图像块中归一化处理前、后的像素点，μ、σ分别为图像块中所有像素点的均值、标准差。
所述步骤3中，基于3DU-Net卷积神经网络构建PET/CT配准网络包括编码路径和解码路径，每一条路径均有4个分辨率级别；所述编码路径有n1层，所述编码路径的每一层均包括一个卷积核为3×3×3、步长为2的卷积层，每个卷积层都后接一个BN层和ReLU层；所述解码路径有n2层，所述解码路径的每一层均包括一个卷积核为3×3×3、步长为2的反卷积层，每个反卷积层都后接一个BN层和ReLU层；通过shortcut，将编码路径中相同分辨率的层传递到解码路径，为解码路径提供原始的高分辨率特征；所述PET/CT配准网络的最后一层为3×3×3的卷积层，最后输出通道数为3。
所述步骤4中，结合图像相似性约束项与过度形变抑制项，构造PET/CT配准网络的代价函数为
Figure BDA0002129709220000032
其中，F、M分别为CT图像块、PET图像块，Dv为位移矢量场矩阵，
Figure BDA0002129709220000033
为均值为μ、标准差为θ的高斯分布函数，λ为正则化项权重；
Figure BDA0002129709220000034
为相似性约束项
Figure BDA0002129709220000035
其中，S为子图，T为模板图像，(s，t)为坐标索引，S(s，t)为子图的像素值，T(s，t)为模板图像的像素值，E(S)、E(T)分别为子图、模板图像的平均灰度值；
Figure BDA0002129709220000041
为过度形变抑制项
Figure BDA0002129709220000042
其中，i为位移矢量场矩阵Dv中的元素，j为遵循高斯分布函数鶰的随机数，f(i，j，θ)为惩罚项，
Figure BDA0002129709220000043
本发明的有益效果为：
本发明基于3DU-Net卷积神经网络构建PET/CT配准网络，通过基于深度学习的无监督端到端3D弹性配准神经网络预测位移矢量场，对待配准图像进行逐体素的位移预测，并以归一化互相关为相似性约束项、结合过度形变抑制项对图像形变的抑制，构造PET/CT配准网络的代价函数，能够解决PET/CT图像本身相似度较低导致的配准过度形变问题，能够实现PET/CT弹性配准，提高配准效率与准确性，降低对过度形变抑制的计算成本。
附图说明
图1为本发明的基于过度形变抑制的PET与CT图像配准方法的流程图；
图2为本发明的基于过度形变抑制的PET与CT图像配准方法中PET/CT配准网络的结构示意图。
具体实施方式
下面将结合附图和具体实施方式，对本发明作进一步描述。
如图1所示，为本发明的基于过度形变抑制的PET与CT图像配准方法的流程图。本发明的基于过度形变抑制的PET与CT图像配准方法，其特征在于，包括下述步骤：
步骤1：采集m个患者的二维PET序列图像、二维CT序列图像，得到PET/CT序列图像集。
步骤2：对PET/CT序列图像集进行预处理，得到PET/CT图像块训练集；所述预处理包括计算SUV值与hu值并限制阈值范围、调整图像分辨率、生成图像块并进行归一化处理。
所述步骤2包括下述步骤：
步骤2.1：计算二维PET序列图像的SUV值为SUV＝PixelsPET×LBM×1000/injecteddose
计算二维CT序列图像的hu值为Hu＝PixelsCT×slopes+intercepts
其中，PixelsPET为PET序列图像的像素值，LBM为瘦体重，injected dose为示踪剂注射剂量；PixelsCT为CT序列图像的像素值，slopes为斜率，intercepts为截距；
步骤2.2：对二维PET序列图像、二维CT序列图像进行增强图像对比度处理，调整hu值窗宽窗位为[a1，b1]，将SUV值限制在[a2，b2]内；其中，a1、b1、a2、b2均为常数；
步骤2.3：对二维CT序列图像进行调整图像分辨率处理，调整512×512的二维CT序列图像的尺寸至二维PET序列图像的尺寸H×W＝128×128；
步骤2.4：对第i个患者的二维PET序列图像、二维CT序列图像分别生成三维体数据[H，W，DPET，i]、[H，W，DCT，i]，将三维体数据变换成五维体数据[N，H，W，Di，C]，以d像素为采样间隔对五维体数据在Z方向上进行裁剪，生成多对H×W×D大小的图像块，对图像块进行归一化处理，得到图像块集，从图像块集中随机选取l对PET图像块和CT图像块形成PET/CT图像块训练集；其中，i∈{1，2，…，m}，DPET，i为第i个患者的PET序列图像的切片数量，DCT，i为第i个患者的CT序列图像的切片数量，DPET，i＝DCT，i＝Di；N为批处理中批的大小，C为输入神经网络数据的通道数，C＝2。
本实施例中，m＝176；将PET、CT经过处理后的SUV、Hu值图像分别生成三维体数据存在ndarray中；所述步骤2中，[a1，b1]＝[-90，300]，[a2，b2]＝[0，5]，d＝32，D＝64。
对于全部176个患者，随机选择其中141名患者的体数据生成的l＝900对SUV、Hu值图像块作为PET/CT图像块训练集，选择其中35名患者的体数据生成的259对SUV、Hu值图像块作为验证集。
所述步骤2.4中，对图像块进行归一化处理的公式为
Figure BDA0002129709220000051
使图像块的数据变为均值为0且标准差为1的正态分布；其中，x、x*分别为图像块中归一化处理前、后的像素点，μ、σ分别为图像块中所有像素点的均值、标准差。
步骤3：基于3DU-Net卷积神经网络构建PET/CT配准网络，如图2所示。
本发明的PET/CT配准网络包括：(1)用来回归位移矢量场的3D U-Net；(2)进行空间变换的组件空间变换器(Spatial Transformer)。本实施例中，所述步骤3中，基于3DU-Net卷积神经网络构建PET/CT配准网络包括编码路径和解码路径，每一条路径均有4个分辨率级别；所述编码路径有n1层，所述编码路径的每一层均包括一个卷积核为3×3×3、步长为2的卷积层，每个卷积层都后接一个BN层和ReLU层；所述解码路径有n2层，所述解码路径的每一层均包括一个卷积核为3×3×3、步长为2的反卷积层，每个反卷积层都后接一个BN层和ReLU层；通过shortcut，将编码路径中相同分辨率的层传递到解码路径，为解码路径提供原始的高分辨率特征；所述PET/CT配准网络的最后一层为3×3×3的卷积层，最后输出通道数为3。
其中，BN层为批量归一化层，ReLU层为整流线性单元层，shortcut为跳跃连接。最后一层为3×3×3的卷积层，减少输出的通道数，最后输出通道数为3(即表示x、y、z三个方向)。
步骤4：结合图像相似性约束项与过度形变抑制项，构造PET/CT配准网络的代价函数；所述相似性约束项为归一化互相关NCC，所述过度形变抑制项为基于位移矢量场元素与高斯分布函数元素间差值的惩罚项加和。
其中，基于3D形变场的形变程度大小来定义“过度形变抑制”测度，在代价函数引入“过度形变抑制项”来优化配准网络。
所述步骤4中，结合图像相似性约束项与过度形变抑制项，构造PET/CT配准网络的代价函数为
Figure BDA0002129709220000061
其中，F、M分别为CT图像块、PET图像块，Dv为位移矢量场矩阵，
Figure BDA0002129709220000062
为均值为μ、标准差为θ的高斯分布函数，λ为正则化项权重；其中，F、M分别为固定图像块、浮动图像块；
Figure BDA0002129709220000063
为相似性约束项
Figure BDA0002129709220000064
其中，S为子图，T为模板图像，(s，t)为坐标索引，S(s，t)为子图的像素值，T(s，t)为模板图像的像素值，E(S)、E(T)分别为子图、模板图像的平均灰度值；
Figure BDA0002129709220000065
为过度形变抑制项
Figure BDA0002129709220000066
其中，i为位移矢量场矩阵Dv中的元素，j为遵循高斯分布函数鶰的随机数，f(i，j，θ)为惩罚项，
Figure BDA0002129709220000067
本实施例中，根据经验k被设置为2，当|i-j|＞θ时，惩罚项为|i-j|k，即通过k次幂放大惩罚项。
步骤5：采用全局变量初始化(global_variables_initializer)来初始化神经网络权重参数，设置批处理中批的大小N＝16、正则化项权重λ＝0.3、最大迭代次数COUNT＝1000、网络学习速率为0.001、优化器为Adam，采用学习率衰减策略。
步骤6：将PET/CT图像块训练集作为PET/CT配准网络的输入，输出位移矢量场，将位移矢量场和PET图像块共同输入到空间变换器，获取配准后的PET图像块，根据CT图像块和配准后的PET图像块获取相似性约束项、根据位移矢量场获取过度形变抑制项，从而通过代价函数更新神经网络权重参数，并进行反向传播，由此对PET/CT配准网络进行迭代训练，直至最大迭代次数COUNT，得到训练后的PET/CT配准网络。
其中，将一对128×128×64大小的PET/CT图像块作为3D U-Net网络的输入，输出相同分辨率大小的位移矢量场(128×128×64×3，分别对应x、y、z方向的位移)，将位移矢量场与PET图像块共同输入到空间变换器，输出得到配准后的PET图像块。
步骤7：对待配准的PET/CT图像对进行步骤1中所述的预处理，将得到的PET/CT图像块对输入训练后的PET/CT配准网络中，生成配准后的PET图像块，并进行可视化。
本实施例中，本发明的基于过度形变抑制的PET与CT图像配准方法运行在Intel内核的Windows10***环境中，基于Python和Tensorflow框架进行医学图像配准。本发明采用的基于深度学习的图像配准算法将图像配准转换为位移矢量场的回归问题，即预测来自一对图像的像素/体素之间的空间对应关系。图像配准通过3D U-Net卷积神经网络同时优化固定图像和浮动图像对之间的相似性约束项和位移矢量场过度形变抑制项来实现。定量和定性结果表明，使用本发明的配准方法进行3D PET/CT图像配准获得了良好的效果。其中，对于训练过的模型，给定一对新的PET/CT体数据，可以在10秒内通过一次正向计算获得配准结果。
显然，上述实施例仅仅是本发明的一部分实施例，而不是全部的实施例。上述实施例仅用于解释本发明，并不构成对本发明保护范围的限定。基于上述实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，也即凡在本申请的精神和原理之内所作的所有修改、等同替换和改进等，均落在本发明要求的保护范围内。

Claims (5)

1.一种基于过度形变抑制的PET与CT图像配准方法，其特征在于，包括下述步骤：
步骤1：采集m个患者的二维PET序列图像、二维CT序列图像，得到PET/CT序列图像集；
步骤2：对PET/CT序列图像集进行预处理，得到PET/CT图像块训练集；所述预处理包括计算SUV值与hu值并限制阈值范围、调整图像分辨率、生成图像块并进行归一化处理；
步骤3：基于3D U-Net卷积神经网络构建PET/CT配准网络；
步骤4：结合图像相似性约束项与过度形变抑制项，构造PET/CT配准网络的代价函数；所述相似性约束项为归一化互相关NCC，所述过度形变抑制项为基于位移矢量场元素与高斯分布函数元素间差值的惩罚项加和；
所述结合图像相似性约束项与过度形变抑制项，构造PET/CT配准网络的代价函数为：
Figure FDA0003947483700000011
其中，F、M分别为CT图像块、PET图像块，Dv为位移矢量场矩阵，
Figure FDA0003947483700000012
为均值为μ、标准差为θ的高斯分布函数，λ为正则化项权重；
Figure FDA0003947483700000013
为相似性约束项
Figure FDA0003947483700000014
其中，S为子图，T为模板图像，(s,t)为坐标索引，S(s,t)为子图的像素值，T(s,t)为模板图像的像素值，E(S)、E(T)分别为子图、模板图像的平均灰度值；
Figure FDA0003947483700000015
为过度形变抑制项
Figure FDA0003947483700000016
其中，i为位移矢量场矩阵Dv中的元素，j为遵循高斯分布函数
Figure FDA0003947483700000018
的随机数，f(i,j,θ)为惩罚项，
Figure FDA0003947483700000017
步骤5：初始化神经网络权重参数，设置批处理中批的大小N、正则化项权重λ、最大迭代次数COUNT、网络学习速率、优化器，采用学习率衰减策略；
步骤6：将PET/CT图像块训练集作为PET/CT配准网络的输入，输出位移矢量场，将位移矢量场和PET图像块共同输入到空间变换器，获取配准后的PET图像块，根据CT图像块和配准后的PET图像块获取相似性约束项、根据位移矢量场获取过度形变抑制项，从而通过代价函数更新神经网络权重参数，并进行反向传播，由此对PET/CT配准网络进行迭代训练，直至最大迭代次数COUNT，得到训练后的PET/CT配准网络；
步骤7：对待配准的PET/CT图像对进行步骤1中所述的预处理，将得到的PET/CT图像块对输入训练后的PET/CT配准网络中，生成配准后的PET图像块，并进行可视化。
2.根据权利要求1所述的基于过度形变抑制的PET与CT图像配准方法，其特征在于，所述步骤2包括下述步骤：
步骤2.1：计算二维PET序列图像的SUV值为SUV＝PixelsPET×LBM×1000/injecteddose
计算二维CT序列图像的hu值为Hu＝PtxelsCT×slOpeS+interCepts
其中，PixelsPET为PET序列图像的像素值，LBM为瘦体重，injecteddose为示踪剂注射剂量；PixelsCT为CT序列图像的像素值，slopes为斜率，intercepts为截距；
步骤2.2：对二维PET序列图像、二维CT序列图像进行增强图像对比度处理，调整hu值窗宽窗位为[a1,b1]，将SUV值限制在[a2,b2]内；其中，a1、b1、a2、b2均为常数；
步骤2.3：对二维CT序列图像进行调整图像分辨率处理，调整512×512的二维CT序列图像的尺寸至二维PET序列图像的尺寸H×W＝128×128；
步骤2.4：对第i个患者的二维PET序列图像、二维CT序列图像分别生成三维体数据[H,W,DPET,i]、[H,W,DCT,i]，将三维体数据变换成五维体数据[N,H,W,Di,C]，以d像素为采样间隔对五维体数据在Z方向上进行裁剪，生成多对H×W×D大小的图像块，对图像块进行归一化处理，得到图像块集，从图像块集中随机选取l对PET图像块和CT图像块形成PET/CT图像块训练集；其中，i∈{1,2,…，m}，DPET,i为第i个患者的PET序列图像的切片数量，DCT,i为第i个患者的CT序列图像的切片数量，DPET,i＝DCT,i＝Di；N为批处理中批的大小，C为输入神经网络数据的通道数，C＝2。
3.根据权利要求2所述的基于过度形变抑制的PET与CT图像配准方法，其特征在于，所述步骤2.2中，[a1,b1]＝[-90,300]，[a2,b2]＝[0,5]，d＝32，D＝64。
4.根据权利要求2所述的基于过度形变抑制的PET与CT图像配准方法，其特征在于，所述步骤2.4中，对图像块进行归一化处理的公式为
Figure FDA0003947483700000021
使图像块的数据变为均值为0且标准差为1的正态分布；其中，x、x*分别为图像块中归一化处理前、后的像素点，μ、σ分别为图像块中所有像素点的均值、标准差。
5.根据权利要求2至4中任一项所述的基于过度形变抑制的PET与CT图像配准方法，其特征在于，所述步骤3中，基于3D U-Net卷积神经网络构建PET/CT配准网络包括编码路径和解码路径，每一条路径均有4个分辨率级别；所述编码路径有n1层，所述编码路径的每一层均包括一个卷积核为3×3×3、步长为2的卷积层，每个卷积层都后接一个BN层和ReLU层；所述解码路径有n2层，所述解码路径的每一层均包括一个卷积核为3×3×3、步长为2的反卷积层，每个反卷积层都后接一个BN层和ReLU层；通过shortcut，将编码路径中相同分辨率的层传递到解码路径，为解码路径提供原始的高分辨率特征；所述PET/CT配准网络的最后一层为3×3×3的卷积层，最后输出通道数为3。
CN201910634301.2A 2019-07-15 2019-07-15 一种基于过度形变抑制的pet与ct图像配准方法 Active CN110363797B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910634301.2A CN110363797B (zh) 2019-07-15 2019-07-15 一种基于过度形变抑制的pet与ct图像配准方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910634301.2A CN110363797B (zh) 2019-07-15 2019-07-15 一种基于过度形变抑制的pet与ct图像配准方法

Publications (2)

Publication Number Publication Date
CN110363797A CN110363797A (zh) 2019-10-22
CN110363797B true CN110363797B (zh) 2023-02-14

Family

ID=68219107

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910634301.2A Active CN110363797B (zh) 2019-07-15 2019-07-15 一种基于过度形变抑制的pet与ct图像配准方法

Country Status (1)

Country Link
CN (1) CN110363797B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111260705B (zh) * 2020-01-13 2022-03-15 武汉大学 一种基于深度卷积神经网络的***mr图像多任务配准方法
CN111524170B (zh) * 2020-04-13 2023-05-26 中南大学 一种基于无监督深度学习的肺部ct图像配准方法
CN112598718B (zh) * 2020-12-31 2022-07-12 北京深睿博联科技有限责任公司 一种无监督多视角多模态智能眼镜图像配准方法及装置
CN113706451A (zh) * 2021-07-07 2021-11-26 杭州脉流科技有限公司 颅内动脉瘤识别检测的方法、装置、***和计算机可读存储介质
CN114511602B (zh) * 2022-02-15 2023-04-07 河南工业大学 基于图卷积Transformer的医学图像配准方法
CN114820432B (zh) * 2022-03-08 2023-04-11 安徽慧软科技有限公司 一种基于pet和ct弹性配准技术的放射治疗效果评估方法
CN115393527A (zh) * 2022-09-14 2022-11-25 北京富益辰医疗科技有限公司 基于多模影像与交互设备的解剖导航构建方法及装置
CN116740218B (zh) * 2023-08-11 2023-10-27 南京安科医疗科技有限公司 一种心脏ct成像图像质量优化方法、设备及介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107507234A (zh) * 2017-08-29 2017-12-22 北京大学 锥束计算机断层扫描图像与x光图像配准方法
CN108171738A (zh) * 2018-01-25 2018-06-15 北京雅森科技发展有限公司 基于脑功能模板的多模态医学图像配准方法
CN109074659A (zh) * 2016-05-04 2018-12-21 皇家飞利浦有限公司 医学图谱配准
CN109272443A (zh) * 2018-09-30 2019-01-25 东北大学 一种基于全卷积神经网络的pet与ct图像配准方法
CN109685811A (zh) * 2018-12-24 2019-04-26 北京大学第三医院 基于双路径U-net卷积神经网络的PET/CT高代谢***分割方法
CN109872332A (zh) * 2019-01-31 2019-06-11 广州瑞多思医疗科技有限公司 一种基于u-net神经网络的三维医学图像配准方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB0912845D0 (en) * 2009-07-24 2009-08-26 Siemens Medical Solutions Initialisation of registration using an anatomical atlas

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109074659A (zh) * 2016-05-04 2018-12-21 皇家飞利浦有限公司 医学图谱配准
CN107507234A (zh) * 2017-08-29 2017-12-22 北京大学 锥束计算机断层扫描图像与x光图像配准方法
CN108171738A (zh) * 2018-01-25 2018-06-15 北京雅森科技发展有限公司 基于脑功能模板的多模态医学图像配准方法
CN109272443A (zh) * 2018-09-30 2019-01-25 东北大学 一种基于全卷积神经网络的pet与ct图像配准方法
CN109685811A (zh) * 2018-12-24 2019-04-26 北京大学第三医院 基于双路径U-net卷积神经网络的PET/CT高代谢***分割方法
CN109872332A (zh) * 2019-01-31 2019-06-11 广州瑞多思医疗科技有限公司 一种基于u-net神经网络的三维医学图像配准方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Unsupervised learning for fast probabilistic diffeomorphic registration;Hessam Sokootil 等;《Medical lmage Computing and Computer Assisted Intervention -MICCAl 2017》;20170904;232-239 *
三维医学图像刚性配准新算法研究;陈明;《中国优秀博硕士学位论文全文数据库 (博士)医药卫生科技辑》;20031215(第04期);E080-5 *

Also Published As

Publication number Publication date
CN110363797A (zh) 2019-10-22

Similar Documents

Publication Publication Date Title
CN110363797B (zh) 一种基于过度形变抑制的pet与ct图像配准方法
CN109272443B (zh) 一种基于全卷积神经网络的pet与ct图像配准方法
US11756160B2 (en) ML-based methods for pseudo-CT and HR MR image estimation
JP7039153B2 (ja) 敵対的生成ネットワークを使用した画像強調
RU2709437C1 (ru) Способ обработки изображений, устройство обработки изображений и носитель данных
Lei et al. Learning‐based CBCT correction using alternating random forest based on auto‐context model
JP2021035502A (ja) 畳み込みニューラルネットワークを用いた画像セグメンテーションのためのシステムおよび方法
JP2022536107A (ja) 変形可能な層を有するＣｙｃｌｅＧＡＮを用いたｓＣＴ画像生成
CN115605915A (zh) 一种图像重建***和方法
CN113256753B (zh) 基于多任务学习约束的pet图像感兴趣区域增强重建方法
Song et al. Denoising of MR and CT images using cascaded multi-supervision convolutional neural networks with progressive training
CN114332287B (zh) 基于transformer特征共享的PET图像重建方法、装置、设备及介质
US11776128B2 (en) Automatic detection of lesions in medical images using 2D and 3D deep learning networks
Khagi et al. 3D CNN based Alzheimer’ s diseases classification using segmented Grey matter extracted from whole-brain MRI
CN110270015B (zh) 一种基于多序列MRI的sCT生成方法
Li et al. Modified kernel MLAA using autoencoder for PET-enabled dual-energy CT
Wang et al. IGNFusion: an unsupervised information gate network for multimodal medical image fusion
Imran et al. Personalized CT organ dose estimation from scout images
CN113205567A (zh) 基于深度学习的mri影像合成ct影像的方法
Mishra et al. Hybrid multiagent based adaptive genetic algorithm for limited view tomography using oppositional learning
Lei et al. Generative adversarial networks for medical image synthesis
US20230177746A1 (en) Machine learning image reconstruction
Martinot et al. High-particle simulation of monte-carlo dose distribution with 3D convlstms
Saadi et al. Blind restoration of radiological images using hybrid swarm optimized model implemented on FPGA.
Melodia Deep Learning Estimation of Absorbed Dose for Nuclear Medicine Diagnostics

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant