CN117611695A - 基于扩散模型的牙科锥束ct金属伪影校正方法及装置 - Google Patents
基于扩散模型的牙科锥束ct金属伪影校正方法及装置 Download PDFInfo
- Publication number
- CN117611695A CN117611695A CN202311274241.0A CN202311274241A CN117611695A CN 117611695 A CN117611695 A CN 117611695A CN 202311274241 A CN202311274241 A CN 202311274241A CN 117611695 A CN117611695 A CN 117611695A
- Authority
- CN
- China
- Prior art keywords
- metal
- cone beam
- image
- diffusion model
- dental cone
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 239000002184 metal Substances 0.000 title claims abstract description 148
- 238000000034 method Methods 0.000 title claims abstract description 94
- 238000009792 diffusion process Methods 0.000 title claims abstract description 68
- 238000012937 correction Methods 0.000 title claims abstract description 42
- 230000011218 segmentation Effects 0.000 claims abstract description 52
- 238000012545 processing Methods 0.000 claims description 30
- 230000008569 process Effects 0.000 claims description 26
- 238000004364 calculation method Methods 0.000 claims description 14
- 238000013527 convolutional neural network Methods 0.000 claims description 11
- 238000013528 artificial neural network Methods 0.000 claims description 9
- 238000012549 training Methods 0.000 claims description 8
- 230000000694 effects Effects 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 6
- 230000004913 activation Effects 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 3
- 238000002474 experimental method Methods 0.000 claims 1
- 230000000007 visual effect Effects 0.000 abstract description 11
- 238000005516 engineering process Methods 0.000 abstract description 7
- 230000007547 defect Effects 0.000 abstract description 5
- 230000001629 suppression Effects 0.000 abstract description 5
- 238000002591 computed tomography Methods 0.000 abstract description 3
- 238000013135 deep learning Methods 0.000 description 5
- 230000003993 interaction Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 239000007943 implant Substances 0.000 description 4
- 238000003745 diagnosis Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 230000000877 morphologic effect Effects 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 208000014151 Stomatognathic disease Diseases 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000001364 causal effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000003759 clinical diagnosis Methods 0.000 description 1
- 238000013170 computed tomography imaging Methods 0.000 description 1
- 238000004195 computer-aided diagnosis Methods 0.000 description 1
- 238000007408 cone-beam computed tomography Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 239000004053 dental implant Substances 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/003—Reconstruction from projections, e.g. tomography
- G06T11/008—Specific post-processing after tomographic reconstruction, e.g. voxelisation, metal artifact correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0475—Generative networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/09—Supervised learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/094—Adversarial learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30036—Dental; Teeth
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
本发明涉及一种基于扩散模型的牙科锥束CT金属伪影校正方法及装置，属于锥束计算机断层扫描技术领域；首先对牙科锥束CT进行正向投影操作，然后使用分割网络架构实现金属区域的自动分割，继续利用扩散模型填充金属区域信息。本发明采用扩散模型，可以有效地恢复金属伪影区域的缺失信息，校正金属伪影，提高牙科锥束CT图像的质量。最后，使用CT图像重建算法生成校正后的CT图像。解决了现有的牙科锥束CT金属伪影校正技术在自动化和二次伪影抑制方面都存在的技术缺陷；去除了图像中的噪声，改了善图像的视觉质量；可以有效地恢复金属伪影区域的缺失信息，校正金属伪影，提高了牙科锥束CT图像的质量。
Description
技术领域
本发明涉及一种基于扩散模型的牙科锥束CT金属伪影校正方法及装置，属于锥束计算机断层扫描技术领域。
背景技术
锥束计算机断层扫描(Computed Tomography,CT)在牙科诊断与治疗中，由患者口内金属假牙等植入物造成的图像伪影问题。
牙科锥束CT是现代牙科诊断的一个重要工具。这种设备利用X射线绕患者头部的一部分/全部旋转，生成三维的图像，能以很高的清晰度显示骨结构和牙齿的详细信息。这样的图像对于临床诊断，制定治疗计划，甚至进行手术的指导都非常有用。然而，牙科锥束CT图像的质量可能会受到很多因素的影响，其中一个主要的问题就是金属伪影。
金属伪影是指因为患者体内金属物体(如牙科种植体、矫正器等)对射线的过度吸收和散射作用，而在CT图像上产生的条纹、阴影等干扰效果。这些伪影会使图像的视觉质量下降，影响医生的诊断和治疗计划的制定。因此，对金属伪影的校正是牙科CT图像处理的一个重要问题。
目前，对金属伪影的校正主要依赖计算机的处理技术，已经发展出多种方法，包括迭代重建、正弦图补全和图像域后处理等。近年来，随着深度学习技术的发展，也出现了基于深度学习的金属伪影校正方法，包括正弦图域补全、图像域增强和双域增强三种。这些方法在某些情况下能够取得较好的效果，但仍存在一些问题，如计算时间长，需要的存储空间大，无法准确描绘金属伪影的复杂性，容易产生二次伪影，或者在无金属伪影的情况下效果不佳等。
例如，中国专利公开号CN110728729A，公开了一种基于注意力机制的无监督CT投影域数据恢复方法，该方法主要解决在计算机辅助诊断***中，如何恢复由金属植入物影响的正弦图问题，以提升医学影像质量，进而增强精准医疗能力。
该技术方案主要包括以下步骤：
1)准备包含受金属植入物影响的源正弦图和不受金属植入物影响的目标正弦图的输入数据集。
2)构建一个生成器模块，此模块由编码器A、辅助分类器B、注意特征矩阵计算模块、归一化处理层和上采样模块组成。这些组件协同工作，以生成目标域的正弦图。
3)构建一个判别器模块，包括编码器C、辅助分类器D和全局分类器FT，进行判别处理。
4)构建一个GAN网络损失函数。
5)使用完整的CT正弦图数据集对GAN网络进行大规模迭代训练，调整超参数数值、学习率和网络迭代次数，直到网络损失函数变化幅度不超过预设阈值。
6)使用受金属迹线影响的CT正弦图作为测试数据集，获取无金属迹线正弦图。
这个方法的主要优点在于，它利用注意力机制进行CT投影域无监督学习，通过辅助分类器和全局分类器判别正弦图金属区域，生成高质量的目标域正弦图。同时，大规模的CT正弦图数据集训练能有效处理各种CT投影。
然而，这种方法也存在一些限制。首先，它主要针对CT投影域数据处理，需要手动标定金属区域，这在实际操作中可能会带来一定的困难。其次，校正后的CT影像可能存在二次伪影的问题，这可能会影响结果的准确性。相较之下，本发明利用混合型卷积神经网络与视觉转换器分割网络实现自动金属区域分割，采用扩散模型实现金属区域信息的高精度填补，从而提高金属伪影的校正精度，是一种更优的技术方案。
因此，现有的牙科锥束CT金属伪影校正技术面临着几个重要的问题：
1)许多技术依赖于手动分割金属区域，这一过程耗时且可能导致校正结果的不一致。特别是在医疗实践中，由于病人的体质差异和影像采集设备的不同，金属伪影的表现形式和程度各异，这使得手动分割金属区域变得极其困难。此外，手动分割过程中可能因人为误差导致金属区域的定位不准确，从而影响到后续的伪影校正效果。因此，手动分割金属区域的方法在实践中的效果并不理想，甚至可能对伪影校正结果产生负面影响。
2)现有技术在处理金属伪影时，主要依赖于迭代或补全的方法，或者基于深度学习的方法。然而，这些方法在减少金属伪影和二次伪影上的能力有限。尽管深度神经网络具有强大的表达能力，能够在一定程度上改善图像质量，但在实际应用中，由于金属伪影的复杂性和多样性，这些方法往往难以达到理想的效果。特别是在图像域或者正弦图中，这些方法往往难以准确地分割出金属区域，容易产生二次伪影，且在无金属伪影的情况下效果不佳。
通过以上的因果关系推理，我们可以明确地看出，现有的牙科锥束CT金属伪影校正技术在自动化和二次伪影抑制方面都存在一定的技术缺陷。需要提出一种牙科锥束CT金属伪影校正方法以去除图像中的噪声，改善图像的视觉质量；可以有效地恢复金属伪影区域的缺失信息，校正金属伪影，提高牙科锥束CT图像的质量。
发明内容
本发明要解决的技术问题是：提供一种基于扩散模型的牙科锥束CT金属伪影校正方法及装置，解决现有的牙科锥束CT金属伪影校正技术在自动化和二次伪影抑制方面都存在的技术缺陷；可以去除图像中的噪声，改善图像的视觉质量；可以有效地恢复金属伪影区域的缺失信息，校正金属伪影，提高牙科锥束CT图像的质量。
本发明所述的一种基于扩散模型的牙科锥束CT金属伪影校正方法，包括：
步骤1、正向投影：首先对牙科锥束CT进行正向投影操作，获得正弦图；
步骤2、金属区域自动分割：在正弦图中，使用分割网络架构实现金属区域的自动分割；
步骤3、金属区域信息填补：在正弦图上利用扩散模型填充金属区域信息；
步骤4、生成：使用CT图像重建算法生成校正后的CT图像。
本发明首先对牙科锥束CT进行正向投影操作，然后使用分割网络架构实现金属区域的自动分割，继续利用扩散模型填充金属区域信息。扩散模型是一种最新的人工智能模型，在图像处理中，可以利用扩散模型去除图像中的噪声，改善图像的视觉质量。本发明采用扩散模型，可以有效地恢复金属伪影区域的缺失信息，校正金属伪影，提高牙科锥束CT图像的质量。最后，使用CT图像重建算法生成校正后的CT图像。解决了现有的牙科锥束CT金属伪影校正技术在自动化和二次伪影抑制方面都存在的技术缺陷；去除了图像中的噪声，改了善图像的视觉质量；可以有效地恢复金属伪影区域的缺失信息，校正金属伪影，提高了牙科锥束CT图像的质量。
优选的，所述步骤2中基于混合型卷积神经网络与视觉转换器的分割网络，包括：
输入处理：用于将带分割金属的图像转换成D维嵌入；
降采样：用于在各个阶段间减少空间分辨率；
卷积块：包括阶段一残差卷积块和阶段二残差卷积块；
分层注意力：用于交换局部和全局信息；
分层注意力组件迭代：用于进行全局信息传播；
输出计算：用于计算阶段的输出金属区域的分割结果。
使用基于混合型卷积神经网络与视觉转换器的分割网络实现金属区域的自动分割，以增强模型的鲁棒性和适应性。同时，基于分层注意力模块，可以有效捕捉局部区域的跨窗***互信息。且直接在投影域中进行金属区域校正，简化了处理流程，减少了计算时间和内存需求。
优选的，所述金属区域自动分割，使用基于混合型卷积神经网络与视觉转换器的分割网络架构实现金属区域的自动分割，具体包括如下步骤：
步骤21、输入处理：带分割金属的图像通过两个连续的3x3卷积层，每个步长为2，转换成D维嵌入；这些嵌入标记在每次卷积后进一步批量标准化，并使用ReLU激活函数；
步骤22、降采样处理：空间分辨率通过降采样模块在各个阶段间减少2倍，在空间特征上应用2D层标准化，然后是一个3x3的卷积层，步长为2；
步骤23、卷积块处理：进行阶段一和阶段二密集的残差卷积块处理；
步骤24、分层注意力处理：首先将输入特征图划分为n×n的局部窗口，然后对每个窗口进行池化以产生一些特征标记，这些特征标记代表了其相应的局部窗口的摘要；然后，将特征标记和局部窗口标记连接起来，使每个局部窗口只能访问其对应的特征标记；最后，对这些连接的标记进行自我注意力操作，交换局部和全局信息；
步骤25、分层注意力组件迭代处理：在阶段三中的一些层中反复应用步骤24，并在阶段三结束时进行全局信息传播；
步骤26、输出计算：将特征标记和局部窗口标记分开，并在阶段四的分层注意力处理中使用，计算阶段的输出金属区域的分割结果。
优选的，所述扩散模型包括正向扩散方法和在生成时使用的反向去噪方法。
通过扩散模型实现高精度的伪影校正，提供了优于现有技术的金属伪影校正性能。
优选的，所述正向扩散方法在T次迭代中逐步地向正弦图P0添加高斯噪声得到纯噪声PT，具体公式如下：
其中，βt∈(0,1)，是约束步长T的超参数；表示以为均值，βtI为方差的高斯分布；
正弦图P0随着步长t的增大而逐渐失去其可辨别的特征，最终当T→∞时，PT相当于一个各向同性的高斯分布。
优选的，所述正向扩散方法通过每一步的前向过程边缘化，实现从正弦图P0一步推导至Pt，公式如下：
其中，αi＝1-βi。
优选的，所述反向去噪方法使用神经网络pθ(Pt-1|Pt)拟合逆向过程q(Pt-1|Pt)，公式如下：
pθ(Pt-1|Pt)＝N(Pt-1|μθ(Pt,t),∑θ(Pt,t))
其中，μθ、∑θ(Pt,t)分别代表均值和协方差，使用U-Net来拟合均值μθ，从而得到Pt-1以及
优选的，所述扩散模型的训练过程如下：
从数据中抽取一个样本P0；
从1至T中随机选取一个时间t；
将P0和t传入正向扩散过程，并采样一个随机高斯噪声∈加到P0，形成Pt，即 然后将Pt和t输入至U-Net(∈θ)，U-Net根据t生成正弦位置编码和Pt结合，U-Net预测正向过程加入的噪声，并返回噪声/>
将U-Net预测的噪声与之前前向过程采样的随机噪声计算L2损失:
并计算梯度，更新权重；
重复以上步骤，直到网络U-Net训练完成。
优选的，所述金属区域信息填补，具体包括如下步骤：
步骤31、从标准正态分布采样出PT；
步骤32、从T,T-1,…,2,1依次重复以下步骤:
从标准正态分布采样z为重参数化做准备；
根据模型求出∈θ结合Pt和采样得到的z利用重参数化技巧，得到Pt-1：
步骤33、循环结束后返回去噪图像P0。
优选的，所述生成根据得到的去噪后的图像P0使用FDK算法进行重建，得到校正后的CT图像。
本发明所述的一种基于扩散模型的牙科锥束CT金属伪影校正实验装置，应用于上述的基于扩散模型的牙科锥束CT金属伪影校正方法，包括：
正向投影模块：用于对牙科锥束CT进行正向投影操作，获得正弦图；
金属区域自动分割模块：用于在正弦图中，使用分割网络架构实现金属区域的自动分割；
金属区域信息填补模块：用于在正弦图上利用扩散模型填充金属区域信息；
生成模块：用于使用重建算法生成校正后的CT图像。
与现有技术相比，本发明具有以下有益效果：
1)通过使用混合型卷积神经网络与视觉转换器分割网络架构自动分割金属区域，并利用扩散模型在正弦投影图上有效填充金属区域信息，实现高精度校正，以提高牙科锥束CT图像质量。
2)基于混合型卷积神经网络与视觉转换器的分割网络采用分层注意力模块，可以有效捕捉局部区域的跨窗***互信息。与现有的技术相比，我们提出的自动分割方法在多尺度金属图像分割性能表现优越，并避免了对金属区域预设条件的依赖，从而增强了模型的鲁棒性和适应性。
3)自动分割后的金属区域使用基于扩散模型的方法进行信息填充，这种方法有效地填补了被金属影响的区域，可以有效减小二次伪影和形态信息失真的问题。对比现有的插值法，本方法能更好地满足CT成像的几何约束，使得校正后的图像具备高质量、高精度和可靠性。
附图说明
图1是本发明所述一种基于扩散模型的牙科锥束CT金属伪影校正方法的流程图；
图2是本发明所述一种基于混合型卷积神经网络与视觉转换器的分割网络框架。
具体实施方式
为了更清楚地说明本发明实施例或技术方案，下面将对实施例或技术方案描述作简单地介绍，显而易见地，下面描述仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些实施例获得其他的实施例。
实施例1
本实施例公开了一种基于扩散模型的牙科锥束CT金属伪影校正方法，首先对牙科锥束CT进行正向投影操作，然后使用分割网络架构实现金属区域的自动分割，继续利用扩散模型填充金属区域信息。扩散模型是一种最新的人工智能模型，在图像处理中，可以利用扩散模型去除图像中的噪声，改善图像的视觉质量。本发明采用扩散模型，可以有效地恢复金属伪影区域的缺失信息，校正金属伪影，提高牙科锥束CT图像的质量。最后，使用CT图像重建算法生成校正后的CT图像。解决了现有的牙科锥束CT金属伪影校正技术在自动化和二次伪影抑制方面都存在的技术缺陷；去除了图像中的噪声，改了善图像的视觉质量；可以有效地恢复金属伪影区域的缺失信息，校正金属伪影，提高了牙科锥束CT图像的质量。
具体的，牙科锥束CT是一种用于口腔和颌面部特殊部位的三维成像技术。锥束CT采用锥形的X射线束，通过旋转和投影成像，获取病人牙齿、颌骨等部位的三维结构信息，对于诊断和治疗牙齿疾病、颌骨疾病具有重要意义。
在医学影像中，伪影是影像中的非实际存在的结构或扭曲。金属伪影指的是在放射成像过程中，金属物质的存在造成的影像质量降低、图像失真，例如出现条纹、阴影等现象。
如图1所示，具体包括如下步骤：
步骤1、正向投影：首先对牙科锥束CT进行正向投影操作，获得正弦图。
在此，正弦图是CT图像重建过程中的一种中间数据表示，正弦图补全是一种修复金属区域信息缺失的方法，通过插值或其他恢复技术填充缺失的数据。
步骤2、金属区域自动分割：在正弦图中，使用分割网络架构实现金属区域的自动分割。
具体的，所述步骤2中基于混合型卷积神经网络与视觉转换器的分割网络，如图2所示，包括：
输入处理：用于将带分割金属的图像转换成D维嵌入；
降采样：用于在各个阶段间减少空间分辨率；
卷积块：包括阶段一残差卷积块和阶段二残差卷积块；
分层注意力：用于交换局部和全局信息；
分层注意力组件迭代：用于进行全局信息传播；
输出计算：用于计算阶段的输出金属区域的分割结果。
使用基于混合型卷积神经网络与视觉转换器的分割网络实现金属区域的自动分割，以增强模型的鲁棒性和适应性。同时，基于分层注意力模块，可以有效捕捉局部区域的跨窗***互信息。且直接在投影域中进行金属区域校正，简化了处理流程，减少了计算时间和内存需求。
为了实现更好的的金属区域自动分割，使用基于混合型卷积神经网络与视觉转换器的分割网络架构实现金属区域的自动分割，具体包括如下步骤：
步骤21、输入处理：带分割金属的图像通过两个连续的3x3卷积层，每个步长为2，转换成D维嵌入。这些嵌入标记在每次卷积后进一步批量标准化，并使用ReLU激活函数。
步骤22、降采样处理：空间分辨率通过降采样模块在各个阶段间减少2倍。我们在空间特征上应用2D层标准化，然后是一个3x3的卷积层，步长为2。
步骤23、卷积块处理：阶段一和阶段二由残差卷积块组成，这些卷积是密集的。
卷积神经网络是一种深度学习算法，主要用于处理图像等高维数据。它通过卷积层、池化层等特殊结构，能够自动学习并抽取图像中的特征，更好地理解和识别图像内容。就像人的大脑一样，逐层提取图像的边缘、形状、纹理等信息，从而完成对图像的识别和理解。深度学习是机器学习中的一种，通过建立深层次的神经网络模型，能够学习并表示数据中的高级抽象特征。
步骤24、分层注意力处理：我们首先将输入特征图划分为n×n的局部窗口，然后对每个窗口进行池化以产生一些特征标记。这些特征标记代表了其相应的局部窗口的摘要。然后，我们将特征标记和局部窗口标记连接起来，使每个局部窗口只能访问其对应的特征标记。然后，我们对这些连接的标记进行自我注意力操作，以便在不增加计算成本的情况下交换局部和全局信息。
步骤25、分层注意力组件迭代处理：我们在阶段中的一些层中反复应用这些步骤。为了进一步增强长程交互，我们在阶段结束时进行全局信息传播。
步骤26、输出计算：我们将特征标记和局部窗口标记分开，并在后续的分层注意力层中使用。最后，我们计算阶段的输出金属区域的分割结果。
当然，本实施例使用的是基于混合型卷积神经网络与视觉转换器的分割网络进行金属区域的自动分割，这种网络架构注重上下文信息，确实能达到很好的效果。然而，我们也可以考虑使用其他的网络架构来达成同样的目的，例如Mask R-CNN、TransUnet等，这些都是表现出色的网络架构，也可以实现对金属区域的自动分割。
步骤3、金属区域信息填补：在正弦图上利用扩散模型填充金属区域信息。
本发明使用扩散模型(Diffusion models)来对缺失的金属区域信息进行填补。扩散模型包括正向扩散过程和在生成时使用的反向去噪过程。正向扩散过程是一个马尔可夫过程，在T次迭代中逐步地向正弦图P0添加高斯噪声得到纯噪声PT。前向过程中图像Pt只和上一时刻的Pt-1有关。
其中βt∈(0,1)，是约束步长T的超参数。表示以/>为均值，βtI为方差的高斯分布。正弦图P0随着步长t的增大而逐渐失去其可辨别的特征。最终当T→∞时，PT相当于一个各向同性的高斯分布。注意，我们也可以将每一步的前向过程边缘化，实现从正弦图P0一步推导至Pt：
其中，αi＝1-βi。正向过程的高斯参数化Pt-1后验分布的封闭形式公式为：
q(Pt-1|Pt,P0)＝N(Pt-1|μ,σ2I)
其中这一结果在推理过程中被证明是非常有帮助。
逆向过程是一个反向去噪过程。如果得到逆向过程q(Pt-1|Pt)，就可以通过随机噪声PT逐步还原出原始图像。我们使用神经网络pθ(Pt-1|Pt)拟合逆向过程q(Pt-1|Pt)。由q(Pt-1|Pt,P0)＝N(Pt-1|μ,σ2I)可以推导出pθ(Pt-1|Pt)＝N(Pt-1|μθ(Pt,t),∑θ(Pt,t))。其中，μθ、∑θ(Pt,t)分别代表均值和协方差。在这里，我们使用U-Net来拟合均值μθ，从而得到Pt-1以及 无论在前向过程还是反向过程，U-Net都是根据当前的样本和时间t预测噪声。
扩散模型训练的过程如下：
从数据中抽取一个样本P0；
从1至T中随机选取一个时间t；
将P0和t传入前向扩散过程，并采样一个随机高斯噪声∈加到P0，形成Pt，即 然后将Pt和t输入至U-Net(∈θ)，U-Net根据t生成正弦位置编码和Pt结合，U-Net预测前向过程加入的噪声，并返回噪声/>
将U-Net预测的噪声与之前前向过程采样的随机噪声计算L2损失:
并计算梯度，更新权重。
重复以上步骤，直到网络U-Net训练完成。
扩散模型前向推理的过程如下：
从标准正态分布采样出PT；
从T,T-1,…,2,1依次重复以下步骤:；
从标准正态分布采样z为重参数化做准备。
根据模型求出∈θ结合Pt和采样得到的z利用重参数化技巧，得到Pt-1：
循环结束后返回去噪图像P0。
当然，在实施例中，我们使用的是基于扩散模型的方法进行金属区域信息的填补，这种方法能有效地填补金属区域的信息，减小二次伪影和形态信息失真的问题。然而，我们也可以考虑使用其他的方法，如基于像素或者区域的插值方法、基于统计的方法等进行金属区域信息的填补。
步骤4、生成：根据得到的去噪后的图像P0使用FDK算法进行重建，得到校正后的CT图像。
FDK是一种常用的CT图像重建算法，由Feldkamp,Davis和Kress提出，该算法基于滤波反投影原理，对于锥束CT影像重建非常适用。当然，在本实施例中，我们采用的是FDK算法进行图像的重建，这是一种常用的三维重建算法，可以生成高质量的图像。然而，我们也可以考虑使用其他的重建算法，例如迭代重建，这些算法也可以实现高质量的图像重建。
本实施例所述的一种基于扩散模型的牙科锥束CT金属伪影校正方法，具有如下优势：
1)使用基于混合型卷积神经网络与视觉转换器的分割网络实现金属区域的自动分割，以增强模型的鲁棒性和适应性。同时，基于分层注意力模块，可以有效捕捉局部区域的跨窗***互信息。
2)在正弦图上，利用基于扩散模型的方法填充金属区域的信息，以减小二次伪影和形态信息失真的问题，提高图像质量。
3)本实施例直接在投影域中进行金属区域校正，简化了处理流程，减少了计算时间和内存需求。
4)通过扩散模型实现高精度的伪影校正，提供了优于现有技术的金属伪影校正性能。
实施例2
本实施例公开了一种基于扩散模型的牙科锥束CT金属伪影校正实验装置，应用于实施例1所述的基于扩散模型的牙科锥束CT金属伪影校正方法，包括：
正向投影模块：用于对牙科锥束CT进行正向投影操作，获得正弦图；
金属区域自动分割模块：用于在正弦图中，使用分割网络架构实现金属区域的自动分割；
金属区域信息填补模块：用于在正弦图上利用扩散模型填充金属区域信息；
生成模块：用于使用重建算法生成校正后的CT图像。
上述实施例仅仅是对本发明的优选实施例进行描述，而不是限定性的，因此本发明并不限于具体实施方式中所述的实施例，凡是由本领域技术人员根据本发明的技术方案得出的其他实施方式，同样属于本发明保护的范围。
Claims (11)
1.一种基于扩散模型的牙科锥束CT金属伪影校正方法，其特征在于，包括：
步骤1、正向投影：首先对牙科锥束CT进行正向投影操作，获得正弦图；
步骤2、金属区域自动分割：在正弦图中，使用分割网络架构实现金属区域的自动分割；
步骤3、金属区域信息填补：在正弦图上利用扩散模型填充金属区域信息；
步骤4、生成：使用CT图像重建算法生成校正后的CT图像。
2.根据权利要求1所述的基于扩散模型的牙科锥束CT金属伪影校正方法，其特征在于，所述步骤2中基于混合型卷积神经网络与视觉转换器的分割网络，包括：
输入处理：用于将带分割金属的图像转换成D维嵌入；
降采样：用于在各个阶段间减少空间分辨率；
卷积块：包括阶段一残差卷积块和阶段二残差卷积块；
分层注意力：用于交换局部和全局信息；
分层注意力组件迭代：用于进行全局信息传播；
输出计算：用于计算阶段的输出金属区域的分割结果。
3.根据权利要求2所述的基于扩散模型的牙科锥束CT金属伪影校正方法，其特征在于，所述金属区域自动分割，使用基于混合型卷积神经网络与视觉转换器的分割网络架构实现金属区域的自动分割，具体包括如下步骤：
步骤21、输入处理：带分割金属的图像通过两个连续的3x3卷积层，每个步长为2，转换成D维嵌入；这些嵌入标记在每次卷积后进一步批量标准化，并使用ReLU激活函数；
步骤22、降采样处理：空间分辨率通过降采样模块在各个阶段间减少2倍，在空间特征上应用2D层标准化，然后是一个3x3的卷积层，步长为2；
步骤23、卷积块处理：进行阶段一和阶段二密集的残差卷积块处理；
步骤24、分层注意力处理：首先将输入特征图划分为n×n的局部窗口，然后对每个窗口进行池化以产生一些特征标记，这些特征标记代表了其相应的局部窗口的摘要；然后，将特征标记和局部窗口标记连接起来，使每个局部窗口只能访问其对应的特征标记；最后，对这些连接的标记进行自我注意力操作，交换局部和全局信息；
步骤25、分层注意力组件迭代处理：在阶段三中的一些层中反复应用步骤24，并在阶段三结束时进行全局信息传播；
步骤26、输出计算：将特征标记和局部窗口标记分开，并在阶段四的分层注意力处理中使用，计算阶段的输出金属区域的分割结果。
4.根据权利要求1所述的基于扩散模型的牙科锥束CT金属伪影校正方法，其特征在于，所述扩散模型包括正向扩散方法和在生成时使用的反向去噪方法。
5.根据权利要求4所述的基于扩散模型的牙科锥束CT金属伪影校正方法，其特征在于，所述正向扩散方法在T次迭代中逐步地向正弦图P0添加高斯噪声得到纯噪声PT，具体公式如下：
其中，βt∈(0,1)，是约束步长T的超参数；表示以/>为均值，βtI为方差的高斯分布；
正弦图P0随着步长t的增大而逐渐失去其可辨别的特征，最终当T→∞时，PT2相当于一个各向同性的高斯分布。
6.根据权利要求4所述的基于扩散模型的牙科锥束CT金属伪影校正方法，其特征在于，所述正向扩散方法通过每一步的前向过程边缘化，实现从正弦图P0一步推导至Pt，公式如下：
其中，αi＝1-βi。
7.根据权利要求4所述的基于扩散模型的牙科锥束CT金属伪影校正方法，其特征在于，所述反向去噪方法使用神经网络pθ(Pt-1|Pt)拟合逆向过程q(Pt-1|Pt)，公式如下：
pθ(Pt-1|Pt)＝N(Pt-1|μθ(Pt,t),∑θ(Pt,t))
其中，μθ、∑θ(Pt,t)分别代表均值和协方差，使用U-Net来拟合均值μθ，从而得到Pt-1以及
8.根据权利要求5所述的基于扩散模型的牙科锥束CT金属伪影校正方法，其特征在于，所述扩散模型的训练过程如下：
从数据中抽取一个样本P0；
从1至T中随机选取一个时间t；
将P0和t传入正向扩散过程，并采样一个随机高斯噪声∈加到P0，形成Pt，即 然后将Pt和t输入至U-Net(∈θ)，U-Net根据t生成正弦位置编码和Pt结合，U-Net预测正向过程加入的噪声，并返回噪声/>
将U-Net预测的噪声与之前前向过程采样的随机噪声计算L2损失:
并计算梯度，更新权重；
重复以上步骤，直到网络U-Net训练完成。
9.根据权利要求7所述的基于扩散模型的牙科锥束CT金属伪影校正方法，其特征在于，所述金属区域信息填补，具体包括如下步骤：
步骤31、从标准正态分布采样出PT；
步骤32、从T,T-1,…,2,1依次重复以下步骤:
从标准正态分布采样z为重参数化做准备；
根据模型求出∈θ结合Pt和采样得到的z利用重参数化技巧，得到Pt-1：
步骤33、循环结束后返回去噪图像P0。
10.根据权利要求8所述的基于扩散模型的牙科锥束CT金属伪影校正方法，其特征在于，所述生成根据得到的去噪后的图像P0使用FDK算法进行重建，得到校正后的CT图像。
11.一种基于扩散模型的牙科锥束CT金属伪影校正实验装置，应用于权利要求1-9任一项所述的基于扩散模型的牙科锥束CT金属伪影校正方法，其特征在于，包括：
正向投影模块：用于对牙科锥束CT进行正向投影操作，获得正弦图；
金属区域自动分割模块：用于在正弦图中，使用分割网络架构实现金属区域的自动分割；
金属区域信息填补模块：用于在正弦图上利用扩散模型填充金属区域信息；
生成模块：用于使用重建算法生成校正后的CT图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311274241.0A CN117611695A (zh) | 2023-09-28 | 2023-09-28 | 基于扩散模型的牙科锥束ct金属伪影校正方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311274241.0A CN117611695A (zh) | 2023-09-28 | 2023-09-28 | 基于扩散模型的牙科锥束ct金属伪影校正方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117611695A true CN117611695A (zh) | 2024-02-27 |
Family
ID=89958460
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311274241.0A Pending CN117611695A (zh) | 2023-09-28 | 2023-09-28 | 基于扩散模型的牙科锥束ct金属伪影校正方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117611695A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118115623A (zh) * | 2024-04-30 | 2024-05-31 | 华中科技大学同济医学院附属协和医院 | 一种基于双域联合的dsa去伪影成像方法及*** |
-
2023
- 2023-09-28 CN CN202311274241.0A patent/CN117611695A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118115623A (zh) * | 2024-04-30 | 2024-05-31 | 华中科技大学同济医学院附属协和医院 | 一种基于双域联合的dsa去伪影成像方法及*** |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110009669B (zh) | 一种基于深度强化学习的3d/2d医学图像配准方法 | |
| CN110728729B (zh) | 一种基于注意机制的无监督ct投影域数据恢复方法 | |
| US20170150937A1 (en) | Method and apparatus for reducing artefacts in computed tomography images | |
| CN112614169B (zh) | 基于深度学习网络的2d/3d脊椎ct层级配准方法 | |
| CN112598649B (zh) | 基于生成对抗网络的2d/3d脊椎ct非刚性配准方法 | |
| WO2023202265A1 (zh) | 用于伪影去除的图像处理方法、装置、设备、产品和介质 | |
| Zhu et al. | Metal artifact reduction for X-ray computed tomography using U-net in image domain | |
| CN110599530B (zh) | 基于双正则约束的mvct图像纹理增强方法 | |
| CN113226181B (zh) | 在x射线锥形束计算机断层扫描中校准x射线投影几何形状的方法 | |
| CN112150473A (zh) | 基于ct的三维颌骨图像分割建模方法、装置及终端设备 | |
| JP2017221339A (ja) | Ｘ線ｃｔ画像再構成方法およびコンピュータプログラム | |
| CN117011318A (zh) | 一种牙齿ct图像三维分割方法、***、设备及介质 | |
| KR20210137281A (ko) | 3d 인공신경망 네트워크 기반 콘빔 아티팩트 보정 시스템 및 방법 | |
| CN116402954A (zh) | 一种基于深度学习的脊柱三维结构的重建方法 | |
| Cunha et al. | A method for segmentation of dental implants and crestal bone | |
| Varghese et al. | Segmentation and three dimensional visualization of mandible using active contour and visualization toolkit in craniofacial computed tomography images | |
| CN117611695A (zh) | 基于扩散模型的牙科锥束ct金属伪影校正方法及装置 | |
| CN114202464B (zh) | 基于深度学习的x射线ct局部高分辨率成像方法及装置 | |
| Zhu et al. | CT metal artifact correction assisted by the deep learning-based metal segmentation on the projection domain | |
| CN113689454A (zh) | 基于卷积神经网络的3d ct椎体分割算法 | |
| Choi et al. | Dual Domain Diffusion Guidance for 3D CBCT Metal Artifact Reduction | |
| Alam et al. | Generalizable cone beam ct esophagus segmentation using in silico data augmentation | |
| CN114494498B (zh) | 一种基于双域傅里叶神经网络的金属伪影去除方法 | |
| US20230281842A1 (en) | Generation of 3d models of anatomical structures from 2d radiographs | |
| US20240071052A1 (en) | Method and system for removing foreign material from images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |