CN114998154A - 基于transformer和多尺度特征的低剂量CT图像去噪方法 - Google Patents

基于transformer和多尺度特征的低剂量CT图像去噪方法 Download PDF

Info

Publication number
CN114998154A
CN114998154A CN202210759046.6A CN202210759046A CN114998154A CN 114998154 A CN114998154 A CN 114998154A CN 202210759046 A CN202210759046 A CN 202210759046A CN 114998154 A CN114998154 A CN 114998154A
Authority
CN
China
Prior art keywords
image
frequency
low
feature
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210759046.6A
Other languages
English (en)
Inventor
张聚
上官之博
马栋
孙晓燕
周同雪
程芸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Normal University
Original Assignee
Hangzhou Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Normal University filed Critical Hangzhou Normal University
Priority to CN202210759046.6A priority Critical patent/CN114998154A/zh
Publication of CN114998154A publication Critical patent/CN114998154A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10081Computed x-ray tomography [CT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种基于transformer和多尺度特征的低剂量CT图像去噪方法。本发明在Unet结构的网络中加入transformer模块,同时将使用高斯滤波器将图像分为高频,低频两个部分输入两个并行的网络,利用低频图像的纹理信息来对图像纹理细节的增强和去除高频图像的噪声。使用高频图像域信息来增强图像纹理。本发明能够良好捕获全局信息和远程特征交互,增强了网络对于图像的细节纹理保留效果。从而利用更丰富的信息,增强了对于噪声的提取效果。

Description

基于transformer和多尺度特征的低剂量CT图像去噪方法
技术领域
本发明属于医学图像去噪技术领域,涉及一种基于transformer和多尺度特征的低剂量CT图像去噪方法。
背景技术
在医学领域中,医学图像处理技术越来越多的被用于治疗规划和疾病诊断中。目前被广泛应用于临床和诊断的医学影像技术主要有核磁共振(MRI)、计算机断层扫描(CT)等技术。尽管CT在诊断疾病中发挥着至关重要的作用,但CT的广泛使用越来越引起公众对其安全性的关注,因为与CT相关的x射线辐射可能不可避免地造成对人类健康的损害并诱发癌症。因此,将CT的辐射剂量降低到合理可达到的水平是过去几十年在ct相关研究中被广泛接受的原则。LDCT(低剂量CT图像)由于其减少x射线辐射的潜力而得到了广泛关注。然而,与NDCT(正常剂量CT图像)相比,LDCT图像在临床应用时存在严重的噪声和伪影。然而,辐射剂量的减少不可避免地会将噪声和伪影引入重建图像,严重影响后续诊断和其他任务。
近年来,深度学***移等价性和局部性。而transformer虽然不并具备这些优势,但是transformer的核心self-attention(自注意层)的优势是不像卷积那样有固定且有限的感受野,自注意操作可以获得全局信息,相比之下CNN(卷积神经网络)要通过不断堆积卷积层来获取更大的感受野。在现有的很多研究工作中,transformer模型在计算机视觉中表现出了优异的性能。
发明内容
本发明的目的就是提供一种基于transformer和多尺度特征的低剂量CT图像去噪方法,提高低剂量CT图像的去噪效果,在以往采用的单一卷积神经网络结构的低剂量CT图像去噪方法中,主要集中于卷积层对特征信息的提取和对网络结构的优化,单一的卷积神经网络没有记忆功能,浅层像素级信息在池化过程中会大量丢失,导致去噪后的图像仍带有残留噪声,同时也带来了参数量增加、计算量加大和时间消耗多等问题,且网络更加复杂,训练难度增加。并且在模型训练时神经网络不能充分获取图片信息。为了提高网络的去噪能力,本发明在Unet(编码器-解码器)结构的网络中加入transformer模块,同时将使用高斯滤波器将图像分为高频,低频两个部分输入两个并行的网络,利用低频图像的纹理信息来对图像纹理细节的增强和去除高频图像的噪声。
本发明将图像分为高频和低频图像域分别处理,使用高频图像域信息来增强图像纹理。在编码器-解码器结构的网络中添加transformer模块,能够良好捕获全局信息和远程特征交互,从而利用更丰富的信息,在去噪方面达到了更好的效果。
本发明具体步骤如下:
步骤一、构建去噪网络,具体为:
步骤1、低剂量CT图像的高斯滤波分解:将原始图像经过滤波器分解后获得高频和低频图像信息;
步骤2、构建transformer模块:
在编码器-解码器结构的网络中,使用Swin Transformer来代替传统的卷积层作为信息提取模块。Swin Transformer Block包括窗口多头自注意层W-MSA和移位窗口多头自注意层SW-MSA。输入到该层的特征zl-1先经过LN进行归一化,再经过W-MSA进行特征的学习,再通过残差连接得到
Figure BDA0003720474410000021
然后是一个LN,一个MLP以及一个残差连接,得到这一层的输出特征zl。SW-MSA层的结构和W-MSA层类似,不同的是计算特征部分分别使用了SW-MSA和W-MSA。
表示为:
Figure BDA0003720474410000022
Figure BDA0003720474410000023
步骤3、利用低频图像的纹理信息通过跳跃连接来反馈到高频图像中,最后得到输出图像,具体为:
步骤3.1、低频图像信息网络路径搭建:
采用patch mergeing图像块合并来对输入特征进行下采样,输入图像块被分为四部分,通过图像块合并层连接在一起,使特征分辨率下降2倍,特征维数增加了4倍,在拼接的特征上加一个线性层,将特征维数统一为原始维数的2倍。再将得到的特征输入transformer模块的进行特征提取,得到的结果作为下一层的输入,以及通过跳跃连接输入高频图像的解码器对应部分。
步骤3.2、高频图像信息网络路径搭建:
首先输入的高频图像信息进入卷积模块进行特征提取,卷积模块由三个连续的卷积层构成,图像经过卷积层后得到输出的高级特征,将卷积模块的输出进行线性投影之后再进行Patch Embedding图像块嵌入,将特征图序列化并加上位置编码,最后输入transformer模块,经过三个连续的transformer模块后输出特征图;
在特征图上加一个线性层,将特征维数增加到原始维数的2倍,再利用重排操作将输入特征的分辨率扩展为输入分辨率的2倍,特征维数降低为1/4即原始输入的一半。得到的特征作为transformer模块的输入进行特征提取,再进入下一个上采样模块,连续3次这样的操作最后得到输出图像。
步骤二、数据集预处理:将采集的数据分为测试集和训练集,并通过随机旋转和翻转生成更多的训练图像。
步骤三、训练去噪网络并更新参数:将训练集中图像输入去噪网络中,利用低频图像的纹理信息通过跳跃连接来反馈到高频图像中,输出的图像信息,将输出的图像信息和正常剂量CT图像的像素点输入损失函数中,计算每个像素点的方差的平均值,并将方差平均值输入优化器得到权重参数,将权重参数输入去噪网络,多次迭代,对去噪网络进行优化。
步骤1所述的低剂量CT图像的高斯滤波分解具体为:
利用低频部分的潜在纹理来去除高频部分的噪声。给定大小为H×W的噪声LDCT图像X,使用图像滤波器将LDCT图像X分解为HF(高频)部分XH和LF(低频)部分XL,即X=XH+SL
为了利用XL中的潜在纹理,首先从XL中提取相应的内容特征和纹理特征,利用这些纹理特征和XH的嵌入来训练网络,得到XH的高级特征,结合XL的内容特征来重建最终的高质量LDCT图像。
步骤三所述优化器通过反向求导计算得到损失函数关于网络参数的梯度即偏导数,然后计算得到与梯度相关的一阶动量和与梯度平方相关的二阶动量,最后根据一阶动量和二阶动量来更新参数。
本发明提出了基于transformer的编码器-解码器结构去噪网络,增强了对于噪声的提取效果。在网络中使用滤波器对图像进行多尺度分解,增强了网络对于图像的细节纹理保留效果。
附图说明
图1为本发明的整体网络结构示意图;
图2为本发明的swin-transformer模块示意图;
图3为本实施例中输入的低剂量CT图像示意图;
图4为本实施例中输出的去噪后的低剂量CT图像示意图。
具体实施方式
以下结合附图对本发明做具体的解释说明
一种基于transformer和多尺度特征的低剂量CT图像去噪方法,具体包括如下步骤:
步骤一、构建去噪网络,如图1所示,具体为:
步骤1、低剂量CT图像的高斯滤波分解:将原始图像经过滤波器分解后获得高频和低频图像信息;
对于图像去噪,一种直观的解法是将噪声图像分解为高频和低高频部分,然后噪声主要留在高频部分,高频部分也包含大量的图像纹理。然而,只有在高频部分的噪声去除破坏了高频和低频部分之间的关系,因为在高频部分也有减弱的潜在纹理。因此,利用低频部分的潜在纹理来去除高频部分的噪声。给定大小为H×W的噪声LDCT图像X,使用图像滤波器将LDCT图像X分解为HF(高频)部分SH和LF(低频)部分SL,即S=SH+XL
为了利用XL中的潜在纹理,从XL中提取相应的内容特征和纹理特征,利用这些纹理特征和XH的嵌入来训练网络,得到XH的高级特征,结合XL的内容特征来重建最终的高质量LDCT图像。
步骤2、构建transformer模块:
在编码器-解码器结构的网络中,使用SwinTransformer来代替传统的卷积层作为信息提取模块,如图2所示。Swin Transformer Block由窗口多头自注意层(window multi-head self-attention,W-MSA)和移位窗口多头自注意层(shifted-window multi-headself-attention,SW-MSA)组成。输入到该层的特征zl-1先经过LN进行归一化,再经过W-MSA进行特征的学习,再通过残差连接得到
Figure BDA0003720474410000031
然后是一个LN,一个MLP以及一个残差连接,得到这一层的输出特征zl。SW-MSA层的结构和W-MSA层类似,不同的是计算特征部分分别使用了SW-MSA和W-MSA。
表示为:
Figure BDA0003720474410000041
Figure BDA0003720474410000042
步骤3、利用低频图像的纹理信息通过跳跃连接来反馈到高频图像中,最后得到输出图像,具体为:
步骤3.1、高频图像信息网络路径搭建:
编码器部分:
卷积神经网络因为受感受野的缘故,始终不能很好地利用全局信息,或者说需要很多层后才能得到抽象的全局信息,但卷积神经网络对局部细节信息可以很好地提取。而transformer网络由于具有自注意力结构,所以对于全局信息的提取有着天然的优势,但导致了对于局部的细节信息提取不太好。因此使用卷积神经网络与transformer结合的编码器,增强编码器对细节信息和全局信息的获取。
具体操作为,输入的高频图像信息首先进入卷积模块进行特征提取,卷积模块由三个连续的卷积层构成,图像经过卷积层后得到输出的高级特征,由于transform的输入是序列,所以要将卷积模块的输出进行线性投影之后再进行Patch Embedding(图像块嵌入),将特征图序列化并加上位置编码,最后输入transformer模块,经过三个连续的transformer模块后得到输出,将该输出输入解码器部分。
解码器部分:
解码器的目的是将得到的输入还原为图像。本发明在解码器中采用patchexpanding(图像块扩展)对提取的深度特征进行上采样。图像块扩展操作会将相邻维度的特征图重塑为更高分辨率的特征图,并相应地将特征维数减半,最后得到与原图大小一致的输出图像。
具体操作为,在得到编码器的输出特征图后,在特征图上加一个线性层,将特征维数增加到原始维数的2倍,再利用重排操作将输入特征的分辨率扩展为输入分辨率的2倍,特征维数降低为1/4即原始输入的一半。得到的特征作为transformer模块的输入进行特征提取,再进入下一个上采样模块,连续3次这样的操作最后得到输出图像。
步骤3.2、低频图像信息网络路径搭建:
该部分网络的目的是对低频图像的信息提取,得到特征后通过跳跃连接输入到高频图像的解码器部分,起到防止网络训练过拟合以及增强去噪图像纹理的作用。为了与高频图像的解码器的输入一致,需要对低频图像进行下采样,因此结构也与高频图像的解码器相对应。
具体操作为,采用patch mergeing(图像块合并)来对输入特征进行下采样,输入图像块被分为四部分,通过图像块合并层连接在一起。这样的处理会使特征分辨率下降2倍。并且,由于拼接操作的结果是特征维数增加了4倍,因此在拼接的特征上加一个线性层,将特征维数统一为原始维数的2倍。再将得到的特征输入transformer模块的进行特征提取,得到的结果作为下一层的输入,以及通过跳跃连接输入高频图像的解码器对应部分。
步骤二、数据集预处理:
使用的数据集包括来自10名匿名患者的2378张的低剂量和正常剂量CT图像。选择其中一位患者的数据作为测试集,其余9例患者的数据作为训练集,进行模型训练。通过随机旋转(90、180或270度)和翻转(向上/向下、左/右)来生成更多的训练图像。
步骤三、训练去噪网络并更新参数:将训练集中图像输入去噪网络中,利用低频图像的纹理信息通过跳跃连接来反馈到高频图像中,输出的图像信息,将输出的图像信息和正常剂量CT图像的像素点输入损失函数中,计算每个像素点的方差的平均值,并将方差平均值输入Adam优化器得到权重参数,将权重参数输入去噪网络,多次迭代,对去噪网络进行优化。
Adam优化器通过反向求导计算得到损失函数关于网络参数的梯度即偏导数,然后计算得到与梯度相关的一阶动量和与梯度平方相关的二阶动量,最后根据一阶动量和二阶动量来更新参数。
通过将测试集中原始低剂量CT图像(图3)与去噪后图像(图4)对比可以看出本发明对于低剂量CT图像去噪有良好的效果。
本说明书实施例所述的内容仅仅是对发明构思的实现形式的列举,本发明的保护范围不应当被视为仅限于实施例所陈述的具体形式,本发明的保护范围也及于本领域技术人员根据本发明构思所能够想到的等同技术手段。

Claims (3)

1.一种基于transformer和多尺度特征的低剂量CT图像去噪方法,其特征在于:具体包括如下步骤:
步骤一、构建去噪网络,具体为:
步骤1、低剂量CT图像的高斯滤波分解:将原始图像经过滤波器分解后获得高频和低频图像信息;
步骤2、构建transformer模块:
在编码器-解码器结构的网络中,使用Swin Transformer来代替传统的卷积层作为信息提取模块;Swin Transformer Block包括窗口多头自注意层W-MSA和移位窗口多头自注意层SW-MSA;输入到该层的特征zl-1先经过LN进行归一化,再经过W-MSA进行特征的学习,再通过残差连接得到
Figure FDA0003720474400000011
然后是一个LN,一个MLP以及一个残差连接,得到这一层的输出特征zl;SW-MSA层的结构和W-MSA层类似,不同的是计算特征部分分别使用了SW-MSA和W-MSA;
表示为:
Figure FDA0003720474400000012
Figure FDA0003720474400000013
步骤3、利用低频图像的纹理信息通过跳跃连接来反馈到高频图像中,最后得到输出图像,具体为:
步骤3.1、低频图像信息网络路径搭建:
采用patch mergeing图像块合并来对输入特征进行下采样,输入图像块被分为四部分,通过图像块合并层连接在一起,使特征分辨率下降2倍,特征维数增加了4倍,在拼接的特征上加一个线性层,将特征维数统一为原始维数的2倍;再将得到的特征输入transformer模块的进行特征提取,得到的结果作为下一层的输入,以及通过跳跃连接输入高频图像的解码器对应部分;
步骤3.2、高频图像信息网络路径搭建:
首先输入的高频图像信息进入卷积模块进行特征提取,卷积模块由三个连续的卷积层构成,图像经过卷积层后得到输出的高级特征,将卷积模块的输出进行线性投影之后再进行Patch Embedding图像块嵌入,将特征图序列化并加上位置编码,最后输入transformer模块,经过三个连续的transformer模块后输出特征图;
在特征图上加一个线性层,将特征维数增加到原始维数的2倍,再利用重排操作将输入特征的分辨率扩展为输入分辨率的2倍,特征维数降低为1/4即原始输入的一半;得到的特征作为transformer模块的输入进行特征提取,再进入下一个上采样模块,连续3次这样的操作最后得到输出图像;
步骤二、数据集预处理:将采集的数据分为测试集和训练集,并通过随机旋转和翻转生成更多的训练图像;
步骤三、训练去噪网络并更新参数:将训练集中图像输入去噪网络中,利用低频图像的纹理信息通过跳跃连接来反馈到高频图像中,输出的图像信息,将输出的图像信息和正常剂量CT图像的像素点输入损失函数中,计算每个像素点的方差的平均值,并将方差平均值输入优化器得到权重参数,将权重参数输入去噪网络,多次迭代,对去噪网络进行优化。
2.如权利要求1所述的基于transformer和多尺度特征的低剂量CT图像去噪方法,其特征在于:所述的低剂量CT图像的高斯滤波分解具体为:
利用低频部分的潜在纹理来去除高频部分的噪声;给定大小为H×W的噪声LDCT图像X,使用图像滤波器将LDCT图像X分解为HF(高频)部分XH和LF(低频)部分XL,即X=XH+XL
为了利用XL中的潜在纹理,首先从XL中提取相应的内容特征和纹理特征,利用这些纹理特征和XH的嵌入来训练网络,得到XH的高级特征,结合XL的内容特征来重建最终的高质量LDCT图像。
3.如权利要求1所述的基于transformer和多尺度特征的低剂量CT图像去噪方法,其特征在于:步骤三所述优化器通过反向求导计算得到损失函数关于网络参数的梯度即偏导数,然后计算得到与梯度相关的一阶动量和与梯度平方相关的二阶动量,最后根据一阶动量和二阶动量来更新参数。
CN202210759046.6A 2022-06-29 2022-06-29 基于transformer和多尺度特征的低剂量CT图像去噪方法 Pending CN114998154A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210759046.6A CN114998154A (zh) 2022-06-29 2022-06-29 基于transformer和多尺度特征的低剂量CT图像去噪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210759046.6A CN114998154A (zh) 2022-06-29 2022-06-29 基于transformer和多尺度特征的低剂量CT图像去噪方法

Publications (1)

Publication Number Publication Date
CN114998154A true CN114998154A (zh) 2022-09-02

Family

ID=83019341

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210759046.6A Pending CN114998154A (zh) 2022-06-29 2022-06-29 基于transformer和多尺度特征的低剂量CT图像去噪方法

Country Status (1)

Country Link
CN (1) CN114998154A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115953582A (zh) * 2023-03-08 2023-04-11 中国海洋大学 一种图像语义分割方法及***
CN117221458A (zh) * 2023-10-23 2023-12-12 上海为旌科技有限公司 一种分频段去除图像色度噪声的方法和***

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115953582A (zh) * 2023-03-08 2023-04-11 中国海洋大学 一种图像语义分割方法及***
CN117221458A (zh) * 2023-10-23 2023-12-12 上海为旌科技有限公司 一种分频段去除图像色度噪声的方法和***
CN117221458B (zh) * 2023-10-23 2024-05-03 上海为旌科技有限公司 一种分频段去除图像色度噪声的方法和***

Similar Documents

Publication Publication Date Title
CN110443867B (zh) 基于生成对抗网络的ct图像超分辨率重构方法
US11120582B2 (en) Unified dual-domain network for medical image formation, recovery, and analysis
CN115409733B (zh) 一种基于图像增强和扩散模型的低剂量ct图像降噪方法
CN104182954B (zh) 一种实时的多模态医学图像融合方法
CN114998154A (zh) 基于transformer和多尺度特征的低剂量CT图像去噪方法
CN111325686A (zh) 一种基于深度学习的低剂量pet三维重建方法
CN112435164B (zh) 基于多尺度生成对抗网络的低剂量ct肺部图像的同时超分辨率和去噪方法
CN115953494B (zh) 基于低剂量和超分辨率的多任务高质量ct图像重建方法
Shende et al. A brief review on: MRI images reconstruction using GAN
CN113516586A (zh) 一种低剂量ct图像超分辨率去噪方法和装置
CN112819914A (zh) 一种pet图像处理方法
Li et al. Transformer with double enhancement for low-dose CT denoising
CN113052936A (zh) 集成fdk和深度学习的单视角ct重建方法
CN111369433A (zh) 基于可分离卷积和注意力的三维图像超分辨率重建方法
CN116993610A (zh) 基于去噪扩散模型的受限制ct图像重建方法和设备
CN116863014A (zh) 一种基于深度双域联合引导学习的ldct图像重建方法
CN114187181B (zh) 基于残差信息精炼的双路径肺部ct图像超分辨率方法
Feng et al. Dual residual convolutional neural network (DRCNN) for low-dose CT imaging
Liu et al. MRCON-Net: Multiscale reweighted convolutional coding neural network for low-dose CT imaging
Huang et al. Mambamir: An arbitrary-masked mamba for joint medical image reconstruction and uncertainty estimation
CN112991220A (zh) 一种基于多重约束的卷积神经网络校正图像伪影的方法
CN117333751A (zh) 一种医学图像融合方法
Tran et al. Deep learning-based inpainting for chest X-ray image
Xie et al. Inpainting the metal artifact region in MRI images by using generative adversarial networks with gated convolution
CN116563554A (zh) 基于混合表征学习的低剂量ct图像去噪方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination