CN116468732A - 基于深度学习的肺部ct影像分割方法及成像方法 - Google Patents
基于深度学习的肺部ct影像分割方法及成像方法 Download PDFInfo
- Publication number
- CN116468732A CN116468732A CN202310219966.3A CN202310219966A CN116468732A CN 116468732 A CN116468732 A CN 116468732A CN 202310219966 A CN202310219966 A CN 202310219966A CN 116468732 A CN116468732 A CN 116468732A
- Authority
- CN
- China
- Prior art keywords
- layer
- lung
- module
- convolution
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 210000004072 lung Anatomy 0.000 title claims abstract description 89
- 238000003709 image segmentation Methods 0.000 title claims abstract description 63
- 238000000034 method Methods 0.000 title claims abstract description 54
- 238000003384 imaging method Methods 0.000 title claims abstract description 28
- 238000013135 deep learning Methods 0.000 title claims abstract description 25
- 230000011218 segmentation Effects 0.000 claims abstract description 25
- 238000012549 training Methods 0.000 claims abstract description 14
- 238000007781 pre-processing Methods 0.000 claims abstract description 9
- 230000006870 function Effects 0.000 claims description 80
- 238000012545 processing Methods 0.000 claims description 65
- 230000004927 fusion Effects 0.000 claims description 27
- 238000004364 calculation method Methods 0.000 claims description 24
- 238000010606 normalization Methods 0.000 claims description 21
- 238000012952 Resampling Methods 0.000 claims description 9
- 238000005070 sampling Methods 0.000 claims description 7
- 230000004913 activation Effects 0.000 claims description 6
- 238000011176 pooling Methods 0.000 claims description 6
- 241000282326 Felis catus Species 0.000 claims description 3
- 230000002685 pulmonary effect Effects 0.000 claims 2
- 230000000694 effects Effects 0.000 abstract description 4
- 238000002474 experimental method Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 230000035945 sensitivity Effects 0.000 description 3
- 206010058467 Lung neoplasm malignant Diseases 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 201000005202 lung cancer Diseases 0.000 description 2
- 208000020816 lung neoplasm Diseases 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 208000019693 Lung disease Diseases 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000012733 comparative method Methods 0.000 description 1
- 230000002860 competitive effect Effects 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/003—Reconstruction from projections, e.g. tomography
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30061—Lung
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/41—Medical
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于深度学习的肺部CT影像分割方法，包括获取已有的肺部CT图像数据集并预处理得到训练数据集；构建肺部CT影像分割原始模型并训练得到肺部CT影像分割模型；采用肺部CT影像分割模型对实际的肺部CT影像进行分割。本发明还公开了一种包括所述基于深度学习的肺部CT影像分割方法的成像方法。本发明能够实现更加准确的图像分割结果，能够加速收敛速度，在小规模数据集上也能够表现出较强的分割效果，能够实现更加精准的分割结果，而且能够避免特征崩溃，产生多样化的特征；因此本发明的可靠性高、精确性好且客观科学。
Description
技术领域
本发明属于医学图像处理领域，具体涉及一种基于深度学习的肺部CT影像分割方法及成像方法。
背景技术
随着经济技术的发展和人们生活水平的提高，人们对于健康的关注度越来越高；因此医学图像处理技术就显得越来越重要。
在临床应用和实验研究过程中，肺部CT影像都有着重要的辅助作用，能够有效帮助临床人员进行后续的肺部疾病的诊断，或者能够有效帮助实验研究人员进行后续的研究。因此，肺部CT影像的分割过程就显得尤为重要。
目前，针对肺部CT影像的分割方法，往往是采用深度学习模型来独立学习特征表示，并利用学习的高维抽象来完成分割任务；比如，现今常用基于Transformer技术的图像分割方法，来进行肺部CT影像的分割。
Transformer最初应用于自然语言处理，并取得了重大的成功；自从ViT诞生以来，Transformer在一系列计算机视觉任务上取得了有竞争力的性能。然而，随着研究的不断深入，Transformer的一些缺点也逐渐暴露出来。其中最为重要的一点是，Transformer通常需要大规模的数据集进行训练，才能表现出更好的性能。但是，医学图像的数据集通常较小，而肺部CT影像的数据集则相对更少。因此，现有的基于Transformer技术的肺部CT图像分割方法，其精确度相对较差，而且可靠性不高。
发明内容
本发明的目的之一在于提供一种可靠性高、精确性好且客观科学的基于深度学习的肺部CT影像分割方法。
本发明的目的之二在于提供一种包括了所述基于深度学习的肺部CT影像分割方法的成像方法。
本发明提供的这种基于深度学习的肺部CT影像分割方法，包括如下步骤：
S1.获取已有的肺部CT图像数据集；
S2.对步骤S1获取的数据，进行预处理，从而得到训练数据集；
S3.基于卷积编码器、Transformer编码器、融合模块和对应的解码器，构建肺部CT影像分割原始模型；
S4.采用步骤S2得到的训练数据集，对步骤S3构建的肺部CT影像分割原始模型进行训练，得到肺部CT影像分割模型；
S5.采用步骤S4得到的肺部CT影像分割模型，对实际的肺部CT影像进行分割。
步骤S2所述的对步骤S1获取的数据，进行预处理，具体包括如下步骤：
预处理包括图像裁剪、重采样和归一化操作；
图像裁剪为通过设定像素阈值裁剪得到需要目标的边界框；
对得到的边界框，进行重采样操作；
重采样完成后，采用Z-score对图像进行归一化：
式中zi为归一化后的灰度值；xi为原始的灰度值；μ为图像灰度的均值；σ为图像灰度的标准差。
步骤S3所述的基于卷积编码器、Transformer编码器、融合模块和对应的解码器，构建肺部CT影像分割原始模型，具体包括如下步骤：
将获取的图像数据，输入到卷积编码器模块学习得到局部特征，并同时输入到Transformer编码器模块学习得到全局特征；
将获取的局部特征和全局特征采用融合模块进行特征融合，得到编码器的输出；
根据卷积编码器模块，对应的构建解码器；并将获取特征输入到解码器进行解码；
将解码器输出的特征采用softmax函数进行处理，得到最终的不同类别特征的概率。
所述的卷积编码器模块，具体由若干个卷积模块组成，每个卷积模块均包括两个Conv-IN-LeakyReLU模块；
每个Conv-IN-LeakyReLU模块包括依次串联的一个卷积层、一个InstanceNorm层和一个LeakyReLU层；
卷积编码器模块的处理函数为Yo＝LeakyReLU(IN(Conv(X)))，其中Yo为编码器模块的输出特征，X为输入特征，Conv()为卷积层处理函数；IN()为InstanceNorm层处理函数；LeakyReLU()为LeakyReLU层处理函数；
卷积层为三维卷积层；
InstanceNorm层的处理公式为其中Y为处理结果特征，X为输入特征，μ为输入特征的均值，σ为输入特征的方差，ε为误差系数，γ为第一学习参数；β为第二学习参数；
LeakyReLU层的处理公式为其中yi为经过激活函数后的处理特征；xi为特征图中的第i个值；a为固定的常数；
每一个卷积模块中的第一个Conv-IN-LeakyReLU模块用于下采样操作，其卷积核大小为3，卷积核滑动步长为2。
所述的Transformer编码器模块，具体包括一个patchembedding模块、若干个连续的Transformer块和若干个下采样模块；相邻的Transformer块之间均连接有一个下采样模块；
下采样模块采用三线性插值操作，并在插值完成之后采用卷积核大小为1的卷积来调整特征图的通道数，从而保证特征图的通道数增加1倍；
patchembedding模块用于将图像划分为一系列不重叠的patch(块)，并将每个patch投影到一个高维空间；
每一个Transformer块均包括第一归一化层、ShiftDW层、第二归一化层和多层感知机层；输入特征通过第一归一化层归一化后，再通过ShiftDW层处理；ShiftDW层的处理结果与输入特征连接得到第二输入特征；第二输入特征输入到第二归一化层进行处理，然后在通过多层感知机层进行处理；多层感知机层的处理结果与第二输入特征连接后，作为当前的Transformer块的输出特征；
Transformer块的计算公式为：
式中表示第l层ShiftDW模块的输出；ShiftDW()为ShiftDW层处理函数；zl为第l层Transformer的输出；BN()为第一归一化层和第二归一化层的处理函数；MLP()为多层感知机层处理函数，且多层感知机的层数为2层；MLP()的计算公式为：
MLP＝Linear2(GELU(Linear1(x)))
式中MLP为处理函数；x为输入特征；Linear1和Linear2为全连接模块；GELU()为高斯误差线性单元的处理函数，且x为输入特征，erf()为中间处理函数且/>
所述的ShiftDW层，用于代替Transformer块中的多头自注意力模块；ShiftDW层具体包括依次串接的移位操作、第一逐点卷积操作、深度卷积操作和第二逐点卷积操作；ShiftDW层的计算公式为：
ShiftDW(z)＝PWConv2(DWConv(PWConv1(Shift(x))))
式中ShiftDW(z)为ShiftDW层的输出特征；x为输入特征；PWConv1()为第一逐点卷积操作函数，卷积核大小为1；DWConv()为深度卷积操作函数；PWConv2()为第二逐点卷积操作函数，卷积核大小为1；Shift()为移位操作函数，且移位操作的计算公式为：
式中表示移位操作之后的特征；z[]为输入的特征；D为空间深度；H为空间宽度；W为空间高度；γ为比例因子；C为通道数。
所述的将获取的局部特征和全局特征采用融合模块进行特征融合，得到编码器的输出，具体包括如下步骤：
融合模块包括全局注意力模块和局部注意力模块；
全局注意力模块采用全局平均池化来获取不同通道的权重，然后采用逐点卷积作为通道上下文聚合器；局部注意力模块采用逐点卷积作为上下文聚合器，同时保持和原始特征图相同的分辨率，从而保留更多的空间信息；
融合模块的计算公式为：
za＝Cat(zc,zt)
z＝Conv(za)
zl＝Local(z)
zg＝Global(z)
zo＝zl+zg
式中za为卷积编码器的输出特征与Transformer编码器的输出特征串接之后的特征；Cat()为在通道维度进行串接的处理函数；zc为卷积编码器的输出特征；zt为Transformer编码器的输出特征；z为输入特征；Conv()为卷积操作函数，且卷积核大小为C×2C×1×1×1；zl为局部注意力模块输出的特征；zg为全局注意力模块的输出特征；zo为融合模块的输出特征；
全局注意力模块的计算公式为：
Global(z)＝BN2(Conv2(ReLU(BN1(Conv1(GAP(z))))))
式中Global(z)为全局注意力模块的输出特征；z为输入特征；GAP()为全局平均池化处理函数，且D为空间深度，H为空间宽度，W为空间高度，z[:,i,j,k]为输入特征；Conv1()为第一卷积层处理函数，且卷积核大小为/>C为输入特征的通道数，r为缩放因子；BN1()为第一个批量归一化函数；ReLU()为激活函数；Conv2()为第二卷积层处理函数，且卷积核大小为/>BN2()为第二个批量归一化函数；
局部注意力模块的计算公式为：
Local(z)＝BN2(Conv2(ReLU(BN1(Conv1(z)))))
式中Local(z)为局部注意力模块输出的特征。
所述的根据卷积编码器模块，对应的构建解码器，具体包括如下步骤：
解码器包括若干个卷积块，卷积块的个数与卷积编码器模块所具有的卷积块的个数相同；解码器的每个卷积模块均包括两个Conv-IN-LeakyReLU模块，相邻的两个Conv-IN-LeakyReLU模块之间还包括一个上采样模块，且上采样模块采用反卷积实现；解码器的每一级均通过跳跃连接对应平行的编码器的特征，然后通过上采样进入到解码器的下一级。
步骤S4所述的训练，具体包括如下步骤：
将肺部CT影像分割原始模型输出的结果与真实的分割标签输入到损失函数中，并根据损失函数的结果对肺部CT影像分割原始模型进行优化；
所述的损失函数L的计算式为L＝αLDice+βLCE，其中LDice为Dice损失，LCE为交叉熵损失，α为Dice损失的权重值，β为交叉熵损失的权重值；
Dice损失LDice的计算式为其中TP为结果为真阳性的概率，FP为结果为假阳性的概率，FN为结果为假阴性的概率；
交叉熵损失LCE的计算式为其中N为样本数量，yi为真实的标签，/>为模型输出的预测结果。
本发明还提供了一种包括了所述基于深度学习的肺部CT影像分割方法的成像方法，具体包括如下步骤：
A.获取待分割的原始肺部CT图像；
B.采用所述的基于深度学习的肺部CT影像分割方法，对步骤A获取的待分割的原始肺部CT图像，进行图像分割；
C.将步骤B得到的图像分割结果，在步骤A的原始肺部CT图像上进行标记和二次成像，输出带有肺部CT图像分割结果的肺部CT图像，完成成像。
本发明提供的这种基于深度学习的肺部CT影像分割方法及成像方法，能够充分发挥卷积和Transformer优势，实现更加准确的图像分割结果；本发明所设计的并行编码器结构能够在保留Transformer强大全局建模能力的条件下，加速其收敛速度，使其在小规模数据集上也能够表现出较强的分割效果；本发明的融合模块能够有效融合来自不同分支的特征，从而实现更加精准的分割结果；本发明的Transformer模块，采用移位操作替换原始多头自注意力操作，能够减少计算复杂度，从而实现更加快速的推理，而且采用了增强的shortcut连接，能够避免特征崩溃，并且产生多样化的特征；因此本发明的可靠性高、精确性好且客观科学。
附图说明
图1为本发明的分割方法的方法流程示意图。
图2为本发明的分割方法的Transformer编码器模块的结构示意图。
图3为本发明的分割方法的融合模块的结构示意图。
图4为本发明的成像方法的方法流程示意图。
具体实施方式
如图1所示为本发明的分割方法的方法流程示意图：本发明提供的这种基于深度学习的肺部CT影像分割方法，包括如下步骤：
S1.获取已有的肺部CT图像数据集；
S2.对步骤S1获取的数据，进行预处理，从而得到训练数据集；具体包括如下步骤：
预处理包括图像裁剪、重采样和归一化操作；
图像裁剪为通过设定像素阈值裁剪得到需要目标的边界框；
对得到的边界框，进行重采样操作；
重采样完成后，采用Z-score对图像进行归一化：
式中zi为归一化后的灰度值；xi为原始的灰度值；μ为图像灰度的均值；σ为图像灰度的标准差；
S3.基于卷积编码器、Transformer编码器、融合模块和对应的解码器，构建肺部CT影像分割原始模型；具体包括如下步骤：
将获取的图像数据，输入到卷积编码器模块学习得到局部特征，并同时输入到Transformer编码器模块学习得到全局特征；
将获取的局部特征和全局特征采用融合模块进行特征融合，得到编码器的输出；
根据卷积编码器模块，对应的构建解码器；并将获取特征输入到解码器进行解码；
将解码器输出的特征采用softmax函数进行处理，得到最终的不同类别特征的概率；
具体实施时，卷积编码器模块，具体由若干个卷积模块组成，每个卷积模块均包括两个Conv-IN-LeakyReLU模块；
每个Conv-IN-LeakyReLU模块包括依次串联的一个卷积层、一个InstanceNorm层和一个LeakyReLU层；
卷积编码器模块的处理函数为Yo＝LeakyReLU(IN(Conv(X)))，其中Yo为编码器模块的输出特征，X为输入特征，Conv()为卷积层处理函数；IN()为InstanceNorm层处理函数；LeakyReLU()为LeakyReLU层处理函数；
卷积层为三维卷积层；
InstanceNorm层的处理公式为其中Y为处理结果特征，X为输入特征，μ为输入特征的均值，σ为输入特征的方差，ε为误差系数，γ为第一学习参数；β为第二学习参数；
LeakyReLU层的处理公式为其中yi为经过激活函数后的处理特征；xi为特征图中的第i个值；a为固定的常数；
每一个卷积模块中的第一个Conv-IN-LeakyReLU模块用于下采样操作，其卷积核大小为3，卷积核滑动步长为2；
Transformer编码器模块(如图2所示)，具体包括一个patchembedding模块、若干个连续的Transformer块和若干个下采样模块；相邻的Transformer块之间均连接有一个下采样模块；
下采样模块采用三线性插值操作，并在插值完成之后采用卷积核大小为1的卷积来调整特征图的通道数，从而保证特征图的通道数增加1倍；
patchembedding模块用于将图像划分为一系列不重叠的patch(块)，并将每个patch投影到一个高维空间；
每一个Transformer块均包括第一归一化层、ShiftDW层、第二归一化层和多层感知机层；输入特征通过第一归一化层归一化后，再通过ShiftDW层处理；ShiftDW层的处理结果与输入特征连接得到第二输入特征；第二输入特征输入到第二归一化层进行处理，然后在通过多层感知机层进行处理；多层感知机层的处理结果与第二输入特征连接后，作为当前的Transformer块的输出特征；
Transformer块的计算公式为：
式中为ShiftDW模块的输出；ShiftDW()为ShiftDW层处理函数；zl为第l层Transformer的输出；BN()为第一归一化层和第二归一化层的处理函数；MLP()为多层感知机层处理函数，且多层感知机的层数为2层；MLP()的计算公式为：
MLP＝Linear2(GELU(Linear1(x)))
式中MLP为处理函数；Linear1()为第一个全连接操作；x为输入特征；Linear2()为第二个全连接操作；GELU()为高斯误差线性单元的处理函数，且x为输入特征，erf()为中间处理函数且/>
所述的ShiftDW层，用于代替Transformer块中的多头自注意力模块；ShiftDW层具体包括依次串接的移位操作、第一逐点卷积操作、深度卷积操作和第二逐点卷积操作；ShiftDW层的计算公式为：
ShiftDW(z)＝PWConv2(DWConv(PWConv1(Shift(x))))
式中ShiftDW(z)为ShiftDW层的输出特征；x为输入特征；PWConv1()为第一逐点卷积操作函数，卷积核大小为1；DWConv()为深度卷积操作函数；PWConv2()为第二逐点卷积操作函数，卷积核大小为1；Shift()为移位操作函数，且移位操作的计算公式为：
式中为移位操作之后得到的特征；z[]为输入特征；D为空间深度；H为空间宽度；W为空间高度；γ为比例因子；C为通道数；
融合得到编码器的输出，则包括如下步骤：
融合模块包括全局注意力模块和局部注意力模块(如图3所示)；
全局注意力模块采用全局平均池化来获取不同通道的权重，然后采用逐点卷积作为通道上下文聚合器；局部注意力模块采用逐点卷积作为上下文聚合器，同时保持和原始特征图相同的分辨率，从而保留更多的空间信息；
融合模块的计算公式为：
za＝Cat(zc,zt)
z＝Conv(za)
zl＝Local(z)
zg＝Global(z)
zo＝zl+zg
式中za为卷积编码器的输出特征与Transformer编码器的输出特征串接之后的特征；Cat()为在通道维度进行串接的处理函数；zc为卷积编码器的输出特征；zt为Transformer编码器的输出特征；z为输入特征；Conv()为卷积操作函数，且卷积核大小为C×2C×1×1×1；zl为局部注意力模块输出的特征；zg为全局注意力模块的输出特征；zo为融合模块的输出特征；
全局注意力模块的计算公式为：
Global(z)＝BN2(Conv2(ReLU(BN1(Conv1(GAP(z))))))
式中Global(z)为全局注意力模块的输出特征；z为输入特征；GAP()为全局平均池化处理函数，且D为空间深度，H为空间宽度，W为空间高度，z[:,i,j,k]为输入特征；Conv1()为第一卷积层处理函数，且卷积核大小为/>C为输入特征的通道数，r为缩放因子；BN1()为第一个批量归一化函数；ReLU()为激活函数；Conv2()为第二卷积层处理函数，且卷积核大小为/>BN2()为第二个批量归一化函数；
局部注意力模块的计算公式为：
Local(z)＝BN2(Conv2(ReLU(BN1(Conv1(z)))))
式中Local(z)为局部注意力模块输出的特征；
构建解码器具体包括如下步骤：
解码器包括若干个卷积块，卷积块的个数与卷积编码器模块所具有的卷积块的个数相同；解码器的每个卷积模块均包括两个Conv-IN-LeakyReLU模块，相邻的两个Conv-IN-LeakyReLU模块之间还包括一个上采样模块，且上采样模块采用反卷积实现；解码器的每一级均通过跳跃连接对应平行的编码器的特征，然后通过上采样进入到解码器的下一级；
S4.采用步骤S2得到的训练数据集，对步骤S3构建的肺部CT影像分割原始模型进行训练，得到肺部CT影像分割模型；具体包括如下步骤：
将肺部CT影像分割原始模型输出的结果与真实的分割标签输入到损失函数中，并根据损失函数的结果对肺部CT影像分割原始模型进行优化；
所述的损失函数L的计算式为L＝αLDice+βLCE，其中LDice为Dice损失，LCE为交叉熵损失，α为Dice损失的权重值，β为交叉熵损失的权重值；
Dice损失LDice的计算式为其中TP为结果为真阳性的概率，FP为结果为假阳性的概率，FN为结果为假阴性的概率；
交叉熵损失LCE的计算式为其中N为样本数量，yi为真实的标签，/>为模型输出的预测结果；
S5.采用步骤S4得到的肺部CT影像分割模型，对实际的肺部CT影像进行分割。
以下通过实验，来说明本发明的分割方法的有效性。
UNETR：它的编码器是一个卷积和Transformer的混合架构，解码器为卷积架构。在编码器中，它先采用Transformer提取特征，然后利用卷积作为跳跃连接获取不同尺度的特征。
nnFormer：它提出了一种新的Transformer与卷积结合的策略。在编码器中，它使用三维SwinTransformer进行特征提取，但是在相邻的SwinTransformerblock之间，它使用卷积对特征图进行下采样以获得多尺度的特征表示。在解码器中，它同样使用三维SwinTransformer，并且使用反卷积来恢复图像的分辨率。
nnUNet：该方法是一个纯卷积分割网络，它与UNet具有相同的网络架构。nnUNet可以根据数据集自适应的调整模型的深度以及一些其他的模型超参数。
在实验中使用Dice，Precision，Sensitivity，HD95，ASSD评价指标来评估方法的性能。其中，Dice指标常用于评价医学图像分割的好坏，其值约接近1，表示分割结果越精确。其计算公式如下：
HD95与ASSD表示连个集合之间的距离，其值越小表示分割性能越好。计算公式如下：
式中和/>分别表示G和M的边界点。/>是G边界的基数。/>是点x与中所有点之间的最短距离。Precision与Sensitivity的计算公式如下：
式中TP，FN，FP分别表示真阳性的概率，假阴性的概率以及假阳性的概率；
本实验所采用的数据为肺癌数据集。将本方法和对比方法在相同的测试集上进行评估，实验结果如表1所示。其中，()内的数字为标准差。
表1本发明分割方法与对比方法的分割性能比较
| 方法 | Dice | Precision | Recall | HD95 | ASSD |
| UNETR | 0.533(0.239) | 0.588(0.284) | 0.595(0.241) | 103.8(70.50) | 22.90(21.85) |
| nnFormer | 0.664(0.205) | 0.724(0.237) | 0.685(0.229) | 36.50(45.54) | 8.06(10.83) |
| nnUNet | 0.641(0.228) | 0.644(0.274) | 0.737(0.204) | 74.15(78.63) | 17.40(22.15) |
| 本发明 | 0.714(0.169) | 0.803(0.166) | 0.701(0.230) | 27.77(43.96) | 5.59(9.64) |
从表1可以看到，本发明提出的方法在Dice和ASSD上取得了所有方法中好的性能。在测试集上上进行模型评估得到五次实验的平均Dice、Precision、Sensitivity、HD95、ASSD分别为0.520(0.341)、0.686(0.306)、0.530(0.351)、33.44(50.35)、13.60(28.50)。
在对比方法中，nnFormer和nnUNet方法也取得了比较好的分割效果。nnUNet的分割结果说明在编码器中只采用卷积进行特征提取难以对图像的全局特征进行建模，从而导致分割性能较低。nnFormer和CFC的分割结果说明混合架构能够有效对图像全局特征进行建模，但是不同的结合方式会导致不同的分割性能。在肺癌分割数据集上，并行架构更能够有效的结合Transformer和卷积，更有效的发挥它们的优势。
如图4所示为本发明的成像方法的方法流程示意图：本发明提供的这种包括了所述基于深度学习的肺部CT影像分割方法的成像方法，具体包括如下步骤：
A.获取待分割的原始肺部CT图像；
B.采用所述的基于深度学习的肺部CT影像分割方法，对步骤A获取的待分割的原始肺部CT图像，进行图像分割；
C.将步骤B得到的图像分割结果，在步骤A的原始肺部CT图像上进行标记和二次成像，输出带有肺部CT图像分割结果的肺部CT图像，完成成像。
如图4所示为本发明的成像方法的方法流程示意图：本发明提供的这种包括了所述基于深度学习的肺部CT影像分割方法的成像方法，具体包括如下步骤：
A.获取待分割的原始肺部CT图像；
B.采用所述的基于深度学习的肺部CT影像分割方法，对步骤A获取的待分割的原始肺部CT图像，进行图像分割；
C.将步骤B得到的图像分割结果，在步骤A的原始肺部CT图像上进行标记和二次成像，输出带有肺部CT图像分割结果的肺部CT图像，完成成像。
具体实施时，本发明的成像方法可以用于现有的肺部CT图像的获取设备，比如CT机。具体使用时，将本发明的成像方法融合到现有的CT图像获取设备中，然后采用现有技术获取原始的肺部CT图像，然后采用所述的成像方法对原始的肺部CT图像进行二次成像，然后得到带有肺部CT图像分割结果的肺部CT图像，并直接输出带有成像结果的肺部CT图像。这样，医务工作者(包括临床医生、影像科医生或实验人员等)都能够获取到带有分割结果的肺部CT图像，这样将极大地方便现有的使用人员。
Claims (10)
1.一种基于深度学习的肺部CT影像分割方法，包括如下步骤：
S1.获取已有的肺部CT图像数据集；
S2.对步骤S1获取的数据，进行预处理，从而得到训练数据集；
S3.基于卷积编码器、Transformer编码器、融合模块和对应的解码器，构建肺部CT影像分割原始模型；
S4.采用步骤S2得到的训练数据集，对步骤S3构建的肺部CT影像分割原始模型进行训练，得到肺部CT影像分割模型；
S5.采用步骤S4得到的肺部CT影像分割模型，对实际的肺部CT影像进行分割。
2.根据权利要求1所述的基于深度学习的肺部CT影像分割方法，其特征在于步骤S2所述的对步骤S1获取的数据，进行预处理，具体包括如下步骤：
预处理包括图像裁剪、重采样和归一化操作；
图像裁剪为通过设定像素阈值裁剪得到需要目标的边界框；
对得到的边界框，进行重采样操作；
重采样完成后，采用Z-score对图像进行归一化：
式中zi为归一化后的灰度值；xi为原始的灰度值；μ为图像灰度的均值；σ为图像灰度的标准差。
3.根据权利要求2所述的基于深度学习的肺部CT影像分割方法，其特征在于步骤S3所述的基于卷积编码器、Transformer编码器、融合模块和对应的解码器，构建肺部CT影像分割原始模型，具体包括如下步骤：
将获取的图像数据，输入到卷积编码器模块学习得到局部特征，并同时输入到Transformer编码器模块学习得到全局特征；
将获取的局部特征和全局特征采用融合模块进行特征融合，得到编码器的输出；
根据卷积编码器模块，对应的构建解码器；并将获取特征输入到解码器进行解码；
将解码器输出的特征采用softmax函数进行处理，得到最终的不同类别特征的概率。
4.根据权利要求3所述的基于深度学习的肺部CT影像分割方法，其特征在于所述的卷积编码器模块，具体由若干个卷积模块组成，每个卷积模块均包括两个Conv-IN-LeakyReLU模块；
每个Conv-IN-LeakyReLU模块包括依次串联的一个卷积层、一个InstanceNorm层和一个LeakyReLU层；
卷积编码器模块的处理函数为Yo＝LeakyReLU(IN(Conv(X)))，其中Yo为编码器模块的输出特征，X为输入特征，Conv()为卷积层处理函数；IN()为InstanceNorm层处理函数；LeakyReLU()为LeakyReLU层处理函数；
卷积层为三维卷积层；
InstanceNorm层的处理公式为其中Y为处理结果特征，X为输入特征，μ为输入特征的均值，σ为输入特征的方差，ε为误差系数，γ为第一学习参数；β为第二学习参数；
LeakyReLU层的处理公式为其中yi为经过激活函数后的处理特征；xi为特征图中的第i个值；a为固定的常数；
每一个卷积模块中的第一个Conv-IN-LeakyReLU模块用于下采样操作，其卷积核大小为3，卷积核滑动步长为2。
5.根据权利要求4所述的基于深度学习的肺部CT影像分割方法，其特征在于所述的Transformer编码器模块，具体包括一个patchembedding模块、若干个连续的Transformer块和若干个下采样模块；相邻的Transformer块之间均连接有一个下采样模块；
下采样模块采用三线性插值操作，并在插值完成之后采用卷积核大小为1的卷积来调整特征图的通道数，从而保证特征图的通道数增加1倍；
patch embedding模块用于将图像划分为一系列不重叠的patch，并将每个patch投影到一个高维空间；
每一个Transformer块均包括第一归一化层、ShiftDW层、第二归一化层和多层感知机层；输入特征通过第一归一化层归一化后，再通过ShiftDW层处理；ShiftDW层的处理结果与输入特征连接得到第二输入特征；第二输入特征输入到第二归一化层进行处理，然后在通过多层感知机层进行处理；多层感知机层的处理结果与第二输入特征连接后，作为当前的Transformer块的输出特征；
Transformer块的计算公式为：
式中为ShiftDW模块的输出；ShiftDW()为ShiftDW层处理函数；zl为第l层Transformer的输出；BN()为第一归一化层和第二归一化层的处理函数；MLP()为多层感知机层处理函数，且多层感知机的层数为2层；MLP()的计算公式为：
MLP＝Linear2(GELU(Linear1(x)))
式中MLP为处理函数；Linear1()为第一个全连接操作；x为输入特征；Linear2()为第二个全连接操作；GELU()为高斯误差线性单元的处理函数，且x为输入特征，erf()为中间处理函数且/>
6.根据权利要求5所述的基于深度学习的肺部CT影像分割方法，其特征在于所述的ShiftDW层，用于代替Transformer块中的多头自注意力模块；ShiftDW层具体包括依次串接的移位操作、第一逐点卷积操作、深度卷积操作和第二逐点卷积操作；ShiftDW层的计算公式为：
ShiftDW(z)＝PWConv2(DWConv(PWConv1(Shift(x))))
式中ShiftDW(z)为ShiftDW层的输出特征；x为输入特征；PWConv1()为第一逐点卷积操作函数，卷积核大小为1；DWConv()为深度卷积操作函数；PWConv2()为第二逐点卷积操作函数，卷积核大小为1；Shift()为移位操作函数，且移位操作的计算公式为：
式中为移位操作之后得到的特征；z[]为输入特征；D为空间深度；H为空间宽度；W为空间高度；γ为比例因子；C为通道数。
7.根据权利要求6所述的基于深度学习的肺部CT影像分割方法，其特征在于所述的将获取的局部特征和全局特征采用融合模块进行特征融合，得到编码器的输出，具体包括如下步骤：
融合模块包括全局注意力模块和局部注意力模块；
全局注意力模块采用全局平均池化来获取不同通道的权重，然后采用逐点卷积作为通道上下文聚合器；局部注意力模块采用逐点卷积作为上下文聚合器，同时保持和原始特征图相同的分辨率，从而保留更多的空间信息；
融合模块的计算公式为：
za＝Cat(zc,zt)
z＝Conv(za)
zl＝Local(z)
zg＝Global(z)
zo＝zl+zg
式中za为卷积编码器的输出特征与Transformer编码器的输出特征串接之后的特征；Cat()为在通道维度进行串接的处理函数；zc为卷积编码器的输出特征；zt为Transformer编码器的输出特征；z为输入特征；Conv()为卷积操作函数，且卷积核大小为C×2C×1×1×1；zl为局部注意力模块输出的特征；zg为全局注意力模块的输出特征；zo为融合模块的输出特征；
全局注意力模块的计算公式为：
Global(z)＝BN2(Conv2(ReLU(BN1(Conv1(GAP(z))))))
式中Global(z)为全局注意力模块的输出特征；z为输入特征；GAP()为全局平均池化处理函数，且D为空间深度，H为空间宽度，W为空间高度，z[:,i,j,k]为输入特征；Conv1()为第一卷积层处理函数，且卷积核大小为/>C为输入特征的通道数，r为缩放因子；BN1()为第一个批量归一化函数；ReLU()为激活函数；Conv2()为第二卷积层处理函数，且卷积核大小为/>BN2()为第二个批量归一化函数；
局部注意力模块的计算公式为：
Local(z)＝BN2(Conv2(ReLU(BN1(Conv1(z)))))
式中Local(z)为局部注意力模块输出的特征。
8.根据权利要求7所述的基于深度学习的肺部CT影像分割方法，其特征在于所述的根据卷积编码器模块，对应的构建解码器，具体包括如下步骤：
解码器包括若干个卷积块，卷积块的个数与卷积编码器模块所具有的卷积块的个数相同；解码器的每个卷积模块均包括两个Conv-IN-LeakyReLU模块，相邻的两个Conv-IN-LeakyReLU模块之间还包括一个上采样模块，且上采样模块采用反卷积实现；解码器的每一级均通过跳跃连接对应平行的编码器的特征，然后通过上采样进入到解码器的下一级。
9.根据权利要求8所述的基于深度学习的肺部CT影像分割方法，其特征在于步骤S4所述的训练，具体包括如下步骤：
将肺部CT影像分割原始模型输出的结果与真实的分割标签输入到损失函数中，并根据损失函数的结果对肺部CT影像分割原始模型进行优化；
所述的损失函数L的计算式为L＝αLDice+βLCE，其中LDice为Dice损失，LCE为交叉熵损失，α为Dice损失的权重值，β为交叉熵损失的权重值；
Dice损失LDice的计算式为其中TP为结果为真阳性的概率，FP为结果为假阳性的概率，FN为结果为假阴性的概率；
交叉熵损失LCE的计算式为其中N为样本数量，yi为真实的标签，/>为模型输出的预测结果。
10.一种包括了权利要求1～9之一所述的基于深度学习的肺部CT影像分割方法的成像方法，具体包括如下步骤：
A.获取待分割的原始肺部CT图像；
B.采用权利要求1～9之一所述的基于深度学习的肺部CT影像分割方法，对步骤A获取的待分割的原始肺部CT图像，进行图像分割；
C.将步骤B得到的图像分割结果，在步骤A的原始肺部CT图像上进行标记和二次成像，输出带有肺部CT图像分割结果的肺部CT图像，完成成像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310219966.3A CN116468732A (zh) | 2023-03-09 | 2023-03-09 | 基于深度学习的肺部ct影像分割方法及成像方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310219966.3A CN116468732A (zh) | 2023-03-09 | 2023-03-09 | 基于深度学习的肺部ct影像分割方法及成像方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116468732A true CN116468732A (zh) | 2023-07-21 |
Family
ID=87183163
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310219966.3A Pending CN116468732A (zh) | 2023-03-09 | 2023-03-09 | 基于深度学习的肺部ct影像分割方法及成像方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116468732A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116825363A (zh) * | 2023-08-29 | 2023-09-29 | 济南市人民医院 | 基于融合深度学习网络的早期肺腺癌病理类型预测*** |
| CN117132606A (zh) * | 2023-10-24 | 2023-11-28 | 四川大学 | 用于肺部病变图像的分割方法 |
-
2023
- 2023-03-09 CN CN202310219966.3A patent/CN116468732A/zh active Pending
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116825363A (zh) * | 2023-08-29 | 2023-09-29 | 济南市人民医院 | 基于融合深度学习网络的早期肺腺癌病理类型预测*** |
| CN116825363B (zh) * | 2023-08-29 | 2023-12-12 | 济南市人民医院 | 基于融合深度学习网络的早期肺腺癌病理类型预测*** |
| CN117132606A (zh) * | 2023-10-24 | 2023-11-28 | 四川大学 | 用于肺部病变图像的分割方法 |
| CN117132606B (zh) * | 2023-10-24 | 2024-01-09 | 四川大学 | 用于肺部病变图像的分割方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN116468732A (zh) | 基于深度学习的肺部ct影像分割方法及成像方法 | |
| CN111429473B (zh) | 基于多尺度特征融合的胸片肺野分割模型建立及分割方法 | |
| CN111951288B (zh) | 一种基于深度学习的皮肤癌病变分割方法 | |
| CN112258488A (zh) | 一种医疗影像病灶分割方法 | |
| CN113223005B (zh) | 一种甲状腺结节自动分割及分级的智能*** | |
| CN112734755A (zh) | 基于3d全卷积神经网络与多任务学习的肺叶分割方法 | |
| CN110930378B (zh) | 基于低数据需求的肺气肿影像处理方法及*** | |
| CN111340816A (zh) | 一种基于双u型网络框架的图像分割方法 | |
| WO2024104035A1 (zh) | 基于长短期记忆自注意力模型的三维医学图像分割方法及*** | |
| CN112420170B (zh) | 一种提高计算机辅助诊断***图片分类准确度的方法 | |
| CN113160229A (zh) | 基于层级监督级联金字塔网络的胰腺分割方法及装置 | |
| CN116596949A (zh) | 一种基于条件扩散模型的医学图像分割方法 | |
| CN110992309B (zh) | 基于深层信息传递网络的眼底图像分割方法 | |
| CN116030044A (zh) | 一种边界感知的半监督医学图像分割方法 | |
| CN114862800A (zh) | 基于几何一致性约束的半监督医学图像分割方法 | |
| CN113192076B (zh) | 联合分类预测和多尺度特征提取的mri脑肿瘤图像分割方法 | |
| CN114863104B (zh) | 一种基于标签分布学习的图像分割方法 | |
| CN117095016A (zh) | 一种基于多视角一致性的半监督3d肝脏ct图像分割方法 | |
| CN116258685A (zh) | 全局和局部特征同时提取与融合的多器官分割方法及装置 | |
| CN115565671A (zh) | 基于跨模型相互教学半监督的房颤辅助分析方法 | |
| CN114821067A (zh) | 基于点标注数据的病理图像分割方法 | |
| CN112508958B (zh) | 一种轻量多尺度的生物医学图像分割方法 | |
| Ru et al. | A dermoscopic image segmentation algorithm based on U-shaped architecture | |
| CN111932486A (zh) | 一种基于3d卷积神经网络的脑胶质瘤分割方法 | |
| CN116012388B (zh) | 急性缺血性脑卒中三维医学影像分割方法及成像方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |