CN116958537A - 一种基于U-Net模型的肺结节分割方法 - Google Patents

一种基于U-Net模型的肺结节分割方法 Download PDF

Info

Publication number
CN116958537A
CN116958537A CN202310508247.3A CN202310508247A CN116958537A CN 116958537 A CN116958537 A CN 116958537A CN 202310508247 A CN202310508247 A CN 202310508247A CN 116958537 A CN116958537 A CN 116958537A
Authority
CN
China
Prior art keywords
convolution
improved
lung
module
net
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310508247.3A
Other languages
English (en)
Inventor
黎建军
李帅
黄子杰
杨礼源
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Jiliang University
Original Assignee
China Jiliang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Jiliang University filed Critical China Jiliang University
Priority to CN202310508247.3A priority Critical patent/CN116958537A/zh
Publication of CN116958537A publication Critical patent/CN116958537A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30061—Lung
    • G06T2207/30064—Lung nodule
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于U‑Net模型的肺结节分割方法，通过构建的改进模型，可以有效分割出肺部CT影像的肺结节区域，所述改进肺结节分割模型以U‑Net模型为基础，包括编码器、解码器、残差块和改进的ASPP模块，在改进的肺结节分割模型中加入BN层、Dropout层和残差块，有效解决了过拟合、梯度***和梯度消失等问题，通过添加卷积层、CBAM卷积注意力模块以及增加并行空洞卷积层数，对ASPP模块进行了改进，不仅扩大了感受野，而且可以有效捕获多尺度上下文信息，在扩大感受野的同时，还可以保证分辨率，改良网络通道的权重，使得模型更好的关注重要通道的信息，加强学习重要特征，实验结果表明，本发明相较于U‑Net原始分割模型，有效提升了肺结节分割的准确率。

Description

一种基于U-Net模型的肺结节分割方法
技术领域
本发明涉及医学图像处理技术领域，尤其涉及一种改进的U-Net肺结节分割方法。
背景技术
近年来，随着深度学习技术的不断发展，深度学习在医学图像处理上取得了显著的成果。传统的分割方法已不能满足日益庞大且复杂的医学图像分割任务，而深度学习可以应用于医学图像分割和识别领域，相较于医生经验判断而言，具有更高的识别准确度，成为当前医疗领域研究的热点。
肺癌是目前癌症中发病率和致死率较高的疾病之一，近年来呈现持续增长的态势。由于肺癌早期没有明显的症状，往往不易被患者发现，等到患者出现明显症状时，癌细胞已经扩散且到达了肺癌晚期的阶段。肺癌早期主要是以肺部结节的形式存在，通过对肺结节的筛查是预防和治疗肺癌最为有效的途径，可以极大地降低肺癌死亡率和治疗成本。
电子计算机断层扫描(ComputedTomography，CT)是一种高精度的肺结节筛查和分析手段，相较于整个肺部CT图像，肺结节仅占很小一部分区域，且形态各异，使得对肺结节的精准分割具有较大难度。此外，影像医生对肺结节分割时，通常受到主观意识和经验的影响，特别是视觉疲劳的情况下，还容易产生视觉误判。利用图像处理中的分割技术辅助医生对肺结节的诊断，可以降低医生工作强度，提高分割效率，为肺癌的早期筛查提供依据，提升人们的健康水平。
所谓医学图像分割，就是根据医学图像的某种相似性特征(如亮度、颜色、纹理、面积、形状、位置、局部统计特征或频谱特征等)将医学图像划分为若干个互不相交的“连通”的区域的过程，相关特征在同一区域表现出一致性或相似性，而在不同区域表现出明显的不同，也就是说在区域边界上像素存在某种不连续特性。
U-Net(UnityNetworking)的初衷是为了解决生物医学图像方面的问题，后来也被广泛的应用在语义分割的各个方向。U-Net是一个优秀的语义分割模型，其主要执行过程与其它语义分割模型类似，其与卷积神经网络(Convolutional NeuralNetworks，CNN)不同之处在于CNN是图像级的分类，而U-Net是像素级的分类，其输出的是每个像素点的类别。
然而U-Net模型在分割过程中，存在梯度消失、易丢失空间信息、特征利用率低等问题，而且随着网络层数的加深，容易造成过拟合。此外，U-Net模型没有充分利用不同阶段(Stage)间的特征信息，容易出现特征利用不完全的问题。上述存在的问题，影响了U-Net模型分割的准确率。因此，如何更好地提升U-Net模型分割肺结节的准确率显得至关重要。
为了解决上述问题，本发明提出了一种基于U-Net模型的肺结节分割方法，从而提升了肺结节分割的准确率。
发明内容
本发明的目的提供了一种基于U-Net网络的肺结节分割方法，以解决上述背景技术中U-Net网络存在的梯度消失、梯度***、易丢失空间信息、特征利用率低以及过拟合等问题。
根据本发明的目的提出的一种基于U-Net网络的肺结节分割方法，通过构建改进的U-Net网络模型，可以有效分割出肺部CT影像的肺结节区域，所述改进的肺结节分割模型以U-Net模型为基础，包括编码器、解码器、残差模块和改进的ASPP模块。
本发明提供了一种基于U-Net网络的肺结节分割方法，包括以下步骤：
S1：读取肺部CT影像，并对CT影像进行预处理；
S2：切割出肺结节图片并生成对应的掩膜；
S3：根据获取的肺结节图片及对应的掩膜进行数据集的划分，以获得训练集和测试集；
S4：搭建改进后的U-Net网络结构；
S5：将所获得的训练集输入改进的U-Net网络进行训练；
S6：将待分割的肺结节CT图像输入训练好的U-Net改进网络，获取肺结节的分割结果。
优选地，所述步骤S1中，读取数据集中指定格式的肺部CT影像，利用二值化、图像边缘填充、直方图修正、灰度变换、图像平滑、高斯滤波、裁剪、图像平移、阈值法、形态学以及数据增强等方法对原始的肺部CT图像进行预处理。
优选地，所述步骤S2中，切割出肺部CT图像中包含肺结节的部分，并生成肺结节对应的掩膜图片。
优选地，所述步骤S3中，根据获取的肺结节图片及对应的掩膜进行数据集的划分，以获得训练集和测试集，其中训练集占比80％，测试集占比20％。
优选地，所述步骤S4中，为了便于模型的设计、浅层特征与深层特征的融合，本发明将原始U-Net网络中的“padding＝valid”卷积替代为“padding＝same”卷积，使用该设置后，卷积处理后得到的特征图和原始输入的维度将保持一致，另外，为了加速模型的收敛速度以及避免梯度消失和梯度***问题，本发明在每个卷积操作后面连接了BN(BatchNormalization)层，最后，为了防止过拟合和提高网络性能，本发明设计了一个失活率为30％的Dropout层，将原始U-Net网络的3x3卷积层和ReLU层做出改进：Dropout层紧跟在原始U-Net网络的3x3卷积的后面，其次Dropout层后面是BN层，最后是ReLU层，使用残差结构直接把输入信息传到输出，减小了信息的损耗，对网络而言减少了梯度消失的问题，从而使构建的网络模型收敛得更快，BN层可以加快网络的训练和收敛的速度、控制梯度***、防止梯度消失以及防止过拟合，Dropout的原理是在模型训练时，以一定概率随机的让部分的特征探测单元失活，因此就相当于训练了多个模型，这样，最终得到的模型更具泛化性和鲁棒性，可以有效地规避过度拟合问题，通过上面的改进，可以有效解决过拟合、梯度***和梯度消失等问题。
优选地，所述步骤S4中，在原始的U-Net网络中加入BN层、Dropout层和残差块方法，以及通过改进ASPP模块的方法构建改进的U-Net网络结构，具体为：
输入图像→第一个残差双卷积模块→第一个2x2最大池化层→第二个残差双卷积模块→第二个2x2最大池化层→第三个残差双卷积模块→第三个2x2最大池化层→第四个残差双卷积模块→第四个2x2最大池化层→改进的空洞卷积金字塔模块(改进的ASPP模块)→3x3卷积组合→第一个2x2上采样层→第一个残差双卷积拼接模块→第二个2x2上采样→第二个残差双卷积拼接模块模块→第三个2x2上采样→第三个残差双卷积拼接模块→第四个2x2上采样→第四个残差双卷积拼接模块→1x1卷积→分割图。
优选地，所述步骤S4中，残差双卷积模块，具体构成为：
先经过一个3x3卷积组合，得到特征图，然后，用得到的特征图，再经过一个3x3卷积组合得到新的特征图，两个3x3卷积组合整体再结合残差块连接组成，其中，上述3x3卷积组合的构成为：由一个3×3的卷积，一个BN层，一个Dropout层与一个ReLU层依次连接组成。
优选地，所述步骤S4中，残差双卷积拼接模块，具体构成为：
先经过跳跃连接，将左侧编码路径与右侧解码路径以叠加操作融合在一起，再经过一个3x3卷积组合，得到特征图，然后，用得到的特征图，再经过一个3x3卷积组合得到新的特征图，两个3x3卷积组合整体再结合残差块连接组成，其中，上述3x3卷积组合的构成为：由一个3×3的卷积，一个BN层，一个Dropout层与一个ReLU层依次连接组成，残差双卷积模块和残差双卷积拼接模块中的3x3卷积组合构成是一样的。
跳跃连接部分将左侧编码路径与右侧解码路径以叠加操作融合在一起，即将编码路径得到的低级特征信息与解码路径得到的高级特征信息相融合，跳跃连接首尾两端的特征图的通道数与分辨率是相同，因此融合后的特征图同时具有浅层特征信息及深层语义特征信息，有利于得到更精确的分割效果。
优选地，所述步骤S4中，改进的ASPP模块，具体构成为：
原ASPP中有5个分支，分别为1×1的卷积、空洞数为6、12、18的3×3卷积、1x1全局池化，此处增加并行空洞卷积层数由3层至6层，这样做的好处是可以通过卷积获得不同的感受野和卷积块，每一层都相当于对同源却不同的特征块进行操作，更有利于后续的语义融合和补充，再外加1×1的卷积和1x1全局池化，总共变为8个分支，并且在7个分支(除1x1全局池化层)前均增加卷积块，其中，1x1全局池化层后，再经过1x1卷积和上采样操作，得到的信息再跟其余7个分支信息进行融合，此外，还引入了CBAM(ConvolutionalBlockAttentionModule，卷积注意力模块)，对网络通道的权重进行改良，加强学习重要特征，提高信息利用率，加强特征融合，将8个分支特征提取后，使用1×1的卷积调整通道数，此时将会得到一个语义信息非常丰富的特征块。
优选地，所述步骤S5中，在进行网络训练时，使用DiceLoss作为损失函数，使用随机梯度下降(StochasticGradientDescent，SGD)作为优化函数，使用交并比作为模型的评价指标。
与现有技术相比，本发明的有益效果为：
1.本发明在原始U-Net网络的各个块中添加了BN层、Dropout层和残差块，使用残差结构直接把输入信息传到输出，减小了信息的损耗，对网络而言减少了梯度消失的问题，从而使构建的网络模型收敛得更快，BN层可以加快网络的训练和收敛的速度、控制梯度***、防止梯度消失以及防止过拟合，Dropout层以一定概率随机的让部分特征探测单元失活，最终得到的模型更具泛化性和鲁棒性，可以有效地规避过度拟合问题，通过上面的改进，可以有效解决原始U-Net网络模型过拟合、梯度***和梯度消失等问题。
2.传统的下采样虽然可以增加感受野，但会降低空间分辨率，在原始U-Net网络中，通过加入改进的ASPP模块，不仅扩大了感受野，而且可以有效捕获多尺度上下文信息，改进的ASPP模块，还引入了CBAM卷积注意力模块，在扩大感受野的同时，还可以保证分辨率，此外，还可以改良网络通道的权重，使得模型更好的关注重要通道的信息，加强学习重要特征，提高信息利用率，对提取到的信息进行充分融合，提高了分割精度。
附图说明
图1为本发明所述方法流程示意图；
图2为本发明设计的基于U-Net网络进行改进的总体框架图；
图3为本发明改进的ASPP模块结构示意图；
图4为本发明中使用的残差单元的结构图；
图5为本发明中使用的CBAM卷积注意力模块的结构图。
具体实施方式
以下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、详细地描述，但这些实施方式并不限制本发明，需要说明的是，以下实施例仅用于举例说明本发明的具体实施方式，并不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护范围。
如图1所示，本发明提供一种改进U-Net的肺结节分割方法，包括以下步骤：
步骤一：从专业医院和医生手中获取带标注信息的肺部CT数据集；
步骤二：读取肺部CT数据集和医生的标注文件，通过标注信息切割出CT图像中具有肺结节的部分，并通过边缘的分割信息生成肺结节对应的掩膜图片；
步骤三：将步骤二中截取的图片进行数据集的划分，其中训练集占比80％，测试集占比20％；
步骤四：搭建改进后的U-Net网络模型；
步骤五：将步骤三中划分的训练集输入步骤四构建的网络中进行模型训练；
步骤六：将测试集输入步骤五中训练好的网络中得出肺结节分割结果图。
所述步骤一中，数据集包含800个病人，每个病例大约有200-400张CT图像不等，并且由专业的医生进行了标注，每张CT图片的大小为512x512。
所述步骤二中，在根据数据集中标注的位置信息将含有肺结节部分以结点为中心截取为64x64大小的图片，再根据结点轮廓信息生成对应的掩膜图片。
所述步骤三中，根据获取的肺结节图片及对应的掩膜进行数据集的划分，以获得训练集和测试集，其中训练集占比80％，测试集占比20％。
所述步骤四中，在原始的U-Net网络中加入BN层、Dropout层和残差块方法，以及通过改进ASPP模块的方法构建改进的U-Net网络结构，结合图2所示，具体为：
Block1：输入512x512待测肺部CT图像，经过一个3x3卷积组合，得到64通道的特征图，然后，用得到的特征图，再经过一个3x3卷积组合得到新的512x512x64(宽、高、通道数)特征图，随后，新的64通道特征图经过第一个2x2最大池化层，此外，在第二个3x3卷积组合还有一个分支引入了残差块，残差块起始于第二个3x3卷积组合，终止于第一个2x2最大池化层，其中，上述3x3卷积组合的构成为：由一个3×3的卷积，一个BN层，一个Dropout层与一个ReLU层依次连接组成，以下3x3卷积组合的构成跟上述3x3卷积组合构成一样，不再重复介绍。
Block2：经过第一个2x2最大池化层，得到256x256x64特征图，再经过两个3x3卷积组合得到256x256x128特征图，随后，新的128通道特征图经过第二个2x2最大池化层，此外，在第一个3x3卷积组合还有一个分支引入了残差块，残差块起始于第一个3x3卷积组合，终止于第二个2x2最大池化层。
Block3：经过第二个2x2最大池化层，得到128x128x128特征图，再经过两个3x3卷积组合得到128x128x256特征图，随后，新的256通道特征图经过第三个2x2最大池化层，此外，在第一个3x3卷积组合还有一个分支引入了残差块，残差块起始于第一个3x3卷积组合，终止于第三个2x2最大池化层。
Block4：经过第三个2x2最大池化层，得到64x64x256特征图，再经过两个3x3卷积组合得到64x64x512特征图，随后，新的512通道特征图经过第四个2x2最大池化层，此外，在第一个3x3卷积组合还有一个分支引入了残差块，残差块起始于第一个3x3卷积组合，终止于第四个2x2最大池化层。
Block5：经过第四个2x2最大池化层后，再经过改进的ASPP模块，然后再经过3x3卷积组合，得到32x32x1024特征图，再经过第一个2x2上采样层，原ASPP中有5个分支，分别为1×1的卷积、空洞数为6、12、18的3×3卷积、1x1全局池化，上述改进的ASPP模块增加并行空洞卷积层数由3层至6层，这样做的好处是可以通过卷积获得不同的感受野和卷积块，每一层都相当于对同源却不同的特征块进行操作，更有利于后续的语义融合和补充，再外加1×1的卷积和1x1全局池化，总共变为8个分支，并且在7个分支(除1x1全局池化层)前均增加卷积块，其中，1x1全局池化层后，再经过1x1卷积和上采样操作，得到的信息再跟其余7个分支信息进行融合，此外，还引入了CBAM卷积注意力模块，对网络通道的权重进行改良，加强学习重要特征，提高信息利用率，加强特征融合，将8个分支特征提取后，使用1×1的卷积调整通道数，此时将会得到一个语义信息非常丰富的特征块。
Block6：经过第一个2x2上采样层后，得到的特征图跟Block4中第二个3x3卷积组合后的特征图进行跳跃连接，得到64x64x1024特征图，再经过两个3x3卷积组合得到64x64x512特征图，随后，新的512通道特征图经过第二个2x2上采样层，此外，在第一个3x3卷积组合还有一个分支引入了残差块，残差块起始于第一个3x3卷积组合，终止于第二个2x2上采样层。
Block7：经过第二个2x2上采样层后，得到的特征图跟Block3中第二个3x3卷积组合后的特征图进行跳跃连接，得到128x128x512特征图，再经过两个3x3卷积组合得到128x128x256特征图，随后，新的256通道特征图经过第三个2x2上采样层，此外，在第一个3x3卷积组合还有一个分支引入了残差块，残差块起始于第一个3x3卷积组合，终止于第三个2x2上采样层。
Block8：经过第三个2x2上采样层后，得到的特征图跟Block2中第二个3x3卷积组合后的特征图进行跳跃连接，得到256x256x256特征图，再经过两个3x3卷积组合得到256x256x128特征图，随后，新的128通道特征图经过第四个2x2上采样层，此外，在第一个3x3卷积组合还有一个分支引入了残差块，残差块起始于第一个3x3卷积组合，终止于第四个2x2上采样层。
Block9：经过第四个2x2上采样层后，再经过两个3x3卷积组合得到512x512x64特征图，随后，经过1x1卷积得到512x512x1特征图。
所述步骤5中，在进行网络训练时，使用DiceLoss作为损失函数，使用随机梯度下降(StochasticGradientDescent，SGD)作为优化函数，使用交并比作为模型的评价指标。
所述步骤6中，将测试集输入训练好的网络模型，查看分割结果。
为了便于理解本发明专利，在这里对残差块和CBAM进行简单介绍，如图4所示，残差块分为两部分：直接映射部分和残差部分，图4中的Weight在卷积网络中是指卷积操作，CBAM(ConvolutionalBlockAttentionModule)是轻量级的卷积注意力模块，它结合了通道和空间的注意力机制模块，从图5可以看到，CBAM包含CAM(ChannelAttentionModule)和SAM(SpartialAttentionModule)两个子模块，分别进行通道和空间上的注意力，这样不仅能够节约参数和计算力，而且保证了其能够做为即插即用的模块集成到现有的网络架构中去。
训练结束后，分别对传统U-Net网络模型和本发明改进的U-Net网络模型分割效果进行评估，传统U-Net网络模型交并比为0.88，本发明改进的U-Net网络模型交并比为0.95，相较于传统U-Net网络模型，本发明改进的U-Net网络模型分割精度提升了8％。
以上所述，仅为发明的具体实施方式，但发明的保护范围并不局限于此，任何不经过创造性劳动想到的变化或替换，都应涵盖在发明的保护范围之内，因此，发明的保护范围应该以权利要求书所限定的保护范围为准。

Claims (6)

1.一种改进U-Net的肺结节分割方法，其特征在于，包括以下步骤：
步骤一：读取肺部CT影像，并对CT影像进行预处理；
步骤二：切割出肺结节图片并生成对应的掩膜；
步骤三：根据获取的肺结节图片及对应的掩膜进行数据集的划分，以获得训练集和测试集；
步骤四：搭建改进后的U-Net网络结构；
步骤五：将所获得的训练集输入改进的U-Net网络进行训练；
步骤六：将待分割的肺结节CT图像输入训练好的U-Net改进网络，获取肺结节的分割结果。
2.根据权利要求1所述的一种改进U-Net的肺结节分割方法，其特征在于，在步骤一中，读取数据集中指定格式的肺部CT影像，利用二值化、图像边缘填充、直方图修正、灰度变换、阈值法、形态学以及数据增强等方法对原始的肺部CT图像进行预处理。
3.根据权利要求1所述的一种改进U-Net的肺结节分割方法，其特征在于，在步骤二中，切割出肺部CT图像中包含肺结节的部分，并生成肺结节对应的掩膜图片。
4.根据权利要求1所述的一种改进U-Net的肺结节分割方法，其特征在于，在步骤三中，根据获取的肺结节图片及对应的掩膜进行数据集的划分，以获得训练集和测试集，其中训练集占比80％，测试集占比20％。
5.根据权利要求1所述的一种改进U-Net的肺结节分割方法，其特征在于，在步骤四中，所构建的改进U-Net网络模型结构为：输入图像→第一个残差双卷积模块→第一个2x2最大池化层→第二个残差双卷积模块→第二个2x2最大池化层→第三个残差双卷积模块→第三个2x2最大池化层→第四个残差双卷积模块→第四个2x2最大池化层→改进的空洞卷积金字塔模块→3x3卷积组合→第一个2x2上采样层→第一个残差双卷积拼接模块→第二个2x2上采样→第二个残差双卷积拼接模块模块→第三个2x2上采样→第三个残差双卷积拼接模块→第四个2x2上采样→第四个残差双卷积拼接模块→1x1卷积→分割图。
6.根据权利要求1所述的一种改进U-Net的肺结节分割方法，其特征在于，在步骤五中，在进行网络训练时，使用DiceLoss作为损失函数，使用随机梯度下降SGD作为优化函数，使用交并比作为模型的评价指标。
CN202310508247.3A 2023-05-08 2023-05-08 一种基于U-Net模型的肺结节分割方法 Pending CN116958537A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310508247.3A CN116958537A (zh) 2023-05-08 2023-05-08 一种基于U-Net模型的肺结节分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310508247.3A CN116958537A (zh) 2023-05-08 2023-05-08 一种基于U-Net模型的肺结节分割方法

Publications (1)

Publication Number Publication Date
CN116958537A true CN116958537A (zh) 2023-10-27

Family

ID=88459218

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310508247.3A Pending CN116958537A (zh) 2023-05-08 2023-05-08 一种基于U-Net模型的肺结节分割方法

Country Status (1)

Country Link
CN (1) CN116958537A (zh)

Similar Documents

Publication Publication Date Title
Xu et al. Multi-task joint learning model for segmenting and classifying tongue images using a deep neural network
Chan et al. Texture-map-based branch-collaborative network for oral cancer detection
CN113674253B (zh) 基于U-Transformer的直肠癌CT影像自动分割方法
CN108010021A (zh) 一种医学图像处理***和方法
CN112150428A (zh) 一种基于深度学习的医学图像分割方法
CN106504232A (zh) 一种基于3d卷积神经网络的肺部结节自动检测方法
CN112258488A (zh) 一种医疗影像病灶分割方法
Ma et al. Efficient deep learning architecture for detection and recognition of thyroid nodules
CN111754453A (zh) 基于胸透图像的肺结核检测方法、***和存储介质
CN107767362A (zh) 一种基于深度学习的肺癌早筛装置
Li et al. Natural tongue physique identification using hybrid deep learning methods
Zhou et al. A unified visual information preservation framework for self-supervised pre-training in medical image analysis
CN114266794B (zh) 基于全卷积神经网络的病理切片图像癌症区域分割***
Wang et al. Anomaly segmentation in retinal images with poisson-blending data augmentation
Liu et al. Extracting lungs from CT images via deep convolutional neural network based segmentation and two-pass contour refinement
CN113160120A (zh) 基于多模态融合与深度学习的肝脏血管分割方法及***
CN116883341A (zh) 一种基于深度学习的肝脏肿瘤ct图像自动分割方法
CN116152500A (zh) 一种基于深度学习的全自动牙齿cbct图像分割方法
Zhang et al. LungSeek: 3D Selective Kernel residual network for pulmonary nodule diagnosis
Zhou et al. GA-Net: Ghost convolution adaptive fusion skin lesion segmentation network
CN114445328A (zh) 基于改进Faster R-CNN的医学影像脑肿瘤检测方法与***
CN112288752B (zh) 一种基于胸部平扫ct的冠脉钙化灶全自动分割方法
CN113889238A (zh) 一种图像识别方法、装置、电子设备及存储介质
CN112488971A (zh) 基于空间注意力机制和深度卷积生成对抗网络的医学图像融合方法
Liu et al. Annotating early esophageal cancers based on two saliency levels of gastroscopic images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination