CN112950643B - 基于特征融合深监督U-Net的新冠肺炎病灶分割方法 - Google Patents
基于特征融合深监督U-Net的新冠肺炎病灶分割方法 Download PDFInfo
- Publication number
- CN112950643B CN112950643B CN202110217241.1A CN202110217241A CN112950643B CN 112950643 B CN112950643 B CN 112950643B CN 202110217241 A CN202110217241 A CN 202110217241A CN 112950643 B CN112950643 B CN 112950643B
- Authority
- CN
- China
- Prior art keywords
- sample set
- feature fusion
- segmentation
- net
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 68
- 230000004927 fusion Effects 0.000 title claims abstract description 48
- 238000000034 method Methods 0.000 title claims abstract description 32
- 206010035664 Pneumonia Diseases 0.000 title claims abstract description 14
- 238000012549 training Methods 0.000 claims abstract description 49
- 208000025721 COVID-19 Diseases 0.000 claims abstract description 23
- 238000002591 computed tomography Methods 0.000 claims abstract description 21
- 238000012795 verification Methods 0.000 claims abstract description 18
- 238000013434 data augmentation Methods 0.000 claims abstract description 10
- 238000007781 pre-processing Methods 0.000 claims abstract description 4
- 238000012545 processing Methods 0.000 claims description 19
- 238000010606 normalization Methods 0.000 claims description 18
- 230000006870 function Effects 0.000 claims description 16
- 238000012216 screening Methods 0.000 claims description 9
- 238000003745 diagnosis Methods 0.000 claims description 7
- 238000002372 labelling Methods 0.000 claims description 7
- 230000008569 process Effects 0.000 claims description 7
- 230000004913 activation Effects 0.000 claims description 6
- 230000017105 transposition Effects 0.000 claims description 6
- 230000003416 augmentation Effects 0.000 claims description 3
- 230000008859 change Effects 0.000 claims description 3
- 230000005489 elastic deformation Effects 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 238000003709 image segmentation Methods 0.000 abstract description 3
- 239000010410 layer Substances 0.000 description 29
- 238000011156 evaluation Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 230000035945 sensitivity Effects 0.000 description 3
- 238000012937 correction Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 241000711573 Coronaviridae Species 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 239000005338 frosted glass Substances 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 210000004072 lung Anatomy 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000007170 pathology Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000011158 quantitative evaluation Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 238000007430 reference method Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000003757 reverse transcription PCR Methods 0.000 description 1
- 239000002356 single layer Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30061—Lung
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Molecular Biology (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
本发明涉及医学图像分割技术领域，提供一种基于特征融合深监督U‑Net的新冠肺炎病灶分割方法，包括：步骤1：获取初始样本集；步骤2：对初始样本集进行预处理；步骤3：获取训练样本集与验证样本集；步骤4：对训练样本集进行数据增广；步骤5：搭建基于特征融合深监督U‑Net的胸部CT影像中COVID‑19病灶区域自动分割模型包括编码器、解码器、跳跃连接、特征融合块、深监督分支，特征融合块添加在不同层级的跳跃连接间，深监督分支添加在解码器部分；步骤6：训练分割模型；步骤7：对待分割的胸部三维CT扫描图像进行分割。本发明能够实现胸部CT中COVID‑19病灶区域的自动分割，提高分割的准确性、快速性。
Description
技术领域
本发明涉及医学图像分割技术领域，特别是涉及一种基于特征融合深监督U-Net的新冠肺炎病灶分割方法。
背景技术
2019年末开始在全球范围内爆发新型冠状病毒(COVID-19)疫情，截止2021年2月26日全球确诊人数已经破亿。一方面，每个疑似病例都需要通过RT-PCR检测进行确认，虽然RT-PCR是诊断的金标准，但是该过程非常耗时，且诊断的假阴性很高。另一方面，COVID-19患者的胸部CT扫描通常会在肺部两侧出现斑片状毛玻璃影，由于该特征的高敏感性，已被用作COVID-19筛查的重要补充指标。
胸部CT检查在对住院的COVID-19患者进行随访评估中也发挥着重要的作用。由于该病的病情变化迅速，一般每3-5天进行后续CT扫描以评估治疗反应。虽然CT提供了丰富的病理信息，但由于缺乏计算机工具来准确量化病灶区域及其纵向变化，在影像学报告中只能提供定性评估，随诊CT扫描的细微变化往往被忽略。
因此需要对胸部CT病灶区域进行定量评估，而手工绘制病灶区域的轮廓是一项繁琐且费时的工作，且受到医生个人水平和经验的影响，难以准确统一地反映病灶区域的边界，故迫切需要一种对胸部CT中COVID-19病灶区域进行自动分割的工具。
近年来，深度卷积神经网络的研究取得一定突破，可以有效应用于图像处理领域。其中U-Net因为在各项分割任务中表现出的优秀效果成为医学图像分割领域的基准方法。但该结构只利用了单层的单尺度特征，而不同层次特征的重要性对于不同的数据是不一样的。
发明内容
针对现有技术存在的问题，本发明提供一种基于特征融合深监督U-Net的新冠肺炎病灶分割方法，能够实现胸部CT中COVID-19病灶区域的自动分割，提高分割的准确性、快速性。
本发明的技术方案为：
一种基于特征融合深监督U-Net的新冠肺炎病灶分割方法，其特征在于：包括下述步骤：
步骤1：获取初始样本集
收集确诊为COVID-19的多名患者的胸部三维CT扫描图像，对胸部三维CT扫描图像中COVID-19病灶区域位置进行标注，对胸部三维CT扫描图像进行切片处理，并筛选掉不含有COVID-19病灶的切片，将每名患者的筛选后剩下的所有切片及各切片对应的标注数据作为一个初始样本，得到初始样本集；
步骤2：对初始样本集进行预处理
步骤3：获取训练样本集与验证样本集
从预处理后的样本集中选取M个样本构成训练样本集、剩下的样本构成验证样本集；
步骤4：对训练样本集进行数据增广；
步骤5：搭建分割模型
搭建基于特征融合深监督U-Net的胸部CT影像中COVID-19病灶区域自动分割模型包括编码器、解码器、跳跃连接、特征融合块、深监督分支，所述特征融合块添加在不同层级的跳跃连接间，所述深监督分支添加在解码器部分；
步骤6：训练分割模型
利用数据增广后的训练样本集、验证样本集对搭建好的分割模型进行训练和选择，得到最优分割模型；
步骤7：对待分割的胸部三维CT扫描图像进行切片处理，对所有切片进行预处理，将预处理后的所有切片输入所述最优分割模型并得到分割结果，对分割结果进行双线性插值上采样以恢复至原始大小，将该待分割的胸部三维CT扫描图像的所有切片的恢复至原始大小的分割结果按照位置关系合并为三维数据。
进一步的，所述步骤2包括下述步骤：
步骤2.1：对所有切片以[-1200，600]的HU值范围进行调窗处理；
步骤2.2：对调窗处理后的所有切片进行最大最小归一化处理；
步骤2.3：对归一化处理后的所有切片和标注数据进行均值下采样，将每个切片及对应的标注数据的大小由512*512缩小至256*256。
进一步的，所述步骤4中，对训练样本集进行数据增广的方法为随机在线增广方法，具体为：每代训练中训练样本在输入模型进行训练前都会进行随机旋转、随机弹性形变、镜像、随机强度变化、保持原样中的一种。
进一步的，所述步骤5中，所述编码器中第一层级包括依次相连的a1个卷积单元、第二层级包括依次相连的a2个残差单元、第三层级包括依次相连的a3个残差单元、第四层级包括依次相连的a4个残差单元、第五层级包括依次相连的a5个残差单元；所述解码器中第一层级包括依次相连的b1个卷积单元、第二层级包括依次相连的b2个残差单元、第三层级包括依次相连的b3个残差单元、第四层级包括依次相连的b4个残差单元。
进一步的，所述步骤5中，所述特征融合块包括编码器中每一层级的特征图在进行跳跃连接前与前面所有层级的特征图进行相加融合；所述深监督分支包括在解码器中除原来具有输出分支的第一层级外的其他三个层级各添加一个输出分支。
进一步的，所述特征融合块中，先使用卷积单元将浅层的特征图下采样到与待融合特征图相同的大小，再通过残差单元对下采样后的特征图进行调整，将经残差单元调整后的特征图与待融合特征图以像素级相加的形式进行融合，最后通过原本的跳跃连接传递到解码器部分。
进一步的，所述深监督分支中的每个输出分支包括依次连接的转置卷积层、sigmoid激活函数层，先使用转置卷积层将经过所在层级解码器后的图像还原至输入的原始大小，并将图像通道数调整为1，再使用sigmoid激活函数层对图像进行归一化处理。
进一步的，所述卷积单元按照向前传播的方向包括卷积层、批规范化层、线性整流函数层，卷积层中的卷积核大小、步长取决于下采样的倍数；所述残差单元的结构为在两个卷积单元串联的基础上添加残差连接，所述残差连接为第二个卷积单元的批规范化层与输入按权加和后再与第二个卷积单元的线性整流函数层连接。
进一步的，所述步骤6中，模型训练过程中，采用四个输出分支的加权Dice Loss作为网络的损失函数，根据验证集表现调整学习率和选择最终模型。
本发明的有益效果为：
本发明在U-Net网络的基础上添加残差连接，在不同层级的跳跃连接间添加特征融合块实现不同跳跃连接路径上多尺度特征的融合，在解码器部分添加额外的深监督分支实现对融合后的多尺度特征的强制学习，使构建的深度学习网络有效地学习到了不同尺度的特征，能够实现胸部CT中COVID-19病灶区域的自动分割，且提高分割的准确性、快速性，解决了U-Net网络没有对各层级不同尺度特征进行充分利用的问题，分割结果可以作为COVID-19筛查的重要补充指标，同时可以为患者的随访评估提供必要的量化信息，提高诊断的准确性、客观性和可靠性，提高医生的工作效率。
附图说明
图1为本发明的基于特征融合深监督U-Net的新冠肺炎病灶分割方法的流程图。
图2为具体实施方式中本发明的基于特征融合深监督U-Net的胸部CT影像中COVID-19病灶区域自动分割模型的网络结构示意图。
图3为具体实施方式中本发明的基于特征融合深监督U-Net的胸部CT影像中COVID-19病灶区域自动分割模型中特征融合方式的示意图。
图4为具体实施方式中本发明的基于特征融合深监督U-Net的胸部CT影像中COVID-19病灶区域自动分割模型与其他分割模型及人工分割的分割结果对比图。
具体实施方式
下面将结合附图和具体实施方式，对本发明作进一步描述。
如图1所示，本发明的基于特征融合深监督U-Net的新冠肺炎病灶分割方法，包括下述步骤：
步骤1：获取初始样本集
收集确诊为COVID-19的多名患者的胸部三维CT扫描图像，对胸部三维CT扫描图像中COVID-19病灶区域位置进行标注，对胸部三维CT扫描图像进行切片处理，并筛选掉不含有COVID-19病灶的切片，将每名患者的筛选后剩下的所有切片及各切片对应的标注数据作为一个初始样本，得到初始样本集。
步骤2：对初始样本集进行预处理
本实施例中，步骤2包括下述步骤：
步骤2.1：对所有切片以[-1200，600]的HU值范围进行调窗处理，以除去不相关部分的干扰；
步骤2.2：对调窗处理后的所有切片进行最大最小归一化处理；
步骤2.3：为了提升后续训练速度，节省显卡空间，对归一化处理后的所有切片和标注数据进行均值下采样，将每个切片及对应的标注数据的大小由512*512缩小至256*256。
步骤3：获取训练样本集与验证样本集
从预处理后的样本集中选取M个样本构成训练样本集、剩下的样本构成验证样本集。
步骤4：对训练样本集进行数据增广。
本实施例中，对训练样本集进行数据增广的方法为随机在线增广方法，具体为：每代训练中训练样本在输入模型进行训练前都会进行随机旋转、随机弹性形变、镜像、随机强度变化、保持原样中的一种。
步骤5：搭建分割模型
如图2所示，搭建基于特征融合深监督U-Net的胸部CT影像中COVID-19病灶区域自动分割模型包括编码器、解码器、跳跃连接、特征融合块、深监督分支，特征融合块添加在不同层级的跳跃连接间，深监督分支添加在解码器部分。
其中，编码器、解码器、跳跃连接为U-Net网络的基础结构。本发明在编码器阶段使用最大池化通过四次下采样将CT图像缩小16倍以提取特征信息，然后在解码器阶段先将不同层级的特征图通过特征融合块进行融合并通过跳跃连接进行拼接，再使用转置卷积通过四次上采样将特征图扩大16倍以恢复至原始大小。
本实施例中，如图2所示，所述编码器中第一层级包括依次相连的a1＝3个卷积单元、第二层级包括依次相连的a2＝3个残差单元、第三层级包括依次相连的a3＝3个残差单元、第四层级包括依次相连的a4＝4个残差单元、第五层级包括依次相连的a5＝5个残差单元；所述解码器中第一层级包括依次相连的b1＝2个卷积单元、第二层级包括依次相连的b2＝3个残差单元、第三层级包括依次相连的b3＝3个残差单元、第四层级包括依次相连的b4＝4个残差单元。其中，编码器与解码器各层级的划分按照从上到下的顺序进行。
U-Net中的跳跃连接可以把浅层和深层特征进行融合，这极大地提高了网络的分割性能。本实施例中，为保证充分利用不同层次的特征，特征融合块使得编码器中每一层级的特征图在进行跳跃连接前与前面所有层级的特征图进行相加融合，进一步将不同尺度的特征进行融合，有效地整合更多信息，并通过横向连接传播到解码器部分，增强网络的特征学习能力。
如果按照与原始输入相比下采样的倍数从小到大分别定义为feature map 1～4，那么融合表达式如公式(1)所示，实际的融合过程如图3所示。
其中，为第m层级经过相加融合后的特征图，/>为第i层级在相加融合前的特征图。
具体的，特征融合块先使用卷积单元将浅层的特征图下采样到与待融合特征图相同的大小，再通过残差单元对下采样后的特征图进行调整，将经残差单元调整后的特征图与待融合特征图以像素级相加的形式进行融合，最后通过原本的跳跃连接传递到解码器部分。本发明的卷积单元和残差单元的参数在训练过程中得到调整，可以减少不同层次特征图间的语义鸿沟造成的负面影响。其中，像素级相加指图像的各像素点值相加。
本实施例中使用的深监督分支，通过影响最终损失函数的形式对融合后的多尺度特征进行监督，既可以避免因为网络层数的加深而出现的梯度消失，又可以令模型对指定位置的多尺度特征进行强制学习。
具体的，深监督分支包括在解码器中除原来具有输出分支的第一层级外的其他三个层级各添加一个输出分支，总计四个分支，分别代表不同尺度的特征输出。所述深监督分支中的每个输出分支包括依次连接的转置卷积层、sigmoid激活函数层，先使用转置卷积层将经过所在层级解码器后的图像还原至输入的原始大小，并将图像通道数调整为1，再使用sigmoid激活函数层对图像进行归一化处理，与实际标注计算loss值。
所述卷积单元按照向前传播的方向包括卷积层、批规范化层、线性整流函数层，卷积层中的卷积核大小、步长取决于下采样的倍数；所述残差单元的结构为在两个卷积单元串联的基础上添加残差连接，所述残差连接为第二个卷积单元的批规范化层与输入按权加和后再与第二个卷积单元的线性整流函数层连接。
步骤6：训练分割模型
利用数据增广后的训练样本集、验证样本集对搭建好的分割模型进行训练和选择，得到最优分割模型。
本实施例中，模型训练过程中，采用四个输出分支的加权Dice Loss作为网络的损失函数，根据验证集表现调整学习率和选择最终模型。
加权Dice Loss的表达式如公式(2)所示：
其中，X、Y分别为预测标注的像素点集、真实标注的像素点集，ωc为loss 1～loss4的权重集合{0.2,0.2,0.2,0.4}；X∩Y是X和Y之间的交集，|X|、|Y|分别为表示X、Y的元素个数，分子的系数为2，是因为分母存在重复计算X和Y之间共同元素的原因。
在将样本输入网络进行训练前，需要先对经过预处理的样本进行读取和数据增强。样本以三维CT扫描的形式存储，本实施例沿Z轴方向对所有切片进行筛选，舍弃不含有目标分割区域的切片。随后对符合条件的训练样本进行数据增广。
使用经过预处理和数据增强后的训练样本对搭建完成的学习网络进行模型训练，得到胸部CT影像中COVID-19病灶区域的分割模型。在模型的训练过程中采用Adam优化器，定义如公式(3)所示：
其中，θt+1表示t+1时刻即第t+1迭代模型的参数，θt表示t时刻即第t迭代模型的参数，η为学习率，为一阶动量项的修正值，/>为二阶动量项的修正值，ε为一个取值很小的数以避免分母为0，本实施例中取ε＝1e-8。
本实施例中，初始学习率设置为1×10-4，根据验证集的表现进行调整，若3个epoch内验证集loss没有下降，则将学习率乘以0.5，最低为1e-8。同时为了避免网络过拟合，设置早停机制，若5个epoch内验证集loss没有下降则终止训练，选取验证集loss最低的模型存档作为胸部CT影像中COVID-19病灶区域的自动分割模型的参数。
步骤7：对待分割的胸部三维CT扫描图像进行切片处理，对所有切片进行预处理，将预处理后的所有切片输入所述最优分割模型并得到分割结果，对分割结果进行双线性插值上采样以恢复至原始大小，将该待分割的胸部三维CT扫描图像的所有切片的恢复至原始大小的分割结果按照位置关系合并为三维数据。
本实施例中，在患者同意的情况下，收集确诊为COVID-19的108名患者的胸部三维CT扫描图像，并由经验丰富的医师对病灶位置进行标注，对图像进行切片处理并筛选切片后，得到总计108例三维数据。将数据集中的108例样本分为训练样本、验证样本和测试样本，其中用于模型训练的训练样本84例，训练过程用于检测训练效果的验证样本12例，用于测试分割模型效果的测试样本12例。
本发明的基于特征融合深监督U-Net的胸部CT影像中COVID-19病灶区域自动分割模型通过feature map融合，有效地提高了分割性能。用来评估的指标有Dice、Sensitivity、Precision、Hausdorff_95(HD95)，这些指标被广泛地应用于医学领域，分别如公式(4)～(7)所示：
A和B分别表示预测和真实标注的像素点集；
TP和FN分别表示被正确预测为病灶类和被错误预测为背景类的像素点个数；
TP和FP分别表示被正确预测为病灶类和被错误预测为病灶类的像素点个数；
P95表示第95百分位，d表示两点间的距离，X和Y分别代表实际标注与预测结果边界上的点集。
本实施例中，分别使用本发明的基于特征融合深监督U-Net的胸部CT影像中COVID-19病灶区域自动分割模型与基于U-Net的分割模型、基于残差U-Net即Res-U-Net的分割模型对测试样本进行分割，得到本发明的基于特征融合深监督U-Net的胸部CT影像中COVID-19病灶区域自动分割模型与其他分割模型及人工分割的分割结果对比图如图4所示。其中，在统一数据集上使用相同的参数设置、训练策略，得到各分割模型的评价指标如表1所示：
表1
| U-Net | Res-U-Net | FDS-U-Net | |
| Dice | 0.630 | 0.667 | 0.674 |
| Sensitivity | 0.727 | 0.733 | 0.733 |
| Precision | 0.646 | 0.700 | 0.714 |
| HD95(mm) | 25.33 | 19.67 | 19.00 |
从表1中的数据可以看出，本发明提出的方法相比U-Net，综合评价指标Dice提高了4.3％，相比Res-U-Net综合评价指标Dice提高了1.2％，并且其他评价指标也有不同程度的提升。从图4也可以更加直观地看出本发明提出的方法的优越性。
显然，上述实施例仅仅是本发明的一部分实施例，而不是全部的实施例。上述实施例仅用于解释本发明，并不构成对本发明保护范围的限定。基于上述实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，也即凡在本申请的精神和原理之内所作的所有修改、等同替换和改进等，均落在本发明要求的保护范围内。
Claims (6)
1.一种基于特征融合深监督U-Net的新冠肺炎病灶分割方法，其特征在于：包括下述步骤：
步骤1：获取初始样本集
收集确诊为COVID-19的多名患者的胸部三维CT扫描图像，对胸部三维CT扫描图像中COVID-19病灶区域位置进行标注，对胸部三维CT扫描图像进行切片处理，并筛选掉不含有COVID-19病灶的切片，将每名患者的筛选后剩下的所有切片及各切片对应的标注数据作为一个初始样本，得到初始样本集；
步骤2：对初始样本集进行预处理
步骤3：获取训练样本集与验证样本集
从预处理后的样本集中选取M个样本构成训练样本集、剩下的样本构成验证样本集；
步骤4：对训练样本集进行数据增广；
步骤5：搭建分割模型
搭建基于特征融合深监督U-Net的胸部CT影像中COVID-19病灶区域自动分割模型包括编码器、解码器、跳跃连接、特征融合块、深监督分支；
所述特征融合块添加在不同层级的跳跃连接间，特征融合块包括编码器中每一层级的特征图在进行跳跃连接前与前面所有层级的特征图进行相加融合；所述特征融合块中，先使用卷积单元将浅层的特征图下采样到与待融合特征图相同的大小，再通过残差单元对下采样后的特征图进行调整，将经残差单元调整后的特征图与待融合特征图以像素级相加的形式进行融合，最后通过原本的跳跃连接传递到解码器部分；
所述深监督分支添加在解码器部分；所述深监督分支包括在解码器中除原来具有输出分支的第一层级外的其他三个层级各添加一个输出分支所述深监督分支中的每个输出分支包括依次连接的转置卷积层、sigmoid激活函数层，先使用转置卷积层将经过所在层级解码器后的图像还原至输入的原始大小，并将图像通道数调整为1，再使用sigmoid激活函数层对图像进行归一化处理；
步骤6：训练分割模型
利用数据增广后的训练样本集、验证样本集对搭建好的分割模型进行训练和选择，得到最优分割模型；
步骤7：对待分割的胸部三维CT扫描图像进行切片处理，对所有切片进行预处理，将预处理后的所有切片输入所述最优分割模型并得到分割结果，对分割结果进行双线性插值上采样以恢复至原始大小，将该待分割的胸部三维CT扫描图像的所有切片的恢复至原始大小的分割结果按照位置关系合并为三维数据。
2.根据权利要求1所述的基于特征融合深监督U-Net的新冠肺炎病灶分割方法，其特征在于，所述步骤2包括下述步骤：
步骤2.1：对所有切片以[-1200，600]的HU值范围进行调窗处理；
步骤2.2：对调窗处理后的所有切片进行最大最小归一化处理；
步骤2.3：对归一化处理后的所有切片和标注数据进行均值下采样，将每个切片及对应的标注数据的大小由512*512缩小至256*256。
3.根据权利要求1所述的基于特征融合深监督U-Net的新冠肺炎病灶分割方法，其特征在于，所述步骤4中，对训练样本集进行数据增广的方法为随机在线增广方法，具体为：每代训练中训练样本在输入模型进行训练前都会进行随机旋转、随机弹性形变、镜像、随机强度变化、保持原样中的一种。
4.根据权利要求1所述的基于特征融合深监督U-Net的新冠肺炎病灶分割方法，其特征在于，所述步骤5中，所述编码器中第一层级包括依次相连的a1个卷积单元、第二层级包括依次相连的a2个残差单元、第三层级包括依次相连的a3个残差单元、第四层级包括依次相连的a4个残差单元、第五层级包括依次相连的a5个残差单元；所述解码器中第一层级包括依次相连的b1个卷积单元、第二层级包括依次相连的b2个残差单元、第三层级包括依次相连的b3个残差单元、第四层级包括依次相连的b4个残差单元。
5.根据权利要求1或4所述的基于特征融合深监督U-Net的新冠肺炎病灶分割方法，其特征在于，所述卷积单元按照向前传播的方向包括卷积层、批规范化层、线性整流函数层，卷积层中的卷积核大小、步长取决于下采样的倍数；所述残差单元的结构为在两个卷积单元串联的基础上添加残差连接，所述残差连接为第二个卷积单元的批规范化层与输入按权加和后再与第二个卷积单元的线性整流函数层连接。
6.根据权利要求1所述的基于特征融合深监督U-Net的新冠肺炎病灶分割方法，其特征在于，所述步骤6中，模型训练过程中，采用四个输出分支的加权Dice Loss作为网络的损失函数，根据验证集表现调整学习率和选择最终模型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110217241.1A CN112950643B (zh) | 2021-02-26 | 2021-02-26 | 基于特征融合深监督U-Net的新冠肺炎病灶分割方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110217241.1A CN112950643B (zh) | 2021-02-26 | 2021-02-26 | 基于特征融合深监督U-Net的新冠肺炎病灶分割方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112950643A CN112950643A (zh) | 2021-06-11 |
| CN112950643B true CN112950643B (zh) | 2024-04-05 |
Family
ID=76246442
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110217241.1A Active CN112950643B (zh) | 2021-02-26 | 2021-02-26 | 基于特征融合深监督U-Net的新冠肺炎病灶分割方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112950643B (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113435491A (zh) * | 2021-06-20 | 2021-09-24 | 上海体素信息科技有限公司 | 医学图像处理方法和装置 |
| CN113256614B (zh) * | 2021-06-22 | 2021-10-01 | 国家超级计算天津中心 | 一种医学影像处理*** |
| CN113538394B (zh) * | 2021-07-26 | 2023-08-08 | 泰康保险集团股份有限公司 | 一种图像分割方法、装置、电子设备及存储介质 |
| CN113870247A (zh) * | 2021-10-15 | 2021-12-31 | 杭州柳叶刀机器人有限公司 | 股骨头中心确定方法、装置、终端设备和可读存储介质 |
| CN114937022B (zh) * | 2022-05-31 | 2023-04-07 | 天津大学 | 一种新型冠状肺炎的疾病检测分割方法 |
| CN115375712B (zh) * | 2022-10-25 | 2023-03-17 | 西南科技大学 | 一种基于双边学习分支实现实用的肺部病变分割方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111815608A (zh) * | 2020-07-13 | 2020-10-23 | 北京小白世纪网络科技有限公司 | 基于深度学习的新冠肺炎患者康复时间预测方法及*** |
| CN112102330A (zh) * | 2020-08-12 | 2020-12-18 | 浙江工业大学 | 基于类别均衡小样本学习的新冠肺炎感染区域分割方法 |
-
2021
- 2021-02-26 CN CN202110217241.1A patent/CN112950643B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111815608A (zh) * | 2020-07-13 | 2020-10-23 | 北京小白世纪网络科技有限公司 | 基于深度学习的新冠肺炎患者康复时间预测方法及*** |
| CN112102330A (zh) * | 2020-08-12 | 2020-12-18 | 浙江工业大学 | 基于类别均衡小样本学习的新冠肺炎感染区域分割方法 |
Non-Patent Citations (3)
| Title |
|---|
| An automatic COVID-19 CT segmentation network using spatial and channel attention mechanism;Tongxue Zhou等;《arXiv》;1-14 * |
| COVID TV-UNet: Segmenting COVID-19 Chest CT Images Using Connectivity Imposed U-Net;Narges Saeedizadeh等;《arXiv》;1-9 * |
| 基于深度学习和CT影像的新型冠状病毒肺炎病灶分割;毛丽等;《集成技术》;第9卷(第6期);40-47 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112950643A (zh) | 2021-06-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112950643B (zh) | 基于特征融合深监督U-Net的新冠肺炎病灶分割方法 | |
| CN111145170B (zh) | 一种基于深度学习的医学影像分割方法 | |
| CN111784671B (zh) | 基于多尺度深度学习的病理图像病灶区域检测方法 | |
| CN114926477B (zh) | 一种基于深度学习的脑肿瘤多模态mri影像分割方法 | |
| CN112132817A (zh) | 一种混合注意力机制的眼底图像视网膜血管分割方法 | |
| CN112508953B (zh) | 基于深度神经网络的脑膜瘤快速分割定性方法 | |
| CN112116603A (zh) | 一种基于多任务学习的肺结节假阳性筛查方法 | |
| CN111951288A (zh) | 一种基于深度学习的皮肤癌病变分割方法 | |
| CN113782184A (zh) | 一种基于面部关键点与特征预学习的脑卒中辅助评估*** | |
| CN112750137B (zh) | 基于深度学习的肝脏肿瘤分割方法及*** | |
| CN112465754B (zh) | 基于分层感知融合的3d医疗图像分割方法、装置及存储介质 | |
| CN112381846A (zh) | 一种基于非对称网络的超声甲状腺结节分割方法 | |
| CN114419020A (zh) | 医学图像分割方法、装置、计算机设备及存储介质 | |
| CN112132801A (zh) | 一种基于深度学习的肺大泡病灶检测方法及*** | |
| CN112420170A (zh) | 一种提高计算机辅助诊断***图片分类准确度的方法 | |
| CN114445356A (zh) | 基于多分辨率的全视野病理切片图像肿瘤快速定位方法 | |
| CN110992309B (zh) | 基于深层信息传递网络的眼底图像分割方法 | |
| CN111696109A (zh) | 面向视网膜oct三维影像的高精度层分割方法 | |
| CN113554668B (zh) | 一种皮肤镜图像黑色素瘤分割方法、装置及相关组件 | |
| CN117611599B (zh) | 融合中心线图和增强对比度网络的血管分割方法及其*** | |
| CN114494289A (zh) | 一种基于局部线性嵌入的插值神经网络的胰腺肿瘤图像分割处理方法 | |
| CN114140437A (zh) | 一种基于深度学习的眼底硬渗出物分割方法 | |
| CN117409030A (zh) | 基于动态管状卷积的octa图像血管分割方法及其*** | |
| CN117934824A (zh) | 一种超声影像的目标区域分割方法、***及电子设备 | |
| CN116188420A (zh) | 一种基于卷积Transformer的多模态医学图像分割方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |