CN115375712B - 一种基于双边学习分支实现实用的肺部病变分割方法 - Google Patents
一种基于双边学习分支实现实用的肺部病变分割方法 Download PDFInfo
- Publication number
- CN115375712B CN115375712B CN202211306520.6A CN202211306520A CN115375712B CN 115375712 B CN115375712 B CN 115375712B CN 202211306520 A CN202211306520 A CN 202211306520A CN 115375712 B CN115375712 B CN 115375712B
- Authority
- CN
- China
- Prior art keywords
- lung
- data set
- module
- convolution
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 210000004072 lung Anatomy 0.000 title claims abstract description 76
- 230000003902 lesion Effects 0.000 title claims abstract description 38
- 238000000034 method Methods 0.000 title claims abstract description 34
- 230000011218 segmentation Effects 0.000 title claims abstract description 20
- 230000002146 bilateral effect Effects 0.000 title claims abstract description 16
- 238000003709 image segmentation Methods 0.000 claims abstract description 20
- 238000007781 pre-processing Methods 0.000 claims abstract description 6
- 238000000605 extraction Methods 0.000 claims description 27
- 238000012545 processing Methods 0.000 claims description 15
- 230000006870 function Effects 0.000 claims description 13
- 230000004927 fusion Effects 0.000 claims description 13
- 239000011800 void material Substances 0.000 claims description 10
- 230000002776 aggregation Effects 0.000 claims description 8
- 238000004220 aggregation Methods 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 8
- 238000010606 normalization Methods 0.000 claims description 7
- 230000009466 transformation Effects 0.000 claims description 6
- 208000029523 Interstitial Lung disease Diseases 0.000 abstract description 6
- 230000001788 irregular Effects 0.000 abstract description 4
- 238000004364 calculation method Methods 0.000 abstract description 3
- 238000013527 convolutional neural network Methods 0.000 abstract description 3
- 230000008859 change Effects 0.000 abstract description 2
- 230000002757 inflammatory effect Effects 0.000 abstract description 2
- 239000010410 layer Substances 0.000 description 28
- 238000012549 training Methods 0.000 description 20
- 238000005070 sampling Methods 0.000 description 6
- 206010035664 Pneumonia Diseases 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 238000002591 computed tomography Methods 0.000 description 4
- 238000012360 testing method Methods 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000003058 natural language processing Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 208000010444 Acidosis Diseases 0.000 description 1
- 206010021143 Hypoxia Diseases 0.000 description 1
- 208000019693 Lung disease Diseases 0.000 description 1
- 208000004756 Respiratory Insufficiency Diseases 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 230000007950 acidosis Effects 0.000 description 1
- 208000026545 acidosis disease Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 201000007983 brain glioma Diseases 0.000 description 1
- 238000013434 data augmentation Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 230000002538 fungal effect Effects 0.000 description 1
- 230000007954 hypoxia Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000004199 lung function Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 210000003716 mesoderm Anatomy 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000004660 morphological change Effects 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 238000006116 polymerization reaction Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 201000004193 respiratory failure Diseases 0.000 description 1
- 230000029058 respiratory gaseous exchange Effects 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 239000002356 single layer Substances 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 201000000596 systemic lupus erythematosus Diseases 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20132—Image cropping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30061—Lung
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Multimedia (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- General Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于双边学习分支实现实用的肺部病变分割方法,属于医疗影像技术领域,包括:S1:获取肺部数据集;S2:对所述肺部数据集中的每一张图像进行预处理操作,得到预处理后的肺部数据集;S3:利用病灶图像分割网络对所述预处理后的肺部数据集进行分割,得到病灶区域。本发明能够解决现有卷积神经网络在建模全局信息时全局语义及局部细节的不均衡性、Transformer和多层感知机(MLP)在医疗图像领域普遍存在计算开销较大的问题,能够针对间质性肺炎病灶区域尺寸、形态变化不规则的特点,在精确分割出肺部CT图像中的炎症病变区域的基础上,提高推理速度并降低计算开销。
Description
技术领域
本发明涉及医疗影像技术领域,具体涉及一种基于双边学习分支实现实用的肺部病变分割方法。
背景技术
间质性肺炎(interstitial pneumonia,IP)是多种原因引起的弥漫性肺疾病,环境中的真菌孢子、有机粉尘、***性红斑狼疮等均是该病的诱发因素。间质性肺炎对于人体有极大的危害,随着患者病情不断恶化,患者会出现呼吸不畅、酸中毒、缺氧等症状,最严重时会出现呼吸衰竭的情况,进而导致患者死亡。因此,及时有效地筛查间质性肺炎对于最大限度地保护患者的肺功能具有重要意义。
随着机器视觉的快速发展,结合计算机断层扫描(Computed Tomography, CT)可清晰反映肺部实质、间质异常程度的能力,基于深度学***衡的特征,因此卷积结构在对于在纹理、形状和大小方面差异较大的目标具有特征描述上的局限性。
基于Transformer和多层感知机(MLP)在建模全局信息方面具有非常强大的能力,已经在机器翻译和自然语言处理(NLP)领域已经得到了广泛的证明。近期也已在图像分类、目标检测、图像分割等领域达到甚至超过了最先进的水平,开始引领新的趋势。在医疗图像领域,也出现了MedT、MCTrans、UTNet、TransUNet等具有SOTA表现的代表性方法,但普遍存在计算开销较大的特点。
发明内容
本发明的目的在于提供一种基于双边学习分支实现实用的肺部病变分割方法,以解决的现有卷积神经网络在建模全局信息时全局语义及局部细节的不均衡性、Transformer和多层感知机(MLP)在医疗图像领域普遍存在计算开销较大的问题,能够针对间质性肺炎病灶区域尺寸、形态变化不规则的特点,在精确分割出肺部CT图像中的炎症病变区域的基础上,提高推理速度并降低计算开销。
本发明解决上述技术问题的技术方案如下:
本发明提供一种基于双边学习分支实现实用的肺部病变分割方法,包括:
S1:获取肺部数据集;
S2:对所述肺部数据集中的每一张图像进行预处理操作,得到预处理后的肺部数据集;
S3:利用病灶图像分割网络对所述预处理后的肺部数据集进行分割,得到病灶区域。
可选择地,所述步骤S2包括:
S21:对所述肺部数据集中的每一张图像依次进行水平翻转处理,得到水平翻转处理后的肺部数据集;
S22:对所述水平翻转处理后的肺部数据集中的每一张图像进行边缘随机裁剪处理,得到边缘随机裁剪后的肺部数据集;
S23:对所述边缘随机裁剪后的肺部数据集中的每一张图像进行几何形变处理,得到预处理后的肺部数据集。
可选择地,所述病灶图像分割网络包括:所述步骤S23包括:
根据病变区域的不规则性,利用三角函数对所述边缘随机裁剪后的肺部数据集中目标图像的每个像素的位置进行变换;所述变换方式为:
可选择地,所述步骤S3包括:
提取所述预处理后的肺部数据集中的多尺度特征,其中,所述多尺度特征包括末三级特征;
对所述末三级特征进行特征融合,得到全局语义特征;
提取所述预处理后的肺部数据集中的细节特征;
对所述全局语义特征和所述细节特征进行融合,得到病灶区域。
可选择地,所述步骤S3中,所述病灶图像分割网络包括特征提取分支,所述特征提取分支包括:
RepVGG网络模块,所述RepVGG网络模块用于提取所述预处理后的肺部数据集中的
多尺度特征且包括多个卷积组件,每个卷积组件包括一个空洞卷积层、一个标准
卷积层、一个批量标准化层和一个线性叠加层,各所述卷积组件中的空洞卷积层和标准卷积层分别获取上一个卷积组件的输出结果,并分别对该输出结果进行处理后利
用所述线性叠加层进行叠加,之后利用所述批量标准化层输出为相对于所述上一个卷积组
件的输出结果维度降低后的输出结果。
可选择地,所述特征提取分支还包括第一MLPF模块和第二MLPF模块;所述多个卷积组件包括第四卷积组件、第五卷积组件和第六卷积组件,所述第五卷积组件的输出结果和所述第六卷积组件的输出结果同时作为所述第一MLPF模块的输入,所述第一MLPF模块的输出结果和所述第四卷积组件的输出结果同时作为所述第二MLPF模块的输入,所述第二MLPF模块的输出作为全局语义特征输出。
可选择地,所述病灶图像分割网络还包括细节提取分支,所述细节提取分支包括深金字塔聚合模块和SUM线性叠加模块,所述深金字塔聚合模块用于提取所述预处理后的肺部数据集中每一张图像的细节特征,得到细节特征集;所述SUM线性叠加模块用于对所述细节特征集和全局语义特征进行特征融合,得到病灶区域。
本发明具有以下有益效果:
1)RepVGG网络结构在训练中具有多条梯度传播的路径,既可以监督网络不同阶段的训练过程,也可以更好地处理网络深层的梯度消失问题,在此优点的基础上,本发明使用空洞卷积,对于尺寸变化大及形态不规则的肺炎病灶区域分割任务中,能够获取大的感受野以及高维度的结构语义特征,进一步提升特征提取骨干的全局感受;
2)本发明提出的基于深度金字塔聚合的局部细节特征提取分支(DAP),在不显著增加计算量前提下提取出原图尺寸的细节特征,能对低分辨率的高维结构特征进行补偿;
3)本发明在训练过程中对两个特征提取分支分别使用深度监督模块进行监督训练,增强了分割网络的特征提取能力。
附图说明
图1为本发明基于双边学习分支实现实用的肺部病变分割方法的流程图;
图2为病灶图像分割网络的结构示意图;
图3为RepVGG网络模块的部分结构示意图;
图4为MLPF的结构示意图;
图5为深度金字塔聚合模块(DAP)的结构示意图;
图6为深度监控模块的结构示意图。
具体实施方式
以下结合附图对本发明的原理和特征进行描述,所举实例只用于解释本发明,并非用于限定本发明的范围。
实施例1
本发明提供一种基于双边学习分支实现实用的肺部病变分割方法,参考图1所示,所述基于双边学习分支实现实用的肺部病变分割方法包括:
S1:获取肺部数据集;
S2:对所述肺部数据集中的每一张图像进行预处理操作,得到预处理后的肺部数据集;
可选择地,所述步骤S2包括:
S21:对所述肺部数据集中的每一张图像依次进行水平翻转处理,得到水平翻转处理后的肺部数据集;
S22:对所述水平翻转处理后的肺部数据集中的每一张图像进行边缘随机裁剪处理,得到边缘随机裁剪后的肺部数据集;
S23:对所述边缘随机裁剪后的肺部数据集中的每一张图像进行几何形变处理,得到预处理后的肺部数据集。
针对肺部影像中存在的亮干扰样本复杂、病变区域尺寸及形态不规则等特点,本发明在模型训练过程中,使用水平翻转、边缘随机裁剪及几何形变3种方法对训练数据集进行在线数据增广,可用于有效提升模型的泛化能力。
针对几何形变:根据病变区域的不规则性,利用三角函数对所述边缘随机裁剪后的肺部数据集中目标图像的每个像素的位置进行变换;所述变换方式为:
S3:利用病灶图像分割网络对所述预处理后的肺部数据集进行分割,得到病灶区域。
可选择地,所述步骤S3包括:
提取所述预处理后的肺部数据集中的多尺度特征,其中,所述多尺度特征包括末三级特征;
对所述末三级特征进行特征融合,得到全局语义特征;
提取所述预处理后的肺部数据集中的细节特征;
对所述全局语义特征和所述细节特征进行融合,得到病灶区域。
可选择地,所述步骤S3中,所述病灶图像分割网络包括特征提取分支。特征提取分支主要由RepVGG网络模块及特征融合模块(MLPF)组成,RepVGG网络提取的末三级特征被MLPF融合后用于表征高维全局语义信息。
所述特征提取分支包括:
RepVGG网络模块,所述RepVGG网络模块用于提取所述预处理后的肺部数据集中的
多尺度特征且包括多个卷积组件,参考图3所示(其中,第一空洞卷积和第一标准
卷积表示第一卷积组件中的空洞卷积层和标准卷积层,第二空洞卷积和第
二标准卷积表示第二卷积组件中的空洞卷积层和标准卷积层……灰色小细
框代表批量标准化层;“⊕”表示通道尺寸中特征的线性叠加),每个卷积组件包括一个空洞卷积层、一个标准卷积层、一个批量标准化层和一个线性叠加层,各所述卷
积组件中的空洞卷积层和标准卷积层分别获取上一个卷积组件的输出结果,并
分别对该输出结果进行处理后利用所述线性叠加层进行叠加,之后利用所述批量标准化层
输出为相对于所述上一个卷积组件的输出结果维度降低后的输出结果。
参考图2所示,考虑到本发明对肺炎病灶区域的识别需要在速度与精度之间达到较好的平衡,使用双边特征融合模块改进RepVGG网络模块用于在Context Branch中作为主干网络提取多尺度特征。
可选择地,所述特征提取分支还包括第一MLPF模块和第二MLPF模块;所述多个卷积组件包括第四卷积组件、第五卷积组件和第六卷积组件,所述第五卷积组件的输出结果和所述第六卷积组件的输出结果同时作为所述第一MLPF模块的输入,所述第一MLPF模块的输出结果和所述第四卷积组件的输出结果同时作为所述第二MLPF模块的输入,所述第二MLPF模块的输出作为全局语义特征输出。
基于MLP结构的特征融合模块(MLPF),分别在token及特征通道维度进行信息融
合。MLP结构较为简单,由降维全连接层、Gelu激活函数及升维全连接层三个单元组成。具体
结构如图2的Context Branch(特征提取分支)部分所示,所构造的MLPF模块将RepVGG输出
的1/8,1/16,1/32原图尺寸三级末端特征,逐级融合,并输出1/8原图尺寸的全局语义特征。
其MLPF模块结构如图4所示(其中,黑色小框表示MLP块之前使用的特征归一化,“T”表示
token维度及特征通道维度进行信息交互,“UPS”表示基于双线性插值的上采样操作,“EmB”
代表沿空间维度将(B,C,H,W)的大小扩展到(B,H×W,C)的函数),使用时将待融合高维特征
通过上采样2倍及卷积单元降低维度后,与低维特征进行线性叠加,最后通过MLP单元
分别在token及特征通道维度进行信息交互,得到该融合模块的特征融合输出。
可选择地,所述病灶图像分割网络还包括细节提取分支,所述细节提取分支包括深金字塔聚合模块和SUM线性叠加模块,所述深金字塔聚合模块用于提取所述预处理后的肺部数据集中每一张图像的细节特征,得到细节特征集;所述SUM线性叠加模块用于对所述细节特征集和所述全局语义特征进行特征融合,得到病灶区域。
具体地,细节提取分支由多尺度的卷积结构构成的深度金字塔聚合模块(DAP)来
提取局部细节信息。该模块中卷积单元均由由卷积层、批归一化层及Relu激活函数构成,其
详细结构如图5所示(其中,“AVG”代表平均池运算,K表示池化窗口的大小,s表示移动步幅;
“UPS”代表基于双线性插值的上采样运算;“concatenate”用于拼接通道维度中的多个特征
图;“conv”表示卷积核大小为1的卷积;“conv”表示卷积核大小为3的卷积)。该部
分结构由5个卷积分支组成。每个分支逐个增大下采样尺寸及步长,分别有(size=1,stride
=1)、(size=3,stride=1)、(size=5,stride=2)及(size=7,stride=3)四种降采样尺寸,结合
选用及的卷积单元数量实现多尺度及充分局部细节信息的提取;并同时对4组特
征并行进行双线性插值上采样为输入图像相同的尺寸及特征通道数;最后进行线性叠加后
作为细节特征分支的输出,使用卷积层及Sigmoid函数输出与原图相同尺寸的病灶概
率图,其中病灶区域的概率值较高,非病灶区域的概率值较低。
实施例2
本发明提供的基于双边学习分支实现实用的肺部病变分割方法还可以为:
S1:获取肺部数据集;
其中,肺部数据集包括肺部图像训练集和肺部图像测试集。
S2:对所述肺部图像训练集中的每一张图像进行预处理操作,得到预处理后的肺部图像训练集;
S3:利用所述肺部图像训练集对原始病灶图像分割网络进行训练,得到训练好的病灶图像分割网络;
S4:利用所述训练好的病灶图像分割网络对所述肺部图像测试集进行分割,得到病灶区域。
在此实施例中,预处理操作和实施例1相同,在此不做赘述。
需要说明的是,本实施例中提供的原始病灶图像分割网络中,第二MLPF模块还用于获取标签(图2中Label),因此,在训练阶段,第二MLPF模块的输入同时包括标签、第一MLPF模块的输出和第四卷积组件的输出。
此外,为增强分割网络的特征提取能力,本发明在训练过程中对两个特征提取分支分别使用深度监督模块(SEG)进行监督训练,深度监督模块设置在细节提取分支上(参考图2所示),模块结构参考图6所示,其中,“UPS”表示基于双线性插值的上采样操作,“Sigmoid”代表Sigmoid函数,“Label”代表正确的标签。
SEG对Context Branch输出的特征进行辅助监督训练,用于提升高维特征的全局
信息提取能力,最后对分割网络的最终输出结果进行主要监督训练。本发明根据不同特征
的重要性对监督训练损失添加权重进行平衡,其中最终输出的损失权重占据最大权重,监
督分支权重较小。在测试阶段直接丢弃辅助监督训练分支,直接将最终输出作为输出结果,
则不会额外增加任何模型参数。每个训练分支首先使用双线性插值上采样到原图尺寸,再
使用卷积层输出单层特征,最后与标签进行计算损失。
通常使用交叉熵损失来计算输出与标签之间每个像素之间的差异,并取所有像素
差异的均值作为训练模型的目标损失函数。在肺炎病灶分割的二分类任务中,属于前景及
背景的像素数量存在严重不均衡,并且背景图像中还存在大量与肺炎区域相似的困难样
本,比如结节、纹理等,这容易导致模型训练过程会逐渐倾向于对背景的识别,降低对前景
的识别能力。Dice系数是一种度量两种集合之间相似度的度量函数。令P和Y分别表示图像
通过分割网络输出的概率特征图及真实标签,其Dice系数如下:
损失很好的避免了样本不均衡的问题,平方数则可以增大困难前景样本的损失权重。根据本文提出的多级特征深度监督方法,在训练过程中所使用的损失函数为:
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (6)
1.一种基于双边学习分支实现实用的肺部病变分割方法,其特征在于,包括:
S1:获取肺部数据集;
S2:对所述肺部数据集中的每一张图像进行预处理操作,得到预处理后的肺部数据集;
S3:利用病灶图像分割网络对所述预处理后的肺部数据集进行分割,得到病灶区域;
所述步骤S3中,所述病灶图像分割网络包括特征提取分支,所述特征提取分支包括:
2.根据权利要求1所述的基于双边学习分支实现实用的肺部病变分割方法,其特征在于,所述步骤S2包括:
S21:对所述肺部数据集中的每一张图像依次进行水平翻转处理,得到水平翻转处理后的肺部数据集;
S22:对所述水平翻转处理后的肺部数据集中的每一张图像进行边缘随机裁剪处理,得到边缘随机裁剪后的肺部数据集;
S23:对所述边缘随机裁剪后的肺部数据集中的每一张图像进行几何形变处理,得到预处理后的肺部数据集。
4.根据权利要求1所述的基于双边学习分支实现实用的肺部病变分割方法,其特征在于,所述步骤S3包括:
提取所述预处理后的肺部数据集中的多尺度特征,其中,所述多尺度特征包括末三级特征;
对所述末三级特征进行特征融合,得到全局语义特征;
提取所述预处理后的肺部数据集中的细节特征;
对所述全局语义特征和所述细节特征进行融合,得到病灶区域。
5.根据权利要求1所述的基于双边学习分支实现实用的肺部病变分割方法,其特征在于,所述特征提取分支还包括第一MLPF模块和第二MLPF模块;所述多个卷积组件包括第四卷积组件、第五卷积组件和第六卷积组件,所述第五卷积组件的输出结果和所述第六卷积组件的输出结果同时作为所述第一MLPF模块的输入,所述第一MLPF模块的输出结果和所述第四卷积组件的输出结果同时作为所述第二MLPF模块的输入,所述第二MLPF模块的输出作为全局语义特征输出。
6.根据权利要求1所述的基于双边学习分支实现实用的肺部病变分割方法,其特征在于,所述病灶图像分割网络还包括细节提取分支,所述细节提取分支包括深金字塔聚合模块和SUM线性叠加模块,所述深金字塔聚合模块用于提取所述预处理后的肺部数据集中每一张图像的细节特征,得到细节特征集;所述SUM线性叠加模块用于对所述细节特征集和全局语义特征进行特征融合,得到病灶区域。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211306520.6A CN115375712B (zh) | 2022-10-25 | 2022-10-25 | 一种基于双边学习分支实现实用的肺部病变分割方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211306520.6A CN115375712B (zh) | 2022-10-25 | 2022-10-25 | 一种基于双边学习分支实现实用的肺部病变分割方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115375712A CN115375712A (zh) | 2022-11-22 |
CN115375712B true CN115375712B (zh) | 2023-03-17 |
Family
ID=84072843
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211306520.6A Active CN115375712B (zh) | 2022-10-25 | 2022-10-25 | 一种基于双边学习分支实现实用的肺部病变分割方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115375712B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116630303A (zh) * | 2023-07-11 | 2023-08-22 | 安徽中医药大学 | 胸部ct影像分类模型训练方法、分类方法、***及设备 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112233117A (zh) * | 2020-12-14 | 2021-01-15 | 浙江卡易智慧医疗科技有限公司 | 一种新冠肺炎ct检测识别定位***及计算设备 |
CN112734715A (zh) * | 2020-12-31 | 2021-04-30 | 同济大学 | 一种肺部ct图像的肺结节分割方法 |
CN114708278A (zh) * | 2022-04-02 | 2022-07-05 | 西安邮电大学 | 一种基于cgan的新冠肺炎ct图像分割方法 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB201709672D0 (en) * | 2017-06-16 | 2017-08-02 | Ucl Business Plc | A system and computer-implemented method for segmenting an image |
CN110458813B (zh) * | 2019-03-08 | 2021-03-02 | 腾讯科技(深圳)有限公司 | 图像区域定位方法、装置和医学图像处理设备 |
CN110674866B (zh) * | 2019-09-23 | 2021-05-07 | 兰州理工大学 | 迁移学习特征金字塔网络对X-ray乳腺病灶图像检测方法 |
CN110853011B (zh) * | 2019-11-11 | 2022-05-27 | 河北工业大学 | 用于肺结节检测的卷积神经网络模型的构建方法 |
CN111882560B (zh) * | 2020-06-16 | 2024-05-31 | 北京工业大学 | 一种基于加权全卷积神经网络的肺实质ct图像分割方法 |
CN112950643B (zh) * | 2021-02-26 | 2024-04-05 | 东北大学 | 基于特征融合深监督U-Net的新冠肺炎病灶分割方法 |
CN112927237A (zh) * | 2021-03-10 | 2021-06-08 | 太原理工大学 | 基于改进SCB-Unet网络的蜂窝肺病灶分割方法 |
CN114972248A (zh) * | 2022-05-24 | 2022-08-30 | 广州市华奕电子科技有限公司 | 基于注意力机制改进的U-net肝肿瘤分割方法 |
CN114937022B (zh) * | 2022-05-31 | 2023-04-07 | 天津大学 | 一种新型冠状肺炎的疾病检测分割方法 |
CN115018824B (zh) * | 2022-07-21 | 2023-04-18 | 湘潭大学 | 一种基于CNN和Transformer融合的结肠镜息肉图像分割方法 |
-
2022
- 2022-10-25 CN CN202211306520.6A patent/CN115375712B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112233117A (zh) * | 2020-12-14 | 2021-01-15 | 浙江卡易智慧医疗科技有限公司 | 一种新冠肺炎ct检测识别定位***及计算设备 |
CN112734715A (zh) * | 2020-12-31 | 2021-04-30 | 同济大学 | 一种肺部ct图像的肺结节分割方法 |
CN114708278A (zh) * | 2022-04-02 | 2022-07-05 | 西安邮电大学 | 一种基于cgan的新冠肺炎ct图像分割方法 |
Also Published As
Publication number | Publication date |
---|---|
CN115375712A (zh) | 2022-11-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111145170B (zh) | 一种基于深度学习的医学影像分割方法 | |
Wang et al. | A novel method for intelligent fault diagnosis of bearing based on capsule neural network | |
Gao et al. | A deep learning based approach to classification of CT brain images | |
CN113902761B (zh) | 基于知识蒸馏的肺部疾病病灶无监督分割方法 | |
CN111951288A (zh) | 一种基于深度学习的皮肤癌病变分割方法 | |
CN110738663A (zh) | 双域适应模块金字塔型网络及无监督域适应图像分割方法 | |
CN113888466A (zh) | 一种基于ct图像的肺结节图像检测方法及*** | |
WO2024104035A1 (zh) | 基于长短期记忆自注意力模型的三维医学图像分割方法及*** | |
CN115375711A (zh) | 基于多尺度融合的全局上下文关注网络的图像分割方法 | |
CN110782427A (zh) | 基于可分离空洞卷积的磁共振脑肿瘤自动分割方法 | |
CN115375712B (zh) | 一种基于双边学习分支实现实用的肺部病变分割方法 | |
CN113468996A (zh) | 一种基于边缘细化的伪装物体检测方法 | |
CN112686830B (zh) | 基于图像分解的单一深度图的超分辨率方法 | |
CN110930378A (zh) | 基于低数据需求的肺气肿影像处理方法及*** | |
CN117710760B (zh) | 残差的注意神经网络用于胸部x线病灶检测的方法 | |
CN115082388A (zh) | 一种基于注意力机制的糖尿病视网膜病变图像检测方法 | |
CN117635543B (zh) | 一种金属内部缺陷正向追踪和故障反向定位方法及*** | |
CN117853547A (zh) | 一种多模态的医学图像配准方法 | |
WO2023207531A1 (zh) | 一种图像处理方法及相关设备 | |
Merati et al. | A New Triplet Convolutional Neural Network for Classification of Lesions on Mammograms. | |
Du et al. | X-ray image super-resolution reconstruction based on a multiple distillation feedback network | |
CN114332278A (zh) | 一种基于深度学习的octa图像运动矫正方法 | |
CN114332463A (zh) | 一种mr脑肿瘤图像实例分割方法、装置、设备及存储介质 | |
Wang et al. | PCRTAM-Net: A novel pre-activated convolution residual and triple attention mechanism network for retinal vessel segmentation | |
Hwang et al. | RBCA-Net: Reverse boundary channel attention network for kidney tumor segmentation in CT images |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |