CN115424103A - 基于注意力机制和多尺度特征融合的改进U-Net脑肿瘤分割方法 - Google Patents
基于注意力机制和多尺度特征融合的改进U-Net脑肿瘤分割方法 Download PDFInfo
- Publication number
- CN115424103A CN115424103A CN202210990335.7A CN202210990335A CN115424103A CN 115424103 A CN115424103 A CN 115424103A CN 202210990335 A CN202210990335 A CN 202210990335A CN 115424103 A CN115424103 A CN 115424103A
- Authority
- CN
- China
- Prior art keywords
- net
- brain tumor
- improved
- attention mechanism
- feature fusion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 94
- 208000003174 Brain Neoplasms Diseases 0.000 title claims abstract description 71
- 230000007246 mechanism Effects 0.000 title claims abstract description 48
- 230000004927 fusion Effects 0.000 title claims abstract description 42
- 238000000034 method Methods 0.000 title claims abstract description 42
- 238000012795 verification Methods 0.000 claims abstract description 22
- 238000007781 pre-processing Methods 0.000 claims abstract description 9
- 238000011156 evaluation Methods 0.000 claims abstract description 8
- 230000000694 effects Effects 0.000 claims abstract description 5
- 238000012549 training Methods 0.000 claims abstract description 5
- 230000006870 function Effects 0.000 claims description 33
- 206010028980 Neoplasm Diseases 0.000 claims description 22
- 238000004364 calculation method Methods 0.000 claims description 17
- 238000010586 diagram Methods 0.000 claims description 15
- 238000011176 pooling Methods 0.000 claims description 14
- 230000006835 compression Effects 0.000 claims description 12
- 238000007906 compression Methods 0.000 claims description 12
- 239000011159 matrix material Substances 0.000 claims description 12
- 230000004913 activation Effects 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 7
- 239000013598 vector Substances 0.000 claims description 7
- 238000005070 sampling Methods 0.000 claims description 6
- 230000005284 excitation Effects 0.000 claims description 5
- 238000002474 experimental method Methods 0.000 claims description 5
- 230000017074 necrotic cell death Effects 0.000 claims description 5
- 206010030113 Oedema Diseases 0.000 claims description 4
- 238000002372 labelling Methods 0.000 claims description 4
- 230000009467 reduction Effects 0.000 claims description 4
- 230000003044 adaptive effect Effects 0.000 claims description 3
- 201000007983 brain glioma Diseases 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 2
- 238000011158 quantitative evaluation Methods 0.000 claims description 2
- 238000002595 magnetic resonance imaging Methods 0.000 description 7
- 230000009286 beneficial effect Effects 0.000 description 5
- 210000004556 brain Anatomy 0.000 description 3
- 230000008034 disappearance Effects 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 101100295091 Arabidopsis thaliana NUDT14 gene Proteins 0.000 description 2
- 201000011510 cancer Diseases 0.000 description 2
- 238000004195 computer-aided diagnosis Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000034994 death Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- JXSJBGJIGXNWCI-UHFFFAOYSA-N diethyl 2-[(dimethoxyphosphorothioyl)thio]succinate Chemical compound CCOC(=O)CC(SP(=S)(OC)OC)C(=O)OCC JXSJBGJIGXNWCI-UHFFFAOYSA-N 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000002156 mixing Methods 0.000 description 2
- 238000005096 rolling process Methods 0.000 description 2
- 208000024891 symptom Diseases 0.000 description 2
- 208000019901 Anxiety disease Diseases 0.000 description 1
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 1
- 206010019233 Headaches Diseases 0.000 description 1
- 208000006083 Hypokinesia Diseases 0.000 description 1
- 238000002679 ablation Methods 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000036506 anxiety Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 210000005013 brain tissue Anatomy 0.000 description 1
- 208000010877 cognitive disease Diseases 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000000306 component Substances 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 239000008358 core component Substances 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 238000013399 early diagnosis Methods 0.000 description 1
- 206010015037 epilepsy Diseases 0.000 description 1
- 231100000869 headache Toxicity 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
- 238000007794 visualization technique Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/30—Noise filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/761—Proximity, similarity or dissimilarity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30016—Brain
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Medical Informatics (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
Abstract
本发明公开了一种基于注意力机制和多尺度特征融合的改进U‑Net脑肿瘤分割法，属于语义分割领域，包括以下步骤：S1、数据获取与数据预处理；S2、构建基于注意力机制和多尺度特征融合的改进U‑Net脑肿瘤分割模型；S3、构建混合损失函数并对改进U‑Net脑肿瘤分割模型进行训练，保存最优模型；S4、使用最优模型进行预测，保存预测结果，进行在线验证，获取评价指标，最后进行结果对比；在U‑Net模型基础上加入残差模块、使用深度过参数化卷积更换普通卷积、加入多尺度特征融合模块及注意力机制模块后，采用Dice相似度系数定量评估分割效果，实验结果表明：改进的U‑Net网络能够有效地提高MRI脑肿瘤图像的分割精度，具有良好的分割性能。
Description
技术领域
本发明涉及一种深度神经网络，尤其涉及一种基于注意力机制和多尺度特征融合的改进 U-Net脑肿瘤分割方法，属于语义分割领域。
背景技术
根据全球癌症统计报告显示，2018年全球范围内新发脑肿瘤病例占所有肿瘤的1.6％。我国2018年脑肿瘤死亡病例为6.4万例，位列所有癌症死亡病例第9位。脑肿瘤患者从发病到治疗的过程中常出现一系列生理和心理症状，如头痛、乏力、癫痫、认知障碍及焦虑、抑郁等，且常是多个症状并存，对患者的功能状态和生活质量造成较大的负面影响，因此，早期诊断起着至关重要的作用。
磁共振成像(Magnetic Resonance Imaging，MRI)作为一种非侵入式的脑肿瘤成像技术，可产生高分辨率、无损伤的多模态脑影像，为临床医生对脑肿瘤的诊断提供全面且准确的信息，是鉴别脑肿瘤的重要技术手段之一。此外，在不同的显影技术下，MRI能够提供相同组织的不同结构显影。常见的模态有四种：T1加权像，T1ce、T2加权像及FLAIR，不同模态之间的脑组织特征信息互补，有利于对肿瘤进行更为准确的定位与分割。放射科的计算机辅助诊断技术具有成本低、效率高、省时等优势。近年来，基于深度学习方法的计算机辅助诊断技术已在许多医学领域得到应用，并取得重大突破。
由于脑肿瘤形状多异、位置大小分布不均、边界复杂等因素，目前脑肿瘤图像主要还是由专家手动进行分割，费时费力。且受不同医生实战经验、个人知识积累以及工作时长等因素的影响，使得分割结果存在较大差异，分割精度也难以保证。因此，研究高效且可靠的全自动脑肿瘤分割方法对于脑肿瘤疾病的诊断具有重要的临床实际意义。BraTS是MICCAI所有比赛中历史最悠久的，每年该比赛的参赛人数也几乎是所有比赛中最多的，因此这是一个很好的了解脑肿瘤分割方法最前沿的平台。2018年BraTS的冠军Myronenko等人提出一个不对称的U-Net，首先使用较大的编码器来提取脑肿瘤图像特征，使用较小的解码器重建分割掩膜，作者还添加了一个额外的解码器分支重建原始图像；2019年冠军Jiang Z等人使用了两个级联的U-Net网络来完成脑肿瘤的分割，首先使用第一个网络进行粗分割，然后将第一个网络的输出作为第二个网络的输入，最后完成精细化的分割；2020年冠军Isensee等人通过改进数据预处理过程，在传统U-Net模型基础上提出了nnU-Net模型，nnU-Net是一种基于三个模型：2D U-Net,3D U-Net和U-Net Cascade的自适应框架，使用者只需要输入数据，nnU-Net便可以自动根据图像几何结构调整自身结构，实现全自动分割流程。
发明内容
为了解决现有的脑肿瘤分割存在的分割结构存在差异以及分割精度难以保证的问题，本发明提供了基于注意力机制和多尺度特征融合的改进U-Net脑肿瘤分割法，该方法能够有效地提高MRI脑肿瘤图像的分割精度，具有良好的分割性能，本发明的具体方案如下：
基于注意力机制和多尺度特征融合的改进U-Net脑肿瘤分割法，包括以下步骤：
S1、数据获取与数据预处理；
S2、构建基于注意力机制和多尺度特征融合的改进U-Net脑肿瘤分割模型；
S3、构建混合损失函数并对改进U-Net脑肿瘤分割模型进行训练，保存最优模型；
S4、使用最优模型进行预测，保存预测结果，进行在线验证，获取评价指标，最后进行结果对比。
进一步，步骤S1中实验数据集采用国际医学图像计算和计算机辅助干预协会提供的脑胶质瘤公共数据集BraTS2018，其中标记数据分为肿瘤增强区域、水肿区域、坏死区域和背；对脑肿瘤数据进行预处理，去除多模态MRI脑肿瘤图像数据的噪音信号。有益效果：用于消除脑肿瘤图像存在的灰度不均匀性以及异常点。
进一步，步骤S2中在U-Net网络结构的基础上进行改进，具体为：
S21、采用残差单元代替原始U-Net中的普通单元；
S22、在跳跃连接中加入多尺度特征融合机制，再将得到的结果与经过上采样的高级特征进行concat；
S23、在U-Net结构的解码阶段中加入注意力机制。
进一步，步骤S21中采用残差单元代替原始U-Net中的普通单元就是在普通卷积模块中的每个卷积层之前加入批量归一化层，同时将ReLU激活函数替换为PReLU激活函数，然后加入快捷连接，防止梯度消失，且在U-Net模型的解码阶段多添加了一个1×1卷积来保持维度一致。有意效果：使用残差模块代替原始的卷积层，增强网络的特征提取能力，提高网络的分割性能，解决网络加深面临的梯度消失问题。
进一步，步骤S22中在U-Net的跳跃连接中加入多尺度特征融合，具体结构采用改进后的空洞空间金字塔池化模块，使用三个采样率分别是2、4、8的空洞卷积、一个普通卷积和一个最大池化，然后对编码阶段的特征分别进行卷积和池化，将得到的五个特征图进行融合，从而获得更细节的特征。有益效果：通过使用不同采样率的空洞卷积扩大对脑肿瘤特征的感受野，捕捉网络深层中更具抽象意义的特征信息，提高了网络对多尺度信息的利用，解决脑肿瘤位置区域不固定和肿瘤形状大小各异的问题。
进一步，步骤S23中注意力机制使用通道注意力，包括压缩和激发两个操作；压缩操作中，对输入大小为C×W×H(其中(W,H)是Feature map的大小，C是通道数)的特征图U进行全局平均池化(GAP)，得到大小为1×1×C的全局压缩特征向量Z；发操作是将压缩操作得到的结果Z通过两层全连接构成的门机制(gate mechanism)，得到特征图U的通道权重矩阵S，最后再将权重矩阵S与原始特征图U相乘得到U'；具体计算公式如下：
S＝Fse(X)＝σ(W2δ(W1GAP(U)))
U'＝S·U
其中，
为第一个全连接层的权重矩阵，
为第二个全连接层的权重矩阵，r为缩放参数(减速比)，默认值为16，δ为ReLU激活函数，σ为sigmoid激活函数。有益效果：通过使用通道权重对输入特征进行修改，加强了有效信息的获取，避免了信息冗余，解决脑肿瘤图像中肿瘤特征不明显，噪声和背景等干扰因素较多的问题。
进一步，U-Net网络中所有的卷积方式都使用深度过参数化卷积DO-Conv代替普通卷积。有意效果：DO-Conv卷积可以加速网络的收敛，并且不增加计算复杂度。
进一步，步骤S3中混合损失函数包含广义Dice损失函数和类别交叉熵损失函数，该混合损失函数计算公式为：
L＝Lg+λLc
该式中，λ为超参数，用来控制Lg和Lc之间的平衡，本实验中设置为1.25；
GDL函数是多分类的损失函数，为每个类分配一个自适应权重，用来处理类的不平衡问题；GDL函数的计算公式为：
该公式中，L为肿瘤类别标签，N为像素点数量，ε是防止出现分母为0导致的计算错误而设置的一个光滑算子，Wj表示第j个类的权重，gij为第j类标签在第i个像素点的真值标签，pij为模型的对应位置的预测结果；
多分类的交叉熵损失函数的计算公式为：
该式中，N为所有的样本数量，C为所有的标签数量，gij为第i个样本的第j个元素的真实值，pij为第i个样本的第j个元素的预测值。有益效果：该混合损失函数解决脑肿瘤图像的类别不平衡问题。
进一步，步骤S4中将BraTS2018的验证集输入网络，用训练好的模型进行分割预测，将每个病人的分割预测图保存，然后登录官方网站，找到BraTS2018的验证集在线验证链接，进入链接上传验证集的分割结果进行在线验证，最后得到验证集所有病人的预测结果表格。
进一步，采用Dice相似度系数作为性能评价指标定量评估模型的分割结果，Dice是计算模型得到的分割区域与标签的真实分割区域之间的重叠程度，范围是[0,1]，值越大说明肿瘤分割结果与标注结果越接近，分割效果越好，它的定义公式如下：
其中∩是逻辑AND运算符，|·|是集合的大小，P1和T1分别代表P＝1和T＝1的体素集合。
本发明的有益效果在于：
本发明所公开的基于注意力机制和多尺度特征融合的改进U-Net脑肿瘤分割法，在U-Net 模型基础上加入残差模块、使用深度过参数化卷积更换普通卷积、加入多尺度特征融合模块及注意力机制模块后，采用Dice相似度系数定量评估分割效果，实验结果表明：改进的U-Net 网络能够有效地提高MRI脑肿瘤图像的分割精度，具有良好的分割性能。
本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。
附图说明
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作优选的详细描述，其中：
图1为本发明基于注意力机制和多尺度特征融合的改进U-Net脑肿瘤分割法的完整模型结构示意图；
图2为发明基于注意力机制和多尺度特征融合的改进U-Net脑肿瘤分割法中深度过参数化卷积的示意图；
图3(a)为发明基于注意力机制和多尺度特征融合的改进U-Net脑肿瘤分割法中普通卷积块的示意图；
图3(b)为发明基于注意力机制和多尺度特征融合的改进U-Net脑肿瘤分割法中残差模块的示意图；
图3(c)为发明图3(b)增加一个1×1的DO-Conv残差模块的示意图；
图4为发明基于注意力机制和多尺度特征融合的改进U-Net脑肿瘤分割法中多尺度特征融合的结构示意图；
图5为发明基于注意力机制和多尺度特征融合的改进U-Net脑肿瘤分割法中注意力机制的示意图；
图6发明基于注意力机制和多尺度特征融合的改进U-Net脑肿瘤分割法中计算评价指标的示意图；
图7为基于注意力机制和多尺度特征融合的改进U-Net脑肿瘤分割法中BraTS2018验证集分割结果的示意图。
具体实施方式
下面通过具体实施方式进一步详细说明。
如图1所示基于注意力机制和多尺度特征融合的改进U-Net脑肿瘤分割法的的完整模型，其基于注意力机制和多尺度特征融合的改进U-Net脑肿瘤分割法，包括以下步骤：
S1、数据获取与数据预处理
S11、数据获取阶段：
使用BraTS2018作为本发明的实验数据集，每例病人的数据包含四种模态(Flair，T1，T1ce和T2)的MR图像和真实分割标签，每个MR图像的大小为240×240×155。所有MRI 标签图像都是由1到4名经验丰富的神经放射科医生手工分割完成，其中标记数据可分为四个部分：肿瘤增强区域、水肿区域、坏死区域和背景。为了更好地评估分割，将这些部分划分为三个分割任务，包括对WT(whole tumor region)、TC(tumor core region)和ET(enhancingtumor region)的分割，其中WT包括肿瘤增强区域、水肿区域以及坏死区域，TC包括肿瘤增强区域和坏死区域，ET只包括肿瘤增强区域。
S12、数据预处理阶段：
对脑肿瘤数据进行预处理，去除多模态MRI脑肿瘤图像数据的噪音信号。首先，将MR 图像中不包含大脑的其他区域切除，同时去除1％的不包含脑肿瘤区域的顶部和底部切片。随后，将原来240×240×155的MR图像切割为128×128×144的MR图像，最后将每个模态的MR图像进行归一化，减去平均值并除以切片内强度的标准差，以缓解脑肿瘤图像的灰度不均匀性。
S2、构建基于注意力机制和多尺度特征融合的改进U-Net脑肿瘤分割模型。在U-Net 网络结构的基础上进行改进，具体步骤为：
S21、采用残差单元代替原始U-Net中的普通单元；目前基于深度学习算法的图像分割主要是通过不断叠加卷积层和池化层来加深网络深度，从而可以更加充分地提取特征信息。与此同时，随着网络模型的加深，可训练的参数量增多，梯度消失问题也会更加严重。基于以上问题，采用如图3(b)、图3(c)所示的残差模块代替如图3(a)所示的普通卷积块，残差单元内部的短距离跳转连接与残差单元之间的长距离跳转连接联合作用，实现在不增加网络深度的前提下，增强网络的特征提取能力，提高网络的分割性能。
与普通卷积模块相比，残差单元中添加了BN层，并将ReLU替换为PReLU，普通卷积替换为DO-Conv，并包含一个恒等映射的快捷结构，此结构允许数据在各层之间进行传输而不会影响模型的学习能力，避免了因梯度消失而造成的模型预测精度下降的问题。图3中的(b)和(c)的差别在于(c)的快捷结构中多了一个1×1的DO-Conv，这是因为在解码阶段，残差模块输入与输出的特征维度不同，此时就需要使用1×1卷积操作来实现维度一致。
S22、在U-Net的跳跃连接中加入如图4所示的多尺度特征融合；目前大多的卷积神经网络都是通过逐层抽象的方式来提取目标的特征，众所周知，浅层特征分辨率更高，包含更多位置信息和细节信息，但是由于经过的卷积少，其语义性更低，噪声更多。高层特征具有更强的语义信息，但是分辨率很低，对细节的感知能力较差。总而言之，深层网络和浅层网络的信息都是必不可少的，如何进行有效的融合，是改善分割模型的关键。
多尺度特征融合模块是基于空洞空间金字塔池化结构构建，使用三个采样率分别是2、4、 8的3×3空洞卷积、一个1×1普通卷积和一个最大池化来捕捉多尺度信息，然后对编码阶段的特征分别进行卷积和池化，然后再将得到的五个特征进行concat操作，最后为了保持维度不变，再使用一个1×1卷积来实现维度一致。通过不同采样率的空洞卷积并行采样来获取输入特征的上下文多尺度信息，提高了对全局信息的获取能力，加入最大池化层可以增加网络对于平移的不变性，对于网络的泛化能力的提升是非常关键的。
S23、在U-Net结构的解码阶段中加入如图5所示的注意力机制；U-Net对脑肿瘤图像进行分割，通过跳跃连接来拼接扩展路径和收缩路径的特征向量，取得了较好的结果。但是简单的图像特征拼接依赖固定权重，且信息会随着分层传播而遗失，分割精度不高。原始的 U-Net模型使用跳跃连接的方式融合低级特征和高级特征。然而，在不考虑其重要性的情况下，直接连接这些高级和低级特征图并不是有效集成它们的最佳方法。此外，有些特征图的不准确、模糊的信息可能会混淆网络，从而导致对肿瘤的错误分割。利用通道注意力机制来解决这些问题，在每个concat层之后采用SEblock。它可以利用高层特征图中的语义信息来增强低层特征图中脑肿瘤区域的特征权重，以保留更详细的信息。
一个SEblock的过程分为压缩(Squeeze)和激发(Excitation)两个步骤。首先是压缩操作，对输入大小为C×W×H(其中(W,H)是Feature map的大小，C是通道数)的特征图U进行全局平均池化(GAP)，得到大小为1×1×C的全局压缩特征向量Z。激发操作是将压缩操作得到的结果Z通过两层全连接构成的门机制(gate mechanism)，得到特征图U的通道权重矩阵S，最后再将权重矩阵S与原始特征图U相乘得到U'。具体计算公式如下。
S＝Fse(X)＝σ(W2δ(W1GAP(U)))
U'＝S·U
其中，
为第一个全连接层的权重矩阵，
为第二个全连接层的权重矩阵，r为缩放参数(减速比)，默认值为16，δ为ReLU激活函数，σ为sigmoid激活函数。
同时，使用DO-Conv代替普通卷积，DO-Conv卷积可以加速网络的收敛，并且不增加计算复杂度，提升脑肿瘤分割网络性能。
其中DO-Conv是DO-UNet网络结构的核心部件。与常规卷积不同，DO-Conv是通过增加一个“额外”的组件来实现过度参数化卷积层，该组件为深度卷积操作。深度卷积具有可训练的内核D∈R(M×N)×Dmul×Cin，普通卷积具有可训练的内核W∈R(M×N)×Dmul×Cout，其中M和N为输入向量的空间维度，Cin为输入向量的通道数，Cout为输出向量的通道数，Dmul为深度卷积的深度乘数。首先将深度卷积算子
应用于深度卷积内核D和输入特征P，得到变换后的新特征
然后将常规卷积算子“*”应用于普通卷积内核W和特征P'，得到变换后的新特征O＝W*P'。
S3、构建混合损失函数并对改进U-Net脑肿瘤分割模型进行训练，保存最优模型
由于在大多数情况下，脑胶质瘤仅占整个大脑的2％，所以脑肿瘤数据集是一个极端不平衡的数据集。卷积神经网络对于数据不平衡十分敏感，训练过程中，网络更加偏向于那些样本量更大数据，这会大大降低算法的准确度。面对脑肿瘤图像的类别不平衡问题，采用混合损失函数。
该混合损失函数包含广义Dice损失函数和类别交叉熵损失函数，混合损失函数计算公式为：
L＝Lg+λLc
该式中，λ为超参数，用来控制Lg和Lc之间的平衡，本实验中设置为1.25。
GDL函数是多分类的损失函数，为每个类分配一个自适应权重，用来处理类的不平衡问题。GDL函数的计算公式为：
该公式中，L为肿瘤类别标签，N为像素点数量，ε是防止出现分母为0导致的计算错误而设置的一个光滑算子，Wj表示第j个类的权重，gij为第j类标签在第i个像素点的真值标签，pij为模型的对应位置的预测结果。
多分类的交叉熵损失函数的计算公式为：
该式中，N为所有的样本数量，C为所有的标签数量，gij为第i个样本的第j个元素的真实值，pij为第i个样本的第j个元素的预测值。
S4、使用最优模型进行预测，保存预测结果，进行在线验证，获取评价指标，最后进行结果对比。
将BraTS2018的验证集输入网络，用训练好的模型进行分割预测，将每个病人的分割预测图保存，然后登录官方网站，找到BraTS2018的验证集在线验证链接，进入链接上传验证集的分割结果进行在线验证，最后得到验证集所有病人的的预测结果表格。
采用如图6所示的Dice相似度系数作为性能评价指标定量评估如图7所示模型的分割结果，Dice是计算模型得到的分割区域与标签的真实分割区域之间的重叠程度，范围是[0,1]，值越大说明肿瘤分割结果与标注结果越接近，分割效果越好，它的定义公式如下：
其中∩是逻辑AND运算符，|·|是集合的大小，P1和T1分别代表P＝1和T＝1的体素集合。
为了更加直观的展示添加不同模块对分割结果的影响，在BraTS2018数据集上进行了消融实验，依次在U-Net模型中添加不同模块，使用相同的参数进行实验，具体结果如表1所示，其中Res代表残差模块，DO-Conv代表深度过参数化卷积，ASPP代表多尺度特征融合模块，SE代表注意力机制模块。
表1 U-Net添加不同模块的分割结果对比
从表1我们可以看出，U-Net模型在加入残差模块之后，分割性能有提升，ET，WT和TC的Dice分别提高了1％，1％和2％；随后加入多尺度特征融合模块ASPP，仅WT提升了 2％；然后更换卷积方式，将模型中的所有普通卷积替换为DO-Conv，可以看到ET，WT和 TC的Dice分别提高了2％，1％和2％；最后添加注意力机制模块，模型在三个分割区域的Dice系数均达到最优。实验结果表明，本文提出的网络结构的不同模块对脑肿瘤分割精度均有提升。实验结果表明，本发明能够有效地提高MRI脑肿瘤图像的分割精度，具有良好的分割性能。
Claims (10)
1.基于注意力机制和多尺度特征融合的改进U-Net脑肿瘤分割法，其特征在于，包括以下步骤：
S1、数据获取与数据预处理；
S2、构建基于注意力机制和多尺度特征融合的改进U-Net脑肿瘤分割模型；
S3、构建混合损失函数并对改进U-Net脑肿瘤分割模型进行训练，保存最优模型；
S4、使用最优模型进行预测，保存预测结果，进行在线验证，获取评价指标，最后进行结果对比。
2.根据权利要求1所述的基于注意力机制和多尺度特征融合的改进U-Net脑肿瘤分割法，其特征在于：所述步骤S1中实验数据集采用国际医学图像计算和计算机辅助干预协会提供的脑胶质瘤公共数据集BraTS2018，其中标记数据分为肿瘤增强区域、水肿区域、坏死区域和背；对脑肿瘤数据进行预处理，去除多模态MRI脑肿瘤图像数据的噪音信号。
3.根据权利要求1所述的基于注意力机制和多尺度特征融合的改进U-Net脑肿瘤分割法，其特征在于：所述步骤S2中在U-Net网络结构的基础上进行改进，具体为：
S21、采用残差单元代替原始U-Net中的普通单元；
S22、在跳跃连接中加入多尺度特征融合机制，再将得到的结果与经过上采样的高级特征进行concat；
S23、在U-Net结构的解码阶段中加入注意力机制。
4.根据权利要求3所述的基于注意力机制和多尺度特征融合的改进U-Net脑肿瘤分割法，其特征在于：所述步骤S21中采用残差单元代替原始U-Net中的普通单元就是在普通卷积模块中的每个卷积层之前加入批量归一化层，同时将ReLU激活函数替换为PReLU激活函数，然后加入快捷连接，防止梯度消失，且在U-Net模型的解码阶段多添加了一个1×1卷积来保持维度一致。
5.根据权利要求3所述的基于注意力机制和多尺度特征融合的改进U-Net脑肿瘤分割法，其特征在于：所述步骤S22中在U-Net的跳跃连接中加入多尺度特征融合，具体结构采用改进后的空洞空间金字塔池化模块，使用三个采样率分别是2、4、8的空洞卷积、一个普通卷积和一个最大池化，然后对编码阶段的特征分别进行卷积和池化，将得到的五个特征图进行融合，从而获得更细节的特征。
6.根据权利要求3所述的基于注意力机制和多尺度特征融合的改进U-Net脑肿瘤分割法，其特征在于：所述步骤S23中注意力机制使用通道注意力，包括压缩和激发两个操作；压缩操作中，对输入大小为C×W×H(其中(W,H)是Feature map的大小，C是通道数)的特征图U进行全局平均池化(GAP)，得到大小为1×1×C的全局压缩特征向量Z；发操作是将压缩操作得到的结果Z通过两层全连接构成的门机制(gate mechanism)，得到特征图U的通道权重矩阵S，最后再将权重矩阵S与原始特征图U相乘得到U'；具体计算公式如下：
S＝Fse(X)＝σ(W2δ(W1GAP(U)))
U'＝S·U
其中，
为第一个全连接层的权重矩阵，
为第二个全连接层的权重矩阵，r为缩放参数(减速比)，默认值为16，δ为ReLU激活函数，σ为sigmoid激活函数。
7.根据权利要求3所述的基于注意力机制和多尺度特征融合的改进U-Net脑肿瘤分割法，其特征在于：所述U-Net网络中所有的卷积方式都使用深度过参数化卷积DO-Conv代替普通卷积。
8.根据权利要求1所述的基于注意力机制和多尺度特征融合的改进U-Net脑肿瘤分割法，其特征在于：所述步骤S3中混合损失函数包含广义Dice损失函数和类别交叉熵损失函数，该混合损失函数计算公式为：
L＝Lg+λLc
该式中，λ为超参数，用来控制Lg和Lc之间的平衡，本实验中设置为1.25；
GDL函数是多分类的损失函数，为每个类分配一个自适应权重，用来处理类的不平衡问；GDL函数的计算公式为：
该公式中，L为肿瘤类别标签，N为像素点数量，ε是防止出现分母为0导致的计算错误而设置的一个光滑算子，Wj表示第j个类的权重，gij为第j类标签在第i个像素点的真值标签，pij为模型的对应位置的预测结果；
多分类的交叉熵损失函数的计算公式为：
该式中，N为所有的样本数量，C为所有的标签数量，gij为第i个样本的第j个元素的真实值，pij为第i个样本的第j个元素的预测值。
9.根据权利要求1所述的基于注意力机制和多尺度特征融合的改进U-Net脑肿瘤分割法，其特征在于：所述步骤S4中将BraTS2018的验证集输入网络，用训练好的模型进行分割预测，将每个病人的分割预测图保存，然后登录官方网站，找到BraTS2018的验证集在线验证链接，进入链接上传验证集的分割结果进行在线验证，最后得到验证集所有病人的预测结果表格。
10.根据权利要求9所述的基于注意力机制和多尺度特征融合的改进U-Net脑肿瘤分割法，其特征在于：采用Dice相似度系数作为性能评价指标定量评估模型的所述的分割结果，Dice是计算模型得到的分割区域与标签的真实分割区域之间的重叠程度，范围是[0,1]，值越大说明肿瘤分割结果与标注结果越接近，分割效果越好，它的定义公式如下：
其中∩是逻辑AND运算符，|·|是集合的大小，P1和T1分别代表P＝1和T＝1的体素集合。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210990335.7A CN115424103A (zh) | 2022-08-18 | 2022-08-18 | 基于注意力机制和多尺度特征融合的改进U-Net脑肿瘤分割方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210990335.7A CN115424103A (zh) | 2022-08-18 | 2022-08-18 | 基于注意力机制和多尺度特征融合的改进U-Net脑肿瘤分割方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115424103A true CN115424103A (zh) | 2022-12-02 |
Family
ID=84197971
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210990335.7A Pending CN115424103A (zh) | 2022-08-18 | 2022-08-18 | 基于注意力机制和多尺度特征融合的改进U-Net脑肿瘤分割方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115424103A (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116030347A (zh) * | 2023-01-06 | 2023-04-28 | 山东建筑大学 | 一种基于注意力网络的高分辨率遥感影像建筑物提取方法 |
| CN116152278A (zh) * | 2023-04-17 | 2023-05-23 | 杭州堃博生物科技有限公司 | 医疗图像的分割方法及装置、非易失性存储介质 |
| CN116594061A (zh) * | 2023-07-18 | 2023-08-15 | 吉林大学 | 一种基于多尺度u形注意网络的地震数据去噪方法 |
| CN117078692A (zh) * | 2023-10-13 | 2023-11-17 | 山东未来网络研究院(紫金山实验室工业互联网创新应用基地) | 一种基于自适应特征融合的医疗超声图像分割方法及*** |
| CN117392392A (zh) * | 2023-12-13 | 2024-01-12 | 河南科技学院 | 一种割胶线识别与生成方法 |
| CN118015285A (zh) * | 2024-04-09 | 2024-05-10 | 齐鲁工业大学(山东省科学院) | 基于改进Unet的脑肿瘤病理图像细胞分割方法 |
-
2022
- 2022-08-18 CN CN202210990335.7A patent/CN115424103A/zh active Pending
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116030347A (zh) * | 2023-01-06 | 2023-04-28 | 山东建筑大学 | 一种基于注意力网络的高分辨率遥感影像建筑物提取方法 |
| CN116030347B (zh) * | 2023-01-06 | 2024-01-26 | 山东建筑大学 | 一种基于注意力网络的高分辨率遥感影像建筑物提取方法 |
| CN116152278A (zh) * | 2023-04-17 | 2023-05-23 | 杭州堃博生物科技有限公司 | 医疗图像的分割方法及装置、非易失性存储介质 |
| CN116594061A (zh) * | 2023-07-18 | 2023-08-15 | 吉林大学 | 一种基于多尺度u形注意网络的地震数据去噪方法 |
| CN116594061B (zh) * | 2023-07-18 | 2023-09-22 | 吉林大学 | 一种基于多尺度u形注意网络的地震数据去噪方法 |
| CN117078692A (zh) * | 2023-10-13 | 2023-11-17 | 山东未来网络研究院(紫金山实验室工业互联网创新应用基地) | 一种基于自适应特征融合的医疗超声图像分割方法及*** |
| CN117078692B (zh) * | 2023-10-13 | 2024-02-06 | 山东未来网络研究院(紫金山实验室工业互联网创新应用基地) | 一种基于自适应特征融合的医疗超声图像分割方法及*** |
| CN117392392A (zh) * | 2023-12-13 | 2024-01-12 | 河南科技学院 | 一种割胶线识别与生成方法 |
| CN117392392B (zh) * | 2023-12-13 | 2024-02-13 | 河南科技学院 | 一种割胶线识别与生成方法 |
| CN118015285A (zh) * | 2024-04-09 | 2024-05-10 | 齐鲁工业大学(山东省科学院) | 基于改进Unet的脑肿瘤病理图像细胞分割方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Zhang et al. | Automatic segmentation of acute ischemic stroke from DWI using 3-D fully convolutional DenseNets | |
| CN115424103A (zh) | 基于注意力机制和多尺度特征融合的改进U-Net脑肿瘤分割方法 | |
| Zhang et al. | Review of breast cancer pathologigcal image processing | |
| CN112674720B (zh) | 基于3d卷积神经网络的阿尔茨海默症的预判断方法 | |
| Ma et al. | Multiple sclerosis lesion analysis in brain magnetic resonance images: techniques and clinical applications | |
| CN113888555A (zh) | 基于注意机制的多模态脑肿瘤图像分割*** | |
| Li et al. | Brain tumor segmentation using 3D generative adversarial networks | |
| Zhao et al. | Effective Combination of 3D-DenseNet's Artificial Intelligence Technology and Gallbladder Cancer Diagnosis Model | |
| Sadeghibakhi et al. | Multiple sclerosis lesions segmentation using attention-based CNNs in FLAIR images | |
| Wang et al. | DPBET: A dual-path lung nodules segmentation model based on boundary enhancement and hybrid transformer | |
| Hou et al. | Cross attention densely connected networks for multiple sclerosis lesion segmentation | |
| Feng et al. | DAUnet: A U-shaped network combining deep supervision and attention for brain tumor segmentation | |
| Ait Mohamed et al. | Hybrid method combining superpixel, supervised learning, and random walk for glioma segmentation | |
| Khalifa et al. | Deep learning for image segmentation: a focus on medical imaging | |
| Pallawi et al. | Study of Alzheimer’s disease brain impairment and methods for its early diagnosis: a comprehensive survey | |
| Dhanagopal et al. | An Efficient Retinal Segmentation‐Based Deep Learning Framework for Disease Prediction | |
| Cui et al. | Automatic Segmentation of Kidney Volume Using Multi-Module Hybrid Based U-Shape in Polycystic Kidney Disease | |
| Rezaee et al. | SkinNet: A hybrid convolutional learning approach and transformer module through bi-directional feature fusion | |
| Atiyah et al. | Segmentation of human brain gliomas tumour images using u-net architecture with transfer learning | |
| Zhang et al. | ETUNet: Exploring efficient transformer enhanced UNet for 3D brain tumor segmentation | |
| Li et al. | Rethinking deep supervision for brain tumor segmentation | |
| Zequan et al. | Brain Tumor MRI Image Segmentation Via Combining Pyramid Convolution and Attention Gate | |
| Al-Murshidawy et al. | A review of deep learning models (U-Net architectures) for segmenting brain tumors | |
| Shui et al. | A three-path network with multi-scale selective feature fusion, edge-inspiring and edge-guiding for liver tumor segmentation | |
| Dhanagopal et al. | Research Article An Efficient Retinal Segmentation-Based Deep Learning Framework for Disease Prediction |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |