CN112686905A - 基于深度可分离卷积的轻量级脑肿瘤分割方法 - Google Patents

基于深度可分离卷积的轻量级脑肿瘤分割方法 Download PDF

Info

Publication number
CN112686905A
CN112686905A CN202011532319.0A CN202011532319A CN112686905A CN 112686905 A CN112686905 A CN 112686905A CN 202011532319 A CN202011532319 A CN 202011532319A CN 112686905 A CN112686905 A CN 112686905A
Authority
CN
China
Prior art keywords
convolution
network
segmentation
brain tumor
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011532319.0A
Other languages
English (en)
Inventor
赵奕名
李锵
关欣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University
Original Assignee
Tianjin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University filed Critical Tianjin University
Priority to CN202011532319.0A priority Critical patent/CN112686905A/zh
Publication of CN112686905A publication Critical patent/CN112686905A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

本发明提供一种基于深度可分离卷积的轻量级脑肿瘤分割方法,包括下列步骤:脑肿瘤MRI预处理;构建和训练深度卷积网络,先对3D U‑Net进行修改,将该网络中的卷积替换为深度可分离卷积,使用改进的加权损失函数在提高分割准确性的同时加快模型收敛速度,方法如下:构建改进型的3D U‑Net;设计加权混合损失函数并对网络进行训练;对分割结果进行后处理。

Description

基于深度可分离卷积的轻量级脑肿瘤分割方法
技术领域
本发明属于计算机视觉与医学影像处理结合学图像分割领域,涉及一种轻量级脑肿瘤分割方法。
背景技术
脑肿瘤为生长于颅内的不正常细胞群,是一种严重危害患者生命的肿瘤。根据《临床医师癌症杂志》(A Cancer Journal for Clinicians,CA)全球癌症统计报告,截至2019年,脑肿瘤新发病例约为23.8万,约占所有新发病例的1.3%,死亡病例约为17.7万,约占所有癌症死亡病例的2.9%。脑肿瘤主要分为在脑中或在源自大脑神经中形成的原发性脑肿瘤和由身体其他部位转移至颅内的继发性脑肿瘤。成人中最常见的原发性脑肿瘤是原发性中枢神经***淋巴瘤和胶质瘤,其中胶质瘤起源于神经胶质细胞周围组织,占恶性脑肿瘤的80%以上,随病变区域不同而出现不同症状如头痛、呕吐、视力衰退、癫痫和意识模糊等。
根据侵入程度及患者预后,可将胶质瘤分为高级别胶质瘤(high-grade gliomas,HGG)和低级别胶质瘤(low-grade gliomas,LGG)。高级别胶质瘤患者死亡率较高,中位生存时间仅为15个月,存活两年的患者数量较少;低级别胶质瘤发展较为缓慢,治疗效果较好,患者预期寿命通常在十年以上,但部分患者会在肿瘤切除后的数年内发生肿瘤恶变,若恶变没有及时发现,短期内肿瘤可迅速增大,对患者健康造成巨大威胁。由于胶质瘤呈浸润性生长,当其在颅内占据一定空间时,无论何种类别的胶质瘤,都会导致颅内压升高,压迫脑组织等情况,使得中枢神经受损,严重时危及患者生命,因此有效的脑肿瘤诊断和及时的治疗对于提升患者生存质量、延长患者寿命有着重大意义。
自2012年以来,随着深度学习的发展和相关硬件性能的提升,基于神经网络的分割方法逐渐成为主流。由于脑肿瘤为渗透性肿瘤,其外观高度异质、位置随机和各子区域体素数量相差悬殊,且肿瘤组织和近邻的正常脑组织具有高度的灰度近似性,尽管脑肿瘤研究已取得很大进展,在多模态MRI中自动识别肿瘤的轮廓信息及其对各子区域进行精细划分仍是一项艰巨的任务。目前利用深度学习进行3D脑肿瘤图像分割主要有2D卷积网络和3D卷积网络两种方法。2D网络分割速度快,计算资源占用低,但通常是将多张输出图像机械性拼接成3D图像作为分割结果,未能有效利用来自相邻切片的上下文信息,经常出现锯齿、断层等问题而影响分割精度。3D卷积网络空间特征提取充分、分割效果好,但由于其存在显存占用量巨大,对硬件资源要求较高等问题,通常需要在网络结构中做出折衷,以牺牲精度或训练速度的方式来适应给定的内存预算。
发明内容
本发明针对目前脑肿瘤MRI的多分割任务存在的缺陷,提出一种基于深度可分离的轻量级脑肿瘤分割方法。本发明的技术方案如下:
1.一种基于深度可分离卷积的轻量级脑肿瘤分割方法,包括下列步骤:
第一步,脑肿瘤MRI预处理,对BraTS2018数据集进行归一化处理,形成格式符合要求、匹配网络结构的脑肿瘤图像;
第二步,构建和训练深度卷积网络,先对3D U-Net进行修改,将该网络中的卷积替换为深度可分离卷积,使用改进的加权损失函数在提高分割准确性的同时加快模型收敛速度,方法如下:
(1)构建改进型的3D U-Net:
网络整体分为上采样与下采样两部分,其中下采样部分由编码卷积块组成,每个卷积块由一个步长为2的MDS单元、两个步长为1的MDS单元组成,以降低特征层尺寸并提取深层信息;经过一系列的编码和解码操作后,生成一个与网络输入同尺寸的四维矩阵作为分割结果;
(2)设计加权混合损失函数并对网络进行训练:
在混合损失函数的基础上进行加权优化,有效提升难分割区域的损失权重,进一步提升核心区和增强区的分割精度;
(3)对分割结果进行后处理:
通过对增强区体素设置阈值,降低假阳性预测错误,增强模型的鲁棒性;
第三步测试网络并选出最佳的网络模型。
本发明将医学图像的语义分割与深度学***衡不同分割难度类别的训练强度。本算法可在保持较高精度的同时显著降低计算消耗,为临床医师进行脑肿瘤分割提供有力参考。
附图说明
图1本发明完整网络结构示意图。
图2基于深度可分离卷积和残差结构的MDS单元示意图。
图3普通卷积试操作示意图。
图4深度可分离卷积示意图。
图5多尺寸感受野混合卷积示意图。
图6脑肿瘤MRI分别在水平面、矢状面、冠状面的分割效果对比图,红色区域为增强肿瘤区、其中蓝色区域为坏死及非增强肿瘤区,绿色区域为水肿区。从左至右依次为脑肿瘤MRI FLAIR模态,经典3D U-Net分割效果图,本发明算法的分割效果图,专家手动标注图。
图7脑肿瘤MRI分割结果箱型图。从左至右依次为肿瘤完整区,肿瘤核心区,肿瘤增强区。
具体实施方式
第一步,图像预处理
本发明实验数自BraTS 2018数据集,其中训练集包含210个高级胶质瘤患者样本,75个低级胶质瘤患者样本,验证集包含66个无标签患者样本。在训练集中每个样本包含4种MRI模态和由多位专业医师手动标注的真值标签图,通过一系列数据增强方法如对尺寸为240×240×155的脑肿瘤图像随机截取至128×128×128,随机在轴向、冠状、矢状等方向翻转,在[-10°,10°]范围内随机旋转等,避免因训练集数据不足导致的过拟合问题。处理后的脑肿瘤MRI4模态以4通道的形式作为输入,通过编解码网络进行训练。
第二步,构建改进型U-Net并设计加权混合损失函数
(1)构建改进型U-Net
本发明以MDS单元(Mixed Depthwise Separable Residual Unit)作为基本结构,完整分割网络框架如图1所示。网络分为上采样与下采样两部分,其中下采样部分由编码卷积块组成,每个卷积块由一个步长为2的MDS单元、两个步长为1的MDS单元组成,以降低特征层尺寸并提取深层信息。上采样部分由解码卷积块组成,每个解码卷积块由一次三线性插值和一个步长为1的MDS单元组成,以增大特征层尺寸并压缩其深度。类似于经典U-Net结构,在每个解码卷积块后拼接来自编码卷积块对应尺寸的特征层,以融合深浅层特征信息。在网络的最后使用卷积核尺寸为1卷积层和Softmax激活函数,生成一个与网络输入同尺寸的四维矩阵作为分割结果。其中MDS单元由多纤单元、深度可分离单元、残差单元以及多次深度可分离卷积操作等构成。如图2所示,使用残差单元以缓解因网络深度过深而产生的网络退化问题,通过额外增加一次卷积操作来解决残差单元中输入层与输出层在通道数或尺寸方面不匹配的问题,并在每次卷积操作前使用批量归一化以及RELU激活函数去线性化。以下分别介绍各个单元具体实现方法。
深度可分离卷积将标准的卷积分解为逐通道卷积和逐点卷积。前者对输入进行特征提取,后者对提取的特征进行组合从而映射到目标空间上。如图3所示,对于一32×32像素、通道数为64的输入层,3×3的普通卷积层共有128个尺寸为64×3×3卷积核来提取输入层所有通道的信息,最终输出一尺寸为32×32×128的特征层,其参数量为64×3×3×128。
如图4所,逐通道卷积每个过滤器仅与包含1个3×3卷积核,即输出层的每个通道仅与输入层的每个通道一一对应,与其他输入层无关,其参数量为64×3×3。但经通道卷积的输出层层数只等于输入层层数,无法人为调节,而且这种运算对输入层的每个通道独立进行卷积运算,无法的利用不同通道在相同空间位置上的特征信息。因此需要逐点卷积来将这些特征层进行组合生成新的特征层。逐点卷积的运算与常规卷积运算非常相似,它的卷积核的尺寸为64×1×1。所以这里的卷积运算会将逐通道卷积在深度方向上进行加权组合,生成新的特征层,如生成一128通道的特征层,其参数量为64×1×1×128。与常规卷积相比,深度可分离卷积的参数量仅为其12%。因此,深度可分离卷积十分适合3D图像分割等显存占用量巨大的图像处理任务。
此外,大卷积核善于提取大感受野特征,小卷积核擅长提取小感受野特征,大感受野与小感受野是互补关系,如能混合不同感受野的特征,将有助于提高网络提取特征的能力。在经典的Inception网络曾将输入分别传入不同的分支,每个分支采用大小不同的卷积核来提取不同感受野的特征,最后将各个分支的结果进行连混合感接作为输出。虽然受野的特征有助于提高网络精度,但需付出很大的计算和存储代价。而对于深度可分离卷积来说,其逐通道卷积部分的参数量要远小于逐点卷积。以输入为64×32×32输出为128×32×32的深度可分离卷积来说,逐通道卷积的参数量仅占总体的6.6%。因此,得益于深度可分离卷积的特性,在逐通道卷积上采取混合感受野即可以带来分割精度上的提升,同时不会带来明显的计算和存储的代价。如图5所示,本专利首先将卷积输入层拆分为n组,每组的卷积核依次递增:3×3、5×5、7×7……,其通道数为
Figure BDA0002852407360000041
Figure BDA0002852407360000042
再将经过各组进行拼接,最后对所有特征层进行逐点卷积,以充分融合其不同感受野的特征信息。
(2)设计加权混合损失函数并对网络进行训练:
由于脑肿瘤体积在整个脑组织中占比相对较小,这通常会使损失函数达到局部最小值,导致稀疏类预测错误对于整体损失来说影响甚小,从而得到一个预测强烈偏向背景的网络,Dice Loss函数因其能较好地平衡前后景信息而被广泛应用于脑肿瘤分割领域,其公式及偏导式为
Figure BDA0002852407360000043
Figure BDA0002852407360000044
式中,K为标签类别总数,本发明中为4,N为一个训练样本中像素体总数,pj为第j个像素点的概率分布,pik为第i个体素预测为类别k的概率,gik为其对应的标签值,当该体素的真值为第k类时gik=1,其余情况gik=0。
由于脑肿瘤图像不仅在患病区和正常区的体素数量相差悬殊,不同种患病区体素数量相差亦较大,且某些患病区与分割边界灰度高度近似,导致核心区、增强区的分割精度较低且难以提升,基于以上问题,本发明在上式的基础上进一步改进得到
Figure BDA0002852407360000051
式中,加权系数
Figure BDA0002852407360000052
Nk为标签图像中某类别体素的数量,若Nk越小,wk相对越大,该类别的损失值占整体的比重就越大,提高了稀疏类分类错误对模型的惩罚,有效平衡了不同分割难度类别的训练强度。
(3)对分割结果进行后处理:
在脑肿瘤分割任务中,最具挑战性的任务之一是将增强肿瘤区与肿瘤核心区的小血管部分进行区分,这对于没有增强肿瘤区的LGG患者尤其困难。如果真值图和预测图均无增强区,则其增强区的相似系数为1,相反,若在真值图中患者不存在增强肿瘤区,但在预测图中有一个假阳性体素,会导致其相似系数为0。因此本发明对预测结果进行后处理:为肿瘤增强区设置体素数量阈值,当某样本的肿瘤增强区预测体素数量低于200时将该部分体素并入肿瘤核心区,在一定程度上提高了肿瘤增强区和核心区的分割精度。
第三步测试网络并选出最佳的网络模型
表1各类算法在BraTS2018验证集上的分割效果对比
Figure BDA0002852407360000053
本发明首先将训练集随机拆分为五等份,并进行五重交叉验证评估,本发明提出的分割算法的Dice值在整体区、核心区和增强区的平均Dice值分别可达89.52%、82.74%和77.19%,如图4所示,与经典3D U-Net的分割图像进行对比,本发明的算法通过使用混合深度可分离卷积、跨卡同步批量归一化、加权混合损失函数等方法显著降低了假阳性体素数量,在增强区、核心区等分割难度较大的区域具有明显的优势。
与BraTS 2018比赛第一名NVDLMED相比,本专利算法的Dice值在完整区、核心区、增强区分别比其低1.45%、3.38%、4.21%,但模型的参数量和计算量分别降低了16.4倍和88倍,在4张Nvidia GTX 2080Ti下仅需4小时即可完成训练,单样本1.6秒可完成分割预测。因此,本专利所提出的算法在保持与NVDLMED相当的分割精度的基础上,显著降低了显存占用,提升了训练速度,在分割效率方面有更大的优势。

Claims (1)

1.一种基于深度可分离卷积的轻量级脑肿瘤分割方法,包括下列步骤:
第一步,脑肿瘤MRI预处理,对BraTS2018数据集进行归一化处理,形成格式符合要求、匹配网络结构的脑肿瘤图像;
第二步,构建和训练深度卷积网络,先对3D U-Net进行修改,将该网络中的卷积替换为深度可分离卷积,使用改进的加权损失函数在提高分割准确性的同时加快模型收敛速度,方法如下:
(1)构建改进型的3D U-Net:
网络整体分为上采样与下采样两部分,其中下采样部分由编码卷积块组成,每个卷积块由一个步长为2的MDS单元、两个步长为1的MDS单元组成,以降低特征层尺寸并提取深层信息;经过一系列的编码和解码操作后,生成一个与网络输入同尺寸的四维矩阵作为分割结果;
(2)设计加权混合损失函数并对网络进行训练:
在混合损失函数的基础上进行加权优化,有效提升难分割区域的损失权重,进一步提升核心区和增强区的分割精度;
(3)对分割结果进行后处理:
通过对增强区体素设置阈值,降低假阳性预测错误,增强模型的鲁棒性;
第三步测试网络并选出最佳的网络模型。
CN202011532319.0A 2020-12-22 2020-12-22 基于深度可分离卷积的轻量级脑肿瘤分割方法 Pending CN112686905A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011532319.0A CN112686905A (zh) 2020-12-22 2020-12-22 基于深度可分离卷积的轻量级脑肿瘤分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011532319.0A CN112686905A (zh) 2020-12-22 2020-12-22 基于深度可分离卷积的轻量级脑肿瘤分割方法

Publications (1)

Publication Number Publication Date
CN112686905A true CN112686905A (zh) 2021-04-20

Family

ID=75450799

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011532319.0A Pending CN112686905A (zh) 2020-12-22 2020-12-22 基于深度可分离卷积的轻量级脑肿瘤分割方法

Country Status (1)

Country Link
CN (1) CN112686905A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114947807A (zh) * 2022-05-06 2022-08-30 天津大学 一种脑侵袭分类和脑膜瘤分级的多任务预测方法
CN116206109A (zh) * 2023-02-21 2023-06-02 桂林电子科技大学 一种基于级联网络的肝脏肿瘤分割方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109242865A (zh) * 2018-09-26 2019-01-18 上海联影智能医疗科技有限公司 基于多图谱的医学图像自动分区***、方法、装置及存储介质
CN109949309A (zh) * 2019-03-18 2019-06-28 安徽紫薇帝星数字科技有限公司 一种基于深度学习的肝脏ct图像分割方法
CN110009637A (zh) * 2019-04-09 2019-07-12 北京化工大学 一种基于树形结构的遥感图像分割网络
CN110689546A (zh) * 2019-09-25 2020-01-14 北京字节跳动网络技术有限公司 个性化头像的生成方法、装置、设备及存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109242865A (zh) * 2018-09-26 2019-01-18 上海联影智能医疗科技有限公司 基于多图谱的医学图像自动分区***、方法、装置及存储介质
CN109949309A (zh) * 2019-03-18 2019-06-28 安徽紫薇帝星数字科技有限公司 一种基于深度学习的肝脏ct图像分割方法
CN110009637A (zh) * 2019-04-09 2019-07-12 北京化工大学 一种基于树形结构的遥感图像分割网络
CN110689546A (zh) * 2019-09-25 2020-01-14 北京字节跳动网络技术有限公司 个性化头像的生成方法、装置、设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
赵奕名、李锵、关欣: "组卷积轻量级脑肿瘤分割网络", 《中国图象图形学报》, vol. 25, no. 10, 16 October 2020 (2020-10-16), pages 2159 - 2170 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114947807A (zh) * 2022-05-06 2022-08-30 天津大学 一种脑侵袭分类和脑膜瘤分级的多任务预测方法
CN116206109A (zh) * 2023-02-21 2023-06-02 桂林电子科技大学 一种基于级联网络的肝脏肿瘤分割方法
CN116206109B (zh) * 2023-02-21 2023-11-07 桂林电子科技大学 一种基于级联网络的肝脏肿瘤分割方法

Similar Documents

Publication Publication Date Title
CN108898175B (zh) 基于深度学习胃癌病理切片的计算机辅助模型构建方法
CN110097554B (zh) 基于密集卷积和深度可分离卷积的视网膜血管分割方法
CN111709952B (zh) 一种基于边缘特征优化的双流解码卷积神经网络的mri脑肿瘤自动分割方法
US20170249739A1 (en) Computer analysis of mammograms
CN110930418B (zh) 融合W-net和条件生成对抗网络的视网膜血管分割方法
CN112258488A (zh) 一种医疗影像病灶分割方法
CN116309650B (zh) 基于双分支嵌入注意力机制的医学图像分割方法与***
CN111696126B (zh) 一种基于多视角的多任务肝脏肿瘤图像分割方法
CN112686905A (zh) 基于深度可分离卷积的轻量级脑肿瘤分割方法
CN113592794B (zh) 基于混合注意力机制的2d卷积神经网络的脊椎图分割方法
CN110991254B (zh) 超声图像视频分类预测方法及***
CN114972248A (zh) 基于注意力机制改进的U-net肝肿瘤分割方法
CN112288749A (zh) 一种基于深度迭代融合深度学习模型的颅骨图像分割方法
Al-Masni et al. A deep learning model integrating FrCN and residual convolutional networks for skin lesion segmentation and classification
Maas et al. QuickTumorNet: fast automatic multi-class segmentation of brain tumors
CN115035127A (zh) 一种基于生成式对抗网络的视网膜血管分割方法
CN115661165A (zh) 基于增强注意力的编解码网络胶质瘤融合分割***及方法
Yang et al. MR‐UNet: An UNet model using multi‐scale and residual convolutions for retinal vessel segmentation
CN114066883A (zh) 一种基于特征选择与残差融合的肝肿瘤分割方法
CN117649385A (zh) 一种基于全局和局部注意力机制的肺部ct图像分割方法
CN117291935A (zh) 一种头颈瘤病灶区域图像分割方法及计算机可读介质
CN117422871A (zh) 一种基于V-Net的轻量级脑肿瘤分割方法及***
CN112052854A (zh) 一种实现自适应对比度增强的医疗图像可逆信息隐藏方法
Iqbal et al. LDMRes-Net: Enabling real-time disease monitoring through efficient image segmentation
CN115690423A (zh) 一种基于深度学习的ct序列图像肝脏肿瘤分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination