CN112215850A - 一种带注意力机制的级联空洞卷积网络脑肿瘤分割方法 - Google Patents
一种带注意力机制的级联空洞卷积网络脑肿瘤分割方法 Download PDFInfo
- Publication number
- CN112215850A CN112215850A CN202010848879.0A CN202010848879A CN112215850A CN 112215850 A CN112215850 A CN 112215850A CN 202010848879 A CN202010848879 A CN 202010848879A CN 112215850 A CN112215850 A CN 112215850A
- Authority
- CN
- China
- Prior art keywords
- layer
- convolution
- decoder
- segmentation
- cascade
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 208000003174 Brain Neoplasms Diseases 0.000 title claims abstract description 26
- 230000007246 mechanism Effects 0.000 title claims abstract description 21
- 238000000034 method Methods 0.000 title claims abstract description 21
- 239000011800 void material Substances 0.000 title description 5
- 230000011218 segmentation Effects 0.000 claims abstract description 54
- 206010028980 Neoplasm Diseases 0.000 claims abstract description 31
- 230000004927 fusion Effects 0.000 claims abstract description 13
- 238000007781 pre-processing Methods 0.000 claims abstract description 6
- 238000012935 Averaging Methods 0.000 claims abstract description 5
- 238000010586 diagram Methods 0.000 claims description 62
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 38
- 238000005070 sampling Methods 0.000 claims description 21
- 238000012549 training Methods 0.000 claims description 16
- 238000012795 verification Methods 0.000 claims description 7
- 238000010606 normalization Methods 0.000 claims description 3
- 238000012360 testing method Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000005096 rolling process Methods 0.000 description 5
- 208000032612 Glial tumor Diseases 0.000 description 4
- 206010018338 Glioma Diseases 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 4
- 238000005457 optimization Methods 0.000 description 4
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 3
- 238000005481 NMR spectroscopy Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 3
- JXSJBGJIGXNWCI-UHFFFAOYSA-N diethyl 2-[(dimethoxyphosphorothioyl)thio]succinate Chemical compound CCOC(=O)CC(SP(=S)(OC)OC)C(=O)OCC JXSJBGJIGXNWCI-UHFFFAOYSA-N 0.000 description 3
- 238000000293 three-dimensional nuclear magnetic resonance spectroscopy Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 2
- 230000001902 propagating effect Effects 0.000 description 2
- 206010030113 Oedema Diseases 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000009472 formulation Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000007917 intracranial administration Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 231100000225 lethality Toxicity 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000017074 necrotic cell death Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Image Processing (AREA)
Abstract
本发明涉及一种带注意力机制的级联空洞卷积网络脑肿瘤分割方法，步骤如下：数据预处理；网络结构搭建，方法如下：建立带注意力机制的级联空洞卷积网络采用三级级联框架，将多类分割任务化简为三个二类分割任务，三级分割的网络分别为W‑Net、T‑Net以及E‑Net，分别用于分割脑肿瘤整体(WT)区域、肿瘤核(TC)区域以及增强肿瘤核(ET)区域；在每一级中分别从轴向、矢向和冠向三个方向进行分割，之后在三个方向的分割结果中求平均，得到较为准确的分割结果；在带注意力机制的级联空洞卷积的三级级联框架中每一级的网络结构均为编码‑解码的全卷积网络结构，分为编码器、解码器、跳层结构以及多层特征图融合四部分。
Description
技术领域
本发明涉及图像处理领域，特别是用于三维医学脑肿瘤图像分割。
背景技术
脑肿瘤是一种致死率较高的颅内肿瘤，根据组织学的异质性和肿瘤的侵略性可将脑肿瘤划分为高胶质肿瘤(HGG)和低胶质肿瘤(LGG)，脑肿瘤可进一步划分为水肿区域、肿瘤核区域、增强肿瘤核区域、非增强肿瘤核以区域以及坏死区域。脑肿瘤核磁共振(MR)的四种模态图像：T1、T1ce、T2和FLAIR关注的肿瘤区域不同，可以为彼此提供补充信息。脑肿瘤分割是将脑图像中不同的肿瘤区域分割开，对患者疾病的评估、制定治疗方案和后续的观察研究至关重要。但是依靠医生手动分割费时费力，且经过长时间的手动标注容易出错，经验不同的医生分割的结果也会不同，所以需要一种自动且准确率高的脑肿瘤分割方法。
随着深度学习的发展，基于深度学习的脑肿瘤分割成为准确率最高的方法，基于深度学习的脑肿瘤分割方法比较常见的有FCN[1]、U-Net[2]和V-Net[3]的结构，FCN将卷积神经网络的全连接层删去，可以得到与输入图像尺寸相同的分割图像，U-Net对FCN网络做出改进，采用了编码-解码的对称结构，V-Net将U-Net的卷积层、池化层及上采样层改为3D变量，同时加入残差连接解决网络退化问题，DeepLab[4]***在全卷积网络中加入空洞卷积，增加卷积核的感受野。Oktayetal[5]提出将空间注意力加入3DU-Net结构用于图像分割，将解码器的特征图注意力用于编码器特征图路径上。
参考文献
[1]Shen H,Zhang J,Zheng W.Efficient symmetry-driven fullyconvolutional network for multimodal brain tumor segmentation[C]//2017 IEEEInternational Conference on Image Processing(ICIP).IEEE,2017:3864-3868.
[2]Ronneberger O,Fischer P,Brox T.U-Net:Convolutional Networks forBiomedi-cal Image Segmentation[J],2015,9351:234–241.
[3]Milletari,F.,Navab,N.,Ahmadi,S.A.,2016.V-net:Fully convolutionalneural networks for volumetric medical image segmentation,in:2016 FourthInternational Conference on 3D Vision(3DV),IEEE.pp.565–571.
[4]Chen,L.C.,Papandreou,G.,Kokkinos,I.,Murphy,K.,Yuille,A.L.,2017a.Deeplab:Semantic image segmentation with deep convolutional nets,atrousconvolution,and fully connected crfs.IEEE transactions on pattern analysisand machine intelligence 40,834–848.
[5]Oktay O,Schlemper J,Folgoc L L,et al.Attention U-Net:LearningWhere to Look for the Pancreas[J].2018.
[6]http://braintumorsegmentation.org/
[7]Isensee,F.,Kickingereder,P.,Wick,W.,Bendszus,M.,Maier-Hein,K.H.,2018.No new-net,in:International MICCAI Brain lesion Workshop,Springer.pp.234–244.
[8]Ioffe S,Szegedy C.Batch normalization:Accelerating deep networktraining by reducing internal covariate shift[J].arXiv preprint arXiv:1502.03167,2015.
[9]Xu B,Wang N,Chen T,et al.Empirical evaluation of rectifiedactivations in convolutional network[J].arXiv preprint arXiv:1505.00853,2015.
[10]Noh H,Hong S,Han B.Learning deconvolution network for semanticsegmentation[C]//Proceedings of the IEEE international conference on computervision.2015:1520-1528.
发明内容
本发明的目的是提供一种可提高分割精度的脑肿瘤分割方法。本发明采用三级级联的全卷积网络对脑肿瘤核磁共振图像进行分割，将脑肿瘤核磁共振图像分为肿瘤整体(WT)区域、肿瘤核(TC)区域和增强肿瘤核(ET)区域，每一级网络类似，在全卷积网络的基础上进行修改，采用编码-解码的网络结构，将3D卷积核拆分为帧内卷积和帧间卷积，并加入扩张率不同的空洞卷积，加入注意力机制，并在解码器上增加多层特征图融合，提高了分割精度。技术方案如下：
一种带注意力机制的级联空洞卷积网络脑肿瘤分割方法，步骤如下：
(1)数据预处理：
选取3DMR图像，构建包含不同脑肿瘤类型图像的训练集和验证集，并进行预处理。
(2)网络结构搭建，方法如下：
建立带注意力机制的级联空洞卷积网络采用三级级联框架，将多类分割任务化简为三个二类分割任务，降低分割难度、减少网络参数，三级分割的网络分别为W-Net、T-Net以及E-Net，分别用于分割脑肿瘤整体(WT)区域、肿瘤核(TC)区域以及增强肿瘤核(ET)区域；在每一级中分别从轴向、矢向和冠向三个方向进行分割，之后在三个方向的分割结果中求平均，得到较为准确的分割结果；
在带注意力机制的级联空洞卷积的三级级联框架中每一级的网络结构均为编码-解码的全卷积网络结构，分为编码器、解码器、跳层结构以及多层特征图融合四部分：
编码器为四层结构，第一层含有四个卷积核为尺寸为3×3×1的帧内卷积层，每个帧内卷积层后有一个批量归一化层(BN)以及一个用于非线性化的PReLU层，构成帧内卷积块，每两个帧内卷积块通过残差连接组成残差块；第二层含有两个残差块、一个降采样层和一个卷积核为尺寸为1×1×3的帧间卷积层，帧间卷积层后有一个BN层以及一个PReLU层构成帧间卷积块；第三层有三个残差块，一个帧间卷积块和一个降采样层；第二、第三个残差块分别加入扩张率为2、3的空洞卷积；第四层含有一个降采样层、三个扩张率为3的残差块以及一个反卷积层；
解码路径有三层结构，第一层有三个残差块，一个帧间卷积块以及一个上采样层，其中第一、第二个残差块分别加入扩张率为3、2的空洞卷积；第二层有两个残差块、一个帧间卷积块以及一个反卷积层；第三层含有两个残差块；
跳层连接有三条：第一条将编码器第一层输出特征图经过四次帧内卷积块操作加入解码器第二层输出的特征图的注意力，并与解码器第二层输出的特征图进行连接，作为解码器第三层的输入；第二条将编码器第二层输出特征图经过两次帧内卷积块操作加入解码器第一层输出的特征图的注意力，并与解码器第一层输出的特征图进行连接，作为解码器第二层的输入；第三条将编码器第三层的输出特征图加入编码器第四层输出的特征图的注意力，并与编码器第四层的输出特征图进行连接，作为解码器第一层的输入；
多层特征图融合将编码器第四层输出特征图进行两次帧间卷积、两次反卷积操作，解码器第一层输出特征图经过一次帧间卷积、一次反卷积操作，与解码器第二层输出特征图以及解码器第三层输出特征图进行连接，再通过一个二类分割的卷积作为最终输出。
(3)模型训练以及优化。
本发明的有益效果如下：
1：带注意力机制的级联空洞卷积网络的三级级联框架将多类分割任务化简为三个二类分割任务，来划分脑肿瘤的子区域，降低了分割难度和每一级网络的复杂程度，级联的结构将下一级网络的分割范围限定在上一级网络输出的分割结果上，减少了误判和类之间数量不平衡的问题，提高了分割精度；在三个维度上分别进行分割并求平均，使分割结果更加可靠；
2：带注意力机制的级联空洞卷积网络中帧内卷积与帧间卷积的使用充分利用了切片三个维度的空间信息，减少了网络参数和显存的消耗；帧内卷积中的空洞卷积可以在不破坏图像分辨率的基础上增大卷积核的感受野，能够减少降采样的个数，有利于保护图像分辨率；
3：带注意力机制的级联空洞卷积网络在跳层结构中加入空间注意力模块，使网络在将编码器的含有上下文信息的特征图融合到解码器的含有细节信息的特征图的过程中，将解码器的含有细节信息特征图的权重乘到编码器的含有上下文信息的特征图中，含有细节信息的部分赋予更大的权重，将“注意力”集中在上下文特征图的精细部分，有利于提高分割结果的精度；
4：带注意力机制级联空洞卷积网络在解码器中加入多层特征图融合可以进一步整合上下文信息与细节信息，在解码器当中较低层的特征图中含有更多上下文信息，在较高层中含有更多的细节信息，多层特征图融合连接了解码器上不同层的特征图，将上下文特征和细节特征整合在一起，使分割结果准确度进一步提升。
附图说明
图1为带注意力机制的级联空洞卷积网络结构
图2为空间注意力模块结构
具体实施方式
首先介绍本发明的带注意力机制的级联空洞卷积网络脑肿瘤分割的技术方案，步骤如下：
(1)数据预处理：
本发明使用了公开的BraTS 2018[6]数据集，包含训练集285例和验证集66例，其中训练集包含HGG 210例、LGG 75例，每例有T1、T1ce、T2以及FLAIR四种模态的3D MR图像，每一张尺寸为240×240×155；验证集有66例，不区分肿瘤类型。在轴向、矢向以及冠向三个方向上分别切分成144×144×19的切块作为原始输入。
(2)网络结构搭建，方法如下：
带注意力机制的级联空洞卷积网络采用三级级联框架，将多类分割任务化简为三个二类分割任务，降低分割难度、减少网络参数，三级分割的网络分别为W-Net、T-Net以及E-Net，分别用于分割脑肿瘤整体(WT)区域、肿瘤核(TC)区域以及增强肿瘤核(ET)区域；在每一级中分别从轴向、矢向和冠向三个方向进行分割，之后在三个方向的分割结果中求平均，得到较为准确的分割结果；
在带注意力机制的级联空洞卷积的三级级联框架中每一级的网络结构类似，为编码-解码的全卷积网络结构，分为编码器、解码器、跳层结构以及多层特征图融合四部分：
编码器为四层结构，第一层含有四个卷积核为尺寸为3×3×1的帧内卷积层，每个帧内卷积层后有一个批量归一化层(BN)[8]以及一个用于非线性化的PReLU[9]层，构成帧内卷积块，每两个帧内卷积块通过残差连接组成残差块；第二层含有两个残差块(四个帧内卷积块)、一个降采样层和一个卷积核为尺寸为1×1×3的帧间卷积层，帧间卷积层后有一个BN层以及一个PReLU层构成帧间卷积块；第三层有三个残差块(六个帧内卷积块)，一个帧间卷积块和一个降采样层；第二、第三个残差块分别加入扩张率为2、3的空洞卷积；第四层含有一个降采样层、三个扩张率为3的残差块(六个帧内卷积块)以及一个反卷积层[10]；
解码路径有三层结构，第一层有三个残差块(六个帧内卷积块)，一个帧间卷积块以及一个上采样层，其中第一、第二个残差块分别加入扩张率为3、2的空洞卷积；第二层有两个残差块(四个帧内卷积块)、一个帧间卷积块以及一个反卷积层；第三层含有两个残差块(四个帧内卷积块)；
跳层连接有三条：第一条将编码器第一层输出特征图经过四次帧内卷积块操作加入解码器第二层输出的特征图的注意力(乘以权重)，并与解码器第二层输出的特征图进行连接，作为解码器第三层的输入；第二条将编码器第二层输出特征图经过两次帧内卷积块操作加入解码器第一层输出的特征图的注意力(乘以权重)，并与解码器第一层输出的特征图进行连接，作为解码器第二层的输入；第三条将编码器第三层的输出特征图加入编码器第四层输出的特征图的注意力(乘以权重)，并与编码器第四层的输出特征图进行连接，作为解码器第一层的输入；
多层特征图融合将编码器第四层输出特征图进行两次帧间卷积、两次反卷积操作，解码器第一层输出特征图经过一次帧间卷积、一次反卷积操作，与解码器第二层输出特征图以及解码器第三层输出特征图进行连接，再通过一个二类分割的卷积作为最终输出。
(3)模型训练以及优化：
将BraTS 2018训练集的285例(每例含四种模态)的3D核磁共振图像裁剪为尺寸为144×144×19的切块送入网络，初始学习率为10-4，使用ADAM优化，不断反向传播更新权重，训练模型并保存。
学习率的选择：学习率太小会导致长时间不收敛，浪费资源；学习率太大，可能会导致陷入局部最小值。因此本实验选择学习率为10-4。
优化模型：ADAM优化，根据损失函数，进行不断地反向传播，更新权重。
下面将结合附图对实施方式进一步的详细描述：
第一步，准备数据集：
本发明使用公开Brain Tumor Segmentation 2018(BraTS 2018[6])数据集，分为训练集和验证集，训练集有285例，其中包括高胶质肿瘤(HGG)210例以及低胶质肿瘤(LGG)75例,验证集有66例，不区分肿瘤类型；每例含有T1、T1ce、T2以及FLAIR四种模态的3D核磁共振图像，大小为240×240×155，将训练集的285例图像进行裁剪，裁剪成大小为144×144×19的切块，送入网络进行训练模型，将验证集的66例图像作为测试集测试模型；
第二步，利用深度学习框架Tensorflow构建带注意力机制的级联空洞卷积网络，网络整体框架为三级级联，每一级中在轴向、矢向和冠向三个方向分别对网络进行训练，每一级网络结构类似。如图1所示，图1为分割脑肿瘤整体的网络(W-Net)结构；
(1)将轴向的切块送入网络，经过编码器第一层两个残差块(四个帧内卷积块，每个帧内卷积块含有一个卷积核大小为3×3×1的帧内卷积层、一个BN层和一个PReLU层)变成通道数为32的尺寸为144×144×19的特征图；进入编码器第二层后经过两个残差块(四个帧内卷积块)、一个帧间卷积块(含有一个卷积核大小为1×1×3的帧间卷积层、一个BN层和一个PReLU层)和一个降采样层，变为通道数为32的尺寸为72×72×17的特征图；进入编码器第三层，经过三个残差块(六个帧内卷积块，三个残差块扩张率分别为1、2、3)，一个帧间卷积块和一个降采样层，得到通道数为36×36×15的特征图；进入编码器第四层，经过一个降采样层、三个扩张率为3的残差块(六个帧内卷积块)和一个上采样层，得到通道数为32的尺寸为36×36×15的特征图；跳层结构将编码器第三层的输出加入编码器第四层输出特征图的注意力(乘以权重)，与编码器第四层输出特征图连接，进入解码器第一层；解码器第一层经过三个残差块(六个帧内卷积块，三个残差块扩张率分别为3、2、1)，一个帧间卷积块和一个反卷积层，得到通道数为32的尺寸为72×72×13的特征图；跳层连接将编码器第二层输出经过两个帧间卷积块操作后加入解码器第一层输出特征图的注意力(乘以权重)，与解码器第一层输出特征图连接，进入解码器第二层；解码器第二层经过两个残差块(四个帧内卷积块)、一个帧间卷积块和一个反卷积层,得到通道数为32的尺寸为144×144×11的特征图；跳层连接将编码器第一层的输出经过四个帧间卷积块操作后加入解码器第二层输出特征图的注意力(乘以权重)，与解码器第二层输出特征图连接，进入解码器第三层；编码器第三层有两个残差块(四个帧内卷积块)得到通道数为32的尺寸为144×144×11的特征图；将编码器第四层输出特征图经过两次帧间卷积操作和两次反卷积操作，将解码器第一层输出特征图经过一次帧间卷积操作和一次反卷积操作，与解码器第二层、第三层输出的特征图进行连接，经过一个二类分割的卷积得到大小为144×144×11的2通道输出；得到轴向肿瘤整体的分割结果；
其中注意力模块如图2所示，将特征图A与特征图B分别通过卷积核大小为1×1×1、通道数为C的卷积后相加，经过ReLU非线性操作、卷积核大小为1×1×1、通道数为1的卷积，再经过Sigmoid函数后将结果与特征图B相乘，将权重(注意力)赋予特征图B；
(2)将(1)得到的输出进行裁剪，将(1)分割的肿瘤整体进行裁剪，作为级联网络第二级的输入，第二级网络结构与图1类似；过程同(1)；比图1在编码器第二层上减少一次降采样操作，解码器第二层减少一个反卷积层，多层特征图融合时编码器第四层和解码器第一层输出特征图各减少一个反卷积层；得到轴向肿瘤核的分割结果；
(3)将(2)得到的输出进行裁剪，将(2)分割的肿瘤核进行裁剪，作为级联网络第三级的输入，第三级网络结构与图1类似；过程同(1)；比图1在编码器第一层和第二层上各减少一次降采样操作，解码器第二层和第三层各减少一个反卷积层，多层特征图融合时编码器第四层输出特征图减少两次反卷积操作、解码器第一层减少一个反卷积操作；得到轴向增强肿瘤核的分割结果；
(4)将矢向的切块送入网络，经过三级网络分割，得到矢向肿瘤整体、肿瘤核以及增强肿瘤核的分割结果，过程同(1)-(3)；
(5)将冠向的切块送入网络，经过三级网络分割，得到冠向肿瘤整体、肿瘤核以及增强肿瘤核的分割结果，过程同(1)-(3)；
(6)将轴向、矢向和冠向的分割结果进行平均，得到最终分割结果。
第三步，训练网络:将BraTS 2018训练集的285例(每例含四种模态)的3D核磁共振图像裁剪为尺寸为144×144×19的切块送入网络，初始学习率为10-4，使用ADAM优化，不断反向传播更新权重，训练模型并保存；本实施例选用的损失函数为文献7采用的Dice损失函数和交叉熵Cross entropy损失函数。
第四步，测试模型:将BraTS 2018验证集的66例(每例含四种模态)作为测试集测试模型，用训练好的模型对测试集进行分割，得到Dice分数和Hausdorff距离。得到Dice分数：WT为0.90462，TC为0.81727，ET为0.80091；Hausdorff距离：WT为4.81871，TC为8.75708，ET为2.98508。
本发明的实质性特点和有益效果如下：
(1)采用三级级联的框架，分别分割脑肿瘤图像的三个子区域，减少每一级分割任务的难度；每一级的网络结构为编码-解码结构，包含编码器、解码器以及跳层结构:编码器通过卷积提取上下文特征信息，并通过下采样层以及空洞卷积增大卷积核的感受野，解码器通过卷积提取细节信息，并通过反卷积操作恢复图像分辨率；跳层结构将编码器和解码器中同一级的特征图进行连接，融合特征信息。
(2)将3D卷积核拆分为帧内卷积核与帧间卷积核，分别提取切片内部的特征信息和切片之间的特征信息，同时可以降低网络模型的参数和显存的消耗；在帧内卷积中加入扩张率不同的空洞卷积，可以得到不同感受野的卷积核；
(3)在跳层结构中加入空间注意力模块，使编码器和解码器在同一级的特征图进行连接时，将解码器特征图的权重与编码器的特征图相乘，将卷积网络的注意力集中在细节特征中。
(4)在解码器中加入多级特征图融合，将解码器每一层的特征图通过反卷积恢复原来的分辨率，再进行连接，融合全局特征与细节特征，提高准确率。
Claims (1)
1.一种带注意力机制的级联空洞卷积网络脑肿瘤分割方法，步骤如下：
(1)数据预处理：
选取3D MR图像，构建包含不同脑肿瘤类型图像的训练集和验证集，并进行预处理。
(2)网络结构搭建，方法如下：
建立带注意力机制的级联空洞卷积网络采用三级级联框架，将多类分割任务化简为三个二类分割任务，降低分割难度、减少网络参数，三级分割的网络分别为W-Net、T-Net以及E-Net，分别用于分割脑肿瘤整体(WT)区域、肿瘤核(TC)区域以及增强肿瘤核(ET)区域；在每一级中分别从轴向、矢向和冠向三个方向进行分割，之后在三个方向的分割结果中求平均，得到较为准确的分割结果；
在带注意力机制的级联空洞卷积的三级级联框架中每一级的网络结构均为编码-解码的全卷积网络结构，分为编码器、解码器、跳层结构以及多层特征图融合四部分：
编码器为四层结构，第一层含有四个卷积核为尺寸为3×3×1的帧内卷积层，每个帧内卷积层后有一个批量归一化层(BN)以及一个用于非线性化的PReLU层，构成帧内卷积块，每两个帧内卷积块通过残差连接组成残差块；第二层含有两个残差块、一个降采样层和一个卷积核为尺寸为1×1×3的帧间卷积层，帧间卷积层后有一个BN层以及一个PReLU层构成帧间卷积块；第三层有三个残差块，一个帧间卷积块和一个降采样层；第二、第三个残差块分别加入扩张率为2、3的空洞卷积；第四层含有一个降采样层、三个扩张率为3的残差块以及一个反卷积层；
解码路径有三层结构，第一层有三个残差块，一个帧间卷积块以及一个上采样层，其中第一、第二个残差块分别加入扩张率为3、2的空洞卷积；第二层有两个残差块、一个帧间卷积块以及一个反卷积层；第三层含有两个残差块；
跳层连接有三条：第一条将编码器第一层输出特征图经过四次帧内卷积块操作加入解码器第二层输出的特征图的注意力，并与解码器第二层输出的特征图进行连接，作为解码器第三层的输入；第二条将编码器第二层输出特征图经过两次帧内卷积块操作加入解码器第一层输出的特征图的注意力，并与解码器第一层输出的特征图进行连接，作为解码器第二层的输入；第三条将编码器第三层的输出特征图加入编码器第四层输出的特征图的注意力，并与编码器第四层的输出特征图进行连接，作为解码器第一层的输入；
多层特征图融合将编码器第四层输出特征图进行两次帧间卷积、两次反卷积操作，解码器第一层输出特征图经过一次帧间卷积、一次反卷积操作，与解码器第二层输出特征图以及解码器第三层输出特征图进行连接，再通过一个二类分割的卷积作为最终输出；
(3)模型训练以及优化。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010848879.0A CN112215850A (zh) | 2020-08-21 | 2020-08-21 | 一种带注意力机制的级联空洞卷积网络脑肿瘤分割方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010848879.0A CN112215850A (zh) | 2020-08-21 | 2020-08-21 | 一种带注意力机制的级联空洞卷积网络脑肿瘤分割方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112215850A true CN112215850A (zh) | 2021-01-12 |
Family
ID=74058700
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010848879.0A Pending CN112215850A (zh) | 2020-08-21 | 2020-08-21 | 一种带注意力机制的级联空洞卷积网络脑肿瘤分割方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112215850A (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112767417A (zh) * | 2021-01-20 | 2021-05-07 | 合肥工业大学 | 一种基于级联U-Net网络的多模态图像分割方法 |
| CN113658142A (zh) * | 2021-08-19 | 2021-11-16 | 江苏金马扬名信息技术股份有限公司 | 一种基于改进U-Net神经网络的髋关节股骨近端分割方法 |
| CN113888555A (zh) * | 2021-09-02 | 2022-01-04 | 山东师范大学 | 基于注意机制的多模态脑肿瘤图像分割*** |
| CN114170244A (zh) * | 2021-11-24 | 2022-03-11 | 北京航空航天大学 | 一种基于级联神经网络结构的脑胶质瘤分割方法 |
| CN114187296A (zh) * | 2021-11-09 | 2022-03-15 | 元化智能科技(深圳)有限公司 | 胶囊内窥镜图像病灶分割方法、服务器及*** |
| CN114565628A (zh) * | 2022-03-23 | 2022-05-31 | 中南大学 | 一种基于边界感知注意的图像分割方法及*** |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109754404A (zh) * | 2019-01-02 | 2019-05-14 | 清华大学深圳研究生院 | 一种基于多注意力机制的端到端的肿瘤分割方法 |
| CN109872306A (zh) * | 2019-01-28 | 2019-06-11 | 腾讯科技（深圳）有限公司 | 医学图像分割方法、装置和存储介质 |
| CN110059717A (zh) * | 2019-03-13 | 2019-07-26 | 山东大学 | 用于乳腺钼靶数据集的卷积神经网络自动分割方法及*** |
| CN110189342A (zh) * | 2019-06-27 | 2019-08-30 | 中国科学技术大学 | 脑胶质瘤区域自动分割方法 |
| CN110675379A (zh) * | 2019-09-23 | 2020-01-10 | 河南工业大学 | 一种融合空洞卷积的u形脑肿瘤分割网络 |
| CN110992414A (zh) * | 2019-11-05 | 2020-04-10 | 天津大学 | 一种基于卷积神经网络的室内单目场景深度估计的方法 |
| CN111028242A (zh) * | 2019-11-27 | 2020-04-17 | 中国科学院深圳先进技术研究院 | 一种肿瘤自动分割***、方法及电子设备 |
| CN111046921A (zh) * | 2019-11-25 | 2020-04-21 | 天津大学 | 基于U-Net网络和多视角融合的脑肿瘤分割方法 |
| CN111259906A (zh) * | 2020-01-17 | 2020-06-09 | 陕西师范大学 | 含多级通道注意力的条件生成对抗遥感图像目标分割方法 |
| CN111340828A (zh) * | 2020-01-10 | 2020-06-26 | 南京航空航天大学 | 基于级联卷积神经网络的脑部胶质瘤分割 |
| CN111401480A (zh) * | 2020-04-27 | 2020-07-10 | 上海市同济医院 | 一种基于融合注意力机制的乳腺mri自动辅助诊断新方法 |
-
2020
- 2020-08-21 CN CN202010848879.0A patent/CN112215850A/zh active Pending
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109754404A (zh) * | 2019-01-02 | 2019-05-14 | 清华大学深圳研究生院 | 一种基于多注意力机制的端到端的肿瘤分割方法 |
| CN109872306A (zh) * | 2019-01-28 | 2019-06-11 | 腾讯科技（深圳）有限公司 | 医学图像分割方法、装置和存储介质 |
| CN110059717A (zh) * | 2019-03-13 | 2019-07-26 | 山东大学 | 用于乳腺钼靶数据集的卷积神经网络自动分割方法及*** |
| CN110189342A (zh) * | 2019-06-27 | 2019-08-30 | 中国科学技术大学 | 脑胶质瘤区域自动分割方法 |
| CN110675379A (zh) * | 2019-09-23 | 2020-01-10 | 河南工业大学 | 一种融合空洞卷积的u形脑肿瘤分割网络 |
| CN110992414A (zh) * | 2019-11-05 | 2020-04-10 | 天津大学 | 一种基于卷积神经网络的室内单目场景深度估计的方法 |
| CN111046921A (zh) * | 2019-11-25 | 2020-04-21 | 天津大学 | 基于U-Net网络和多视角融合的脑肿瘤分割方法 |
| CN111028242A (zh) * | 2019-11-27 | 2020-04-17 | 中国科学院深圳先进技术研究院 | 一种肿瘤自动分割***、方法及电子设备 |
| CN111340828A (zh) * | 2020-01-10 | 2020-06-26 | 南京航空航天大学 | 基于级联卷积神经网络的脑部胶质瘤分割 |
| CN111259906A (zh) * | 2020-01-17 | 2020-06-09 | 陕西师范大学 | 含多级通道注意力的条件生成对抗遥感图像目标分割方法 |
| CN111401480A (zh) * | 2020-04-27 | 2020-07-10 | 上海市同济医院 | 一种基于融合注意力机制的乳腺mri自动辅助诊断新方法 |
Non-Patent Citations (1)
| Title |
|---|
| 李大湘等: "基于改进U-Net视网膜血管图像分割算法", 《光学学报》 * |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112767417A (zh) * | 2021-01-20 | 2021-05-07 | 合肥工业大学 | 一种基于级联U-Net网络的多模态图像分割方法 |
| CN112767417B (zh) * | 2021-01-20 | 2022-09-13 | 合肥工业大学 | 一种基于级联U-Net网络的多模态图像分割方法 |
| CN113658142A (zh) * | 2021-08-19 | 2021-11-16 | 江苏金马扬名信息技术股份有限公司 | 一种基于改进U-Net神经网络的髋关节股骨近端分割方法 |
| CN113658142B (zh) * | 2021-08-19 | 2024-03-12 | 江苏金马扬名信息技术股份有限公司 | 一种基于改进U-Net神经网络的髋关节股骨近端分割方法 |
| CN113888555A (zh) * | 2021-09-02 | 2022-01-04 | 山东师范大学 | 基于注意机制的多模态脑肿瘤图像分割*** |
| CN114187296A (zh) * | 2021-11-09 | 2022-03-15 | 元化智能科技(深圳)有限公司 | 胶囊内窥镜图像病灶分割方法、服务器及*** |
| CN114187296B (zh) * | 2021-11-09 | 2022-12-13 | 元化智能科技(深圳)有限公司 | 胶囊内窥镜图像病灶分割方法、服务器及*** |
| CN114170244A (zh) * | 2021-11-24 | 2022-03-11 | 北京航空航天大学 | 一种基于级联神经网络结构的脑胶质瘤分割方法 |
| CN114170244B (zh) * | 2021-11-24 | 2024-05-28 | 北京航空航天大学 | 一种基于级联神经网络结构的脑胶质瘤分割方法 |
| CN114565628A (zh) * | 2022-03-23 | 2022-05-31 | 中南大学 | 一种基于边界感知注意的图像分割方法及*** |
| CN114565628B (zh) * | 2022-03-23 | 2022-09-13 | 中南大学 | 一种基于边界感知注意的图像分割方法及*** |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112215850A (zh) | 一种带注意力机制的级联空洞卷积网络脑肿瘤分割方法 | |
| CN111462126B (zh) | 一种基于边缘增强的语义图像分割方法及*** | |
| CN112258526B (zh) | 一种基于对偶注意力机制的ct肾脏区域级联分割方法 | |
| CN110853051B (zh) | 基于多注意密集连接生成对抗网络的脑血管影像分割方法 | |
| CN111046921B (zh) | 基于U-Net网络和多视角融合的脑肿瘤分割方法 | |
| CN108846473B (zh) | 基于方向和尺度自适应卷积神经网络的光场深度估计方法 | |
| CN109584161A (zh) | 基于通道注意力的卷积神经网络的遥感图像超分辨率重建方法 | |
| CN110826596A (zh) | 一种基于多尺度可变形卷积的语义分割方法 | |
| CN111063389A (zh) | 一种基于深度卷积神经网络的配体绑定残基预测方法 | |
| CN112785593B (zh) | 一种基于深度学习的脑部图像分割方法 | |
| CN112329780B (zh) | 一种基于深度学习的深度图像语义分割方法 | |
| CN113592026A (zh) | 一种基于空洞卷积和级联代价卷的双目视觉立体匹配方法 | |
| CN114266939B (zh) | 一种基于ResTLU-Net模型的脑提取方法 | |
| Hamdi et al. | A new image enhancement and super resolution technique for license plate recognition | |
| CN110472634A (zh) | 基于多尺度深度特征差值融合网络的变化检测方法 | |
| CN112215291A (zh) | 级联神经网络下医学图像特征提取和分类方法 | |
| CN110633706B (zh) | 一种基于金字塔网络的语义分割方法 | |
| CN114332047A (zh) | 一种表面缺陷检测模型的构建方法及其应用 | |
| Cong et al. | CAN: Contextual aggregating network for semantic segmentation | |
| Wang et al. | A two-stream network with complementary feature fusion for pest image classification | |
| CN113284079A (zh) | 一种多模态医学图像融合方法 | |
| KR20220139541A (ko) | 글로벌 어텐션을 이용한 영상 분할 방법 및 장치 | |
| CN115995002B (zh) | 一种网络构建方法及城市场景实时语义分割方法 | |
| CN111210416A (zh) | 一种解剖结构先验引导的大脑感兴趣区域快速分割方法及*** | |
| CN117036380A (zh) | 一种基于级联Transformer的脑肿瘤分割方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210112 |
|
| RJ01 | Rejection of invention patent application after publication |