CN110189342A - 脑胶质瘤区域自动分割方法 - Google Patents

脑胶质瘤区域自动分割方法 Download PDF

Info

Publication number
CN110189342A
CN110189342A CN201910567803.8A CN201910567803A CN110189342A CN 110189342 A CN110189342 A CN 110189342A CN 201910567803 A CN201910567803 A CN 201910567803A CN 110189342 A CN110189342 A CN 110189342A
Authority
CN
China
Prior art keywords
region
coding decoder
attention mechanism
glioma
branches
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910567803.8A
Other languages
English (en)
Other versions
CN110189342B (zh
Inventor
张勇东
徐海
谢洪涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Science and Technology of China USTC
Original Assignee
University of Science and Technology of China USTC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Science and Technology of China USTC filed Critical University of Science and Technology of China USTC
Priority to CN201910567803.8A priority Critical patent/CN110189342B/zh
Publication of CN110189342A publication Critical patent/CN110189342A/zh
Application granted granted Critical
Publication of CN110189342B publication Critical patent/CN110189342B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30016—Brain
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

本发明公开了一种脑胶质瘤区域自动分割方法，包括：利用级联注意力机制的分割网络对多模态的三维脑部体数据MRI影像进行处理，级联注意力机制的分割网络的前端为一个共享的特征提取器，其后端连接有三个结构相同的编码解码器分支；特征提取器将提取的特征图分别输入至三个编码解码器分支，三个编码解码器分支用于分割不同的区域；相邻编码解码器分支之间设有注意力机制模块，用来捕捉不同区域的空间层级关系，最终通过三个编码解码器分支分割出脑胶质瘤区域中的不同区域。通过该方法可以快速、准确的实现脑胶质瘤区域自动分割。

Description

脑胶质瘤区域自动分割方法
技术领域
本发明涉及医学影像分析技术领域，尤其涉及一种脑胶质瘤区域自动分割方法。
背景技术
由于脑胶质瘤异质性和空间上多样性，准确进行肿瘤区域自动分割具有重要意义。
目前已有研究方法往往用级联的神经网络去处理不同区域的分割问题，这使得整体模型十分冗余，并且网络之间训练相互独立的同时，后一级的网络输入严重依赖于前一级网络，因此，最终分割精度也较低。
发明内容
本发明的目的是提供一种脑胶质瘤区域自动分割方法，可以快速、准确的实现脑胶质瘤区域自动分割。
本发明的目的是通过以下技术方案实现的：
一种脑胶质瘤区域自动分割方法，包括：利用级联注意力机制的分割网络对多模态的三维脑部体数据MRI影像进行处理，级联注意力机制的分割网络的前端为一个共享的特征提取器，其后端连接有三个结构相同的编码解码器分支；特征提取器将提取的特征图分别输入至三个编码解码器分支，三个编码解码器分支用于分割不同的区域；相邻编码解码器分支之间设有注意力机制模块，用来捕捉不同区域的空间层级关系，最终通过三个编码解码器分支分割出脑胶质瘤区域中的不同区域。
由上述本发明提供的技术方案可以看出，仅用一个网络进行多区域的分割，从而减小模型大小；同时，通过设计的级联注意力模块把先验的区域层级关系纳入到训练过程中，这使得网络可以自适应地去学习到不同区域之间的空间包含关系，从而网络将更多的关注于感兴趣的区域，减少背景的干扰，可确保分割效果。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。
图1为本发明实施例提供的一种脑胶质瘤区域自动分割方法的示意图；
图2为本发明实施例提供的编码解码器示意图。
具体实施方式
下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。
本发明实施例提供一种脑胶质瘤区域自动分割方法，主要过程如下：利用级联注意力机制的分割网络对多模态的三维脑部体数据MRI影像进行处理，级联注意力机制的分割网络的前端为一个共享的特征提取器，其后端连接有三个结构相同的编码解码器分支；特征提取器将提取的特征图分别输入至三个编码解码器分支，三个编码解码器分支用于分割不同的区域；相邻编码解码器分支之间设有注意力机制模块，用来捕捉不同区域的空间层级关系，最终通过三个编码解码器分支分割出脑胶质瘤区域中的不同区域。
本发明实施例中，所述的多模态的三维脑部体数据MRI影像主要包含以下几个序列：纵向弛豫时间T1序列，横向弛豫时间T2序列，横向弛豫时间-液体衰减反转恢复T2-Flair序列和造影剂增强的纵向弛豫时间T1序列即T1Gd序列。
三个编码解码器分支分别对应的分割出整个肿瘤区域(WT)、肿瘤实体区域(TC)、肿瘤增强区域(ET)。这三个区域之间具有层级的空间关系，即，三个区域为逐级包含关系，WT包含TC、TC包含ET。本发明的主要思想是将这种先验的空间关系用于指导网络训练，以达到提升分割精度的效果。
为了便于理解，下面结合附图对本发明做详细的介绍。
之前有的研究方法是先训练一个网络，分割出最大的区域，然后把该区域裁剪出来作为输入，训练下一个网络用来分割下一个区域，这样的模型级联方式会带来计算开销代价太大，模型冗余的问题。
为了解决上述技术问题，本发明实施例引入了级联注意力机制。如图1所示，为本发明实施例提供的引入级联注意力机制的脑胶质瘤区域自动分割示意图；图1所示，实现该方法的网络结构，通过引入级联注意力机制(Cascaded Attention)，把区域之间层级关系这个先验知识运用来指导整体肿瘤分割。如图1所示，网络前端设计了一个共享的特征提取模块(Feature Extractor)，其后的三个分支结构用来分割不同的区域；相邻编码解码器分支之间设有注意力机制模块，用来捕捉不同区域的空间层级关系，注意力机制模块利用前一分支解码后的特征图中包含的空间信息对后一分支进行指导，使得后一支训练过程更关注于肿瘤区域，而降低背景等对实验带来的干扰。另外，为了弥补肿瘤实体区域(TC)提供的空间信息不够的问题，同时，整个肿瘤区域被联合用来为肿瘤增强区域的分割提供感兴趣区域。整个过程是端到端训练的，且这种隐式地提取空间关系的方式充分利用了特征图中的空间位置信息，使得模型更集中于肿瘤区域，而更少的去关注背景和正常组织。
关于图1中各标记的说明：elem-wise multiply为元素相乘(元素积)，elem-wisesum为元素相加(元素和)feature concat为特征联合(特征拼接)。Xs为Feature Extractor得到的特征图。wt,tc,et分别代表三个分支，对应要分割的三个区域名称，相应的Xwt,Xtc,Xet就表示三个分支的输入，Ywt，Ytc，Yet表示三个分支的输出。右侧的Cascade Attention就是左图中cascade attention的具体设计结构，从不同分支的输出特征Y中提取出肿瘤位置信息，用于指导下一支，使得下一支的学习更侧重于目标区域，而减少无关背景的影响。
图1所示的三个编码解码器分支具有相同的结构，其本身就能够达到比较好的分割效果，配合新加入的级联注意力机制，能够进一步的提升分割效果。
在医学影像分割中，最常见的分割网络结构是形如字母U形状的U-net结构，这种编码-解码形式的结构有利于捕捉图像的低层空间信息以及高层的语义信息，并且高低层信息之间利用跳跃连接(skip connection)的方式进行特征融合。对于三维的脑胶质瘤影像数据，2D的卷积无法充分利用不同层(slice)之间的空间关系，所以本发明实施例设计了一个基于3D卷积的编码-解码方式的主干分割网络(即图1中的不同编码解码器分支)，如图2所示。
图2所示的编码解码器的工作过程如下：其输入是4个不同序列的磁共振影像，经过卷积层和池化层编码，特征图分辨率逐级减小，所包含的语义信息逐级增加，再通过对特征的逐层解码，还原到原图的大小，达到分割肿瘤的目的，为达到高低层特征之间的更好的融合，设计了一个特征过渡模块(将在后文进行介绍)。图2中，立方体框中的数字表示特征图的分辨率大小，方框外的数字表示特征图的通道数。
为了避免网络太深引起的梯度消失问题，图2所示网络中引入了残差模块(Residual block)替代了传统的卷积模块。另外，考虑到低层特征和高层特征之间的特异性，直接对它们进行跳跃连接会存在特征融合的问题，因此，设计了一个新的模块，即特征过渡模块(feature bridge module，FBM)，通过在低层特征与高层特征连接之前，加入一个过渡的卷积模块，用于缓解特征融合问题。FBM模块包含一个3D的残差模块(3D residualblock)，后面接一个2.5D的残差模块(2.5D residual block)。优选的，2.5D模块由一个3*3*1的卷积和一个1*1*3的卷积组成，这样的设计是为了平衡不同扫描层内(intra-slice)以及不同层之间(inter-slice)的参数学习。
相对于现有方案而言，本发明实施例上述方案仅用一个网络进行多区域的分割的同时，通过设计的级联注意力模块把先验的区域层级关系纳入到训练过程中，这使得网络可以自适应地去学习到不同区域之间的空间包含关系，从而网络将更多的关注于感兴趣的区域，减少背景的干扰。另外，在编码解码器的结构中，提出了一种特征过渡模块(FBM)，用来缓解低层和高层特种做特征融合时的差异问题。
为了说明本发明上述方案的分割效果，进行了相关实验。
1、数据集和图像预处理。
脑胶质瘤数据集来源于BRATS 2018 Challenge，分为训练集和测试集，训练集中包含285例用户的MRI数据，其中210例为高级别胶质瘤，75例低级别胶质瘤，测试集中包含66例未标明级别的胶质瘤。
每一例数据中包含四种序列的MRI数据，分别是T1，T2，T2-Flair和T1Gd，所有的图像都被配准到标准脑上，图像大小为240*240*155。
由于不同序列，不同机器采取的MRI数据的信号密度分布会不一样，实验中对于每一例用户的每一个序列的MRI数据进行标准化，均值和方差通过脑部区域内部的图像值计算得到。另外，受限于数据样本的数目，实验采取了随机平移，旋转，缩放和增加随机扰动的方式进行了数据扩充，同时一定程度上防止实验过拟合。
2、损失函数。
医学影像数据大多存在比较严重的样本不均衡问题，所以用通常的交叉熵损失去优化网络参数效果较差。基于此，实验中采用了对分割DICE系数较为友好的Dice Loss以及更侧重于错误分类的点的Focal Loss，公式如下：
上式中，k代表三个待分割区域，i表示磁共振影像中体素的数目，表示第k个区域中第i个体素的预测结果，表示第k个区域中第i个体素的标注结果。表示第j个体素被判断为真实标签t的概率,γ表示Focal loss中的指数加权参数值。
通过实验表明，本发明上述方案分割效果在BRATS 2018上排在前三，且模型大小仅为最好结果四分之一。
本发明提供的上述方案，可以应用在多个具体的工作中，例如，将上述方案应用在计算平台上，处理海量数据，数据结果提供给某些科研机构；或者安装在某些培训机构中，用于新上岗人员的培训、或者工作人员的工作考核等。值得注意的是，本发明并不针对分割结果的后续应用进行限定，以上给出的应用方向均为举例，并非构成限制。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例可以通过软件实现，也可以借助软件加必要的通用硬件平台的方式来实现。基于这样的理解，上述实施例的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (3)

1.一种脑胶质瘤区域自动分割方法，其特征在于，包括：利用级联注意力机制的分割网络对多模态的三维脑部体数据MRI影像进行处理，级联注意力机制的分割网络的前端为一个共享的特征提取器，其后端连接有三个结构相同的编码解码器分支；特征提取器将提取的特征图分别输入至三个编码解码器分支，三个编码解码器分支用于分割不同的区域；相邻编码解码器分支之间设有注意力机制模块，用来捕捉不同区域的空间层级关系，最终通过三个编码解码器分支分割出脑胶质瘤区域中的不同区域。
2.根据权利要求1所述的一种脑胶质瘤区域自动分割方法，其特征在于，三个编码解码器分支分别对应的分割出整个肿瘤区域、肿瘤实体区域、肿瘤增强区域；注意力机制模块利用前一分支解码后的特征图中包含的空间信息对后一分支进行指导；同时，整个肿瘤区域被联合用来为肿瘤增强区域的分割提供感兴趣区域。
3.根据权利于要求1所述的一种脑胶质瘤区域自动分割方法，其特征在于，编码解码器分支中设有特征过渡模块，以缓解低层和高层特种做特征融合时的差异问题；其包含依次连接的3D残差模块与2.5D残差模块。
CN201910567803.8A 2019-06-27 2019-06-27 脑胶质瘤区域自动分割方法 Active CN110189342B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910567803.8A CN110189342B (zh) 2019-06-27 2019-06-27 脑胶质瘤区域自动分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910567803.8A CN110189342B (zh) 2019-06-27 2019-06-27 脑胶质瘤区域自动分割方法

Publications (2)

Publication Number Publication Date
CN110189342A true CN110189342A (zh) 2019-08-30
CN110189342B CN110189342B (zh) 2022-03-01

Family

ID=67723899

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910567803.8A Active CN110189342B (zh) 2019-06-27 2019-06-27 脑胶质瘤区域自动分割方法

Country Status (1)

Country Link
CN (1) CN110189342B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110689526A (zh) * 2019-09-09 2020-01-14 北京航空航天大学 基于视网膜眼底图像的视网膜血管分割方法及***
CN111667458A (zh) * 2020-04-30 2020-09-15 杭州深睿博联科技有限公司 一种对平扫ct中的早急性脑梗死检测方法及装置
CN111870279A (zh) * 2020-07-31 2020-11-03 西安电子科技大学 超声图像左室心肌的分割方法、***及应用
CN112215850A (zh) * 2020-08-21 2021-01-12 天津大学 一种带注意力机制的级联空洞卷积网络脑肿瘤分割方法
CN113139627A (zh) * 2021-06-22 2021-07-20 北京小白世纪网络科技有限公司 纵隔肿物识别方法、***及装置
CN114073536A (zh) * 2020-08-12 2022-02-22 通用电气精准医疗有限责任公司 灌注成像***及方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108664971A (zh) * 2018-05-22 2018-10-16 中国科学技术大学 基于2d卷积神经网络的肺结节检测方法
CN109583425A (zh) * 2018-12-21 2019-04-05 西安电子科技大学 一种基于深度学习的遥感图像船只集成识别方法
CN109740608A (zh) * 2018-12-28 2019-05-10 北京工业大学 一种基于深度学习的图像分割方法
CN109754404A (zh) * 2019-01-02 2019-05-14 清华大学深圳研究生院 一种基于多注意力机制的端到端的肿瘤分割方法
US20190147245A1 (en) * 2017-11-14 2019-05-16 Nuro, Inc. Three-dimensional object detection for autonomous robotic systems using image proposals
CN109903292A (zh) * 2019-01-24 2019-06-18 西安交通大学 一种基于全卷积神经网络的三维图像分割方法及***

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190147245A1 (en) * 2017-11-14 2019-05-16 Nuro, Inc. Three-dimensional object detection for autonomous robotic systems using image proposals
CN108664971A (zh) * 2018-05-22 2018-10-16 中国科学技术大学 基于2d卷积神经网络的肺结节检测方法
CN109583425A (zh) * 2018-12-21 2019-04-05 西安电子科技大学 一种基于深度学习的遥感图像船只集成识别方法
CN109740608A (zh) * 2018-12-28 2019-05-10 北京工业大学 一种基于深度学习的图像分割方法
CN109754404A (zh) * 2019-01-02 2019-05-14 清华大学深圳研究生院 一种基于多注意力机制的端到端的肿瘤分割方法
CN109903292A (zh) * 2019-01-24 2019-06-18 西安交通大学 一种基于全卷积神经网络的三维图像分割方法及***

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110689526A (zh) * 2019-09-09 2020-01-14 北京航空航天大学 基于视网膜眼底图像的视网膜血管分割方法及***
CN110689526B (zh) * 2019-09-09 2022-06-07 北京航空航天大学 基于视网膜眼底图像的视网膜血管分割方法及***
CN111667458A (zh) * 2020-04-30 2020-09-15 杭州深睿博联科技有限公司 一种对平扫ct中的早急性脑梗死检测方法及装置
CN111667458B (zh) * 2020-04-30 2023-09-01 杭州深睿博联科技有限公司 一种对平扫ct中的早急性脑梗死检测方法及装置
CN111870279A (zh) * 2020-07-31 2020-11-03 西安电子科技大学 超声图像左室心肌的分割方法、***及应用
CN114073536A (zh) * 2020-08-12 2022-02-22 通用电气精准医疗有限责任公司 灌注成像***及方法
CN112215850A (zh) * 2020-08-21 2021-01-12 天津大学 一种带注意力机制的级联空洞卷积网络脑肿瘤分割方法
CN113139627A (zh) * 2021-06-22 2021-07-20 北京小白世纪网络科技有限公司 纵隔肿物识别方法、***及装置
CN113139627B (zh) * 2021-06-22 2021-11-05 北京小白世纪网络科技有限公司 纵隔肿物识别方法、***及装置

Also Published As

Publication number Publication date
CN110189342B (zh) 2022-03-01

Similar Documents

Publication Publication Date Title
CN110189342A (zh) 脑胶质瘤区域自动分割方法
Lan et al. Generative adversarial networks and its applications in biomedical informatics
Huang et al. 3d local convolutional neural networks for gait recognition
Fang et al. Multi-organ segmentation over partially labeled datasets with multi-scale feature abstraction
Ma et al. Nasopharyngeal carcinoma segmentation based on enhanced convolutional neural networks using multi-modal metric learning
He et al. H2Former: An efficient hierarchical hybrid transformer for medical image segmentation
Wu et al. The algorithm of watershed color image segmentation based on morphological gradient
CN102737250A (zh) 3d医学图像数据中对脊椎骨损伤自动检测的方法和***
Al‐Huda et al. Object scale selection of hierarchical image segmentation with deep seeds
CN105354528A (zh) 基于深度图像序列的人体动作识别的方法及***
Yang et al. Flexible fusion network for multi-modal brain tumor segmentation
Liang et al. Multi-stream scale-insensitive convolutional and recurrent neural networks for liver tumor detection in dynamic CT images
Zhou et al. [Retracted] Automatic Segmentation of MRI of Brain Tumor Using Deep Convolutional Network
Roy et al. Brain tumour segmentation using S-Net and SA-Net
Cheng et al. Spatial‐channel relation learning for brain tumor segmentation
Wang et al. W-Net: Dual supervised medical image segmentation model with multi-dimensional attention and cascade multi-scale convolution
Liu et al. Automatic segmentation of organs‐at‐risks of nasopharynx cancer and lung cancer by cross‐layer attention fusion network with TELD‐Loss
Yu et al. DeSeg: auto detector-based segmentation for brain metastases
Kayal et al. Region-of-interest guided supervoxel inpainting for self-supervision
Zheng et al. Automated multi-modal transformer network (amtnet) for 3d medical images segmentation
Wang et al. Focus on query: Adversarial mining transformer for few-shot segmentation
Gai et al. GL-Segnet: Global-Local representation learning net for medical image segmentation
Tao et al. DBT-UNETR: double branch transformer with cross fusion for 3D medical image segmentation
Wang et al. Recognition of rock images and quantification of oil content using deep residual neural networks
Azad et al. Unlocking fine-grained details with wavelet-based high-frequency enhancement in transformers

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant