CN114170244B - 一种基于级联神经网络结构的脑胶质瘤分割方法 - Google Patents

一种基于级联神经网络结构的脑胶质瘤分割方法 Download PDF

Info

Publication number
CN114170244B
CN114170244B CN202111404516.9A CN202111404516A CN114170244B CN 114170244 B CN114170244 B CN 114170244B CN 202111404516 A CN202111404516 A CN 202111404516A CN 114170244 B CN114170244 B CN 114170244B
Authority
CN
China
Prior art keywords
segmentation
tumor
network
region
edge
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111404516.9A
Other languages
English (en)
Other versions
CN114170244A (zh
Inventor
白相志
王元元
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beihang University
Original Assignee
Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihang University filed Critical Beihang University
Priority to CN202111404516.9A priority Critical patent/CN114170244B/zh
Publication of CN114170244A publication Critical patent/CN114170244A/zh
Application granted granted Critical
Publication of CN114170244B publication Critical patent/CN114170244B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30016—Brain
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明提出一种基于级联神经网络结构的脑胶质瘤分割方法，该方法包括：步骤一：利用级联神经网络结构的脑胶质瘤分割网络产生高精度的肿瘤区域分割结果；步骤二：针对多尺度残差特征以及全局特征，一方面利用分割及边缘检测网络生成整个肿瘤分割结果及其边缘检测结果；另一方面设计级联网络在初步整个肿瘤分割结果下生成肿瘤核心区域和肿瘤增强区域分割结果；步骤三：构造损失函数对精准脑部神经肿瘤分割网络进行训练；输出：用训练好的级联神经网络结构的脑胶质瘤分割网络对原始多模态图像进行肿瘤区域分割。本发明可以与各类基于医学图像的应用***相结合，帮助提升多种模态影像的分割质量，具有广阔市场前景与应用价值。

Description

一种基于级联神经网络结构的脑胶质瘤分割方法
技术领域
本发明涉及一种基于级联神经网络结构的脑胶质瘤分割方法，属于数字图像处理、模式识别和计算机视觉领域。医学影像分割在各类影像引导介入诊疗，定向放疗的应用***中有广阔的应用前景。
背景技术
胶质瘤是最常见的原发性脑部恶性肿瘤，具有不同程度的侵袭性、预后情况以及异质性区域。脑胶质瘤的分割通常是指将肿瘤区域从多模态核磁共振序列中分割。脑胶质瘤的分割能够有效提取肿瘤的多个异质性区域(包括整个肿瘤区域、肿瘤核心区域和肿瘤增强区域)，从而帮助医生做出准确的判断。由于成像过产生的各种噪声、模糊及低对比度的问题，医学图像分割相比普通彩色图像更具挑战性。此外，脑部组织结构的复杂、脑部肿瘤的空间位置和形态大小多变等因素导致难以实现脑胶质瘤的精准分割。
医学图像分割算法通常分为传统机器学习方法及深度学习方法。医学图像分割传统机器学习方法的典型代表方法之一是基于区域的方法，该类方法引入颜色不连续性将区域和目标对象之间的边界作为边缘进行表示，在应对细分不足、过度分割和错误边缘等问题较为有效。杨等人提出了一种适用于梯度阈值边缘检测器的改进方法。该方法引入人类视觉***的基本特征，根据图像内容准确确定任意形状边缘的局部掩膜区域。在确定边缘标记之前，用局部图像的亮度和活动性来遮盖梯度图像。实验结果表明，该算法得到的边缘图像与感知边缘图像较为一致(参见文献：杨符正等,基于HVS的梯度阈值边缘检测器的改进方法.计算智能与安全.施普林格柏林海德堡，柏林，海德堡,2005,1051-1056.(Yang F,Wan S,Chang Y.Improved method for gradient-threshold edge detector based onHVS.In:Computational Intelligence and Security.Springer Berlin Heidelberg,Berlin,Heidelberg；2005,p.1051-1056.))。苏等人最近的一项工作利用多阶段方法在X射线图像中分割腕骨。利用自适应局部阈值和自适应坎尼(Canny)边缘检测提取前景区域和边缘图。提出通过异或运算对边缘图和前景区域进行整合，通过在腕骨边界附近的边缘图中添加背景边界来解决过分割；通过在腕骨边界附近的边缘图中添加前景边界来处理欠分割，从而封闭由于欠分割而丢失的前景；通过来自局部自适应阈值化的腕骨区域来补充来自边缘图的非闭合边缘和伪边缘(参见文献：苏丽雷等，基于手部x射线图像中描绘腕骨先验模型整合区域及边界的分割,美国电气与电子工程师协会访问学报,2018,19993-20008.(Su L,Fu X,Zhang X,Cheng X,Ma Y,Gan Y,Hu Q.Delineation of carpal bones fromhand x-ray images through prior model,and integration of region-based andboundary-based segmentations.IEEE Access.2018；6:19993-20008.))。近些年也有基于阈值的方法，伊尔汉等采用阈值来诊断MRI灰度图像中的脑肿瘤。此技术涉及使用形态学(一般侵蚀和扩散)来识别边缘，然后再从原始图像中减去生成的图像以获得结果(参见文献：乌米特·伊尔汉等,基于新阈值方法的雨肿瘤分割,计算机科学百科全书学报,2017,580-587.(Ilhan U,Ilhan A.Brain tumor segmentation based on a new thresholdapproach.Proc Comput Sci.2017；120:580-587.))。
近年来，随着深度学习技术飞速发展，一些基于深度学习的方法被应用于医学影像分割领域。此类方法克服了手工制作功能提取的缺点,使得构建能够学习给定任务所需的最佳效果的大型可训练模型成为可能。
为了使卷积网络适应多种测试图像，王等人提出了微调算法(参见文献：王国泰等,基于深度学习和图像特定微调的交互式医学图像分割,美国电气与电子工程师协会医学图像学报,2018,1562-1573.(Wang G,Li W,Zuluaga MA,Pratt R,Patel PA,Aertsen M,Doel T,David AL,Deprest J,Ourselin S,et al.Interactive medical imagesegmentation using deep learning with image-specific fine tuning.IEEE TransMed Imaging.2018；37(7):1562-1573.)。张等人提出了一种新型的三维FC-DenseNet网络，此算法基于密集连接卷积网络，主通道中有20个三维卷积层，每层的输入为前层输出的特征图，从而使得信息和梯度能够在整个网络中传播。此外，通过辅助分类路径将多尺度功能纳入模型使网络能够利用多尺度信息(参见文献：张荣照等,利用三维全卷积密度神经网络从DWI自动分割急性缺血性卒中，美国电气与电子工程师协会医学图像学报,2018,2149-2160(Zhang R,Zhao L,Lou W,Abrigo JM,Mok VC,Chu WC,Wang D,Shi L.Automaticsegmentation of acute ischemic stroke from DWI using 3-d fully convolutionaldensenets.IEEE Trans Med Imaging.2018；37(9):2149-2160.))。潘南德等提出了一种基于三维U-Net的立体脑肿瘤分割框架。所提出的体系结构分为三个部分:多模态融合、肿瘤提取器及肿瘤分割器。此结构将磁共振序列与深度编码融合相融合，使用融合模态用三维初始U-Net模型学习肿瘤模式，最后将多尺度提取的特征解码成多类肿瘤区域(参见文献：潘南德等,基于3D初始U-Net和解码器模型的多模态编码融合脑肿瘤分割,多媒体工具和应用程序学会,2021,30305–30320.(N.S.Punn and S.Agarwal,“Multi-modality encodedfusion with 3d inception u-net and decoder model for brain tumorsegmentation,”Multimedia Tools and Applications,pp.1-16,2020.))。
然而，目前基于卷积神经网络的医学图像分割方法大多基于图像的灰度信息提取感兴趣区域，对边缘信息利用不够到位，缺乏多类分割任务中的类间空间关系考虑，导致3D分割不够精细，精度不高。本发明认为边缘信息和类间空间关系同样具有利用价值，能够有效解决分割任务中边界模糊的问题，并引入类间空间关系，为多类分割任务提供重要信息。基于此，本发明提出了一种新型脑胶质瘤分割方法：基于级联神经网络结构的脑胶质瘤分割方法。在本发明中，发明新型网络结构提取全局深度特征，采用级联结构和整个肿瘤分割及边缘检测结构，使算法能够充分利用类间空间关系和边缘特征得到，有效提升多类肿瘤分割质量。
发明内容
1、目的：针对上述问题，本发明目的在于提供一种基于级联神经网络结构的脑胶质瘤分割方法对脑胶质瘤的影像特征信息进行分析研究。对多模态医学影像充分提取全局多尺度注意力特征，使用两条具有级联关系的解码序列，再利用提取的整个肿瘤边缘特征信息，有效提升脑胶质瘤分割质量和稳定性，最终输出与输入影像对应的高质量整个肿瘤区域(Whole Tumor,WT)、肿瘤核心区域(Tumor Core,TC)、肿瘤增强区域(EnhancingTumor,ET)。
2、技术方案：为了实现此目的，本发明的技术方案整体思路是采用三维特征提取网络生成全局多尺度深度特征，利用WT分割及边缘检测网络生成整个肿瘤边缘及其分割结果，再利用级联分割网络生成TC和ET的精准分割结果，利用边缘损失和内容损失使得脑胶质瘤分割网络的性能不断得到提升。本发明的算法技术思路主要体现在以下四个方面：
1)使用残差模块，提高网络表达能力和收敛速度。
2)全局多尺度特征生成模块，用于产生具有全局注意力信息的多级残差特征；
3)发明WT分割及边缘检测网络，生成整个肿瘤边缘及其分割结果，有效利用边缘损失提高网络分割精度。
4)发明级联神经网络模型，充分利用多类分割的类间关系以及边缘特征，输出TC和ET的组织区域，重建高质量多类分割结果。
本发明涉及一种基于级联神经网络结构的脑胶质瘤分割方法，该方法具体步骤如下：
步骤一：利用基于残差模块的卷积神经网络提取深度全局多尺度特征；首先，将脑部肿瘤四个输入模态进行数据扩充，形成数据块；其次，使用多级三维残差特征提取网络进行多尺度特征提取；再次，通过全局注意力模块从最深层次特征中特征提取全局特征；最后将全局特征以及浅层多级特征分多线路输出至后续多类分割网络及边缘生成网络；
步骤二：利用多尺度残差特征以及全局特征生成最终多类分割结果以及整个肿瘤边缘结果。一方面使用WT分割及边缘检测网络生成整个肿瘤分割结果及其边缘检测结果；另一方面设计级联网络在整个肿瘤分割结果下生成肿瘤核心区域和肿瘤增强区域分割结果；
步骤三：构造损失函数对精准脑部神经肿瘤分割网络进行端到端训练；
输出：用训练好的级联神经网络结构的脑部神经肿瘤分割网络对原始多模态图像进行肿瘤区域分割。在使用训练数据对分割网络进行充分迭代训练之后，得到训练好的肿瘤分割网络用于提取多类肿瘤组织。
其中，所述步骤一具体如下：
1.1：通过三维残差特征网络提取四个模态影像的特征图；所述的四个模态包括T1加权成像(T1-Weighted Imaging,T1)、后对比T1加权成像(T1-Weighted Contrast-Enhanced Image,T1ce)、T2加权成像(T2-Weighted Imaging,T2)以及T2流体衰减反转恢复成像(T2 Fluid Attenuated Inversion Recovery Imaging,T2-FLAIR)；首先，对多模态输入数据进行随机翻转、随机裁块的数据增广操作，其次，使用由残差模块构成的多级三维残差特征提取多模态特征，输出多尺度特征。最后将多级三维尺度特征分别通过多线路进行输出，用于重建多类分割结果和边缘提取结果。通过提取多尺度特征，影像的纹理信息和空间信息得以保留；
1.2：使用全局注意力模块对特征图进行重建；首先，提取出三维残差特征网络生成的最深层次的抽象特征，首先将抽象特征映射到两个空间，并进行融合得到融合特征，其次分别提取像素间以及各层像素间的关系，最后输出全局特征。
其中，所述步骤二具体如下：
2.1：通过WT分割及边缘检测网络提取整个肿瘤的分割结果以及边缘；所述的WT分割及边缘检测网络由共享参数编码器和两路编码模块两部分构成，WT分割及边缘检测网络利用步骤一生成的全局多尺度特征，通过共享编码器统一进行解码，最后分为两路分别得到WT的分割及边缘提取结果；
2.2：通过级联网络提取包含于整个肿瘤的肿瘤核心区域和肿瘤增强区域分割结果；级联网络根据步骤一生成的全局多尺度特征，引入步骤2.1生成的整个肿瘤分割结果，通过融合解码生成肿瘤核心区域和肿瘤增强区域最终精准分割结果。
其中，所述步骤三具体如下：
3.1：精准脑部神经肿瘤分割网络的损失函数由两部分组成：分割结果和参考分割结果之间的Dice损失和Tversky损失构成的区域损失，以及整个肿瘤边缘检测的结果和参考边缘之间的边缘损失；清晰视频生成网络损失函数的表达式为：L＝αLregion+βLedge，其中，Lregion代表区域损失，Ledge代表边缘损失，α和β是它们对应的加权系数；内容损失Lregion的表达式为：其中，p0i代表体素i为肿瘤的概率，p1i代表体素i非肿瘤的概率，g0i＝1时代表病变体素，g0i＝0时代表病变体素，g1i与g0i相反，N代表体素数量，γ＝0.7，ε0代表非零项，设为1×10-7。对抗损失Ledge的表达式是/>其中，yn代表网络输出的整个肿瘤边缘检测结果，/>代表相应的真值；
3.2：采用自适应矩估计(Adaptive Moment Estimation,ADAM)优化器进行优化。本发明采用ADAM优化器进行优化，多类脑部肿瘤分割网络的初始学习率均为1.003×10-4，通过梯度反向传播调整网络参数降低相应的损失函数。
一种基于级联神经网络结构的脑胶质瘤分割***，其基本结构框架和工作流程如图1所示，其特征在于，包括：
三维全局特征提取模块，用于具有全局特征的多尺度特征。所述的三维全局特征提取模块进一步包括：
多尺度残差模块，用于产生多尺度的深度残差特征；
全局特征提取模块，基于多尺度残差模块生成的最深层次特特征进行全局特征提取。
多类分割结果生成模块，用于生成高质量精准的多类肿瘤组织区域。所述的多类分割结果生成模块进一步包括：
WT分割及边缘检测网络，用于产生高质量的脑胶质瘤整个肿瘤的组织分割及其边缘；在网络的末尾设计燕尾结构模块分成两路同时生成分割结果并提取边缘；
级联分割网络，用于产生高质量的脑胶质瘤核心区域和增强区域的组织分割；在进行解码前引入整个肿瘤分割结果，利用全局多尺度特征生成肿瘤核心区域和肿瘤增强区域组织分割结果。
损失函数计算模块，用于精准脑部神经肿瘤分割网络的损失函数；
网络训练模块，用于对精准脑部神经肿瘤分割网络进行充分迭代训练，得到训练好的精准脑部神经肿瘤分割网络以提取分割结果和肿瘤边缘。
此发明流程主要是，通过包括多尺度残差模块和全局特征提取模块的三维全局特征提取模块输出具有全局特征的多尺度特征；将此多尺度特征作为输入，利用WT分割及边缘检测网络输出WT的分割结果及边缘；将多尺度特征和WT的分割结果作为输入，利用级联分割网络输出TC和ET区域组织分割结果，最终进行融合得到多类肿瘤区域分割。并使用多类肿瘤区域分割结果和WT边缘作为约束，对整个网络进行迭代更新，得到更高的精度。
3、优点及功效：本发明提出一种基于级联神经网络结构的脑胶质瘤分割方法，以级联神经网络为基本框架，通过残差编码网络提取全局多尺度深度特征，充分将全局注意力信息引入多尺度特征；通过设计级联网络生成多分类肿瘤组织分割结果，并提取整个肿瘤的边缘轮廓；通过先后生成整个肿瘤、肿瘤核心区域和增强区域的顺序，充分利用多类间的空间位置信息；通过引入边缘损失函数训练网络，网络能够细化肿瘤边缘区域的分割精度，进一步提高多类分割的精度。本发明可以与各类基于医学图像的应用***相结合，帮助提升多种模态影像的分割质量，具有广阔市场前景与应用价值。
附图说明
图1是本发明提出的级联神经网络结构的脑胶质瘤分割网络的基本结构框架和工作流程。
图2是三维全局特征提取模块。
图3是WT肿瘤边缘分割网络。
图4是级联分割网络。
图5a-f展示了本发明在不同病情下的的多类肿瘤分割效果，其中5a、5c、5e为输入的多模态影像对应的真值，5b、5d、5f为本发明输出的多类肿瘤分割结果。
具体实施方式
为了更好地理解本发明的技术方案，以下结合附图对本发明的实施方式作进一步描述。
本发明是一种基于级联神经网络结构的脑胶质瘤分割方法，其算法框架与网络结构如图1所示，各部分具体实施步骤如下：
步骤一：利用三维全局特征提取模块提取全局多尺度特征，三维全局特征提取模块的基本结构如图2所示；
步骤二：利用整个肿瘤边缘分割网络进行分割整个肿瘤的组织区域和边缘，其基本结构如图3所示，基于整个肿瘤组织的分割结果，利用级联分割网络分割脑胶质瘤核心区域和增强区域的组织，如图4所示；
步骤三：构造边缘损失函数对整个网络进行训练；
输出：用训练好的脑胶质瘤分割网络提取多类肿瘤组织。在使用训练数据对脑胶质瘤分割网络进行充分迭代训练之后，得到训练好的脑胶质瘤分割网络用于提取多类肿瘤组织；
其中，所述步骤一具体如下：
1.1：通过三维残差特征网络提取四个模态影像的特征图；所述的四个模态包括T1、T1Gd、T2以及T2-FLAIR；所述的三维残差特征网络由残差模块构成，三维残差特征网络的输入是四个模态影像构成的输入图像块，三维残差特征网络的输出是多尺度特征，特征图用于重建整个肿瘤边缘信息和及其组织分割结果，通过提取多尺度特征，影像的纹理信息和空间信息得以保留。三维多尺度特征，首先经过一个卷积核大小为3×3×3，步长为1的卷积层，接着通过由2次卷积核大小为3×3×3的残差块提取第一级尺度特征；再通过一个卷积核大小为3×3×3，步长为2的卷积层进行下采样，接着通过两个残差快提取第二级尺度特征；同理提取第三级尺度特征；最后通过一个卷积核大小为3×3×3，步长为2的卷积层进行下采样，再通过4个残差块提取第四级尺度特征。
1.2：使用全局注意力模块对特征图进行重建；首先利用三维残差特征网络生成的最高级抽象特征，对其先进行层间特征提取，再进行通道特征提取，通过融合对全局特征重建。首先对最高级抽象特征进行两个空间的映射，得到不同空间下的映射特征，并进行而二者相乘运算；接着依次通过像素级节点提取和层间关系提取得到全局特征。
其中，所述步骤二具体如下：
2.1：通过WT分割及边缘检测网络提取整个肿瘤的分割结果以及边缘；所述的WT分割及边缘检测网络由共享参数编码器和两路编码模块两部分构成，WT分割及边缘检测网络利用步骤一生成的全局多尺度特征，通过共享解码器统一进行解码，最后分为两路分别得到整个肿瘤组织的分割及其边缘提取。其中共享参数解码器由卷积层和上采样构成，第一级卷积层的卷积核大小为3×3×3，步长为1及上采样参数为2的上采样构成；第二级卷积层由残差块、卷积核大小为3×3×3，步长为1的卷积层以及上采样构成；第三级卷积层由残差块、卷积核大小为3×3×3，步长为1的卷积层；整个肿瘤分割支路由残差块、卷积核大小为1×1×1，步长为1的卷积层构成；边缘提取网络由残差块、卷积核大小为1×1×1，步长为1的卷积层构成。
2.2：通过级联网络提取包含于整个肿瘤的肿瘤核心区域和肿瘤增强区域分割结果；级联网络根据步骤一生成的全局多尺度特征，引入步骤2.1生成的整个肿瘤组织的分割结果，通过融合解码生成肿瘤核心区域和肿瘤增强区域最终精准分割结果。首先利用下采样将整个肿瘤组织的分割结果下采样至原始大小的1/8，再将其与编码器生成的最高级全局特征相乘；最后通过卷积、残差块以及上采样生成肿瘤核心区域和肿瘤增强区域分割结果。
其中，所述步骤三具体如下：
3.1：精准脑部神经肿瘤分割网络的损失函数由两部分组成：分割结果和参考分割结果之间的Dice损失和Tversky损失构成的区域损失，以及整个肿瘤边缘检测的结果和参考边缘之间的边缘损失；清晰视频生成网络损失函数的表达式为：L＝αLregion+βLedge，其中Lregion代表区域损失，Ledge代表边缘损失，α和β是它们对应的加权系数，分别为α＝1，β＝0.1；内容损失Lregion的表达式为：
其中p0i代表体素i为肿瘤的概率，p1i代表t体素i非肿瘤的概率，N代表体素数量，γ＝0.7，对抗损失Ledge的表达式是/>其中yn代表网络输出的的整个肿瘤边缘检测结果，/>代表相应的真值；
S3.2：本发明采用ADAM优化器进行优化，精准脑部神经肿瘤分割网络的学习率为1.003×10-4，通过梯度反向传播调整网络参数降低相应的损失函数，使之更好地指导生成网络。
为了从直观上展示本发明的效果，图5a-f展示了本发明在不同患者的脑胶质瘤多类分割结果，其中，5a、5c、5e为输入的原始多模态数据对应的真值数据，5b、5d、5f为输出的脑胶质瘤多类分割。从图中可以看出本发明输出的多类分割在边缘信息的约束下，能够有效分割出胶质瘤的多类组织区域，肿瘤区域的边缘分割效果得到显著提高。本发明以生成级联神经网络为基本架构，利用整个肿瘤的边缘信息，结合全局特征提取模块和残差连接，实现高质量的多类脑胶质瘤组织分割，可应用在各类定向放疗的应用***中。

Claims (4)

1.一种基于级联神经网络结构的脑胶质瘤分割方法，其特征在于：该方法具体包括：
步骤一：利用级联神经网络结构的脑胶质瘤分割网络产生高精度的肿瘤区域分割结果；首先使用三维残差特征提取网络进行多尺度特征提取；然后通过全局注意力模块提取全局特征；
步骤二：针对多尺度残差特征以及全局特征，一方面利用分割及边缘检测网络生成整个肿瘤WT分割结果及其边缘检测结果；另一方面设计级联网络在初步整个肿瘤分割结果下生成肿瘤核心区域TC和肿瘤增强区域ET分割结果；
步骤三：构造损失函数对精准脑部神经肿瘤分割网络进行训练；
输出：用训练好的级联神经网络结构的脑胶质瘤分割网络对原始多模态图像进行肿瘤区域分割；
所述步骤一具体如下：
S1.1：通过三维残差特征网络提取四个模态影像的特征图；所述的四个模态包括T1加权成像、后对比T1加权成像、T2加权成像以及T2流体衰减反转恢复成像；所述的三维残差特征网络由残差模块构成，三维残差特征网络的输入是四个模态影像构成的输入图像块，三维残差特征网络的输出是多尺度特征，特征图用于重建整个肿瘤边缘信息和肿瘤区域分割结果，通过提取多尺度特征，影像的纹理信息和空间信息得以保留；
S1.2：使用全局注意力模块对特征图进行重建；首先利用三维残差特征网络生成的最高级抽象特征，对其先进行层间特征提取，再进行通道特征提取，通过融合对全局特征重建；
所述步骤二具体如下：
S2.1：通过WT分割及边缘检测网络提取整个肿瘤的分割结果以及边缘；WT分割及边缘检测网络由共享参数解码器和两路解码模块两部分构成，WT分割及边缘检测网络利用步骤一生成的全局多尺度特征，通过共享解码器统一进行解码，最后分为两路分别得到整个肿瘤的分割及边缘提取结果；
S2.2：通过级联网络提取包含于整个肿瘤的肿瘤核心区域和肿瘤增强区域分割结果；级联网络根据步骤一生成的全局多尺度特征，引入步骤S2.1生成的整个肿瘤分割结果，通过融合解码生成肿瘤核心区域和肿瘤增强区域的最终精准分割结果；
所述步骤三具体如下：
S3.1：精准脑部神经肿瘤分割网络的损失函数由两部分组成：分割结果和参考分割结果之间的Dice损失和Tversky损失构成的区域损失，以及整个肿瘤边缘检测的结果和参考边缘之间的边缘损失；清晰视频生成网络损失函数的表达式为：L＝αLregion+βLedge，其中Lregion代表区域损失，Ledge代表边缘损失，α和β是它们对应的加权系数；内容损失Lregion的表达式为：其中p0i代表体素i为肿瘤的概率，p1i代表体素i非肿瘤的概率，N代表体素数量，γ＝0.7，对抗损失Ledge的表达式是/>其中yn代表网络输出的整个肿瘤边缘检测结果，/>代表相应的真值；
S3.2：采用自适应矩估计ADAM优化器进行优化。
2.根据权利要求1所述的一种基于级联神经网络结构的脑胶质瘤分割方法，其特征在于：所述步骤S1.2还包括：用于医学影像分割的编码器进行编码时仅采用卷积和下采样模块提取特征，这里采用ResLock提取多尺度特征的同时，为提取到更为有效的全局特征，设计了全局注意力模块，通过注意力特征与原始最高级抽象特征进行融合得到输出特征图。
3.一种用于实现权利要求1所述的基于级联神经网络结构的脑胶质瘤分割方法的***，其特征在于：该***包括：
全局多尺度特征生成模块，用于产生具有全局注意力信息的多级残差特征；
精准肿瘤区域分割网络，用于生成精准整个肿瘤、肿瘤核心区域、肿瘤增强区域病灶分割结果及整个肿瘤的边缘；
损失函数计算模块，用于精准脑部神经肿瘤分割网络的损失函数；
网络训练模块，用于对精准脑胶质瘤分割网络进行充分迭代训练，得到训练好的精准脑胶质瘤分割网络以提取分割结果。
4.根据权利要求3所述的***，其特征在于：所述的精准肿瘤区域分割网络模块进一步包括：
级联网络，利用整个肿瘤包含肿瘤核心区域、肿瘤增强区域的关系设计网络使得网络能更好的适应形态差异较大的肿瘤核心区域、肿瘤增强区域的精准提取；
WT分割及边缘检测网络，整个肿瘤分割支路与边缘检测支路共享前期编码解码参数，后续设置不同的生成模块，使得二者在相互监督相互促进的关系下，生成更为精准的整个肿瘤分割结果；
所述的精准肿瘤区域分割网络模块，通过将WT分割及边缘检测网络、级联网络的输出结果进行融合得到最终分割结果。
CN202111404516.9A 2021-11-24 2021-11-24 一种基于级联神经网络结构的脑胶质瘤分割方法 Active CN114170244B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111404516.9A CN114170244B (zh) 2021-11-24 2021-11-24 一种基于级联神经网络结构的脑胶质瘤分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111404516.9A CN114170244B (zh) 2021-11-24 2021-11-24 一种基于级联神经网络结构的脑胶质瘤分割方法

Publications (2)

Publication Number Publication Date
CN114170244A CN114170244A (zh) 2022-03-11
CN114170244B true CN114170244B (zh) 2024-05-28

Family

ID=80480484

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111404516.9A Active CN114170244B (zh) 2021-11-24 2021-11-24 一种基于级联神经网络结构的脑胶质瘤分割方法

Country Status (1)

Country Link
CN (1) CN114170244B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114882047B (zh) * 2022-04-19 2024-07-12 厦门大学 一种基于半监督与Transformers的医学图像分割方法及***
CN114937171B (zh) * 2022-05-11 2023-06-09 复旦大学 基于深度学习的阿尔茨海默分类***
CN115082500B (zh) * 2022-05-31 2023-07-11 苏州大学 基于多尺度与局部特征引导网络的角膜神经纤维分割方法
CN117611806B (zh) * 2024-01-24 2024-04-12 北京航空航天大学 基于影像和临床特征的***癌手术切缘阳性预测***
CN117953027B (zh) * 2024-03-22 2024-06-25 首都医科大学附属北京天坛医院 一种dwi-flair不匹配评估方法、装置、介质及产品

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110084823A (zh) * 2019-04-18 2019-08-02 天津大学 基于级联各向异性fcnn的三维脑肿瘤图像分割方法
CN110120033A (zh) * 2019-04-12 2019-08-13 天津大学 基于改进的U-Net神经网络三维脑肿瘤图像分割方法
CN110689543A (zh) * 2019-09-19 2020-01-14 天津大学 基于注意机制的改进卷积神经网络脑肿瘤图像分割方法
WO2020108525A1 (zh) * 2018-11-30 2020-06-04 腾讯科技（深圳）有限公司 图像分割方法、装置、诊断***、存储介质及计算机设备
CN112215850A (zh) * 2020-08-21 2021-01-12 天津大学 一种带注意力机制的级联空洞卷积网络脑肿瘤分割方法
CN112837276A (zh) * 2021-01-20 2021-05-25 重庆邮电大学 一种基于级联深度神经网络模型的脑胶质瘤分割方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020108525A1 (zh) * 2018-11-30 2020-06-04 腾讯科技（深圳）有限公司 图像分割方法、装置、诊断***、存储介质及计算机设备
CN110120033A (zh) * 2019-04-12 2019-08-13 天津大学 基于改进的U-Net神经网络三维脑肿瘤图像分割方法
CN110084823A (zh) * 2019-04-18 2019-08-02 天津大学 基于级联各向异性fcnn的三维脑肿瘤图像分割方法
CN110689543A (zh) * 2019-09-19 2020-01-14 天津大学 基于注意机制的改进卷积神经网络脑肿瘤图像分割方法
CN112215850A (zh) * 2020-08-21 2021-01-12 天津大学 一种带注意力机制的级联空洞卷积网络脑肿瘤分割方法
CN112837276A (zh) * 2021-01-20 2021-05-25 重庆邮电大学 一种基于级联深度神经网络模型的脑胶质瘤分割方法

Also Published As

Publication number Publication date
CN114170244A (zh) 2022-03-11

Similar Documents

Publication Publication Date Title
CN114170244B (zh) 一种基于级联神经网络结构的脑胶质瘤分割方法
Vakanski et al. Attention-enriched deep learning model for breast tumor segmentation in ultrasound images
Fu et al. Three dimensional fluorescence microscopy image synthesis and segmentation
Wu et al. Precise yet efficient semantic calibration and refinement in convnets for real-time polyp segmentation from colonoscopy videos
CN115661144B (zh) 基于可变形U-Net的自适应医学图像分割方法
Zhang et al. MS-GAN: GAN-based semantic segmentation of multiple sclerosis lesions in brain magnetic resonance imaging
Ji et al. A new multistage medical segmentation method based on superpixel and fuzzy clustering
CN110853051A (zh) 基于多注意密集连接生成对抗网络的脑血管影像分割方法
CN115496771A (zh) 一种基于脑部三维mri图像设计的脑肿瘤分割方法
CN112446892A (zh) 一种基于注意力学习的细胞核分割方法
Yuan et al. Neighborloss: a loss function considering spatial correlation for semantic segmentation of remote sensing image
CN109886973B (zh) 一种血管提取方法、装置及计算机可读存储介质
Xu et al. THCANet: Two-layer hop cascaded asymptotic network for robot-driving road-scene semantic segmentation in RGB-D images
Shan et al. SCA-Net: A spatial and channel attention network for medical image segmentation
Ning et al. CF2-Net: Coarse-to-fine fusion convolutional network for breast ultrasound image segmentation
Chen et al. Mu-Net: Multi-Path Upsampling Convolution Network for Medical Image Segmentation.
Zamzmi et al. Trilateral attention network for real-time cardiac region segmentation
Niu et al. A boundary-aware network for shadow removal
Chen et al. Enhancing nucleus segmentation with haru-net: a hybrid attention based residual u-blocks network
Zhao et al. 3D Brain Tumor Image Segmentation Integrating Cascaded Anisotropic Fully Convolutional Neural Network and Hybrid Level SetMethod.
You et al. A cGAN-based tumor segmentation method for breast ultrasound images
Lapeer et al. Active watersheds: Combining 3D watershed segmentation and active contours to extract abdominal organs from MR images
Deng et al. BE‐FNet: 3D Bounding Box Estimation Feature Pyramid Network for Accurate and Efficient Maxillary Sinus Segmentation
Kuang et al. Bea-net: body and edge aware network with multi-scale short-term concatenation for medical image segmentation
ran Wang et al. Improved U2Net-based liver segmentation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant