CN112862805A - 听神经瘤图像自动化分割方法及*** - Google Patents
听神经瘤图像自动化分割方法及*** Download PDFInfo
- Publication number
- CN112862805A CN112862805A CN202110238730.5A CN202110238730A CN112862805A CN 112862805 A CN112862805 A CN 112862805A CN 202110238730 A CN202110238730 A CN 202110238730A CN 112862805 A CN112862805 A CN 112862805A
- Authority
- CN
- China
- Prior art keywords
- image
- segmentation
- network
- neuroma
- magnetic resonance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Medical Informatics (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
Abstract
本发明提供了听神经瘤图像自动化分割方法和***,利用预先训练的听神经瘤图像自动化分割模型对获取的听神经瘤患者的核磁共振图像进行自动化分割获得分割结果,所述听神经瘤图像自动化分割模型采用预处理网络和分割网络的级联结构。本发明实施例通过构建以提升模型分割性能为目标的预处理网络提升了模型的分割性能,突破了单一Unet分割模型的局限性,获得了当前最优的听神经瘤图像自动化分割模型,能以较快的速度实现听神经瘤图像的自动化分割,大幅提升了听神经瘤图像分割效率。
Description
技术领域
本发明属于图像自动化分割技术领域,特别是基于深度神经网络的听神经瘤图像分割方法。
背景技术
听神经瘤是一种并不罕见的颅内肿瘤,患者多为30岁以上的中年人,在肿瘤体积较小时常伴随着耳鸣、恶心等容易被忽视的症状,当发展到疾病中后期时由于肿瘤增大,压迫到了面部神经和小脑,就会出现较为严重的面瘫和四肢不协调,医生对这种良性肿瘤的治疗意见都是尽早切除。
核磁共振成像(Magnetic Resonance Imaging,MRI)在脑部诊疗中使用较为频繁,MR成像具有如下优势:1.MRI可以呈现多样的图像对比度;2.MRI可以实现较为完整的软组织成像;3.MRI分辨率较高。医生能够凭借MRI观察病患大脑、腹部等身体部位的详尽细节,这对疾病的诊疗十分有利。MRI影像一般使用T1、T1ce、T2、FLAIR四个序列,不同的序列可以显示不同的组织特征。在听神经瘤的治疗中,医生常使用T2序列加权的MRI影像作为诊断依据,在这个序列上的肿瘤区域相比周围组织值更大一些,视觉效果上更亮一些。
通过医疗影像,医生可以根据自己的知识和经验对肿瘤区域进行人工标注,但在医疗资源分配不均、医疗影像数据连年增长的情况下,人工标注逐渐暴露出了标定周期长、标定精度参差不齐的问题,这也使得自动化标注成为了人们关注的重点。由于医学图像样式单一,界限模糊,传统的语义分割方法在医学图像分割上效果不佳且需要人为辅助,无法实现全自动化的标注。为减轻医生负担、提高分割准确率,近年来以深度学习为基础的计算机辅助诊疗技术逐渐得到了广泛应用,然而单一的分割网络性能提升有限,因此需要提出新的听神经瘤图像自动化分割方法提升分割性能。
发明内容
本发明针对目前单一的听神经瘤图像分割网络性能提升有限的技术问题,提供一种听神经瘤图像自动化分割方法及***。
本发明为实现上述技术目的,采用了以下的技术方案。
一方面提供一种听神经瘤图像自动化分割方法,包括以下步骤:
获取听神经瘤患者的核磁共振图像;
利用预先训练的听神经瘤图像自动化分割模型对获取的听神经瘤患者的核磁共振图像进行自动化分割获得分割结果,所述听神经瘤图像自动化分割模型采用预处理网络和分割网络的级联结构。
进一步地,所述预处理网络采用pix2pixGAN网络,所述分割网络采用Unet分割网络,其中:
pix2pixGAN网络与Unet分割网络均为对称网络结构,均包括下采样部分和上采样部分,所述pix2pixGAN的生成器结构共26层,其下采样部分包含2个dropout层;
Unet分割网络共23层,其下采样部分包含10个卷积层,2个最大池化操作,上采样部分包括8个卷积层和4个反卷积层。
再进一步地,所述Unet分割网络的训练方法如下:获取听神经瘤患者脑部核磁共振影像样本的训练集;将训练集作为输入数据,该影像样本对应的标注分割结果作为目标数据,对所述Unet分割网络进行训练,多次迭代后选取损失值最小的Unet分割网络作为最终的Unet分割网络。
再进一步地,所述pix2pixGAN网络的训练方法如下:获取听神经瘤患者脑部核磁共振影像样本的训练集和验证集;基于训练集和Unet分割网络获取训练集中听神经瘤核磁共振影像对应的修正图像;将训练集中的听神经瘤核磁共振影像和对应的修正图像分别作为pix2pixGAN网络的输入数据和目标数据输入pix2pixGAN网络,多次迭代训练,得到生成器网络;使用测试集在所述听神经瘤图像自动化分割模型上进行测试,选取测试性能最优的生成器网络作为听神经瘤图像自动化分割模型的预处理网络。
再进一步地,获取听神经瘤核磁共振影像对应的修正图像的方法包括:
计算训练集中听神经瘤患者脑部核磁共振影像在Unet分割网络中的Dice评估系数;
计算Dice评估系数关于该核磁共振影像的偏微分,将该偏微分值作为当前核磁共振影像的修正值进行叠加;多次迭代得到听神经瘤脑部核磁共振影像最终的修正图像。
另一方面,本发明提供了听神经瘤图像自动化分割***,包括:数据获取模块和听神经瘤图像自动化分割模块,所述数据获取模块,用于获取听神经瘤患者的核磁共振图像;所述听神经瘤图像自动化分割模块用于利用预先训练的听神经瘤图像自动化分割模型对获取的听神经瘤患者的核磁共振图像进行自动化分割获得分割结果,所述听神经瘤图像自动化分割模型采用预处理网络和分割网络的级联结构
本发明还提供了一种计算机可读存储介质,包括:至少一个处理器以及与所述至少一个处理器通信连接的存储器,其中所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使得所述至少一个处理器能够执行如以上技术方案任意一种可能的实时方式所提供的听神经瘤图像自动化分割方法。
本发明所取得的有益技术效果:
本发明实施例通过构建以提升模型分割性能为目标的预处理网络提升了模型的分割性能,突破了单一Unet分割模型的局限性,获得了当前最优的听神经瘤图像自动化分割模型,提升了经瘤图像分割方法的性能。
同时使用后处理模块融合分割掩码与核磁共振图像,使分割结果更加直观,医生可以凭借该结果对肿瘤位置及特征进行较为精确的诊断,有效解决了人工标注标定周期长、标定精度参差不齐的问题。本发明实施例在计算机终端上能以较快的速度实现听神经瘤图像的自动化分割,大幅提升了听神经瘤图像的分割效率,有效简化了诊疗流程。
附图说明
图1为本发明实施例的基于梯度下降原理的预处理网络和Unet分割网络级联的听神经瘤图像自动化分割方法流程图;
图2为本发明实施例的具体分割方案流程图;
图3为听神经瘤患者的二维脑部核磁共振影像;
图4为图3对应的真实标注图;
图5为本发明实施例Unet分割网络结构图;
图6为本发明实施例Unet分割网络训练流程图;
图7为本发明实施例预处理网络结构图;
图8为本发明示例预处理网络训练流程图;
图9为本发明实施例自动化分割模型结构图;
图10为本发明实施例得到的分割效果示例图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白,以下结合具体实施例和说明书附图对本发明进一步详细说明。
如图1,本发明实施例提供了一种听神经瘤图像自动化分割方法,包括以下步骤:获取听神经瘤患者的脑部核磁共振成像;
使用基于深度学习方法的听神经瘤图像自动化分割模型对获取的核磁共振图像进行自动化分割,所述听神经瘤图像自动化分割模型采用基于梯度下降原理的预处理网络和Unet分割网络的级联结构。
具体地,肿瘤的自动化标注可以被认为是一种图像分割问题,确切地讲,图像分割是对像素进行类别判断的过程,在肿瘤分割中,每个像素只有肿瘤和非肿瘤两种标签,因此肿瘤分割可以看作是对像素进行二分类。由于医学图像样式单一,界限模糊,传统的语义分割方法在医学图像分割上效果不佳且需要人为辅助,无法实现全自动化的标注。为减轻医生负担、提高分割准确率,近年来以深度学习为基础的计算机辅助诊疗技术逐渐得到了广泛应用。目前的医学图像分割算法能够大抵分为典型的影像分割算法和基于神经网络的算法,由于医疗影像架构单一、边缘模糊,传统的语义分割方法在医疗影像分割上效果不佳且需要人为辅助,无法实现全自动标注。近年来,数据驱动的深度学习方法在众多领域得到了广泛应用。在图像处理方面,卷积神经网络(Convolutional Neural Networks,CNNs)可以获取图像的高级特征,已经被应用于以理解自然医学图像为目标的语义分割任务中。目前基于深度学习的语义分割效果提升主要归功于网络结构的改进,通常包括网络深度、宽度、连接方式的改变或新网络层的提出。Unet对称网络包括进行特征提取的下采样操作和将低级特征映射到完整输入图像的上采样操作,与其它编解码网络相比, Unet中加入了跳跃连接(Skip Connection)操作,实现了低分辨率信息与高分辨率信息的结合,在提高模型的分割性能的同时有效消除了编解码结构的梯度消失情况,在生物医学图像分割中取得了较好的效果。
然而修改Unet网络对模型分割效果的提升是有限的,本发明实施例通过级联一种以提高模型分割性能为目标的预处理网络获得了当前最优的听神经瘤图像自动化分割模型,具体如图2所示。医生可以凭借该结果对肿瘤位置及特征进行较为精确的诊断,大幅提升了听神经瘤疾病的诊疗效率,简化了诊疗流程。
进一步地,作为最优实施方式,获取听神经瘤患者的脑部核磁共振成像这一步骤包括:
获取听神经瘤患者在T2序列下的脑部核磁共振成像及其标注数据;
使用库函数对获取到的核磁共振图像及其标注数据进行格式转换,得到二维可读取听神经瘤数据集;
使用数据增强方法进行数据扩增,所用数据增强方法包括旋转、平移、翻转。
具体地,本实施例可获取听神经瘤患者在T1、T1ce、T2、FLAIR四个序列下的脑部核磁共振影像,由于医生在听神经瘤的治疗中常使用T2序列加权的MRI影像作为诊断依据,该序列下的肿瘤区域相比周围组织视觉效果更亮一些,因此使用T2序列下的核磁共振影像作为数据集。
本实施例中进行数据增强的具体方法是使用keras提供的库函数进行图像的旋转、平移和翻转,并以生成器方式供训练函数使用。
本实施例中听神经瘤图像自动化分割模型中基于梯度下降原理的预处理网络采用pix2pixGAN的生成器结构,分割网络采用Unet架构,网络具体架构如下:
pix2pixGAN结构的生成器与Unet架构类似,均为对称网络结构,共26层,由下采样部分和上采样部分组成,下采样过程中包含2个dropout层。
具体地,使用具有Unet结构生成器的pix2pixGAN训练预处理网络,在理想情况下,GAN结构可以使生成器在多次迭代后得到较好的结果,但由于GAN训练过程的特殊性,基于Unet结构的分割网络会使GAN的训练过程不稳定,甚至出现梯度消失问题,为了解决此问题,需要对Unet结构进行修改再将其作为生成器。为了更好地训练GAN,使用如下修改策略:尽量使用LeakyReLU作为激活函数而不是ReLU;用大于1的strides代替最大池化(maxpooling)操作;最后一层的激活函数使用输出值范围在[-1,1]之间的tanh而不是sigmoid;通过增加dropout等方式在模型中引入噪声,增强模型鲁棒性。pix2pixGAN的作者对Unet结构进行了改进,仿照该生成器结构,得到如说明书附图7所示的针对听神经瘤图像分割的生成器结构。在附图7中,各矩形表示多通道特征图,通道数在方框上侧标明,特征图尺寸在方框左侧标明。不同样式的箭头表示不同的计算操作,向右的箭头表示尺寸为4×4的卷积操作,设置strides为2,使用LeakyReLU函数;向左下方的箭头表示进行激活函数为ReLU的反卷积操作,卷积核大小为4×4,这两个操作会分别将数据的长宽修改为原来的二分之一和两倍;向下的箭头表示复制和连接(concatenate)操作,该操作将下采样过程中的浅层数据和上采样后的深层数据在最后一维进行连接;向左的箭头表示一个上采样操作和一个大小为1的卷积操作,经过激活函数tanh,得到与输入图像尺寸相同,各像素值在-1到1范围内的图像,将该图进行标准化后即可得到预测的分割结果。
Unet分割网络共23层,下采样过程包含10个卷积层,2个最大池化操作,上采样过程包括8个卷积层和4个反卷积层。
具体地,为了增强模型鲁棒性增加dropout操作,得到如说明书附图5所示的具体结构。各矩形表示多通道特征图,通道数在方框右侧标明,特征图尺寸在方框上侧标明,未标明则说明尺寸与其上方方框相同。不同样式的箭头表示不同的计算操作,其中向下的实心实线箭头表示卷积核尺寸为3×3的卷积运算,激活函数为ReLU(Rectified LinearUnit);向左的箭头表示尺寸为2×2的最大池化,向右的箭头表示进行激活函数为ReLU的反卷积运算,卷积核尺寸为2×2,这两个操作会分别将数据的长宽修改为原来的二分之一和两倍;向下的空心虚线箭头表示复制和连接(concatenate)操作,该操作将下采样过程中的浅层数据和上采样后的深层数据在最后一维进行连接;向下的空心实线箭头表示一个大小为1的卷积操作,激活函数Sigmoid将值映射到[0,1]区间,得到与输入图像分辨率相同,各像素值在0到1区间内的灰度图,该图即为Unet预测的分割结果。
进一步地,所述使用基于梯度下降原理的预处理网络和Unet分割网络的级联进行听神经瘤图像的自动化分割这一步骤,具体包括:
使用划分出的给定样本训练得到听神经瘤自动分割模型。
将可读取的听神经瘤患者核磁共振影像输入自动分割模型中,得到听神经瘤的病灶图像分割结果。
进一步地,上述训练得到听神经瘤图像自动化分割模型的具体步骤包括:
将给定样本划分为训练集和测试集。
具体地,原始数据集中包含200余位病患的脑部核磁共振影像数据及其肿瘤标注结果,每位病患的数据由多张二维切片构成。在核磁共振影像数据的多种序列中,T2序列下的肿瘤区域与周遭组织的对比度更高,因此选用T2序列下的900张二维MRI图像及其标注数据作为数据集。为了便于图像的读取与处理,使用pydicom和simpleITK软件库对dicom格式的MRI图形进行处理,并将其转换为jpeg格式,得到尺寸为640*640的脑部MRI图像,如说明书附图3所示。同时将对应的标注数据用掩码图像表示,如说明书附图4所示,掩码图像的尺寸与脑部MRI图像一致。
将训练集输入Unet网络进行训练,得到针对听神经瘤图像的Unet自分割模块。
将训练集和对应修正图输入pix2pixGAN网络进行训练,得到针对听神经瘤图像进行图像修正的预处理模块。
进一步地,所述训练Unet网络的具体步骤包括:
将训练集中的听神经瘤患者脑部核磁共振影像作为输入数据,该影像对应的标注分割结果为目标数据。
使用上述样本进行训练,多次迭代后选取损失值最小的模型作为Unet分割模块。
具体地,基于Unet的听神经瘤分割模型训练过程如说明书附图6所示,首先将原始数据集划分为训练数据和测试数据,将训练集进行数据增强并使用新生成的数据进行分割网络的训练,在每个迭代完成后比较该次迭代训练集的损失值与当前最优模型损失值的大小,如果比最优损失值小则更新最优损失值并保存该次迭代的结果为最优模型,若比最优损失值大则直接进行下一次迭代。
进一步地,所述将训练集和对应修正图输入pix2pixGAN网络进行训练,得到预处理模块的具体步骤包括:
获取训练集中听神经瘤核磁共振影像对应的修正图像;
将训练集中的听神经瘤核磁共振影像和对应的修正图像输入pix2pixGAN网络进行训练,得到训练好的生成器和判别器;
提取生成器结构作为听神经瘤图像分割模型的预处理模块。
进一步地,所述获取训练集听神经瘤核磁共振影像的修正图像这一步骤,具体包括:
计算训练集中听神经瘤患者脑部核磁共振影像在Unet分割模型中的Dice评估系数;
计算Dice系数关于该核磁共振影像的偏微分,将该偏微分值作为当前核磁共振影像的修正值进'行叠加;
多次迭代得到听神经瘤脑部核磁共振影像最终的修正结果。
具体地,将输入图像I的每个像素标注为0和1两个类别,其中0表示该像素属于非肿瘤区域,1表示该像素属于肿瘤区域,由于Unet分割网络最后一层的激活函数是输出范围在[0,1]的sigmoid函数,因此模型的预测输出结果是各像素值在[0,1]范围内的灰度图像,经过归一化后可以得到肿瘤区域是白色,非肿瘤区域为黑色的预测结果。令T表示待分割图像I对应的真实标注数据,分割模型的目标是令P=T,该目标可用dice系数进行衡量,dice系数越大表明P与T越接近,因此本发明实施例预处理算法的目标是找到一个ΔI,使得dice系数越大越好。令iterations为迭代次数,对训练数据中的待分割图像进行iterations次上述计算后可得到更新后的图像I’,在迭代次数达到一定数值后,将得到分割效果优于原图的新图像I’。虽然训练数据可以使用标注图像T对输入数据进行修正,但对测试数据来说标注图像是未知的,无法使用对应的标注数据T对图像进行更新,因此需要一个函数能实现从原始图像I到新图像I’的映射。由于pix2pixGAN结构在图片间的风格转换表现优异,因此使用pix2pixGAN训练I到I’间的映射,该网络的训练数据包括domainA和domainB,其中domainA是分割网络训练集中的待分割图像,domainB是对domainA中数据经过上述预处理算法更新后的图像集合,domainA和domainB中的图像一一对应,训练后的生成器网络可实现从原始图像I到新图像I’的映射。
进一步地,所述训练pix2pixGAN网络的具体步骤包括:
将训练集中的听神经瘤核磁共振影像及其修正结果分别作为pix2pixGAN网络的输入数据和目标数据,多次迭代训练,得到生成器和判别器;
使用测试数据集在基于梯度下降原理的生成器网络和Unet分割网络级联的听神经瘤图像自动化分割模型上进行测试,选取测试性能最优的生成器网络作为听神经瘤图像自动化分割模型的预处理模块;
如图9,将训练得到的预处理模块与Unet分割网络级联得到听神经瘤图像自动化分割模型。
具体地,基于pix2pixGAN的预处理网络训练过程如图8所示,首先构建预处理网络的训练数据,将分割网络训练集中的待分割图像作为domainA,将domainA中数据进行更新后得到的集合作为domainB。然后使用domainA和domainB进行生成对抗网络的训练,在每个迭代完成后比较该次迭代在训练集上的MAE与当前最优模型MAE值的大小,如果比最优MAE值小则更新最优MAE值并保存该次迭代的结果为最优模型,若比最优MAE值大则直接进行下一次迭代。多次迭代后得到更新后的测试数据,使用Unet网络对新图像进行分割得到最终的分割结果。
采用本具体实施例方法对270个听神经瘤患者在T2序列下的核磁共振图像进行分割,经过评估得到该方法的Dice系数为0.8750,Jaccard系数为0.7988,敏感性为0.9006,特异性为0.9992,可见模型的分割性能较高,模型可靠性较强。
本发明实施例通过构建以提升模型分割性能为目标的预处理网络提升了模型的分割性能,突破了单一Unet分割模型的局限性,获得了当前最优的听神经瘤图像自动化分割模型。同时使用后处理模块融合分割掩码与核磁共振图像,使分割结果更加直观,医生可以凭借该结果对肿瘤位置及特征进行较为精确的诊断,有效解决了人工标注标定周期长、标定精度参差不齐的问题。本发明实施例在计算机终端上能以较快的速度实现听神经瘤图像的自动化分割,大幅提升了听神经瘤疾病的诊疗效率,有效简化了诊疗流程。
与以上提供的听神经瘤图像自动化分割方法相对应的,本发明还提供了听神经瘤图像自动化分割***,包括:数据获取模块和听神经瘤图像自动化分割模块,所述数据获取模块,用于获取听神经瘤患者的核磁共振图像;所述听神经瘤图像自动化分割模块用于利用预先训练的听神经瘤图像自动化分割模型对获取的听神经瘤患者的核磁共振图像进行自动化分割获得分割结果,所述听神经瘤图像自动化分割模型采用预处理网络和分割网络的级联结构。
进一步地,所述预处理网络用于对脑部核磁共振影像进行修正,所述分割网络用于对修正后的脑部核磁共振图像进行病灶区域划分,得到肿瘤区域的掩码图像。
再进一步地,所述自动化分割***还包括数据后处理模块,所述数据后处理模块用于融合掩码图像与对应的脑部核磁共振影像,使模型的预测分割结果更为直观。
需要说明的是,由于所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,本发明中描述的***,装置/单元的具体工作过程,可以参考前述方法中的对应过程,因此再原申请文件中不再赘述。
本领域内的技术人员应明白,本申请的实施例可提供为方法、***、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。[0152]这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本申请的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例作出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。
显然,本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样,倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内,则本申请也意图包含这些改动和变型在内。
Claims (10)
1.听神经瘤图像自动化分割方法,其特征在于,包括以下步骤:
获取听神经瘤患者的核磁共振图像;
利用预先训练的听神经瘤图像自动化分割模型对获取的听神经瘤患者的核磁共振图像进行自动化分割获得分割结果,所述听神经瘤图像自动化分割模型采用预处理网络和分割网络的级联结构。
2.根据权利要求1所述的听神经瘤图像自动化分割方法,其特征在于,所述预处理网络采用pix2pixGAN网络,所述分割网络采用Unet分割网络,其中:
pix2pixGAN网络与Unet分割网络均为对称网络结构,均包括下采样部分和上采样部分,所述pix2pixGAN的生成器结构共26层,其下采样部分包含2个dropout层;
Unet分割网络共23层,其下采样部分包含10个卷积层,2个最大池化操作,上采样部分包括8个卷积层和4个反卷积层。
3.根据权利要求2所述的听神经瘤图像自动化分割方法,其特征在于,所述Unet分割网络的训练方法包括:获取听神经瘤患者脑部核磁共振影像样本的训练集;将训练集作为输入数据,该影像样本对应的标注分割结果作为目标数据,对所述Unet分割网络进行训练,多次迭代后选取损失值最小的Unet分割网络作为最终的Unet分割网络。
4.根据权利要求2所述的听神经瘤图像自动化分割方法,其特征在于,所述pix2pixGAN网络的训练方法包括:获取听神经瘤患者脑部核磁共振影像样本的训练集和验证集;基于训练集和Unet分割网络获取训练集中听神经瘤核磁共振影像对应的修正图像;将训练集中的听神经瘤核磁共振影像和对应的修正图像分别作为pix2pixGAN网络的输入数据和目标数据输入pix2pixGAN网络,多次迭代训练,得到生成器网络;使用测试集在所述听神经瘤图像自动化分割模型上进行测试,选取测试性能最优的生成器网络作为听神经瘤图像自动化分割模型的预处理网络。
5.根据权利要求4所述的听神经瘤图像自动化分割方法,其特征在于,获取听神经瘤核磁共振影像对应的修正图像的方法包括:
计算训练集中听神经瘤患者脑部核磁共振影像在Unet分割网络中的Dice评估系数;
计算Dice评估系数关于该核磁共振影像的偏微分,将该偏微分值作为当前核磁共振影像的修正值进行叠加;多次迭代得到听神经瘤脑部核磁共振影像最终的修正图像。
6.根据权利要求1所述的听神经瘤图像自动化分割方法,其特征在于,获取听神经瘤患者的脑部核磁共振成像包括:获取听神经瘤患者在T2序列下的脑部核磁共振成像及其标注数据;使用库函数对获取到的核磁共振图像及其标注数据进行格式转换,得到二维可读取听神经瘤数据集;使用数据增强方法进行数据扩增。
7.听神经瘤图像自动化分割***,其特征在于,包括:数据获取模块和听神经瘤图像自动化分割模块,所述数据获取模块,用于获取听神经瘤患者的核磁共振图像;
所述听神经瘤图像自动化分割模块,用于利用预先训练的听神经瘤图像自动化分割模型对获取的听神经瘤患者的核磁共振图像进行自动化分割获得分割结果,所述听神经瘤图像自动化分割模型采用预处理网络和分割网络的级联结构。
8.根据权利要求7所述的听神经瘤图像自动化分割***,其特征在于,所述预处理网络用于对脑部核磁共振影像进行修正,所述分割网络用于对修正后的脑部核磁共振图像进行病灶区域划分,得到肿瘤区域的掩码图像。
9.根据权利要求8所述的听神经瘤图像自动化分割***,其特征在于,所述自动化分割***还包括数据后处理模块,所述数据后处理模块用于融合掩码图像与对应的脑部核磁共振影像,使听神经瘤图像自动化分割模块的预测分割结果更为直观。
10.一种计算机可读存储介质,其特征在于,包括:至少一个处理器以及与所述至少一个处理器通信连接的存储器,其中所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使得所述至少一个处理器能够执行如权利要求1~6任意一项权利要求所述的听神经瘤图像自动化分割方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110238730.5A CN112862805B (zh) | 2021-03-04 | 2021-03-04 | 听神经瘤图像自动化分割方法及*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110238730.5A CN112862805B (zh) | 2021-03-04 | 2021-03-04 | 听神经瘤图像自动化分割方法及*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112862805A true CN112862805A (zh) | 2021-05-28 |
CN112862805B CN112862805B (zh) | 2022-12-06 |
Family
ID=75991519
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110238730.5A Active CN112862805B (zh) | 2021-03-04 | 2021-03-04 | 听神经瘤图像自动化分割方法及*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112862805B (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113409324A (zh) * | 2021-07-14 | 2021-09-17 | 清华大学深圳国际研究生院 | 一种融合微分几何信息的脑分割方法 |
CN113781403A (zh) * | 2021-08-19 | 2021-12-10 | 东北大学 | 一种胸部ct影像处理方法与装置 |
CN114463320A (zh) * | 2022-02-17 | 2022-05-10 | 厦门大学 | 一种磁共振成像脑胶质瘤idh基因预测方法及*** |
WO2023045231A1 (zh) * | 2021-09-22 | 2023-03-30 | 浙江大学 | 一种解耦分治的面神经分割方法和装置 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109671018A (zh) * | 2018-12-12 | 2019-04-23 | 华东交通大学 | 一种基于生成式对抗网络和ResNets技术的图像转换方法及*** |
CN110009028A (zh) * | 2019-03-28 | 2019-07-12 | 北京科技大学 | 一种显微图像数据增强方法及装置 |
CN110047068A (zh) * | 2019-04-19 | 2019-07-23 | 山东大学 | 基于金字塔场景分析网络的mri脑肿瘤分割方法及*** |
CN111354002A (zh) * | 2020-02-07 | 2020-06-30 | 天津大学 | 一种基于深度神经网络的肾脏及肾脏肿瘤分割方法 |
-
2021
- 2021-03-04 CN CN202110238730.5A patent/CN112862805B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109671018A (zh) * | 2018-12-12 | 2019-04-23 | 华东交通大学 | 一种基于生成式对抗网络和ResNets技术的图像转换方法及*** |
CN110009028A (zh) * | 2019-03-28 | 2019-07-12 | 北京科技大学 | 一种显微图像数据增强方法及装置 |
CN110047068A (zh) * | 2019-04-19 | 2019-07-23 | 山东大学 | 基于金字塔场景分析网络的mri脑肿瘤分割方法及*** |
CN111354002A (zh) * | 2020-02-07 | 2020-06-30 | 天津大学 | 一种基于深度神经网络的肾脏及肾脏肿瘤分割方法 |
Non-Patent Citations (1)
Title |
---|
STEINAR VALLE LARSEN: ""Exploring Generative Adversarial Networks to Improve Prostate Segmentation on MRI"", 《UNIVERSITY OF STAVANGER FACULTY OF SCIENCE AND TECHNOLOGY MASTER’S THESIS》 * |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113409324A (zh) * | 2021-07-14 | 2021-09-17 | 清华大学深圳国际研究生院 | 一种融合微分几何信息的脑分割方法 |
CN113781403A (zh) * | 2021-08-19 | 2021-12-10 | 东北大学 | 一种胸部ct影像处理方法与装置 |
CN113781403B (zh) * | 2021-08-19 | 2023-10-13 | 东北大学 | 一种胸部ct影像处理方法与装置 |
WO2023045231A1 (zh) * | 2021-09-22 | 2023-03-30 | 浙江大学 | 一种解耦分治的面神经分割方法和装置 |
CN114463320A (zh) * | 2022-02-17 | 2022-05-10 | 厦门大学 | 一种磁共振成像脑胶质瘤idh基因预测方法及*** |
CN114463320B (zh) * | 2022-02-17 | 2024-01-26 | 厦门大学 | 一种磁共振成像脑胶质瘤idh基因预测方法及*** |
Also Published As
Publication number | Publication date |
---|---|
CN112862805B (zh) | 2022-12-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112862805B (zh) | 听神经瘤图像自动化分割方法及*** | |
CN111784671B (zh) | 基于多尺度深度学习的病理图像病灶区域检测方法 | |
CN109191476B (zh) | 基于U-net网络结构的生物医学图像自动分割新方法 | |
CN112102266B (zh) | 基于注意力机制的脑梗死医学影像分类模型的训练方法 | |
CN114581662B (zh) | 一种脑肿瘤图像的分割方法、***、装置及存储介质 | |
CN113506310B (zh) | 医学图像的处理方法、装置、电子设备和存储介质 | |
CN108961274B (zh) | 一种mri图像中自动头颈肿瘤分割方法 | |
CN112785593B (zh) | 一种基于深度学习的脑部图像分割方法 | |
CN113205524B (zh) | 基于U-Net的血管图像分割方法、装置和设备 | |
CN111091575B (zh) | 一种基于强化学习方法的医学图像分割方法 | |
Popescu et al. | Retinal blood vessel segmentation using pix2pix gan | |
CN116739985A (zh) | 一种基于Transformer和卷积神经网络的肺部CT图像分割方法 | |
CN116188479B (zh) | 基于深度学习的髋关节图像分割方法及*** | |
CN115423754A (zh) | 一种图像分类方法、装置、设备及存储介质 | |
CN115375711A (zh) | 基于多尺度融合的全局上下文关注网络的图像分割方法 | |
CN117218453B (zh) | 一种不完备多模态医学影像学习方法 | |
Shao et al. | Shortcomings of ventricle segmentation using deep convolutional networks | |
Shan et al. | SCA-Net: A spatial and channel attention network for medical image segmentation | |
Billot et al. | Robust segmentation of brain MRI in the wild with hierarchical CNNs and no retraining | |
CN116485813A (zh) | 基于提示学习的零样本脑病灶分割方法、***、设备和介质 | |
CN116958693A (zh) | 图像分析方法、装置、设备、存储介质和程序产品 | |
Mortazi et al. | Weakly supervised segmentation by a deep geodesic prior | |
CN113379770B (zh) | 鼻咽癌mr图像分割网络的构建方法、图像分割方法及装置 | |
CN114049315B (zh) | 关节识别方法、电子设备、存储介质及计算机程序产品 | |
CN116309615A (zh) | 一种多模态mri脑肿瘤图像分割方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |