CN112991363A - 脑肿瘤图像分割方法、装置、电子设备及存储介质 - Google Patents
脑肿瘤图像分割方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN112991363A CN112991363A CN202110287970.4A CN202110287970A CN112991363A CN 112991363 A CN112991363 A CN 112991363A CN 202110287970 A CN202110287970 A CN 202110287970A CN 112991363 A CN112991363 A CN 112991363A
- Authority
- CN
- China
- Prior art keywords
- brain tumor
- image
- segmentation
- images
- modality
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30016—Brain
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
Abstract
本申请提供的脑肿瘤图像分割方法、装置、电子设备及存储介质，应用于医学图像分析技术领域，所述方法包括:获取用户的至少两个模态的脑肿瘤图像；将每个所述模态的脑肿瘤图像输入至与所述模态相对应的语义特征金字塔模型进行预测，获得每个所述模态的脑肿瘤图像相对应的脑肿瘤分割图像；将至少两个所述脑肿瘤分割图像进行融合，得到所述用户的目标脑肿瘤分割图像。本方案通过将多种模态的脑肿瘤图像分别输入至每种模态对应的的语义特征金字塔模型，将所获取的多种模态的脑肿瘤风格图像进行融合来得到最终的目标脑肿瘤分割图像，能够充分利用多种模态的脑肿瘤图像，提高对至少两个模态的脑肿瘤图像进行分割的准确率和效率。
Description
技术领域
本申请属于医学图像分析技术领域，特别是涉及一种脑肿瘤图像分割方法、装置、电子设备及存储介质。
背景技术
目前，作为发病率较高的癌症之一的是脑肿瘤，其致死率超过3％。但是，如果在脑肿瘤出现的早期，对脑肿瘤进行有效地治疗，可以完全大幅地提高患病人群的寿命。因此，在早期对脑肿瘤进行精确的诊断相当重要。
而现有技术中，为了能够高效地分割脑肿瘤图像，并在较大程度上提高脑肿瘤图像的分割精度，往往采用基于深度学习的分割方法，这种方法将全卷积网络(FullyConvolutional Networks，FCN)作为训练模型，FCN网络首先对所输入的完整脑肿瘤图像进行卷积，然后将分割掩码直接作为训练模型的输出。
这样，FCN网络对于网络各层所提取的多尺度特征信息，并没有进行充分地利用，因此在将特征图恢复到原脑肿瘤图像的尺寸时，往往会在直接进行连续的上采样过程中引入噪声，从而导致在对脑肿瘤图像进行分割时存在信息丢失、分割精度低等问题。
发明内容
有鉴于此，本申请实施例提出一种脑肿瘤图像分割方法、装置、电子设备及存储介质，用于解决现有FCN网络对于网络各层所提取的多尺度特征信息，并没有进行充分地利用，因此在将特征图恢复到原脑肿瘤图像的尺寸时，往往会在直接进行连续的上采样过程中引入噪声，从而导致在对脑肿瘤图像进行分割时存在信息丢失、分割精度低等问题。
本申请第一方面提供一种脑肿瘤图像分割方法，所述方法包括：
获取用户的至少两个模态的脑肿瘤图像；
将每个所述模态的脑肿瘤图像输入至与所述模态相对应的语义特征金字塔模型进行预测，获得每个所述模态的脑肿瘤图像相对应的脑肿瘤分割图像；
将至少两个所述脑肿瘤分割图像进行融合，得到所述用户的目标脑肿瘤分割图像。
依据本申请第二方面，提供一种脑肿瘤图像分割装置，所述装置包括：
多模态磁共振图像获取模块，被配置为获取用户的至少两个模态的脑肿瘤图像；
语义分割模块，被配置为将每个所述模态的脑肿瘤图像输入至与所述模态相对应的语义特征金字塔模型进行预测，获得每个所述模态的脑肿瘤图像相对应的脑肿瘤分割图像；
多模型融合预测模块，被配置为将至少两个所述脑肿瘤分割图像进行融合，得到所述用户的目标脑肿瘤分割图像。
依据本申请第三方面，提供一种计算机可读存储介质，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现上述第一方面所述的脑肿瘤图像分割方法。
依据本申请第四方面，提供一种电子设备，包括处理器，存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现上述第一方面所述脑肿瘤图像分割方法。
针对现有技术，本申请具备如下优点：
本申请提供的一种脑肿瘤图像分割方法、装置、电子设备及存储介质，通过获取至少两种模态的脑肿瘤图像，可以得到每个模态用于预测的脑肿瘤图像；然后，将每个模态用于预测的脑肿瘤图像输入至与所述模态相对应的语义特征金字塔模型进行预测，就可以获得每个模态用于预测的脑肿瘤图像相对应的脑肿瘤分割图像；最后，将每个模态的脑肿瘤分割图像进行融合，就可以避免对单个模态的脑肿瘤图像进行分割时存在信息丢失、分割精度低等问题，能够充分利用多种模态的脑肿瘤图像，提高对至少两个模态的脑肿瘤图像进行分割的准确率和效率。
上述说明仅是本申请技术方案的概述，为了能够更清楚了解本申请的技术手段，而可依照说明书的内容予以实施，并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂，以下特举本申请的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本申请的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1是本申请实施例提供的一种脑肿瘤图像分割方法的步骤流程图；
图2是本申请实施例提供的另一种脑肿瘤图像分割方法的步骤流程图；
图3是本申请实施例提供的一种语义特征金字塔网络模型框架示意图；
图4是本申请实施例提供的另一种脑肿瘤图像分割方法的步骤流程图；
图5是本申请实施例提供的另一种脑肿瘤图像分割方法的步骤流程图；
图6是本申请实施例提供的一种脑肿瘤图像分割方法的效果示意图；
图7是本申请实施例提供的一种脑肿瘤图像分割装置的结构框图。
具体实施方式
下面将参照附图更详细地描述本申请的示例性实施例。虽然附图中显示了本申请的示例性实施例，然而应当理解，可以以各种形式实现本申请而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本申请，并且能够将本申请的范围完整的传达给本领域的技术人员。
脑肿瘤是一种在脑组织中非自然***和不正常生长的异常细胞，发病率较高，死亡率超过3％，严重危害人体的健康。其中胶质瘤是源于颅内的常见脑肿瘤之一，可分为高级别胶质瘤(high-grade glioma，HGG)和低级别胶质瘤(Low-grade glioma，LGG)，高级别脑肿瘤患者的生存率极低，但通过对低级别脑肿瘤早期的诊断和治疗，能够大幅提高病人的寿命。因此在早期对脑肿瘤进行精确的诊断尤为重要。磁共振成像(Magnetic ResonanceImaging，MRI)作为一种典型的非侵入式成像技术，可产生高质量的无损伤和无颅骨伪影的脑影像，能为脑肿瘤的诊断和治疗提供更为全面的信息，是脑肿瘤诊疗的主要技术手段。MRI脑肿瘤分割是脑肿瘤诊疗过程中非常重要的一步，借助多模态脑影像对肿瘤进行分割，医生可以从脑肿瘤中进行定量分析从而测量大脑病变组织的最大直径、体积和数量，为患者制定最佳的诊断和治疗方案。
由于脑肿瘤形状多异、位置大小分布不均、边界复杂等因素，目前脑肿瘤图像的分割工作主要还是由医学专家手动完成。而脑肿瘤往往具有不同的恶性程度以及多个肿瘤组织区域，同时脑部MRI是多模态且层数较多的三维扫描图像，所以对脑胶质瘤区域的手工分割需要花费大量的时间和人力。此外，手工分割往往基于人眼观察到的图像亮度进行区域分割，容易受到图像的生成质量以及标注者的个人因素影响，导致分割质量良莠不齐，出现错误分割和分割多余区域的情况。因此，在临床实践中非常需要全自动的脑肿瘤分割方法来对脑肿瘤图像进行分割，从而减轻医生阅片以及手工分割的工作量，同时提高分割精度和诊断效率，为患者制定最佳的诊断和治疗方案提供基础。
目前脑肿瘤分割算法主要分为三类：基于传统图像算法、机器学习以及深度学习的分割方法。
在传统图像算法中，基于阈值的方法通过设置不同的阈值，然后与图像的灰度值进行比较从而将图像的像素点分类，以达到分割的目的。但由于脑肿瘤结构较复杂，基于阈值的分割方法通常用于确定脑肿瘤的位置，不能有效解决脑肿瘤分割问题。区域生长的分割方法通过在图像的目标区域设置一个或多个种子点，然后搜索该种子点的相邻像素，把相邻区域中具有相似特点的像素合并至该区域，直到周围没有新的像素点能够添加到该区域为止，实现肿瘤区域的分割。然而区域生长分割方法对图像的阴影区域分割会出现分割不完整或过分割的问题。
在基于机器学习的分割方法中，无监督的模糊聚类的方法常常用来对脑肿瘤进行初步分割和检测。有监督的机器学习方法主要通过对脑肿瘤图像提取各种特征并使用如支持向量机(Support Vector Machine，SVM)，随机森林等分类模型来完成脑肿瘤区域的分割。
近年来，基于深度学习的方法已经广泛地应用在计算机视觉的不同任务中，如图像处理、目标检测等。与传统的分割方法相比，基于深度学习的分割方法能自主学习与特定任务相适应的特征，可以高效地完成任务并在较大程度上提高分割精度。在深度学习方法中，全卷积网络(Fully Convolutional Networks，FCN)被广泛地运用在语义分割任务中，该网络能够对完整的输入图像进行卷积，并以分割掩码直接作为模型输出，从而解决了分割过程中全局信息缺乏以及计算资源消耗大的问题。然而FCN网络没有充分利用卷积网络各层所提取的多尺度特征信息，且在将特征图恢复到原图尺寸的过程中，直接进行连续的上采样操作也会引入噪声，从而导致该网络边缘分割不精细，分割结果粗糙。
针对上述深度学习方法中全卷积网络在医学图像分割中信息丢失、分割精度低等问题，本申请同样采用深度学习方法实现对脑肿瘤图像的自动分割，但是本申请是基于语义特征金字塔网络(Semantic Feature pyramid Network，SFPN)对脑肿瘤图像进行分割，该网络是在传统特征金字塔网络(Feature pyramid Network，FPN)的基础上增加语义分割模块，对FPN生成的多尺度特征图(不同分辨率的特征图)进行融合用于像素级别预测，通过有效地结合网络浅层的位置信息以及深层的高级别语义信息来提升模型的分割精度，实现对脑肿瘤更加准确高效的自动分割。
实施例一
图1是本申请实施例提供的一种脑肿瘤图像分割方法的步骤示意图，所述方法可以包括：
步骤101，获取用户的至少两个模态的脑肿瘤图像。
在本申请实施例中，所述模态可以包括磁共振成像液体衰减反转恢复序列(fluidattenuated inversion recovery，Flair序列)、T1序列、T1c序列以及T2序列中的一种或多种模态，具体可以根据实际需求确定，此处不做限定。
在本申请实施例中，可以通过磁共振成像(Magnetic Resonance Imaging，MRI)技术直接获取用户的至少两个模态的脑肿瘤图像，也可以采用现有的MRI数据集(例如TCGA-LGG低级别脑胶质瘤MRI数据集)获取用户的至少两个模态的脑肿瘤图像，具体可以根据实际需求确定，此处不做限定。
步骤102，将每个所述模态的脑肿瘤图像输入至与所述模态相对应的语义特征金字塔模型进行预测，获得每个所述模态的脑肿瘤图像相对应的脑肿瘤分割图像。
在本申请实施例中，可以为每个模态的脑肿瘤图像设置一个对应的语义特征金字塔模型，再将每个所述模态的脑肿瘤图像输入至与所述模态相对应的语义特征金字塔模型进行预测，获得每个所述模态的脑肿瘤图像相对应的脑肿瘤分割图像。
步骤103，将至少两个所述脑肿瘤分割图像进行融合，得到所述用户的目标脑肿瘤分割图像。
在本申请实施例中，可以将每个所述模态的脑肿瘤图像相对应的脑肿瘤分割图像进行融合，以得到所述用户的目标脑肿瘤分割图像。
示例性的，通过MRI技术获取用户的Flair序列和T1序列的脑肿瘤图像，将Flair序列的脑肿瘤图像输入至其对应的语义特征金字塔模型进行预测，获得Flair序列的脑肿瘤图像对应的Flair序列脑肿瘤分割图像；以及将T1序列的脑肿瘤图像输入至其对应的语义特征金字塔模型进行预测，获得T1序列的脑肿瘤图像对应的T1序列脑肿瘤分割图像；最后将Flair序列脑肿瘤分割图像和T1序列脑肿瘤分割图像进行融合，就可以得到用户的目标脑肿瘤分割图像。
本申请实施例提供的一种脑肿瘤图像分割方法，通过获取至少两种模态的脑肿瘤图像，可以得到每个模态用于预测的脑肿瘤图像；然后，将每个模态用于预测的脑肿瘤图像输入至与所述模态相对应的语义特征金字塔模型进行预测，就可以获得每个模态用于预测的脑肿瘤图像相对应的脑肿瘤分割图像；最后，将每个模态的脑肿瘤分割图像进行融合，就可以避免对单个模态的脑肿瘤图像进行分割时存在信息丢失、分割精度低等问题，能够充分利用多种模态的脑肿瘤图像，提高对至少两个模态的脑肿瘤图像进行分割的准确率和效率。
实施例二
图2是本申请实施例提供的另一种脑肿瘤图像分割方法，图3是本申请实施例提供的一种语义特征金字塔网络模型框架，所述语义特征金字塔网络模型至少可以包括：卷积网络、语义金字塔网络、语义分割网络，所述方法可以包括：
步骤201，获取用户的至少两个模态的脑肿瘤图像。
该步骤可参照步骤101的详细描述，此处不再赘述。
步骤202，对所述至少两个模态的脑肿瘤图像进行尺寸缩放、零均值化和单位标准化操作。
在本申请实施例中，零均值化(Mean-subtraction)又称为中心化(Zero-centered，Z-score)是指数值减去它的均值；单位标准化(Standardization)又称为归一化(Normalization)是指数值减去它的均值，再除以标准差。
在本申请实施例中，通过对所述至少两个模态的脑肿瘤图像进行尺寸缩放、零均值化和单位标准化操作，将所述至少两个模态的脑肿瘤图像统一缩放至相同尺寸，以得到每个所述模态的标准脑肿瘤图像。
示例性的，为了将Flair序列、T1序列和T1序列的脑肿瘤图像统一缩放至256×256的图片尺寸，分别对Flair序列、T1序列和T1序列的脑肿瘤图像进行Z-score操作，转化公式为：
其中，
为样本均值，σ为样本方差，X为原始图像，X*为Z-score操作后的图像。
本申请实施例通过对所述脑肿瘤图像数据集中的所有脑肿瘤图像进行零均值化和单位标准化操作，可以消除由于量纲不同、自身变异或者数值相差较大所引起的误差。
步骤203，通过预设数据增强操作，扩增所述至少两个模态的脑肿瘤图像。
在本申请实施例中，预设数据增强操作可以是随机旋转90度、水平翻转、垂直翻转、转置、随机仿射变换等中的一种或多种，具体可以根据实际需求确定，此处不做限定。
在本申请实施例中，通过预设数据增强操作，可以是对步骤201中用户的至少两个模态的脑肿瘤图像进行扩增，也可以是对步骤202中每个所述模态的标准脑肿瘤图像进行扩增，具体可以根据实际需求确定，此处不做限定。
在本申请实施例中，通过预设数据增强操作，扩增所述至少两个模态的脑肿瘤图像，具体方法可以是使用随机旋转90度、水平翻转、垂直翻转、转置、随机仿射变换等数据增强操作，对所有脑肿瘤图像以一定的概率进行组合变换，来得到每个所述模态的扩增脑肿瘤图像。
示例性的，为了增强模型的鲁棒性以及分割精度，使用数据增强方法对预处理后的数据集中的所有脑肿瘤图像以一定的概率进行五种操作的组合变换，并扩充正样本(即存在肿瘤区域的脑肿瘤图像)的数据量至原来的3倍以平衡正负样本比例，具体使用的五种数据增强操作以及执行对应操作概率如表1所示：
| 数据增强操作 | 概率 |
| 随机旋转90度 | 0.5 |
| 水平翻转 | 0.5 |
| 垂直翻转 | 0.5 |
| 转置 | 0.5 |
| 随机仿射变换 | 0.25 |
表1数据增强组合变换操作
本申请实施例通过预设数据增强操作(例如：随机旋转90度、水平翻转、垂直翻转、转置、随机仿射变换等)，扩增所述脑肿瘤图像数据集，可以增加数据多样性，并扩充正样本(即存在肿瘤区域的图像)的数据量至原来的N倍以解决正负样本不均衡的问题，从而增强语义特征金字塔模型的鲁棒性以及分割精度。
步骤204，将每个所述模态的脑肿瘤图像输入至所述卷积网络，并将所述卷积网络的输出图像输入至所述语义金字塔网络，并将所述语义金字塔网络的输出图像输入至所述语义分割网络，得到每个所述模态的脑肿瘤图像相对应的脑肿瘤分割图像。
在本申请实施例中，可以是将步骤201中用户的至少两个模态的脑肿瘤图像作为训练好的语义特征金字塔模型的输入，也可以是将步骤202中每个所述模态的标准脑肿瘤图像作为训练好的语义特征金字塔模型的输入，也可以是将步骤203中每个所述模态的扩增脑肿瘤图像作为训练好的语义特征金字塔模型的输入，具体可以根据实际需求确定，此处不做限定。
在本申请实施例中，可以是将每个所述模态的扩增脑肿瘤图像输入至所述卷积网络，并将所述卷积网络的输出图像输入至所述语义金字塔网络，并将所述语义金字塔网络的输出图像输入至所述语义分割网络，得到每个所述模态的脑肿瘤图像相对应的脑肿瘤分割图像。
示例性的，将每个所述模态的扩增脑肿瘤图像输入至卷积网络，以提取脑肿瘤图像的多尺度特征，将所述卷积网络的输出图像输入至语义金字塔网络，以产生一系列分辨率逐渐增大的特征金字塔层，并将语义金字塔网络的输出图像输入至所述语义分割网络，以提升分辨率，再通过sigmoid层来生成类别标签，即得到每个所述模态的脑肿瘤图像相对应的脑肿瘤分割图像。
本申请实施例通过依次连接的卷积网络、语义金字塔网络和语义分割网络，组成的所述模态相对应的语义特征金字塔模型；将每个模态的脑肿瘤图像输入至所述卷积网络，可以得到不同分辨率的脑肿瘤图像，即得到每个模态的脑肿瘤图像的多尺度特征；然后将每个模态的脑肿瘤图像的多尺度特征输入至所述语义金字塔网络，使得所述多尺度特征被融合，从而更好的融合语义特征金字塔模型中浅层的位置信息以及深层的高级别语义信息，以提高分割精度；再将语义金字塔网络的输出图像输入至所述语义分割网络，将语义分割网络的输出图像提升分辨率后再进行融合，以避免对脑肿瘤图像进行分割时出现信息丢失的问题，进一步提高分割精度。
可选地，参照图4，所述步骤204，包括：
将每个所述模态相对应的语义特征金字塔模型通过以下子步骤对所述模态的脑肿瘤图像进行处理：
子步骤2041，通过所述卷积网络中依次连接的至少两个卷积层分别对所述脑肿瘤图像执行下采样操作，得到所述脑肿瘤分割图像的第一分辨率的第一特征图像，所述第一分辨率且小于所述脑肿瘤图像的目标分辨率。
在本申请实施例中，目标分辨率和第一分辨率可以是用户基于实际经验进行设置，也可以是网络模型默认的数值，具体可以根据实际需求确定，此处不做限定。
子步骤2042，通过所述语义金字塔网络中依次连接的至少两个语义金字塔层分别对所述第一特征图像执行上采样操作，得到第二分辨率的至少两个第二特征图像，所述第二分辨率大于所述第一分辨率。
在本申请实施例中，第二分辨率可以是用户基于实际经验进行设置，也可以是网络模型默认的数值，具体可以根据实际需求确定，此处不做限定。
子步骤2043，通过所述语义分割网络中至少两个语义分割层分别对所述第二特征图像进行上采样操作，得到第三分辨率的至少两个第三特征图像，所述第三分辨率大于所述第二分辨率且小于所述目标分辨率。
在本申请实施例中，第三分辨率可以是用户基于实际经验进行设置，也可以是网络模型默认的数值，具体可以根据实际需求确定，此处不做限定。
子步骤2044，将所述至少两个第三特征图像进行融合，得到第三分辨率的第四特征图像，并对所述第四特征图像执行上采样操作，得到所述目标分辨率的脑肿瘤分割图像，所述目标分辨率和脑肿瘤图像的分辨率相同。
在本申请实施例中，通过所述卷积网络中依次连接的至少两个卷积层分别对所述脑肿瘤图像执行下采样操作，得到所述脑肿瘤分割图像的第一分辨率的第一特征图像；接着通过所述语义金字塔网络中至少两个语义金字塔层分别对第二特征图像进行上采样操作，得到第二分辨率的至少两个第二特征图像；通过所述语义分割网络中至少两个语义分割层分别对所述第二特征图像进行上采样操作，得到第三分辨率的至少两个第三特征图像，将所述至少两个第三特征图像进行融合，得到第三分辨率的第四特征图像，并对所述第四特征图像执行上采样操作，得到和脑肿瘤图像的分辨率相同的脑肿瘤分割图像。
示例性的，如图3所示，通过依次连接的4个卷积层分别对所述脑肿瘤图像执行连续的下采样操作，提取图像的多尺度特征，以得到所述脑肿瘤分割图像的第一分辨率(1/4分辨率、1/8分辨率、1/16分辨率和1/32分辨率)的第一特征图像；再将所有第一特征图像进行统一的卷积降维操作，然后将4个卷积降维后的特征图输入给语义金字塔网络，语义金字塔网络上采样较高金字塔等级的特征，将其映射为更高分辨率的特征，从而产生4个分辨率逐渐增大的特征金字塔层，并与卷积网络中具有相同空间大小的卷积降维后的特征图进行合并(即逐像素相加)，得到第二分辨率(1/4分辨率、1/8分辨率、1/16分辨率和1/32分辨率)的4个第二特征图像，从而更好的融合网络中浅层的位置信息以及深层的高级别语义信息；也就是除金字塔层4是直接通过卷积层4卷积降维得到，其余金字塔层3、2和1生成过程为：将上一金字塔层经过2倍上采样后得到的特征图与相对应的卷积层卷积降维后得到的特征图合并得到当前金字塔层，具体地，金字塔层4(1/32分辨率)进行2倍上采样操作得到的特征图是A(1/16分辨率)，卷积层3进行降维操作后得到的特征图是B(1/16分辨率)，则合并特征图A和特征图B得到金字塔层3＝A+B(1/16分辨率)；通过4个语义分割层分别对每个金字塔层对应的不同分辨率的所述第二特征图像进行连续的卷积和上采样操作，将所有特征图都提升到输入的脑肿瘤图像的1/4分辨率(第三分辨率)的4个第三特征图像；然后逐像素加在一起，将所述4个第三特征图像进行融合，即进一步对多层次特征进行融合，得到第三分辨率(1/4分辨率)的第四特征图像，并对所述第四特征图像执行上采样操作，即通过卷积操作和4倍上采样操作，提升到与输入的图脑肿瘤图像的分辨率相等的分辨率，得到和脑肿瘤图像的相同分辨率的脑肿瘤分割图像，最后通过sigmoid层来生成类别标签，即分割结果：每个所述模态的脑肿瘤图像相对应的目标分辨率的脑肿瘤分割图像。
本申请实施例通过所述卷积网络中依次连接的至少两个卷积层分别对所述每个所述模态的脑肿瘤图像执行下采样操作，提取图像的多尺度特征，得到第一分辨率的第一特征图像并输入给语义金字塔网络；语义金字塔网络上采样较高金字塔等级的特征，将其映射为更高分辨率的特征，从而产生一系列分辨率逐渐增大的特征金字塔层，并与卷积网络中具有相同空间大小的卷积降维后的特征图进行合并，得到大于第一分辨率的第二分辨率的第二特征图像，使得脑肿瘤分割图像的第一分辨率的第一特征图像被融合，从而更好的融合语义特征金字塔模型中浅层的位置信息以及深层的高级别语义信息，提高分割精度；通过所述语义分割网络中至少两个语义分割层分别对所述第二特征图像进行上采样操作，得到大于第二分辨率的第三分辨率的第三特征图像，使得第三特征图像的分辨率被提高，以避免丢失信息，进一步提高分割精度，从而提高对至少两个模态的脑肿瘤图像进行分割的准确率。
步骤205，获取所述每个所述模态的脑肿瘤分割图像的像素平均值。
在本申请实施例中，像素平均值可以是对每个所述模态的脑肿瘤分割图像的像素值总和的简单平均，也可以是对每个所述模态的脑肿瘤分割图像的像素值进行加权平均，具体可以根据实际需求确定，此处不做限定。
步骤206，将所述像素平均值组成的分割置信图，作为所述用户的目标脑肿瘤分割图像。
在本申请实施例中，在将每个所述模态的脑肿瘤图像输入至与所述模态相对应的语义特征金字塔模型，得到每个所述模态的脑肿瘤图像相对应的目标分辨率的脑肿瘤分割图像后，即在每个模型输出一个与输入图片尺寸一致的预测结果后，获取所述每个所述模态目标分辨率的脑肿瘤分割图像(每个模型预测结果)中像素值总和的简单平均作为像素平均值，再将所述像素平均值组成的分割置信图，作为所述用户的目标脑肿瘤分割图像，即将所有模态对应的语义特征金字塔模型的所有预测结果进行平均融合，以作为该方法的最终分割结果进行输出。
示例性的，将Flair序列、T1序列、T1c序列以及T2序列的脑肿瘤图像分别输入上述4个模态相对应的训练好的语义特征金字塔模型中进行分割结果的预测，以得到4个模态的脑肿瘤分割图像：4个尺寸为256×256的分割置信图(confidence map)，对所有置信图上对应位置的像素点的值取平均，得到4个模态相对应的语义特征金字塔模型融合后最终的分割置信图，其中，可以取分割阈值Th＝0.3，对置信图S中像素点的值≥Th的像素点，类别标签设置为1(即属于肿瘤区域)；反之，设置为0(不属于肿瘤区域)，从而形成最终的模型分割结果：目标脑肿瘤分割图像，以进行输出。
本申请实施例通过先确定所述每个所述模态的脑肿瘤图像相对应的所述目标分辨率的脑肿瘤分割图像对应位置像素点的平均值，再将将该平均值作为所述用户的目标脑肿瘤分割图像的目标分割置信图的像素点的像素值，可以完成对每个模态的脑肿瘤分割图像的平均融合过程，就可以避免单个模型对脑肿瘤图像进行分割时存在信息丢失、分割精度低等问题，能够提高对至少两个模态的脑肿瘤图像进行分割的精度。
可选地，参照图5，所述每个所述模态对应的语义特征金字塔模型可以通过以下步骤训练得到：
步骤301，获取用户的至少两个模态的脑肿瘤图像，以及每个所述脑肿瘤图像对应的标准脑肿瘤分割图像。
在本申请实施例中，可以通过MRI技术直接获取用户的至少两个模态的脑肿瘤图像，再通过医生专家手工标注该至少两个模态的脑肿瘤图像的分割标签(ground Truth)，以得到每个所述脑肿瘤图像对应的标准脑肿瘤分割图像；也可以采用现有的MRI数据集(例如TCGA-LGG低级别脑胶质瘤MRI数据集)，从MRI数据集中获取用户的至少两个模态的脑肿瘤图像及每个所述脑肿瘤图像对应的标准脑肿瘤分割图像，具体可以根据实际需求确定，此处不做限定。
示例性的，采用TCGA-LGG低级别脑胶质瘤MRI数据集(脑胶质瘤是脑肿瘤的一种)，该数据集包含110例脑肿瘤病人手术前的多模态磁共振图像(包含三个序列：FLAIR序列、T1序列和T1c序列)以及医生手工标注的分割标签，每例病人的磁共振图像包含20至88个切片不等，将110例脑肿瘤病人手术前的多模态磁共振图像作为用户的至少两个模态的脑肿瘤图像，将医生手工标注的分割标签作为每个所述脑肿瘤图像对应的标准脑肿瘤分割图像。
步骤302，将每个所述模态的脑肿瘤图像输入至与所述模态相对应的语义特征金字塔模型进行训练，获得每个所述模态的脑肿瘤图像相对应的训练脑肿瘤分割图像。
在本申请实施例中，可以是将步骤301中获取用户的至少两个模态的脑肿瘤图像，以及每个所述脑肿瘤图像对应的标准脑肿瘤分割图像作为待训练的语义特征金字塔模型的输入，也可以是将对步骤301中脑肿瘤图像及其对应的标准脑肿瘤分割图像进行零均值化和单位标准化操作(参照步骤202)后，得到的图像作为待训练的语义特征金字塔模型的输入，也可以是将通过预设数据增强操作，对步骤301中脑肿瘤图像及其对应的标准脑肿瘤分割图像进行扩增(参照步骤203)后，得到的图像作为待训练的语义特征金字塔模型的输入，具体可以根据实际需求确定，此处不做限定。
该步骤可参照步骤102、202以及203的详细描述，此处不再赘述。
步骤303，将至少两个所述训练脑肿瘤分割图像进行融合，得到所述用户的目标训练脑肿瘤分割图像。
该步骤可参照步骤103的详细描述，此处不再赘述。
步骤304，在根据目标训练脑肿瘤分割图像和所述标准脑肿瘤分割图像确定的损失函数的数值小于预设值时，停止对所述语义特征金字塔模型的训练。
在本申请实施例中，预设值可以是用户基于实际经验进行设置，也可以是网络模型默认的数值，具体可以根据实际需求确定，此处不做限定。
在本申请实施例中，首先根据目标训练脑肿瘤分割图像和所述标准脑肿瘤分割图像确定的损失函数的数值，即目标训练脑肿瘤分割图像和标准脑肿瘤分割图像之间的误差，在该误差小于预设值时，说明这个语义特征金字塔模型以及训练好了，就可以停止对所述语义特征金字塔模型的训练。
可选的，所述损失函数至少包括第一损失函数和第二损失函数，所述步骤304，可以包括：
子步骤3041，在根据目标训练脑肿瘤分割图像和所述标准脑肿瘤分割图像确定的所述第一损失函数和所述第二损失函数的数值小于预设值时，停止对于所述语义特征金字塔模型的训练。
其中，所述第一损失函数或所述第二损失函数至少包括：二分类交叉熵损失函数、戴斯相似系数损失函数和焦点损失函数中的任一个。
在本申请实施例中，第一损失函数loss 1或第二损失函数loss 2可以是二分类交叉熵(bce)损失函数、戴斯(dice)相似系数损失函数和焦点(Focal)损失函数中的任一个损失函数，例如，loss 1＝bce损失函数，loss 2＝Focal损失函数；第一损失函数loss 1的具体公式也可以是用户基于实际经验根据二分类交叉熵(bce)损失函数和戴斯(dice)相似系数损失函数组成，例如，loss 1＝bce损失函数+dice相似系数损失函数；第二损失函数loss2同样也可以是基于实际经验根据焦点(Focal)损失函数和戴斯(Dice)相似系数损失函数组成，例如，loss 2＝Focal损失函数+dice相似系数损失函数；第一损失函数和第二损失函数还可以是网络模型默认的公式，具体可以根据实际需求确定，此处不做限定。
在本申请实施例中，可以Dice系数(Dice Similariy coefficient，DSC)作为模型的性能评价指标，计算公式如下：
其中，TP表示被正确检测为正样本(即存在肿瘤区域的脑肿瘤图像)的样本数量，FP表示将负样本(即不存在肿瘤区域的脑肿瘤图像)错误检测为正样本的数量，FN表示将正样本错误检测为负样本的样本数量。Dice系数用来衡量预测结果与真实结果之间的相似程度，Dice系数越高说明预测结果与真实结果越相似，分割精度越高。在医学图像分割中，常用Dice系数作为衡量分割精度的指标。
示例性的，为了充分利用磁共振MRI技术获取的脑肿瘤图像的多模态(FLAIR序列、T1序列和T1c序列)信息，同时进一步解决由于正负样本不均衡而对模型训练所造成的影响，分别使用多种不同模态的脑肿瘤图像以及两种不同的损失函数loss 1和loss 2训练4个独立的语义特征金字塔模型model 1、model 2、model 3和model 4，针对model 1和model2，输入图像的Flair序列(单通道输入)；针对model 3和model 4，同时输入图像的FLAIR序列、T1序列和T1c序列(三通道输入)，不同模型训练时所采用的训练数据和损失函数组合如表2所示：
表2不同模型训练时所采用的训练数据和损失函数组合
| 模型 | 训练数据 | 损失函数 |
| model 1 | FLAIR | loss 1(bce+dice) |
| model 2 | FLAIR | loss 2(Focal+dice) |
| model 3 | T1,FLAIR,T1c | loss 1(bce+dice) |
| model 4 | T1,FLAIR,T1c | loss 2(Focal+dice) |
本申请实施例通过使用不同损失函数分别训练多个独立的模型，可以充分利用磁共振技术获取的脑肿瘤图像的多模态信息，同时进一步解决由于正负样本不均衡而对模型训练所造成的影响，更进一步提高了分割精度。
在实际应用中的，获取TCGA-LGG低级别脑胶质瘤MRI数据集中用户的FLAIR序列、T1序列和T1c序列的脑肿瘤图像，以及每个所述脑肿瘤图像对应的医生手工标注的分割标签作为的标准脑肿瘤分割图像；采用ResNeXt50作为卷积网络和语义金字塔网络的主干网络，采用1×1的卷积核对卷积层的多尺度特征降维，语义分割层的卷积+上采样操作包括：一个3×3的卷积层，一个GroupNorm层，一个ReLU层和一个两倍双线性内插上采样，其中ResNeXt50使用在imagenet上预训练的模型参数进行初始化，迭代次数60个epoch，初始学习率learning rate＝0.0005，每过20个epoch学习率衰减为原来的0.2倍，优化器采用Adam优化器，其中，1个Epoch就是将所有训练样本训练一次的过程。
模型训练可以使用5折交叉验证方法，即将数据集中的110个病例随机划分为5组，分别以其中四组作为训练集，另一组作为测试集训练模型。测试集整体以Dice系数作为评价指标，五折交叉验证评估结果如表3所示：
表3五折交叉验证评估结果
如表3所示，为了验证本发明所提出是脑肿瘤方法的分割性能，将医学图像分割中常用的Unet模型以及采用ResNeXt50作为主干网络的Unet模型与之作对比实验，其中SFPN(loss 1)和SFPN(loss 2)分别表示采用损失函数loss 1和loss 2训练得到SFPN模型，表3中前四种模型仅使用Flair序列进行模型训练，Ensemble of SFPNs是将表2中4个SFPN模型进行融合后的结果，通过对比可以看出，在交叉验证中的五个子测试集上，本发明提出的采用语义特征金字塔模型的脑肿瘤分割方法比Unet模型具有更高的分割精度，其中经过多模型融合后的SFPN模型分割精度最高。
以数据集中110例病人的平均Dice系数以及中位Dice系数作为评价指标，评估结果如表4所示：
表4 110例病人的平均Dice系数以及中位Dice系数评估结果
| mean dice | median dice | |
| Unet | 0.826 | 0.8878 |
| Unet vs ResNeXt50 | 0.8539 | 0.8916 |
| SFPN(loss 1) | 0.8663 | 0.8967 |
| SFPN(loss 2) | 0.8549 | 0.8923 |
| Ensemble of SFPNs | 0.876 | 0.8995 |
在对110例病人的脑肿瘤图像进行分割中，经过多个模型语义特征金字塔模型融合的Ensemble of SFPNs可以达到更高的分割精度，其平均Dice系数是0.876，比传统Unet模型的分割精度提高了5％。
图6是采用本发明提出的脑肿瘤图像分割方法得到的部分病人的目标脑肿瘤分割图像的效果示意图，其中左侧一列指的是获取的脑肿瘤图像(原始图像：Original Image)，中间一列指的是手工分割标签(Ground Truth)：标准脑肿瘤分割图像，右侧一列指的是语义特征金字塔模型输出的预测结果(Prediction)：目标脑肿瘤分割图像。
目前，由医生专家对低级别脑胶质瘤MRI进行人工分割(标准脑肿瘤分割图像)的平均Dice系数是84％，而本发明提出的采用经过多个语义特征金字塔模型融合的脑肿瘤图像分割方法的平均Dice系数是87.6％，分割精度提高了3.6％，
本申请实施例通过使用不同模态脑肿瘤图像及每个所述脑肿瘤图像对应的标准脑肿瘤分割图像，分别训练两种不同损失函数的多个独立的语义特征金字塔模型，可以充分利用磁共振技术获取的脑肿瘤图像的多模态信息，同时进一步解决由于正负样本不均衡而对模型训练所造成的影响，更进一步提高了分割精度。
本申请实施例提供的另一种脑肿瘤图像分割方法，首先，获取用户的至少两个模态的脑肿瘤图像，以及每个所述脑肿瘤图像对应的标准脑肿瘤分割图像；然后，对所述至少两个模态的脑肿瘤图像进行零均值化和单位标准化操作以完成图像预处理，可以消除由于量纲不同、自身变异或者数值相差较大所引起的误差，再对所述至少两个模态的脑肿瘤图像进行数据扩增，以增加数据多样性，并扩充存在肿瘤区域的图像的正样本数据量至原来的N倍以解决正负样本不均衡的问题；接着，将图像预处理或数据扩增后的脑肿瘤图像及其对应的标准脑肿瘤分割图像输入每个模态相对应的语义特征金字塔模型，以得到训练好的所述模态相对应的语义特征金字塔模型；其次，可以将每个模态图像预处理或数据扩增后的脑肿瘤图像输入至与所述模态相对应的语义特征金字塔模型进行预测，以获得每个模态用于预测的脑肿瘤图像相对应的脑肿瘤分割图像；最后，将每个模态的脑肿瘤分割图像进行融合，就可以避免对单个模态的脑肿瘤图像进行分割时存在信息丢失、分割精度低等问题，能够充分利用多种模态的脑肿瘤图像，提高对至少两个模态的脑肿瘤图像进行分割的准确率和效率。
实施例三
参照图7，本申请实施例提供了一种脑肿瘤图像分割装置40的结构框图，该脑肿瘤图像分割装置40可以包括：
多模态磁共振图像获取模块401，被配置为获取用户的至少两个模态的脑肿瘤图像；
语义分割模块402，被配置为将每个所述模态的脑肿瘤图像输入至与所述模态相对应的语义特征金字塔模型进行预测，获得每个所述模态的脑肿瘤图像相对应的脑肿瘤分割图像；
多模型融合预测模块403，被配置为将至少两个所述脑肿瘤分割图像进行融合，得到所述用户的目标脑肿瘤分割图像。
可选的，所述语义特征金字塔模型至少包括：卷积网络、语义金字塔网络、语义分割网络；所述语义分割模块402，还被配置为：
将每个所述模态的脑肿瘤图像输入至所述卷积网络，并将所述卷积网络的输出图像输入至所述语义金字塔网络，并将所述语义金字塔网络的输出图像输入至所述语义分割网络，得到每个所述模态的脑肿瘤图像相对应的脑肿瘤分割图像。
可选的，所述语义分割模块402，还被配置为：
将每个所述模态相对应的语义特征金字塔模型通过以下步骤对所述模态的脑肿瘤图像进行处理：
通过所述卷积网络中依次连接的至少两个卷积层分别对所述脑肿瘤图像执行下采样操作，得到所述脑肿瘤分割图像的第一分辨率的第一特征图像，所述第一分辨率且小于所述脑肿瘤图像的目标分辨率；
通过所述语义金字塔网络中依次连接的至少两个语义金字塔层分别对所述第一特征图像执行上采样操作，得到第二分辨率的至少两个第二特征图像，所述第二分辨率大于所述第一分辨率；
通过所述语义分割网络中至少两个语义分割层分别对所述第二特征图像进行上采样操作，得到第三分辨率的至少两个第三特征图像，所述第三分辨率大于所述第二分辨率且小于所述目标分辨率；
将所述至少两个第三特征图像进行融合，得到第三分辨率的第四特征图像，并对所述第四特征图像执行上采样操作，得到所述目标分辨率的脑肿瘤分割图像，所述目标分辨率和脑肿瘤图像的分辨率相同。
可选的，所述多模型融合预测模块403，还被配置为：
获取所述每个所述模态的脑肿瘤分割图像的像素平均值；
将所述像素平均值组成的分割置信图，作为所述用户的目标脑肿瘤分割图像。
可选的，该脑肿瘤图像分割装置40还可以包括：
图像预处理模块，被配置为对所述至少两个模态的脑肿瘤图像进行尺寸缩放、零均值化和单位标准化操作。
可选的，该脑肿瘤图像分割装置40还可以包括：
数据扩增模块，被配置为通过预设数据增强操作，扩增所述至少两个模态的脑肿瘤图像。
可选的，所述多模态磁共振图像获取模块401，还被配置为：获取用户的至少两个模态的脑肿瘤图像，以及每个所述脑肿瘤图像对应的标准脑肿瘤分割图像。
该脑肿瘤图像分割装置40还可以包括：
分割模型训练模块，被配置为将每个所述模态的脑肿瘤图像输入至与所述模态相对应的语义特征金字塔模型进行训练，获得每个所述模态的脑肿瘤图像相对应的训练脑肿瘤分割图像；将至少两个所述训练脑肿瘤分割图像进行融合，得到所述用户的目标训练脑肿瘤分割图像；在根据目标训练脑肿瘤分割图像和所述标准脑肿瘤分割图像确定的损失函数的数值小于预设值时，停止对所述语义特征金字塔模型的训练。
可选的，所述损失函数至少包括第一损失函数和第二损失函数，所述分割模型训练模块，还被配置为：在根据目标训练脑肿瘤分割图像和所述标准脑肿瘤分割图像确定的所述第一损失函数和所述第二损失函数的数值小于预设值时，停止对于所述语义特征金字塔模型的训练；其中，所述第一损失函数或所述第二损失函数至少包括：二分类交叉熵损失函数、戴斯相似系数损失函数和焦点损失函数中的任一个。
可选的，该脑肿瘤图像分割装置40还可以包括：
分割结果输出模块，被配置为显示所述目标脑肿瘤分割图像。
本申请实施例提供的一种脑肿瘤图像分割装置，首先，通过模态磁共振图像获取模块，获取用户的至少两个模态的脑肿瘤图像，以及每个所述脑肿瘤图像对应的标准脑肿瘤分割图像；然后，通过图像预处理模块对所述至少两个模态的脑肿瘤图像进行零均值化和单位标准化操作，以消除由于量纲不同、自身变异或者数值相差较大所引起的误差，再通过数据扩增模块扩增所述至少两个模态的脑肿瘤图像，以增加数据多样性，并扩充存在肿瘤区域的图像的正样本数据量至原来的N倍以解决正负样本不均衡的问题；接着，将图像预处理或数据扩增后的脑肿瘤图像及其对应的标准脑肿瘤分割图像输入分割模型训练模块，以训练每个模态相对应的语义特征金字塔模型；其次，再通过模态磁共振图像获取模块获取至少两种模态的脑肿瘤图像，得到每个模态用于预测的脑肿瘤图像；再将每个模态用于预测的脑肿瘤图像进行图像预处理或数据扩增后输入至语义分割模块中与所述模态相对应的语义特征金字塔模型进行预测，就可以获得每个模态用于预测的脑肿瘤图像相对应的脑肿瘤分割图像；最后，通过多模型融合预测模块将每个模态的脑肿瘤分割图像进行融合，能够充分利用多种模态的脑肿瘤图像，提高对至少两个模态的脑肿瘤图像进行分割的准确率和效率。
实施例四
本申请实施例提供了一种电子设备，存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现上述任一所述的脑肿瘤图像分割方法。
本申请实施例提供的一种电子设备，通过获取至少两种模态的脑肿瘤图像，可以得到每个模态用于预测的脑肿瘤图像；然后，将每个模态用于预测的脑肿瘤图像输入至与所述模态相对应的语义特征金字塔模型进行预测，就可以获得每个模态用于预测的脑肿瘤图像相对应的脑肿瘤分割图像；最后，将每个模态的脑肿瘤分割图像进行融合，就可以避免对单个模态的脑肿瘤图像进行分割时存在信息丢失、分割精度低等问题，能够充分利用多种模态的脑肿瘤图像，提高对至少两个模态的脑肿瘤图像进行分割的准确率和效率。
同时，由于是对至少两种模态的脑肿瘤图像进行全自动分割，还可以大幅度地减轻阅片医生的工作量，提升了脑肿瘤的诊断效率，以便于为患者制定最佳的诊断和治疗方案。
实施例五
本申请实施例提供了一种计算机存储介质，其上存储有计算机程序，计算机程序被处理器执行时能实现上述的脑肿瘤图像分割方法。
本申请的实施例提供了一种计算机存储介质，通过获取至少两种模态的脑肿瘤图像，可以得到每个模态用于预测的脑肿瘤图像；然后，将每个模态用于预测的脑肿瘤图像输入至与所述模态相对应的语义特征金字塔模型进行预测，就可以获得每个模态用于预测的脑肿瘤图像相对应的脑肿瘤分割图像；最后，将每个模态的脑肿瘤分割图像进行融合，就可以避免对单个模态的脑肿瘤图像进行分割时存在信息丢失、分割精度低等问题，能够充分利用多种模态的脑肿瘤图像，提高对至少两个模态的脑肿瘤图像进行分割的准确率和效率。
本技术领域技术人员可以理解，本发明技术方案的执行主体是开发人员，所依附的载体是医疗设备、智能设备以及服务器交互形成的组合设备。本发明提出的是一种脑肿瘤图像分割方法、装置、电子设备及存储介质，侵权证据需要从对方服务器上获取，因此获得侵权证据的难度较大。
本技术领域技术人员可以理解，本申请包括涉及用于执行本申请中所述操作中的一项或多项的设备。这些设备可以为所需的目的而专门设计和制造，或者也可以包括通用计算机中的已知设备。这些设备具有存储在其内的计算机程序，这些计算机程序选择性地激活或重构。这样的计算机程序可以被存储在设备(例如，计算机)的存储介质中或者存储在适于存储电子指令并分别耦联到总线的任何类型的介质中，该计算机存储介质包括但不限于任何类型的盘(包括软盘、硬盘、光盘、CD-ROM和磁光盘)、ROM(Read-Only Memory，只读存储器)、RAM(Random Access Memory，随即存储器)、EPROM(Erasable ProgrammableRead-Only Memory，可擦写可编程只读存储器)、EEPROM(Electrically ErasableProgrammable Read-Only Memory，电可擦可编程只读存储器)、闪存、磁性卡片或光线卡片。也就是，存储介质包括由设备(例如，计算机)以能够读的形式存储或传输信息的任何介质。
本技术领域技术人员可以理解，可以用计算机程序指令来实现这些结构图和/或框图和/或流程图中的每个框以及这些结构图和/或框图和/或流程图中的框的组合。本技术领域技术人员可以理解，可以将这些计算机程序指令提供给通用计算机、专业计算机或其它可编程数据处理方法的处理器来实现，从而通过计算机或其他可编程数据处理方法的处理器来执行本申请公开的结构图和/或框图和/或流图的框或多个框中指定的方案。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。
Claims (11)
1.一种脑肿瘤图像分割方法，其特征在于，所述方法包括：
获取用户的至少两个模态的脑肿瘤图像；
将每个所述模态的脑肿瘤图像输入至与所述模态相对应的语义特征金字塔模型进行预测，获得每个所述模态的脑肿瘤图像相对应的脑肿瘤分割图像；
将至少两个所述脑肿瘤分割图像进行融合，得到所述用户的目标脑肿瘤分割图像。
2.根据权利要求1所述的方法，其特征在于，所述语义特征金字塔模型至少包括：卷积网络、语义金字塔网络、语义分割网络；所述将每个所述模态的脑肿瘤图像输入至与所述模态相对应的语义特征金字塔模型进行预测，获得每个所述模态的脑肿瘤图像相对应的脑肿瘤分割图像，包括：
将每个所述模态的脑肿瘤图像输入至所述卷积网络，并将所述卷积网络的输出图像输入至所述语义金字塔网络，并将所述语义金字塔网络的输出图像输入至所述语义分割网络，得到每个所述模态的脑肿瘤图像相对应的脑肿瘤分割图像。
3.根据权利要求2所述的方法，其特征在于，所述将每个所述模态的脑肿瘤图像输入至所述卷积网络，并将所述卷积网络的输出图像输入至所述语义金字塔网络，并将所述语义金字塔网络的输出图像输入至所述语义分割网络，得到每个所述模态的脑肿瘤图像相对应的脑肿瘤分割图像，包括：
将每个所述模态相对应的语义特征金字塔模型通过以下步骤对所述模态的脑肿瘤图像进行处理：
通过所述卷积网络中依次连接的至少两个卷积层分别对所述脑肿瘤图像执行下采样操作，得到所述脑肿瘤分割图像的第一分辨率的第一特征图像，所述第一分辨率且小于所述脑肿瘤图像的目标分辨率；
通过所述语义金字塔网络中依次连接的至少两个语义金字塔层分别对所述第一特征图像执行上采样操作，得到第二分辨率的至少两个第二特征图像，所述第二分辨率大于所述第一分辨率；
通过所述语义分割网络中至少两个语义分割层分别对所述第二特征图像进行上采样操作，得到第三分辨率的至少两个第三特征图像，所述第三分辨率大于所述第二分辨率且小于所述目标分辨率；
将所述至少两个第三特征图像进行融合，得到第三分辨率的第四特征图像，并对所述第四特征图像执行上采样操作，得到所述目标分辨率的脑肿瘤分割图像，所述目标分辨率和脑肿瘤图像的分辨率相同。
4.根据权利要求1所述的方法，其特征在于，所述将至少两个所述脑肿瘤分割图像进行融合，得到所述用户的目标脑肿瘤分割图像，包括：
获取所述每个所述模态的脑肿瘤分割图像的像素平均值；
将所述像素平均值组成的分割置信图，作为所述用户的目标脑肿瘤分割图像。
5.根据权利要求1所述的方法，其特征在于，在所述获取用户的至少两个模态的脑肿瘤图像之后，所述方法还包括：
对所述至少两个模态的脑肿瘤图像进行尺寸缩放、零均值化和单位标准化操作。
6.根据权利要求1所述的方法，其特征在于，在所述获取用户的至少两个模态的脑肿瘤图像之后，所述方法还包括：
通过预设数据增强操作，扩增所述至少两个模态的脑肿瘤图像。
7.根据权利要求1所述的方法，其特征在于，所述每个所述模态对应的语义特征金字塔模型通过以下步骤训练得到：
获取用户的至少两个模态的脑肿瘤图像，以及每个所述脑肿瘤图像对应的标准脑肿瘤分割图像；
将每个所述模态的脑肿瘤图像输入至与所述模态相对应的语义特征金字塔模型进行训练，获得每个所述模态的脑肿瘤图像相对应的训练脑肿瘤分割图像；
将至少两个所述训练脑肿瘤分割图像进行融合，得到所述用户的目标训练脑肿瘤分割图像；
在根据目标训练脑肿瘤分割图像和所述标准脑肿瘤分割图像确定的损失函数的数值小于预设值时，停止对所述语义特征金字塔模型的训练。
8.根据权利要求7所述的方法，其特征在于，所述损失函数至少包括第一损失函数和第二损失函数，所述在根据目标训练脑肿瘤分割图像和所述标准脑肿瘤分割图像确定的损失函数的数值小于预设值时，停止对于所述语义特征金字塔模型的训练，包括：
在根据目标训练脑肿瘤分割图像和所述标准脑肿瘤分割图像确定的所述第一损失函数和所述第二损失函数的数值小于预设值时，停止对于所述语义特征金字塔模型的训练；
其中，所述第一损失函数或所述第二损失函数至少包括：二分类交叉熵损失函数、戴斯相似系数损失函数和焦点损失函数中的任一个。
9.一种脑肿瘤图像分割装置，其特征在于，所述装置包括：
多模态磁共振图像获取模块，被配置为获取用户的至少两个模态的脑肿瘤图像；
语义分割模块，被配置为将每个所述模态的脑肿瘤图像输入至与所述模态相对应的语义特征金字塔模型进行预测，获得每个所述模态的脑肿瘤图像相对应的脑肿瘤分割图像；
多模型融合预测模块，被配置为将至少两个所述脑肿瘤分割图像进行融合，得到所述用户的目标脑肿瘤分割图像。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现权利要求1至8中任一所述的脑肿瘤图像分割方法。
11.一种电子设备，其特征在于，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现权利要求1至8中任一所述的脑肿瘤图像分割方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110287970.4A CN112991363A (zh) | 2021-03-17 | 2021-03-17 | 脑肿瘤图像分割方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110287970.4A CN112991363A (zh) | 2021-03-17 | 2021-03-17 | 脑肿瘤图像分割方法、装置、电子设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112991363A true CN112991363A (zh) | 2021-06-18 |
Family
ID=76333502
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110287970.4A Pending CN112991363A (zh) | 2021-03-17 | 2021-03-17 | 脑肿瘤图像分割方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112991363A (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113724160A (zh) * | 2021-08-26 | 2021-11-30 | 浙江大学医学院附属邵逸夫医院 | 一种脑影像处理方法、装置、设备及存储介质 |
| CN113793347A (zh) * | 2021-09-18 | 2021-12-14 | 福建师范大学 | 基于局部-全局自适应信息学习的脑肿瘤mr图像分割方法 |
| CN114121291A (zh) * | 2021-10-26 | 2022-03-01 | 泰康保险集团股份有限公司 | 疾病分级预测方法、装置、电子设备及存储介质 |
| CN114266754A (zh) * | 2021-12-23 | 2022-04-01 | 中山大学孙逸仙纪念医院 | 基于深度学习的致密性乳腺图像分类评估方法和装置 |
| CN114862863A (zh) * | 2022-07-11 | 2022-08-05 | 四川大学 | 一种样本可均衡的曲轴表面缺陷检测方法及检测*** |
| CN116342986A (zh) * | 2023-05-29 | 2023-06-27 | 深圳惟德精准医疗科技有限公司 | 模型训练方法、目标器官的分割方法及相关产品 |
| CN118097157A (zh) * | 2024-04-26 | 2024-05-28 | 西安交通工程学院 | 基于模糊聚类算法的图像分割方法及*** |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109410219A (zh) * | 2018-10-09 | 2019-03-01 | 山东大学 | 一种基于金字塔融合学习的图像分割方法、装置和计算机可读存储介质 |
| CN110363802A (zh) * | 2018-10-26 | 2019-10-22 | 西安电子科技大学 | 基于自动分割和骨盆对齐的***图像配准***及方法 |
| CN110766701A (zh) * | 2019-10-31 | 2020-02-07 | 北京推想科技有限公司 | 网络模型训练方法及装置、区域划分方法及装置 |
| US20200357143A1 (en) * | 2019-05-09 | 2020-11-12 | Sri International | Semantically-aware image-based visual localization |
-
2021
- 2021-03-17 CN CN202110287970.4A patent/CN112991363A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109410219A (zh) * | 2018-10-09 | 2019-03-01 | 山东大学 | 一种基于金字塔融合学习的图像分割方法、装置和计算机可读存储介质 |
| CN110363802A (zh) * | 2018-10-26 | 2019-10-22 | 西安电子科技大学 | 基于自动分割和骨盆对齐的***图像配准***及方法 |
| US20200357143A1 (en) * | 2019-05-09 | 2020-11-12 | Sri International | Semantically-aware image-based visual localization |
| CN110766701A (zh) * | 2019-10-31 | 2020-02-07 | 北京推想科技有限公司 | 网络模型训练方法及装置、区域划分方法及装置 |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113724160A (zh) * | 2021-08-26 | 2021-11-30 | 浙江大学医学院附属邵逸夫医院 | 一种脑影像处理方法、装置、设备及存储介质 |
| CN113724160B (zh) * | 2021-08-26 | 2023-09-05 | 浙江大学医学院附属邵逸夫医院 | 一种脑影像处理方法、装置、设备及存储介质 |
| CN113793347A (zh) * | 2021-09-18 | 2021-12-14 | 福建师范大学 | 基于局部-全局自适应信息学习的脑肿瘤mr图像分割方法 |
| CN113793347B (zh) * | 2021-09-18 | 2023-05-09 | 福建师范大学 | 基于局部-全局自适应信息学习的脑肿瘤mr图像分割方法 |
| CN114121291A (zh) * | 2021-10-26 | 2022-03-01 | 泰康保险集团股份有限公司 | 疾病分级预测方法、装置、电子设备及存储介质 |
| CN114266754A (zh) * | 2021-12-23 | 2022-04-01 | 中山大学孙逸仙纪念医院 | 基于深度学习的致密性乳腺图像分类评估方法和装置 |
| CN114862863A (zh) * | 2022-07-11 | 2022-08-05 | 四川大学 | 一种样本可均衡的曲轴表面缺陷检测方法及检测*** |
| CN114862863B (zh) * | 2022-07-11 | 2022-09-20 | 四川大学 | 一种样本可均衡的曲轴表面缺陷检测方法及检测*** |
| CN116342986A (zh) * | 2023-05-29 | 2023-06-27 | 深圳惟德精准医疗科技有限公司 | 模型训练方法、目标器官的分割方法及相关产品 |
| CN116342986B (zh) * | 2023-05-29 | 2023-08-11 | 深圳惟德精准医疗科技有限公司 | 模型训练方法、目标器官的分割方法及相关产品 |
| CN118097157A (zh) * | 2024-04-26 | 2024-05-28 | 西安交通工程学院 | 基于模糊聚类算法的图像分割方法及*** |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Rehman et al. | Fully automated multi-parametric brain tumour segmentation using superpixel based classification | |
| Wang et al. | Breast cancer detection using extreme learning machine based on feature fusion with CNN deep features | |
| Mohan et al. | MRI based medical image analysis: Survey on brain tumor grade classification | |
| Jiang et al. | 3D brain tumor segmentation in multimodal MR images based on learning population-and patient-specific feature sets | |
| Lather et al. | Investigating brain tumor segmentation and detection techniques | |
| CN112991363A (zh) | 脑肿瘤图像分割方法、装置、电子设备及存储介质 | |
| Saikumar et al. | A novel implementation heart diagnosis system based on random forest machine learning technique. | |
| Ahirwar | Study of techniques used for medical image segmentation and computation of statistical test for region classification of brain MRI | |
| Nayantara et al. | Computer-aided diagnosis of liver lesions using CT images: A systematic review | |
| Hussain et al. | Cascaded regression neural nets for kidney localization and segmentation-free volume estimation | |
| Srinivasu et al. | An AW-HARIS Based Automated Segmentation of Human Liver Using CT Images. | |
| US20130308849A1 (en) | Systems, methods and computer readable storage mediums storing instructions for 3d registration of medical images | |
| Suresha et al. | Alzheimer disease detection based on deep neural network with rectified Adam optimization technique using MRI analysis | |
| CN115496771A (zh) | 一种基于脑部三维mri图像设计的脑肿瘤分割方法 | |
| Ye et al. | Medical image diagnosis of prostate tumor based on PSP-Net+ VGG16 deep learning network | |
| Di et al. | Automatic liver tumor segmentation from CT images using hierarchical iterative superpixels and local statistical features | |
| Rela et al. | Liver tumor segmentation and classification: a systematic review | |
| Abdelhafeez et al. | Skin cancer detection using neutrosophic c-means and fuzzy c-means clustering algorithms | |
| Huang et al. | Automatic Retinal Vessel Segmentation Based on an Improved U‐Net Approach | |
| Kareem et al. | Skin lesions classification using deep learning techniques | |
| Nayan et al. | A deep learning approach for brain tumor detection using magnetic resonance imaging | |
| Wang et al. | Deep learning based fetal middle cerebral artery segmentation in large-scale ultrasound images | |
| Tong et al. | Automatic lumen border detection in IVUS images using dictionary learning and kernel sparse representation | |
| Liu et al. | Weakly-supervised localization and classification of biomarkers in OCT images with integrated reconstruction and attention | |
| CN116958705A (zh) | 基于图神经网络的医学影像归类*** |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |