CN115147600A - 基于分类器权重转换器的gbm多模态mr图像分割方法 - Google Patents

Abstract

本发明公开了一种基于分类器权重转换器的GBM多模态MR图像分割方法，采集多模态核磁共振图像，然后在上位机中对多模态核磁共振图像经过切片处理与标准化处理获得图像矩阵，将图像矩阵中四个模态的图像融合成一个张量输入脑肿瘤多模态MR图像分割模型后获得预测概率分布图；本发明使用了少镜头语义分割的方法，可以有效解决高质量医学图像数据集难以获取、数据量少的问题，进而一定程度上降低了数据采集和存储的成本，从而对GBM多模态MR图像进行高效地分割。

Description

基于分类器权重转换器的GBM多模态MR图像分割方法

技术领域

本发明涉及数字医学图像识别领域，具体是一种基于分类器权重转换器的GBM多模态MR图像分割方法。

背景技术

胶质母细胞瘤(Glioblastoma Multiforme,GBM)是严重危害人类健康的疾病之一，具有高发病率、高复发率、高病死率及低治疗率的特点。我国GBM年发病率为20～40万人，年死亡人数达3万人。GBM属于恶性度最高的胶质瘤，10年生存率不到3％，中位生存期约12至14个月。多模态磁共振成像是目前临床上诊断及评估GBM最重要的方法，但有时GBM影像表现不典型，且其中的异质性可能影响后续诊断的准确性及预后判断，人工诊断需要耗费大量的时间与精力。随着人工智能技术和影像组学的兴起，在磁共振图像中挖掘深层次肿瘤信息成为可能的同时，实现自动分割肿瘤图像也对GBM的辅助治疗具有重要意义。

纵观国内外各类文献报道，尽管实现GBM肿瘤的精确自动分割存在很大困难，但因其具有巨大的辅助医疗意义，近些年吸引了众多研究人员致力于对它的研究。由于3-D MRI数据的出现，对于提取属于同一组织的边界元素并将这些元素整合到一个连贯一致的模型中成为了一个具有挑战性的问题。目前提出的基于模型的分割方法可以解决这一问题。该方法包括参数可变化模型和几何变形模型。参数可变化模型(Parametric DeformableModels,PDM)对脑肿瘤分割的方法是通过适当的初始化，进而找到脑肿瘤的边界对其进行分割。但这种方法的一个缺点是难以自然处理轮廓的分割以及合并拓扑变化，有时需要手动定位到足够靠近所需边界的位置，以免收敛到错误的边界。几何可变形模型(GeometricDeformable Models,GDM)被提出来改善这个问题。GDM显著改进了参数轮廓的初始化，并假设初始轮廓相当于感兴趣的边界对称放置。但在实践中，由于许多脑肿瘤分割方法无法处理规则形状的对象，导致该方法较难实现。除上述算法外，随着深度学习和自然语言处理的发展，U-Net及其变形模型结构相继提出，其中Transformer与U-Net相结合的算法也被广泛使用以提升脑肿瘤分割的准确性。但是，通过分析已有的GBM多模态磁共振图像分割方法发现，上述研究虽取得了一定的研究成果，但这些方法大部分对肿瘤子区域没有进一步划分，Transformer与U-Net结合虽然可以对肿瘤子区域细分，但需要大量训练数据和训练时间，对于医学图像领域来说，获取大量有标注的优质数据集是较为困难的。因此分离出不同子区域，同时不依赖大量标注数据对GBM获取高层次影像特征具有十分重要的意义。

申请号为201711476297.9的发明专利《基于深度对抗学习的无监督域自适应脑肿瘤语义分割方法》在目标域无标注数据的情况下，分割***需在源域上使用大量标注数据对模型进行训练，进而生成与源域具有相同精度的目标域分割***。而高质量的医学图像数据集难以获取，且数据量较少，导致在源域上训练模型较为困难。该发明所采用的GAN损失函数学习过程中容易发生生成器退化的情况，导致模型生成同样的样本点从而无法继续学习的问题。同时生成模型崩溃时，判别模型也会对相似的样本点指向相似的方向，使得训练任务无法继续。

因此需要具有更好性能的GBM多模态MR图像分割方法。

发明内容

本发明要解决的技术问题是提供一种基于分类器权重转换器的GBM多模态MR图像分割方法，用以对GBM多模态MR图像进行有效分割。

为了解决上述技术问题，本发明提供一种基于分类器权重转换器的GBM多模态MR图像分割方法，包括：采集多模态核磁共振图像，然后在上位机中对多模态核磁共振图像经过切片处理与标准化处理获得图像矩阵，将图像矩阵中四个模态的图像融合成张量输入脑肿瘤多模态MR图像分割模型后获得预测概率分布图。

作为本发明的一种基于分类器权重转换器的GBM多模态MR图像分割方法的改进：

所述脑肿瘤多模态MR图像分割模型包括PSPNet网络、分类器和分类器权重转换器；输入的所述张量经过PSPNet网络之后输出四个通道作为分类器的输入，每个通道包括其中一个模态核磁共振图像的数值特征，然后分类器输出分类器初始化权重，并与经过PSPNet网络提取到的数值特征以三元组(R,T,U)的形式输入至分类器权重转换器中，通过分类器权重转换器输出查询-自适应分类权重，作为分类器用于对输入的四个通道中每个像素进行预测操作的分类器权重，然后分类器将所输入的四个通道中的数值特征转换为概率值输出获得所述预测概率分布图；

所述预测概率分布图采用不同灰度级进行区域描述：浅灰为瘤周水肿区域，白色为增强型肿瘤区域，深灰为坏死性肿瘤区域，除了三个区域以外的部分为正常组织区域。

作为本发明的一种基于分类器权重转换器的GBM多模态MR图像分割方法的进一步改进：

所述分类器权重转换器包括：所述三元组(R,T,U)经过一个共享线性层，然后经过四头注意模块与全连接层，再经过退出层后的输出与所述分类器初始化权重通过残差连接求和后输出查询-自适应分类器权重，四头注意模块中包括分类器查询图像注意机制；最后将输出的查询-自适应分类器权重与三元组中特征T和特征U进行卷积操作；

所述三元组(R,T,U)为：

其中，ω为分类器权重，

为模型学习的参数，各个参数由全连接层表示；λ为经过PSPNet网络后输出通道中的所述数值特征。

作为本发明的一种基于分类器权重转换器的GBM多模态MR图像分割方法的进一步改进：

所述分类器查询图像注意机制的公式如下：

其中，s()为行SoftMax函数，φ()为输入维度是d_a、输出维度为d的线性层，w为调整前的分类器权重，w'为调整后的分类器权重。

作为本发明的一种基于分类器权重转换器的GBM多模态MR图像分割方法的进一步改进：

所述分类器采用softmax分类器；

所述PSPNet网络包括编码器与解码器，在下采样后的特征图后接了一个金字塔池化模块，通过这个模块上采样和级联层形成最终的特征表示，同时携带局部和全局上下文信息，最后对上采样后的特征图进行像素点分类完成了整个分割过程。

作为本发明的一种基于分类器权重转换器的GBM多模态MR图像分割方法的进一步改进：

所述切片处理为对所述多模态核磁共振图像进行裁剪，保留病变区域图像，舍弃部分无病变区域的背景图像；

所述标准化处理为对各个模态图像进行z-score标准化操作：

其中，Z表示经过标准化处理后的图像矩阵，X表示原图像矩阵，μ表示图像的均值，σ表示图像的标准差。

作为本发明的一种基于分类器权重转换器的GBM多模态MR图像分割方法的进一步改进：

所述脑肿瘤多模态MR图像分割模型的训练和测试过程为：

1)、构建并使用训练集对PSPNet网络进行预训练，使用SoftMax激活函数的Dice相似系数作为PSPNet网络的损失函数；预训练中通过调整学***均Dice相似系数值最大且豪斯多夫距离值最小的模型作为预训练好的PSPNet网络；

2)、分类器调整

2.1)、构建并在测试集上分别用K个和N个样本创建支持集S和查询集Q：

其中，M_i和M_j表示训练样本的标签，K为标签类别的数量，设置为4，N设置为1；

然后，将查询集Q中的图像依次输入预训练好的PSPNet网络，对查询集Q图像的所有n个像素提取特征获得特征

其中d表示特征维度；

2.2)、使用支持集S和查询集Q对分类器及分类器权重转换器进行训练

a)、分类器训练：

使用Adam优化器和用SoftMax激活函数的Dice相似系数作为损失函数在支持集S上训练分类器，迭代轮数为100，学习率为0.1，权重衰减为le-5，重复100轮后得到在支持集S上训练后的分类器权重作为分类器权重转换器的训练输入；

b)、分类器权重转换器训练

初始学习率大小为0.0002，训练过程中采用Adam优化器对学习率和权重衰减进行自动调整，所述查询集Q图像的所有n个像素提取特征获得特征λ与所述分类器训练获得的分类器权重作为分类器权重转换器的输入，对分类器权重转换器进行一次训练，输出查询-自适应分类权重，重复100轮后获得最终对查询集Q中图像进行预测的查询-自适应分类权重；

c)、参数调优过程：

调整分类器权重转换器训练过程中对应的超参数，包括增加训练轮数、调整batchsize大小，在测试集上对不同batch size下的分类器权重转换器测试，获取平均Dice相似系数值最大且豪斯多夫距离值最小的模型作为训练好的脑肿瘤多模态MR图像分割模型；

2.3)、脑肿瘤多模态MR图像分割模型的测试

在训练集中随机挑选部分样例输入训练好的脑肿瘤多模态MR图像分割模型进行测试，输出分割结果，将分割结果与对应的标签图像进行对比，统计各个样例的Dice相似系数值与Hausdorff95值符合在线使用要求，从而获得在线使用的所述脑肿瘤多模态MR图像分割模型。

作为本发明的一种基于分类器权重转换器的GBM多模态MR图像分割方法的进一步改进：

所述训练集和测试集的构建过程为：

多模态核磁共振图像数据数据集包括训练样例和验证样例，每一个样例中均包括4个模态的核磁共振图像及一张对应的标签图像；将每个训练样例和验证样例的4个模态的核磁共振图像均进行所述切片处理和标准化处理，然后将经过标准化处理后的图像矩阵进行数据增强，分别于横断面、冠状面及矢状面上进行随机镜面翻转，从而扩容为原数量3倍的增强处理后的图像矩阵，之后再进行一次所述切片处理；数据增强与二次切片处理后获得的图像矩阵包括四个模态的图像，将四个模态的图像融合成一个张量；最终，将训练样例的张量及对应的标签图像作为所述训练集，验证样例的张量作为所述测试集。

作为本发明的一种基于分类器权重转换器的GBM多模态MR图像分割方法的进一步改进：

所述Dice相似系数计算的表达式如下：

其中，X表示预测值，Y表示真实值；

所述Hausdorff95值计算公式如下：

其中，sup表示上确界，inf表示下确界，x和y表示地面真实区域的曲面X和预测区域的曲面Y上的点，d(x，y)是点x和y之间距离的函数。

本发明与现有技术相比，具有如下技术优势：

1、本发明采用了少镜头语义分割的方法，可以有效解决高质量医学图像数据集难以获取、数据量少的问题，进而一定程度上降低了数据采集和存储的成本。

2、本发明采用了分类器权重转换器进行分割的策略，在模型经过预训练后冻结编码器和解码器，仅针对分类器部分进行元学习，克服了以往对编码器、解码器、分类器三个部分进行元学习的性能缺陷，在获得脑胶质瘤多模态核磁共振图像较高分割精度的同时，简化了元学习任务，降低了分类的复杂性。

3、本发明将整个GBM肿瘤分割为背景区域、坏死性肿瘤区域、瘤周水肿区域、增强型肿瘤区域，能够获取GBM不同子区域的强度分布描述，为定量图像分析提供基础。

附图说明

下面结合附图对本发明的具体实施方式作进一步详细说明。

图1为本发明一种基于分类器权重转换器的GBM多模态MR图像分割方法的原理框图；

图2为核磁共振图像标准化处理前后对比图(左图为原始图像，右图为处理后的图像)；

图3为本发明的脑肿瘤多模态MR图像分割模型的结构示意图；

图4为图3中的分类器权重转换器的结构示意图；

图5为测试样例骰子相似系数箱线图(左图)与豪斯多夫距离箱线图(右图)；

图6为测试样例在不同模态下分割结果与真实标签的对比图；

图7为测试样例在同一模态下不同方向上的分割情况的示意图；

图8为测试样例在不同模态下的分割结果示意图。

具体实施方式

下面结合具体实施例对本发明进行进一步描述，但本发明的保护范围并不仅限于此：

实施例1、一种基于分类器权重转换器的GBM多模态MR图像分割方法，如图1-8所示，多模态核磁共振图像(核磁共振简称为MR)包括常规T1加权扫描的图像(T1)、对比增强后T1加权扫描(T1Gd)、常规T2加权扫描以及FLAIR图像4种模态图像信息。针对多模态核磁共振图像的分割方法具体包括以下步骤：

1、构建训练数据和基于分类器权重转换器的脑肿瘤MR图像自动分割模型

1.1、数据获取

模型训练采用的多模态核磁共振图像数据均来自2020脑肿瘤分割挑战赛(2020Brain Tumor Segmentation Challenge)数据集，包括369个训练样例和125个验证样例，该数据集包含两种类型的脑肿瘤，即高级别胶质母细胞瘤(HGG)和低级别胶质母细胞瘤(LGG)，每一个样例中均包括多模态MR图像(四个模态图像)及一张对应的标签图像，四个模态图像分别为液体衰减反转恢复(FLAIR)图像，T1加权(T1)图像，T1加权对比增强(T1Gd)图像和T2加权(T2)图像，标签图像为神经放射科专家经过较高精度的算法初步分割后再手动校正对应切片图像获得，标签包括4个区域类别，分别为背景区域、坏死性肿瘤区域、瘤周水肿区域、增强型肿瘤区域。

1.2、预处理

将369个训练样例和125个验证样例中的多模态MR图像依次均进行预处理，用以构建预训练模型的训练集和测试集，具体为：

1.2.1、切片处理

由于该数据集的每个多模态MR图像中大部分为背景区域，仅有少部分区域为病变区域。多模态MR图像为三维图像，每一个模态的MR图像为NIFTI格式的图像，图像大小为240×240×155，对训练样例和验证样例中原始大小为240×240×155的图像矩阵进行裁剪后获得128×128×128的切片图像矩阵，即，保留病变区域，舍弃部分无病变区域的背景图像，其目的是更好地分割较小的肿瘤区域并减少较大背景区域的影响。

1.2.2、标准化处理

对步骤1.2.1获得的128×128×128的切片图像矩阵进行标准化处理。对各个模态图像进行处理，需要对不同模态进行标准化操作，即，z-score标准化。由于每个样本的多模态MR图像数据包含T1，T2，T1Gd和FLAIR四种模态，不同模态的图像对比度有差异，且图像边界模糊具有噪声，很难捕捉到其特征的细微差异。标准化可以增强图像的对比度，使得图像更容易分割，因此，本实施例中采用z-score的方法对所获得的128×128×128的切片图像矩阵进行标准化，即通过图像像素减去平均值除以标准差的方法对数据进行处理。z-score的计算式如下：

其中，Z表示经过标准化处理后的图像矩阵，X表示原图像矩阵(即128×128×128的切片图像矩阵)，μ表示图像的均值，σ表示图像的标准差。

MR图像数据经过z-score处理前后的对比情况如图2所示，左图为原始图像，右图为经过标准化处理后的图像。将二者的局部细节放大可以明显观察到，经过标准化处理后的图像病变部位与正常组织对比明显增强，有利于提升后续分割的准确性。

由于同一组织对于不同病人、不同模态来说其影像存在一定差异，且多数医学图像边界模糊，具有噪声，难以捕捉特征的细微差异，所以标准化处理必不可少。

1.2.3、数据增强与二次切片处理

对经过步骤1.2.2标准化处理后的图像矩阵进行数据增强，分别于横断面、冠状面及矢状面上进行随机镜面翻转，从而扩容为原数量3倍的增强处理后的图像矩阵，之后对增强处理后的各个的图像矩阵按步骤1.2.1再进行一次切片处理，去除部分多余的背景图像，以便更好地检测边缘细节特征。

数据增强与二次切片处理后获得的128×128×128的图像矩阵包括四个模态的图像，将四个模态的图像融合成大小为4×128×128×128的张量作为预训练模型的输入。(多模态图像融合为现有技术，通过融合不同类型传感器采集的图像，实现同一场景不同特征的互补，生成信息丰富的图像供后续处理。张量是一个多维数组，在表示高维数据和特征提取方面的优异性能，例如《Image Fusion Using Higher Order Singular ValueDecomposition》(Junli Liang；Yang He；Ding Liu；Xianju Zeng，IEEE Transactions onImage Processing(Volume:21,Issue:5,May 2012))的方法中，源图像被初始化为一个张量，随后使用滑动窗口技术将其分解为多个子张量，然后，将高阶奇异值分解方法(HOSVD)应用于每个子张量以提取相应的特征，这些特征通过采用一定的融合规则进行融合)。

最终，经过步骤1.2.1-1.2.3的操作，369个训练样例的多模态MR图像进行预处理后获得369*3个4×128×128×128的张量及其对应的标签图像作为预训练模型的训练集，125个验证样例的多模态MR图像进行预处理后获得125*3个4×128×128×128的张量作为预训练模型的测试集。

1.3、构建基于分类器权重转换器的脑肿瘤多模态MR图像自动分割模型。

本发明的基于分类器权重转换器的脑肿瘤多模态MR图像自动分割模型(简称为脑肿瘤多模态MR图像分割模型)用于基于分类器权重转换器对输入图像的不同肿瘤亚区进行分割预测，获得预测概率分布图，脑肿瘤多模态MR图像分割模型包括PSPNet、分类器和分类器权重转换器，如图3所示。

1.3.1、构建PSPNet网络

PSPNet网络是基于编码器与解码器结构的网络，在下采样后的特征图后接了一个金字塔池化模块，通过这个模块上采样和级联层形成最终的特征表示，同时携带局部和全局上下文信息，最后对上采样后的特征图进行像素点分类完成了整个分割过程。PSPNet网络的核心模块为金字塔池化模块，它能够聚合不同区域的上下文信息，进而提高获取全局信息的能力。在脑肿瘤分割任务中，相较于传统的U-Net网络仅在一个特征图上采样，PSPNet网络采用不同尺度级别的卷积尺寸，提取到的特征更具多样性。输入的4×128×128×128的张量经过PSPNet网络的输出为通道0至通道3的4个通道，与标签图像的4个标签类别(即背景区域、坏死性肿瘤区域、瘤周水肿区域、增强型肿瘤区域)相对应。

1.3.2、构建分类器

分类器采用softmax分类器，在对PSPNet网络进行预训练后，将PSPNet网络的解码器输出的四个通道作为softmax分类器的输入，分类器对各通道中的数值特征初始化权重，之后将各数值特征映射到(0,1)区间。经过该映射后输出的数值累计和为1，作为概率值输出；其中通道0中的非零值区域为背景区域，通道1中的非零值区域为坏死性肿瘤区域，通道2中的非零值区域为瘤周水肿区域，通道3中的非零值区域为增强型肿瘤区域，实现对图像中肿瘤亚区的分割预测。

1.3.3、构建分类器权重转换器

为了对分类器权重进行调整以适应查询图像，构建分类器权重转换器，通过分类器权重转换器对分类器内部的权重进行调整，获得适合查询图像的权重，如图4所示。分类器权重转换器的输入为三元组(R,T,U)，其具体表示形式如下式：

其中，ω为分类器权重，

为模型学习的参数，各个参数由全连接层表示，用以将分类器权重和查询特征投影到d_a-D的潜在空间中。l为经过PSPNet网络后输出通道中的数值特征。

三元组(R,T,U)经过一个尺寸大小为512×2048的共享线性层，用以将输入投射到潜在空间；然后依次经过四头注意模块与全连接层以及退出层，在四头注意模块中引入分类器查询图像注意机制以定义分类器权重和查询图像像素之间的注意力得分，全连接层用以将2048大小的尺寸恢复到512大小，退出层用以稳定训练，同时进行层规范化。退出层的输出与分类器初始化权重R通过残差连接求和后输出查询-自适应分类器权重；最后将输出的查询-自适应分类器权重与三元组中特征T和特征U进行卷积操作，从而预测查询图像中的各个像素，最终输出预测图像。

对于查询集中查询图像的两个像素通常比背景类的两个像素具有更高的相似性，为了加强这种期望的接近程度，采用了分类器查询图像注意机制，公式如下：

其中，s()为行SoftMax函数，用于将注意力标准化。φ()为输入维度是d_a、输出维度为d的线性层。w为调整前的分类器权重，w'为调整后的分类器权重。

分类器查询图像注意机制的式(8)中通过成对的相似性定义了分类器权重和查询图像像素之间的注意力得分，并进一步用于U空间的加权聚合。

2、脑肿瘤多模态MR图像分割模型的训练和测试过程

2.1、PSPNet网络预训练过程：

利用通过步骤1.2所得的预训练模型的训练集对PSPNet网络进行预训练，并将训练后的模型保存，获得能够捕捉区分性特征的预训练好的PSPNet网络；具体操作过程步骤如下：

将PSPNet网络作为分割模型，使用SoftMax激活函数的Dice相似系数(DiceSimilarity Coefficient)作为分割模型的损失函数，Dice相似系数是一种集合相似度度量函数，也称为骰子相似系数，Dice相似系数计算的表达式如下：

其中，X表示预测值，即经SoftMax计算后的概率结果，Y表示真实值。

预训练过程中通过调整学习率、batch size和迭代轮数等超参数，获得在Dice相似系数值和Hausdorff95值上效果最优的模型，Hausdorff95值为豪斯多夫距离(Hausdorffdistance)值乘以95％，目的是为了消除离群值的一个非常小的子集的影响，计算公式如下：

其中，sup表示上确界，inf表示下确界，x和y表示地面真实区域的曲面X和预测区域的曲面Y上的点，d(x，y)是点x和y之间距离的函数。

将所获得平均Dice相似系数值最大且豪斯多夫距离值最小的模型作为预训练好的PSPNet网络以支持后续对分类器权重转换器的训练。

2.2、分类器调整

在获得预训练好的PSPNet网络之后，对分类器进行训练，用于少镜头分割任务。通过在预训练模型的测试集上划分支持集和查询集，然后提取支持集上每个图像像素的特征向量，使用SoftMax激活函数的Dice相似系数对分类器权重转换器模型进行训练，利用训练后得到的分类器权重转换器在测试集上进行测试得到精细分割的结果。具体操作过程包括以下步骤：

2.2.1、支持集和查询集的划分

利用预训练模型的测试集，分别用K个和N个样本创建支持集S和查询集Q，支持集和查询集的表示如下：

其中，M_i和M_j表示训练样本的标签，K为标签类别的数量，对于脑肿瘤MR图像，有背景区域、坏死性肿瘤区域、瘤周水肿区域、增强型肿瘤区域四个类别，故将K设置为4。在单个样本作为查询图像的标准下，将N设置为1。本实施例中，预训练模型的测试集中包含全部类别。

然后，将查询集Q中的图像依次输入预训练好的PSPNet网络，对查询集Q图像的所有n个像素提取特征获得特征

其中d表示特征维度。

2.2.2、使用支持集S和查询集Q对分类器及分类器权重转换器进行训练

1)、分类器训练：

使用Adam优化器和用SoftMax激活函数的Dice相似系数作为损失函数在支持集S上训练分类器，设置分类器的迭代轮数为100，学习率为0.1，权重衰减为le-5，重复100轮后得到在支持集S上训练后的分类器权重作为分类器权重转换器的训练输入之一；

2)、分类器权重转换器训练

训练前设置初始学习率大小为0.0002，训练过程中采用Adam优化器对学习率和权重衰减进行自动调整，将步骤2.2.1中查询集Q图像的所有n个像素特征进行提取后获得的特征与步骤1)获得的分类器权重作为分类器权重转换器的输入，对分类器权重转换器进行一次训练，输出查询-自适应分类权重，用于预测查询集Q中图像的每个像素所属类别的区域；

3)、重复步骤2)，直至分类器权重转换器训练了100轮，从而获得最终对查询集Q中图像进行预测的查询-自适应分类权重。

2.3、参数调优过程：

调整分类器权重转换器训练过程中对应的超参数，如batch size、训练迭代次数等，得到效果最优的模型。具体方式为：

增加训练轮数，调整batch size大小，在测试集上对不同batch size下的分类器权重转换器测试，获取平均Dice相似系数值最大且豪斯多夫距离值最小的模型作为本发明训练好的脑肿瘤多模态MR图像分割模型。

2.2.3、脑肿瘤多模态MR图像分割模型的测试

1)、模型测试

为了验证训练后的脑肿瘤多模态MR图像分割模型的性能和有效性，在步骤1.2获得的预训练模型的训练集中随机挑选部分样例，对此部分样例输入训练好的脑肿瘤多模态MR图像分割模型进行测试，输出为模型推理得到的分割结果。将分割结果与样例对应的标签图像进行对比，统计各个样例的Dice相似系数值与Hausdorff95值，并计算各个样例的Dice相似系数值与Hausdorff95值中的最大值、最小值、四分位数、中位数以箱线图的形式进行可视化展示，如图5所示，图5中左图为骰子相似系数与各区域变量的箱线图，右图为豪斯多夫距离与各区域变量的箱线图

箱线图中箱体中间的水平线代表一组数据的中位数，在左侧骰子相似系数与各区域变量的箱线图中，中位数在0.75以上，且大部分数据均位于正常值范围内，表明模型具有较强的精确性。右侧豪斯多夫距离与各区域变量的箱线图中，中位数接近于0，表明分割结果与标签的最大不匹配程度较低，分割结果的边界较为精确。从图5的结果可以看出，所有测试样例符合预设的在线使用要求：骰子相似系数的中位数高于0.75，表明模型对肿瘤各个子区域的分割具有较高的准确性；豪斯多夫距离的中位数接近于0，表明分割结果与标签的最大不匹配程度较低，分割结果的边界较为精确，符合在线使用的要求，从而获得可以在线使用的脑肿瘤多模态MR图像分割模型。

2)、结果可视化展示

如图6所示，为其中的一个样例、标签图像及该样例图像的分割结果，从左到右依次为FLAIR、T1、T1Gd、T2四种模态。图中不同灰度级的区域分别代表增强型肿瘤区域、瘤周水肿区域以及坏死性肿瘤区域。全肿瘤区域涵盖以上三种区域，肿瘤核心区域涵盖增强肿瘤区域和坏死性肿瘤区域。

如图7所示，为其中一个样例在同一模态下按不同方向切片的分割情况：上半部分为样例的原始图像，下半部分为该样例的分割结果，切片方向从左到右依次为横断面、冠状面、矢状面。

如图8所示，为其中一个样例在不同模态下的分割结果示意图(预测概率分布图)：上半部分为样例的原始图像，下半部分为该样例图像的分割结果，从左到右依次为FLAIR、T1、T1Gd、T2四种模态。图中不同灰度级覆盖的区域分别代表增强型肿瘤区域、瘤周水肿区域及坏死性肿瘤区域，其中浅灰代表瘤周水肿区域，白色代表增强型肿瘤区域，深灰代表坏死性肿瘤区域。

3、在线使用

在实际在线使用过程中，通过核磁共振成像技术采集患者的脑部位置的多模态MR图像，对脑部位置的多模态MR图像经过切片处理与z-score标准化处理后，获得的128×128×128的图像矩阵包括四个模态的图像，将四个模态的图像融合成大小为4×128×128×128的张量输入步骤2获得的可以在线使用的脑肿瘤多模态MR图像分割模型，经过PSPNet网络之后输出四个通道作为分类器的输入(每个通道包括其中一个模态核磁共振图像的数值特征)，然后分类器先输出分类器初始化权重，分类器初始化权重与PSPNet网络之后输出四个通道中的数值特征以三元组的形式输入至分类器权重转换器中，通过分类器权重转换器的调整输出查询-自适应分类权重，作为分类器用于对所输入的四个通道中每个像素进行预测操作的分类器权重，然后分类器将所输入的四个通道中的数值特征转换为概率值输出，最终获得4幅大小为240×240的预测概率分布图，分别代表每个像素在正常组织区域、增强型肿瘤区域、瘤周水肿区域及坏死区域类别上的概率，采用不同灰度级进行区域描述：浅灰为瘤周水肿区域，白色为增强型肿瘤区域，深灰为坏死性肿瘤区域，除了三个区域以外的部分为正常组织区域。

实验1：

为进一步证明本发明的有效性，将本发明所提出的脑肿瘤多模态MR图像分割模型与2020年脑肿瘤分割挑战赛的其他团队的分割方法进行比较，其他团队的分割方法包括CBICA、Iris、Mergen、LMB和MARS，采用2020年脑肿瘤分割挑战赛包括369个训练样例和125个验证样例作为输入数据，采用骰子相似系数和豪斯多夫距离作为对比指标，本发明的骰子相似系数和豪斯多夫距离由实验1中获取，其他团队的分割方法的骰子相似系数和豪斯多夫距离的数据均为从2020脑肿瘤分割挑战赛的官方网站上获取。比较结果如表1所示，表1中粗体文本表示最佳分割结果。

表1:本发明与参加2020脑肿瘤分割挑战赛的团队结果比较

由上表可以看出，本发明的模型在训练集、测试集中对增强肿瘤区域、全肿瘤区域以及肿瘤核心区域的分割结果取得了良好的效果，与其他团队的分割方案相比，本实施例提出的分割方法在增强肿瘤以及肿瘤核心区域更有优势。

最后，还需要注意的是，以上列举的仅是本发明的若干个具体实施例。显然，本发明不限于以上实施例，还可以有许多变形。本领域的普通技术人员能从本发明公开的内容直接导出或联想到的所有变形，均应认为是本发明的保护范围。

Claims (9)

1.基于分类器权重转换器的GBM多模态MR图像分割方法，其特征在于:

采集多模态核磁共振图像，然后在上位机中对多模态核磁共振图像经过切片处理与标准化处理获得图像矩阵，将图像矩阵中四个模态的图像融合成张量输入脑肿瘤多模态MR图像分割模型后获得预测概率分布图。

2.根据权利要求1所述的基于分类器权重转换器的GBM多模态MR图像分割方法，其特征在于：

所述脑肿瘤多模态MR图像分割模型包括PSPNet网络、分类器和分类器权重转换器；输入的所述张量经过PSPNet网络之后输出四个通道作为分类器的输入，每个通道包括其中一个模态核磁共振图像的数值特征，然后分类器输出分类器初始化权重，并与经过PSPNet网络提取到的数值特征以三元组(R,T,U)的形式输入至分类器权重转换器中，通过分类器权重转换器输出查询-自适应分类权重，作为分类器用于对输入的四个通道中每个像素进行预测操作的分类器权重，然后分类器将所输入的四个通道中的数值特征转换为概率值输出获得所述预测概率分布图；

所述预测概率分布图采用不同灰度级进行区域描述：浅灰为瘤周水肿区域，白色为增强型肿瘤区域，深灰为坏死性肿瘤区域，除了三个区域以外的部分为正常组织区域。

3.根据权利要求2所述的基于分类器权重转换器的GBM多模态MR图像分割方法，其特征在于：

所述分类器权重转换器包括：所述三元组(R,T,U)经过一个共享线性层，然后经过四头注意模块与全连接层，再经过退出层后的输出与所述分类器初始化权重通过残差连接求和后输出查询-自适应分类器权重，四头注意模块中包括分类器查询图像注意机制；最后将输出的查询-自适应分类器权重与三元组中特征T和特征U进行卷积操作；

所述三元组(R,T,U)为：

其中，ω为分类器权重，

为模型学习的参数，各个参数由全连接层表示；l为经过PSPNet网络后输出通道中的所述数值特征。

4.根据权利要求3所述的基于分类器权重转换器的GBM多模态MR图像分割方法，其特征在于：

所述分类器查询图像注意机制的公式如下：

其中，s()为行SoftMax函数，φ()为输入维度是d_a、输出维度为d的线性层，w为调整前的分类器权重，w'为调整后的分类器权重。

5.根据权利要求4所述的基于分类器权重转换器的GBM多模态MR图像分割方法，其特征在于：

所述分类器采用softmax分类器；

所述PSPNet网络包括编码器与解码器，在下采样后的特征图后接了一个金字塔池化模块，通过这个模块上采样和级联层形成最终的特征表示，同时携带局部和全局上下文信息，最后对上采样后的特征图进行像素点分类完成整个分割过程。

6.根据权利要求5所述的基于分类器权重转换器的GBM多模态MR图像分割方法，其特征在于：

所述切片处理为对所述多模态核磁共振图像进行裁剪，保留病变区域图像，舍弃部分无病变区域的背景图像；

所述标准化处理为对各个模态图像进行z-score标准化操作：

其中，Z表示经过标准化处理后的图像矩阵，X表示原图像矩阵，μ表示图像的均值，σ表示图像的标准差。

7.根据权利要求6所述的基于分类器权重转换器的GBM多模态MR图像分割方法，其特征在于：

所述脑肿瘤多模态MR图像分割模型的训练和测试过程为：

1)、构建并使用训练集对PSPNet网络进行预训练，使用SoftMax激活函数的Dice相似系数作为PSPNet网络的损失函数；预训练中通过调整学***均Dice相似系数值最大且豪斯多夫距离值最小的模型作为预训练好的PSPNet网络；

2)、分类器调整

2.1)、构建并在测试集上分别用K个和N个样本创建支持集S和查询集Q：

其中，M_i和M_j表示训练样本的标签，K为标签类别的数量，设置为4，N设置为1；

然后，将查询集Q中的图像依次输入预训练好的PSPNet网络，对查询集Q图像的所有n个像素提取特征获得特征

其中d表示特征维度；

2.2)、使用支持集S和查询集Q对分类器及分类器权重转换器进行训练

a)、分类器训练：

使用Adam优化器和用SoftMax激活函数的Dice相似系数作为损失函数在支持集S上训练分类器，迭代轮数为100，学习率为0.1，权重衰减为le-5，重复100轮后得到在支持集S上训练后的分类器权重作为分类器权重转换器的训练输入；

b)、分类器权重转换器训练

初始学习率大小为0.0002，训练过程中采用Adam优化器对学习率和权重衰减进行自动调整，所述查询集Q图像的所有n个像素提取特征获得特征λ与所述分类器训练获得的分类器权重作为分类器权重转换器的输入，对分类器权重转换器进行一次训练，输出查询-自适应分类权重，重复100轮后获得最终对查询集Q中图像进行预测的查询-自适应分类权重；

c)、参数调优过程：

调整分类器权重转换器训练过程中对应的超参数，包括增加训练轮数、调整batchsize大小，在测试集上对不同batch size下的分类器权重转换器测试，获取平均Dice相似系数值最大且豪斯多夫距离值最小的模型作为训练好的脑肿瘤多模态MR图像分割模型；

2.3)、脑肿瘤多模态MR图像分割模型的测试

在训练集中随机挑选部分样例输入训练好的脑肿瘤多模态MR图像分割模型进行测试，输出分割结果，将分割结果与对应的标签图像进行对比，统计各个样例的Dice相似系数值与Hausdorff95值符合在线使用要求，从而获得在线使用的所述脑肿瘤多模态MR图像分割模型。

8.根据权利要求7所述的基于分类器权重转换器的GBM多模态MR图像分割方法，其特征在于：

所述训练集和测试集的构建过程为：

多模态核磁共振图像数据数据集包括训练样例和验证样例，每一个样例中均包括4个模态的核磁共振图像及一张对应的标签图像；将每个训练样例和验证样例的4个模态的核磁共振图像均进行所述切片处理和标准化处理，然后将经过标准化处理后的图像矩阵进行数据增强，分别于横断面、冠状面及矢状面上进行随机镜面翻转，从而扩容为原数量3倍的增强处理后的图像矩阵，之后再进行一次所述切片处理；数据增强与二次切片处理后获得的图像矩阵包括四个模态的图像，将四个模态的图像融合成一个张量；最终，将训练样例的张量及对应的标签图像作为所述训练集，验证样例的张量作为所述测试集。

9.根据权利要求8所述的基于分类器权重转换器的GBM多模态MR图像分割方法，其特征在于：

所述Dice相似系数计算的表达式如下：

其中，X表示预测值，Y表示真实值；

所述Hausdorff95值计算公式如下：

其中，sup表示上确界，inf表示下确界，x和y表示地面真实区域的曲面X和预测区域的曲面Y上的点，d(x，y)是点x和y之间距离的函数。

Images