CN116030043A - 一种多模态医学图像分割方法 - Google Patents

Abstract

本发明公开了一种多模态医学图像分割方法，属于医学图像分割技术领域，包括以下步骤：S1：图像预处理；S2：构建2D、3D分割网络；S3：图像融合；S4：切片拼接。本发明通过使用多模态信息，使得医学图像可以得到更充分的利用；通过2D、3D分割网络结合通道注意力机制，使得各个模态的信息实现互通互补；基于2D、3D分割结果进行融合，使得分割结果精度更高，分割结果边缘更清晰；提供了不同维度、不同模型的分割结果，为医疗诊断提供更为精准多维的图像依据。

Description

一种多模态医学图像分割方法

技术领域

本发明涉及医学图像分割技术领域，具体涉及一种多模态医学图像分割方法。

背景技术

伴随着医学、计算机技术和生物医学工程的发展，医学影像学作为视觉处理中的一个重要的研究对象，为临床提供了大量的多模态医学图像，如何利用这些多模态医学图像进行医学图像分割对患者的治疗具有重要意义。

目前大多数的医学图像分割模型目的在于获取到医学图像中所包含的脑、肺、肝脏、心血等生物组织信息。传统的医学图像自动分割方法主要是基于图论、形态学和形变模型等分割方法。形变模型包括参数活动轮廓模型和几何形变模型等，几何模型的代表方法是水平集方法。常用的图像分割算法几乎都是基于确定性方法的，但是在图像信息处理过程中存在着不确定性，所以一定程度上也对分割精度以及模型的泛化性有一定的影响。

近年来，深度学习方法得到了迅速发展，基于深度学习的图像分割算法在脑部、肝脏、肾脏等医学图像分割领域取得了显著的效果。卷积神经网络作为目前常用的深度学习方法已被广泛应用于各种器官或组织的图像分割中，这类方法主要分为图像块、语义和级联的架构。一些学者提出了全卷积网络结构，该网络可以对图像进行像素级的分类，从而可以进行语义级的图像分割。2015年,一些学者提出了U-Net网络结构，该网络是基于全卷积网络结构的一种语义分割网络。2019年，一些学者出了一种基于U-Net的多序列MRI自动心脏分割框架来解决心脏分割问题。2020年，一些学者提出了一种基于多感受野卷积神经网络的医学图像分割方法。此外，循环神经网络在构建的结构中包含至少一个反馈连接，长短期记忆网络LSTM，作为RNN的一种特殊类型，解决了其梯度消失的问题，还有一些学者使用3D LST M-RNN对MRI图像进行分割，大大提高了网络训练效率。

上述分割方法存在分割轮廓模糊，设备要求极高，不易从多方面对分割结果进行可视化等问题。因此，一个高分割精度且可对分割目标进行多维可视化的方法是亟待解决的问题。为此，提出一种多模态医学图像分割方法。

发明内容

本发明所要解决的技术问题在于：如何解决现有分割方法存在的分割轮廓模糊，设备要求极高，不易从多方面对分割结果进行可视化等问题，提供了一种多模态医学图像分割方法，使用多模态医学图像作为输入，在考虑到所分割目标边界和精度的前提下，通过二维和三维的分割方法提取多模态医学图像特征信息，之后使用特征融合方法，将不同维度的特征进行特征融合，使得最终的分割结果既有获得上下文信息的同时，又可以对分割目标进行多维展示，为医疗诊断提供更为精准且多维的图像依据。

本发明是通过以下技术方案解决上述技术问题的，本发明包括以下步骤：

S1：图像预处理

读取原始图像，对原始图像进行预处理；

S2：构建2D、3D分割网络

构建2D、3D分割网络，利用构建的2D、3D分割网络对预处理后的图像进行分割，得到2D、3D分割结果；

S3：图像融合

对3D分割结果进行切片处理，进行图像融合；

S4：切片拼接

对融合结果进行切片拼接，得到最终分割结果。

更进一步地，在所述步骤S1中，包括以下过程：

S11：读取到原始图像后，将图像通过Z-Score的方法进行正则化得到图像M₁：

M₁＝Z_score(M)

其中，M为输入图像，Z_score为标准分数法；

S12：通过以下操作得到进行中心化的图像M₂：

其中，M_{1_depth}、M_{1_width}、M_{1_height}分别为图像M₁的深度、宽度、高度；

S13：对于2D分割网络根据标签位置对图像M₂进行切片处理，对于3D分割网络根据深度对图像M₂进行切块处理，得到M_2D和M_3D：

M_2D＝section_depth(M₂)

M_3D＝Chopping_size(M₂)

其中，section_depth表示使用深度数进行切片处理，Chopping_size表示根据size的尺寸进行切块处理；

S14：对于多模态数据，通过将各个模态的切片或者切片合并组合为多通道，最后保存为数组的形式传入对应的分割网络，数组形式具体如下：

Numpy_2D＝(Width,Height,Modality)

Numpy_3D＝(Width,Height,Size,Modality)

其中，Width、Height、Size、Modality分别对应输入网络的长、高、尺寸大小、模态数量。

更进一步地，在所述步骤S2中，2D分割网络包括第一编码器、第一解码器；所述第一编码器包括第一卷积块和第一下采样层，张量通过第一卷积块后进行下采样获得不同尺寸的特征图；所述第一解码器包括第二卷积块和第一反卷积层，通过第一反卷积层进行尺寸还原再进入第二卷积块；在第一编码器和第一解码器中间通过CE通道注意力机制获取不同通道间信息，并在对应层之间通过跳跃连接获取不同层次的特征。

更进一步地，第一卷积块与第二卷积块相同，每个卷积块包括两个2D卷积层，每一个2D卷积层后通过批次归一化和ReLU函数进行激活处理，如下所示：

其中，x_2Dinput，

为通过2D卷积层的输入和输出，ReLU为ReLU激活函数，BatchNormalization_2D为批次归一化操作，Conv2D表示2D卷积操作，kernel为卷积核大小，padding为卷积填充长度。

更进一步地，在所述步骤S2中，3D分割网络包括第二编码器、第二解码器；所述第二编码器包括第三卷积块和第二下采样层，张量通过第三卷积块后进行下采样获得不同尺寸的特征图；所述第二解码器包括第四卷积块和第二反卷积层，通过第二反卷积层进行尺寸还原再进入第四卷积块，在第二编码器和第二解码器中间通过CBAM空间注意力机制获取不同特征图更多的空间信息，并在对应层之间通过跳跃连接获取不同层次的特征。

更进一步地，第三卷积块和第四卷积块相同，每个卷积块包括两个3D卷积层，每一个3D卷积层后通过批次归一化和ReLU函数进行激活处理，如下所示：

其中，x_3Dinput，

为通过3D卷积层的输入和输出，ReLU为ReLU激活函数，BatchNormalization_3D为批次归一化操作，Conv3D为3D卷积操作，kernel为卷积核大小，padding为卷积填充长度。

更进一步地，在所述步骤S3中，包括以下过程：

S31：将3D分割结果根据深度进行切片处理，获得2D切片；

S32：与2D切片对应的2D分割结果进行特征融合，获得新的2D融合结果。

更进一步地，在所述步骤S32中，将2D分割结果通过剪切波进行信号分解，获得图像的频率子带，对于低频系数，采用基于区域系数绝对值和权重融合规则进行处理，对于高频系数，计算其支持向量值，确定高频融合系数，最后根据逆平移不变剪切波变换重建图像。

9.根据权利要求8所述的一种多模态医学图像分割方法，其特征在于：剪切波公式如下：

其中，det为矩阵的行列式，A尺度变换矩阵，B为剪切矩阵。

更进一步地，在所述步骤S4中，拼接的具体过程如下：创建原图像空白矩阵Z₁,根据融合图像切片序列号进行中心填充，其余空白区域用空值进行填充，获得拼接图像Z₂。

本发明相比现有技术具有以下优点：该多模态医学图像分割方法，通过使用多模态信息，使得医学图像可以得到更充分的利用；通过2D、3D分割网络结合通道注意力机制，使得各个模态的信息实现互通互补；基于2D、3D分割结果进行融合，使得分割结果精度更高，分割结果边缘更清晰；提供了不同维度、不同模型的分割结果，为医疗诊断提供更为精准多维的图像依据。

附图说明

图1是本发明实施例一中多模态医学图像分割方法的流程示意图；

图2是本发明实施例一中2D分割网络的结构示意图；

图3是本发明实施例一中3D分割网络的结构示意图；

图4是本发明实施例一中特征融合的流程示意图；

图5是本发明实施例二中多模态医学图像分割方法的流程示意图；

图6是本发明实施例二中的输出结果图。

具体实施方式

下面对本发明的实施例作详细说明，本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

实施例一

如图1所示，本实施例提供一种技术方案：一种多模态医学图像分割方法，包括以下步骤：

一、原始图像预处理

1)读取到原始数据后，将数据通过Z-Score的方法进行正则化得到图像M₁：

M₁＝Z_score(M)

其中，M为输入图像，Z_score为标准分数法。

2)医学图像背景在整幅图像中比例较大，并且背景对于分割没有任何帮助，由于需要分割的区域在图像中间，通过对图像M₁进行中心化处理，去除对分割没有影响的黑色背景，使得数据平衡，通过以下操作得到进行中心化的图像M₂：

其中，M_{1_depth}、M_{1_width}、M_{1_height}分别为图像M₁的深度、宽度、高度。

3)对于2D分割网络(2D网络，也即图1中的2D分割模型)根据标签位置对图像M₂进行切片处理，对于3D分割网络(3D网络，也即图1中的3D分割模型)根据深度对图像M₂进行切块处理，得到M_2D和M_3D：

M_2D＝section_depth(M₂)

M_3D＝Chopping_size(M₂)

其中，section_depth表示使用深度数进行切片处理，Chopping_size表示根据size的尺寸进行切块处理。

4)对于多模态数据，通过将各个模态的切片或者切片合并组合为多通道，最后保存为数组的形式传入对应的分割网络，数组形式具体如下：

Numpy_2D＝(Width,Height,Modality)

Numpy_3D＝(Width,Height,Size,Modality)

其中，Width、Height、Size、Modality分别对应输入网络的长、高、尺寸大小、模态数量。

二、构建2D、3D分割网络

1)构建2D分割网络，其分割网络使用由2D卷积块组成的编码器、解码器结构；构建网络使用4次下采样和4次上采样，保持U形对称结构，如图2所示。

当图像数据传入2D分割网络后使用不同尺度的卷积块(卷积核大小分别为1、3)，激活函数为ReLU；在编码器最后一层映入通道注意力机制，使得获取特征图的每个通道的重要程度，然后用这个重要程度去给每个特征赋予一个权重值，从而让神经网络重点关注某些特征通道。提升对当前任务有用的特征图的通道，并抑制对当前任务用处不大的特征通道；最终使多模态数据可以充分利用。

解码器部分采用跳跃连接的方法获取低层次特征的特征，与现有特征进行融合使得高层次分割特征的语义性与低层次特征的细节互相融合，使得分割结构既有语义性又包含更多的细节。

2)构建3D分割网络,其分割网络使用3D卷积块组成的编码器、解码器结构；构建网络使用4次下采样和4次上采样，保持U形对称结构，如图3所示。

当数据传入3D分割网络后使用不同尺度的卷积块，卷积核大小为1,3，激活函数为ReLU；在编码器最后一层使用CBAM注意力机制，使得特征通道和特征空间维度进行结合，将不同通道的模态的特征信息通过结合空间通道中上下文特征进行补充，使得弥补3D卷积空间域特征细节。

三、特征融合

由于3D分割是根据块进行分割，块与块之间存在这上下文的信息不互通，会导致上下文信息缺失，所以通过将3D分割结果与2D分割结果进行特征融合，使最终分割结果获得上下文信息的同时，又获得更多的全局信息，如图4所示，具体过程如下：

1)将3D分割结果根据深度进行切片处理，获得2D切片；

2)将2D分割结果通过剪切波进行信号分解，获得图像的频率子带；对于低频系数，采用基于区域系数绝对值和权重融合规则进行处理，对于高频系数，计算其支持向量值，确定高频融合系数，最后根据逆平移不变剪切波变换重建图像，其中剪切波公式为：

其中，det为矩阵的行列式，A尺度变换矩阵，B为剪切矩阵；

3)最后将融合图像切片进行切片拼接，创建原图像空白矩阵Z₁，根据融合图像切片序列号进行中心填充，其余空白区域用空值进行填充，获得拼接图像Z₂，还原分割结果。

实施例二

下面主要结合附图和具体实施例对本发明作进一步的说明；

本实施例选取脑部多模态MRI图像来进行分析，选取Flair，T1，T1ce，T2四个模态医学图像来说明本发明实施后的相应结果如图6，具体实施步骤如下(如图5所示)：

A.计算机读取多模态MRI图像的原始图像，首先对数据进行预处理：先对各个模态数据分别使用Z-Score的方法进行正则化；再通过中心裁剪的方式，对医学图像背景进行裁剪，减少网络运算量；

B.对2D图像进行切片处理，对3D图像进行切块处理，处理完之后，将各个模型的数据进行合并成多通道数据；

C.将2D和3D预处理结果分别送入2D、3D分割网络进行分割预测，得到2D和3D分割网络预测结果；

D.对3D分割网络分割结果进行切片处理，与切片对应的2D分割结果进行特征融合，获得新的2D融合结果；

E.将新获得2D融合结果进行切片还原，得到融合后的3D分割结果。

实施上述实验后，获取最终的输出结果有2D网络预测结果、2D融合结果、3D网络预测结果、3D融合结果，最终输出结果如图6所示。

由此可见，本发明针对一般的医学图像算法只有单模态数据进行优化并且未考虑2D、3D分割网络互补的缺陷；一般的医学图像算法单输入，单输出，未考虑获取图像特征中上下文信息缺失的问题。

综上所述，上述实施例的多模态医学图像分割方法，不仅充分利用了多模态医学图像，通过在2D、3D分割网络增加通道自注意力机制，使得各个通道间信息进行互补；之后通过一种特征融合方法，优化单一网络可能存在信息缺失的问题，根据多模态医学图像实现更有效的医学图像分割。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种多模态医学图像分割方法，其特征在于，包括以下步骤：

S1：图像预处理

读取原始图像，对原始图像进行预处理；

S2：构建2D、3D分割网络

构建2D、3D分割网络，利用构建的2D、3D分割网络对预处理后的图像进行分割，得到2D、3D分割结果；

S3：图像融合

对3D分割结果进行切片处理，进行图像融合；

S4：切片拼接

对融合结果进行切片拼接，得到最终分割结果。

2.根据权利要求1所述的一种多模态医学图像分割方法，其特征在于：在所述步骤S1中，包括以下过程：

S11：读取到原始图像后，将图像通过Z-Score的方法进行正则化得到图像M₁：

M₁＝Z_score(M)

其中，M为输入图像，Z_score为标准分数法；

S12：通过以下操作得到进行中心化的图像M₂：

其中，M_{1_depth}、M_{1_width}、M_{1_height}分别为图像M₁的深度、宽度、高度；

S13：对于2D分割网络根据标签位置对图像M₂进行切片处理，对于3D分割网络根据深度对图像M₂进行切块处理，得到M_2D和M_3D：

M_2D＝section_depth(M₂)

M_3D＝Chopping_size(M₂)

其中，section_depth表示使用深度数进行切片处理，Chopping_size表示根据size的尺寸进行切块处理；

S14：对于多模态数据，通过将各个模态的切片或者切片合并组合为多通道，最后保存为数组的形式传入对应的分割网络，数组形式具体如下：

Numpy_2D＝(Width,Height,Modality)

Numpy_3D＝(Width,Height,Size,Modality)

其中，Width、Height、Size、Modality分别对应输入网络的长、高、尺寸大小、模态数量。

3.根据权利要求2所述的一种多模态医学图像分割方法，其特征在于：在所述步骤S2中，2D分割网络包括第一编码器、第一解码器；所述第一编码器包括第一卷积块和第一下采样层，张量通过第一卷积块后进行下采样获得不同尺寸的特征图；所述第一解码器包括第二卷积块和第一反卷积层，通过第一反卷积层进行尺寸还原再进入第二卷积块；在第一编码器和第一解码器中间通过CE通道注意力机制获取不同通道间信息，并在对应层之间通过跳跃连接获取不同层次的特征。

4.根据权利要求3所述的一种多模态医学图像分割方法，其特征在于：第一卷积块与第二卷积块相同，每个卷积块包括两个2D卷积层，每一个2D卷积层后通过批次归一化和ReLU函数进行激活处理，如下所示：

其中，x_2Dinput，

为通过2D卷积层的输入和输出，ReLU为ReLU激活函数，BatchNormalization_2D为批次归一化操作，Conv2D表示2D卷积操作，kernel为卷积核大小，padding为卷积填充长度。

5.根据权利要求3所述的一种多模态医学图像分割方法，其特征在于：在所述步骤S2中，3D分割网络包括第二编码器、第二解码器；所述第二编码器包括第三卷积块和第二下采样层，张量通过第三卷积块后进行下采样获得不同尺寸的特征图；所述第二解码器包括第四卷积块和第二反卷积层，通过第二反卷积层进行尺寸还原再进入第四卷积块，在第二编码器和第二解码器中间通过CBAM空间注意力机制获取不同特征图更多的空间信息，并在对应层之间通过跳跃连接获取不同层次的特征。

6.根据权利要求5所述的一种多模态医学图像分割方法，其特征在于：第三卷积块和第四卷积块相同，每个卷积块包括两个3D卷积层，每一个3D卷积层后通过批次归一化和ReLU函数进行激活处理，如下所示：

其中，x_3Dinput，

为通过3D卷积层的输入和输出，ReLU为ReLU激活函数，BatchNormalization_3D为批次归一化操作，Conv3D为3D卷积操作，kernel为卷积核大小，padding为卷积填充长度。

7.根据权利要求5所述的一种多模态医学图像分割方法，其特征在于：在所述步骤S3中，包括以下过程：

S31：将3D分割结果根据深度进行切片处理，获得2D切片；

S32：与2D切片对应的2D分割结果进行特征融合，获得新的2D融合结果。

8.根据权利要求7所述的一种多模态医学图像分割方法，其特征在于：在所述步骤S32中，将2D分割结果通过剪切波进行信号分解，获得图像的频率子带，对于低频系数，采用基于区域系数绝对值和权重融合规则进行处理，对于高频系数，计算其支持向量值，确定高频融合系数，最后根据逆平移不变剪切波变换重建图像。

9.根据权利要求8所述的一种多模态医学图像分割方法，其特征在于：剪切波公式如下：

其中，det为矩阵的行列式，A尺度变换矩阵，B为剪切矩阵。

10.根据权利要求9所述的一种多模态医学图像分割方法，其特征在于：在所述步骤S4中，拼接的具体过程如下：创建原图像空白矩阵Z₁,根据融合图像切片序列号进行中心填充，其余空白区域用空值进行填充，获得拼接图像Z₂。

Images