CN110414481A - 一种基于Unet和LSTM的3D医学影像识别和分割方法 - Google Patents

Abstract

本发明公开了一种基于Unet和LSTM的3D医学影像识别和分割方法，包括：医学影像预处理阶段：读取3D格式医学影像，将其按z轴向分解成2D的影像序列，在2D层面对影像数据进行z‑score归一化处理；分割网络训练阶段：使用归一化处理的2D图像序列样本划分训练集进行训练，将U‑net的中间层输出单独取出作为中间变量序列，使用中间变量序列训练LSTM网络；分割网络识别和推断阶段：将样本输入网络获得像素级分割输出，把输出序列合并为3D矩阵获得最终结果。本发明在3D医学影像的识别方面，采用将其分割为2D序列并结合循环网络处理中间变量的方式，降低了计算量，提高了识别工作的效率。

Description

一种基于Unet和LSTM的3D医学影像识别和分割方法

技术领域

本发明涉及基于神经网络的医学影像的识别和分割技术，特别涉及一种基于U型网络(Unet)和长短期记忆网络(Long Short-Term Memory，LSTM)的3D医学影像的识别和分割方法。

背景技术

在平时的医疗工作以及临床试验中，医学影像的应用十分普及，并且人工神经网络的方法也在医学影像方面提供了很大帮助。一般的，使用医学影像的意义在于测量和记录，所以它的数据包含了很强的定位特性(比如，肿瘤，胎儿的影像等)，由相关精密仪器，利用光学、声波等各种成像原理，对人体内的器官组织进行影像化，从而对人体组织的物理性质、结构上的特点与当前的工作状态作出判断。

如今的医学影像，逐渐从平面趋向于立体，从单模态趋向于多模态，例如mha等格式的脑部3D医学影像，在xyz三个轴向上都能对肉体组织有比较清晰的影像化数据。3D医学影像数据量大，3D神经网络的方式处理计算效率低，而2D影像的分割结果在z轴维度上缺乏很好的上下文联系。

发明内容

本发明的目的是针对现有技术的不足而提供的一种基于Unet和LSTM的3D医学影像识别和分割方法，该方法结合2D、3D影像数据处理的优缺点，提出进一步改进的，使得3D医学影像的识别工作效率和质量得到了提高。

实现本发明目的的具体技术方案是：

一种基于Unet和LSTM的3D医学影像识别和分割方法，该方法包括以下具体步骤：

步骤1：医学影像预处理

读取3D格式医学影像数据，将其按z轴向分解成2D的影像序列，对所述影像序列进行归一化处理；

步骤2：分割网络训练

所述分割网络包括Unet特征提取部分、LSTM网络部分和Unet上采样部分，以2D影像序列作为输入，输出2D分割结果序列，具体如下：

将处理后的2D影像序列样本划分训练集和验证集，将训练集样本输入Unet特征提取部分，将Unet的中间层输出即中间变量单独取出组成中间变量序列，使用中间变量序列输入LSTM网络得到重建中间变量序列，使用重建中间变量序列输入Unet上采样部分得到2D分割结果序列，根据2D分割结果序列计算损失函数，使用梯度回传算法更新Unet和LSTM网络的参数；

步骤3：分割网络识别和推断

将样本输入分割网络获得2D分割结果序列，把2D分割结果序列合并为3D分割结果输出。

所述的医学影像包括但不限于MRI，模态包括但不限于T1、T2或FLAIR。

步骤1所述对影像序列进行归一化处理是对2D影像序列中的每一个2D影像，分别进行z-score归一化处理。

步骤2所述中间变量序列为2D影像序列中的每一个2D影像，经过Unet特征提取部分后输出的中间变量组成的序列。

本发明的有益效果在于：

高效性：本发明通过将3D医学影像处理为2D序列，改善了三维卷积操作中，参数数量大带来的效率低下缺点。

准确性：本发明相比传统的2D序列处理方式，使用LSTM网络进行了更好的上下文关系挖掘，使得在三维层面的分割结果质量更高。

附图说明

图1是本发明的流程图；

图2是分割网络训练阶段的Unet结构分解示意图；

图3是分割网络训练阶段的中间变量获取流程示意图；

图4是分割网络训练阶段中间变量的序列学习与重建流程示意图；

图5是分割网络识别和推断阶段分割结果的获取与重建流程示意图；

图6是分割网络识别和推断阶段分割重建结果的样例图。

具体实施方式

下面结合附图及实施例对本发明做详细描述。

参阅图1，本发明包括以下三个阶段：医学影像预处理阶段，分割网络训练阶段，分割网络识别和推断阶段。

医学影像预处理阶段：读取3D格式医学影像，将其按z轴向分解成2D的影像序列，对影像序列进行归一化处理；

分割网络训练阶段：对医学影像预处理阶段得到的2D影像序列样本划分训练集和验证集，将训练集样本输入Unet特征提取部分，将Unet的中间层输出即中间变量单独取出组成中间变量序列，使用中间变量序列输入LSTM网络得到重建中间变量序列，使用重建中间变量序列输入Unet上采样部分得到2D分割结果序列，根据2D分割结果序列计算损失函数更新Unet和LSTM网络的参数；

分割网络识别和推断阶段：将样本输入分割网络获得2D分割结果序列，把2D分割结果序列合并为3D分割结果输出。

实施例

以脑肿瘤MRI影像为例，步骤如下：

医学影像预处理阶段：

首先，从支持3D格式扫描的MRI仪器中读取3D格式医学影像，原始图像记为x，x为三维矩阵，尺寸为长m宽n高k，选取信息丰富的维度作为z轴(如：俯视图)，例如：沿高k对3D影像进行切片，形成2D影像序列，即：

x＝[x₁,x₂,…,x_i,…,x_k]

x₁,x₂,…,x_i,…,x_k为每个2D影像切片组成的序列，x_i为第i个2D影像切片，长为m宽为n，序列长度为k。同理，对3D影像的分割标注y也进行处理，形成2D分割标注切片序列，形状同x：

y＝[y₁,y₂,…,y_i,…,y_k]

y_i为第i个2D分割标注切片，随后对每个2D影像切片x_i进行z-score归一化处理，对x_i计算：

x_i中的元素代表2D影像切片中每个像素点的灰度值，μ_i代表该维度切片上灰度值的均值，δ_i代表该维度切片上灰度值的方差。

y_i中的元素代表2D分割标注切片中每个像素点的标注值，不需要归一化处理。

分割网络训练阶段：

首先，对归一化处理后的2D影像序列样本进行训练集划分，每一个2D影像序列[x₁,x₂,…,x_i,…,x_k]作为一个样本，使用80％的样本作为训练集，20％的样本作为验证集；

使用训练集和验证集的样本进行分割网络的训练：分割网络包括Unet部分和LSTM部分两部分，将Unet结构分解为特征提取部分和上采样部分两部分，图像输入通过特征提取部分可以获取中间变量，中间变量通过上采样部分可以获取分割结果，具体如图2所示。

首先使用Unet特征提取部分获取输入样本[x₁,x₂,…,x_i,…,x_k]的对应中间变量序列，将样本[x₁,x₂,…,x_i,…,x_k]中的每个x_i单独作为Unet特征提取部分的输入，获得中间变量输出o_i，原始样本序列经过Unet特征提取部分处理后的输出为中间变量序列[o₁,o₂,…,o_i,…,o_k]，具体过程如图3所示。

随后使用中间变量序列[o₁,o₂,…,o_i,…,o_k]作为LSTM网络的输入，使用LSTM网络重建得到输出[c₁,c₂,…,c_i,…,c_k]，一个中间变量序列[o₁,o₂,…,o_i,…,o_k]为一个样本，对应一个重建中间变量输出[c₁,c₂,…,c_i,…,c_k]，具体过程如图4所示。

随后如图5所示，使用重建中间变量输出[c₁,c₂,…,c_i,…,c_k]作为Unet上采样部分的输入，获得分割结果 为2D影像序列中每个2D影像切片对应的2D分割结果,对应分割标注y＝[y₁,y₂,…,y_i,…,y_k]进行训练，的聚合结果即为原始3D医学影像的分割结果输出即：

分割网络训练阶段使用梯度回传算法更新网络参数，使用dice系数作为模型准确度的衡量指标，模型输出和分割标注y的dice系数表示为输出与标注的重合部分像素个数除以输出与标注的总占据像素个数，即：

训练过程中使用验证集上的dice系数评估模型效果，当验证集的dice系数不再明显下降时，停止训练。

分割网络识别和推断阶段：

首先，将样本输入分割网络，按第一阶段的方式处理为2D影像序列[x₁,x₂,…,x_i,…,x_k]，使用Unet特征提取部分获得中间变量序列[o₁,o₂,…,o_i,…,o_k]输入至训练好的LSTM网络，随后将LSTM网络处理后的中间变量序列重建为2D分割结果序列[c₁,c₂,…,c_i,…,c_k]，最后把2D分割结果序列合并为3D矩阵获得最终结果，样例结果如图6所示，第一列为3D医学影像切片后的2D视图，第二列为真实分割标注，第三列为模型的分割输出结果。本发明的保护内容不局限于以上实施例。在不背离发明构思的精神和范围下，本领域技术人员能够想到的变化和优点都被包括在本发明中，并且以所附的权利要求书为保护范围。

Claims (4)

1.一种基于Unet和LSTM的3D医学影像识别和分割方法，其特征在于，该方法包括以下具体步骤：

步骤1：医学影像预处理

读取3D格式医学影像数据，将其按z轴向分解成2D的影像序列，对所述影像序列进行归一化处理；

步骤2：分割网络训练

所述分割网络包括Unet特征提取部分、LSTM网络部分和Unet上采样部分，以2D影像序列作为输入，输出2D分割结果序列，具体如下：

将处理后的2D影像序列样本划分训练集和验证集，将训练集样本输入Unet特征提取部分，将Unet的中间层输出即中间变量单独取出组成中间变量序列，使用中间变量序列输入LSTM网络得到重建中间变量序列，使用重建中间变量序列输入Unet上采样部分得到2D分割结果序列，根据2D分割结果序列计算损失函数，使用梯度回传算法更新Unet和LSTM网络的参数；

步骤3：分割网络识别和推断

将样本输入分割网络获得2D分割结果序列，把2D分割结果序列合并为3D分割结果输出。

2.根据权利要求1所述的3D医学影像识别和分割方法，其特征在于，所述的医学影像包括但不限于MRI，模态包括但不限于T1、T2或FLAIR。

3.根据权利要求1所述的3D医学影像识别和分割方法，其特征在于，步骤1所述对影像序列进行归一化处理是对2D影像序列中的每一个2D影像，分别进行z-score归一化处理。

4.根据权利要求1所述的3D医学影像识别和分割方法，其特征在于，步骤2所述中间变量序列为2D影像序列中的每一个2D影像，经过Unet特征提取部分后输出的中间变量组成的序列。