CN111627017A - 一种基于深度学习的血管管腔自动分割方法 - Google Patents

Abstract

本发明提供了一种基于深度学习的血管管腔自动分割方法，可实时快速获取准确的分割结果；其包括：S1、获取IVUS图像；S2、得到原图像、标注后的模板图像后，建立训练集和测试样本集；S3、训练集标注后的模板图像粗化得到模板图像，训练集当前帧及其前一帧、后一帧以及与粗化后的模板图像组成四通道图像；S4、建立的深度学习分割模型采用具有残差连接的网络结构，将S2中标注的模板图像、S3中构建的四通道图像输入模型得到训练好的网络；S5将上一帧分割结果与测试样本集当前帧及其前一帧、后一帧图像组成四通道图像，并输入网络中进行分割，最终得到当前帧分割的管腔‑内膜界面和中‑外膜界面。

Description

一种基于深度学习的血管管腔自动分割方法

技术领域

本发明涉及图像处理技术领域，具体为一种基于深度学习的血管管腔自动分割方法。

背景技术

腔内影像血管内超声(intravascular ultrasound,IVUS)利用高频的超声波，在血管内呈现高分辨率的影像，可以全面分析血管壁和管腔的情况，是目前临床上最常用的血管内成像技术，其可对血管内超声图像进行高精确度的管腔分割，确定管腔-内膜界面和中-外膜界面，可以得到详细的管腔及斑块信息，帮助医生进行临床诊断，同时，基于分割结果，可以建立得到高精度的血管三维模型，帮助后期虚拟血流分数计算提高准确度。

现有的血管内超声管腔分割方法主要依赖于临床医生或具有丰富经验的研究者肉眼识别和手动勾画，但通常IVUS图像序列帧数多，工作量大，易受医生主观因素和环境客观因素影响，导致分析结果表现为观察者之间或之内的误差非常大，难以形成统一标准；同时，由于成像时存在的导丝伪影、超声阴影等图像伪影以及超声斑点噪声、分支血管等增加分割的难度，如，专利CN103164859A公开了一种基于随机行走算法的血管内超声图像分割算法，该方法利用血管内超声平均灰度曲线确定了内膜和外膜的种子点，利用随机行走算法得到两类概率图，再通过阈值处理和梯度图像结合得到管腔边界完成分割，但该血管内超声图像分割算法仅仅利用了灰度和图像梯度信息，极易受到超声斑点噪声影响，同时，当存在血管边支和斑块时，仅通过灰度无法确定轮廓，且存在计算量大的问题；专利CN110946619A公开了一种血管内超声自动影像组学分析***，通过深度学习的方法进行图像质量筛选及图像分割，其深度全卷积神经网络采用ResNet或U-Net或AlexNet或VGG网络，但在深度学习所选取的网络有所区别，另外，此专利去除了质量不好(噪声过大、伪差过多、严重钙化和信号衰减导致的血管轮廓无法分辨)的图像，不利于后期建立得到高精度的血管三维模型。

因此，开发一种准确度高、自动化程度高的分割算法，解决包括斑点噪声、图像伪影和部分血管壁钙化阴影等影响图像无法分割的问题是本发明的目的。

发明内容

针对上述问题，本发明提供了一种基于深度学习的血管管腔自动分割方法，其可解决斑点噪声、图像伪影和部分血管壁钙化阴影等影响图像无法分割的问题，可实时快速获取准确的分割结果，准确度高、自动化程度高。

其技术方案是这样的：一种基于深度学习的血管管腔自动分割方法，其特征在于：其包括以下步骤：

S1、获取IVUS完整图像；

S2、人工手动勾画管腔-内膜界面和中-外膜界面，在IVUS完整图像中选取具有代表性帧的原图像进行标注，得到原图像及其标注后的模板图像，建立训练集和测试样本集；

S3、模型训练阶段：对所述训练集中标注后的模板图像进行仿射变换和非刚性变换得到粗化后的模板图像，随后将所述训练集的当前帧原图像及其前一帧图像、后一帧图像以及与粗化后的模板图像组成四通道图像；

S4、建立深度学习分割模型，所述深度学习分割模型采用具有残差连接的网络结构，随后将所述步骤S2中标注后的模板图像、所述步骤S3中构建的四通道图像输入所述深度学习分割模型训练得到训练好的网络；

S5、模型分割阶段：对新的一帧IVUS图像像素级分割时，引入上一帧已经完成分割结果，则将上一帧分割结果与所述测试样本集的当前帧原图像及其前一帧图像、后一帧图像组成四通道图像，随后输入已训练好的所述网络中进行分割，最终得到当前帧分割的管腔-内膜界面和中-外膜界面。

进一步地，在所述步骤S3中，所述四通道图像的构建具体为：将所述训练集的第N-1帧、第N帧、第N+1帧512×512大小的原图像以及标注后的模板图像经过粗化处理后得到的图像，这四个图像矩阵合并为一个512×512×4的四通道图像其中，第N帧图像为所述训练集的当前帧原图像；

进一步地，在所述步骤S5中，所述四通道图像的构建具体为：将所述测试样本集的第N-1帧、第N帧、第N+1帧512×512大小的原图像以及第N-1帧的分割结果，这四个图像矩阵合并为一个512×512×4的四通道图像，并作为已训练好的所述网络的输入，其中，第N帧图像为所述测试样本集的当前帧原图像；

进一步地，所述深度学习分割模型包括依次连接的输入层、编码层、解码层、输出层；

进一步地，所述编码层设有4个，每个编码层均有3个子单元，所述输入层、输出层以及每个子单元均包括以数据传递顺序依次连接的卷积层、批量归一化层、ReLU函数激活层，所述编码层之间通过层层提取以得到所述IVUS完整图像的细粒度特征，3个所述子单元以残差结构相连后将信息传递至下一层所述编码层；

进一步地，所述解码层设有4个，每个所述解码层均包括依次连接的残差块、特征融合块、链式池化块，首端的所述解码层仅接收来组末端的所述编码层传递的特征图，其余的所述解码层均输入上一层所述解码层的信息和来自同级所述编码层的信息；

进一步地，所述模板图像包含斑点噪声、血管分支、图像伪影和部分血管壁钙化阴影的图像。

本发明的有益效果是，其采用具有残差连接网络的深度学习分割模型，可将具有一定的维度或者尺寸的残差连接进行融合，与一般的神经网络相比，具有更抽象的特征提取能力，可产生高分辨率的预测图像，此外，在对新的一帧IVUS图像像素级分割时，引入上一帧已经完成分割结果能够起到约束作用，可达到更好的效果，同时，在训练集中加入了标注模板图像，有效改善了斑点噪声、图像伪影和部分血管壁钙化阴影等因素导致的图像分割结果差或无法分割的问题，从而获得更准确的分割结果，具有准确度高、自动化程度高的特点。

附图说明

图1是本发明的算法流程图；

图2是本发明深度学习分割模型的结构框图；

图3是本发明中输入层或是输出层的结构示意图；

图4是本发明中编码层的结构示意图；

图5是本发明中解码层的结构示意图。

具体实施方式

如图1～图5所示，一种基于深度学习的血管管腔自动分割方法，其包括以下步骤：

S1、获取IVUS完整图像序列；

S2、人工手动勾画管腔-内膜界面和中-外膜界面，由于在训练时可能有好几百个病例，共几千帧图像，因此在IVUS完整图像中选取具有代表性帧的原图像进行标注，得到原图像及其标注后的模板图像，建立训练集和测试样本集；其中，模板图像包含斑点噪声、血管分支、图像伪影和部分血管壁钙化阴影的图像；

S3、模型训练阶段：对训练集中标注后的模板图像进行仿射变换和非刚性变换得到粗化后的模板图像，随后将训练集的当前帧原图像及其前一帧图像、后一帧图像以及与粗化后的模板图像组成四通道图像；具体地，四通道图像的构建具体为：将训练集的第N-1帧、第N帧、第N+1帧512×512大小的原图像以及标注后的模板图像经过粗化处理后得到的图像，这四个图像矩阵合并为一个512×512×4的四通道图像其中，第N帧图像为训练集的当前帧原图像；其中，图像大小可根据实际情况设置，本实施例中图像大小设置为512×512；

S4、建立深度学习分割模型，深度学习分割模型采用具有残差连接的网络结构，随后将步骤S2中标注后的模板图像、四通道图像输入深度学习分割模型训练得到训练好的网络；

S5、模型分割阶段：对新的一帧IVUS图像像素级分割时，引入上一帧已经完成分割结果，由于在训练的时候输入的是四通道图像，所以在测试的时候按照相同的方式构造四通道图像，从而在卷积的时候可结合上下帧图像的信息，同时引入已经完成分割结果可起到约束作用，则将上一帧分割结果与测试样本集的当前帧原图像及其前一帧图像、后一帧图像组成四通道图像，即将测试样本集的第N-1帧、第N帧、第N+1帧512×512大小的原图像以及第N-1帧的分割结果，这四个图像矩阵合并为一个512×512×4的四通道图像，随后输入已训练好的网络中进行分割，其中，第N帧图像为测试样本集的当前帧原图像，最终得到当前帧分割的管腔-内膜界面和中-外膜界面。

深度学习分割模型包括依次连接的输入层、编码层、解码层、输出层；编码层设有4个，每个编码层均有3个子单元，输入层、输出层以及每个子单元均包括以数据传递顺序依次连接的卷积层、批量归一化层、ReLU函数激活层，编码层之间通过层层提取以得到IVUS完整图像的细粒度特征，3个子单元以残差结构相连后将信息传递至下一层编码层；解码层设有4个，每个解码层均包括依次连接的残差块、特征融合块、链式池化块，首端的解码层1仅接收来组末端的编码层4传递的特征图，其余的解码层均输入上一层解码层的信息和来自同级编码层的信息，如解码层2接收编码层3和解码层1的特征图，并将其求和融合，这在编码层和解码层之间引入了长距离的残差连接，特征融合块将不同尺度和维度的特征图进行求和融合，将低层编码的可视化细节信息用于增强粗糙的高级别的特征图，此外，通过链式池化块进行连续的池化操作，并将池化结果相加传递，实现获取图片上下文的信息，达到更好的分割效果。

本发明将神经网络应用于IVUS分割中，将神经网络不同层的特征融合后能够提高分割的效果，此外，在当前帧分割中引入上一帧的分割结果，并引入当前帧的上下文信息，对连续变化的IVUS的图像分割效果可起到增强作用，实现了准确度高、自动化程度高的分割，解决了包括斑点噪声、图像伪影和部分血管壁钙化阴影等影响图像无法分割的问题。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims (7)

1.一种基于深度学习的血管管腔自动分割方法，其特征在于：其包括以下步骤：

S1、获取IVUS完整图像；

S2、人工手动勾画管腔-内膜界面和中-外膜界面，在IVUS完整图像中选取具有代表性帧的原图像进行标注，得到原图像及其标注后的模板图像，建立训练集和测试样本集；

S3、模型训练阶段：对所述训练集中标注后的模板图像进行仿射变换和非刚性变换得到粗化后的模板图像，随后将所述训练集的当前帧原图像及其前一帧图像、后一帧图像以及与粗化后的模板图像组成四通道图像；

S4、建立深度学习分割模型，所述深度学习分割模型采用具有残差连接的网络结构，随后将所述步骤S2中标注后的模板图像、所述步骤S3中构建的四通道图像输入所述深度学习分割模型训练得到训练好的网络；

S5、模型分割阶段：对新的一帧IVUS图像像素级分割时，引入上一帧已经完成分割结果，则将上一帧分割结果与所述测试样本集的当前帧原图像及其前一帧图像、后一帧图像组成四通道图像，随后输入已训练好的所述网络中进行分割，最终得到当前帧分割的管腔-内膜界面和中-外膜界面。

2.根据权利要求1所述的一种基于深度学习的血管管腔自动分割方法，其特征在于：在所述步骤S3中，所述四通道图像的构建具体为：将所述训练集的第N-1帧、第N帧、第N+1帧512×512大小的原图像以及标注后的模板图像经过粗化处理后得到的图像，这四个图像矩阵合并为一个512×512×4的四通道图像其中，第N帧图像为所述训练集的当前帧原图像。

3.根据权利要求1所述的一种基于深度学习的血管管腔自动分割方法，其特征在于：在所述步骤S5中，所述四通道图像的构建具体为：将所述测试样本集的第N-1帧、第N帧、第N+1帧512×512大小的原图像以及第N-1帧的分割结果，这四个图像矩阵合并为一个512×512×4的四通道图像，并作为已训练好的所述网络的输入，其中，第N帧图像为所述测试样本集的当前帧原图像。

4.根据权利要求1所述的一种基于深度学习的血管管腔自动分割方法，其特征在于：所述深度学习分割模型包括依次连接的输入层、编码层、解码层、输出层。

5.根据权利要求4所述的一种基于深度学习的血管管腔自动分割方法，其特征在于：所述编码层设有4个，每个编码层均有3个子单元，所述输入层、输出层以及每个子单元均包括以数据传递顺序依次连接的卷积层、批量归一化层、ReLU函数激活层，所述编码层之间通过层层提取以得到所述IVUS完整图像的细粒度特征，3个所述子单元以残差结构相连后将信息传递至下一层所述编码层。

6.根据权利要求5所述的一种基于深度学习的血管管腔自动分割方法，其特征在于：所述解码层设有4个，每个所述解码层均包括依次连接的残差块、特征融合块、链式池化块，首端的所述解码层仅接收来组末端的所述编码层传递的特征图，其余的所述解码层均输入上一层所述解码层的信息和来自同级所述编码层的信息。

7.根据权利要求1所述的一种基于深度学习的血管管腔自动分割方法，其特征在于：所述模板图像包含斑点噪声、血管分支、图像伪影和部分血管壁钙化阴影的图像。

Images