CN108830155A - 一种基于深度学习的心脏冠状动脉分割及识别的方法 - Google Patents

Abstract

本发明提供了一种基于深度学习的心脏冠状动脉分割及识别的方法，通过选取分段心脏造影Dicom视频中任意一帧图片作为训练样本，神经网络中的卷积神经网络模块通过深度学习的方法对训练样本中的图片进行血管的分割和识别，将用于分割和识别的心脏血管特征图输出至金字塔模块；金字塔模块应用金字塔融合的方法，输出不同尺度的心脏血管特征图至反卷积层；反卷积层通过双线性插值的方法得到心脏冠状动脉分割及识别血管图的技术方案，可以对图片中每一个像素打标签，识别出图片中不同血管的类型。消除了由于背景像素和血管像素比例差异较大而导致的分类不均衡问题，有效的避免了图像背景中类似血管状的纹理引入的干扰，提高了分割精确度。

Description

一种基于深度学习的心脏冠状动脉分割及识别的方法

技术领域

本发明涉及互联网技术领域，尤其涉及一种基于深度学习的心脏冠状动脉分割及识别的方法。

背景技术

冠状动脉造影图像的分割是图像分割技术在医学领域的重要应用，冠状动脉血管的精确提取可以辅助医生诊断心血管疾病并确定合适的治疗方案，同时其也是血管三维重建的重要基础，在临床医疗中发挥着重要作用。

现有的技术一般为基于冠状动脉血管的特性，设计相应的滤波器完成增强血管特征和抑制背景噪声任务。通常造影图像的背景与血管颜色非常相近，缺乏鲁棒性，所以在提取过程中极容易将背景中的条纹提取为血管。这就大大降低了分割的准确率。

由于心脏造影图像中血管的形状极为相似，所以现有技术很难判断出每条血管的具体类型。

发明内容

本发明提供了一种基于深度学习的心脏冠状动脉分割及识别的方法，解决了心脏冠状动脉造影图像的分割和识别问题。通过本发明的技术方案可以通过较高的准确率分割并识别出造影图像中的心脏冠状动脉，为医生分析病变提供辅助材料同时可作为血管三维重建的基础。

为了达到上述目的，本发明提供的一种基于深度学习的心脏冠状动脉分割及识别的方法，包括：

选取分段心脏造影Dicom视频中任意一帧图片作为训练样本，将训练样本输入神经网络中；所述神经网络由卷积神经网络模块、金字塔模型和反卷积层组成；

神经网络中的卷积神经网络模块接收所述训练样本，通过深度学习的方法对训练样本中的图片进行血管的分割和识别，将用于分割和识别的心脏血管特征图输出至金字塔模块；

金字塔模块接收用于分割和识别的心脏血管特征图，应用金字塔融合的方法，输出不同尺度的心脏血管特征图至反卷积层；

反卷积层接收不同尺度的心脏血管特征图，通过双线性插值的方法得到心脏冠状动脉分割及识别血管图。

进一步的，所述分段心脏造影Dicom视频的获取方法包括：

接收医疗综合数据库中存储的与病变种类信息对应的整段心脏造影Dicom视频；

基于病变种类信息，使用SSN协同分析整段心脏造影Dicom视频中出现的关键特征信息。

基于关键特征信息并结合***信息，对整段Dicom视频进行分段，并迭代该步骤，直到最终找到满足设定的分段视频。

进一步的，所述卷积神经网络模块由多层相同单元多次堆叠而成，所述单元从上到下依次为卷积层、批规范化层、快捷连接层、激活函数层。

进一步的，所述卷积层接收训练样本，对训练样本数据中每个固定大小的像素块进行2D卷积运算，提取训练样本数据中含有的用于分割和识别的特征图，并将特征图输出至批规范化层。

进一步的，所述批规范化层接收卷积层输出的特征图，对特征图数据进行减去均值除以方差的操作，使得特征图数据统一分布，并将批规范化特征图输出到快捷连接层。

进一步的，所述快捷连接层接收批规范化层的输出，将卷积层的输入与批规范化层的输出按权重相加得到特征图，并将特征图输出到激活函数层。

进一步的，所述激活函数接收快捷连接层的输出，对接收到的数据进行非线性处理，即对这些特征图进行relu运算；将处理后的数据输入下一个单元的卷积层；直到神经网络结构中所有的单元计算完卷积网络的所有特征提取层，得到用于分割和识别的心脏血管特征图，并将用于分割和识别的心脏血管特征图输入金字塔模块。

进一步的，所述金字塔模块接收用于分割和识别的心脏血管特征图，应用金字塔融合的方法，先对特征图进行卷积操作，输出不同尺度的心脏血管特征图；将不同尺度的心脏血管特征图输入反卷积层；

反卷积层接收不同尺度的心脏血管特征图，通过双线性插值的方法将不同尺度的心脏血管特征图放大到同一大小，最终沿着一个维度合并到一起，得到心脏冠状动脉分割及识别血管图。

进一步的，还包括参数更新的步骤，该步骤包括：

比较输出的心脏冠状动脉分割及识别血管图和医生精标注心脏冠状动脉分割及识别血管图的不同得到损失值，通过梯度下降法对神经网络各个层的参数进行更新；迭代运行所有的步骤，直到通过神经网络分割和识别出的血管图与医生精标注之间损失值低于预设的阈值。

进一步的，还包括测试步骤，该步骤包括：

步骤一：读取拍摄到的患者的心脏造影Dicom视频文件，提取关键帧，输入神经网络；并读取该***对应的模型参数。

步骤二：神经网络进行初始化，建立多层神经网络结构，并读取训练好的对应***的模型参数。

步骤三：神经网络接收患者的心脏造影Dicom视频图像，通过深度学习的方法对输入图片进行血管的分割和检测，输出不同***关键帧的血管分割和识别图片；

步骤四：对不同***重复步骤一到步骤三，直到将所有***的关键帧处理完毕。

本发明提供的一种基于深度学习的心脏冠状动脉分割及识别的方法，通过选取分段心脏造影Dicom视频中任意一帧图片作为训练样本，将训练样本输入神经网络中；所述神经网络由卷积神经网络模块、金字塔模型和反卷积层组成；神经网络中的卷积神经网络模块接收所述训练样本，通过深度学习的方法对训练样本中的图片进行血管的分割和识别，将用于分割和识别的心脏血管特征图输出至金字塔模块；金字塔模块接收用于分割和识别的心脏血管特征图，应用金字塔融合的方法，输出不同尺度的心脏血管特征图至反卷积层；反卷积层接收不同尺度的心脏血管特征图，通过双线性插值的方法得到心脏冠状动脉分割及识别血管图的技术方案，将基于深度学习的图像分割技术应用到冠状动脉分割中。可以端到端的自动完成心脏造影图像的分割和识别任务。以较高的准确率分割定位心脏造影图像中的冠状动脉。可以对图片中每一个像素打标签，从而识别出图片中不同血管的类型。应用深度学习的方法，一方面消除了由于背景像素和血管像素比例差异较大而导致的分类不均衡问题，另一方面也有效的避免了图像背景中类似血管状的纹理引入的干扰，提高了分割精确度。

附图说明

图1为根据本发明的一种基于深度学习的心脏冠状动脉分割及识别的方法的流程图。

图2为根据本发明的一种基于深度学习的心脏冠状动脉分割及识别的方法的统一分布的特征图示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

实施例一

参照图1，图1示出了，本发明提供的一种基于深度学习的心脏冠状动脉分割及识别的方法，包括步骤S110-步骤S140：

在步骤S110中，选取分段心脏造影Dicom视频中任意一帧图片作为训练样本，将训练样本输入神经网络中；

所述神经网络由卷积神经网络模块、金字塔模型和反卷积层组成。

在步骤S120中，神经网络中的卷积神经网络模块接收所述训练样本，通过深度学习的方法对训练样本中的图片进行血管的分割和识别，将用于分割和识别的心脏血管特征图输出至金字塔模块。

在步骤S130中，神经网络中的金字塔模块接收用于分割和识别的心脏血管特征图，应用金字塔融合的方法，输出不同尺度的心脏血管特征图至反卷积层。

在步骤S140中，神经网络中的反卷积层接收不同尺度的心脏血管特征图，通过双线性插值的方法得到心脏冠状动脉分割及识别血管图。

分段心脏造影Dicom视频的获取方法包括：

接收医疗综合数据库中存储的与病变种类信息对应的整段心脏造影Dicom视频；基于病变种类信息，使用SSN协同分析整段心脏造影Dicom视频中出现的关键特征信息；基于关键特征信息并结合***信息，对整段Dicom视频进行分段，并迭代该步骤，直到最终找到满足设定的分段视频。即从dicom文件中截取出血管轮廓较为清晰的数字减影心脏造影图像，并将图片处理为单通道的灰度图片，输入卷积神经网络。

其中，心脏造影Dicom视频数据集是由约100位冠心病患者的Dicom冠状动脉数字减影血管造影(医学数字成像通讯)文件组成。每位患者都有不同***的多个Dicom文件，每个Dicom文件都包含若干帧的冠状动脉造影，每一帧都有不同类型的血管，包括左主干、左回旋支、左前降支、侧支、左室间隔支、右冠等。本发明中需要分割并识别的血管就是这些血管。对于视频中的每一帧图像，医生都会对图中的血管进行精细的像素级标注。使用这些这些数据来训练网络模型，之后使用训练出的模型进行血管的分割和识别。

所述卷积神经网络模块由多层相同单元多次堆叠而成，所述单元从上到下依次为卷积层、批规范化层、快捷连接层、激活函数层。

进一步的，所述卷积层接收训练样本，对训练样本数据中每个固定大小的像素块进行2D卷积运算，提取训练样本数据中含有的用于分割和识别的特征图，并将特征图输出至批规范化层。

通过对输入图像进行一次又一次的卷积运算从而达到提取出图片中高维度特征，正是这些特征包含了分割和识别过程中用到的全部信息。

进一步的，所述批规范化层接收卷积层输出的特征图，对特征图数据进行减去均值除以方差的操作，使得特征图数据统一分布，并将批规范化特征图输出到快捷连接层。

如图2所示的统一分布的特征图数据，一般情况下，训练神经网络往往需要三天到一周的时间，再加上做实验验证结果，时间成本往往是需要考量的重要因素。批规范化层正是可以加速模型训练速度，大大缩小时间成本的一种方法。批规范化将特征规划化到同一合适的分布下加快网络的收敛速度，具体操作的第一步是对输入的特征进行规范化，将输入的特征减去其均值后除以其方差，具体过程可表示为：

其中表示规范化后的特征，x表示输入的特征，E[x^(k)]表示输入特征的均值，表示输入特征的方差。

在进行提取心脏血管特征的过程中，也要降低时间成本。所以在卷积层之后，对卷积层输出的心脏冠状造影的图像做一个批规范化处理。对卷积层输出的特征进行一个减去均值除以方差的操作，同时需要将每一层的均值和方差做一个存储以便在测试过程中可以直接使用，这样可以使使经过卷积后的心脏造影图像有统一的数据分布，从而可以加速提取血管特征的任务。

第二步是对规范化的特征进行平移和缩放，目的是让网络自己学习适合网络的输出，具体过程可表示为：

其中γ^(k)为可学***移参数。

进一步的，所述快捷连接层接收批规范化层的输出，将卷积层的输入与批规范化层的输出按权重相加得到特征图，并将特征图输出到激活函数层。整个神经网络就是由若干个快捷连接层相连而成。

神经网络的层数越深，其所能学到的特征的维度也就越高，因此层数对神经网络的有非常大的影响。但是当神经网络的层数变得越来越深的时候，更深层次的模型很难表达低维度的特征了，所以就会出现梯度***、梯度消失等问题。快捷连接单元即为解决该问题的方法。记H(X)＝F(X)+X,在极端情况下F(X)什么都没有学习到，即F(X)＝0，此时H(X)＝X。这就可以保证浅层特征向后传递，整个网络学习到的特征不会太差，将快捷连接单元用于提取心脏冠状动脉造影图像特征提取的任务中。让模型自己决定其想要提取特征维度的高低，做到尽可能保留有用的低维度的心脏血管特征。从而解决梯度***和梯度消失的问题。

整个快捷连接过程可以表示为：

y＝F(x,{w_i})+x

其中y表示输出的特征，x表示输入的特征，F(X,{Wi})表示需要训练的残差映射函数，Wi表示该层的权重。

进一步的，所述激活函数接收快捷连接层的输出，对接收到的数据进行非线性处理，即对这些特征图进行relu运算；将处理后的数据输入下一个单元的卷积层；直到神经网络结构中所有的单元计算完卷积网络的所有特征提取层，得到用于分割和识别的心脏血管特征图，并将用于分割和识别的心脏血管特征图输入金字塔模块。

如果仅仅是单纯的将这些线性卷积网络连接，那么最终的效果仅仅与一个单一的卷积单元一样。所以在实际使用过程中需要引入激活函数层，如图即为激活函数的图像，具体过程可表示为：

Y＝G(X)

其中y为输出特征，x为输入特征，G为激活函数。

在测试过程中，也将卷积处理过的心脏冠状动脉血管图像进行减均值除以方差的操作，保证测试和训练过程中心脏冠状动脉血管图像特征的分布一致。

进一步的，所述金字塔模块接收用于分割和识别的心脏血管特征图，应用金字塔融合的方法，先对特征图进行卷积操作，输出不同尺度的心脏血管特征图；将不同尺度的心脏血管特征图输入反卷积层。

金字塔模块融合了提取出的心脏冠状动脉图像的4种不同尺度的特征。即将四种不同大小的心脏特征融合，如图第一行红色是最粗糙的心脏冠状动脉图像特征，后面三行是不同尺度的心脏冠状动脉图像池化特征。为了保证全局特征的权重，如果金字塔共有N个级别，则在每个级别后使用1x1的卷积将对于级别通道降为原本的1/N。再通过双线性插值获得未池化前的大小，最终沿着一个维度合并到一起。

反卷积层接收不同尺度的心脏血管特征图，通过双线性插值的方法将不同尺度的心脏血管特征图放大到同一大小，最终沿着一个维度合并到一起，得到心脏冠状动脉分割及识别血管图。

进一步的，还包括参数更新的步骤，该步骤包括：

比较输出的心脏冠状动脉分割及识别血管图和医生精标注心脏冠状动脉分割及识别血管图的不同得到损失值，通过梯度下降法对神经网络各个层的参数进行更新；迭代运行所有的步骤，直到通过神经网络分割和识别出的血管图与医生精标注之间损失值低于预设的阈值。

进一步的，还包括测试步骤，该步骤包括：

步骤一：读取拍摄到的患者的心脏造影Dicom视频文件，提取关键帧，输入神经网络；并读取该***对应的模型参数。

步骤二：神经网络进行初始化，建立多层神经网络结构，并读取训练好的对应***的模型参数。

步骤三：神经网络接收患者的心脏造影Dicom视频图像，通过深度学习的方法对输入图片进行血管的分割和检测，输出不同***关键帧的血管分割和识别图片；

步骤四：对不同***重复步骤一到步骤三，直到将所有***的关键帧处理完毕。

一优选实施例，实验室硬件：Intel Xeon CPU E5-2630 v4 CPU和NVIDIA GTX1080 Ti GPU进行协同控制。

一、数据读取

步骤一：接受从医疗综合数据库中存储的与所述病变种类信息对应的整段心脏造影Dicom视频。

步骤二：基于病种信息，使用SSN协同分析整段心脏造影Dicom视频中出现的关键特征信息。

步骤三：基于关键特征信息并结合***信息，对整段Dicom视频进行分段，并迭代该步骤，直到最终找到满足设定的分段视频。

步骤四：选取视频分段中的任意一帧作为训练样本，将其输入神经网络模块中。

二、训练网络对血管进行分割并检测

步骤一：神经网络进行初始化，建立多层神经网络结构，其由相似单元多次堆叠而成，一个单元中从上到下依次为卷积层、批规范化层、快捷连接层、激活函数层。同时读取预训练模型参数。

步骤二：神经网络接受数字减影血管造影图像，通过深度学习的方法对输入图片进行血管的分割和检测。

步骤三：卷积层接受数字减影血管造影图像，其对数据中的每个固定大小的像素块进行2D卷积运算，提取数据中含有的可以用于分割和识别的主要信息，并将这些信息输出至批规范化层。

步骤四：批规范化层接受卷积层输出的特征图，对数据进行减去均值除以方差的操作，从而让数据有一个统一的分布，并将处理过的特征图输出到快捷连接层。

步骤五：快捷连接层接受批规范化层的输出，将卷积层的输入与批规范化层的输出按权重相加得到特征图，并将其输出到激活函数层。

步骤六：激活函数接受快捷连接层的输出，对接受到的数据进行非线性处理，即对这些特征图进行relu运算。将处理后的数据输入下一个单元的卷积层。

步骤七：重复三到六步骤直到计算完卷积网络的所有特征提取层，得到最终的特征图。这就是我们需要用于血管分割和识别的所有主要信息。将这些信息输入金字塔模块。

步骤八：金字塔模块接受这些用于分割和识别的心脏血管特征图，应用金字塔融合的方法，先对特征图进行卷积操作，输出四种不同尺度的心脏血管特征图。将四种不同尺度的心脏血管特征图输入反卷积层。

步骤九：反卷积层接受四种不同尺度的心脏血管特征图，通过双线性插值的方法将四种不同尺度的心脏血管特征图放大到同一大小，最终沿着一个维度合并到一起。这就得到了最后的分割识别血管图。

步骤十：比较最后输出的分割识别血管图和医生精标注图片的不同得到损失值，之后通过梯度下降法对神经网络各个层的参数进行更新。

步骤十一：迭代运行步骤二到步骤十直到通过神经网络分割和识别出的血管图与医生精标注之间损失值低于预设的阈值。

步骤十二：存储训练之后的模型参数和神经网络模型结构，以便以后测试过程中使用。

步骤十三：训练不同***数据的模型参数并存储。

测试网络对血管进行分割并检测

步骤一：读取拍摄到的患者的Dicom文件，提取关键帧，输入神经网络。并读取该***对应的模型参数。

步骤二：神经网络进行初始化，建立多层神经网络结构，并读取之前训练好的对应***的模型参数。

步骤三：神经网络接收数字减影血管造影图像，通过深度学习的方法对输入图片进行血管的分割和检测，输出不同***关键帧的血管分割和识别图片。

步骤四：对不同***重复上述一到三步骤，直到将所有***的关键帧处理完毕。

本发明提供的一种基于深度学习的心脏冠状动脉分割及识别的方法，通过选取分段心脏造影Dicom视频中任意一帧图片作为训练样本，将训练样本输入神经网络中；所述神经网络由卷积神经网络模块、金字塔模型和反卷积层组成；神经网络中的卷积神经网络模块接收所述训练样本，通过深度学习的方法对训练样本中的图片进行血管的分割和识别，将用于分割和识别的心脏血管特征图输出至金字塔模块；金字塔模块接收用于分割和识别的心脏血管特征图，应用金字塔融合的方法，输出不同尺度的心脏血管特征图至反卷积层；反卷积层接收不同尺度的心脏血管特征图，通过双线性插值的方法得到心脏冠状动脉分割及识别血管图的技术方案，将基于深度学习的图像分割技术应用到冠状动脉分割中。可以端到端的自动完成心脏造影图像的分割和识别任务。以较高的准确率分割定位心脏造影图像中的冠状动脉。可以对图片中每一个像素打标签，从而识别出图片中不同血管的类型。应用深度学习的方法，一方面消除了由于背景像素和血管像素比例差异较大而导致的分类不均衡问题，另一方面也有效的避免了图像背景中类似血管状的纹理引入的干扰，提高了分割精确度。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种基于深度学习的心脏冠状动脉分割及识别的方法，其特征在于，包括：

选取分段心脏造影Dicom视频中任意一帧图片作为训练样本，将训练样本输入神经网络中；

神经网络中的卷积神经网络模块接收所述训练样本，通过深度学习的方法对训练样本中的图片进行血管的分割和识别，将用于分割和识别的心脏血管特征图输出至金字塔模块；

神经网络中的金字塔模块接收用于分割和识别的心脏血管特征图，应用金字塔融合的方法，输出不同尺度的心脏血管特征图至反卷积层；

神经网络中的反卷积层接收不同尺度的心脏血管特征图，通过双线性插值的方法得到心脏冠状动脉分割及识别血管图。

2.如权利要求1所述的方法，其特征在于，所述分段心脏造影Dicom视频的获取方法包括：

接收医疗综合数据库中存储的与病变种类信息对应的整段心脏造影Dicom视频；

基于病变种类信息，使用SSN协同分析整段心脏造影Dicom视频中出现的关键特征信息。

基于关键特征信息并结合***信息，对整段Dicom视频进行分段，并迭代该步骤，直到最终找到满足设定的分段视频。

3.如权利要求1或2所述的方法，其特征在于，所述卷积神经网络模块由多层相同单元多次堆叠而成，所述单元从上到下依次为卷积层、批规范化层、快捷连接层、激活函数层。

4.如权利要求3所述的方法，其特征在于，所述卷积层接收训练样本，对训练样本数据中每个固定大小的像素块进行2D卷积运算，提取训练样本数据中含有的用于分割和识别的特征图，并将特征图输出至批规范化层。

5.如权利要求3或4所述的方法，其特征在于，所述批规范化层接收卷积层输出的特征图，对特征图数据进行减去均值除以方差的操作，使得特征图数据统一分布，并将批规范化特征图输出到快捷连接层。

6.如权利要求3-5之一所述的方法，其特征在于，所述快捷连接层接收批规范化层的输出，将卷积层的输入与批规范化层的输出按权重相加得到特征图，并将特征图输出到激活函数层。

7.如权利要求3-6之一所述的方法，其特征在于，所述激活函数接收快捷连接层的输出，对接收到的数据进行非线性处理，即对这些特征图进行relu运算；将处理后的数据输入下一个单元的卷积层；直到神经网络结构中所有的单元计算完卷积网络的所有特征提取层，得到用于分割和识别的心脏血管特征图，并将用于分割和识别的心脏血管特征图输入金字塔模块。

8.如权利要求1-7之一所述的方法，其特征在于，所述金字塔模块接收用于分割和识别的心脏血管特征图，应用金字塔融合的方法，先对特征图进行卷积操作，输出不同尺度的心脏血管特征图；将不同尺度的心脏血管特征图输入反卷积层；

反卷积层接收不同尺度的心脏血管特征图，通过双线性插值的方法将不同尺度的心脏血管特征图放大到同一大小，最终沿着一个维度合并到一起，得到心脏冠状动脉分割及识别血管图。

9.如权利要求1-8之一所述的方法，其特征在于，还包括参数更新的步骤，该步骤包括：

比较输出的心脏冠状动脉分割及识别血管图和医生精标注心脏冠状动脉分割及识别血管图的不同得到损失值，通过梯度下降法对神经网络各个层的参数进行更新；迭代运行所有的步骤，直到通过神经网络分割和识别出的血管图与医生精标注之间损失值低于预设的阈值。

10.如权利要求1-9之一所述的方法，其特征在于，还包括测试步骤，该步骤包括：

步骤一：读取拍摄到的患者的心脏造影Dicom视频文件，提取关键帧，输入神经网络；并读取该***对应的模型参数。

步骤二：神经网络进行初始化，建立多层神经网络结构，并读取训练好的对应***的模型参数。

步骤三：神经网络接收患者的心脏造影Dicom视频图像，通过深度学习的方法对输入图片进行血管的分割和检测，输出不同***关键帧的血管分割和识别图片；

步骤四：对不同***重复步骤一到步骤三，直到将所有***的关键帧处理完毕。