CN111369528B - 基于深度卷积网络的冠状动脉血管造影图像狭窄区域标示方法 - Google Patents

Abstract

本发明公开了基于深度卷积网络的冠状动脉血管造影图像狭窄区域标示方法，包括如下步骤：S1、获取完全造影图像；S2、基于卷积神经网络狭窄分类模型对完全造影图像进行分类，提取各类包含狭窄区域的完全造影图像；S3、基于类激活图或锚的特征金字塔网络识别各类包含狭窄区域的完全造影图像中的狭窄区域；S4、将识别出的狭窄区域在对应的完全造影图像中进行标示。本发明通过神经网络对完全造影图像中狭窄区域的自动标示，减少了工作人员的工作量，为冠状动脉血管疾病的诊断提供了更加准确的图像基础。

Description

基于深度卷积网络的冠状动脉血管造影图像狭窄区域标示 方法

技术领域

本发明涉及图像识别领域，具体涉及基于深度卷积网络的冠状动脉血管造影图像狭窄区域标示方法。

背景技术

冠状动脉疾病(冠心病，Coronary artery disease,CAD)是全球发病率和死亡率的主要原因。侵入式冠状动脉造影成像技术(X-ray coronary angiography,CAG，或Invasive Coronary Angiography，ICA)是目前诊断冠心病的金标准成像技术，其中针对动脉狭窄的诊断和评估是开展进一步诊断和临床规划的重要步骤。

目前，在医疗图像处理及辅助诊断领域，基于机器视觉(Computer Vision，CV)和人工智能(Artificial Intelligence，AI)的方法与临床诊断评估方法已经越来越紧密地结合在一起，用于解决处理过程中的图像降噪、目标识别、组织分割、疾病预测等问题，已经成为其不可分割的一部分。在侵入式冠脉造影成像中，也有许多研究人员对狭窄检测方法提出基于机器视觉、模式识别的自动或半自动算法以协助疾病评估诊断。其中较为常见的是基于动脉血管检测的算法流程，其步骤包括动脉提取、直径计算和狭窄分析等。例如，许多学者将机器视觉中的目标轮廓提取/中心线提取的技术应用到血管中心跟踪上；更为流行的方法是基于图像分割的技术和最近的基于卷积神经网络(卷积神经网络)的分割等；这样，通过精确提取CAG图像中的冠状动脉，以此为基准实现对冠心病的疾病预测与定性/定量分析。

然而，现有技术中的做法都是非端到端的，即中间存在大量的预处理步骤，如冠状动脉轮廓的标注和对比帧的选取等，这些都需要人工来进行操作。给操作人员带来了沉重的负担，同时不可避免地会给整体***流程带来误差和错误。

因此，如何实现端到端的冠状动脉血管造影图像狭窄区域的标示，成为了本领域技术人员急需解决的问题。

发明内容

针对现有技术存在的上述不足，本发明要解决的技术问题是：如何实现端到端的冠状动脉血管造影图像狭窄区域的标示。

为解决上述技术问题，本发明采用了如下的技术方案：

基于深度卷积网络的冠状动脉血管造影图像狭窄区域标示方法，包括如下步骤：

S1、获取完全造影图像；

S2、基于卷积神经网络狭窄分类模型对完全造影图像进行分类，提取各类包含狭窄区域的完全造影图像；

S3、基于类激活图或锚的特征金字塔网络识别各类包含狭窄区域的完全造影图像中的狭窄区域；

S4、将识别出的狭窄区域在对应的完全造影图像中进行标示。

优选地，卷积神经网络狭窄分类模型中，用二分类设置和/或冗余分类设置替换最后一个全连接层和激活层。

优选地，卷积神经网络狭窄分类模型中，用冗余分类设置替换最后一个全连接层和激活层时，训练卷积神经网络狭窄分类模型的训练数据集包括各类包含狭窄区域的完全造影图像，还包括作为其他类别的不包含狭窄区域的完全造影图像。

优选地，步骤S2包括：

S201、将冠状动脉血管分为多个节段；

S202、基于卷积神经网络狭窄分类模型对完全造影图像进行分类，判断完全造影图像是否包含狭窄区域及狭窄区域所属节段；

S203、当完全造影图像包含狭窄区域时，生成对应节段狭窄的标签，并将标签映射到对应的完全造影图像中。

综上所述，本发明公开了基于深度卷积网络的冠状动脉血管造影图像狭窄区域标示方法，包括如下步骤：S1、获取完全造影图像；S2、基于卷积神经网络狭窄分类模型对完全造影图像进行分类，提取各类包含狭窄区域的完全造影图像；S3、基于类激活图或锚的特征金字塔网络识别各类包含狭窄区域的完全造影图像中的狭窄区域；S4、将识别出的狭窄区域在对应的完全造影图像中进行标示。本发明通过神经网络对完全造影图像中狭窄区域的自动标示，减少了工作人员的工作量，为冠状动脉血管疾病的诊断提供了更加准确的图像基础。

附图说明

图1为本发明公开的一种基于深度卷积网络的冠状动脉血管造影图像狭窄区域标示方法的一种具体实施方式的流程图；

图2为基于类激活图进行狭窄区域标示的示意图；

图3为基于锚的特征金字塔网络进行狭窄区域标示的示意图；

图4为本发明中结合卷积神经网络与循环神经网络的分类模型的示意图。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步的详细描述说明。

如图1所示，本发明公开了基于深度卷积网络的冠状动脉血管造影图像狭窄区域标示方法，包括如下步骤：

S1、获取完全造影图像；

S2、基于卷积神经网络狭窄分类模型对完全造影图像进行分类，提取各类包含狭窄区域的完全造影图像；

S3、基于类激活图或锚的特征金字塔网络识别各类包含狭窄区域的完全造影图像中的狭窄区域；

基于狭窄分类模型，设计类激活图(Class Activation Map,CAM或Grad-CAM)作为狭窄激活图，来识别模型中对其分类决策具有不同贡献权重的狭窄区域。在训练模型中，CAM的计算可以简单地描述为特征图及其权值与狭窄类别的线性求和。在CAM的基础上，通过对激活区域进行阈值化与边缘提取，就可以从背景中将高激活区域识别出来形成目标识别框，如图2所示，在狭窄分类训练后，我们使用类激活图作为狭窄激活图(SAM,Stenosisactivation map)，用来定位识别训练模型中对其分类决策具有不同贡献权重的狭窄区域。SAM的计算M_s可以描述为一个训练模型中全局平均池(GAP)层对第l层的k个特征图

特定类别(在二分类中，为1类阳性狭窄)的权重

的线性求和。SAM的公式如下：

神经元重要性权重

是通过指定输出类别s(在二分类中，类别1可表示狭窄)的反向传播通过梯度的平均池化获得的，如下式所示：

其中Z是归一化操作。在等式中，我们采用ReLU(校正线性)单元以从特征映射中排除负激活值。

随后，最大狭窄激活的坐标可以通过下式计算出来：

Loc_s＝argmax(M_s(i，i))

在本发明的方法中，定义二分类(0/1)模型的类别1为狭窄类型，l＝310为最终卷积层，k＝512。因此，生成的M_s的尺寸为14*14。将其上采样为原始输入图像大小512*512，然后对其进行阈值化，生成狭窄区域和狭窄峰值定位信息。由于这种方法是建立在分类网络的基础上，不需要大量的人工输入来确定狭窄区域的位置

如图3所示，基于锚的特征金字塔网络，以进一步提高狭窄区域在细粒度级别的定位能力。锚(或锚定框，anchor)可定义为一个具有5个属性的向量，这些属性表示为锚定框的中心坐标、宽度高度以及该框中狭窄区域的狭窄程度。为了预测这些属性，在预先训练的卷积神经网络狭窄分类模型的特征图上建立了特征金字塔网络(FPN)。

S4、将识别出的狭窄区域在对应的完全造影图像中进行标示。

本发明通过对完全造影图像中狭窄区域的自动标示，减少了工作人员的工作量，为冠状动脉血管疾病的诊断提供了更加准确的图像基础。

具体实施时，卷积神经网络狭窄分类模型中，用二分类设置和/或冗余分类设置替换最后一个全连接层和激活层。

本发明是依靠机器学习及多层神经网络(主要是CNN分类网络，例如inception，vgg等)方法，以完全造影图像作为输入层，利用逐层抽象的思想来提炼图像中的造影血管的狭窄区域。多层模型的隐藏层(中间层)由自下而上、承前启后的“特征图(feature map)”来进行表示。

基于机器学习的应力分析法通过对模型参数的调优与训练，形成针对完全造影图像中不同分类的CAG图像特征分布，以此作为后续运动分析的基础。

具体来说，对于狭窄分类训练，可采用ImageNet数据集对inception-v3进行预训练，然后用二分类设置和/或冗余分类设置替换最后一个全连接层和激活层。

具体实施时，卷积神经网络狭窄分类模型中，用冗余分类设置替换最后一个全连接层和激活层时，训练卷积神经网络狭窄分类模型的训练数据集包括各类包含狭窄区域的完全造影图像，还包括作为其他类别的不包含狭窄区域的完全造影图像。

为了提高训练效果，减少过度拟合，在本发明中，可采用冗余训练。将预先分类的冗余帧图像(不包含狭窄区域的完全造影图像)添加到训练数据集中(不用于测试或验证中)。冗余帧图像被标记为一个新的类别(其他类别)。在二分类设置上执行了此训练策略，这里称为冗余分类设置。为了避免引入类别不平衡，可对每种情况下的冗余帧和候选帧(包括各类包含狭窄区域的完全造影图像)进行了大致相同的采样。

具体实施时，步骤S2包括：

S201、将冠状动脉血管分为多个节段；

S202、基于卷积神经网络狭窄分类模型对完全造影图像进行分类，判断完全造影图像是否包含狭窄区域及狭窄区域所属节段；

S203、当完全造影图像包含狭窄区域时，生成对应节段狭窄的标签，并将标签映射到对应的完全造影图像中。

训练标记可由工作人员手动测量生成的QCA(冠脉造影定量分析)中的节段(29节段模型)狭窄程度确定。根据狭窄程度，包含狭窄区域的完全造影图像采用二类设置(狭窄程度大于或等于25％，以及狭窄程度小于25％)。对于动脉的标签，该值直接由QCA生成。对于图像级别的标签，采用最优视图映射(OVM)方法，将每个节段狭窄类别标记到每个角度观看的图像。最优映射法将对应节段的狭窄程度映射到对应视图中，如下表所示：

每个模型(4个LCA角度视图训练集和1个RCA训练集)都接受了200次迭代训练，学***衡。

此外，在LCA/RCA的各角度视图中对模型的输出分数应用max-pooling层来评估动脉级狭窄预测。

本发明充分考虑了CAG图像中的有效信息(前景造影血管)与复杂背景的矛盾，项目从机器学习数学基础进行探讨，提出了冗余训练的策略，同时结合深度学习可视化技术(例如类激活图ClassActivation Map)来解决过拟合问题。

本发明实现了目前X射线冠脉造影图像在狭窄区域标示上的一个重要难题：如何利用计算机辅助检测方法来进行“端到端”的检测标示，即输入图像->生成结果。而不需要在这个过程中辅以大量的人工操作，例如选取合适的视角、选取造影帧、绘制冠脉血管轮廓等。

为了验证本发明的有效性，本发明采集了230名待测者，1628个DICOM冠脉视频，约15000帧的造影图像。

采用本发明的方法进行标示后，基于图像分类的整体精度：85％。

基于弱监督分类(类激活图)的狭窄病区域定位精度/MSE：60％/90pixel，基于锚的特征金字塔网络的定位精度/MSE：69％/39pixel。

在本发明中，可通过以下方法获得完全造影图像：

获取冠状动脉血管全过程造影图像；对所述冠状动脉血管全过程造影图像进行预分类，得到左冠状动脉血管全过程造影图像及右冠状动脉血管全过程造影图像；基于结合卷积神经网络与循环神经网络的分类模型识别左冠状动脉血管全过程造影图像及右冠状动脉血管全过程造影图像中的完全造影图像。CAG图像中，由于采集的图像通常都为时间序列图像，其中包含造影剂灌注成像的全过程的图像，这些图像中只有完全造影的图像才有临床诊断的价值。因此，本发明通过结合卷积神经网络与循环神经网络的分类模型对全过程造影图像进行了分类，从而找到了具有临床诊断价值的完全造影图像，为后续的基于完全造影图像进行的诊断或检测提供了基础。

获得完全造影图像的方法中，左冠状动脉血管全过程造影图像包括LAO颅侧全过程造影图像、LAO尾侧全过程造影图像、RAO颅侧全过程造影图像和RAO尾侧全过程造影图像，右冠状动脉血管全过程造影图像包括直LAO全过程造影图像、直RAO全过程造影图像、浅LAO颅侧全过程造影图像及浅RAO颅侧全过程造影图像。

这些视角的造影图像视频包括了造影剂注入的全过程，其时间范围的覆盖比较全，便于检测。

基于结合卷积神经网络与循环神经网络的分类模型识别左冠状动脉血管全过程造影图像及右冠状动脉血管全过程造影图像中的完全造影图像包括：利用训练后的冠状动脉类型卷积神经网络分类器将冠状动脉血管全过程造影图像分为左冠状动脉血管全过程造影综合图像及右冠状动脉血管全过程造影综合图像。对左冠状动脉血管全过程造影综合图像及右冠状动脉血管全过程造影综合图像进行分类生成左冠状动脉血管全过程造影图像及右冠状动脉血管全过程造影图像。

如图4所示，结合卷积神经网络与循环神经网络的分类模型中，卷积神经网络的全连接层与双向循环神经网络的输入层相连，双向循环神经网络的输出层与两级卷积和/或池化层相连。所述结合卷积神经网络与循环神经网络的分类模型的训练方法包括：获取左冠状动脉血管全过程造影图像及右冠状动脉血管全过程造影图像对应的完全造影图像集合及非完全造影图像集合，所述完全造影图像集合及非完全造影图像集合为具有对应的视觉显著特征的图像；基于所述完全造影图像集合及非完全造影图像集合对卷积神经网络进行单帧训练；将训练后的卷积神经网络层的全连接层或较深的卷积特征图(一般是全连接层之前的最后一个卷积层，例如本发明中，具体可在算法里选取inception-v3的310层)输出到双向循环神经网络的输入层；LSTM输出之后，又添加了一层concatenate层用于连接前向LSTM，后向LSTM和CNN输入的特征矢量；随后，可连接两层1D卷积层，用两层1D卷积层后，直接连接一个全连接层，一个激活层分类。对于卷积神经网络的训练过程，将损失函数定义为二元熵/交叉熵。对于双向循环神经网络的训练，双向循环神经网络是在单帧训练之后进行的，单帧训练用于预训练CNN，LSTM训练是用整个视频来进行的。这里为了保证输入视频帧的长度固定，可在一个不定长的视频里均匀采样64帧作为输入，将损失函数定义为卷积F1分数。

定义卷积化F1损失函数(convolutional F1 loss)如下：

首先，预测结果Msk_p和真值结果Msk_t之间的卷积化精度precision(P)和召回率recall(R)定义为:

Conv(·，k)是一个1维卷积操作，其卷积核为kernel(k)，这里选取k＝(1，1，1)。这样，卷积化F1损失函数就定义为：

Loss＝2P×R/(P+R)×100％。

选用这个卷积化F1损失函数的优势在于：1.通常在一个冠脉造影影像中，“完全造影”帧数少(<20％)，因此0/1类别的数量不平衡。如果用二元熵进行训练，容易造成损失函数收敛困难。用F1分数作为损失函数，计算的只是1类别的预测值和真值的重合程度，与0/1类别的比例无关，因此避免了0/1数量不平衡导致的训练困难问题。2.用卷积化F1的目的是提高算法的灵活性和容忍率。想要准确地定义“完全造影”帧存在困难，有时候训练标签的定义也未必精确。选用(1,1,1)的卷积核，相当于在F1损失函数上添加了一个半径为1帧的容忍范围，提高了算法的灵活性。

在CAG的检测过程中，通常需要在造影视频中寻找“动脉血管完全造影”帧，一般来说这有一个范围，从“完全造影起始帧”到“完全造影结束帧”通常会有1～3个心动周期，包括20～60帧不等。

“完全造影”帧的选取非常重要，如果选取的时间不对，由于造影剂不全会导致健康血管成像的形态与狭窄血管的特征很相似，导致误判。

这个步骤通常由工作人员手工选取；也有利用图像处理的方法，例如直方图，灰度分布和CNN分类算法来进行自动识别的；但是过往的方法没有很好的解决“完全造影帧”和“非完全造影帧”的识别问题。因为定义上比较模糊，再加上造影部位在整幅图像中的占比较小、X射线透视图像自身的伪影和噪声较大，很多时候二者的图像特征相似度很高。

另外，由于心脏运动的周期性，会导致动脉造影图像也产生周期性变化，这种变化会掩盖因为造影剂不完全填充/完全填充而产生的变化，从而导致许多传统的图像特征很难识别其边界。

通过结合卷积神经网络与循环神经网络的模型能够很好的处理“完全造影”和“非完全造影”的模糊问题。

首先，利用卷积神经网络进行分类预训练，可以把“造影”和“非造影”图像中的特征，包括图像灰度分布、造影血管形状边缘等特征识别归纳出来；

其次，利用循环神经网络的优势在于对时间维度特征的处理，可以把二者的细微差别在时间维度上展现出来；同时可以很好地避免算法陷入局部极小值；

更进一步来说，这里利用了LSTM的长短记忆能力。利用模型的短记忆能力处理两帧/数帧之间的细微差别以选取合适的“完全造影”时机；同时也想利用模型的长记忆能力筛选或消除心动周期(通常周期为10～30帧)对“完全造影”的影响。要想让模型学会适应或忽略心脏运动这一具有周期性规律的图像变化，只有通过对LSTM进行大量数据的训练才能达到。

最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管通过参照本发明的优选实施例已经对本发明进行了描述，但本领域的普通技术人员应当理解，可以在形式上和细节上对其作出各种各样的改变，而不偏离所附权利要求书所限定的本发明的精神和范围。

Claims (4)

1.基于深度卷积网络的冠状动脉血管造影图像狭窄区域标示方法，其特征在于，包括如下步骤：

S1、获取完全造影图像；

S2、基于卷积神经网络狭窄分类模型对完全造影图像进行分类，提取各类包含狭窄区域的完全造影图像；

S3、基于类激活图或锚的特征金字塔网络识别各类包含狭窄区域的完全造影图像中的狭窄区域；

其中，基于狭窄分类模型，设计类激活图作为狭窄激活图，来识别模型中对其分类决策具有不同贡献权重的狭窄区域；在训练模型中，类激活图的计算描述为特征图及其权值与狭窄类别的线性求和；在类激活图的基础上，通过对激活区域进行阈值化与边缘提取，从背景中将高激活区域识别出来形成目标识别框，在狭窄分类训练后，用类激活图作为狭窄激活图，用来定位识别训练模型中对其分类决策具有不同贡献权重的狭窄区域；

锚定义为一个具有5个属性的向量，这些属性表示为锚定框的中心坐标、宽度高度以及该框中狭窄区域的狭窄程度；为了预测这些属性，在预先训练的卷积神经网络狭窄分类模型的特征图上建立特征金字塔网络；

S4、将识别出的狭窄区域在对应的完全造影图像中进行标示。

2.如权利要求1所述的基于深度卷积网络的冠状动脉血管造影图像狭窄区域标示方法，其特征在于，卷积神经网络狭窄分类模型中，用二分类设置和/或冗余分类设置替换最后一个全连接层和激活层。

3.如权利要求2所述的基于深度卷积网络的冠状动脉血管造影图像狭窄区域标示方法，其特征在于，卷积神经网络狭窄分类模型中，用冗余分类设置替换最后一个全连接层和激活层时，训练卷积神经网络狭窄分类模型的训练数据集包括各类包含狭窄区域的完全造影图像，还包括作为其他类别的不包含狭窄区域的完全造影图像。

4.如权利要求1所述的基于深度卷积网络的冠状动脉血管造影图像狭窄区域标示方法，其特征在于，步骤S2包括：

S201、将冠状动脉血管分为多个节段；

S202、基于卷积神经网络狭窄分类模型对完全造影图像进行分类，判断完全造影图像是否包含狭窄区域及狭窄区域所属节段；

S203、当完全造影图像包含狭窄区域时，生成对应节段狭窄的标签，并将标签映射到对应的完全造影图像中。

Images