CN107563983B - 图像处理方法以及医学成像设备 - Google Patents

Abstract

本发明实施例提供一种图像处理方法以及医学成像设备，应用于图像处理技术领域，在一定程度上提高了对左右冠脉图像的识别的准确程度。本发明实施例提供的图像处理方法，包括：获取原始血管三维扫描图像；对所述原始血管三维扫描图像进行处理，得到指定血管候选区域；对所述指定血管候选区域进行处理，得到所述指定血管候选区域的中心线；沿所述中心线的走向，获取中心线上各采样点处垂直于所述中心线的二维切片数据；将所述二维切片数据输入经训练的神经网络进行学习，得到学习结果；根据数个所述学习结果确定指定血管图像。

Description

图像处理方法以及医学成像设备

技术领域

本发明涉及图像处理技术领域，尤其涉及一种图像处理方法以及医学成像设备。

背景技术

近年来，心血管疾病的发病率和死亡率正逐年增加，已成为世界范围内死亡的主要原因，在各种心血管疾病中，冠状动脉疾病在死亡率中占据非常高的比例。随着技术的发展，使用CTA(computed tomography angiography，血管造影)可以很好地对由冠状动脉原因造成的心脏疾病做出诊断。

冠状动脉包括左冠状动脉和右冠状动脉，它们分别从心脏底部的主动脉发出，向心尖的方向延伸，包络在心脏的表面，越到远离冠脉根部的心尖方向冠脉越细，基于冠状动脉的复杂结构，且冠状动脉包裹着心包，使得在CTA生成的图像中准确提取冠状动脉成为非常关键的一步。

由于在获取CTA图像之前，医生需要给病人注射造影剂，造影剂会流入靠近冠状动脉的腔室中，再加上医生使用仪器操作的问题，会影响从CTA图像中准确提取冠状动脉图像的准确性。

发明内容

本发明实施例提供一种图像处理方法以及医学成像设备，提高了从CTA图像中提取冠状动脉的准确性。

第一方面，本发明实施例提供一种图像处理方法，包括：

获取原始血管三维扫描图像；

对所述原始血管三维扫描图像进行处理，得到指定血管候选区域；

对所述指定血管候选区域进行处理，得到所述指定血管候选区域的中心线；

沿所述中心线的走向，获取中心线上各采样点处垂直于所述中心线的二维切片数据；

将所述二维切片数据输入经训练的神经网络进行学习，得到学习结果；

根据数个所述学习结果确定指定血管图像。

如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，指定血管为冠状动脉，所述方法还包括：

对所述指定血管图像中的冠状动脉进行处理，以去除每一个血管分支中非冠状动脉的区域。

如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，对所述指定血管图像中的冠状动脉进行处理包括：

确定所述冠状动脉的中心线；

在所述冠状动脉的中心线上确定分叉点和端点；

根据所述分叉点和端点将所述中心线划分为若干段；

根据所述若干段将所述指定血管图像划分为非冠状动脉的区域和冠脉区域。

如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，指定血管为冠状动脉，所述方法还包括：

对所述指定血管图像中的冠状动脉进行处理，以去除所述指定血管图像中的非冠状动脉血管点。

如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，在所述获取原始血管三维扫描图像之前，所述方法还包括：

使用正、负样本对神经网络进行训练，得到所述经训练的神经网络。

如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述神经网络包括卷积层、池化层、非线性映射层、全连接层和分类层，通过所述经训练的神经网络可确定所述二维切片数据的分类概率值。

如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述分类概率值包括所述二维切片数据属于指定血管的概率。

如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述神经网络采用感知-记忆-决策模型。

第二方面，本发明实施例还提供一种图像处理方法，包括：

获取原始血管三维扫描图像；

从所述原始血管三维扫描图像确定指定血管候选区域；

将所述指定血管候选区域划分为多个二维切片数据；

将多个二维切片数据输入经训练的神经网络进行学习，得到学习结果；

根据数个所述学习结果在所述指定血管候选区域确定指定血管图像。

第三方面，本发明实施例还提供一种医学成像设备，所述设备包括：

处理器；

用于存储所述处理器可执行指令的存储器；

所述处理器被配置为：

获取原始血管三维扫描图像；

从所述原始血管三维扫描图像确定指定血管候选区域；

将所述指定血管候选区域划分为多个二维切片数据；

将多个二维切片数据输入经训练的神经网络进行学习，得到学习结果；

根据数个所述学习结果在所述指定血管候选区域确定指定血管图像。

本发明实施例提供的图像处理方法以及医学成像设备医学成像设备，通过对原始血管三维扫描图像经过处理得到的冠状动脉候选区域进行处理，得到候选区域的中心线，然后沿着中心线的走向，获取中心线上各采样点处垂直于中心线的具有指定大小的二维切片数据，最后将二维切片数据作为输入数据输入到经训练的神经网络，经过神经网络学习后，能够有效地去除原始血管三维扫描图像中非冠状动脉区域，实现左右冠状动脉的准确识别，解决了现有技术中从CTA图像中准确提取冠状动脉的准确性较低的问题。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的医学图像处理方法实施例的流程图；

图2为本发明实施例提供的获取指定血管候选区域中心线结果示意图；

图3为本发明实施例提供的医学图像处理方法实施例的另一流程图；

图4为本发明实施例提供的医学图像处理方法实施例的另一流程图；

图5为本发明实施例提供的候选连通域示意图；

图6为本发明实施例提供的候选连通域经深度学习后结果示意图；

图7为本发明实施例提供的冠状动脉最终提取结果示意图；

图8为本发明实施例提供的医学图像处理方法实施例的另一流程图；

图9为本发明实施例提供的医学图像处理方法实施例的场景示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。

应当理解，本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。

现有的目标或组织分割通常包括基于灰度值模型或者基于形态模型等，然而对于形态复杂的目标或组织，分割过程容易受到多种因素的影响。针对上述问题，本申请提出一种医学图像处理方法，可包括训练(学习)阶段和检测(预测)阶段，其中：训练阶段可以是离线过程，在此期间可以利用同一受检者或者不同受检者同身体部位、同模态图像组成的数据库，训练得到包含多个特征的模型或者参数；检测阶段是在线过程，根据训练得到的包含多个特征的模型对待检测医学图像进行检测，获取针对当前医学图像的目标器官标识或定位。

在一些实施例中，数据库可包括解剖结构的部位、功能、受检者信息等统计测量结果，通过训练过程可通过数据库上的最小优化预测与目标或组织之间的最优拟合来学习或者训练目标或组织与医学图像上各像素之间的映射，或者通过训练过程获得目标或组织最匹配的基于形态的模型和/或基于像素的模型。当然，数据库中的三维医学图像还可以是经专家标注(标识)的医学图像，通过这些标识来自动学习关于病灶或者目标器官的关键特征及其特性。需要说明的是，自动学习的特征比手动选择的特征更具有代表性和普适性，基于自动学习的特征筛选得到的目标器官精度更高。

在一些实施例中，训练阶段包括：获取多个三维医学图像；从多个三维医学图像分割多个候选区域，该多个候选区域对应一个或多个目标部位或者目标组织；在多个候选区域提取目标部位的中心线，并根据中心线将多个候选区域对应的三维医学图像进行划分，获取二维切片图像数据集；将二维切片图像数据集作为训练样本，并利用训练样本对深度学习神经网络进行学习训练，训练完成后的深度学习神经网络可用于分割测试三维医学图像中的目标部位。进一步地，目标部位可以为动脉、静脉、气管等管状组织。

在本发明实施例中，上述医学图像处理方法，可用于对心脏区域的原始血管三维扫描图像进行处理，得到冠状动脉区域图像，以利于医生对冠状动脉疾病进行判断，确定病变位置以及对病变程度的预估等。

图1为本发明实施例提供的医学图像处理方法实施例的流程图，三维医学图像可选择心脏CT血管造影图像(CT angiography，CTA)或者心脏MR血管造影图像(MagneticResonance angiography，MRA),以下以CTA为例说明。如图1所示，本发明实施例提供的图像处理方法可以包括如下步骤：

101、获取原始血管三维扫描图像。

医师在为被检测人员在血管内注入造影剂后，利用电子计算机断层扫描(Computed Tomography，CT)设备对被检测人员进行扫描，获得断层扫描图像，然后对断层扫描图像进行重建，获得目标区域或者组织的原始血管三维扫描图像。

在一个具体的实现过程中，可以是心脏区域的原始血管三维扫描图像。

102、对原始血管三维扫描图像进行处理，得到指定血管候选区域。

在一个具体的实现过程中，当原始血管三维扫描图像为心脏区域的原始血管三维扫描图像时，获取指定血管候选区域可以示例性的如下进行说明：

处理过程可以为：首先，确定原始血管三维扫描图像中主动脉的位置，并对原始图像进行增强滤波，得到增强滤波图像，在该步骤中，根据原始图像中主动脉的特征和霍夫变换，确定原始图像中主动脉的位置，其中，主动脉特征为主动脉的灰度值以及形状特征。在CTA图像中，主动脉的特征为：主动脉的灰度值一般在250-550之间；主动脉根部在CTA图像上近似为标准的圆形区域且半径在10-25cm之间。根据以上CTA图像中主动脉的特征信息，利用霍夫变换在主动脉根部确定一个圆心；以圆心为起始点，通过区域生长得到一个圆形区域；之后每一层图像都以其上一层图像为基础做一定的变形，每一层图像对应区域的轮廓仍然是封闭的，直到某一次层图像上封闭轮廓的面积突然变大时停止寻找该层图像的封闭轮廓线；把每层图像上的轮廓区域进行叠加，即得到了CTA图像中主动脉的分割结果。

其次，根据主动脉的位置、原始血管三维扫描图像及增强滤波图像的灰度，确定左、右冠状动脉的起始区域。具体地，将主动脉的轮廓向外扩大m毫米，与主动脉之间形成环状结构。由于左、右冠状动脉为主动脉的分支，位于主动脉的两侧，因此，只需要主动脉周围一部分的像素点，不需要对整幅图像进行处理。接着，计算环状结构内每一个像素点成为血管点的概率。可以结合主动脉位置，原始图像灰度和增强滤波图像灰度确定某一点成为冠状动脉血管点的概率。接着，概率大于预定阈值的像素点为血管点，并统计血管点的连通区域。接着，根据连通区域与主动脉的位置关系以及连通区域的灰度值，计算每一个连通区域的条件值，并根据条件值以及连通区域和主动脉的位置关系，进行降序排序。在主动脉左右两侧，分别选取所排序后的前M个连通区域，并依次对前M个连通区域进行区域生长，若第S个连通区域的生长区域达到预定体积阈值，则将其作为对应侧的起始区域，其中，S≤M。

然后，基于至少一种预设分割阈值分割增强滤波图像，获取预设分割阈值对应的候选区域。具体地，选取N个预设分割阈值，分别对增强滤波图像进行阈值分割，得到对应的N个阈值分割结果。接着，在N个阈值分割结果中，去除位于左、右冠状动脉起始区域的扩展区域外的像素点，则得到N个阈值对应的候选区域。

最后，根据预设分割阈值对应的候选区域和左、右冠状动脉的起始区域，确定左、右冠状动脉的候选区域。具体地，分别计算每一个N个预设分割阈值对应的位于主动脉左边的候选区域和左冠状动脉起始区域的体积以及每一个N个预设分割阈值对应的位于主动脉右边的候选区域和右冠状动脉起始区域的体积。接着，根据N个预设分割阈值的降序顺序，将相邻阈值对应的体积的变化率最大的预设分割阈值分别作为左、右冠状动脉的最佳阈值，则左、右冠状动脉的最佳阈值对应的分割图像中的候选区域为左、右冠状动脉的候选区域。

在本发明实施例中，还可以采用现有技术中其他获取指定血管候选区域的方法。

103、对指定血管候选区域进行处理，得到指定血管候选区域的中心线。

指定血管候选区域血管中心线的提取方法采用从医学图像分割出血管，基于细化方法采用数学形态学的腐蚀运算得到血管骨架线，具体可参考Palágyi K,Balogh E,KubaA,et al.A sequential 3D thinning algorithm and its medical applications[C]//Biennial International Conference on Information Processing in MedicalImaging.Springer,Berlin,Heidelberg,2001:409-415。

在本发明实施例中，还可以通过在到器官距离值相同的体素中找出到表面的最短距离值最大的体素点，将这些体素点连接构成血管中心线。

在一个具体的实现过程中，从候选连通域中确定冠脉起始连通域(区域)。当左边和右边各保留有至多5个指定血管候选起始连通域时，基于指定血管候选区域，利用细化方法提取中心线的方法示例性的如下说明：

1)对血管树进行分类，利用细化方法确定骨架线上任一点的属性。示例性地，利用细化方法确定骨架线相关的邻域内单像素的连通性，当该点只有1个邻域点，则定义为端点，在血管上表现为血管起始点或者血管末端点；当该点具有两个邻域点，则定义为普通连接点，在血管上表现为血管的中间点；当该点具有3个邻域点，在血管上表现为血管分叉点。进一步地，当骨架上的节点相连或由骨架上的其他节点间接相连，则判断这些节点属于同一类；当骨架上的节点不相连且不与骨架上的其他节点间接相连，则判定这些节点不属于同一类。

2)令一个血管树的任一个端点作为初始点，判断其是否运算过，如果没有，则执行步骤3)；如果是，则继续选择其他血管树的端点，直至所有血管树处理完成。

3)沿着血管树进行节点搜索，并判断当前节点的多个邻域中骨架线上节点的属性，当判定为节点或者分叉点时，继续执行；当判定是端点时，执行步骤4)；

4)判断是否还有未计算的分支点，如果有，则删除该点并返回步骤3)继续执行；如果否，则说明血管树的节点搜索过程结束，并返回步骤2)。

可选地，在上述方法的基础上，还可提取基于血管整体结构特征的根节点，根据根节点进行血管中心线的校正。如图2所示，图2为本发明实施例提供的获取指定血管候选区域中心线结果示意图，该中心线为指定血管候选区域对应的多个二维切片图像中心点的集合。

在实际应用中，还可以采用现有技术中其他获取指定血管候选区域中心线的方法。

104、沿中心线的走向，获取中心线上各采样点处垂直于中心线的二维切片数据。

在本发明实施例中，前述内容中介绍了如何获取血管的中心线，获取血管中心线的目的在于确定二维切片的切割位置，具体的，可以沿着中心线的走线，获取垂直于中心线的二维切片数据，在一个具体的实现过程中，指定大小为64*64像素或者32*32像素，采样点可以根据实际情况进行设定，利用，按照指定间隔距离设定多个采样点，由于血管的走线是不固定的，因此，首先需要确定各采样点处垂直于中心线的法线方向，确定的方式为，当前采样点和其在中心线上沿中心线走向的方向向前第n个点(n＝5)确定，在确定了法线方向后，就可以确定垂直于中心线的方向，最后获得相应的二维切片数据。

由此，实现了将原始血管三维扫描图像转换为二维切片数据，用于输入至模型中进行神经网络学习。需要指出的是，二维切片数据在神经网络学习和处理时相比三维扫描图像可减小样本处理的难度；通过三维扫描图像获得二维切片数据，可增加样本数量。

105、将二维切片数据输入经训练的神经网络进行学习，得到学习结果。

在本发明实施例中，将二维切片数据输入最终神经网络进行学习的目的在于确定每一个二维切片数据是否为目标区域或者组织，因此，将每个二维切片数据输入最终神经网络进行学习后，均能得到对应的结果。在一个实施例中，结果为两种，一种是，该二维切片数据属于目标区域或者组织概率，另一种是，该二维切片数据不属于目标区域或者组织的概率。

在一个具体的实现过程中，当原始血管三维扫描图像为心脏区域，二维切片数据为与冠状动脉相关的二维切片数据，则，将每一个二维切片数据输入最终神经网络进行学习后，得到该二维切片数据属于冠状动脉的概率或者该二维切片数据不属于冠状动脉的概率。进一步地，根据学习结果的概率值可确定二维切片数据的属性。如，对于任一二维切片数据，利用经训练的神经网络处理后，可输出属于冠状动脉(正样本)的概率为0.7、不属于冠状动脉(负样本)的概率为0.3，即属于正样本的概率大于属于负样本的概率，由此可判定二维切片数据属于冠状动脉。又如，对于一二维切片数据，利用经训练的神经网络处理后，可输出属于冠状动脉(正样本)的概率为0.2、不属于冠状动脉(负样本)的概率为0.8，即属于负样本的概率大于属于正样本的概率，由此可判定二维切片数据不属于冠状动脉或非冠状动脉。类似地，对于任一输入经训练的神经网络的二维切片数据，可确定二维切片数据属于冠状动脉或非冠状动脉。需要指出的是，本申请中采用二维切片数据在神经网络学习和处理时相比三维扫描图像可从多角度反映样本的真实属性，学习得到的结构更可靠。

106、根据数个学习结果确定指定血管图像。

由于前述内容中，获取的二维切片数据具有一定的连续性和规则性，因此，当将数个二维切片数据输入最终神经网络进行学习后可得到多个分类概率值，该分类概率值表征属于目标区域或非目标区域，将其中属于目标区域或者组织的二维切片数据归为一类，将不属于目标区域或者组织的二维切片数据归为一类。

然后，将属于目标区域或者组织的所有二维切片数据进行组合，得到指定血管图像。

在一个具体的实现过程中，当原始血管三维扫描图像为心脏区域，二维切片数据为与冠状动脉相关的二维切片数据，则，将所有二维切片数据中属于冠状动脉的二维切片数据进行组合，得到冠状动脉图像。

在前述内容的基础上，本发明实施例中还提供如下方法流程，用于对得到的指定血管图像进行处理，得到更加准确、精细的指定血管图像。尤其是，当指定血管为冠状动脉时，如图3所示，图3为本发明实施例提供的医学图像处理方法实施例的另一流程图，在步骤106之后，本发明实施例中还可以包括如下步骤：

107、对指定血管图像中的冠状动脉进行处理，以去除每一个血管分支中非冠状动脉的区域。

可选地，对指定血管图像中的冠状动脉进行处理包括：确定冠状动脉的中心线；在冠状动脉的中心线上确定分叉点和端点；根据分叉点和端点将中心线划分为若干段；根据若干段划将指定血管图像划分为非冠状动脉的区域和冠脉区域。在本发明实施例中，对于指定血管图像中的冠状动脉进行处理，冠状动脉的中心线的点，若其领域中具有多于2个中心线上的点，该点被定义为分叉点；若其邻域中具有1个中心线上的点，该点被定义为端点，分叉点和端点共同将中心线分成若干段，统计每段血管中是冠脉血管点占段内血管点的比例。例如：若该段血管中是冠脉血管点占段内血管点的比例大于65％，则确定该段血管为冠状动脉血管段。

在另一实施例中，判断某一段血管为冠状动脉血管段可通过如下方式：

从该段血管的起始点所对应的中心线的分叉点或端点开始，若根据神经网络学习结果连续有长度大于5mm的非冠状动脉，则认为该部分可能不是冠状动脉，则去掉该部分并令该部分的末端为新的起始点，从起始点开始重新判定；或者，若根据神经网络学习结果若该段血管存在长度大于20mm非冠状动脉则认为该部分一定不是冠状动脉血管，标记为非冠状动脉。进一步地，还可对上述操作后确定的冠状动脉进一步地处理，去掉冠状动脉分支较短的小分支(通常为10mm)。

在又一实施例中，考虑到在候选连通域的基础上得到整个冠脉血管树，可能会包含一些非冠脉血管点，本实施例中还对指定血管图像中的冠状动脉进行处理，以去除冠状动脉树中的非冠状动脉血管点：从整个血管树提取中心线并划分为多个分支/分段；计算每一分段尾端非冠脉部分的长度，若分段尾端非冠脉部分的长度大于设定阈值(如5mm)则去掉该尾端。

在前述内容的基础上，如图4所示，图4为本发明实施例提供的医学图像处理方法实施例的另一流程图，在步骤101之前，本发明实施例还包括如下步骤：

100、使用正负样本对神经网络进行训练，得到经训练的神经网络。

在一个实施例中，训练样例数来自于至少26个的病人(受试者)，从每个病人的冠脉血管三维连通域中提取出正样本图像，从非冠脉血管连通区域提取出负样本图像，正、负样本图像共10万张左右。可通过数据扩增至100万，数据扩增方式是将血管切片图像进行旋转和平移。正负样本图像的大小为32*32(32-64都可以)个像素的二维图像，所有切片图像的分辨率统一为0.25mm(0.2-0.6之间都可以)。采用图像原始的CT值作为输入，对初始神经网络进行训练。

其中，使用正负样本对初始神经网络进行训练，包括：

在第一层设置64个卷积核，每个卷积核大小为5*5，将二维切片数据与卷积核进行卷积运算后，得到64个第一层特征图，每个第一层特征图大小为32*32；

在第二层使用修正线性单元函数对第一层特征图进行非线性映射，得到第二层特征图；

在第三层设置池化核，每个池化核的大小为3*3，对第二层特征图进行池化，得到64个第三层特征图，每个第三层特征图大小为16*16；

在第四层设置64个卷积核，每个卷积核大小为5*5，将第三层特征图与卷积核进行卷积运算后，得到64个第四层特征图，每个第四层特征图大小为16*16；

在第五层使用修正线性单元函数对第四层特征图进行非线性映射，得到第五层特征图；

在第六层设置池化核，每个池化核的大小为3*3，对第五层特征图进行池化，得到64个第六层特征图，每个第六层特征图大小为8*8；

在第七层设置128个卷积核，每个卷积核大小为5*5，将第六层特征图与卷积核进行卷积运算后，得到64个第七层特征图，每个第七层特征图大小为8*8；

在第八层使用修正线性单元函数对第七层特征图进行非线性映射，得到第八层特征图；

在第九层设置池化核，每个池化核的大小为3*3，对第八层特征图进行池化，得到128个第九层特征图，每个第九层特征图大小为4*4；

在第十层设置128个卷积核，每个卷积核大小为4*4，对第九层特征图进行全连接处理，得到第十层特征图，每个第十层特征图大小为1*1；

在第十一层设置2个卷积核，每个卷积核大小为1*1，对第十层特征图进行全连接处理，得到第十一层特征图，每个第十层特征图大小为1*1；

在第十二层计算预测值与实际值之间的差异，将梯度通过反向传播算法进行回传，更新每一层的权重和偏置。

训练过程中，训练集和验证集的Loss值持续降低，当验证集的Loss值不再降低时停止训练，防止过拟合，取出该时刻的神经网络模型作为血管切片的分类器。

在一实例中，神经网络处理医学图像可采用感知-记忆-决策模型(perception-memory-judgment，PMJ)。在感知阶段，可对医学图像进行初步的特征提取；在记忆阶段，可使用深度卷积网络学习得到目标器官的过完备词典；在决策阶段，将过完备字典作为三维医学图像目标器官提取的依据，对单个三维医学图像提取血管等管状器官。

进一步地，感知阶段也称之为特征提取，即确定计算机提取图像中的点是否属于一个图像特征，其主要基于如下特征：包括医学图像在内的多种图像都有其固有的特性，图像的部分统计特性是相同的，也即在该部分学习的特征也可以在其他部分中使用，所以在该图像的所有位置中，可以使用相同的学习特征。可选地，***可首选对输入的训练样本进行预处理，然后使用线性解码器预训练得到权值。

在一个实施例中，感知阶段可采用无监督学习算法或反向传播(backpropagation，BP)算法的自编码神经网络。示例性地，对于一个自编码神经网络，可包括输入层、隐含层和输出层，网络的层与层之间可使用全联接方式，通过自编码神经网络来学习恒等函数h_W,b(x)≈x。可选地，如果隐含层中的单元个数少于输入数据的单元数，相当于获取了输入数据的稀疏矩阵；如果隐含层的数据数大于或等于输入层，也可以通过引入稀疏性限制来获取输入信号的稀疏矩阵。在此实施例中，稀疏自编码网络的惩罚函数表示为：

其中，

为误差项，用L2模构造；

是正则项，用于防止过拟合；

为惩罚因子，β控制稀疏性惩罚因子的权重。

可表示为：

其中，ρ为稀疏性参数，且是一个接近于零的值；s₂为隐含层中隐含神经元的个数；j为隐含层中的每个神经元；

为隐含神经j的平均活跃度，用公式表示为：

其中，

表示输入为x的自编码神经网络隐含神经元j的激活度。

在另一个实施例中，感知阶段可基于线性编码网络组成的稀疏自编码神经网络，该稀疏自编码神经网络包括输入层、隐含层和输出层，神经元都采用相同的激励函数。在三层稀疏自编码神经网络中，输出神经元的计算公式分别为：

z⁽³⁾＝W⁽²⁾a⁽²⁾+b⁽²⁾

a⁽³⁾＝f(z⁽³⁾)

网络的输出是a⁽³⁾，等于激励函数f的输出。可选地，在稀疏自编码网络中激励函数通常为Sigmoid函数，输出值范围为[0,1]，对应地，a⁽³⁾的范围也是[0,1]。

进一步地，线性编码网络是在输出层采用恒等函数为激励函数，而在隐含层仍然采用Sigmoid函数为激励函数的自编码网络，此时输出层满足：

a⁽³⁾＝f(z⁽³⁾)＝z⁽³⁾＝W⁽²⁾a⁽²⁾+b⁽²⁾

在此具体实施例中，以一个r×c的大尺寸图像x1。首先从大尺寸图像中选择a×b小图像样本x2训练稀疏自编码，根据如下公式可计算得到k个特征：

f＝σ(W⁽¹⁾x₂+b⁽¹⁾)

其中，W(1)表示可视层单元的权重；b(1)表示隐含单元之间的偏差值。对于每一个a×b小图像样本x2，可由上述公式计算对应的特征值，进一步地，对每个小图像样本的特征值作卷积，即可得到k×(r-a+1)×(c-b+1)个卷积后的特征矩阵。

需要说明的是，图像有一种具有“静态性”的属性，表示在一个图像区域有用的特征很可能适用于另一区域。因此，为了描述大尺寸图像，可以计算图像在一个区域上的某个特定特征的平均值或者最大值，对不同位置的特征进行聚类统计。上述聚类的操作即为池化，当计算图像在一个区域上的某个特定特征的平均值，对应平均池化；当计算图像在一个区域上的某个特定特征的最大值，对应最大池化。在得到卷积特征后，还需要确定池化区域的大小来获取池化后的卷积特征。例如，当池化区域的大小为m×n,就可以把卷积特征划分到数个大小为m×n的不相交区域上，然后用这些区域的平均特征或最大特征来获取池化后的卷积特征。

在此具体实施例中使用了深度卷积神经网络模型包括5层卷积神经网络模型，该5层卷积神经网络模型包括：卷积层、池化层、卷积层、池化层和全联接层。在此实施例中，对于二维切片图像数据集中的任一个，深度卷积神经网络处理的过程为：

1)二维切片图像输入卷积层，该二维切片图像大小为64×64，使用感知阶段预训练得到36个5×5大小的卷积核对输入图像进行卷积，得到36个64×64大小的特征映射图；

2)池化层，使用3×3大小的窗口对卷积层中的36张特征图池化，得到36个32×32的特征映射图；

3)卷积层，对池化层的36张图像采样得到一个或多个5×5大小的图像块集合，然后使用稀疏自编码网络对这个集合训练得到64个5×5的权值，使用该权值作为卷积核，与池化层的36张图像卷积得到64张24×24大小的特征映射图。本申请中采取的措施是将36张图像每三张作一次卷积，循环两次，第一次选相邻的3张，第二次选相隔2个单位的3张，最终得到特征映射图(36-3+1)+(36-3×2)＝64张。

4)池化层，使用3×3大小的窗口池化得到64张8×8的特征映射图。

5)全联接层。本申请中使用的训练数据集合共有1300张图像，经过S4以后，整个网络的特征映射图为1300×64×8×8，表示对于每一张64×64的大小的输入图像来说，可以得到64张8×8大小的映射图。将1300×64×8×8的数据降维得到(1300×64)×(8×8)＝83200×64，然后通过输出为64的稀疏自编码网格训练出最终的字典。

本发明实施例提供的图像处理方法，通过对原始血管三维扫描图像经过处理得到的冠状动脉候选区域进行处理，得到候选区域的中心线，然后沿着中心线的走向，获取中心线上各采样点处垂直于中心线的具有指定大小的二维切片数据，最后将二维切片数据作为输入数据输入到经训练的神经网络，经过神经网络学习后，能够有效地去除原始血管三维扫描图像中非冠状动脉区域，实现左右冠状动脉的准确识别，解决了现有技术中从CTA图像中准确提取冠状动脉的准确性较低的问题。

训练样本选择以及来源：

训练样例数来自于26个的病人(受试者)，从每个病人的冠脉血管三维连通域中提取出正样本图像，从非冠脉血管连通区域提取出负样本图像，正负样本图像共10万张左右。可通过数据扩增至100万，数据扩增方式是将血管切片图像进行旋转和平移。正负样本图像的大小为32*32(32-64都可以)个像素的二维图像，所有切片图像的分辨率统一为0.25mm(0.2-0.6之间都可以)。采用图像原始的CT值作为输入，进行训练。

神经网络设置：

神经网络采用卷积神经网络(CNN)，优化算法采用随机梯度下降法(SGD)更新权重。该卷积神经网络共12层，其中有三个卷积层，三个非线性映射层，三个池化层，两个全连接层，一个Loss层。

第一层为卷积层，作用是从输入图像中抽取特征，设置64个卷积核，每个卷积核大小为5*5，将输入图像与卷积核进行卷积运算后，得到第一层64个特征图，大小为32*32；

第二层是非线性映射层，作用是给神经网络中加入非线性，并且加快收敛速度。使用修正线性单元函数(Relu)对第一层特征图进行非线性映射，得到第二层特征图；

第三层为池化层，作用是降低图像大小以及降低噪声。池化核的大小为3*3，对第二层特征图进行池化，池化的方法是取3*3像素框中的最大值，得到第三层特征图，大小为16*16个像素，个数为64；

在第四层设置64个卷积核，每个卷积核大小为5*5，得到第四层64个特征图，大小为16*16；

在第五层使用修正线性单元函数对第四层特征图进行非线性映射，得到第五层特征图；

第六层为池化层，每个池化核的大小为3*3，对第五层特征图进行池化，得到第六层特征图，大小为8*8像素，个数为64个；

在第七层设置128个卷积核，每个卷积核大小为5*5，得到第七层特征图；

在第八层使用修正线性单元函数对第七层特征图进行非线性映射，得到第八层特征图；

在第九层设置，每个池化核的大小为3*3，对第八层特征图进行池化，得到第九层特征图，大小为4*4，个数为128；

在第十层设置128个卷积核，每个卷积核的大小为4*4，对第九层特征图进行全连接处理，得到第十层特征图，大小为1*1；

在第十一层设置2个卷积核，每个卷积核的大小为1*1，对第十层特征图进行全连接处理，得到第十一层特征图；

第十二层为softmax loss层，计算预测值与实际值之间的差异，将梯度通过反向传播算法(BP算法)进行回传，更新每一层的权重(weight)和偏置(bias)。

训练过程中，训练集和验证集的Loss值持续降低，当验证集的Loss值不再降低时停止训练，防止过拟合，取出该时刻的神经网络模型作为血管切片的分类器。测试过程中将第十二层更改为softmax层，将第十一层特征图输入至本层进行分类预测，可得到输入图像是血管和非血管的概率，从而得出分类结果。

应用1：图5为本发明实施例提供的候选连通域示意图，如图5所示，从候选连通域中确定冠脉起始连通域，当左边和右边各保留有至多5个候选起始连通域时，提取这些连通域的中心线，做二维切片，输入网络，得到学习结果。图6为本发明实施例提供的候选连通域经深度学习后结果示意图，如图6所示，根据学习结果，去掉每一个分支头尾非冠脉部分，若头连续有长度大于5mm的非冠脉，则认为该部分可能不是冠脉暂时去掉该部分，若长度大于20mm非冠脉则认为该部分一定不是冠脉血管，标记为非冠脉。同时，去掉冠脉分支较短的小分支(10mm)。图7为本发明实施例提供的冠状动脉最终提取结果示意图，如图7所示，最后，统计所有连通域中剩下的冠脉血管点，以及整个连通域中冠脉血管点占的比例，保留连通域中冠脉血管点最多的连通域，如果第一个最长的连通域不是冠脉点数最多的连通域且连通域点数相差不大，长度约10mm以内，则也同样保留第一个最长的连通域。应用2：去掉冠脉树中非冠脉血管点。在起始连通域的基础上得到整个冠脉血管树，其中会包含一些非冠脉血管点。把整个血管树提取中心线并分支，去掉每一支尾端非冠脉部分(尾端长度大于5mm时)，或分支长度小于10mm时去掉，同时检测尾段冠脉血管比例低于0.5的也要去掉。保留下来的就是冠脉血管了。

本发明实施例还提供一种图像处理方法，图8为本发明实施例提供的医学图像处理方法实施例的另一流程图，图9为本发明实施例提供的医学图像处理方法实施例的场景示意图，如图8和图9所示，本发明实施例提供的图像处理方法可以包括如下步骤：

801、获取原始血管三维扫描图像。

步骤801的具体实现过程详见步骤101，其实现原理与过程近似，此处不在进行赘述。

802、从原始血管三维扫描图像确定指定血管候选区域。

步骤802的具体实现过程详见步骤102，其实现原理与过程近似，此处不在进行赘述。

803、将指定血管候选区域划分为多个二维切片数据。

由于前述步骤中均是对三维图像进行处理，由于三维图像在神经网络模型中进行处理，其处理速度偏慢，因此，为了加快处理速度，降低样本的处理难度，将指定血管候选区域进行划分处理，分割成多个二维切片数据，然后再将二维切片数据输入神经网络模型中进行学习。并且，将三维图像分割成多个二维切片数据，还可以增加样本的数量。

804、将多个二维切片数据输入经训练的神经网络进行学习，得到学习结果。

步骤804的具体实现过程详见步骤104，其实现原理与过程近似，此处不在进行赘述。

805、根据数个学习结果在指定血管候选区域中确定指定血管图像。

步骤805的具体实现过程详见步骤105，其实现原理与过程近似，此处不在进行赘述。

本发明实施例提供的图像处理方法，通过对原始血管三维扫描图像经过处理得到的冠状动脉候选区域进行处理，多个二维切片数据，然后将二维切片数据作为输入数据输入到经训练的神经网络，能够有效地去除原始血管三维扫描图像中非冠状动脉区域，实现左右冠状动脉的准确识别，解决了现有技术中从CTA图像中准确提取冠状动脉的准确性较低的问题。为了实现上述方法流程，本发明实施例还提供一种医学成像设备，该设备中包括处理器以及用于存储处理器可执行指令的存储器。

其中，处理器被配置为：

获取原始血管三维扫描图像；

从原始血管三维扫描图像确定指定血管候选区域；

将指定血管候选区域划分为多个二维切片数据；

将多个二维切片数据输入经训练的神经网络进行学习，得到学习结果；

根据数个学习结果在指定血管候选区域确定指定血管图像。

本实施例的医学成像设备，可以用于执行图8所示方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的***，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本发明所提供的几个实施例中，应该理解到，所揭露的***，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如，多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机装置(可以是个人计算机，服务器，或者网络装置等)或处理器(Processor)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (9)

1.一种图像处理方法，其特征在于，所述方法包括：

获取原始血管三维扫描图像；

对所述原始血管三维扫描图像进行处理，得到指定血管候选区域；

对所述指定血管候选区域进行处理，得到所述指定血管候选区域的中心线；

沿所述中心线的走向，获取中心线上各采样点处垂直于所述中心线的二维切片数据；

将所述二维切片数据输入经训练的神经网络进行学习，得到学习结果；

根据数个所述学习结果确定指定血管图像；

其中，所述指定血管为冠状动脉；所述指定血管候选区域包括左、右冠状动脉的候选区域，对所述原始血管三维扫描图像进行处理，包括：

对所述原始血管三维扫描图像进行增强滤波，得到增强滤波图像；

确定原始图像中主动脉的位置；

根据主动脉的位置、原始血管三维扫描图像及增强滤波图像的灰度，确定左、右冠状动脉的起始区域；

基于至少一种预设分割阈值分割增强滤波图像，获取预设分割阈值对应的候选区域；

根据预设分割阈值对应的候选区域和左、右冠状动脉的起始区域，确定左、右冠状动脉的候选区域。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

对所述指定血管图像中的冠状动脉进行处理，以去除每一个血管分支中非冠状动脉的区域。

3.根据权利要求2所述的方法，其特征在于，对所述指定血管图像中的冠状动脉进行处理包括：

确定所述冠状动脉的中心线；

在所述冠状动脉的中心线上确定分叉点和端点；

根据所述分叉点和端点将所述中心线划分为若干段；

根据所述若干段将所述指定血管图像划分为非冠状动脉的区域和冠脉区域。

4.根据权利要求1所述的方法，其特征在于，指定血管为冠状动脉，所述方法还包括：

对所述指定血管图像中的冠状动脉进行处理，以去除所述指定血管图像中的非冠状动脉血管点。

5.根据权利要求1所述的方法，其特征在于，在所述获取原始血管三维扫描图像之前，所述方法还包括：

使用正、负样本对神经网络进行训练，得到所述经训练的神经网络。

6.根据权利要求5所述的方法，其特征在于，所述神经网络包括卷积层、池化层、非线性映射层、全连接层和分类层，通过所述经训练的神经网络可确定所述二维切片数据的分类概率值。

7.根据权利要求6所述的方法，其特征在于，所述分类概率值包括所述二维切片数据属于指定血管的概率。

8.根据权利要求5所述的方法，其特征在于，所述神经网络采用感知-记忆-决策模型。

9.一种医学成像设备，其特征在于，所述设备包括：

处理器；

用于存储所述处理器可执行指令的存储器；

所述处理器被配置为：

获取原始血管三维扫描图像；

从所述原始血管三维扫描图像确定指定血管候选区域；

将所述指定血管候选区域划分为多个二维切片数据；

将多个二维切片数据输入经训练的神经网络进行学习，得到学习结果；

根据数个所述学习结果在所述指定血管候选区域确定指定血管图像；

其中，所述指定血管候选区域包括左、右冠状动脉的候选区域，对所述原始血管三维扫描图像进行处理，包括：

对所述原始血管三维扫描图像进行增强滤波，得到增强滤波图像；

确定原始图像中主动脉的位置；

根据主动脉的位置、原始血管三维扫描图像及增强滤波图像的灰度，确定左、右冠状动脉的起始区域；

基于至少一种预设分割阈值分割增强滤波图像，获取预设分割阈值对应的候选区域；

根据预设分割阈值对应的候选区域和左、右冠状动脉的起始区域，确定左、右冠状动脉的候选区域。

Images