CN114897780B - 一种基于mip序列的肠系膜上动脉血管重建方法 - Google Patents

Abstract

本发明涉及医学图像分割技术领域，具体涉及一种基于MIP序列的肠系膜上动脉血管重建方法，包括：S1：获取肠系膜上动脉血管MIP薄切序列数据集，并对数据做增强处理；S2：建立基于上下文引导的图神经网络与卷积神经网络的血管预重建网络，结合使用双注意力结构与条件随机场获得血管预重建结果；S3：建立基于Iter‑Unet的后处理网络，对预重建得到的结果做进一步细化处理，加强细小血管的边缘结构的同时连接断裂血管。本发明引入序列优化对单张图像的血管分割，利用空间冗余信息推理出由于CT扫描造成的血管的缺失部分，提高血管的连通性与拓扑结构，减轻噪音、伪影、重叠组织对分割的扰动，实现末端细小血管的精准分割，提高了血管分割重建的深度和精度。

Description

一种基于MIP序列的肠系膜上动脉血管重建方法

技术领域

本发明涉及医学图像分割技术领域，具体涉及一种基于MIP序列的肠系膜上动脉血管重建方法。

背景技术

肠系膜上动脉血管疾病主要包括急性肠系膜上动脉闭塞，肠系膜上动脉血栓以及肠系膜上动脉肿瘤与创伤，其中急性肠系膜上动脉闭塞与肠系膜上动脉血栓病情发展迅速，死亡率高达60％-80％，这类疾病在临床表现与其他急腹症高度相似，因而常常误诊，错失治疗良机，导致患者死亡。

血管的形态特征中蕴含大量辅助诊断的关键信息，如长度、直径、血管狭窄程度角度、血管疏密程度等，从不同深度的CT图像中获取血管的微观结构，可对辅助诊断、术中手术方案的选择以及术后观察做出巨大贡献。基于计算机辅助的诊断技术可在短时间内获得有用信息，辅助医生快速准确的诊断，大大提高诊断效率，降低医者工作负担。

传统的用于血管分割的方法主要基于统计形状模型、图割法、区域增长法和水平集法。这些方法主要是基于灰度、纹理、边缘、形状等信息。由于血管CT图像背景复杂、对比度低、边界弱、噪声大等特点，目前这些方法仍难以实现肠系膜上动脉血管的高精度自动分割。

在过去的7年中，基于深度学习的分割方法发展迅速，随着深度学习的发展，大多数先进的主流算法都是基于卷积神经网络。神经网络使图像处理能够实现端到端的特征向量转换为分割图像，自动学习特征，并取得显著的性能。与传统方法相比，深度学习具有更好的推理速度和泛化能力。在分割领域，广泛使用的神经网络有卷积神经网络(CNN)、全卷积网络(FCN)、递归神经网络(RNN)、Resnet、U-net等，其中U-net在医学图像领域中被广泛使用。

目前很多基于深度学习的分割都采用U-net作为主干网络，然而将U-net直接用于肠系膜上动脉血管分割时，发现其对细小特征提取能力较差，在细血管的分割方面表现不足，造成这种局面的主要原因是原始U-net中使用固定大小的卷积核对特征进行提取，网络的感受野较小，固定的感受野在保证大血管分割效果的同时不能维持小血管的分割性能，对多尺度的特征不敏感。针对这种情况Feng等人提出了一种尺度感知的金字塔融合块，该块将三种扩张卷积提取的特征以不同的扩张速率进行融合，获取不同尺度的信息。虽然这些策略与原始固定的感受野相比可能是有帮助的，但非适应性的方法无法彻底处理大范围变化的血管。自注意力机制最在2017年由谷歌团队提出，最初被用于自然语言处理。自我注意机制能很好地融合上下文信息，后续用于图像分割，有助于提高图像分割的准确性。自我注意机制的目的是从输入中提取更多相关信息，并建立全局体素之间的长距离依赖模型，用于捕获体素之间的相互依赖关系。然而，并不是所有体素都能对语义表示做出贡献，有些甚至是有害的。

目前医院主要通过CT扫描获得同一时刻不同深度的SMA血管图像，利用最大密度投影技术(MIP)将一定厚度(通常为15mm)中最大CT值的体素投影到背景平面上，在最终得到的一张二维图中显示固定层厚中所有强化密度高的血管，因此任何一张MIP图像都无法体现血管冠状面的最大投影。据我们所知，目前还未有人针对SMA血管的重建做深入研究，同时针对MIP序列的研究也较为罕见。MIP图过滤了原始CT序列中大部分软组织以及腹腔干扰，以层距1mm，层厚15mm为例，一张MIP图像包含的信息量为原始序列15倍，直接对MIP图像进行处理大大提高了重建效率，然而MIP图的使用同时带来的大量特征表达相似的动脉干扰，SMA血管的重建挑战表现在：(1)SMA血管尺度变化较大(2)低对比度以及噪声伪影的广泛分布(3)特征表达相似的静脉干扰(4)MIP成像原理使得投影面中血管被大面积的腹主动脉覆盖，导致大部分血管缺失，其中(1)(2)是分割存在的共性问题。(3)是本项工作要解决的重难点问题，同一类别与不同类别的血管都具备相似的特征表达为重建工作带来困难，问题(4)是本发明重建任务中独有的问题，大面积的血管遮挡对模型分割的准确性提出更高要求，同时遮挡造成的信息缺失也会使得连续的MIP的投影面仍然无法反映完整的血管结构，导致最终叠加的2D分割结果中的断裂，这种断裂通常是微小的，一种可行的解决方案是根据血管的走向趋势推导缺失的部分，虽然近年来各种血管分割算法层出不穷，但很少有人致力于解决由原始信息不足引起的血管断裂问题。

发明内容

针对以上问题，本发明提供了一种基于MIP序列的肠系膜上动脉血管重建方法，解决了在CT图像的分割问题中，由于成像技术造成的血管的断裂，缓解了原始图像中由于大面积的组织遮挡造成的分割断裂，提高血管分割深度，增强网络对低对比度、边界模糊的边缘末梢血管的分割能力，降低了原图质量以及背景噪音干扰对分割的干扰，提高了分割的深度、准确率，保证了血管的连通性。

为了实现上述目的，本发明采用的技术方案如下：

一种基于MIP序列的肠系膜上动脉血管重建方法，对腹部肠系膜上动脉的CT序列图像进行分割重建处理，包括以下步骤：

S1：获取肠系膜上动脉血管MIP薄切序列数据集，并对数据做增强处理；

S2：建立基于上下文引导的图神经网络与卷积神经网络的血管预重建网络，结合使用双注意力结构与条件随机场获得血管预重建结果；

S3：建立基于Iter-Unet的后处理网络，对预重建得到的结果做进一步细化处理，加强细小血管的边缘结构的同时连接断裂血管。

优选地，在步骤S2中：

血管预重建网络包括空间上下文引导的血管重建结构、条件随机场特征推理模块、尺度感知注意力模块，以及通道特征融合模块；

所述下文引导的血管重建结构在图像的下采样和上采样过程中分别使用三维数据与二维数据，并将空间特征聚合成2D特征，利用前后序列的空间冗余特征丰富单张图像特征量，推断原始图像中由于CT扫描造成的血管局部缺失部分；

所述条件随机场特征推理模块，使用不同特征提取器——图卷积神经网络GCN与卷积神经网络CNN提取血管特征，利用条件随机场建立血管体素邻域间的关系，按照所提特征对最终结果的贡献程度，通过注意门调节来自双方的信息流并将该特征输入条件随机场进行推理，对每个体素进行精准分类，将条件随机场的平均场操作转化为卷积操作，实现端对端的训练；

所述尺度感知注意力模块，计算可变感受野中体素之间的相似度，以空间自适应方式学习相邻块的偏移量和权重，聚焦不同大小的血管，尤其增强对细小血管的特征捕捉能力；

所述通道特征融合模块，聚合来自编码层的低级信息以及解码层中的高级特征，给不同通道分配权重，抑制背景中噪音、重叠组织以及伪影对分割的干扰。

优选地，对于CT图像中肠系膜上动脉血管的分割，为了充分利用空间冗余信息推断当前切片中由于CT成像技术以及大面积组织遮挡造成的血管不连续，在预重建网络中引入上下文引导的血管分割结构，用于学习序列图像中前后切片间的相关特征，所述上下文引导的血管分割结构继承U-net的解编码结构，包括编码层、解码层以及中间用于特征拼接的跳跃连接层；

所述编码层中采用3D残差块对3D体积数据进行特征提取，编码层一共分为7层，前5层中，每层都由一个3D卷积和一个3D残差块构成，为防止网络过拟合，在第六层的3D卷积之前加入了池化层，第7层中则只包含池化层；

所述解码层中采用使用2D残差块进行特征提取，除第7层中只包含上采样操作，其余6层都由道特征融合模块、2D残差块以及上采样三个步骤构成；

所述跳跃连接层接受来自编码层的3D低级特征，将其聚合为2D特征并传入到解码层中，用于后续的特征拼接，共7层。

优选地，为了避免最大化概率来分配分割标签时，由于相邻体素共享特征表达相似而导致不正确的边界分割，在预重建网络中引入条件随机场特征推理模块，使用不同特征提取器——图卷积神经网络(GCN)与卷积神经网络(CNN)提取血管特征，按照所提特征对最终结果的贡献程度，通过注意门调节来自双方的信息流并将该特征输入条件随机场进行推理，对每个体素进行精准分类。

所述条件随机场特征推理模块在使用图卷积神经网络提取特征时运用三线性插值采样器，使用随机梯度下降的方法为每个原始特征学习移动距离，从而对给定的V个节点的图中，对特征节点X_m及其周围的位移特征节点进行采样，采用自适应采样策略便于模型优化。

优选地，考虑不同特征提取器中上下文信息对最终分割结果的贡献程度，采用注意门控制来自不同特征提取器中的信息流，注意门通过最小化总能量成本E()来调节从主干神经网络的编码特征到潜在表征的信息流，条件随机场特征推理模块属于概率图分割模型，图像分布符合吉布斯分布可用P表示，将用图卷积提取的特征和使用条件随机场推理的图卷积中的隐藏特征以及卷积提取的特征和使用条件随机场推理的卷积中隐藏特征之间的关系看作一元势，将使用条件随机场融合的最终特征与注意门之间关系看作二元势，使用高斯函数将推测所得的隐藏特征H表征到观测特征X上，预测图像的分布可用分布Q表示，利用KL散度表示使用理论分布Q拟合真实分布P时产生的信息损耗，引入最小化自由能函数来优化KL散度的求解，求解公式如下所示：

式中D_KL(Q||P)为分布P与分布Q之间的KL散度，Q(h)为使用平均场拟合分布P的后验概率分布，lnZ为常数项，E(h)为分割时的能量函数，其中

为自由能，自由能的第一项为标记每个体素的成本，第二项表示分布Q的熵,h为隐变量。

优选地，所述条件随机场特征推理模块使用卷积操作代替条件随机场中平均场的更新，定义使用图卷积网络提取的特征X^G，卷积提取特征X^R，注意门的权重矩阵A^GR，图中以及卷积中待推理的特征分别为H^G以及H^R具体的操作步骤为：

(1)计算注意门权重矩阵的更新矩阵：

为A^GR的更新矩阵，r^GR为一个3×3的卷积核，X^G为使用图卷积网络提取的特征，X^R为卷积提取特征；

(2)使用sigmoid函数σ对更新矩阵做归一化处理：

式中的

为归一化后注意门权重矩阵的更新，σ为sigmoid函数；

(3)H^G的平均场更新：H^G＝r^GR*H^G，*表示卷积操作，X^G为图卷积网络提取的特征，等式左边的H^G为更新后的H^G，r^GR为一个3×3的卷积核；

(4)

⊙表示元素相乘，

为卷积的隐藏特征H^G的更新，

为归一化后注意门权重矩阵的更新，X^G为使用图卷积网络提取的特征；

(5)通过使用剩余连接添加一元势来更新H^R:

表示元素相加，

卷积的隐藏特征H^G的更新，为了便于迭代更新，H^G的贡献归算在H^R中。

优选地，为了提高网络对多尺度血管的敏感度，增强网络对小血管的分割能力，在预重建网络中引入尺度感知注意力模块，采用1×1×1的3D卷积将二维图像的自注意力机制引入到三维空间，结合可变形卷积(deformable convolution,DC conv)，自适应的调整感受野使感受野在不同尺度的血管区域逐渐缩小、扩展，具体操作步骤为：

给定某个规则的固定大小的采样网块K×K×K，设置额外的卷积层中的卷积核与采样网块大小与扩张相同，输入特征图与额外的卷积层交互为规则采样块中每个体素生成一个偏移量ΔP_n，其范围在1到|K|之间，采用双线性插值将ΔP_n化为整数，使其对应于特征图中实际存在的体素点。

将输入特征

输入到2个平行的3D可形变卷积层中分别得到2个新的特征

使用1×1×1的3D卷积将F_o1、F_o2的通道特征减少到原来的1/4，相应的

F_o1与F_o2的转置之间运行矩阵乘法并用softmax计算他们之间矩阵的相关性并获得权重矩阵

其中X,Y,Z,C分别表示特征的长、宽、高以及通道数，N为体素个数。

优选地，为了降低背景噪音、伪影对分割结果的干扰，在预重建网络中引入通道特征融合模块，对低级特征和高级特征进行融合与特征选择，将来自跳跃连接层中的底层特征图与解码层中上采样的高级特征在通道维度进行拼接，基于挤压和激发(SE)操作来指导特征层之间的融合。将低阶特征

与高阶特征

在通道维度上进行拼接得到

_C,H,W分别代表通道式，图像的高度和宽度。接着通过挤压和激励(SE)操作建模通道之间的相关性，通过计算一个权重向量对低层特征进行重新加权并抑制无关背景噪声的干扰。拼接后的特征F_concat送入一个1×1的卷积层中实现降维，紧着利用全局平均池化(GAP)得到加权向量

将Sigmoid函数生成的权重向量与低层特征相乘，然后将重新加权的低层特征与高层特征相加得到最终结果：

式中F^(c)为当前层的融合特征，

为该层上层的融合特征，σ表示sigmoid函数，C_1×1代表1×1的卷积操作，c代表模型的层数，F_L为低阶特征，F_H为高阶特征，GAP为全局平均池化操作，

和

分别表示元素相加与元素相乘，采用无参数双线性上采样策略，在保持分割性能的同时减少了参数量。

优选地，为了增强血管缺失部分推理所得特征，同时增强末梢边缘小血管的拓扑结构，在得到主干网络分割的预分割结果后，引入后处理网络增强小血管的边缘特征,突出细化小血管的边界，利用Iter-Unet增强推理过程中的得到的微弱特征表达，加强血管之间的连接，增强血管的拓扑结构，取预重建网络中倒数第二层特征图作为Iter-Unet的输入，用于浅血管的结构加强，为了限制优化方向，引入了第一层跳跃层中的低级2D对Iter-Unet迭代结果进行限制，为防止过拟合，分担权重，迭代网络之间的连接采用了dense连接，具体来说每次传送到Iter-Unet中的特征包括此次迭代过程中、来自跳跃连接层一中的低级特征，以及前面每次迭代的输出结果，因此，每次Iter-Unet的输入都不相同。

优选地，所述Iter-Unet中，每次迭代过程中的损失函数都是独立的，且使用cldice作为损失函数，其具体表达式为：

式中ClDice(V_P,V_L)为cldice的求解公式，S_P和S_L是从预测图像V_P和金标准图像V_L中提取的血管骨骼图，相应的Tprec(S_P,V_L)和Tprec(S_L,V_P)为拓扑精度，分别计算了位于V_L内的S_P比例以及位于V_P中的S_L占比，区别传统中以独立体素的分割性能训练模型，转而从血管的连通性角度出发完成模型的训练。

优选地，所述后处理网络中，引入了新的评价指标C用于描述血管的连通特征，具体表达式为：

式中C为评价连通性的评价函数，N_p和N_gt分别代表预测图和金标准图中的分段数，N_max代表一张图像中允许出现的最大分段数，设置该参数用于血管总长度有关，此处设置N_max为总长度的0.04倍。

本发明有益效果：

1、本发明采用了上下文引导的血管分割结构，将一对一的分割模式拓展到了多对一，利用空间中的冗余上下文信息完成对当前切片中缺失血管的推理，增强了血管的连续性与拓扑结构，非纯粹的3D Unet同时减少了计算的复杂度。

2、本发明通过尺度感知自注意力模块，自适应的调整感受野使其针对多尺度的血管特征都有很好地提取能力，增强了细小血管的分割能力，通过通道特征融合模块更好的融合高级语义与低级语义特征，减少了背景中噪音伪影的扰动，获得的粗分割结构通过后处理网络进一步优化，增强粗分割中推理的虚弱特征表达以及优化全局血管的连接，增强血管的连通性与拓扑结构。

附图说明

图1为本发明的流程图，其中Ks为卷积核大小，s为步长；

图2为本发明中上下文引导的血管分割结构中在编码层和解码层中分别用于特征提取使用的3D残差块以及2D残差块的示意图；

图3为本发明中后处理网络中迭代模块之间采用dense连接的示意图；

图4为本发明中尺度感知自注意力模块和道特征融合模块结构以及两者通过跳跃连接层相互连接的示意图；

图5为本发明针对由于CT扫描造成的血管断裂分割结果的可视化效果图；

图6为本发明针对由于大面积组织遮挡造成的血管不连续分割结果的可视化效果图；

图7为本发明与传统方法在小血管的分割效果、血管断裂处的推理性能、血管拓扑结构以及血管连续程度的对比可视化效果图。

具体实施方式

下面结合附图将对本发明实施例中的技术方案进行清楚、完整地描述，以使本领域的技术人员能够更好的理解本发明的优点和特征，从而对本发明的保护范围做出更为清楚的界定。本发明所描述的实施例仅是本发明一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

参照图1-7，一种基于MIP序列的肠系膜上动脉血管重建方法，对腹部肠系膜上动脉的CT序列图像进行分割重建处理，包括以下步骤：

1、数据增强

为增强网络的泛化能力，采用图像增广技术对原始CT图像做增强处理，对连续输入的一组序列图像以及对应的标签以0.5的概率同时做翻转、旋转、裁剪和仿射变换，旋转角度以随机数rand()函数的形式控制在正负15度之间，避免图像间的差异过大扰动网络。为减少数据加强对实验的扰动，对输入的序列图像做5次单独的数据加强，相应得到5个模型，使用评价参数对网络进行评价时，取5次模型的平均值作为最终结果。

2、上下文引导的血管分割结构

本实施例中，在下采样过程中，即编码层中，将连续的4张切片组成的体积数据作为输入，图像经过若干层的卷积层对特征进行提取，以步长1×2×2大小为2×2×2的3D卷积核提取图像特征，后传入3D残差块中，残差块示意图如图2所示，无论是3D还是2D残差块均采用2层卷积结构，每次经历一次卷积，一层BN(batch normalization,正则化)，一层Relu，然后再经历一次卷积与一层BN，接着将输入残差块的特征与上一次经历BN层后的特征在体素尺度上进行Add融合后，再经relu层后输出到跳跃连接层中同时将特征图传递到下一层，此时通道数加倍，图像尺寸减半，连续经历5层的特征提取后图像从512×512缩小至32×32，通道数为256，为防止过拟合，将特征传到第六层时，先经过一次池化处理，以0.5的概率对特征进行丢弃后进入尺度感知注意力模块中，随后继续使用3D残差块进一步提取特征，到第7层时，再次进行池化处理并将最终得到3D特征传输到跳跃连接层中。

跳跃连接层中实现特征维度的转变，每层的跳跃连接层接收来自编码层中的特征后用步长为1×1×1大小为4×1×1的卷积核将3D特征转化为2D特征，随后通过reshape操作确保图像与编码层中的3D特征图的高度与宽度保持一致，特征最终传送到编码层中。

编码层接受来自跳跃连接层中的特征对特征图中的细节进行恢复，从第7层开始，来自跃连接层中的2D特征图首先经过一次上采样，图像的高度宽度均加倍，该特征与来自第6层跳跃连接层中的特征在通道维度拼接后相继传入通道特征融合模块与2D残差块中，输出的特征再次实行上采样操作，重复上述步骤，直至特征传送回第一层，此时得到的特征为粗分割特征，用做后处理网络的输入，最后使用1×1卷积输出最终结果，得到粗分割图。

网络训练过程中，损失函数为Dice，优化方式为随机梯度下降(SGD),batch_size设置为4。

3、条件随机场特征推理模块

为了避免以最大化概率来分配分割标签时，由于相邻体素共享特征表达相似而导致不正确的边界分割，在预重建网络中引入条件随机场特征推理模块，使用不同特征提取器——图卷积神经网络(图卷积神经网络)与卷积神经网络(CNN)提取血管特征，按照所提特征对最终结果的贡献程度，通过注意门调节来自双方的信息流并将该特征输入条件随机场进行推理，对每个节点进行精准分类，具***置放置在网络下采样过程中的第4层以及第5层中。

在使用图卷积神经网络提取特征的过程中，通过G＝{V,G,A}构建特征交互空间，其中V是交互图中的节点集合，G是节点之间边的集合，A是邻接矩阵，将原始输入的特征图投影到特征交互空间得到新的投影特征

其中新的交互节点数为K，新的边集为E，C'为交互空间的维度，通常新特征中节点之间通过线性组合进行连接，不同切片之间的血管形态差异较大，缺乏自适应的采样能力，模型难以优化，采用自适应采样策略，运用三线性插值采样器，使用随机梯度下降的方法为每个原始特征学***滑和更新邻接矩阵

从而将节点特征传播到整个图中，I是输入的一组SMA序列。在实际操作中采用了梯度流最大的剩余连接代替,1×1卷积实现

和W^G，推理完成后再将特征从交互空间投影回坐标空间。

卷积神经网络下采样提取的卷积特征X^R安置在每层3D残差块后，注意门权重矩阵A^GR控制两种潜在特征的信息流，将最终可观测的融合特征记为X^F，接着使用条件随机场完成推理过程，全连接条件随机场是一种概率图模型，将图像中每个体素点都看作一个节点，体素与体素之间的关系看作连接节点的边，由此构成条件随机场。使用条件随机场的最终目标是实现能量函数的最小化，在本发明中用图卷积提取的特征和使用条件随机场推理的图卷积中的潜在特征以及卷积提取特征和使用条件随机场推理的卷积中潜在特征之间的关系看作一元势(两个一元势)，将使用条件随机场融合的最终特征与注意门之间关系看作二元势，使用高斯函数将推测所得的潜在特征H表征到可观测特征X上，此处，本发明中的可观测特为最终图卷积和卷积的融合特征X^F，一元势，二元势以及和能量函数的公式如下所示：

式中φ(H,X)指代一元势，h_n为隐藏特征，x_n为可观测特征；

式中

指代二元势，h_m ^g为参与交互的隐藏图卷积特征，h_n ^r为隐藏卷积特征，

为注意门权重矩阵，

是与隐藏特征映射相关联的内核势；

式中E(H^R,H^G,X^F|I)为使用概率图模型分割时的能量函数，I是输入的一组SMA序列，φ^G(H^G,X^G)为隐藏图卷积H^G与可观测性图卷积特征X^G之间的一元势，φ^R(H^R,X^R)为为隐藏卷积H^R与可观测性卷积特征X^R之间的一元势,ψ^GR(H^G,H^R,A^GR)为隐藏卷积特征，隐藏图卷积特征与注意门权重矩阵之间的二元势，本实施例利用高斯函数将预测的隐藏特征H驱动到可观测特征X，右上角的角标表示特征来源，表示成对势。

条件随机场中，图像的分割问题被转化为能量函数最小化问题，采用平均场更新来近似代替复杂的后验概率分布，使用具有拟合参数的Q作为后验代理，形成隐藏变量的后验分布：

式中P(H^R,H^G,X^F,|I)用于描述可观测的图像分布，Q(H^R,H^G,X^F)为拟合P的后验概率分布，隐藏变量

以及注意门权重矩阵

间是相互独立的且可分解的，q_n为可因数分解表达式，H为潜在特征，右上角的角标表示特征来源，H^R,H^G分别表示隐藏卷积特征和图特征，X为可观测特征，X^F为融合隐藏卷积特征和图形特征的最终可观测特征；

引入KL散度表示使用理论分布Q拟合真实分布P时产生的信息损耗，

由于包含式P(h|x)，KL散度依旧难以求解，参考马尔科夫随机场，引入最小化自由能函数来优化KL散度的求解，求解公式如下所示：

式中D_KL(Q||P)为分布P与分布Q之间的KL散度，Q(h)为使用平均场拟合分布P的后验概率分布，lnZ为常数项，E(h)为分割时的能量函数，其中

为自由能，自由能的第一项为标记每个体素的成本，第二项表示分布Q的熵,h为隐变量。将能量函数表达式代入KL散度的求解方程中，对隐变量求导并令导数为零有：

与

同理，式中

表示注意门权重矩阵

的更新，E_q()表示分布Q对各隐变量的期望，

为注意门权重矩阵，

为卷积的潜在特征表达，

为图卷积的隐藏特征表达，

为对

求导后的二元势表达式，

为对

求导后的可观测卷积特征与隐藏特征之间的一元势，

描述可观测卷积特征；

利用相邻体素之间潜在特征表达的重新加权学***衡允许重新加权来自体素n的领域间的成对潜在信息。定义

代入上述公式中有特征更新如下：

式中

为隐藏图卷积特征的更新，

描述可观测图卷积特征，

描述可观测卷积特征，

是与隐藏特征映射相关联的内核势，

为参与交互的隐藏卷积特征，

是与隐藏特征映射相关联的内核势，

表示按照不同信息流的权重矩阵，将卷积特征归算到图卷积特征中；

式中

为隐藏卷积特征的更新，

描述可观测卷积特征，

是与隐藏特征映射相关联的内核势，

为参与特征交互的图卷积特征，

将参与交互的图卷积特征按照注意门权重归算到卷积特中；

权重矩阵

可以使用sigmoid函数对其进行更新：

式中，

为更新后的

为参与交互的注意门权重矩阵，

是与隐藏特征映射相关联的内核势，

为参与交互的隐藏图卷积特征；

在实际的操作过程中，将条件随机场的平均场更新替换为卷积操作，以适应任何卷积网络的端对端的训练。定义使用图卷积网络提取的特征X^G，卷积提取特征X^R，注意门的权重矩阵A^GR，图中以及卷积中待推理的特征分别为H^G以及H^R具体的操作步骤为：

(1)计算注意门权重矩阵的更新矩阵：

为A^GR的更新矩阵，r^GR为一个3×3的卷积核，X^G为使用图卷积网络提取的特征，X^R为卷积提取特征；

(2)使用sigmoid函数σ对更新矩阵做归一化处理：

式中的

为归一化后注意门权重矩阵的更新；

(3)H^G的平均场更新：H^G＝r^GR*H^G，*表示卷积操作，X^G为图卷积网络提取的特征，等式左边的H^G为更新后的H^G，r^GR为一个3×3的卷积核；

(4)

⊙表示元素相乘，

为卷积的隐藏特征H^G的更新，

为归一化后注意门权重矩阵的更新，X^G为使用图卷积网络提取的特征；

(5)通过使用剩余连接添加一元势来更新H^R:

表示元素相加，

为卷积的隐藏特征H^G的更新，为了便于迭代更新，H^G的贡献归算在H^R中。

4、尺度感知注意力模块

为使网络对多尺度的血管特征都有很好地提取能力，尤其针对小血管，自适应的调整感受野的形状与大小，并获取体素间的注意力权重矩阵。

可变形卷积在规则卷积的基础上对每个方格块的采样点增加了一个3D偏移，从而允许感受野自由扩张与变形，P₀为每个采样块的正中位置体素，P_n为采样块R中枚举的采样位置。特征传到尺度感知注意力模块时，调用额外的普通卷积R＝K×K×K对输入特征图进行卷积操纵，对应的输出结果为每个体素的偏移量ΔP_n，卷积填充为same图像输出的大小不变，输出通道扩大为原来的3倍，输入特征图中每个位置的体素都有横纵坐标以及Z轴坐标的偏移量，其范围在1到|K|之间，将输入特征体素索引值与偏移量相加生成新的3D数据传输到其它层中，偏移量会产生浮点数，无法进行反向传播，接着采用双线性插值将ΔP_n化为整数，使其对应于特征图中实际存在的体素点，通过偏移量自适应控制感受野的大小与形状，偏移量取决于输入数据特征。

将输入特征

输入到2个平行的3D可形变卷积层中分别得到2个新的特征

使用1×1×1的3D卷积将F_o1、F_o2的通道特征减少到原来的1/4，相应的

F_o1与F_o2的转置之间运行矩阵乘法并用softmax计算他们之间矩阵的相关性并获得权重矩阵

其中X,Y,Z,C分别表示特征的长、宽、高以及通道数，N为体素个数。

5、通道特征融合模块

将来自跳跃连接层中的低层特征图与解码层中上采样的高级特征在通道维度进行拼接，拼接后的特征进行挤压扩张处理(squeeze-and-excitation,SE)，将来自跳跃连接层中的底层特征图与解码层中上采样的高级特征在通道维度进行拼接，基于挤压和激发(SE)操作来指导特征层之间的融合。将低阶特征

与高阶特征

在通道维度上进行拼接得到

_C,H,W分别代表通道式，图像的高度和宽度。接着通过挤压和激励(SE)操作建模通道之间的相关性，通过计算一个权重向量对低层特征进行重新加权并抑制无关背景噪声的干扰。拼接后的特征F_concat送入一个1×1的卷积层中实现降维，紧着利用全局平均池化(GAP)得到加权向量

将Sigmoid函数生成的权重向量与低层特征相乘，然后将重新加权的低层特征与高层特征相加得到最终结果：

(式中F^(c)为当前层的融合特征，

为该层上层的融合特征，σ表示sigmoid函数，C_1×1代表1×1的卷积操作，c代表模型的层数，低阶特征F_L与高阶特征F_H，

和

分别表示元素相加与元素相乘，采用无参数双线性上采样策略，在保持分割性能的同时减少了参数，GAP为全局平均池化操作，为准确定位保留更多的语义上下文，如图4中展示了两种注意力机制通过跳跃连接层连接的细节。)

6、后处理网络

为了增强血管缺失部分推理所得特征，同时增强末梢边缘小血管的拓扑结构，在得到主干网络分割的预重建结果后，引入后处理网络增强小血管的边缘特征,突出细化小血管的边界，利用Iter-Unet增强推理过程中的得到的微弱特征表达，加强血管之间的连接，增强血管的拓扑结构，取预重建网络中倒数第二层特征图作为Iter-Unet的输入，用于浅血管的结构加强，为了限制优化方向，引入了第一层跳跃层中的低级2D对Iter-Unet迭代结果进行限制，为防止过拟合，分担权重，迭代网络之间的连接采用了dense连接，具体来说每次传送到Iter-Unet中的特征包括此次迭代过程中、来自跳跃连接层一中的低级特征，以及前面每次迭代的输出结果，因此，每次Iter-Unet的输入都不相同，输入的数据经过1×1卷积实行数据降维，每次迭代得到结果时都会计算一次loss，Iter-Unet的损失函数使用cldice作为损失函数，其具体表达式为：

式中ClDice(V_P,V_L)为cldice的求解公式，S_P和S_L是从预测图像V_P和金标准图像V_L中提取的血管骨骼图，相应的Tprec(S_P,V_L)和Tprec(S_L,V_P)为拓扑精度，分别计算了位于V_L内的S_P比例以及位于V_P中的S_L占比，区别传统中以独立体素的分割性能训练模型，转而从血管的连通性角度出发完成模型的训练。

引入了新的评价指标C用于描述血管的连通特征，判断血管连通的方法为8邻近体素法，以3×3的滤波器遍历分割图像，定义滤波器正中心的体素为A，若A的周围8个体素的灰度值与A的灰度值相等，则称A、B连通。

具体表达式为：

式中C为评价连通性的评价函数，N_p和N_gt分别代表预测图和金标准图中的分段数，N_max代表一张图像中允许出现的最大分段数，设置该参数用于血管总长度有关，此处设置N_max为总长度的0.04倍。

图5和图6分别展示了本发明针对扫描断裂以及组织遮挡时分割图的可视化效果图，图7为本发明与其他先进方法分割的对比效果图，其中第三列图像为本发明的分割结果，可以看到，本发明能够推断出空间缺失的血管，降低背景扰动并在小血管的分割上取得巨大突破。

以上对本发明的实施例进行了详细说明，但所述内容仅为本发明的较佳实施例，不能被认为用于限定本发明的实施范围。凡依本发明申请范围所作的均等变化与改进等，均应仍归属于本发明的专利涵盖范围之内。

Claims (4)

1.一种基于MIP序列的肠系膜上动脉血管重建方法，对腹部肠系膜上动脉的CT序列图像进行分割重建处理，其特征在于，包括以下步骤：

S1：获取肠系膜上动脉血管MIP薄切序列数据集，并对数据做增强处理；

S2：建立基于上下文引导的图神经网络与卷积神经网络的血管预重建网络，结合使用双注意力结构与条件随机场获得血管预重建结果；

S3：建立基于Iter-Unet的后处理网络，对预重建得到的结果做进一步细化处理，加强细小血管的边缘结构的同时连接断裂血管；

在步骤S2中：

血管预重建网络包括空间上下文引导的血管重建结构、条件随机场特征推理模块、尺度感知注意力模块，以及通道特征融合模块；

所述下文引导的血管重建结构在图像的下采样和上采样过程中分别使用三维数据与二维数据，并将空间特征聚合成2D特征，利用前后序列的空间冗余特征丰富单张图像特征量，推断原始图像中由于CT扫描造成的血管局部缺失部分；

所述条件随机场特征推理模块，使用不同特征提取器——图卷积神经网络GCN与卷积神经网络CNN提取血管特征，利用条件随机场建立血管体素邻域间的关系，按照所提特征对最终结果的贡献程度，通过注意门调节来自双方的信息流并将该特征输入条件随机场进行推理，对每个体素进行精准分类，将条件随机场的平均场操作转化为卷积操作，实现端对端的训练；

所述尺度感知注意力模块，计算可变感受野中体素之间的相似度，以空间自适应方式学习相邻块的偏移量和权重，聚焦不同大小的血管，尤其增强对细小血管的特征捕捉能力；

所述通道特征融合模块，聚合来自编码层的低级信息以及解码层中的高级特征，给不同通道分配权重，抑制背景中噪音、重叠组织以及伪影对分割的干扰；

所述上下文引导的血管重建结构沿用U-net的解编码结构，包括编码层、解码层以及中间用于特征拼接的跳跃连接层：

所述编码层中采用3D残差块对3D体积数据进行特征提取，编码层一共分为7层，前5层中，每层都由一个3D卷积和一个3D残差块构成，为防止网络过拟合，在第六层的3D卷积之前加入了池化层，第7层中则只包含池化层；

所述解码层中采用使用2D残差块进行特征提取，除第7层中只包含上采样操作，其余6层均由道特征融合模块、2D残差块以及上采样三个步骤构成；

所述跳跃连接层接受来自编码层的3D低级特征，将其聚合为2D特征并传入到解码层中，用于后续的特征拼接，共7层；

所述尺度感知注意力模块，采用1×1×1的3D卷积将二维图像的自注意力机制引入到三维空间，结合可变形卷积，通过额外的卷积层自适应的调整感受野使感受野在不同尺度的血管区域逐渐扩展，具体操作步骤为：

给定某个规则的固定大小的采样网块K×K×K，设置额外的卷积层中的卷积核与采样网块大小与扩张相同，输入特征图与额外的卷积层交互为规则采样块中每个体素生成一个偏移量ΔP_n，将偏移量与原输入特征图相加得到新的特征图；

将输入特征

输入到2个平行的3D可形变卷积层中分别得到2个新的特征

使用1×1×1的3D卷积将F_o1、F_o2的通道特征减少到原来的1/4，相应的

F_o1与F_o2的转置之间运行矩阵乘法并用softmax计算他们之间矩阵的相关性并获得权重矩阵

其中X,Y,Z,C分别表示特征的长、宽、高以及通道数，N为体素个数；

所述通道特征融合模块对低级特征和高级特征进行融合与特征选择，将来自跳跃连接层中的低层特征图与解码层中上采样的高级特征在通道维度进行拼接，拼接后的特征进行挤压扩张处理，得到不同通道的权重矩阵，将权重矩阵与拼接后的特征相乘后再对应的上下采样的特征图相加，得到最终的特征；

所述尺度感知自注意力模块只放置在上下文引导的血管重建结构编码层的最后两层中，基于自注意力机制需要大量的内存存放权重矩阵，具体放置在每层的3D残差模块之后；

在步骤S3中：

所述后处理网络引入概率图模型，取预重建网络中倒数第二层特征图作为Iter-Unet的输入，用于优化微小血管之间的断裂，为了限制优化方向，引入了第一层跳跃层中的低级2D特征对Iter-Unet迭代结果进行限制，为防止过拟合，分担权重，迭代网络之间的连接采用了密集连接，具体来说每次传送到Iter-Unet中的特征包括来自跳跃连接层一中的低级特征，以及前面每次迭代的输出结果，每次Iter-Unet的输入都不相同；

所述Iter-Unet中，每次迭代过程中的损失函数都是独立的，且使用cldice作为损失函数，其具体表达式为：

式中ClDice(V_P,V_L)为cldice的求解公式，S_P和S_L是从预测图像V_P和金标准图像V_L中提取的血管骨骼图，相应的Tprec(S_P,V_L)和Tprec(S_L,V_P)为拓扑精度，分别计算了位于V_L内的S_P比例以及位于V_P中的S_L占比，区别传统中以独立体素的分割性能训练模型，转而从血管的连通性角度出发完成模型的训练；

所述后处理网络中，引入了新的评价指标C用于描述血管的连通特征，具体表达式为：

式中C为评价连通性的评价函数，N_p和N_gt分别代表预测图和金标准图中的分段数，N_max代表一张图像中允许出现的最大分段数，设置该参数用于血管总长度有关，此处设置N_max为总长度的0.04倍。

2.根据权利要求1所述的一种基于MIP序列的肠系膜上动脉血管重建方法，其特征在于，所述条件随机场特征推理模块在使用图卷积神经网络提取特征时运用三线性插值采样器，使用随机梯度下降的方法为每个原始特征学习移动距离，从而对给定的V个节点的图中，对特征节点X_m及其周围的位移特征节点进行采样，采用自适应采样策略便于模型优化。

3.根据权利要求1所述的一种基于MIP序列的肠系膜上动脉血管重建方法，其特征在于，所述条件随机场特征推理模块属于概率图分割模型，图像分布符合吉布斯分布可用P表示，采用注意门控制来自不同特征提取器中的信息流，注意门通过最小化总能量成本E()来调节从主干神经网络的编码特征到潜在表征的信息流，将用图卷积提取的特征和使用条件随机场推理的图卷积中的隐藏特征以及卷积提取的特征和使用条件随机场推理的卷积中隐藏特征之间的关系看作一元势，将使用条件随机场融合的最终特征与注意门之间关系看作二元势，使用高斯函数将推测所得的隐藏特征H表征到观测特征X上，预测图像的分布可用分布Q表示，利用KL散度表示使用理论分布Q拟合真实分布P时产生的信息损耗，引入最小化自由能函数来优化KL散度的求解：

D_KL(Q||P)为分布P与分布Q之间的KL散度，Q(h)为使用平均场拟合分布P的后验概率分布，lnZ为常数项，E(h)为分割时的能量函数，h为隐变量，其中

为自由能，自由能的第一项为标记每个体素的成本，第二项表示分布Q的熵。

4.根据权利要求2所述的一种基于MIP序列的肠系膜上动脉血管重建方法，其特征在于，所述条件随机场特征推理模块使用卷积操作代替条件随机场中平均场的更新，定义使用图卷积网络提取的特征X^G，卷积提取特征X^R，注意门的权重矩阵A^GR，图中以及卷积中待推理的特征分别为H^G以及H^R具体的操作步骤为：

(1)计算注意门权重矩阵的更新矩阵：

为A^GR的更新矩阵，r^GR为一个3×3的卷积核，X^G为使用图卷积网络提取的特征，X^R为卷积提取特征；

(2)使用sigmoid函数σ对更新矩阵做归一化处理：

式中的

为归一化后注意门权重矩阵的更新；

(3)H^G的平均场更新：H^G＝r^GR*H^G，*表示卷积操作，X^G为图卷积网络提取的特征，等式左边的H^G为更新后的H^G，r^GR为一个3×3的卷积核；

(4)

⊙表示元素相乘，

为卷积的隐藏特征H^G的更新，

为归一化后注意门权重矩阵的更新，X^G为使用图卷积网络提取的特征；

(5)通过使用剩余连接添加一元势来更新H^R:

表示元素相加，

为卷积的隐藏特征H^G的更新，为了便于迭代更新，H^G的贡献归算在H^R中。

Images