CN115841607A - 一种基于图注意力网络的脑网络结构和相似度的联合学习方法 - Google Patents

Abstract

本发明属于深度学习和脑网络结构领域，具体涉及一种基于图注意力网络的脑网络结构和相似度的联合学习方法，包括：对获取到的脑部影像数据进行皮层分割处理和形态学特征提取，并将受试者脑网络建模为一个图；通过皮尔森相关计算估计出初始脑网络结构；通过孪生图注意力学习网络，得到脑网络结构间的相似度；计算图正则化损失函数与孪生网络损失函数，约束初始脑网络结构的特性；根据脑网络的嵌入特征更新脑网络的邻接矩阵，并得到更新后的脑网络结构和计算脑网络结构的相似度。本发明通过联合优化脑网络结构估计和相似度学习两个任务，对形态学脑网络进行了有效的估计，为个体识别、疾病辅诊等后续任务提供了有价值的信息。

Description

一种基于图注意力网络的脑网络结构和相似度的联合学习 方法

技术领域

本发明属于深度学习和脑网络结构领域，具体涉及一种基于图注意力网络的脑网络结构和相似度的联合学习方法。

背景技术

阿尔兹海默症(AD，俗称老年痴呆)是老年人群中最常见的神经退行性疾病之一，AD的临床特征为记忆力和其它认知功能的下降，目前尚无有效的治疗方法。轻度认知障碍(MCI)作为正常老化和AD之间的过渡阶段，其准确诊断对于AD疾病的早期治疗及延缓疾病进程非常重要。面向MCI等脑疾病发展基于医学影像的计算机辅助诊断技术已成为当今神经科学领域的研究热点。但由于MCI阶段的症状较轻，大脑功能及解剖结构变化并不明显，准确的MCI疾病辅诊仍然具有相当大的挑战性。

基于sMRI为单个被试构建个体形态学脑网络，可为认识MCI等疾病状态下的全脑形态学连接模式提供重要证据，并为疾病辅诊、疗效评估等临床应用提供足够敏感和特异的影像学标记物。然而，目前的个体形态学脑网络构建方法还不成熟，一方面受限于大脑皮层表面分割的速度和准确性，另一方面通常未考虑疾病诊断等后续任务，其生物学意义有待提高。因此，研究建立一种可靠的个体形态学脑网络构建方法，在此基础上揭示MCI脑网络异常机制，提高对该疾病辅助诊断的准确性，是当前MCI疾病研究的一个迫切需求，具有重要的学术意义和临床价值。

目前，现有的大多数个体形态学脑网络构建方法仅基于一种形态学特征，通过计算ROI之间特征平均值的相似性或特征值分布的统计相关性估计脑网络结构，无法充分反映大脑皮层的复杂特性。近年来，研究者们提出利用多种形态学特征估计脑网络结构，提高了对疾病的辅诊能力和预测能力。根据节点间形态学连接计算方式的不同，可以这些算法大致分为基于成对ROI的方法和基于多个ROI的方法。

基于成对ROI的方法估计的形态学连接反映了两两ROI之间的关联性。皮尔森相关分析是其中最常用的方法，它直接捕获了节点对特征向量的相似性。杭州电子科技大学厉力华教授等利用多种特征距离计算了ROI之间“高阶”的形态学相似性，为传统的皮尔森相关方法提供了高层次的补充信息，提出通过计算多变量欧式距离的指数函数衡量ROI之间特征分布的相关性，有效的估计了个体形态学脑网络结构，提高了疾病辅诊的准确性。虽然这类方法计算简单且具有生物学上的直观性，但它们忽略了其他区域的潜在影响，可能会产生错误的连接。针对这个问题，基于多个ROI的方法考虑了多个区域的影响，通常通过求解带L1范数正则化项的优化问题估计脑网络结构，为网络结构引入稀疏先验，使其具有更好的生物学意义。虽然这类方法在形态学脑网络研究中还较少报道，但在平行的功能脑网络构建领域中，通过改进稀疏正则化项或引入新的正则化项构建更合理的脑网络结构已成为近年来的研究趋势。

然而，现有的脑网络构建都是优先于任何脑网络分析的，得到的脑网络结构对于个体识别、疾病辅诊等后续任务可能并不是最优的。针对这个问题，在相关的图信号处理领域内(脑网络可看作是图)，研究者们提出利用几何深度学习中的图神经网络技术，针对下游任务自适应的调整图结构。这些开创性的研究为设计脑网络结构的估计方法提供了重要思路，但它们都不是面向脑网络结构设计的，没有使用在脑网络构建中已被证明有价值的信息，如脑网络的稀疏性、模块性。

综上所述，现有技术问题是：

1.目前的个体形态学脑网络构建方法还不成熟，一方面受限于大脑皮层表面分割的速度和准确性，另一方面通常未考虑疾病诊断等后续任务，其生物学意义有待提高；

2.通过计算多变量欧式距离的指数函数衡量ROI之间特征分布的相关性，这类方法计算简单且具有生物学上的直观性，但它们忽略了其他区域的潜在影响，可能会产生错误的连接；

3.现有的脑网络结构估计并未针对后续任务，提出具备自适应特性的脑网络结构估计方法。

发明内容

为解决上述技术问题，本发明提出一种基于图注意力网络的脑网络结构和相似度的联系学习方法，包括以下步骤：

S1：获取受试者脑部sMRI数据，对获取到的脑部sMRI数据进行皮层分割处理和形态学特征提取，得到全部脑区的形态学特征，并将受试者脑网络建模为一个图，脑网络中的每个节点对应于一个脑区，根据每个脑区节点的形态学特征组成脑网络的特征矩阵；

S2：通过皮尔森相关计算将脑网络的特征矩阵映射到图的邻接矩阵，估计出初始脑网络结构，设定阈值去除弱连接；

S3：将去除弱连接后的一对脑网络的特征矩阵、邻接矩阵输入孪生图注意力学习网络中，通过脑网络的特征矩阵进行图嵌入表示学习，得到嵌入特征表示，根据一对脑网络的嵌入特征表示与邻接矩阵计算脑网络结构间的相似度；

S4：计算图正则化损失函数与孪生网络损失函数，约束初始脑网络结构的稀疏性、模块性、组内相似性和组间相异性；

S5：根据脑网络的嵌入特征更新脑网络的邻接矩阵，并与约束稀疏性、模块性、组内相似性和组间相异性的初始脑网络结构进行组合，得到更新后的脑网络结构；

S6：根据更新后的脑网络结构的特征矩阵学习新的嵌入特征表示，根据计算得到的新的嵌入特征表示计算脑网络结构的相似度。

优选的，通过大脑皮层分割处理将受试者脑网络建模为一个图g＝

{v,ε,x,A},其中

是n个脑网络节点的集合，每个节点对应于一个脑区，ε是脑网络边的集合；/>

为节点的特征矩阵，每个节点的特征向量为对应脑区内所有顶点形态学特征向量的平均值，d是节点特征的维数；

为图的邻接矩阵，表示节点间的连接关系。

优选的，通过皮尔森相关计算将脑网络的特征矩阵映射到图的邻接矩阵，估计出初始脑网络结构，表示为：

其中，a_ij表示估计出的形态学脑网络结构，

表示互协方差，σ(·)表示sigmoid函数，⊙表示Hadamrd乘积，/>

表示可训练的权重向量，/>

表示大脑皮层的第i个脑区节点的特征矩阵，/>

表示大脑皮层的第j个脑区节点的特征矩阵。

优选的，设定阈值去除弱连接,表示为：

其中，

表示去除弱连接后的形态学脑网络结构，a_ij表示估计出的形态学脑网络结构，ξ表示阈值。

优选的，通过脑网络的特征矩阵进行图嵌入表示学习，得到嵌入特征表示，表示为：

其中，

当前学习到的嵌入特征表示，/>

表示将H个注意力头做串联，σ为sigmoid函数，v_j表示第h个注意力头内的节点，v_i表示第h个注意力头内的一阶领域内的节点，/>

表示注意力头内的节点数，/>

表示第h个头的注意力权重，/>

表示一个可训练的线性变换矩阵，x_j表示脑网络第j个脑区节点的特征矩阵。

优选的，根据一对脑网络的嵌入特征表示与邻接矩阵计算脑网络结构间的相似度，表示为：

其中，O_p表示相似度分数，Att(·)表示图注意力层，FC(·)表示全连接层，<·,·>表示内积，

表示脑网络的一个嵌入表示，/>

表示脑网络的一个邻接矩阵。

优选的，计算图正则化损失函数，表示为：

其中，

表示正则化损失函数，/>

表示优化后的脑网络结构，‖·‖₁表示稀疏损失，‖·‖_*表示低秩损失，/>

表示脑网络结构对中的两个被试，λ₁和λ₂表示用于调整损失项之间的权重的超参数。

优选的，计算孪生网络损失函数，表示为：

其中，

表示Hinge损失函数，N_p为相似度高的脑网络结构对的个数；Y_p为脑网络结构对真实的相似度标签,O_p为孪生网络输出的相似度分数。

优选的，所述S5，表示为

其中，

表示更新后的脑网络结构，/>

表示初始脑网络结构，/>

表示更新后的邻接矩阵，β表示权重。

本发明的有益效果：本发明通过采用可训练的皮尔森相关估计脑网络结构，采用孪生图网络学习脑网络间的相似度，通过迭代的更新脑网络结构和图嵌入表示，联合优化脑网络结构估计和相似度学习两个任务，对形态学脑网络进行了有效的估计，为个体识别、疾病辅诊等后续任务提供了有价值的信息。

附图说明

图1为本发明的的流程图；

图2为本发明的脑网络结构和相似度的联系学习示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

一种基于图注意力网络的脑网络结构和相似度的联系学习方法，如图2所示，包括以下步骤，如图1所示：

S1：获取受试者脑部sMRI数据，对获取到的脑部sMRI数据进行皮层分割处理和形态学特征提取，得到全部脑区的形态学特征，并将受试者脑网络建模为一个图，脑网络中的每个节点对应于一个脑区，根据每个脑区节点的形态学特征组成脑网络的特征矩阵；

S2：通过皮尔森相关计算将脑网络的特征矩阵映射到图的邻接矩阵，估计出初始脑网络结构，设定阈值去除弱连接；

S3：将去除弱连接后的一对脑网络的特征矩阵、邻接矩阵输入孪生图注意力学习网络中，通过脑网络的特征矩阵进行图嵌入表示学习，得到嵌入特征表示，根据一对脑网络的嵌入特征表示与邻接矩阵计算脑网络结构间的相似度；

S4：计算图正则化损失函数与孪生网络损失函数，约束初始脑网络结构的稀疏性、模块性、组内相似性和组间相异性；

S5：根据脑网络的嵌入特征更新脑网络的邻接矩阵，并与约束稀疏性、模块性、组内相似性和组间相异性的初始脑网络结构进行组合，得到更新后的脑网络结构；

S6：根据更新后的脑网络结构的特征矩阵学习新的嵌入特征表示，根据计算得到的新的嵌入特征表示计算脑网络结构的相似度。

通过大脑皮层分割处理将受试者脑网络建模为一个图g＝{v,ε,x,A},其中

是n个脑网络节点的集合，每个节点对应于一个脑区，ε是脑网络边的集合；/>

为节点的特征矩阵，每个节点的特征向量为对应脑区内所有顶点形态学特征向量的平均值，d是节点特征的维数；/>

为图的邻接矩阵，表示节点间的连接关系。

所述大脑皮层分割方法：获取大脑sMRI图像，重构出大脑皮层表面，并提取出大脑皮层表面的形态学特征；所述大脑sMRI图像包括待分割的目标图像和已分割的图谱集图像；使用图拉普拉斯对大脑皮层表面的多维形态学特征进行特征分解，获得大脑皮层表面流形的谱表示；使用U形层级结构的分割模块提取出目标图像的大脑皮层表面的上下文信息，使用相同U形层级结构的辅助模块提取出图谱集图像的大脑皮层表面的解剖先验信息，并采用非局部注意力特征融合模块对分割模块的信息和辅助模块的信息进行融合处理，输出目标图像的大脑皮层表面的分割标签的预测概率图。

所述重构出大脑皮层表面包括将大脑sMRI图像映射到标准空间，使用N3算法修正所述大脑sMRI图像的不均匀性，去除非脑组织后，基于强度值和邻域约束分割得到大脑白质、大脑灰质和脑脊液；利用大脑白质和大脑灰质的交界面重构出大脑皮层内表面，并利用大脑灰质与脑脊液的交界面生成大脑皮层外表面。

所述提取出大脑皮层表面的形态学特征包括对于大脑皮层内表面上的每个顶点，提取五种反映大脑皮层不同几何属性的形态学特征，包括：平均曲率，其值为顶点处内切球半径的倒数；高斯曲率，其值为顶点处主曲率的乘积，反映曲面在该处不同方向的弯曲程度；皮层厚度，其值为白质表面与灰质表面对应顶点间的距离；脑沟深度，其值为顶点到灰、白质中间曲面的垂直距离；曲面面积，其值为该顶点所有相邻三角面片的平均面积。

所述U形层级结构的分割模块包括第一编码层和第一解码层；所述第一编码层包括第一输入层，以及多个重复排列的第一特征提取层、第一池化层和第一非局部注意力特征融合模块；所述第一解码层包括多个重复排列的第二特征提取层、第一上池化层和第二非局部注意力特征融合模块，以及第一输出层；所述U形层级结构的辅助模块包括第二编码层和第二解码层；所述第二编码层包括第二输入层，以及多个重复排列的第三特征提取层和第二池化层；所述第二解码层包括多个重复排列的第四特征提取层和第二上池化层；其中，所述第一池化层连接有第一特征提取层和第三特征提取层，所述第二池化层连接有第二特征提取层和第四特征提取层；所述第一非局部注意力特征融合模块连接有第一池化层和第二池化层，所述第二非局部注意力特征融合模块连接有第一上池化层和第二上池化层。

通过皮尔森相关计算将脑网络的特征矩阵映射到图的邻接矩阵，估计出初始脑网络结构，表示为：

其中，a_ij表示估计出的形态学脑网络结构，

表示互协方差，σ(·)表示sigmoid函数，⊙表示Hadamrd乘积，w_s表示可训练的权重向量，/>

表示大脑皮层的第i个脑区节点的特征矩阵，/>

表示大脑皮层的第j个脑区节点的特征矩阵。

设定阈值去除弱连接,表示为：

其中，

表示去除弱连接后的形态学脑网络结构，a_ij表示估计出的形态学脑网络结构，ξ表示阈值。

对于图嵌入表示的学习，拟采用多头图注意力机制，图注意力是基于空间的图卷积方法，适用于异构图，首先计算第h个头的注意力权重：

其中，

表示第h个头的注意力权重，/>

表示一个可训练的线性变换矩阵，‖表示串联操作，/>

表示一个可训练的权重向量，ELU表示指数线性单元激活函数，T表示转置操作，x_i表示脑网络第i个脑区节点的特征矩阵，x_j表示脑网络第j个脑区节点的特征矩阵，v_j表示第h个注意力头内的节点，v_i表示第h个注意力头内的一阶领域内的节点，/>

表示注意力头内的节点数。

然后将节点v_i的所有邻域信息进行聚合，并将所有H个注意力头做串联，即可获得其嵌入特征表示：

其中，

当前学习到的嵌入特征表示，/>

表示将H个注意力头做串联，σ为sigmoid函数，v_j表示第h个注意力头内的节点，v_i表示第h个注意力头内的一阶领域内的节点，/>

表示注意力头内的节点数，/>

表示第h个头的注意力权重，/>

表示一个可训练的线性变换矩阵，x_j表示脑网络第j个脑区节点的特征矩阵。

根据一对脑网络的嵌入特征表示与邻接矩阵学习脑网络结构间的相似度，表示为：

其中，O_p表示相似度分数，Att(·)表示图注意力层，FC(·)表示全连接层，<·,·>表示内积，

表示脑网络的一个嵌入表示，/>

表示脑网络的一个邻接矩阵。

计算图正则化损失函数，表示为：

其中，

表示正则化损失函数，/>

表示优化后的脑网络结构，‖·‖₁表示稀疏损失，‖·‖_*表示低秩损失，/>

表示脑网络结构对中的两个被试，λ₁和λ₂表示用于调整损失项之间的权重的超参数。

计算孪生网络损失函数，表示为：

其中，

表示Hinge损失函数，N_p为相似度高的脑网络结构对的个数；Y_p为脑网络结构对真实的相似度标签,O_p为孪生网络输出的相似度分数。

所述S5，表示为

其中，

表示更新后的脑网络结构，/>

表示初始脑网络结构，/>

表示更新后的邻接矩阵，β表示权重。

根据更新后的脑网络结构的特征矩阵学习新的嵌入特征表示：

其中，

表示学习得到的新的嵌入特征表示，Att(·)表示图注意力层，/>

表示更新后的脑网络结构的特征矩阵，/>

表示更新后的脑网络结构的一个邻接矩阵；

根据计算得到的新的嵌入特征表示计算脑网络结构的相似度：

其中，

表示更新后的脑网络结构的一个嵌入表示，/>

表示更新后的脑网络结构的一个邻接矩阵，Att(·)表示图注意力层，FC(·)表示全连接层，<·,·>表示内积，O_p为相似度分数。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (9)

1.一种基于图注意力网络的脑网络结构和相似度的联系学习方法，其特征在于，包括以下步骤：

S1：获取受试者脑部sMRI数据，对获取到的脑部sMRI数据进行皮层分割处理和形态学特征提取，得到全部脑区的形态学特征，并将受试者脑网络建模为一个图，脑网络中的每个节点对应于一个脑区，根据每个脑区节点的形态学特征组成脑网络的特征矩阵；

S2：通过皮尔森相关计算将脑网络的特征矩阵映射到图的邻接矩阵，估计出初始脑网络结构，设定阈值去除弱连接；

S3：将去除弱连接后的一对脑网络的特征矩阵、邻接矩阵输入孪生图注意力学习网络中，通过脑网络的特征矩阵进行图嵌入表示学习，得到嵌入特征表示，根据一对脑网络的嵌入特征表示与邻接矩阵计算脑网络结构间的相似度；

S4：计算图正则化损失函数与孪生网络损失函数，约束初始脑网络结构的稀疏性、模块性、组内相似性和组间相异性；

S5：根据脑网络的嵌入特征更新脑网络的邻接矩阵，并与约束稀疏性、模块性、组内相似性和组间相异性的初始脑网络结构进行组合，得到更新后的脑网络结构；

S6：根据更新后的脑网络结构的特征矩阵学习新的嵌入特征表示，根据学习得到的新的嵌入特征表示计算脑网络结构的相似度。

2.根据权利要求1所述的一种基于图注意力网络的脑网络结构和相似度的联系学***均值，d是节点特征的维数；

为图的邻接矩阵，表示节点间的连接关系。

3.根据权利要求1所述的一种基于图注意力网络的脑网络结构和相似度的联系学习方法，其特征在于，通过皮尔森相关计算将脑网络的特征矩阵映射到图的邻接矩阵，估计出初始脑网络结构，表示为：

其中，a_ij表示估计出的形态学脑网络结构，

表示互协方差，σ(·)表示sigmoid函数，⊙表示Hadamrd乘积，

表示可训练的权重向量，

表示大脑皮层的第i个脑区节点的特征矩阵，

表示大脑皮层的第j个脑区节点的特征矩阵。

4.根据权利要求1所述的一种基于图注意力网络的脑网络结构和相似度的联系学习方法，其特征在于，设定阈值去除弱连接,表示为：

其中，

表示去除弱连接后的形态学脑网络结构，a_ij表示估计出的形态学脑网络结构，ξ表示阈值。

5.根据权利要求1所述的一种基于图注意力网络的脑网络结构和相似度的联系学习方法，其特征在于，通过脑网络的特征矩阵进行图嵌入表示学习，得到嵌入特征表示，表示为：

其中，

当前学习到的嵌入特征表示，

表示将H个注意力头做串联，σ为sigmoid函数，v_j表示第h个注意力头内的节点，v_i表示第h个注意力头内的一阶领域内的节点，

表示注意力头内的节点数，

表示第h个头的注意力权重，

表示一个可训练的线性变换矩阵，x_j表示脑网络第j个脑区节点的特征矩阵。

6.根据权利要求1所述的一种基于图注意力网络的脑网络结构和相似度的联系学习方法，其特征在于，根据一对脑网络的嵌入特征表示与邻接矩阵计算脑网络结构间的相似度，表示为：

其中，O_p表示相似度分数，Att(·)表示图注意力层，FC(·)表示全连接层，<·,·>表示内积，

表示脑网络的一个嵌入表示，

表示脑网络的一个邻接矩阵。

7.根据权利要求1所述的一种基于图注意力网络的脑网络结构和相似度的联系学习方法，其特征在于，计算图正则化损失函数，表示为：

其中，

表示正则化损失函数，

表示优化后的脑网络结构，‖·‖₁表示稀疏损失，‖·‖_*表示低秩损失，

表示脑网络结构对中的两个被试，λ₁和λ₂表示用于调整损失项之间的权重的超参数。

8.根据权利要求1所述的一种基于图注意力网络的脑网络结构和相似度的联系学习方法，其特征在于，计算孪生网络损失函数，表示为：

其中，

表示Hinge损失函数，N_p表示相似度高的脑网络结构对的个数；Y_p表示脑网络结构对真实的相似度标签,O_p表示相似度分数。

9.根据权利要求1所述的一种基于图注意力网络的脑网络结构和相似度的联系学习方法，其特征在于，所述S5，表示为

其中，

表示更新后的脑网络结构，

表示初始脑网络结构，

表示更新后的邻接矩阵，β表示权重。

Images