CN115909016B - 基于GCN分析fMRI图像的***、方法、电子设备及介质 - Google Patents

基于GCN分析fMRI图像的***、方法、电子设备及介质 Download PDF

Info

Publication number
CN115909016B
CN115909016B CN202310227245.7A CN202310227245A CN115909016B CN 115909016 B CN115909016 B CN 115909016B CN 202310227245 A CN202310227245 A CN 202310227245A CN 115909016 B CN115909016 B CN 115909016B
Authority
CN
China
Prior art keywords
matrix
fmri image
brain
node
gcn
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310227245.7A
Other languages
English (en)
Other versions
CN115909016A (zh
Inventor
刘伟奇
马学升
陈磊
陈金钢
左林雄
陈韵如
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tongxin Zhiyi Technology Beijing Co ltd
Original Assignee
Tongxin Zhiyi Technology Beijing Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tongxin Zhiyi Technology Beijing Co ltd filed Critical Tongxin Zhiyi Technology Beijing Co ltd
Priority to CN202310227245.7A priority Critical patent/CN115909016B/zh
Publication of CN115909016A publication Critical patent/CN115909016A/zh
Application granted granted Critical
Publication of CN115909016B publication Critical patent/CN115909016B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

本发明实施例公开了一种基于GCN分析fMRI图像的***、方法、电子设备及介质，从大脑fMRI图像数据中选取感兴趣区域，提取每个感兴趣区域中所有体素对应的时间序列，并生成感兴趣区域的功能连接矩阵；通过NetMF节点嵌入算法提取功能连接矩阵中的每个节点的高级特征；将高级特征输入GCN模型训练GCN模型；将待分析fMRI图像的高级特征输入训练好的GCN模型中得到分析结果。该基于GCN分析fMRI图像的方法改善了现有技术中从原始fMRI图像中提取高级特征的成本较高，且用于分析fMRI图像的网络模型计算能力较差的问题。

Description

基于GCN分析fMRI图像的***、方法、电子设备及介质
技术领域
本发明涉及计算机技术领域，具体涉及一种基于GCN分析fMRI图像的***、方法、电子设备及介质。
背景技术
任务态FMRI数据建模为分析特定任务执行期间人脑的工作机制提供了工作机会，当参与者的大脑主动执行明确任务时，任务态FMRI扫描可以在任务块内获取大脑三维体积的时间序列，通过提取任务态FMRI成像的时间序列数据进行分类可用于分析大脑功能性活动，然而其数据的高维性导致计算成本较高，且现有算法结构与人脑中的功能信息处理模式截然不同，从而限制了它们用作大脑计算模型的能力。
发明内容
本发明实施例的目的在于提供一种基于GCN分析fMRI图像的***、方法、电子设备及介质，用以解决现有技术中从原始fMRI图像中提取高级特征的成本较高，且用于分析fMRI图像的网络模型计算能力较差的问题。
为实现上述目的，本发明实施例提供一种基于GCN分析fMRI图像的方法，所述方法具体包括：
采集大脑fMRI图像数据，并对所述大脑fMRI图像数据进行预处理；
从所述大脑fMRI图像数据中选取感兴趣区域，提取每个感兴趣区域中所有体素对应的时间序列，计算不同感兴趣区域之间的皮尔森相关系数，并采用Fisher-z变换对系数进行非线性处理，生成所述感兴趣区域的功能连接矩阵；
通过NetMF节点嵌入算法提取所述功能连接矩阵中的每个节点的高级特征；
构建GCN模型；
将所述高级特征输入所述GCN模型训练所述GCN模型；
将待分析fMRI图像的高级特征输入训练好的GCN模型中得到分析结果。
在上述技术方案的基础上，本发明还可以做如下改进：
进一步地，所述从所述大脑fMRI图像数据中选取感兴趣区域，提取每个感兴趣区域中所有体素对应的时间序列，计算不同感兴趣区域之间的皮尔森相关系数，并采用Fisher-z变换对系数进行非线性处理，生成所述感兴趣区域的功能连接矩阵，包括：
将所述大脑fMRI图像数据中的每个大脑fMRI图像定义为
Figure SMS_3
，由节点集
Figure SMS_5
和边集/>
Figure SMS_7
构成，其中，/>
Figure SMS_2
且/>
Figure SMS_6
，边/>
Figure SMS_8
两个端点/>
Figure SMS_9
和/>
Figure SMS_1
，由/>
Figure SMS_4
连接；
且，所述大脑fMRI图像数据包括无向大脑fMRI图像、有向大脑fMRI图像和加权大脑fMRI图像；
所述有向大脑fMRI图像由具有关联方向的边连接的节点集组成；所述无向大脑fMRI图像，边没有方向；所述加权大脑fMRI图像，每条边指定权重，且基于权重可以量化节点之间的交互程度或交换量。
进一步地,所述从所述大脑fMRI图像数据中选取感兴趣区域，提取每个感兴趣区域中所有体素对应的时间序列，计算不同感兴趣区域之间的皮尔森相关系数，并采用Fisher-z变换对系数进行非线性处理，生成所述感兴趣区域的功能连接矩阵，还包括：
将每个大脑fMRI图像分割成若干个解剖区域，基于所述解剖区域选取所述感兴趣区域,并生成所述感兴趣区域的功能连接矩阵；
其中所述功能连接矩阵包括邻接矩阵、特征矩阵和图拉普拉斯矩阵，所述特征矩阵包括节点特征矩阵和边缘特征矩阵；
对于具有
Figure SMS_11
个节点的大脑fMRI图像/>
Figure SMS_14
，邻接矩阵/>
Figure SMS_18
一个/>
Figure SMS_12
矩阵，当/>
Figure SMS_16
和/>
Figure SMS_20
之间存在直接连接时，则/>
Figure SMS_23
；当/>
Figure SMS_10
和/>
Figure SMS_15
之间没有直接连接时，则/>
Figure SMS_19
，当所述大脑fMRI图像/>
Figure SMS_22
为加权图像时，则满足/>
Figure SMS_13
时，/>
Figure SMS_17
，否则/>
Figure SMS_21
；
在所述节点特征矩阵
Figure SMS_24
中，/>
Figure SMS_25
表示节点/>
Figure SMS_26
的/>
Figure SMS_27
维特征向量，其中/>
Figure SMS_28
是大脑fMRI图像/>
Figure SMS_29
中的节点数，/>
Figure SMS_30
是节点特征数；
在边缘特征矩阵
Figure SMS_31
中，/>
Figure SMS_32
代表边缘/>
Figure SMS_33
的/>
Figure SMS_34
维特征向量；
将图拉普拉斯矩阵
Figure SMS_35
定义为/>
Figure SMS_36
，其中/>
Figure SMS_37
是度矩阵，
Figure SMS_38
，/>
Figure SMS_39
是未加权大脑fMRI图像的邻接矩阵；
加权大脑fMRI图像
Figure SMS_40
，其中/>
Figure SMS_41
是加权邻接矩阵；
将对称正则化图拉普拉斯矩阵定义为
Figure SMS_42
，其中/>
Figure SMS_43
是单位矩阵。
进一步地，所述通过NetMF节点嵌入算法提取所述功能连接矩阵中的每个节点的高级特征，包括：
通过tsfresh算法提取所述功能连接矩阵的每个节点的特征，其中，所述特征包括基本特征和高级特征；
基于DeepWalk算法通过图拉普拉斯近似节点和子集之间的相似度来提取嵌入向量。
进一步地，所述构建GCN模型，包括：
所述GCN模型包括三个卷积层，在每个卷积层之间应用整流线性单元和批归一化层，并在每个卷积层之后添加隐藏层，应用全局平均池化层来计算最终的图形表示向量。
进一步地，所述将所述高级特征输入所述GCN模型训练所述GCN模型，包括：
基于GCN使用图拉普拉斯矩阵计算傅里叶域中图形拉普拉斯的特征分解；
设
Figure SMS_44
为大脑fMRI图像/>
Figure SMS_45
的对称正则化图拉普拉斯矩阵，则/>
Figure SMS_46
可以分解为
Figure SMS_47
，其中/>
Figure SMS_48
是特征向量矩阵，/>
Figure SMS_49
是特征值的对角矩阵，
Figure SMS_50
；
在图形信号处理中，节点特征映射到特征向量（
Figure SMS_51
），形成大脑fMRI图像中所有节点的特征向量/>
Figure SMS_52
；
信号
Figure SMS_53
的图形傅里叶变换定义为/>
Figure SMS_54
，逆图形傅里叶变换定义为/>
Figure SMS_55
；
傅里叶域中
Figure SMS_56
的图形卷积运算定义为公式1：
Figure SMS_57
公式1；
其中
Figure SMS_58
表示卷积运算，/>
Figure SMS_59
表示逐点卷积，/>
Figure SMS_60
表示图卷积核的可学习参数；通过定义/>
Figure SMS_61
作为谱域中的谱滤波器；
图卷积运算定义为公式2：
Figure SMS_62
公式2。
进一步地，所述基于GCN分析fMRI图像的方法还包括：
将预处理后的所述大脑fMRI图像数据划分为训练集、验证集和测试集；
基于所述训练集训练所述GCN模型；
基于所述验证集对所述GCN模型进行性能验证，保存满足性能条件的GCN模型；
基于所述测试集评估所述GCN模型的分析结果。
一种基于GCN分析fMRI图像的***，包括：
采集模块，用于采集大脑fMRI图像数据，并对所述大脑fMRI图像数据进行预处理；
生成模块，用于从所述大脑fMRI图像数据中选取感兴趣区域，提取每个感兴趣区域中所有体素对应的时间序列，计算不同感兴趣区域之间的皮尔森相关系数，并采用Fisher-z变换对系数进行非线性处理，生成所述感兴趣区域的功能连接矩阵;
提取模块，用于通过NetMF节点嵌入算法提取所述功能连接矩阵中的每个节点的高级特征；
构建模块，用于构建GCN模型;
训练模块，用于将所述高级特征输入所述GCN模型训练所述GCN模型；
所述GCN模型用于分析待分析fMRI图像的高级特征并输出分析结果。
一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如所述方法的步骤。
一种非暂态计算机可读介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现所述方法的步骤。
本发明实施例具有如下优点：
本发明中的基于GCN分析fMRI图像的方法，采集大脑fMRI图像数据，并对所述大脑fMRI图像数据进行预处理；从所述大脑fMRI图像数据中选取感兴趣区域，提取每个感兴趣区域中所有体素对应的时间序列，计算不同感兴趣区域之间的皮尔森相关系数，并采用Fisher-z变换对系数进行非线性处理，生成所述感兴趣区域的功能连接矩阵；通过NetMF节点嵌入算法提取所述功能连接矩阵中的每个节点的高级特征；构建GCN模型；将所述高级特征输入所述GCN模型训练所述GCN模型；将待分析fMRI图像的高级特征输入训练好的GCN模型中得到分析结果；
GCN模型可以从表示大脑中感兴趣区域的图形节点和表示功能连接性的边缘聚集“邻近”结构中的高阶信息，从而捕捉了人脑网络中拓扑结构的图域信息用于模式分类，更好地模拟了大脑处理信息的网络模式，在7级任务分类（情绪、工作记忆、语言、关系、社交和运动）中达到了97.7%的准确率。
采用NetMF节点嵌入算法以生成图节点的拓扑嵌入并进一步提取高级特征，相比于其他深度学习模型的自动提取特征算法取得了更好的结果，提高了模型的分类性能。
解决了现有技术中从原始fMRI图像中提取高级特征的成本较高，且用于分析fMRI图像的网络模型计算能力较差的问题。
附图说明
为了更清楚地说明本发明的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引伸获得其它的实施附图。
本说明书所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容得能涵盖的范围内。
图1为本发明基于GCN分析fMRI图像的方法的流程图；
图2为本发明基于GCN分析fMRI图像的***的流程图；
图3为本发明GCN分析fMRI图像的预处理示意图；
图4为本发明GCN模型的总体架构图；
图5为本发明任务态fMRI数据分类结果的混淆矩阵示意图；
图6为本发明提供的电子设备实体结构示意图。
其中附图标记为：
采集模块10，生成模块20，提取模块30，构建模块40，训练模块50，电子设备60，处理器601，存储器602，总线603。
具体实施方式
以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例
图1为本发明基于GCN分析fMRI图像的方法实施例流程图，如图1所示，本发明实施例提供的一种基于GCN分析fMRI图像的方法包括以下步骤：
S101，采集大脑fMRI图像数据，并对大脑fMRI图像数据进行预处理；
具体的，收集七种不同的任务执行过程的历史大脑fMRI（功能性磁共振成像）图像数据：情绪、工作记忆、语言、关系、社交和运动，采集参数如下：TR=0.72 s，TE=33.1 msec，翻转角度=52度，FOV=208×180 mm，体素大小=2.0 mm，保持各向同性，相位编码方向相反（从左到右和从右到左）。
对大脑fMRI图像数据预处理包括伪影去除、梯度失真校正和运动校正，并基于蒙特利尔神经病学研究标准以DARTEL和2×2×2 mm3的体素大小进行空间配准。空间平滑和激活映射的生成使用FMRIB自相关改进线性模型中的GLM执行。在获取大脑fMRI图像数据后，使用大规模多模式脑图谱于皮质结构、功能、连接性和拓扑结构的组合，将大脑区域分割成360个解剖区域。如图3所示，划分后，可以定义表示大脑网络构建的图形节点的感兴趣区域。
S102，从大脑fMRI图像数据中选取感兴趣区域，提取每个感兴趣区域中所有体素对应的时间序列，计算不同感兴趣区域之间的皮尔森相关系数，并采用Fisher-z变换对系数进行非线性处理，生成感兴趣区域的功能连接矩阵；
具体的，将所述大脑fMRI图像数据中的每个大脑fMRI图像定义为
Figure SMS_64
，由节点集/>
Figure SMS_67
和边集/>
Figure SMS_69
构成，/>
Figure SMS_65
且/>
Figure SMS_68
，边/>
Figure SMS_70
有两个端点/>
Figure SMS_71
和/>
Figure SMS_63
，由/>
Figure SMS_66
连接；其中，所述大脑fMRI图像数据包括无向大脑fMRI图像、有向大脑fMRI图像和加权大脑fMRI图像，所述有向大脑fMRI图像由具有关联方向的边连接的节点集组成，无向大脑fMRI图像边没有方向，加权大脑fMRI图像每条边指定权重，其中，所述指定权重为量化节点之间的交互程度或交换量。
将每个大脑fMRI图像分割成若干个解剖区域，基于所述解剖区域选取所述感兴趣区域,并生成所述感兴趣区域的功能连接矩阵；其中所述功能连接矩阵包括邻接矩阵、特征矩阵和图拉普拉斯矩阵，所述特征矩阵包括节点特征矩阵和边缘特征矩阵；
对于具有
Figure SMS_73
个节点的大脑fMRI图像/>
Figure SMS_78
，邻接矩阵/>
Figure SMS_82
一个/>
Figure SMS_75
矩阵，当/>
Figure SMS_77
和/>
Figure SMS_81
之间存在直接连接时，/>
Figure SMS_85
，当/>
Figure SMS_72
和/>
Figure SMS_76
之间没有直接连接时，/>
Figure SMS_80
，当所述大脑fMRI图像/>
Figure SMS_84
为加权图像时，则满足/>
Figure SMS_74
时/>
Figure SMS_79
，否则/>
Figure SMS_83
；
在所述节点特征矩阵
Figure SMS_86
中，/>
Figure SMS_87
表示节点/>
Figure SMS_88
的/>
Figure SMS_89
维特征向量，其中/>
Figure SMS_90
是大脑fMRI图像/>
Figure SMS_91
中的节点数，/>
Figure SMS_92
是节点特征数；
在边缘特征矩阵
Figure SMS_93
中，/>
Figure SMS_94
代表边缘/>
Figure SMS_95
的/>
Figure SMS_96
维特征向量；
将图拉普拉斯矩阵
Figure SMS_98
定义为/>
Figure SMS_102
，其中/>
Figure SMS_104
是度矩阵，
Figure SMS_99
，/>
Figure SMS_101
是未加权大脑fMRI图像的邻接矩阵；加权大脑fMRI图像/>
Figure SMS_103
，其中/>
Figure SMS_105
是加权邻接矩阵；将对称正则化图拉普拉斯矩阵定义为/>
Figure SMS_97
，其中/>
Figure SMS_100
是单位矩阵。
S103，通过NetMF节点嵌入算法提取功能连接矩阵中的每个节点的高级特征；
具体的，通过tsfresh算法提取所述功能连接矩阵的每个节点的特征，其中，所述特征包括基本特征和高级特征；
使用基于可伸缩假设检验的时间序列特征提取（time series FeatureExtraction on the Scalable Hypothesis tests，tsfresh）算法，从大脑区域的平均时间序列中提取特征。tsfresh算法在FRESH算法的基础上，将假设测试的组件与特征显著性测试相结合，通过量化p值，独立评估每个生成的特征向量，以确定其对给定目标的重要性，并通过Benjamini–Yekutieli程序进一步评估，以决定保留哪些特征。tsfresh算法提取的特征包括时间序列的基本特征和高级特征，从中选择一组最小的相关统计特征来为代表每个节点的特征，然后应用节点嵌入来自动提取图中的节点属性。节点嵌入算法将节点投影到低维向量中，使得具有相似拓扑结构的节点在嵌入空间中邻近，通过比较四种最先进的节点嵌入算法的性能：Walklets、Node2Vec、NetMF、RandNE，最终选择分类性能最佳的NetMF算法。NetMF算法是一种基于矩阵分解的算法，基于DeepWalk的隐式矩阵和图拉普拉斯之间的联系，使用一小部分节点，并通过图拉普拉斯近似节点和子集之间的相似度来提取嵌入向量。
S104，构建GCN模型。
具体的，如图4所示，所述GCN模型包括三个卷积层，每层92个神经元，在每个卷积层之间应用整流线性单元（Rectified Linear Unit，ReLU）和批归一化层，以加快收敛速度并增强稳定性，并在每个卷积层之后添加隐藏层，以减少多层GCN模型的复杂性和冗余计算，应用全局平均池化层来计算最终的图形表示向量。
S105，将高级特征输入GCN模型训练GCN模型。
具体的，基于GCN使用图拉普拉斯矩阵计算傅里叶域中图形拉普拉斯的特征分解；
设
Figure SMS_107
为大脑fMRI图像/>
Figure SMS_109
的对称正则化图拉普拉斯矩阵，则/>
Figure SMS_111
可以分解为
Figure SMS_108
，其中/>
Figure SMS_110
是特征向量矩阵，/>
Figure SMS_112
是特征值的对角矩阵，
Figure SMS_113
；
在图形信号处理中，节点特征映射到特征向量（
Figure SMS_114
），形成大脑fMRI图像中所有节点的特征向量/>
Figure SMS_115
；
信号
Figure SMS_116
的图形傅里叶变换定义为/>
Figure SMS_117
，逆图形傅里叶变换定义为/>
Figure SMS_118
；傅里叶域中/>
Figure SMS_119
的图形卷积运算定义为公式1：
Figure SMS_120
公式1；
其中
Figure SMS_121
表示卷积运算，/>
Figure SMS_122
表示逐点卷积，/>
Figure SMS_123
表示图卷积核的可学习参数；通过定义/>
Figure SMS_124
作为谱域中的谱滤波器，图卷积运算定义为公式2：
Figure SMS_125
公式2。
S106，将待分析fMRI图像的高级特征输入训练好的GCN模型中得到分析结果。
具体的，将预处理后的所述大脑fMRI图像数据划分为训练集、验证集和测试集；
以大脑fMRI图像数据的时间序列作为输入，其中每个时间序列是大小为
Figure SMS_126
的2D矩阵/>
Figure SMS_127
，其中/>
Figure SMS_128
是时间步数，/>
Figure SMS_129
是大脑区域数。
基于所述训练集训练所述GCN模型；
基于所述验证集对所述GCN模型进行性能验证，保存满足性能条件的GCN模型；
基于所述测试集评估所述GCN模型的分析结果。
用五重分层交叉验证，用五分之四的数据作为训练集，剩下五分之一的数据以6:4的比例分为验证集和测试集。超参数搜索由学习率、丢失率和权重衰减值组成的网格组成。验证集中损失最小的模型被认为是测试的最佳模型。使用以下理想参数：学习率：0.001，丢失率：0.65，重量衰减：0.0，批大小为
Figure SMS_130
，周期大于100，使用Adam优化器降低学习率，以交叉熵损失作为优化函数。使用准确率、宏观F1分数、马修斯相关系数（Matthews correlation coefficient，MCC）评价模型分类性能，最终模型对任务态fMRI数据分类结果的混淆矩阵见图5，模型的分类准确率、宏观F1分数和MCC分别为0.977、0.978和0.974，具有较好的分类性能。
该基于GCN分析fMRI图像的方法，采集大脑fMRI图像数据，并对所述大脑fMRI图像数据进行预处理；从所述大脑fMRI图像数据中选取感兴趣区域，提取每个感兴趣区域中所有体素对应的时间序列，计算不同感兴趣区域之间的皮尔森相关系数，并采用Fisher-z变换对系数进行非线性处理，生成所述感兴趣区域的功能连接矩阵；通过NetMF节点嵌入算法提取所述功能连接矩阵中的每个节点的高级特征；构建GCN模型；将所述高级特征输入所述GCN模型训练所述GCN模型；将待分析fMRI图像的高级特征输入训练好的GCN模型中得到分析结果；
GCN模型可以从表示大脑中感兴趣区域的图形节点和表示功能连接性的边缘聚集“邻近”结构中的高阶信息，从而捕捉了人脑网络中拓扑结构的图域信息用于模式分类，更好地模拟了大脑处理信息的网络模式，在7级任务分类（情绪、工作记忆、语言、关系、社交和运动）中达到了97.7%的准确率。
采用NetMF节点嵌入算法以生成图节点的拓扑嵌入并进一步提取高级特征，相比于其他深度学习模型的自动提取特征算法取得了更好的结果，提高了模型的分类性能。
图2为本发明基于GCN分析fMRI图像的***实施例流程图；如图2所示，本发明实施例提供的一种基于GCN分析fMRI图像的***，包括以下步骤：
采集模块10，用于采集大脑fMRI图像数据，并对所述大脑fMRI图像数据进行预处理；
生成模块20，用于从所述大脑fMRI图像数据中选取感兴趣区域，提取每个感兴趣区域中所有体素对应的时间序列，计算不同感兴趣区域之间的皮尔森相关系数，并采用Fisher-z变换对系数进行非线性处理，生成所述感兴趣区域的功能连接矩阵;
所述生成模块20还用于：
将所述大脑fMRI图像数据中的每个大脑fMRI图像定义为
Figure SMS_132
，由节点集
Figure SMS_135
和边集/>
Figure SMS_137
构成，/>
Figure SMS_133
且/>
Figure SMS_136
，边/>
Figure SMS_138
有两个端点/>
Figure SMS_139
和/>
Figure SMS_131
，由/>
Figure SMS_134
连接；其中，所述大脑fMRI图像数据包括无向大脑fMRI图像、有向大脑fMRI图像和加权大脑fMRI图像，所述有向大脑fMRI图像由具有关联方向的边连接的节点集组成，无向大脑fMRI图像边没有方向，加权大脑fMRI图像每条边指定权重，其中，所述指定权重为量化节点之间的交互程度或交换量。
将每个大脑fMRI图像分割成若干个解剖区域，基于所述解剖区域选取所述感兴趣区域,并生成所述感兴趣区域的功能连接矩阵；其中所述功能连接矩阵包括邻接矩阵、特征矩阵和图拉普拉斯矩阵，所述特征矩阵包括节点特征矩阵和边缘特征矩阵；
对于具有
Figure SMS_142
个节点的大脑fMRI图像/>
Figure SMS_146
，邻接矩阵/>
Figure SMS_150
为一个/>
Figure SMS_141
矩阵，当/>
Figure SMS_147
和/>
Figure SMS_151
之间存在直接连接时，/>
Figure SMS_153
，当/>
Figure SMS_140
和/>
Figure SMS_145
之间没有直接连接时，/>
Figure SMS_149
，当所述大脑fMRI图像/>
Figure SMS_152
为加权图像时，则满足/>
Figure SMS_143
时/>
Figure SMS_144
，否则/>
Figure SMS_148
；
在所述节点特征矩阵
Figure SMS_154
中，/>
Figure SMS_155
表示节点/>
Figure SMS_156
的/>
Figure SMS_157
维特征向量，其中/>
Figure SMS_158
是大脑fMRI图像/>
Figure SMS_159
中的节点数，/>
Figure SMS_160
是节点特征数；
在边缘特征矩阵
Figure SMS_161
中，/>
Figure SMS_162
代表边缘/>
Figure SMS_163
的/>
Figure SMS_164
维特征向量；
将图拉普拉斯矩阵
Figure SMS_167
定义为/>
Figure SMS_169
，其中/>
Figure SMS_171
是度矩阵，
Figure SMS_166
，/>
Figure SMS_170
是未加权大脑fMRI图像的邻接矩阵；加权大脑fMRI图像/>
Figure SMS_172
，其中/>
Figure SMS_173
是加权邻接矩阵；将对称正则化图拉普拉斯矩阵定义为/>
Figure SMS_165
，其中/>
Figure SMS_168
是单位矩阵。
提取模块30，用于通过NetMF节点嵌入算法提取所述功能连接矩阵中的每个节点的高级特征；
所述提取模块30还用于：
通过tsfresh算法提取所述功能连接矩阵的每个节点的特征，其中，所述特征包括基本特征和高级特征；
基于DeepWalk算法通过图拉普拉斯近似节点和子集之间的相似度来提取嵌入向量。
构建模块40，用于构建GCN模型;
所述GCN模型包括三个卷积层，在每个卷积层之间应用整流线性单元和批归一化层，并在每个卷积层之后添加隐藏层，应用全局平均池化层来计算最终的图形表示向量。基于GCN使用图拉普拉斯矩阵计算傅里叶域中图形拉普拉斯的特征分解；
设
Figure SMS_175
为大脑fMRI图像/>
Figure SMS_178
的对称正则化图拉普拉斯矩阵，则/>
Figure SMS_179
可以分解为
Figure SMS_176
，其中/>
Figure SMS_177
是特征能量矩阵，/>
Figure SMS_180
是特征值的对角矩阵，
Figure SMS_181
；
在图形信号处理中，节点特征映射到特征向量（
Figure SMS_182
），形成大脑fMRI图像中所有节点的特征向量/>
Figure SMS_183
；
信号
Figure SMS_184
的图形傅里叶变换定义为/>
Figure SMS_185
，逆图形傅里叶变换定义为/>
Figure SMS_186
；傅里叶域中/>
Figure SMS_187
的图形卷积运算定义为公式1：
Figure SMS_188
公式1；
其中
Figure SMS_189
表示卷积运算，/>
Figure SMS_190
表示逐点卷积，/>
Figure SMS_191
表示图卷积核的可学习参数；通过定义/>
Figure SMS_192
作为谱域中的谱滤波器，图卷积运算定义为公式2：
Figure SMS_193
公式2；
训练模块50，用于将所述高级特征输入所述GCN模型训练所述GCN模型；
所述GCN模型用于分析待分析fMRI图像的高级特征并输出分析结果。
图6为本发明实施例提供的电子设备实体结构示意图，如图6所示，电子设备60包括：处理器601(processor)、存储器602(memory)和总线603；
其中，处理器601、存储器602通过总线603完成相互间的通信；
处理器601用于调用存储器602中的程序指令，以执行上述各方法实施例所提供的方法，例如包括：采集大脑fMRI图像数据，并对大脑fMRI图像数据进行预处理；从大脑fMRI图像数据中选取感兴趣区域，提取每个感兴趣区域中所有体素对应的时间序列，计算不同感兴趣区域之间的皮尔森相关系数，并采用Fisher-z变换对系数进行非线性处理，生成感兴趣区域的功能连接矩阵；通过NetMF节点嵌入算法提取功能连接矩阵中的每个节点的高级特征；构建GCN模型；将高级特征输入GCN模型训练GCN模型；将待分析fMRI图像的高级特征输入训练好的GCN模型中得到分析结果。
本实施例提供一种非暂态计算机可读介质，非暂态计算机可读介质存储计算机指令，计算机指令使计算机执行上述各方法实施例所提供的方法，例如包括：采集大脑fMRI图像数据，并对大脑fMRI图像数据进行预处理；从大脑fMRI图像数据中选取感兴趣区域，提取每个感兴趣区域中所有体素对应的时间序列，计算不同感兴趣区域之间的皮尔森相关系数，并采用Fisher-z变换对系数进行非线性处理，生成感兴趣区域的功能连接矩阵；通过NetMF节点嵌入算法提取功能连接矩阵中的每个节点的高级特征；构建GCN模型；将高级特征输入GCN模型训练GCN模型；将待分析fMRI图像的高级特征输入训练好的GCN模型中得到分析结果。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行各个实施例或者实施例的某些部分的方法。
虽然，上文中已经用一般性说明及具体实施例对本发明作了详尽的描述，但在本发明基础上，可以对之作一些修改或改进，这对本领域技术人员而言是显而易见的。因此，在不偏离本发明精神的基础上所做的这些修改或改进，均属于本发明要求保护的范围。

Claims (6)

1.一种基于GCN分析fMRI图像的方法，其特征在于，所述方法具体包括：
采集大脑fMRI图像数据，并对所述大脑fMRI图像数据进行预处理；
从所述大脑fMRI图像数据中选取感兴趣区域，提取每个感兴趣区域中所有体素对应的时间序列，计算不同感兴趣区域之间的皮尔森相关系数，并采用Fisher-z变换对系数进行非线性处理，生成所述感兴趣区域的功能连接矩阵；
将所述大脑fMRI图像数据中的每个大脑fMRI图像定义为
Figure QLYQS_3
，由节点集
Figure QLYQS_6
和边集E：/>
Figure QLYQS_8
构成，其中，/>
Figure QLYQS_1
且/>
Figure QLYQS_5
，边缘/>
Figure QLYQS_7
有两个端点/>
Figure QLYQS_9
和/>
Figure QLYQS_2
，由/>
Figure QLYQS_4
连接；
且，所述大脑fMRI图像数据包括无向大脑fMRI图像、有向大脑fMRI图像和加权大脑fMRI图像；
所述有向大脑fMRI图像由具有关联方向的边连接的节点集组成；所述无向大脑fMRI图像，边没有方向；所述加权大脑fMRI图像，每条边指定权重，且基于权重量化节点之间的交互程度或交换量；
将每个大脑fMRI图像分割成若干个解剖区域，基于所述解剖区域选取所述感兴趣区域,并生成所述感兴趣区域的功能连接矩阵；
其中所述功能连接矩阵包括邻接矩阵、特征矩阵和图拉普拉斯矩阵，所述特征矩阵包括节点特征矩阵和边缘特征矩阵；
对于具有
Figure QLYQS_11
个节点的大脑fMRI图像/>
Figure QLYQS_14
，当/>
Figure QLYQS_17
和/>
Figure QLYQS_12
之间存在直接连接时，则/>
Figure QLYQS_15
；当/>
Figure QLYQS_18
和/>
Figure QLYQS_20
之间没有直接连接时，则/>
Figure QLYQS_10
，当所述大脑fMRI图像/>
Figure QLYQS_16
为加权图像时，则满足
Figure QLYQS_19
时，/>
Figure QLYQS_21
，否则/>
Figure QLYQS_13
；
在所述节点特征矩阵
Figure QLYQS_22
中，/>
Figure QLYQS_23
表示节点/>
Figure QLYQS_24
的/>
Figure QLYQS_25
维特征向量，其中/>
Figure QLYQS_26
是大脑fMRI图像/>
Figure QLYQS_27
中的节点数，/>
Figure QLYQS_28
是节点特征数；
在边缘特征矩阵
Figure QLYQS_29
中，/>
Figure QLYQS_30
代表边缘/>
Figure QLYQS_31
的/>
Figure QLYQS_32
维特征向量；
将图拉普拉斯矩阵
Figure QLYQS_33
定义为/>
Figure QLYQS_34
，其中/>
Figure QLYQS_35
是度矩阵，/>
Figure QLYQS_36
；
加权大脑fMRI图像
Figure QLYQS_37
，其中/>
Figure QLYQS_38
是加权邻接矩阵；
将对称正则化图拉普拉斯矩阵定义为
Figure QLYQS_39
，其中/>
Figure QLYQS_40
是单位矩阵；
通过NetMF节点嵌入算法提取所述功能连接矩阵中的每个节点的高级特征；
通过tsfresh算法提取所述功能连接矩阵的每个节点的特征，其中，所述特征包括基本特征和高级特征；
基于DeepWalk的隐式矩阵和图拉普拉斯之间的联系，使用一小部分节点，并通过图拉普拉斯近似节点和子集之间的相似度来提取嵌入向量；
构建GCN模型；
将所述高级特征输入所述GCN模型训练所述GCN模型；
将待分析fMRI图像的高级特征输入训练好的GCN模型中得到分析结果。
2.根据权利要求1所述的基于GCN分析fMRI图像的方法，其特征在于，所述构建GCN模型，包括：
所述GCN模型包括三个卷积层，在每个卷积层之间应用整流线性单元和批归一化层，并在每个卷积层之后添加隐藏层，应用全局平均池化层来计算最终的图形表示向量。
3.根据权利要求1~2任一项所述的基于GCN分析fMRI图像的方法，其特征在于，所述基于GCN分析fMRI图像的方法还包括：
将预处理后的所述大脑fMRI图像数据划分为训练集、验证集和测试集；
基于所述训练集训练所述GCN模型；
基于所述验证集对所述GCN模型进行性能验证，保存满足性能条件的GCN模型；
基于所述测试集评估所述GCN模型的分析结果。
4.一种基于GCN分析fMRI图像的***，其特征在于，包括：
采集模块，用于采集大脑fMRI图像数据，并对所述大脑fMRI图像数据进行预处理；
生成模块，用于从所述大脑fMRI图像数据中选取感兴趣区域，提取每个感兴趣区域中所有体素对应的时间序列，计算不同感兴趣区域之间的皮尔森相关系数，并采用Fisher-z变换对系数进行非线性处理，生成所述感兴趣区域的功能连接矩阵;
所述生成模块还用于：
将所述大脑fMRI图像数据中的每个大脑fMRI图像定义为
Figure QLYQS_42
，由节点集
Figure QLYQS_46
和边集E：/>
Figure QLYQS_48
构成，其中，/>
Figure QLYQS_43
且/>
Figure QLYQS_44
，边缘/>
Figure QLYQS_47
有两个端点/>
Figure QLYQS_49
和/>
Figure QLYQS_41
，由/>
Figure QLYQS_45
连接；
且，所述大脑fMRI图像数据包括无向大脑fMRI图像、有向大脑fMRI图像和加权大脑fMRI图像；
所述有向大脑fMRI图像由具有关联方向的边连接的节点集组成；所述无向大脑fMRI图像，边没有方向；所述加权大脑fMRI图像，每条边指定权重，且基于权重量化节点之间的交互程度或交换量；
将每个大脑fMRI图像分割成若干个解剖区域，基于所述解剖区域选取所述感兴趣区域,并生成所述感兴趣区域的功能连接矩阵；
其中所述功能连接矩阵包括邻接矩阵、特征矩阵和图拉普拉斯矩阵，所述特征矩阵包括节点特征矩阵和边缘特征矩阵；
对于具有
Figure QLYQS_51
个节点的大脑fMRI图像/>
Figure QLYQS_55
，当/>
Figure QLYQS_58
和/>
Figure QLYQS_53
之间存在直接连接时，则/>
Figure QLYQS_56
；当/>
Figure QLYQS_59
和/>
Figure QLYQS_61
之间没有直接连接时，则/>
Figure QLYQS_50
，当所述大脑fMRI图像/>
Figure QLYQS_54
为加权图像时，则满足
Figure QLYQS_57
时，/>
Figure QLYQS_60
，否则/>
Figure QLYQS_52
；
在所述节点特征矩阵
Figure QLYQS_62
中，/>
Figure QLYQS_63
表示节点/>
Figure QLYQS_64
的/>
Figure QLYQS_65
维特征向量，其中
Figure QLYQS_66
是大脑fMRI图像/>
Figure QLYQS_67
中的节点数，/>
Figure QLYQS_68
是节点特征数；
在边缘特征矩阵
Figure QLYQS_69
中，/>
Figure QLYQS_70
代表边缘/>
Figure QLYQS_71
的/>
Figure QLYQS_72
维特征向量；
将图拉普拉斯矩阵
Figure QLYQS_73
定义为/>
Figure QLYQS_74
，其中/>
Figure QLYQS_75
是度矩阵，/>
Figure QLYQS_76
；
加权大脑fMRI图像
Figure QLYQS_77
，其中/>
Figure QLYQS_78
是加权邻接矩阵；
将对称正则化图拉普拉斯矩阵定义为
Figure QLYQS_79
，其中/>
Figure QLYQS_80
是单位矩阵；
提取模块，用于通过NetMF节点嵌入算法提取所述功能连接矩阵中的每个节点的高级特征；
所述提取模块还用于：
通过tsfresh算法提取所述功能连接矩阵的每个节点的特征，其中，所述特征包括基本特征和高级特征；
基于DeepWalk的隐式矩阵和图拉普拉斯之间的联系，使用一小部分节点，并通过图拉普拉斯近似节点和子集之间的相似度来提取嵌入向量；
构建模块，用于构建GCN模型;
训练模块，用于将所述高级特征输入所述GCN模型训练所述GCN模型；
所述GCN模型用于分析待分析fMRI图像的高级特征并输出分析结果。
5.一种电子设备，包括存储器、处理器及存储在存储器上并在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至3中的任一项所述的方法的步骤。
6.一种非暂态计算机可读介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至3中的任一项所述的方法的步骤。
CN202310227245.7A 2023-03-10 2023-03-10 基于GCN分析fMRI图像的***、方法、电子设备及介质 Active CN115909016B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310227245.7A CN115909016B (zh) 2023-03-10 2023-03-10 基于GCN分析fMRI图像的***、方法、电子设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310227245.7A CN115909016B (zh) 2023-03-10 2023-03-10 基于GCN分析fMRI图像的***、方法、电子设备及介质

Publications (2)

Publication Number Publication Date
CN115909016A CN115909016A (zh) 2023-04-04
CN115909016B true CN115909016B (zh) 2023-06-23

Family

ID=86474929

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310227245.7A Active CN115909016B (zh) 2023-03-10 2023-03-10 基于GCN分析fMRI图像的***、方法、电子设备及介质

Country Status (1)

Country Link
CN (1) CN115909016B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117688504B (zh) * 2024-02-04 2024-04-16 西华大学 基于图结构学习的物联网异常检测方法及装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090048506A1 (en) * 2007-08-13 2009-02-19 Fong-Ichimura Alina K Method and system for assessing brain function using functional magnetic resonance imaging
CN111863244B (zh) * 2020-07-28 2022-12-16 中国人民解放军国防科技大学 基于稀疏池化图卷积的功能连接精神疾病分类方法和***
CN112233086B (zh) * 2020-10-14 2023-08-04 南京工业大学 基于脑区功能连接的fMRI数据分类识别方法及装置
US20220122250A1 (en) * 2020-10-19 2022-04-21 Northwestern University Brain feature prediction using geometric deep learning on graph representations of medical image data
CN112819154B (zh) * 2021-01-20 2024-05-28 上海上湖信息技术有限公司 一种应用于图学习领域的预训练模型的生成方法及装置
CN115222688B (zh) * 2022-07-12 2023-01-10 广东技术师范大学 基于图网络时间序列的医学影像分类方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于卷积神经网络的fMRI数据分类方法;张兆晨;冀俊忠;;模式识别与人工智能(第06期);全文 *

Also Published As

Publication number Publication date
CN115909016A (zh) 2023-04-04

Similar Documents

Publication Publication Date Title
Dalca et al. Learning conditional deformable templates with convolutional networks
JP7373042B2 (ja) グラフモデルに基づく脳機能レジストレーション方法
Li et al. Deep learning based imaging data completion for improved brain disease diagnosis
CN109345508B (zh) 一种基于两阶段神经网络的骨龄评价方法
CN107085716A (zh) 基于多任务生成对抗网络的跨视角步态识别方法
Bertozzi et al. Diffuse interface models on graphs for classification of high dimensional data
Miao et al. Local segmentation of images using an improved fuzzy C-means clustering algorithm based on self-adaptive dictionary learning
CN112465827A (zh) 一种基于逐类卷积操作的轮廓感知多器官分割网络构建方法
CN111090764B (zh) 基于多任务学习和图卷积神经网络的影像分类方法及装置
CN115393269A (zh) 一种基于多模态影像数据的可扩展多层级图神经网络模型
CN104077742B (zh) 基于Gabor特征的人脸素描合成方法及***
CN110838108A (zh) 基于医疗图像的预测模型构建方法、预测方法及装置
Benou et al. De-noising of contrast-enhanced MRI sequences by an ensemble of expert deep neural networks
CN115909016B (zh) 基于GCN分析fMRI图像的***、方法、电子设备及介质
Çelik et al. Resizing and cleaning of histopathological images using generative adversarial networks
Duan et al. Research on the natural image super-resolution reconstruction algorithm based on compressive perception theory and deep learning model
CN115272295A (zh) 基于时域-空域联合状态的动态脑功能网络分析方法及***
CN115359074A (zh) 基于超体素聚类及原型优化的图像分割、训练方法及装置
Venkatachalam et al. An efficient Gabor Walsh-Hadamard transform based approach for retrieving brain tumor images from MRI
CN115496720A (zh) 基于ViT机制模型的胃肠癌病理图像分割方法及相关设备
Prajapati et al. Un-supervised mri segmentation using self organised maps
Li et al. Deformable medical image registration based on unsupervised generative adversarial network integrating dual attention mechanisms
CN116030063A (zh) Mri图像的分类诊断***、方法、电子设备及介质
Hidane et al. Image zoom completion
Wang et al. Retracted: Complex image denoising framework with CNN‐wavelet under concurrency scenarios for informatics systems

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant