CN118094277A - 基于动态功能脑网络的大脑视听融合机制探索方法和装置 - Google Patents
基于动态功能脑网络的大脑视听融合机制探索方法和装置 Download PDFInfo
- Publication number
- CN118094277A CN118094277A CN202410502575.7A CN202410502575A CN118094277A CN 118094277 A CN118094277 A CN 118094277A CN 202410502575 A CN202410502575 A CN 202410502575A CN 118094277 A CN118094277 A CN 118094277A
- Authority
- CN
- China
- Prior art keywords
- brain
- cluster
- value
- audio
- tested
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 210000004556 brain Anatomy 0.000 title claims abstract description 144
- 230000004927 fusion Effects 0.000 title claims abstract description 42
- 238000000034 method Methods 0.000 title claims abstract description 39
- 230000007246 mechanism Effects 0.000 title claims abstract description 37
- 230000008859 change Effects 0.000 claims abstract description 15
- 238000007781 pre-processing Methods 0.000 claims abstract description 8
- 238000012935 Averaging Methods 0.000 claims abstract description 6
- 238000012216 screening Methods 0.000 claims abstract description 4
- 230000006870 function Effects 0.000 claims description 24
- 230000001054 cortical effect Effects 0.000 claims description 14
- 238000011156 evaluation Methods 0.000 claims description 12
- 238000004422 calculation algorithm Methods 0.000 claims description 8
- 230000000694 effects Effects 0.000 claims description 8
- 238000001914 filtration Methods 0.000 claims description 8
- 108010076504 Protein Sorting Signals Proteins 0.000 claims description 6
- 230000004913 activation Effects 0.000 claims description 6
- 238000009499 grossing Methods 0.000 claims description 6
- 238000000926 separation method Methods 0.000 claims description 6
- 238000012360 testing method Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 4
- 210000003205 muscle Anatomy 0.000 claims description 4
- 238000003325 tomography Methods 0.000 claims description 4
- 238000013528 artificial neural network Methods 0.000 claims description 3
- 210000003710 cerebral cortex Anatomy 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 6
- 230000001537 neural effect Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 230000002123 temporal effect Effects 0.000 description 3
- 230000003920 cognitive function Effects 0.000 description 2
- 230000036992 cognitive tasks Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000005611 electricity Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007177 brain activity Effects 0.000 description 1
- 230000036624 brainpower Effects 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008904 neural response Effects 0.000 description 1
- 238000002610 neuroimaging Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000000638 stimulation Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Landscapes
- Magnetic Resonance Imaging Apparatus (AREA)
Abstract
本发明公开了一种基于动态功能脑网络的大脑视听融合机制探索方法和装置，包括：获取每个被试在视听刺激下的EEG数据，对EEG数据进行预处理并划分为若干个epoch；对于每个被试，获取每个epoch中若干个ROI的时序数据；对于每个被试，通过计算两两ROI的epochs之间的相位锁相值PLV，并对所有被试中相同ROI之间的PLV值求平均，得到功能连接脑网络；获取功能连接脑网络的隐含层特征，并与自身进行特征拼接；选取聚类类别数K，对拼接后的特征进行聚类，得到K个聚类质心；计算两两相邻聚类质心对应的功能连接脑网络的差值绝对值，筛选出大于第一预设阈值的差值绝对值对应的功能连接脑网络，用于探索大脑视听融合功能状态变化，更好地表征功能连接脑网络的定量的动态变化。
Description
技术领域
本发明涉及动态功能连接脑网络聚类，尤其涉及一种基于动态功能脑网络的大脑视听融合机制探索方法和装置。
背景技术
对大脑视听融合机制的探索可以增进对大脑认知功能的理解，通过探索大脑是如何处理和整合视觉和听觉信息的机制，可以增进对认知功能的理解，包括感知、记忆、学习等方面。此外，对大脑视听融合机制的深入研究有助于开发新的技术和应用，启发类脑智能，如脑机接口、虚拟现实等，有助于改善人们的生活质量。然而，大脑视听融合涉及多个脑区的协同作用，因此其研究具有较高的复杂性。并且，研究大脑视听融合需要运用多种高级的神经科学技术和方法，如脑成像、脑电图等，这些方法的应用和数据分析都具有一定的挑战性。
脑电图可以提供高时间分辨率的神经信号，因此可以捕捉到大脑神经活动的动态变化，包括瞬时的神经放电和脑电活动的时域特征，这有助于研究者了解大脑在不同认知任务或刺激下的动态响应，尤其是大脑对特定刺激或事件的快速神经反应。但脑电图的空间分辨率较低，而脑电源估计能够提供更高的空间分辨率，能够更准确地定位和估计大脑活动的源头，以便更好地理解大脑的功能和活动模式，可以缓解脑电数据空间分辨率较低的问题。因此，根据特定脑图谱的皮层ROI对脑电进行源估计，并且计算功能连接可以得到动态的功能连接脑网络，从而通过分析不同脑区之间的连接模式，可以揭示大脑在执行认知任务时的网络协调机制。
动态功能连接脑网络探索大脑视听融合机制面临的一个关键问题就是大脑在视听融合过程中的连接模式可能随时间变化，如何对功能连接脑网络的动态性进行定量刻画，以定量研究大脑在特定视听刺激下的认知融合机制。现有研究表明，功能连接脑网络聚类可以获得时序上相对短暂的、特定的功能连接模式，可以提供关于大脑认知功能动态变化的信息，但现有的研究难以充分利用功能连接信息并保证聚类结果的时序连续性。因此，如何对高时间分辨率（毫秒级别）下的不同时刻的功能连接脑网络进行合适的聚类及动态变化分析，能够更好地帮助探索大脑视听融合机制。
发明内容
本发明的目的在于针对现有技术的不足，提供一种基于动态功能脑网络的大脑视听融合机制探索方法和装置。
本发明的目的是通过以下技术方案来实现的：一种基于动态功能脑网络的大脑视听融合机制探索方法，包括：
获取每个被试在视听刺激下的EEG数据，对所述EEG数据进行预处理并划分为若干个epoch；
对于每个被试，获取每个epoch中若干个ROI的时序数据；
对于每个被试，通过计算两两ROI的epochs之间的相位锁相值PLV，并对所有被试中相同ROI之间的PLV值求平均，得到功能连接脑网络；
获取功能连接脑网络的隐含层特征，并与自身进行特征拼接；
选取聚类类别数K，对拼接后的特征进行聚类，得到K个聚类质心；
计算两两相邻聚类质心对应的功能连接脑网络的差值绝对值，筛选出大于第一预设阈值的差值绝对值对应的功能连接脑网络，用于探索大脑视听融合功能状态变化。
进一步地，所述预处理包括陷波滤波、带通滤波以及去除眨眼、肌肉运动所产生干扰信号。
进一步地，所述对于每个被试，获取每个epoch中ROIs的时序数据，包括：采用皮层脑图谱划分若干个皮层ROI，对每个被试的EEG数据进行源估计后，得到每个epoch的若干个皮层ROIs的时序数据；
所述皮层脑图谱包括Brainnetome Atlas、AAL Atlas、Brodmann Atlas、Desikan-Killiany和Harvard-Oxford；
所述对每个被试的EEG数据进行源估计具体为：通过fsaverage模版设置源空间并进行前向计算得到前向算子，然后进行逆问题求解，使用标准化低分辨率脑电磁层析成像算法来估计源活动得到皮层ROI的时序数据。
进一步地，所述对于每个被试，通过计算两两ROI的epochs之间的相位锁相值PLV，并对所有被试中相同ROI之间的PLV值求平均，得到功能连接脑网络，包括：
对于每个被试s，，S表示被试总数，对于N个实验次数，每对感兴趣区域，分别用x和y表示，在时刻t的相位锁相值/>具体公式如下所示：
其中，，T代表总的时间点数，D代表距离开始时刻的时间长度，/>为采样率， />和/>分别表示感兴趣区域x的在时刻t的epochs信号序列的相位和感兴趣区域y的在时刻t的epochs信号序列的相位；
代表t时刻的功能连接脑网络G，/>。
进一步地，所述获取功能连接脑网络的隐含层特征，并与自身进行特征拼接，包括：
通过自编码器模型获得每个时刻t的功能连接脑网络G的隐含层特征，并与自身进行特征拼接，即：
所述自编码器模型包括：编码器采用三层二维卷积神经网络及ReLu函数作为激活函数，解码器采用三层二维反卷积及ReLu函数作为激活函数；
所述自编码器模型经过如下训练：采用若干功能连接脑网络训练自编码器模型。
进一步地，所述选取聚类类别数K，对拼接后的特征进行聚类，得到K个聚类质心，包括：
（1）对于T个拼接特征，选择聚类数为K，选择k个拼接特征种子点，并且保证两两种子点的时间间隔大于第二预设阈值；其中，k≤K；
（2）将其他时刻拼接特征分配到与其距离最近的种子点，从而得到不同的聚类，其中，距离/>定义为两个变量之间的皮尔逊相关系数/>，即两个变量X和Y之间的协方差和标准差的商，具体公式如下：
其中，X代表拼接特征，Y代表随机选择的某个种子点或更新后的质心，/>代表拼接特征X的均值，/>代表质心/>的均值；
（3）在每一次迭代中，通过计算同一聚类的拼接特征的平均值对该聚类的质心进行更新，即:
（4）重复步骤（2）和步骤（3），直至质心值不再变化或者变化的范围小于第三预设阈值。
进一步地，还包括选取最佳K值，包括：采用以下三种聚类评估指标，即簇内评估指标平方误差和SSE、簇间评估指标分离度，以及/>指数：
其中，为当前在聚类簇i内的样本，j表示在同一聚类簇内的样本个数，/>为当前聚类簇i的总样本数，/>为当前聚类簇i的质心；
其中，和/>分别表示聚类簇i和聚类簇h的质心；
其中，SSB表示的是簇内距离，SSW表示簇间距离；M表示样本数，K表示当前聚类集簇的数量；表示总聚类簇的平均值；/>是第i个聚类簇，/>是聚类/>的样本；
综合以上三种指标中的一种或多种以选取最佳K值。
进一步地，所述选取最佳K值后，还包括：进行基于滑动窗口的众数平滑处理策略，即对于当前元素p，以当前元素为中心设置滑动窗口window={p-step,p+step},step为步长，则当前元素p的平滑后的取值为该滑动窗口内所有元素值的众数。
本发明还提供了一种基于动态功能脑网络的大脑视听融合机制探索装置，包括一个或多个处理器，用于实现上述的一种基于动态功能脑网络的大脑视听融合机制探索方法。
本发明还提供了一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时，用于实现上述的一种基于动态功能脑网络的大脑视听融合机制探索方法。
与现有技术相比，本发明的有益效果是：本发明能够在探索大脑视听融合机制任务中，充分利用功能连接脑网络的时空特性，并且在高时间分辨率和较高空间分辨率的情况下，更好地表征功能连接脑网络的定量的动态变化，以更好地探索大脑视听融合机制。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种基于动态功能脑网络的大脑视听融合机制探索方法流程示意图；
图2是本发明实施例提供的一种自编码器的网络结构图；
图3是本发明实施例提供的一种聚类算法流程图；
图4是本发明实施例提供的一种基于滑动窗口的众数平滑处理策略的示意图；
图5是本发明实施例提供的聚类结果示意图；
图6是本发明实施例提供的一种硬件结构示意图。
具体实施方式
下面结合附图，对本发明进行详细说明。在不冲突的情况下，下述的实施例及实施方式中的特征可以相互组合。
本发明的一种基于动态功能脑网络的大脑视听融合机制探索方法，如图1所示，包括如下步骤：
（1）获取每个被试在视听刺激下的EEG数据，对所述EEG数据进行预处理并划分为若干个epoch；
具体的，预处理包括陷波滤波、带通滤波以及去除眨眼、肌肉运动所产生干扰信号。通过时间窗口将预处理后的EEG数据划分为若干个epoch。
在一实施例中，对EEG数据进行50Hz的陷波滤波和8-35Hz的带通滤波；利用ICA算法和ICLabel工具包自动去除信号中眨眼、肌肉运动所产生的干扰信号；对数据降采样到1000Hz；根据事件前200ms和事件后1500ms，从连续EEG数据中提取特定时间窗口[-200ms,1500ms]划分每个epoch数据，即每个epoch的每个脑电通道对应1700个时间点数据，形状为(n_events,n_channels,n_times)的数组形式，即每个被试的预处理后的脑电数据为：
其中，N代表实验/事件的重复次数。
（2）对于每个被试，获取每个epoch中若干个ROI的时序数据。
具体的，采用皮层脑图谱划分若干个皮层ROI（感兴趣区域），对每个被试的EEG数据进行源估计后，得到每个epoch的若干个皮层ROIs的时序数据。
其中，皮层脑图谱包括Brainnetome Atlas、AAL Atlas、Brodmann Atlas、Desikan-Killiany和Harvard-Oxford；Brainnetome Atlas(210个感兴趣区域)、AAL Atlas(116个感兴趣区域)、Brodmann Atlas(47个感兴趣区域)、Desikan-Killiany(68个感兴趣区域)、Harvard-Oxford(48个感兴趣区域)。
其中，所述对EEG数据进行源估计采用的算法具体为：通过fsaverage模版设置源空间并进行前向计算得到前向算子，然后进行逆问题求解，使用源估计方法——标准化低分辨率脑电磁层析成像算法（standardized low resolution brain electromagnetictomography algorithm,sLORETA）来估计源活动得到皮层ROIs的时序数据；然后在每个被试的脑电进行源估计后，采用脑图谱获得每个epoch的皮层感兴趣区域的时序数据。
在一实施例中，皮层脑图谱为Brainnetome Atlas，包含210个皮层ROI，得到每个epoch的210个皮层ROIs的时序数据。
（3）对于每个被试，通过计算两两ROI的epochs之间的相位锁相值PLV，并对所有被试中相同ROI之间的PLV值求平均，得到功能连接脑网络。
在一实施例中，对两两感兴趣区域的epochs之间计算相位锁相值(PLV)，即对于每个被试s，，S代表被试总数，对于N个实验次数，每个感兴趣区域对x和y,在时刻t(/>)，其中/>代表总的时间点数，即1700个时间点数据，D代表距离开始时刻的时间长度1700ms，/>为采样率1000hz，相位锁相值/>具体公式如下所示：
其中， 和/>分别表示感兴趣区域x的在时刻t的epochs信号序列的相位和感兴趣区域y的在时刻t的epochs信号序列的相位。
需要注意的是，此处计算的相位同步为gamma波段上的相位同步，并且在所有被试上进行平均，具体公式如下：
最后，得到所有被试平均后的若干功能连接脑网络，即每个代表t时刻的功能连接脑网络G，/>，T代表总的时间点数为1700，其中功能连接脑网络的节点为选取的脑图谱的感兴趣区域，此处功能连接脑网络的节点为210个感兴趣区域ROI。
（4）获取功能连接脑网络的隐含层特征，并与自身进行特征拼接。
具体的，通过自编码器模型获取功能连接脑网络G的隐含层特征，并与自身进行特征拼接。
在一实施例中，如图2所示，所述的自编码器模型具体包括：编码器采用三层二维卷积神经网络及ReLu函数作为激活函数，解码器采用三层二维反卷积及ReLu函数作为激活函数；采用若干功能连接脑网络训练自编码器模型，并得到每个时刻t的功能连接脑网络的隐含层特征，如表1所示；将其展开为一维后并与自身展开/>的一维进行特征拼接，即：
表1：自编码器模型网络结构
（5）选取聚类类别数K，对拼接后的特征进行聚类，得到K个聚类质心。
在一实施例中，设计的聚类算法如图3所示，具体包括：
Step1:初始化：对于T=1700个拼接特征，选择聚类数为K，随机选择k(k为K的初始值)个拼接特征种子点，并且保证两两种子点的时间间隔大于第二预设阈值（例如10ms，20ms等）；
Step2:分配：通过计算其他时刻拼接特征与这k个拼接种子点的距离进行分配，即将其他时刻拼接特征分配到与其距离最近的种子点，从而得到不同的聚类，其中，距离定义为两个变量之间的皮尔逊相关系数/>，即两个变量X和Y之间的协方差和标准差的商，具体公式如下：
其中，X代表拼接特征，Y代表随机选择的某个种子点或更新后的质心，/>代表拼接特征X的均值，/>代表质心/>的均值。皮尔逊相关系数越大，代表拼接特征与种子点或者新质心的正相关性越大，距离越近。
Step3:更新：在每一次迭代中，通过计算同一聚类的拼接特征的平均值对该聚类的质心进行更新，即：
对于每一个K值，步骤2和步骤3均重复500次直到质心值不再变化或者变化的范围小于第三预设阈值（例如0.005）。
在一实施例中，为了选择最佳的聚类类别K，采用以下三种聚类评估指标，即簇内评估指标平方误差和（Sum of Square Error，SSE）、簇间评估指标分离度（Separation），以及/>指数（Calinski-Harabaz Index，CH）：
其中，为当前在聚类簇i内的样本，j表示在同一聚类簇内的样本个数，/>为当前聚类簇i的总样本数，/>为当前聚类簇i的质心。针对每一个聚类簇，计算簇内样本/>与聚类簇质心/>的距离，理论上该数值越小，聚类效果越好。
其中，和/>分别表示聚类簇i和聚类簇h的质心，通过计算两两聚类簇质心的距离来得到最终的数值，数值越大，聚类效果越好。
其中，SSB表示的是簇内距离，SSW表示簇间距离。M表示样本数，K表示当前聚类集簇的数量。表示总聚类簇的平均值。/>是第i个聚类簇，/>是聚类/>的样本。CH的数值越大，说明簇内距离越小，簇间距离越大，聚类效果越好。
综合以上三种指标中的一种或多种以选取最佳K值。
在一些实施例中，评估方式为，通过以上任意两种指标选取最佳K值，指标优先选取顺序为；具体的，计算每个K下的CH和/>，首先根据CH指数选取CH指数比较大的两个聚类数K值，再根据分离度/>选取最大的K，即为选择的最佳聚类簇数K；对于计算每个K下的/>和SSE或者CH和SSE，同理选取最佳聚类簇数K。
在一实施例中，评估方式为，计算每个K下的所有评估指标，通过以上三种指标，首先根据CH指数选取CH指数比较大的三个聚类数K值，其次再根据分离度选取其中/>较大的两个，最后根据平方误差和SSE选取SSE最小的K，即为选择的最佳聚类簇数K，此处最后选取的最佳聚类簇数为4。
在一实施例中，如图4所示，还包括时间平滑处理策略为：选择完最佳K值4后，为了保证时间上聚类类别的时间段连续性，针对聚类结果出现的聚类散点问题，提出基于滑动窗口的众数平滑处理策略，即对于当前元素p，以当前元素为中心设置滑动窗口window={p-step,p+step},step为步长，此处step=3，则当前元素p的平滑后的取值为该滑动窗口内所有元素值的众数。当出现多个众数时，默认选择第一个众数，并且重复多次平滑策略，直至保证在连续时间段里无异值。
最终，得到在时间上的聚类情况如图5所示。
（6）计算两两相邻聚类质心对应的功能连接脑网络的差值绝对值，筛选出大于第一预设阈值的差值绝对值对应的功能连接脑网络，用于探索大脑视听融合功能状态变化。
在一实施例中，计算两两相邻聚类质心对应的功能连接脑网络的差值绝对值，并设置第一预设阈值（例如0.08）采用BrainNet工具以筛选出具有显著变化的功能连接，用于探索大脑视听融合功能状态变化，得到功能连接脑网络的变化的定量可视化结果。
与前述的一种基于动态功能脑网络的大脑视听融合机制探索方法的实施例相对应，本发明还提供了一种基于动态功能脑网络的大脑视听融合机制探索装置的实施例。
参见图6，本发明实施例提供的一种基于动态功能脑网络的大脑视听融合机制探索装置，包括一个或多个处理器，用于实现上述实施例中的一种基于动态功能脑网络的大脑视听融合机制探索方法。
所述处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
本发明的一种基于动态功能脑网络的大脑视听融合机制探索装置的实施例可以应用在任意具备数据处理能力的设备上，该任意具备数据处理能力的设备可以为诸如计算机等设备或装置。装置实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。以软件实现为例，作为一个逻辑意义上的装置，是通过其所在任意具备数据处理能力的设备的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言，如图6所示，为本发明的一种基于动态功能脑网络的大脑视听融合机制探索装置所在任意具备数据处理能力的设备的一种硬件结构图，除了图6所示的处理器、内存、网络接口、以及非易失性存储器之外，实施例中装置所在的任意具备数据处理能力的设备通常根据该任意具备数据处理能力的设备的实际功能，还可以包括其他硬件，对此不再赘述。
上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。
对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本发明方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
本发明实施例还提供一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时，实现上述实施例中的一种基于动态功能脑网络的大脑视听融合机制探索方法。
所述计算机可读存储介质可以是前述任一实施例所述的任意具备数据处理能力的设备的内部存储单元，例如硬盘或内存。所述计算机可读存储介质也可以是任意具备数据处理能力的设备，例如所述设备上配备的插接式硬盘、智能存储卡（Smart Media Card，SMC）、SD卡、闪存卡（Flash Card）等。进一步的，所述计算机可读存储介质还可以既包括任意具备数据处理能力的设备的内部存储单元也包括外部存储设备。所述计算机可读存储介质用于存储所述计算机程序以及所述任意具备数据处理能力的设备所需的其他程序和数据，还可以用于暂时地存储已经输出或者将要输出的数据。
以上实施例仅用于说明本发明的设计思想和特点，其目的在于使本领域内的技术人员能够了解本发明的内容并据以实施，本发明的保护范围不限于上述实施例。所以，凡依据本发明所揭示的原理、设计思路所作的等同变化或修饰，均在本发明的保护范围之内。
Claims (10)
1.一种基于动态功能脑网络的大脑视听融合机制探索方法，其特征在于，包括：
获取每个被试在视听刺激下的EEG数据，对所述EEG数据进行预处理并划分为若干个epoch；
对于每个被试，获取每个epoch中若干个ROI的时序数据；
对于每个被试，通过计算两两ROI的epochs之间的相位锁相值PLV，并对所有被试中相同ROI之间的PLV值求平均，得到功能连接脑网络；
获取功能连接脑网络的隐含层特征，并与自身进行特征拼接；
选取聚类类别数K，对拼接后的特征进行聚类，得到K个聚类质心；
计算两两相邻聚类质心对应的功能连接脑网络的差值绝对值，筛选出大于第一预设阈值的差值绝对值对应的功能连接脑网络，用于探索大脑视听融合功能状态变化。
2.根据权利要求1所述的一种基于动态功能脑网络的大脑视听融合机制探索方法，其特征在于，所述预处理包括陷波滤波、带通滤波以及去除眨眼、肌肉运动所产生干扰信号。
3.根据权利要求1所述的一种基于动态功能脑网络的大脑视听融合机制探索方法，其特征在于，所述对于每个被试，获取每个epoch中ROIs的时序数据，包括：采用皮层脑图谱划分若干个皮层ROI，对每个被试的EEG数据进行源估计后，得到每个epoch的若干个皮层ROIs的时序数据；
所述皮层脑图谱包括Brainnetome Atlas、AAL Atlas、Brodmann Atlas、Desikan-Killiany和Harvard-Oxford；
所述对每个被试的EEG数据进行源估计具体为：通过fsaverage模版设置源空间并进行前向计算得到前向算子，然后进行逆问题求解，使用标准化低分辨率脑电磁层析成像算法来估计源活动得到皮层ROI的时序数据。
4.根据权利要求1所述的一种基于动态功能脑网络的大脑视听融合机制探索方法，其特征在于，所述对于每个被试，通过计算两两ROI的epochs之间的相位锁相值PLV，并对所有被试中相同ROI之间的PLV值求平均，得到功能连接脑网络，包括：
对于每个被试s，，S表示被试总数，对于N个实验次数，每对感兴趣区域，分别用x和y表示，在时刻t的相位锁相值/>具体公式如下所示：
其中，，T代表总的时间点数，D代表距离开始时刻的时间长度，为采样率， />和/>分别表示感兴趣区域x的在时刻t的epochs信号序列的相位和感兴趣区域y的在时刻t的epochs信号序列的相位；
代表t时刻的功能连接脑网络G，/>。
5.根据权利要求1所述的一种基于动态功能脑网络的大脑视听融合机制探索方法，其特征在于，所述获取功能连接脑网络的隐含层特征，并与自身进行特征拼接，包括：
通过自编码器模型获得每个时刻t的功能连接脑网络G的隐含层特征，并与自身进行特征拼接，即：
所述自编码器模型包括：编码器采用三层二维卷积神经网络及ReLu函数作为激活函数，解码器采用三层二维反卷积及ReLu函数作为激活函数；
所述自编码器模型经过如下训练：采用若干功能连接脑网络训练自编码器模型。
6.根据权利要求1所述的一种基于动态功能脑网络的大脑视听融合机制探索方法，其特征在于，所述选取聚类类别数K，对拼接后的特征进行聚类，得到K个聚类质心，包括：
（1）对于T个拼接特征，选择聚类数为K，选择k个拼接特征种子点，并且保证两两种子点的时间间隔大于第二预设阈值；其中，k≤K；
（2）将其他时刻拼接特征分配到与其距离最近的种子点，从而得到不同的聚类，其中，距离/>定义为两个变量之间的皮尔逊相关系数/>，即两个变量X和Y之间的协方差和标准差的商，具体公式如下：
其中，X代表拼接特征，Y代表随机选择的某个种子点或更新后的质心，/>代表拼接特征X的均值，/>代表质心/>的均值；
（3）在每一次迭代中，通过计算同一聚类的拼接特征的平均值对该聚类的质心进行更新，即:
（4）重复步骤（2）和步骤（3），直至质心值不再变化或者变化的范围小于第三预设阈值。
7.根据权利要求1所述的一种基于动态功能脑网络的大脑视听融合机制探索方法，其特征在于，还包括选取最佳K值，包括：采用以下三种聚类评估指标，即簇内评估指标平方误差和SSE、簇间评估指标分离度，以及/>指数：
其中，为当前在聚类簇i内的样本，j表示在同一聚类簇内的样本个数，/>为当前聚类簇i的总样本数，/>为当前聚类簇i的质心；
其中，和/>分别表示聚类簇i和聚类簇h的质心；
其中，SSB表示的是簇内距离，SSW表示簇间距离；M表示样本数，K表示当前聚类集簇的数量；表示总聚类簇的平均值；/>是第i个聚类簇，/>是聚类/>的样本；
综合以上三种指标中的一种或多种以选取最佳K值。
8.根据权利要求7所述的一种基于动态功能脑网络的大脑视听融合机制探索方法，其特征在于，所述选取最佳K值后，还包括：进行基于滑动窗口的众数平滑处理策略，即对于当前元素p，以当前元素为中心设置滑动窗口window={p-step,p+step},step为步长，则当前元素p的平滑后的取值为该滑动窗口内所有元素值的众数。
9.一种基于动态功能脑网络的大脑视听融合机制探索装置，其特征在于，包括一个或多个处理器，用于实现权利要求1-8中任一项所述的一种基于动态功能脑网络的大脑视听融合机制探索方法。
10.一种计算机可读存储介质，其上存储有程序，其特征在于，该程序被处理器执行时，用于实现权利要求1-8中任一项所述的一种基于动态功能脑网络的大脑视听融合机制探索方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410502575.7A CN118094277B (zh) | 2024-04-25 | 2024-04-25 | 基于动态功能脑网络的大脑视听融合机制探索方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410502575.7A CN118094277B (zh) | 2024-04-25 | 2024-04-25 | 基于动态功能脑网络的大脑视听融合机制探索方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN118094277A true CN118094277A (zh) | 2024-05-28 |
| CN118094277B CN118094277B (zh) | 2024-07-02 |
Family
ID=91152195
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410502575.7A Active CN118094277B (zh) | 2024-04-25 | 2024-04-25 | 基于动态功能脑网络的大脑视听融合机制探索方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN118094277B (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180199848A1 (en) * | 2015-07-10 | 2018-07-19 | Universite De Rennes I | Method of constructing a data structure representative of a dynamic reorganization of a plurality of brain networks, corresponding device and program |
| WO2019102901A1 (ja) * | 2017-11-27 | 2019-05-31 | 株式会社国際電気通信基礎技術研究所 | 脳内ネットワークの活動推定システム、脳内ネットワークの活動推定方法、脳内ネットワークの活動推定プログラム、および、学習済み脳活動推定モデル |
| WO2022099808A1 (zh) * | 2020-11-11 | 2022-05-19 | 东南大学 | 一种基于源定位和脑网络的自然动作脑电识别方法 |
| CN115985488A (zh) * | 2022-10-30 | 2023-04-18 | 上海海事大学 | 基于动态超网络的脑疾病诊断方法、装置及*** |
-
2024
- 2024-04-25 CN CN202410502575.7A patent/CN118094277B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180199848A1 (en) * | 2015-07-10 | 2018-07-19 | Universite De Rennes I | Method of constructing a data structure representative of a dynamic reorganization of a plurality of brain networks, corresponding device and program |
| WO2019102901A1 (ja) * | 2017-11-27 | 2019-05-31 | 株式会社国際電気通信基礎技術研究所 | 脳内ネットワークの活動推定システム、脳内ネットワークの活動推定方法、脳内ネットワークの活動推定プログラム、および、学習済み脳活動推定モデル |
| WO2022099808A1 (zh) * | 2020-11-11 | 2022-05-19 | 东南大学 | 一种基于源定位和脑网络的自然动作脑电识别方法 |
| CN115985488A (zh) * | 2022-10-30 | 2023-04-18 | 上海海事大学 | 基于动态超网络的脑疾病诊断方法、装置及*** |
Non-Patent Citations (3)
| Title |
|---|
| 司慧芳;谢天;高军峰;官金安;向州州;兰长有;卿训华;: "基于相位延迟指数的脑功能网络及测谎研究", 电子学报, no. 07, 15 July 2018 (2018-07-15) * |
| 季淑梅;刘庆;许艳楠;许全盛;黎捷;: "基于脑电溯源的顿悟状态脑功能网络研究", 高技术通讯, no. 08, 15 August 2018 (2018-08-15) * |
| 常文文;王宏;化成城;王翘秀;原;刘冲;: "基于脑功能网络连接的隐藏信息检测研究", 电子科技大学学报, no. 05, 30 September 2018 (2018-09-30) * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN118094277B (zh) | 2024-07-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Hacker et al. | Resting state network estimation in individual subjects | |
| Calhoun et al. | Unmixing fMRI with independent component analysis | |
| Safieddine et al. | Removal of muscle artifact from EEG data: comparison between stochastic (ICA and CCA) and deterministic (EMD and wavelet-based) approaches | |
| Dalal et al. | MEG/EEG source reconstruction, statistical evaluation, and visualization with NUTMEG | |
| US11693071B2 (en) | Systems and methods for mapping neuronal circuitry and clinical applications thereof | |
| CN111417342B (zh) | 脑网络的活动估计***、方法和存储介质 | |
| Giraldo-Suarez et al. | Reconstruction of neural activity from EEG data using dynamic spatiotemporal constraints | |
| Iversen et al. | MEG/EEG data analysis using EEGLAB | |
| Breuer et al. | Ocular and cardiac artifact rejection for real-time analysis in MEG | |
| Liu et al. | Straps: A fully data-driven spatio-temporally regularized algorithm for M/EEG patch source imaging | |
| Kauppi et al. | Decoding magnetoencephalographic rhythmic activity using spectrospatial information | |
| Das et al. | Neuro-current response functions: A unified approach to MEG source analysis under the continuous stimuli paradigm | |
| Sohoglu et al. | Multivoxel codes for representing and integrating acoustic features in human cortex | |
| US20230315203A1 (en) | Brain-Computer Interface Decoding Method and Apparatus Based on Point-Position Equivalent Augmentation | |
| CN118094277B (zh) | 基于动态功能脑网络的大脑视听融合机制探索方法和装置 | |
| Brkić et al. | The impact of ROI extraction method for MEG connectivity estimation: Practical recommendations for the study of resting state data. | |
| CN115813409A (zh) | 一种超低延迟的运动图像脑电图解码方法 | |
| CN116863025B (zh) | 脑磁图数据的溯源重建方法、装置、电子装置和介质 | |
| Wodeyar | Linking Structure to Function in Resting State Macroscale Neural Activity | |
| Daly et al. | Neural component analysis: source localisation for motor imagery classification | |
| Lerga et al. | Rule-Based EEG Classifier Utilizing Local Entropy of Time–Frequency Distributions. Mathematics 2021, 9, 451 | |
| López García | Procesado avanzado de señales de electroencefalografía y resonancia magnética en Neurociencia Cognitiva | |
| CN118152819A (zh) | 一种视听刺激下的大脑编码方法、装置及介质 | |
| Iversen et al. | 13 MEG/EEG Data Analysis Using EEGLAB | |
| Tan et al. | Joint source separation of simultaneous EEG-fMRI recording in two experimental conditions using common spatial patterns |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |