CN106355189B - 基于灰建模的EEG-fMRI融合方法 - Google Patents
基于灰建模的EEG-fMRI融合方法 Download PDFInfo
- Publication number
- CN106355189B CN106355189B CN201510420802.2A CN201510420802A CN106355189B CN 106355189 B CN106355189 B CN 106355189B CN 201510420802 A CN201510420802 A CN 201510420802A CN 106355189 B CN106355189 B CN 106355189B
- Authority
- CN
- China
- Prior art keywords
- eeg
- fmri
- data
- fusion
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/251—Fusion techniques of input or preprocessed data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
Abstract
本发明提出了一种基于灰建模的EEG‑fMRI的融合方法,其步骤包括:(1)对原始EEG进行降采样及溯源,以便于对EEG和fMRI数据在空域和时域进行配准;(2)对EEG和fMRI数据进行预处理;(3)对数据进行累加生成,为建立灰色模型做必要的准备;(4)利用GM(1,1)模型提取特征,求取相应的参数;(5)对EEG和fMRI的特征参数进行融合;(6)将融合后的特征反投影回观测域得到最终的结果。本发明通过灰建模方法可以有效地融合EEG和fMRI的特点,得到同时具有高的时间分辨率和高空间分辨率的图像。
Description
技术领域
本发明涉及信号与信息处理和神经生物学交叉领域,特别是涉及基于灰建模的脑电(electroencephalogram,EEG)和功能磁共振(functional magnetic resonanceimaging,fMRI)融合方法。它提出和设计一种将灰建模用于EEG和fMRI两种模态信息进行融合的算法。由于对EEG和fMRI进行信息提取工作时,需要一种在少数据下依然保持鲁棒的算法,而灰色***理论正是一种对少数据进行信息提取的理论,本发明是将二者进行结合的一种方法。
背景技术
EEG和fMRI是目前两种无创的观察脑部活动的神经成像工具。EEG反映的是同步神经活动,具有和神经认知相同的时间尺度,但空间信息不足;fMRI测量的是血氧水平依赖(blood oxygen level dependent,BOLD),其与神经元群的能量代谢消耗有关,空间分辨率高,但该信号的时间分辨率很低。
为充分利用EEG高时间分辨率和fMRI高空间分辨率的优势,对二者的信息进行融合,可以克服单模态数据在时间和空间分辨率方面的不足。目前,关于EEG/fMRI的融合主要有三种方法:
1.空间约束,即基于fMRI约束的EEG成像
该方法根据fMRI上获取的空间活动信息约束EEG的源重建。通过头皮电位分布估计神经活动的发生源问题是典型的不适定问题,可以通过研究利用利用fMRI激活图约束EEG的源位置或初始化点电荷的种子点数,同时对源的结构和体积传导建立数学模型减小解的可能性。该方法fMRI信息对结果的约束由经验值确定,可能造成信息利用不足或过度约束的问题。
2.时间预测,即基于EEG信息的fMRI分析
该方法采用EEG作为预测变量对fMRI的时间过程进行建模。基于神经血管的线性耦合假设,EEG中提取到的神经活动特征在卷积标准HRF函数后,构成了预测的BOLD信号,以在全脑的BOLD信号中找出相关的神经活动激活区域。这种方法会带来参数大量增加和统计推断方面的困难。
3.对称融合
该方法通过建立共同的生成模型或利用互信息解释两种模态的数据。一般通过采用共同的正演或生成模型来解释EEG和fMRI两种模态,然后将二者的信息量对称的加入到融合方法中,即对称融合。这种方法可以解决fMRI约束占优问题,但也带来了收敛性的问题。
针对目前EEG和fMRI信号融合方法的大数据量和信息不匹配问题,亟需发展新的融合方法,以期对EEG和fMRI这样两种在不同方向信息密度完全不同的信息进行融合。
发明内容
本发明提出了一种基于灰建模的EEG-MRI融合方法,它是采用灰建模分别提取EEG和fMRI特征,然后在进行特征叠加以获取融合结果的方法,基本方案如下:
1.对原始EEG进行降采样及溯源,以便于将EEG数据和fMRI数据在空域和时域进行配准;
2.对EEG和fMRI数据进行预处理,EEG的预处理是指将EEG源的数值标准化;fMRI的预处理包含时间重排列及与结构磁共振成像(structural Magnetic Resonance imaging,sMRI)的配准;
3.将原始数据进行累加生成,为下一步建立灰色模型做预处理:
设X(0)=(x(0)(1),x(0)(2),...,x(0)(n)),其一次累加生成序列(AccumulatedGenerating Operation,AGO)为X(1)=(x(1)(1),x(1)(2),...,x(1)(n)),即二者满足关系:
式中,X(0)=(x(0)(1),x(0)(2),...,x(0)(n))为EEG或fMRI信号的时间序列。
4.利用GM(1,1)模型提取特征,求取相应的参数:发展系数a和灰作用量b
5.分别将提取出来的EEG和fMRI特征进行融合;由于EEG和fMRI根据GM(1,1)提取出的特征进行融合,而非对原始图像进行融合,且经过溯源的EEG和fMRI数据量纲并不统一,无法利用常用的图像融合方法进行融合。本技术采用平均值的数学运算进行特征叠加。发展系数a反映了数据的发展趋势,灰作用量b反映了数据的变化关系。根据公式(2)和(3)可以看出,指数部分的解影响较大,为了减小解的震荡,故对发展系数a求均方根;b代表数据的整体偏离程度,故对灰作用量b求算术平均,从而获得融合结果的参数afusion和bfusion:
式中,aEEG和afMRI分别表示EEG和fMRI信号的发展系数,bEEG和bEEG分别表示EEG和fMRI信号的灰作用量。afusion和bfusion分别表示融合后的发展系数和灰作用量。
6.将融合后的特征反投影回观测域以得到最终的融合结果。
本发明的有益效果是,在最后EEG和fMRI融合过程中,由于采用灰建模的方法提取少数据量的特征,并反投影到空域可以达到高时间分辨率;通过将基于灰建模的EEG/fMRI两模态信息融合方法和单模态信息的时、空分辨率进行对比,本发明获得了更好的时间和空间分辨率。
附图说明
图1基于灰建模的融合流程
图2整体融合方案流程图
图3本方案的融合结果(被试为68岁女性)
图4横断面各层的融合结果((a)101;(b)115;(c)122;(d)136分别表示切片层数,被试为68岁女性)
具体实施方式
下面结合附图,对本发明的具体实施方式作详细说明。
本发明提出的融合方法法流程如图1所示,下面结合附图,对本发明的具体实施方式作详细说明。
1.同时采集EEG和fMRI信号并对EEG信号进行源定位,得到EEG的源分布。
2.对EEG信号和fMRI信号在时间-空间域进行配准:
包括对EEG源的数值标准化和对fMRI数据的时间重排列,实现以EEG序列为标准的时间配准,以及将fMRI数据与sMRI数据进行配准,实现fMRI约束下的空间对准。
3.对原始数据进行累加生成,构成累加生成序列。
这是为灰建模进行必要的准备,具体过程如下:
设X(0)=(x(0)(1),x(0)(2),...,x(0)(n)),其一次累加生成序列(AccumulatedGenerating Operation,AGO)为X(1)=(x(1)(1),x(1)(2),...,x(1)(n)),即二者满足关系:
其中,X(0)=(x(0)(1),x(0)(2),...,x(0)(n))为EEG或fMRI信号的时间序列。X(1)为时间序列的1阶累加生成序列。
4.构建灰色模型GM(1,1),将称为GM(1,1)模型。
该模型的最小二乘估计参数满足其中:
将(5)代入(2)可解得
将(7)和(8)代入(2)(3),即可解出发展系数a和灰作用量b。
5.特征参数提取和融合:
发展系数a反映了数据的发展趋势,灰作用量b反映了数据的变化关系。由公式(3)可以看出,指数部分的解影响较大,有时会引起震荡,为了减小这一影响,分别对EEG信号和fMRI进行GM(1,1)模型特征提取,并对特征参数按照(4)(5)进行融合,获取融合后的特征参数。
式中,aEEG和afMRI分别表示EEG和fMRI信号的发展系数,bEEG和bEEG分别表示EEG和fMRI信号的灰作用量。afusion和bfusion分别表示融合后的发展系数和灰作用量。
6.反投影:
最后将融合后的特征参数依据(11)反投影回观测域获得最后的融合结果。
把叠加后的特征反投影回空域得到融合结果。实验结果画出t=24s时刻的数据,如图3所示,其中暖色代表强激活神经元,冷色代表弱激活神经元。然后将融合强度以伪彩色表示,并将它加入sMRI灰度信息,在sMRI空间分析融合结果,如图4所示,在人脑枕区部有较强的激活源,这与静息态人脑枕区会出现较强alpha节律的先验信息相吻合。
本发明的应用实例中采用点电荷数为1962,间距为7mm,头表EEG电极个数为61个。为了保证可靠的电磁计算精度,EEG的溯源计算是相当费时的,因此在此算例中,引导场矩阵计算采用了优化算法,降低了占用计算机的时间。在最后的EEG/fMRI融合过程中,由于本发明采用了灰建模方法,只需提取少数据量的特征,并反投影到空域同时达到高的时间-空间分辨率的方法,在提高了融合精度的同时,也节约了计算时间。在算例中,计算耗时约为0.28s。被试处于静息态的实验范式下,期望得到在枕区较强的激活源。本方案的融合结果与期望结果吻合,证实了本方案的有效性,并充分利用了EEG和fMRI在时空分辨率方面的互补优势。实验结果表1表示。
表1 EEG/fMRI融合结果与单模态的时空分辨率对比
Claims (1)
1.基于灰建模的EEG-fMRI融合方法,包括如下步骤:
(1)对原始EEG进行降采样及溯源,对EEG和fMRI数据进行预处理,为融合做准备,EEG的预处理是指将EEG源的数值标准化;fMRI的预处理包含时间重排列及与sMRI的配准;
(2)将原始数据进行累加生成,为下一步建立灰色模型做预处理;
(3)利用灰色理论的GM(1,1)模型提取特征,求取相应的参数:发展系数a和灰作用量b
(4)分别将提取出来的EEG和fMRI特征进行融合;由于EEG和fMRI根据GM(1,1)提取出的特征进行融合,而非对原始图像进行融合,且经过溯源的EEG和fMRI数据量纲并不统一,无法利用常用的图像融合方法进行融合,该融合方法采用平均值的数学运算进行特征叠加,发展系数a反映了数据的发展趋势,灰作用量b反映了数据的变化关系,根据公式(1)和(2)可以看出,指数部分的解影响较大,为了减小解的震荡,故对发展系数a求均方根;b代表数据的整体偏离程度,故对灰作用量b求算术平均,从而获得融合结果的参数afusion和bfusion:
(5)将融合后的特征反投影回观测域以得到最终的融合结果,该结果满足EEG和fMRI在信息提取时要求少数据保持鲁棒性的性能。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510420802.2A CN106355189B (zh) | 2015-07-13 | 2015-07-13 | 基于灰建模的EEG-fMRI融合方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510420802.2A CN106355189B (zh) | 2015-07-13 | 2015-07-13 | 基于灰建模的EEG-fMRI融合方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106355189A CN106355189A (zh) | 2017-01-25 |
CN106355189B true CN106355189B (zh) | 2019-04-23 |
Family
ID=57842311
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510420802.2A Active CN106355189B (zh) | 2015-07-13 | 2015-07-13 | 基于灰建模的EEG-fMRI融合方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106355189B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107550493B (zh) * | 2017-07-14 | 2020-09-08 | 北京大学 | 基于功能磁共振成像的时变约束脑电图或脑磁图溯源方法 |
CN108388345B (zh) * | 2018-02-28 | 2020-12-29 | 天津大学 | 基于小波多分辨率复杂网络的脑电极优化方法及其应用 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103356185A (zh) * | 2012-04-05 | 2013-10-23 | 西门子公司 | 对活体检测对象的脑的预定体积段进行功能性磁共振成像的方法和磁共振设备 |
CN104063588A (zh) * | 2014-06-12 | 2014-09-24 | 东北大学 | 基于多源数据融合的管道腐蚀缺陷尺寸的预测***及方法 |
CN104723171A (zh) * | 2015-03-17 | 2015-06-24 | 洛阳理工学院 | 一种基于电流与声发射复合信号的刀具磨损监测方法 |
CN104950875A (zh) * | 2015-06-15 | 2015-09-30 | 西北工业大学 | 结合关联分析和数据融合的故障诊断方法 |
-
2015
- 2015-07-13 CN CN201510420802.2A patent/CN106355189B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103356185A (zh) * | 2012-04-05 | 2013-10-23 | 西门子公司 | 对活体检测对象的脑的预定体积段进行功能性磁共振成像的方法和磁共振设备 |
CN104063588A (zh) * | 2014-06-12 | 2014-09-24 | 东北大学 | 基于多源数据融合的管道腐蚀缺陷尺寸的预测***及方法 |
CN104723171A (zh) * | 2015-03-17 | 2015-06-24 | 洛阳理工学院 | 一种基于电流与声发射复合信号的刀具磨损监测方法 |
CN104950875A (zh) * | 2015-06-15 | 2015-09-30 | 西北工业大学 | 结合关联分析和数据融合的故障诊断方法 |
Non-Patent Citations (3)
Title |
---|
基于灰色***理论的脑功能图象特征提取研究;张坤;《中国优秀硕士学位论文全文数据库 信息科技辑》;20070615(第06期);I138-659 |
基于贝叶斯理论的EEG-fMRI融合技术研究;雷旭;《中国优秀硕士学位论文全文数据库 医药卫生科学辑》;20111215(第12期);E080-5 |
脑电(EEG)信号灰色处理方法的研究;白树林;《中国优秀硕士学位论文全文数据库 信息科技辑》;20060715(第07期);I136-29 |
Also Published As
Publication number | Publication date |
---|---|
CN106355189A (zh) | 2017-01-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Vry et al. | The ventral fiber pathway for pantomime of object use | |
O’Donnell et al. | A method for clustering white matter fiber tracts | |
de Schotten et al. | Monkey to human comparative anatomy of the frontal lobe association tracts | |
Ullmann et al. | A segmentation protocol and MRI atlas of the C57BL/6J mouse neocortex | |
Weier et al. | Rapid automatic segmentation of the human cerebellum and its lobules (RASCAL)—Implementation and application of the patch‐based label‐fusion technique with a template library to segment the human cerebellum | |
Dougherty et al. | Occipital‐Callosal Pathways in Children: Validation and Atlas Development | |
O'Reilly et al. | Structural templates for imaging EEG cortical sources in infants | |
CN109102492B (zh) | 一种基于协同聚类的功能磁共振影像脑连接图谱构建方法 | |
CN106355189B (zh) | 基于灰建模的EEG-fMRI融合方法 | |
Franco et al. | Multimodal and multi-tissue measures of connectivity revealed by joint independent component analysis | |
Chen et al. | Human brain functional MRI and DTI visualization with virtual reality | |
Hyde et al. | Evaluation of numerical techniques for solving the current injection problem in biological tissues | |
Rasser et al. | A deformable Brodmann area atlas | |
Xie et al. | Synthesizing PET images from high‐field and ultra‐high‐field MR images using joint diffusion attention model | |
Sharma et al. | Physiological basis and image processing in functional magnetic resonance imaging: neuronal and motor activity in brain | |
Wu et al. | Longitudinal Chinese population structural fetal brain atlases construction: toward precise fetal brain segmentation | |
Ge et al. | Resting state fMRI-guided fiber clustering | |
Thai et al. | Using Deep Convolutional Neural Network for Mouse Brain Segmentation in DT-MRI | |
CN110729046A (zh) | 一种基于时间序列的功能磁共振影像特征提取方法 | |
Karolis et al. | Maturational networks of fetal brain activity | |
Jiahui et al. | Cross-movie prediction of individualized functional topography | |
Royuela-del-Val et al. | Whole-heart single breath-hold cardiac cine: a robust motion-compensated compressed sensing reconstruction method | |
Karmonik et al. | A graph-theoretical analysis algorithm for quantifying the transition from sensory input to motor output by an emotional stimulus | |
Geng et al. | Multi-contrast diffusion tensor image registration with structural MRI | |
Coloigner et al. | Functional connectivity analysis for thalassemia disease based on a graphical lasso model |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |