CN110393525B - 一种基于深度循环自编码器的大脑活动检测方法 - Google Patents

一种基于深度循环自编码器的大脑活动检测方法 Download PDF

Info

Publication number
CN110393525B
CN110393525B CN201910526926.7A CN201910526926A CN110393525B CN 110393525 B CN110393525 B CN 110393525B CN 201910526926 A CN201910526926 A CN 201910526926A CN 110393525 B CN110393525 B CN 110393525B
Authority
CN
China
Prior art keywords
brain
spatial
time sequence
activity
signals
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910526926.7A
Other languages
English (en)
Other versions
CN110393525A (zh
Inventor
陈耀武
崔彦
谢立
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN201910526926.7A priority Critical patent/CN110393525B/zh
Publication of CN110393525A publication Critical patent/CN110393525A/zh
Application granted granted Critical
Publication of CN110393525B publication Critical patent/CN110393525B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/05Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/242Detecting biomagnetic fields, e.g. magnetic fields produced by bioelectric currents
    • A61B5/245Detecting biomagnetic fields, e.g. magnetic fields produced by bioelectric currents specially adapted for magnetoencephalographic [MEG] signals
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316Modalities, i.e. specific diagnostic methods
    • A61B5/369Electroencephalography [EEG]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/40Detecting, measuring or recording for evaluating the nervous system
    • A61B5/4058Detecting, measuring or recording for evaluating the nervous system for evaluating the central nervous system
    • A61B5/4064Evaluating the brain
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/7264Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03Computed tomography [CT]
    • A61B6/037Emission tomography

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Neurology (AREA)
  • Physiology (AREA)
  • Artificial Intelligence (AREA)
  • Psychiatry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radiology & Medical Imaging (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Psychology (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • Mathematical Physics (AREA)
  • Fuzzy Systems (AREA)
  • Evolutionary Computation (AREA)
  • Neurosurgery (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

本发明公开了一种基于深度循环自编码器的大脑活动检测方法,包括:接收大脑信号,并对大脑信号进行预处理;以每一时刻的大脑信号作为输入矩阵,利用空间特征提取单元对输入的大脑信号进行降维处理,提取大脑信号的空间特征;利用深度循环编码单元对每一时刻的空间特征进行更新记忆,输出时序动态特征;利用深度循环解码单元对时序动态特征进行更新预测,输出预测的时序活动模式;利用空间特征重建单元对预测的时序活动模式进行重建映射,复原大脑信号。该大脑活动检测方法通过对大脑信号的时序记忆循环处理、特征提取和自动重建,检测大脑活动的时间特征及脑网络的空间模式,为无标注信号数据上的大脑活动检测提供了有效方法。

Description

一种基于深度循环自编码器的大脑活动检测方法
技术领域
本发明属于大脑脑机接口领域,具体涉及一种基于深度循环自编码器的大脑活动检测方法。
背景技术
大脑作为人类最为复杂的器官,对其结构和功能的研究和探索备受关注。一直以来,神经科学的研究学者致力于对大脑的研究,利用不同的建模方法研究大脑对外界的信息或刺激信号的接收、编码、响应、以及大脑内部相互协同工作的脑网络的结构和活动模式。
研究表明,在大脑接收到外界刺激、进行信号的传导、产生动作意识时,大脑神经元***的电活动会发生相应的改变。脑机接口***就是通过检测大脑的神经电信号的变化,分析大脑响应的特征信号,来检测大脑的活动状态的。进一步地,在大脑受到刺激产生活动时,脑部磁场、血氧浓度含量等都会产生相应的变化,于是可以通过脑磁图、磁共振成像等更多样、分辨率更高的数据获取手段,来检测更复杂的大脑活动。
越来越多的证据表明,大脑功能是通过多种多样、同时进行的神经活动和大脑网络来实现的。目前已有多种假设驱动模型和数据驱动模型对大脑进行建模,包括一般线性模型(GLM)、主成分分析(PCA)、独立成分分析(ICA)和稀疏表达方法。同时,近年来,随着神经网络和深度学习方法的不断发展,卷积神经网络(CNN)、深度置信网络(DBN)、受限玻尔兹曼机(RBM)等模型也展现了深度学习方法在大脑活动检测上的优势。然而由于大脑的活动本质上为长时间的信号序列,目前针对大脑活动的检测模型大多数是单纯依据当前时刻或很短的时间内采集到的大脑信号预测下一时刻的活动状态,对大脑活动中的长期依赖关系还没有较为有效的研究方法。另一方面,在当前的医疗条件下,虽然可以采集到大量多种类型的大脑信号,但是对信号的标注工作需要大量有经验的影像科医师或研究人员,所以,对无标注信号的利用在脑科学研究中显得尤为重要。
因此,提出一种基于无标注大脑信号的,并且能够有效利用长时间大脑信号序列的隐含信息进行大脑活动检测的方法,对大脑功能和活动的研究将是十分有意义的。
发明内容
本发明提供了一种基于深度循环自编码器的大脑活动检测方法,通过对大脑信号的时序记忆循环处理、特征提取和自动重建,检测大脑活动的时间特征及脑网络的空间模式,为无标注信号数据上的大脑活动检测提供了有效方法。
为实现上述发明目的,本发明提供以下技术方案:
一种基于深度循环自编码器的大脑活动检测方法,包括以下步骤:
接收大脑信号,并对大脑信号进行预处理;
以每一时刻的大脑信号作为输入矩阵,利用空间特征提取单元对输入的大脑信号进行降维处理,提取大脑信号的空间特征;
利用深度循环编码单元对每一时刻的空间特征进行更新记忆,输出时序动态特征;
利用深度循环解码单元对时序动态特征进行更新预测,输出预测的时序活动模式;
利用空间特征重建单元对预测的时序活动模式进行重建映射,复原大脑信号。
上述的大脑信号包括局部场电位(Local Field Potential,LFP)、脑电图(Electroencephalogram,EEG)、脑磁图(Magnetoencephalography,MEG)、正电子发射断层成像(Positron Emission Tomography,PET)、磁共振成像(Magnetic Resonance Imaging,MRI)等。
采集的大脑信号受到心跳、呼吸、头部活动等的影响,会产生不同程度的噪声和偏移。对大脑信号进行预处理包括:颅骨去除、头动校正、切片时间校正、空间平滑、全局漂移消除、滤波和降噪、归一化等处理。
空间特征提取单元主要对输入的每一时刻的大脑信号进行降维处理,提取空间特征,减小后续处理过程的数据量。在所述空间特征提取单元中,可以采用各类数学分析方法,如主成分分析、独立成分分析,也可采用经过训练的神经网络,如全连接神经网络、卷积神经网络、深度置信网络、受限玻尔兹曼机对输入大脑信号进行空间特征提取。进一步地,在所述空间特征提取单元中,采用经过学习的全连接神经网络进行空间特征提取,以利用较小的计算量获得较好的特征提取效果。
深度循环编码单元主要对隐藏在每一时刻大脑信号中的时序活动进行记忆并不断更新,提取出大脑活动的时序动态特征。优选地,在所述深度循环编码单元中,利用经过训练的循环神经网络实现对大脑活动的时序动态特征的记忆更新和提取。
深度循环解码单元主要利用有深度编码单元提取的时序动态特征,通过模拟真实的大脑活动和响应过程,对每一时刻的大脑活动进行预测和更新,得到大脑的时序活动模式。优选地,在所述深度循环解码单元中,采用经过训练的循环神经网络实现对大脑活动的时序活动模式的更新和预测。
空间特征重建单元主要用于将深度循环解码单元预测的时序活动模式中每一时刻的活动状态映射回实际大脑信号空间,得到所有时间序列上完整的大脑活动信号预测。同时,空间特征重建单元中的每一个元素,都代表了一个大脑活动脑网络的空间分布,可用于可视化,直观的表现出大脑活动脑网络的空间特性。优选地,在所述空间特征重建单元中,利用经过训练的全连接神经网络得到大脑活动脑网络的空间分布和完整大脑活动信号预测。
本发明具有的有益效果为:
本发明可以利用无标注的大脑信号数据,充分挖掘大脑时序信号中隐含的特征活动模式,对大脑的活动状态和脑网络进行检测和预测。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图做简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动前提下,还可以根据这些附图获得其他附图。
图1为本发明提供的基于深度循环自编码器的大脑活动检测方法的***结构示意图;
图2为本发明提供的基于深度循环自编码器的大脑活动检测方法的工作原理图;
在图1和图2中,(a)为大脑信号,(b)为信号处理单元,(c)为空间特征提取单元,(d)为深度循环编码单元,(e)为提取的时序动态特征,(f)为深度循环解码单元,(g)为空间特征重建单元,(h)为复原的大脑信号。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例对本发明进行进一步的详细说明。应当理解,此处所描述的具体实施方式仅仅用以解释本发明,并不限定本发明的保护范围。
图1为本发明提供的基于深度循环自编码器的大脑活动检测方法的实现***结构示意图,该***依次包括信号处理单元、空间特征提取单元、深度循环编码单元、深度循环解码单元以及空间特征重建单元。图2为本发明的工作原理图,其为图1在时间维度的展开。从图2可以看到,深度循环编码单元和深度循环解码单元在时间维度上是相联系的,当前时刻的动态特征由当前时刻的信号和之前时刻的动态特征共同决定。
假设可以从M个大脑位置采集到信号,每个位置共采集到T个时间长度的信号。对原始大脑信号进行颅骨去除、头动校正、切片时间校正、空间平滑、全局漂移消除、滤波和降噪、归一化处理后,可得到信号矩阵S,S的维度为N×T,其中t时刻的信号向量为St,T个时刻的信号向量按照时间顺序依次输入到空间特征提取单元,提取到每一时刻的信号空间特征向量At
之后,将提取得到的空间特征向量At按照时间顺序输入到深度循环编码单元,同时,前一时刻深度循环编码单元输出的动态特征向量Ft-1也被输入到深度循环编码单元。应当说明的是,前一时刻深度循环编码单元输出的动态特征向量Ft-1是由之前所有时刻的信号累积共同决定的。由所有时刻时序动态特征向量组成的时序动态特征矩阵F中的每一个维度,都代表一种时序动态特征。
类似地,将提取的时序动态特征输入深度循环解码单元和空间特征重建单元,可复原大脑信号。在复原大脑的信号的过程中,空间特征重建单元通过不断地迭代更新,可以找到用于复原大脑信号的最优权重矩阵W,同时W中的每一个权重向量所表示的就是大脑活动过程中的一个脑网络的空间分布。
本实施例中,空间特征提取单元使用的是包含128个神经元的全连接神经网络,深度循环编码单元和深度循环解码单元采用2层结构的循环神经网络,其中每层循环神经网络包含64个长期短时记忆单元(LSTM)或门控循环单元(GRU)。本例实施中对时序动态特征F的维度设置为32,表明在实施过程中可同时对32个动态特征进行检测。空间特征重建单元使用的是包含32~128个神经元的全连接神经网络,表明在实施过程中可对32~128个脑网络进行检测。
上所述的具体实施方式对本发明的技术方案和有益效果进行了详细说明,应理解的是以上所述仅为本发明的最优选实施例,并不用于限制本发明,凡在本发明的原则范围内所做的任何修改、补充和等同替换等,均应包含在本发明的保护范围之内。

Claims (1)

1.一种基于深度循环自编码器的大脑活动检测方法,包括以下步骤:
接收大脑信号,并对大脑信号进行预处理,所述大脑信号包括局部场电位、脑电图、脑磁图、正电子发射断层成像、磁共振成像;所述预处理包括:颅骨去除、头动校正、切片时间校正、空间平滑、全局漂移消除、滤波、降噪和归一化;
以每一时刻的大脑信号作为输入矩阵,利用空间特征提取单元对输入的大脑信号进行降维处理,提取大脑信号的空间特征,在所述空间特征提取单元中,利用主成分分析、独立成分分析、经过训练的全连接神经网络、卷积神经网络、深度置信网络或受限玻尔兹曼机对输入大脑信号进行空间特征提取;
利用经过训练的循环神经网络作为深度循环编码单元实现对大脑活动的时序动态特征的记忆更新和提取,输出时序动态特征;
采用经过训练的循环神经网络作为用深度循环解码单元对时序动态特征进行更新预测,输出时序活动模式;
利用经过训练的全连接神经网络作为空间特征重建单元对时序活动模式进行重建映射,复原大脑信号,得到大脑活动脑网络的空间分布和完整大脑活动信号。
CN201910526926.7A 2019-06-18 2019-06-18 一种基于深度循环自编码器的大脑活动检测方法 Active CN110393525B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910526926.7A CN110393525B (zh) 2019-06-18 2019-06-18 一种基于深度循环自编码器的大脑活动检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910526926.7A CN110393525B (zh) 2019-06-18 2019-06-18 一种基于深度循环自编码器的大脑活动检测方法

Publications (2)

Publication Number Publication Date
CN110393525A CN110393525A (zh) 2019-11-01
CN110393525B true CN110393525B (zh) 2020-12-15

Family

ID=68323260

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910526926.7A Active CN110393525B (zh) 2019-06-18 2019-06-18 一种基于深度循环自编码器的大脑活动检测方法

Country Status (1)

Country Link
CN (1) CN110393525B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110840411B (zh) * 2019-12-06 2022-03-11 深圳市德力凯医疗设备股份有限公司 一种麻醉深度的测量装置、存储介质及电子设备
CN112869754B (zh) * 2021-01-08 2022-06-14 浙江大学 一种脑机融合的神经信号测谎方法
CN113408697B (zh) * 2021-05-31 2022-09-16 杭州电子科技大学 一种基于强化学习自编码器的脑电数据重建方法
CN115310585A (zh) * 2022-07-04 2022-11-08 浙江大学 一种基于自编码器的高维神经信号降维方法及用途
CN115359236B (zh) * 2022-10-19 2023-03-28 之江实验室 一种基于机器学习的工作记忆任务脑磁图分类***

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102327116A (zh) * 2011-09-28 2012-01-25 杭州电子科技大学 一种皮层脑电信号的网络***随机共振复原方法
CN102697493A (zh) * 2012-05-03 2012-10-03 北京工业大学 一种快速的脑电信号中眼电伪迹自动识别和去除的方法
CN105816170A (zh) * 2016-05-10 2016-08-03 广东省医疗器械研究所 基于可穿戴式nirs-eeg的精神***症早期检测评估***
CN107961007A (zh) * 2018-01-05 2018-04-27 重庆邮电大学 一种结合卷积神经网络和长短时记忆网络的脑电识别方法
CN109063639A (zh) * 2018-07-30 2018-12-21 浙江大学 一种实时预测大脑行为的方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100524173C (zh) * 2007-07-13 2009-08-05 杭州电子科技大学 一种脑机交互中的脑电信号复原方法
US8244475B2 (en) * 2007-12-27 2012-08-14 Teledyne Scientific & Imaging, Llc Coupling human neural response with computer pattern analysis for single-event detection of significant brain responses for task-relevant stimuli

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102327116A (zh) * 2011-09-28 2012-01-25 杭州电子科技大学 一种皮层脑电信号的网络***随机共振复原方法
CN102697493A (zh) * 2012-05-03 2012-10-03 北京工业大学 一种快速的脑电信号中眼电伪迹自动识别和去除的方法
CN105816170A (zh) * 2016-05-10 2016-08-03 广东省医疗器械研究所 基于可穿戴式nirs-eeg的精神***症早期检测评估***
CN107961007A (zh) * 2018-01-05 2018-04-27 重庆邮电大学 一种结合卷积神经网络和长短时记忆网络的脑电识别方法
CN109063639A (zh) * 2018-07-30 2018-12-21 浙江大学 一种实时预测大脑行为的方法

Also Published As

Publication number Publication date
CN110393525A (zh) 2019-11-01

Similar Documents

Publication Publication Date Title
CN110393525B (zh) 一种基于深度循环自编码器的大脑活动检测方法
Meyers The neural decoding toolbox
Cohen A tutorial on generalized eigendecomposition for denoising, contrast enhancement, and dimension reduction in multichannel electrophysiology
Brunet et al. Spatiotemporal analysis of multichannel EEG: CARTOOL
CN112861604B (zh) 一种与用户无关的肌电动作识别与控制方法
TW201923582A (zh) 用於經由多預測模型架構之異常偵測之系統與方法
CN111134666A (zh) 一种多通道脑电数据的情绪识别方法及电子装置
CN108135520B (zh) 从功能性大脑图像生成心理内容的自然语言表示
CN114052668B (zh) 一种基于脑磁图数据的脑功能分析方法
US20110034821A1 (en) Increasing the information transfer rate of brain-computer interfaces
CN115359236B (zh) 一种基于机器学习的工作记忆任务脑磁图分类***
Wei et al. Edge sparse basis network: a deep learning framework for EEG source localization
Ojeda et al. Bridging M/EEG source imaging and independent component analysis frameworks using biologically inspired sparsity priors
Uyulan Development of LSTM&CNN based hybrid deep learning model to classify motor imagery tasks
Das et al. Neuro-current response functions: A unified approach to MEG source analysis under the continuous stimuli paradigm
CN111951958A (zh) 一种基于自编码的疼痛数据评估方法及相关组件
Zhao et al. Two-stage spatial temporal deep learning framework for functional brain network modeling
Ma et al. Application of convolutional dendrite net for detection of myocardial infarction using ecg signals
Long et al. Large scale Kalman filtering solutions to the electrophysiological source localization problem-a MEG case study
Bayrak et al. From brain to body: learning low-frequency respiration and cardiac signals from fMRI dynamics
CN113408697B (zh) 一种基于强化学习自编码器的脑电数据重建方法
CN114428555A (zh) 一种基于皮层源信号的脑电运动意图识别方法及***
Xu et al. Eeg signal classification and feature extraction methods based on deep learning: A review
Huang et al. Cross-subject MEG decoding using 3D convolutional neural networks
Liu et al. SRI-EEG: state-based recurrent imputation for EEG artifact correction

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant