CN105559777A - 基于小波包和lstm型rnn神经网络的脑电识别方法 - Google Patents
基于小波包和lstm型rnn神经网络的脑电识别方法 Download PDFInfo
- Publication number
- CN105559777A CN105559777A CN201610154659.1A CN201610154659A CN105559777A CN 105559777 A CN105559777 A CN 105559777A CN 201610154659 A CN201610154659 A CN 201610154659A CN 105559777 A CN105559777 A CN 105559777A
- Authority
- CN
- China
- Prior art keywords
- wavelet packet
- formula
- lstm
- subspace
- eeg signals
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 27
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 6
- 238000000354 decomposition reaction Methods 0.000 claims abstract description 16
- 210000004556 brain Anatomy 0.000 claims description 43
- 230000007935 neutral effect Effects 0.000 claims description 18
- 238000011156 evaluation Methods 0.000 claims description 14
- 238000002474 experimental method Methods 0.000 claims description 14
- 230000005611 electricity Effects 0.000 claims description 11
- 230000001276 controlling effect Effects 0.000 claims description 6
- 238000012549 training Methods 0.000 claims description 6
- 206010008190 Cerebrovascular accident Diseases 0.000 claims description 5
- 208000006011 Stroke Diseases 0.000 claims description 5
- 238000000605 extraction Methods 0.000 claims description 5
- 230000006872 improvement Effects 0.000 claims description 5
- 238000004611 spectroscopical analysis Methods 0.000 claims description 5
- 238000012360 testing method Methods 0.000 claims description 4
- 238000013461 design Methods 0.000 claims description 3
- 230000008034 disappearance Effects 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 238000004321 preservation Methods 0.000 claims description 2
- 230000008569 process Effects 0.000 claims description 2
- 230000000306 recurrent effect Effects 0.000 claims description 2
- 230000001105 regulatory effect Effects 0.000 claims description 2
- 230000004044 response Effects 0.000 claims description 2
- 238000005070 sampling Methods 0.000 claims description 2
- 230000009466 transformation Effects 0.000 abstract description 2
- 238000001228 spectrum Methods 0.000 abstract 1
- 230000033764 rhythmic process Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 210000002569 neuron Anatomy 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000002790 cross-validation Methods 0.000 description 2
- 239000003814 drug Substances 0.000 description 2
- 230000003340 mental effect Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 206010019468 Hemiplegia Diseases 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000032683 aging Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 210000004027 cell Anatomy 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000035876 healing Effects 0.000 description 1
- 210000002364 input neuron Anatomy 0.000 description 1
- 230000002045 lasting effect Effects 0.000 description 1
- 230000007659 motor function Effects 0.000 description 1
- 230000036403 neuro physiology Effects 0.000 description 1
- 210000004205 output neuron Anatomy 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000000284 resting effect Effects 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 210000000278 spinal cord Anatomy 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 230000001225 therapeutic effect Effects 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/369—Electroencephalography [EEG]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7221—Determining signal validity, reliability or quality
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7271—Specific aspects of physiological measurement analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Artificial Intelligence (AREA)
- Veterinary Medicine (AREA)
- Heart & Thoracic Surgery (AREA)
- Psychiatry (AREA)
- Public Health (AREA)
- Animal Behavior & Ethology (AREA)
- Surgery (AREA)
- Pathology (AREA)
- Medical Informatics (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physiology (AREA)
- Evolutionary Computation (AREA)
- Theoretical Computer Science (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Fuzzy Systems (AREA)
- Psychology (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
Abstract
基于小波包和LSTM型RNN神经网络的脑电识别方法,属于生物信息技术领域。具体包括:首先,利用平均功率谱法分析脑电信号的时域特性,确定有效的时域范围。其次,对脑电信号进行小波包分解,基于改进的距离准则获取小波包最优子空间,并选取小波包最优子空间的小波包系数构成脑电特征。最后,以LSTM型RNN神经网络作为分类器对脑电信号进行分类。本发明能够自适应地选取小波包最优子空间,并自动确定最佳频段的小波包系数构成脑电时频特征,其保留了脑电信号的时序信息,而LSTM型RNN神经网络能够充分利用基于小波包变换提取的脑电特征的时序信息,从而提高脑电信号的分类准确率,为脑电信号的识别提供一种新思路。
Description
技术领域
本发明涉及脑机接口(brain-computerinterface,BCI)***中脑电信号(Electroencephalograph,EEG)的识别方法,具体涉及利用小波包和LSTM(Long-ShortTermMemory,LSTM)型RNN(RecurrentNeuralNetwork,RNN)神经网络对运动想象脑电信号(MotorImageryEEG,MI-EEG)进行识别的方法。
背景技术
近年来随着全球老龄化问题日趋严重,老年人中又多数伴有中风及偏瘫症状,同时因交通事故而造成脊髓受损的人数也越来越多。医学理论和临床医学证明,康复训练对这类患者肢体运动功能的恢复和提高起到非常重要的作用。运动功能康复机器人的出现可以减轻康复医师的工作量,但是缺少患者的主动参与和反馈,治疗效果有待于提高。
BCI技术提供了一个良好的解决该问题的方案。BCI***通常由五个部分组成:即信号采集***、信号预处理、特征提取、分类识别和控制外部设备,如图1所示,其关键技术是脑电信号的识别,但由于脑电信号微弱、识别率低、自适应能力差等问题,BCI技术在康复机器人领域的应用还没有得到广泛利用,脑电信号的识别是目前的研究热点,同时也是研究难点。
临床医学研究表明,根据频带特点,人类大脑可以划分成四个脑电节律。人类大脑能够控制人体对侧的运动,比如人体右侧肢体运动(如右手运动)大脑的左侧运动区域的Mu节律(8~12Hz)和Beta节律(14~30Hz)能量明显减小,而同侧的运动感觉区Mu节律和Beta节律能量增大,这种电生理现象也被称为事件相关去同步(Event-RelatedDesynchronization,ERD)和事件相关同步(Event-RelatedSynchronization,ERS)。脑电信号的ERD/ERS现象是实现BCI技术的神经生理学基础。
脑电信号是一种典型的时间序列信号,而提取的时频脑电特征依然保持其时序信息,现有的脑电分类器,如BP神经网络、支持向量机(SupportVectorMachine,SVM)、线性判别式分析(LinearDiscriminantAnalysis,LDA)等没有充分利用脑电信号的时序特征,因此分类效果并不是很理想。
发明内容
针对脑电信号识别率低,脑电特征的时序信息没有被充分利用等问题,提出一种基于小波包和LSTM型RNN神经网络相结合的脑电信号识别方法,记为WPT-LSTM。该方法能够充分利用脑电信号和脑电特征的时序信息,从而提高了脑电信号的分类准确率,为脑电信号的识别提供了一种思路。
本发明为解决所述技术问题,采用如下的技术方案:
首先,利用平均功率谱法分析脑电信号的时域特性,确定有效的时域范围。其次,先利用小波包对脑电信号进行分解,然后采用改进的距离准则获取小波包最优子空间,并选取小波包最优子空间的小波包系数构成脑电特征。最终,利用LSTM神经网络作为分类器对脑电信号进行识别分类。
本发明的具体步骤如下:
步骤1,信号采集及预处理。
首先按照国际标准10-20***来安放电极,通过脑电采集设备采集n导脑电信号,并将采集到的信号通过有限脉冲响应(FiniteImpulseResponse,FIR)滤波器进行8-30Hz带通滤波,滤波后信号为其中N为样本点总数,n为脑电导联数目,m为采样点个数,为第i导联第j个采样点滤波后的脑电信号,t={1,2,…,N},i=1,2,…,n,j={1,2,…,m}。
步骤2,平均功率谱法分析脑电时域特性。
EEG信号通过电极帽采集并以电压幅值形式保存,其瞬时功率计算如下:
式中,Pi j(t)表示第t个样本第i导联第j个采样点脑电信号的瞬时功率。
假设Pi j为N次实验第i导联第j个采样点脑电信号的平均功率,则Pi j表示为:
根据式(2)分别计算出每个导联脑电信号的平均功率,并选取区别明显时间段的脑电信号进行特征提取。
步骤3,对步骤2中选取的脑电信号进行小波包分解,然后利用改进的距离准则获取小波包最优子空间,并选取最优子空间的小波包系数构成脑电特征。
步骤3.1,对脑电信号进行小波包分解。
信号在第j层第k点处的小波包分解系数递推公式为:
其中,n为滤波器系数序号,i∈{0,1,2…2j-1}为小波包子空间序号,j∈{0,1,…}为分解尺度,k∈{1,2,…}为位置指标。g(n)和h(n)为一对正交镜像滤波器。经过小波包分解,原信号按频带划分为若干小波包子空间,各子空间对应的频段为:式中,fs为信号采样率。
步骤3.2,基于改进的距离准则获取小波包子空间评价值。
设c个类别ω1,ω2…,ωc的样本矢量集为{x(p,b),p=1,2,...,c,b=1,2,...,Np},其中为ωp类中的第b个m维样本矢量,为x(p,b)的第l个分量。Np为ωp类中的特征矢量的个数。
首先,计算平均类内距离Sw如下:
式中,表示ωp类中μ(p)的第l个分量的均值,l=1,2,...,m。
其次,设ωp类样本的平均值矢量为μ(p),对c个类别的平均类间距离Sb定义为:
式中,μl为样本总体均值矢量的第l个分量。
同时引入权重因子α∈[0,1]表征对类内距离与类间距离的关注程度,得到改进的距离准则如下:
JAl=α*Sb-(1-α)*Sw(7)
利用该准则求得的评价值JAl越大,即表示对应的可分性越好。
步骤3.3,选取最优子空间的小波包系数构成脑电特征。
按式(8)计算第j层第k个小波包子空间对所有样本小波包评价的平均值JA,以表征对应的特征频段对分类的贡献度。
将小波包子空间对应的评价值按从大到小重新排列,即J* A1~J* As,即为信号可分性从大到小的排列。将评价值最高的前四个小波包子空间系数抽取出来作为脑电特征。
这里需要说明的是,由于EEG信号的个体差异性,不同实验者的最优子空间可能不同,该方法能够根据不同个体的实际信号自动选择合适的最优子空间。对于同一个个体来说,小波包最优子空间的选取只在训练阶段实施,在测试与使用阶段直接利用选取好的最优子空间的小波包系数构成脑电特征,这样大幅提高计算效率以满足脑电信号在线识别的要求。
步骤4,利用LSTM型RNN神经网络进行脑电特征分类。
RNN神经网络是一种递归神经网络,通过内部反馈存储和利用***过去时刻的输入输出信息,其网络结构如图2所示。而LSTM单元能有效的解决RNN训练时的梯度***和梯度消失问题,因此,选取LSTM型RNN神经网络对脑电时间序列信号进行分类。LSTM结构如图3所示,其计算过程如下:
(1)计算当前时刻的候选记忆单元值其计算公式如下:
式中,xt为当前输入数据,ht-1为上一时刻LSTM单元输出值,Wxc、Whc分别表示对应输入数据和上一时刻LSTM单元输出的权值,bc为偏置量。
(2)输入门是用于控制当前数据输入对记忆单元状态值的影响。所有门的计算除了受当前输入数据xt和上一时刻LSTM单元输出值ht-1影响外,还受上一时刻记忆单元值ct-1的影响。输入门it值计算公式如下:
it=σ(Wxixt+Whiht-1+Wcict-1+bi)(10)
式中,ct-1为上一时刻候选记忆单元值,Wxi、Whi和Wci分别表示对应输入门数据、上一时刻LSTM单元输入门和上一时刻输入门记忆单元值的权值,bi为偏置量。
(3)遗忘门是用于控制历史信息对当前记忆单元状态值的影响,其计算公式如下:
ft=σ(Wxfxt+Whfht-1+Wcfct-1+bf)(11)
式中,Wxf、Whf和Wcf分别表示对应遗忘门、上一时刻LSTM单元遗忘门和上一时刻遗忘门记忆单元值的权值,bi为偏置量。
(4)计算当前时刻记忆单元状态值ct,其计算公式如下:
式中,⊙表示逐点乘积,记忆单元状态更新取决于自身状态ct-1和当前的候选记忆单元值并且通过输入门和遗忘门分别对这两部分因素进行调节。
(5)输出门用于控制记忆单元状态值的输出,其计算公式如下:
ot=σ(Wxoxt+Whoht-1+Wcoct-1+bo)(13)
式中,Wxo、Who和Wco分别表示对应输出门、上一时刻LSTM单元输出门和上一时刻输出门记忆单元值的权值,bo为偏置量。
(6)依式(14)计算LSTM单元的输出:
ht=ot⊙tanh(ct)(14)
式中,σ一般取logisticsigmoid函数。
通过引入门控的设计,LSTM单元有保存,读取、重置和更新长距离历史信息的能力。LSTM网络采用通过时间的反向传播算法(BackPropagationThroughTime,BPTT)进行训练。
本发明具有如下优点:
本发明为采用小波包和LSTM型RNN神经网络相结合的脑电信号识别方法。由于小波包具有任意多尺度、能够避免小波变换固定时频分解的缺陷(如高频部分频率分辨率低)等特点,基于小波包分解并使用改进的距离准则能够获得小波包最优子空间,且可同时获得最优子空间的小波包系数,以其构成脑电时频特征,则保留了原始脑电信号的时序特征。而LSTM型RNN神经网络很好地解决了RNN训练时的梯度***和梯度消失问题,以之为分类器能真正有效利用脑电特征的时序信息,从而提高脑电信号的识别率。
附图说明
图1为BCI***基本结构示意图;
图2为RNN网络结构图;
图3为LSTM结构图;
图4为脑电采集时序图;
图5为想象右手脑电信号C3、C4导联的平均功率随时间变化图;
图6为想象左手脑电信号C3、C4导联的平均功率随时间变化图;
图7为小波包空间结构分解图;
图8表示小波包子空间评价值排序结果图;
图9为本发明的实施流程图。
具体实施方式
本实施例是在Matlab2013a的仿真环境下进行的。
实施例采用“BCICompetition2003”的DatasetIII数据集。实验采集了280次运动想象实验,其中包含想象左右手运动任务各90次的训练数据和包含想象左右手运动任务各50次的测试数据。所有的实验都在同一天完成,每两次实验中间均有几分钟的间隔,实验时序图如图3所示,每次实验过程持续9s。在起初的2s受试者保持休息状态,t=2s显示器上开始出现1个持续1s的十字光标,同时会伴随1个提示实验开始的声音信号(受试者准备开始想象任务)。在t=3~9s时,有1个指示左右方向的箭头代替十字光标作为指令,同时受试者按照指令所提示的方向通过想象左右手运动控制进度条向箭头指示方向移动。通过位于C3,C4前后(前“+”后“-”)各2.5cm位置的2对电极记录脑电信号。脑电信号的采样频率是128Hz,已经过0.5~30Hz带通滤波。
1.平均功率谱法分析脑电时域特性
根据公式(1)、(2)分别计算想象左手运动脑电信号C3、C4导联在0~9s内每个采样点对应的平均功率,即PLC3和PLC4,以及想象右手运动脑电信号C3、C4导联在0~9s内每个采样点对应的平均功率,即PRC3和PRC4,其结果如图2和图4所示。从图中可以看出想象左、右运动的平均功率都在3.5s~8s时间段内存在明显区别。故选取3.5s~8s段内的采样点为512的脑电信号进行特征提取。
2.对步骤1得到的脑电信号首先进行小波包分解,然后利用改进的距离准则获取小波包最优子空间,并选取最优子空间的小波包系数构成分类脑电特征。
步骤2.1,对脑电信号进行小波包分解。
db4小波属于Daubechies小波系,是具有紧支撑集的规范正交小波,能够对EEG进行有效分析,故选取db4小波基函数按照公式(3)、(4)对步骤1得到的脑电信号进行5层小波包分解得到小波包树和小波包系数,小波包空间结构如图6所示。
步骤2.2,基于改进的距离准则获取小波包最优子空间,
按照公式(5)、(6)求得平均类内距离Sw和平均类间距离Sb,然后根据准则(7)求得的评价值JAl。图7为J* A1~J* Ad为计算小波包子空间对应的评价值排序。
步骤2.3,选取最优子空间的小波包系数构成分类脑电特征。
每个小波包的评价值JA根据公式(7)由小波包子空间内所有评价值JAl计算得到,然后按式(8)计算第j层第k个小波包子空间对所有样本小波包评价平均值JA,以表征对应的特征频段对分类的贡献度。
将小波包最优子空间对应的评价平均值按从大到小重新排列,即J* A1~J* As,表征信号的可分性从大到小的排列。小波包子空间个数和权重因子α的取值对分类复杂度有一定影响,实际中应综合考虑。本施例实验数据选取DatasetIII数据集280组中C3、C4导脑电数据进行5折交叉验证实验。不同的小波包子空间个数和不同的权重因子下的实验结果如表1所示,并在此基础上求出平均分类准确度。
表1权重因子α及特征空间维数对分类正确率的影响
表1中分别列举了α取0.5、0.7、0.9时,分别选取较大可分性的前2~5个小波包子空间对应的小波包系数作为脑电特征,均得到了较高的正确率。当α取0.7且特征维数取64时,得到的结果最好,平均正确率达到94.4%,这说明当α取0.7时,脑电数据的类间距离和类内距离的关注程度设置较合适,故选取4个小波包子空间的小波包系数作为脑电特征最合适。
通过改进的距离准则选取4个小波包子空间分别为第5层的第1、7、8、13个,其大致对应[0.5Hz,1.4Hz]、[6.0Hz,7.9Hz]、[11.6Hz,12.5Hz]几个频段。从这几个频段可以看出选取的频段与想象左、右手运动中分类特征较明显的Mu节律(8~12Hz)频段比较接近。故由这四个频段组成脑电的特征集DM*N,其中,M=16,表示一个小波包子空间小波包系数的维度,N=8,表示分别从选取C3、C4导中第1、7、8、13个小波包子空间的小波包系数。
本次实验数据为同一个人的脑电,所以小波包最优子空间的选取只在训练阶段实施,在测试与使用阶段直接利用选取好的最优子空间的小波包系数构成脑电特征,这样可以较大幅地减少程序运算量,有利于提高程序运行速度。
3.利用LSTM型RNN神经网络对脑电特征进行分类
对步骤2得到的脑电信号特征集DM*N,其维数为16*8,故构建一个三层的LSTM型RNN网络结果,因同一时刻特征向量维数为8,故输入神经元个数为8,输出为2分类,故输出神经元个数为1。本实施例实验数据选取DatasetIII数据集280组中C3、C4导脑电数据,基于WPT进行特征提取,并LSTM行RNN神经网络为分类器进行5折交叉验证实验研究,验证该网络的分类性能。
关于隐含层神经元的个数确定,采用了经验+实验的方式,即先根据经验确定大致范围,然后进行多次实验进行确定。
表2隐含层神经元个数对分类正确率的影响
从表2中可知,当隐含层神经元个数为9时,取得了94.4%分类准确率。故本发明隐含层神经元个数设为9。
将上述小波包与LSTM神经网络相结合组成WPT-LSTM脑电信号识别方法,该方法能够充分利用基于小波包变换提取的脑电特征的时序信息,从而提高了脑电信号的分类准确率,为脑电信号的识别提供一种新思路。
如图9所示为本发明的实施流程图。
Claims (1)
1.基于小波包和LSTM型RNN神经网络的脑电识别方法,其特征在于:
首先,利用平均功率谱法分析脑电信号的时域特性,确定有效的时域范围;其次,先利用小波包对脑电信号进行分解,然后采用改进的距离准则获取小波包最优子空间,并选取小波包最优子空间的小波包系数构成脑电特征;最终,利用LSTM神经网络作为分类器对脑电信号进行识别分类;
其特征在于:本方法的具体步骤如下,
步骤1,信号采集及预处理;
首先按照国际标准10-20***来安放电极,通过脑电采集设备采集n导脑电信号,并将采集到的信号通过有限脉冲响应(FiniteImpulseResponse,FIR)滤波器进行8-30Hz带通滤波,滤波后信号为其中N为样本点总数,n为脑电导联数目,m为采样点个数,为第i导联第j个采样点滤波后的脑电信号,t={1,2,…,N},i=1,2,…,n,j={1,2,…,m};
步骤2,平均功率谱法分析脑电时域特性;
EEG信号通过电极帽采集并以电压幅值形式保存,其瞬时功率计算如下:
式中,Pi j(t)表示第t个样本第i导联第j个采样点脑电信号的瞬时功率;
假设Pi j为N次实验第i导联第j个采样点脑电信号的平均功率,则表示为:
根据式(2)分别计算出每个导联脑电信号的平均功率,并选取区别明显时间段的脑电信号进行特征提取;
步骤3,对步骤2中选取的脑电信号进行小波包分解,然后利用改进的距离准则获取小波包最优子空间,并选取最优子空间的小波包系数构成脑电特征;
步骤3.1,对脑电信号进行小波包分解;
信号在第j层第k点处的小波包分解系数递推公式为:
其中,n为滤波器系数序号,i∈{0,1,2…2j-1}为小波包子空间序号,j∈{0,1,…}为分解尺度,k∈{1,2,…}为位置指标;g(n)和h(n)为一对正交镜像滤波器;经过小波包分解,原信号按频带划分为若干小波包子空间,各子空间对应的频段为:式中,fs为信号采样率;
步骤3.2,基于改进的距离准则获取小波包子空间评价值;
设c个类别ω1,ω2…,ωc的样本矢量集为{x(p,b),p=1,2,...,c,b=1,2,...,Np},其中x(p,b)=(x1 (p,b),x2 (p,b),...,xm (p,b))为ωp类中的第b个m维样本矢量,为x(p,b)的第l个分量;Np为ωp类中的特征矢量的个数;
首先,计算平均类内距离Sw如下:
式中,表示ωp类中μ(p)的第l个分量的均值,l=1,2,...,m;
其次,设ωp类样本的平均值矢量为μ(p),对c个类别的平均类间距离Sb定义为:
式中,μl为样本总体均值矢量的第l个分量;
同时引入权重因子α∈[0,1]表征对类内距离与类间距离的关注程度,得到改进的距离准则如下:
JAl=α*Sb-(1-α)*Sw(7)
利用该准则求得的评价值JAl越大,即表示对应的可分性越好;
步骤3.3,选取最优子空间的小波包系数构成脑电特征;
按式(8)计算第j层第k个小波包子空间对所有样本小波包评价的平均值JA,以表征对应的特征频段对分类的贡献度;
将小波包子空间对应的评价值按从大到小重新排列,即J* A1~J* As,即为信号可分性从大到小的排列;将评价值最高的前四个小波包子空间系数抽取出来作为脑电特征;
这里需要说明的是,由于EEG信号的个体差异性,不同实验者的最优子空间可能不同,该方法能够根据不同个体的实际信号自动选择合适的最优子空间;对于同一个个体来说,小波包最优子空间的选取只在训练阶段实施,在测试与使用阶段直接利用选取好的最优子空间的小波包系数构成脑电特征,这样大幅提高计算效率以满足脑电信号在线识别的要求;
步骤4,利用LSTM型RNN神经网络进行脑电特征分类;
RNN神经网络是一种递归神经网络,通过内部反馈存储和利用***过去时刻的输入输出信息;而LSTM单元能有效的解决RNN训练时的梯度***和梯度消失问题,因此,选取LSTM型RNN神经网络对脑电时间序列信号进行分类,其计算过程如下:
(1)计算当前时刻的候选记忆单元值其计算公式如下:
式中,xt为当前输入数据,ht-1为上一时刻LSTM单元输出值,Wxc、Whc分别表示对应输入数据和上一时刻LSTM单元输出的权值,bc为偏置量;
(2)输入门是用于控制当前数据输入对记忆单元状态值的影响;所有门的计算除了受当前输入数据xt和上一时刻LSTM单元输出值ht-1影响外,还受上一时刻记忆单元值ct-1的影响;输入门it值计算公式如下:
it=σ(Wxixt+Whiht-1+Wcict-1+bi)(10)
式中,ct-1为上一时刻候选记忆单元值,Wxi、Whi和Wci分别表示对应输入门数据、上一时刻LSTM单元输入门和上一时刻输入门记忆单元值的权值,bi为偏置量;
(3)遗忘门是用于控制历史信息对当前记忆单元状态值的影响,其计算公式如下:
ft=σ(Wxfxt+Whfht-1+Wcfct-1+bf)(11)
式中,Wxf、Whf和Wcf分别表示对应遗忘门、上一时刻LSTM单元遗忘门和上一时刻遗忘门记忆单元值的权值,bi为偏置量;
(4)计算当前时刻记忆单元状态值ct,其计算公式如下:
式中,⊙表示逐点乘积,记忆单元状态更新取决于自身状态ct-1和当前的候选记忆单元值并且通过输入门和遗忘门分别对这两部分因素进行调节;
(5)输出门用于控制记忆单元状态值的输出,其计算公式如下:
ot=σ(Wxoxt+Whoht-1+Wcoct-1+bo)(13)
式中,Wxo、Who和Wco分别表示对应输出门、上一时刻LSTM单元输出门和上一时刻输出门记忆单元值的权值,bo为偏置量;
(6)依式(14)计算LSTM单元的输出:
ht=ot⊙tanh(ct)(14)
式中,σ一般取logisticsigmoid函数;
通过引入门控的设计,LSTM单元有保存,读取、重置和更新长距离历史信息的能力;LSTM网络采用通过时间的反向传播算法进行训练。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610154659.1A CN105559777B (zh) | 2016-03-17 | 2016-03-17 | 基于小波包和lstm型rnn神经网络的脑电识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610154659.1A CN105559777B (zh) | 2016-03-17 | 2016-03-17 | 基于小波包和lstm型rnn神经网络的脑电识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105559777A true CN105559777A (zh) | 2016-05-11 |
CN105559777B CN105559777B (zh) | 2018-10-12 |
Family
ID=55870829
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610154659.1A Expired - Fee Related CN105559777B (zh) | 2016-03-17 | 2016-03-17 | 基于小波包和lstm型rnn神经网络的脑电识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105559777B (zh) |
Cited By (32)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106037725A (zh) * | 2016-06-28 | 2016-10-26 | 中国科学院苏州生物医学工程技术研究所 | 基于小波包变换的生物电脑部信号分析方法 |
CN106127191A (zh) * | 2016-07-06 | 2016-11-16 | 东南大学 | 基于小波包分解及逻辑回归的脑电分类方法 |
CN107169462A (zh) * | 2017-05-19 | 2017-09-15 | 山东建筑大学 | 一种基于层次分析的脑电信号特征分类的二分类方法 |
WO2017193595A1 (zh) * | 2016-05-13 | 2017-11-16 | 广州视源电子科技股份有限公司 | 催眠状态脑电信号提取方法与*** |
CN107890348A (zh) * | 2017-11-21 | 2018-04-10 | 郑州大学 | 一种基于深度学习法心电节拍特征自动化提取及分类方法 |
CN108197077A (zh) * | 2018-01-22 | 2018-06-22 | 广东工业大学 | 一种基于小波包分解的MEAs生物信号的数据降维方法 |
CN108446021A (zh) * | 2018-02-28 | 2018-08-24 | 天津大学 | 基于压缩感知的p300脑机接口在智能家居中的应用方法 |
CN108881985A (zh) * | 2018-07-18 | 2018-11-23 | 南京邮电大学 | 基于脑电情绪识别的节目评分*** |
CN109124625A (zh) * | 2018-09-04 | 2019-01-04 | 大连理工大学 | 一种驾驶员疲劳状态水平分级方法 |
CN109255440A (zh) * | 2017-07-11 | 2019-01-22 | 上海有孚网络股份有限公司 | 基于递归神经网络(rnn)的对电力生产设备进行预测性维护的方法 |
CN109375776A (zh) * | 2018-10-30 | 2019-02-22 | 东北师范大学 | 基于多任务rnn模型的脑电信号动作意图识别方法 |
CN109490793A (zh) * | 2018-10-11 | 2019-03-19 | 西安电子科技大学 | 一种基于小波分解和lstm的x射线高压电源故障预测方法 |
CN109480835A (zh) * | 2018-12-29 | 2019-03-19 | 中国人民解放军***福州总医院 | 一种基于长短期记忆神经网络的精神疲劳检测方法 |
CN109758160A (zh) * | 2019-01-11 | 2019-05-17 | 南京邮电大学 | 一种基于lstm-rnn模型的无创血糖预测方法 |
CN109846477A (zh) * | 2019-01-29 | 2019-06-07 | 北京工业大学 | 一种基于频带注意力残差网络的脑电分类方法 |
CN109948427A (zh) * | 2019-01-24 | 2019-06-28 | 齐鲁工业大学 | 一种基于长短时记忆模型的意念识别方法 |
CN110090017A (zh) * | 2019-03-11 | 2019-08-06 | 北京工业大学 | 一种基于lstm的脑电信号源定位方法 |
CN110244854A (zh) * | 2019-07-16 | 2019-09-17 | 湖南大学 | 一种多类别脑电数据识别的人工智能方法 |
CN110292377A (zh) * | 2019-06-10 | 2019-10-01 | 东南大学 | 基于瞬时频率和功率谱熵融合特征的脑电信号分析方法 |
CN110610168A (zh) * | 2019-09-20 | 2019-12-24 | 合肥工业大学 | 一种基于注意力机制的脑电情绪识别方法 |
CN110955152A (zh) * | 2019-12-02 | 2020-04-03 | 杭州创匠信息科技有限公司 | 基于脑机接口的智能家居控制方法及*** |
CN111528836A (zh) * | 2020-05-06 | 2020-08-14 | 北京工业大学 | 基于动态定向传递函数的脑功能网络特征提取方法 |
WO2020204808A1 (en) * | 2019-03-29 | 2020-10-08 | Agency For Science, Technology And Research | A system and method for measuring non-stationary brain signals |
WO2020248008A1 (en) * | 2019-06-14 | 2020-12-17 | The University Of Adelaide | A method and system for classifying sleep related brain activity |
CN112244878A (zh) * | 2020-08-31 | 2021-01-22 | 北京工业大学 | 用并联型多模块cnn和lstm识别关键频带图像序列的方法 |
CN112365935A (zh) * | 2020-10-20 | 2021-02-12 | 燕山大学 | 一种基于多尺度深度网络的水泥游离钙软测量方法 |
CN112651426A (zh) * | 2020-12-01 | 2021-04-13 | 华北电力大学(保定) | 一种风电机组滚动轴承故障诊断方法 |
CN113112017A (zh) * | 2021-04-16 | 2021-07-13 | 唐山市工人医院 | 基于神经流形的脑电分级与预后fpga解码*** |
CN113177482A (zh) * | 2021-04-30 | 2021-07-27 | 中国科学技术大学 | 一种基于最小类别混淆的跨个体脑电信号分类方法 |
CN113208615A (zh) * | 2021-06-07 | 2021-08-06 | 山东大学 | 一种用于心肺复苏仪的连续脑电监测及反馈***与方法 |
CN114129175A (zh) * | 2021-11-19 | 2022-03-04 | 江苏科技大学 | 基于lstm和bp的运动想象脑电信号的分类方法 |
CN114265373A (zh) * | 2021-11-22 | 2022-04-01 | 煤炭科学研究总院 | 综采面一体式操控台控制*** |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101352337A (zh) * | 2007-12-25 | 2009-01-28 | 天津大学 | 站起想象动作脑电的信号采集和特征提取方法 |
CN104538028A (zh) * | 2014-12-25 | 2015-04-22 | 清华大学 | 一种基于深度长短期记忆循环神经网络的连续语音识别方法 |
CN104952448A (zh) * | 2015-05-04 | 2015-09-30 | 张爱英 | 一种双向长短时记忆递归神经网络的特征增强方法及*** |
-
2016
- 2016-03-17 CN CN201610154659.1A patent/CN105559777B/zh not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101352337A (zh) * | 2007-12-25 | 2009-01-28 | 天津大学 | 站起想象动作脑电的信号采集和特征提取方法 |
CN104538028A (zh) * | 2014-12-25 | 2015-04-22 | 清华大学 | 一种基于深度长短期记忆循环神经网络的连续语音识别方法 |
CN104952448A (zh) * | 2015-05-04 | 2015-09-30 | 张爱英 | 一种双向长短时记忆递归神经网络的特征增强方法及*** |
Non-Patent Citations (4)
Title |
---|
P. R. DAVIDSON等: "Detecting Behavioral Microsleeps using EEG and LSTM Recurrent Neural Networks", 《ENGINEERING IN MEDICINE AND BIOLOGY 27TH ANNUAL CONFERENCE》 * |
PAULR.DAVIDSON等: "EEG-Based Lapse Detection With High Temporal Resolution", 《IEEE TRANSACTIONS ON BIOMEDICAL ENGINEERING》 * |
李明爱等: "基于小波包最优基的运动想象EEG自适应特征提取方法", 《计算机测量与控制》 * |
李明爱等: "想象左右手运动的脑电特征提取及分类研究", 《中国生物医学工程学报》 * |
Cited By (42)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017193595A1 (zh) * | 2016-05-13 | 2017-11-16 | 广州视源电子科技股份有限公司 | 催眠状态脑电信号提取方法与*** |
CN106037725A (zh) * | 2016-06-28 | 2016-10-26 | 中国科学院苏州生物医学工程技术研究所 | 基于小波包变换的生物电脑部信号分析方法 |
CN106037725B (zh) * | 2016-06-28 | 2019-08-27 | 中国科学院苏州生物医学工程技术研究所 | 基于小波包变换的生物电脑部信号分析方法 |
CN106127191A (zh) * | 2016-07-06 | 2016-11-16 | 东南大学 | 基于小波包分解及逻辑回归的脑电分类方法 |
CN106127191B (zh) * | 2016-07-06 | 2019-07-12 | 东南大学 | 基于小波包分解及逻辑回归的脑电分类方法 |
CN107169462A (zh) * | 2017-05-19 | 2017-09-15 | 山东建筑大学 | 一种基于层次分析的脑电信号特征分类的二分类方法 |
CN109255440A (zh) * | 2017-07-11 | 2019-01-22 | 上海有孚网络股份有限公司 | 基于递归神经网络(rnn)的对电力生产设备进行预测性维护的方法 |
CN107890348A (zh) * | 2017-11-21 | 2018-04-10 | 郑州大学 | 一种基于深度学习法心电节拍特征自动化提取及分类方法 |
CN108197077A (zh) * | 2018-01-22 | 2018-06-22 | 广东工业大学 | 一种基于小波包分解的MEAs生物信号的数据降维方法 |
CN108446021A (zh) * | 2018-02-28 | 2018-08-24 | 天津大学 | 基于压缩感知的p300脑机接口在智能家居中的应用方法 |
CN108446021B (zh) * | 2018-02-28 | 2020-03-17 | 天津大学 | 基于压缩感知的p300脑机接口在智能家居中的应用方法 |
CN108881985A (zh) * | 2018-07-18 | 2018-11-23 | 南京邮电大学 | 基于脑电情绪识别的节目评分*** |
CN109124625A (zh) * | 2018-09-04 | 2019-01-04 | 大连理工大学 | 一种驾驶员疲劳状态水平分级方法 |
CN109124625B (zh) * | 2018-09-04 | 2021-07-20 | 大连理工大学 | 一种驾驶员疲劳状态水平分级方法 |
CN109490793A (zh) * | 2018-10-11 | 2019-03-19 | 西安电子科技大学 | 一种基于小波分解和lstm的x射线高压电源故障预测方法 |
CN109375776B (zh) * | 2018-10-30 | 2021-07-23 | 东北师范大学 | 基于多任务rnn模型的脑电信号动作意图识别方法 |
CN109375776A (zh) * | 2018-10-30 | 2019-02-22 | 东北师范大学 | 基于多任务rnn模型的脑电信号动作意图识别方法 |
CN109480835B (zh) * | 2018-12-29 | 2021-04-27 | 中国人民解放军联勤保障部队第九00医院 | 一种基于长短期记忆神经网络的精神疲劳检测方法 |
CN109480835A (zh) * | 2018-12-29 | 2019-03-19 | 中国人民解放军***福州总医院 | 一种基于长短期记忆神经网络的精神疲劳检测方法 |
CN109758160A (zh) * | 2019-01-11 | 2019-05-17 | 南京邮电大学 | 一种基于lstm-rnn模型的无创血糖预测方法 |
CN109948427A (zh) * | 2019-01-24 | 2019-06-28 | 齐鲁工业大学 | 一种基于长短时记忆模型的意念识别方法 |
CN109846477A (zh) * | 2019-01-29 | 2019-06-07 | 北京工业大学 | 一种基于频带注意力残差网络的脑电分类方法 |
CN110090017B (zh) * | 2019-03-11 | 2021-09-14 | 北京工业大学 | 一种基于lstm的脑电信号源定位方法 |
CN110090017A (zh) * | 2019-03-11 | 2019-08-06 | 北京工业大学 | 一种基于lstm的脑电信号源定位方法 |
WO2020204808A1 (en) * | 2019-03-29 | 2020-10-08 | Agency For Science, Technology And Research | A system and method for measuring non-stationary brain signals |
CN110292377A (zh) * | 2019-06-10 | 2019-10-01 | 东南大学 | 基于瞬时频率和功率谱熵融合特征的脑电信号分析方法 |
WO2020248008A1 (en) * | 2019-06-14 | 2020-12-17 | The University Of Adelaide | A method and system for classifying sleep related brain activity |
CN110244854A (zh) * | 2019-07-16 | 2019-09-17 | 湖南大学 | 一种多类别脑电数据识别的人工智能方法 |
CN110610168A (zh) * | 2019-09-20 | 2019-12-24 | 合肥工业大学 | 一种基于注意力机制的脑电情绪识别方法 |
CN110610168B (zh) * | 2019-09-20 | 2021-10-26 | 合肥工业大学 | 一种基于注意力机制的脑电情绪识别方法 |
CN110955152A (zh) * | 2019-12-02 | 2020-04-03 | 杭州创匠信息科技有限公司 | 基于脑机接口的智能家居控制方法及*** |
CN111528836B (zh) * | 2020-05-06 | 2023-04-28 | 北京工业大学 | 基于动态定向传递函数的脑功能网络特征提取方法 |
CN111528836A (zh) * | 2020-05-06 | 2020-08-14 | 北京工业大学 | 基于动态定向传递函数的脑功能网络特征提取方法 |
CN112244878A (zh) * | 2020-08-31 | 2021-01-22 | 北京工业大学 | 用并联型多模块cnn和lstm识别关键频带图像序列的方法 |
CN112244878B (zh) * | 2020-08-31 | 2023-08-04 | 北京工业大学 | 用并联型多模块cnn和lstm识别关键频带图像序列的方法 |
CN112365935A (zh) * | 2020-10-20 | 2021-02-12 | 燕山大学 | 一种基于多尺度深度网络的水泥游离钙软测量方法 |
CN112651426A (zh) * | 2020-12-01 | 2021-04-13 | 华北电力大学(保定) | 一种风电机组滚动轴承故障诊断方法 |
CN113112017A (zh) * | 2021-04-16 | 2021-07-13 | 唐山市工人医院 | 基于神经流形的脑电分级与预后fpga解码*** |
CN113177482A (zh) * | 2021-04-30 | 2021-07-27 | 中国科学技术大学 | 一种基于最小类别混淆的跨个体脑电信号分类方法 |
CN113208615A (zh) * | 2021-06-07 | 2021-08-06 | 山东大学 | 一种用于心肺复苏仪的连续脑电监测及反馈***与方法 |
CN114129175A (zh) * | 2021-11-19 | 2022-03-04 | 江苏科技大学 | 基于lstm和bp的运动想象脑电信号的分类方法 |
CN114265373A (zh) * | 2021-11-22 | 2022-04-01 | 煤炭科学研究总院 | 综采面一体式操控台控制*** |
Also Published As
Publication number | Publication date |
---|---|
CN105559777B (zh) | 2018-10-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105559777A (zh) | 基于小波包和lstm型rnn神经网络的脑电识别方法 | |
CN102521505B (zh) | 用于控制意图识别的脑电和眼电信号决策融合方法 | |
CN108983973B (zh) | 一种基于手势识别的仿人灵巧肌电假手控制方法 | |
CN102930284B (zh) | 基于经验模态分解和分形的表面肌电信号模式识别方法 | |
CN110969108B (zh) | 一种基于自主运动想象脑电的肢体动作识别方法 | |
CN109770924A (zh) | 一种基于广义一致性构建脑功能网络与相关向量机的疲劳分类方法 | |
CN107233086A (zh) | 使用低功率传感器进行心率和呼吸率估计的方法和装置 | |
CN114533086B (zh) | 一种基于空域特征时频变换的运动想象脑电解码方法 | |
AlOmari et al. | Analysis of extracted forearm sEMG signal using LDA, QDA, K-NN classification algorithms | |
CN105997064A (zh) | 一种用于人体下肢表面肌电信号的辨识方法 | |
CN112043473B (zh) | 智能假肢脑-肌电融合感知的并行嵌套与自主择优分类器 | |
CN113158964B (zh) | 一种基于残差学习和多粒度特征融合的睡眠分期方法 | |
CN105769173A (zh) | 一种具有心电信号去噪功能的心电监测*** | |
CN109671500A (zh) | 基于脑电图时域数据的精神***症辅助诊断分类方法 | |
CN103340624B (zh) | 少通道下运动想象脑电特征的提取方法 | |
CN104035563B (zh) | 基于w‑pca和无监督ghsom的脑电信号识别方法 | |
Zhang et al. | PCA and LDA for EMG-based control of bionic mechanical hand | |
CN110269609A (zh) | 基于单通道的脑电信号中眼电伪迹分离方法 | |
CN103610447A (zh) | 一种基于前额脑电信号的脑力负荷在线检测方法 | |
CN103761424A (zh) | 基于二代小波和ica的肌电信号降噪与去混迭方法 | |
CN113111831A (zh) | 一种基于多模态信息融合的手势识别技术 | |
Uyulan et al. | Analysis of Time—Frequency EEG Feature Extraction Methods for Mental Task Classification | |
CN107212883A (zh) | 一种基于脑电控制的机械臂写字装置及控制方法 | |
CN105534517A (zh) | 一种去除三导联心电信号中车辆运动噪声的方法 | |
Attenberger et al. | Modeling and visualization of classification-based control schemes for upper limb prostheses |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20181012 |