CN110321856B - 一种时频多尺度散度csp的脑机接口方法及装置 - Google Patents

一种时频多尺度散度csp的脑机接口方法及装置 Download PDF

Info

Publication number
CN110321856B
CN110321856B CN201910609453.7A CN201910609453A CN110321856B CN 110321856 B CN110321856 B CN 110321856B CN 201910609453 A CN201910609453 A CN 201910609453A CN 110321856 B CN110321856 B CN 110321856B
Authority
CN
China
Prior art keywords
frequency
time
electroencephalogram
divergence
csp
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910609453.7A
Other languages
English (en)
Other versions
CN110321856A (zh
Inventor
周卫东
刘国洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong University
Original Assignee
Shandong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong University filed Critical Shandong University
Priority to CN201910609453.7A priority Critical patent/CN110321856B/zh
Publication of CN110321856A publication Critical patent/CN110321856A/zh
Application granted granted Critical
Publication of CN110321856B publication Critical patent/CN110321856B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/08—Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Psychiatry (AREA)
  • Public Health (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Physiology (AREA)
  • Signal Processing (AREA)
  • Mathematical Physics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Fuzzy Systems (AREA)
  • Psychology (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

本发明涉及一种时频多尺度散度CSP的脑机接口方法及装置，首先通过脑电放大器和A/D转换采集脑电信号，然后将采集到的脑电信号送至计算机进行处理，实现脑电信号的时频多尺度分割、时频脑电段的选择，通过一对一CSP及一对多SVM生成时频多尺度分类器，并通过时频多尺度分类器完成对脑电信号的分类。本发明利用在时域频域多尺度分割、时频脑电段选择、散度CSP等方法，提高了运动想象脑机接口的运行速度，提高了识别准确率。

Description

一种时频多尺度散度CSP的脑机接口方法及装置
技术领域
本发明涉及一种时频多尺度散度CSP的脑机接口方法及装置，属于脑机接口的技术领域。
背景技术
目前，现实生活中有很多病人因患有严重的运动障碍，如脑卒中或肌肉萎缩性脊髓侧索硬化症等，而丧失基本的与外界进行语言或者肢体沟通的能力。这严重影响了患者的生活质量，也给其家庭和社会造成重大的负担。随着生物医学工程的发展以及人们对康复医学领域的重视，脑机接口(Brain Computer Interface,BCI)技术成为近几年研究的热点之一。脑机接口是一种不依赖于常规的脑外周神经和肌肉***，直接在大脑和计算机等电子设备之间建立起信息交流和控制的通讯***。在康复医学领域，脑机接口技术能够帮助肢体残疾或者大脑损伤的患者实现对外部设备的控制，如控制轮椅、假肢、家用电器等。
不同的运动想象模式所激活的大脑皮层的区域也不同；单边肢体运动或想象运动能激活主要的感觉运动皮层，大脑对侧产生事件相关去同步电位(Event RelatedDesynchronization,ERD)，大脑同侧产生事件相关同步电位(Event RelatedSynchronization,ERS)；ERD是指当某一皮层区域活跃起来时，特定频率的节律性活动表现出幅度的降低，ERS是指当某一活动在一定时刻没有使相关皮层区域明显地活跃起来，特定频率就表现出幅度升高。运动想象会导致频率为8-12Hz的u节律和频率为13-28Hz的β节律的幅度压制即事件相关去同步化ERD，或幅度增加即事件相关同步ERS。
目前，运动想象方面已经有多种特征提取方法，如共空域模式滤波器(CommonSpatial Pattern,CSP)、频带功率、自回归系数和黎曼方差特征等。目前，在运动想象分类方面效果较好的方法是CT Guan等人在2008年提出的滤波器库CSP(Filter Bank CSP)算法，但他们提出的算法没有在时域和频域上对脑电段进行多尺度分割，准确率不高，泛化性不好。
发明内容
针对现有技术的不足，本发明提出了一种时频多尺度散度CSP的脑机接口方法。该方法是将采集到的脑电信号在时域和频域进行多尺度分割，然后对每一尺度段进行一对一散度CSP(Divergence-based Common Spatial Pattern)提取特征，将得到的特征利用单层神经网络进行时频脑电段选择，对选择的时频脑电段进行一对一散度CSP特征提取及一对多SVM生成时频多尺度分类器对脑电信号进行分类，进而获得脑电状态检测结果。
本发明还提供一种执行上述时频多尺度散度CSP的脑机接口方法的装置。
发明概述
一种时频多尺度散度CSP的脑机接口方法，基于脑电放大器、采集和计算机构成的硬件平台实现对脑电状态的检测；首先通过脑电放大器和A/D转换采集脑电信号，然后将采集到的原始脑电信号送至计算机进行处理，对脑电信号在时域和频域进行多尺度分割、时频脑电段选择，对选择的时频脑电段进行一对一散度CSP特征提取及一对多SVM生成时频多尺度分类器，最终通过时频多尺度分类器完成对脑电信号的分类,发出控制命令。
术语解释：
二分类SVM是指可实现二分类的支持向量机分类器。
发明详述
本发明的技术方案如下：
一种时频多尺度散度CSP的脑机接口方法，包括步骤如下：
1)使用脑电放大器和A/D转换器采集实验者想象K个类别运动时产生的脑电信号，并存储至计算机中；采样频率为Fs，脑电信号长度为L，每个类别采集N次，总共采集M＝N×K个样本；实验者想象第k个类别运动时其脑电信号Sk对应的类别标签为k；k＝1,...,K；K个类别运动例如想象左手、右手、脚趾和舌头运动；
2)将脑电信号Sk在时域上进行Nt个尺度分割，在尺度n下将脑电信号Sk按每一段与上一段重叠50％的方式分割为
Figure BDA0002121870140000021
个长度为Tn的脑电段，其中n＝1,…,Nt；若最后分割后的脑电段长度有剩余，则再取一段包含该剩余长度的长度为Tn的脑电段作为该尺度下的分段；脑电信号Sk在时域上共可被分割为Nst个时频脑电段；其中，
Figure BDA0002121870140000022
Figure BDA0002121870140000023
round()为四舍五入取整函数，ceil()为向上取整函数；
3)针对步骤2)分割后的每一段脑电段，在频域上的频带范围[Fmin,Fmax]内进行Nf个尺度分割；0<Fmin<Fmax<Fs，Fmin为频带下限频率，Fmax为频带上限频率；在尺度m下将脑电段按每一频带与上一频带重叠50％的方式分割为
Figure BDA0002121870140000024
个频带宽度为Dm的脑电段，m＝1,…,Nf；若在频带范围[Fmin,Fmax]内分割后仍有剩余，则不使用剩余的频带；这样，步骤2)中得到的每个脑电段共被分割为Nsf个频带宽度为Dm的时频脑电段；其中，Nf＝floor(log2(Fmax-Fmin+1)-1)，Dm＝1+2m+1，
Figure BDA0002121870140000031
floor()为向下取整函数；
4)经过步骤2)和3)所获得的时频脑电段进行包裹式时频脑电段选择，包裹式时频脑电段选择的步骤为：
a)设时频脑电段总数为E＝Nst×Nsf，采用每个时频脑电段Ps对应的Np个样本的集合
Figure BDA0002121870140000032
进行一对一散度CSP训练，得到V个散度CSP滤波器Ws,
Figure BDA0002121870140000033
Ch为脑电通道数目，d为散度CSP算法中设定截取的行数；将每个时频脑电段Ps分别投影至V个散度CSP滤波器上，进行一对一散度CSP滤波，得到滤波后的时频脑电段
Figure BDA0002121870140000034
b)对
Figure BDA0002121870140000035
的每行数据进行对数特征提取，得到特征值向量
Figure BDA0002121870140000036
Figure BDA0002121870140000037
为特征值向量Fws中的第i个特征值，
Figure BDA0002121870140000038
为
Figure BDA0002121870140000039
中的第i行数据，var(·)为计算方差的函数，将每个时频脑电段对应的V个特征值向量Fws连接成一个总特征向量
Figure BDA00021218701400000310
其中Q＝V×d为总特征向量中包含的特征数目；
c)将每个时频脑电段计算出的总特征向量对应的Np个样本的集合作为训练集，其余的M-Np个样本的总特征向量集合作为验证集，训练E个K分类输出的单层人工神经网络并在相应的验证集上进行测试，得到E个准确率；将E个准确率连接成一个向量，得到准确率向量
Figure BDA00021218701400000311
Aj为第j个准确率；
d)将得到的准确率向量A进行降序排序，将前G个准确率值对应的时频脑电段作为选择的时频脑电段；
5)将步骤4)中得到的G个时频脑电段中的每个时频脑电段Pa对应的M个样本的集合
Figure BDA00021218701400000312
经过一对一散度CSP训练，得到V个散度CSP滤波器矩阵
Figure BDA00021218701400000313
将每个时频脑电段Pa分别投影至V个散度CSP滤波器上进行一对一散度CSP滤波，得到滤波后的时频脑电段
Figure BDA00021218701400000314
对
Figure BDA00021218701400000315
的每行数据进行对数特征提取，得到特征值向量
Figure BDA0002121870140000041
为特征向量Fwa中的第i个特征值，
Figure BDA0002121870140000042
为
Figure BDA0002121870140000043
中的第i行数据，var(·)为计算方差的函数，将M个样本的G个时频脑电段对应的V次散度CSP得到的特征向量连接成一个总特征集合
Figure BDA0002121870140000044
其中H＝V×d×G为每个样本对应的特征个数；
6)将步骤5)中得到的总特征集合
Figure BDA0002121870140000045
以及对应的类别标签送入一对多SVM进行训练，即将每一个类别与另外K-1个类别的样本送入二分类SVM中进行训练，得到K个SVM分类器；
7)将步骤5)中得到的V×G个散度CSP滤波器以及步骤6)中得到的K个SVM模型组成时频多尺度分类器；时频多尺度分类器先对输入的时频脑电段进行一对一散度CSP滤波，并获得对数特征，后对获得的对数特征进行一对多SVM分类；
8)将采集的脑电信号得到的G个时频脑电段送入时频多尺度分类器中进行分类，获得脑电信号的类别标签p，p＝1,…K；
9)根据类别标签p转化为对应的控制命令控制外部设备。
根据本发明优选的，步骤3)中对频带进行分割是指：利用J阶的巴特沃斯滤波器对脑电段进行带通滤波。
进一步优选的，J＝7。
根据本发明优选的，步骤4)中，一对一散度CSP训练，实现步骤包括：
①取集合
Figure BDA0002121870140000046
中某一时频脑电段的数据样本
Figure BDA0002121870140000047
中的未重复使用过的两类，设为X1 *、X2 *，N*为训练集样本数目，Tn为在时域上的第n个尺度下脑电段的长度，n＝1,…,Nt；
②计算X1 *与X2 *的协方差矩阵Σ1、Σ2，并计算白化矩阵
Figure BDA0002121870140000048
③随机初始化旋转矩阵
Figure BDA0002121870140000049
④计算白化并旋转后的协方差矩阵
Figure BDA00021218701400000410
⑤选定一个最大迭代次数Ne，ne代表迭代次数，从ne＝1开始进行以下循环迭代：
e)计算梯度矩阵
Figure BDA00021218701400000411
目标函数J(R)如式(I)所示：
Figure BDA0002121870140000051
式(I)中，DKL为KL散度函数，Id为截断矩阵前d行的单位矩阵；0≤λ≤1为惩罚系数；c为类别序号，i为样本序号；
f)设
Figure BDA00021218701400000510
为目标函数在更新旋转矩阵U＝I处的梯度，I为单位矩阵，在(0,1]的范围内按递减的规律搜索
Figure BDA0002121870140000052
使得J(etH)≤J(R)；
g)令U＝etH，更新旋转矩阵R为UR，更新旋转协方差矩阵
Figure BDA0002121870140000053
为
Figure BDA0002121870140000054
h)若ne＝Ne，则迭代结束，跳出循环，进入步骤⑥，否则，令ne加1，返回步骤e)；
⑥对矩阵(IdRP)Σ1(IdRP)T进行矩阵特征值分解，得到对应的特征向量矩阵B；
⑦按特征值从大到小对特征向量矩阵进行排序，将排序后的特征向量矩阵
Figure BDA0002121870140000055
投影到旋转矩阵RP上，得到第a个散度CSP滤波器矩阵
Figure BDA0002121870140000056
⑧若a<V，则跳转到步骤①继续执行，否则，返回一对一散度CSP滤波器Lp。
进一步优选的，d＝4，λ＝0.1。
根据本发明优选的，步骤4)中所述的单层人工神经网络，输入层包括Q个神经元，输出层包括K个神经元；Q＝V×d为总特征向量中的包含的特征数目；输入层和输出层之间采用全连接的方式连接；输出层采用softmax函数输出概率值；用交叉熵函数作为模型训练的损失函数，设θ为模型的所有训练参数，则优化目标CE(θ)如式(II)所示：
Figure BDA0002121870140000057
式(II)中，
Figure BDA0002121870140000058
是样本i对于第j个神经元所有的加权和，
Figure BDA0002121870140000059
是样本i对于第k个神经元所有的加权和，其与θ有关。y(i)代表了第i个样本的真正标签，1{·}为示性函数，N*为输入模型的样本数目，采用随机梯度下降的方法更新单层人工神经网络的权重；迭代次数设为Ep次。
进一步优选的，Ep＝20。
根据本发明优选的，步骤7)所述的一对多SVM分类指：将输入特征送入K个二分类SVM模型，将输入特征分类为具有最大分类函数值的那一类。
一种利用上述方法进行脑机接口的装置，包括电路依次连接的脑电放大器、A/D转换器和计算机，所述计算机中设置有检测脑电状态的脑电检测模块，利用脑电放大器和A/D转换器对脑电信号进行采集后传输到计算机中，利用脑电检测模块对脑电信号进行多尺度时频分割、时频脑电段选择、一对一散度CSP以及一对多SVM，形成时频多尺度分类器对脑电信号进行分类，获取样本预测标签并转化为对外部设备的控制命令。
本发明的有益的效果是：
将脑电信号在时域和频域中按一定规则进行多尺度分割和包裹式时频脑电段选择，对选择的时频脑电段进行一对一散度CSP及一对多SVM，形成多尺度时频分类器对脑电信号进行分类，从而得到脑电信号类别标签及控制信号控制外部设备。本发明利用在时域频域多尺度分割的方法，提高了识别准确率；通过时频脑电段选择，筛除冗余的时频脑电段，提高了运动想象脑机接口的运行速度。
附图说明
图1为本发明脑机接口的装置的结构框图；
图2为本发明时频多尺度散度CSP的脑机接口方法流程示意图；
图3为将准确率向量按对应的时域范围和频域范围组合相加后的可视化时频图像示意图；
图4为在12个志愿者的运动想象脑电信号上使用不同数量的时频脑电段所达到的平均准确率示意图。
具体实施方式
下面结合说明书附图与实例对本发明做进一步说明，本发明并不限于此；
实施例1
如图1-4所示；
本发明通过电极采集脑电信号，脑电信号经过脑电放大器放大及A/D转换器，输入计算机实现脑电信号的分类，并产生控制命令控制外部设备；
一种时频多尺度散度CSP的脑机接口方法，其流程图如图2所示，包括以下步骤：
1)使用脑电放大器和A/D转换器采集实验者想象左手、右手、脚趾和舌头4个运动时产生的K＝4个类别脑电信号，并存储至计算机中；采样频率为Fs＝250Hz，脑电信号长度为L＝1000，每个类别采集N＝90次，总共采集M＝N×K＝360个样本；实验者想象第k个类别运动时其脑电信号Sk对应的标签为k；k＝1,...,4；
2)将脑电信号Sk在时域上进行Nt个尺度分割，在尺度n下将脑电信号Sk按每一段与上一段重叠50％的方式分割为
Figure BDA0002121870140000071
个长度为Tn的脑电段，其中n＝1,…,Nt；若最后分割后的脑电段长度有剩余，则再取一段包含该剩余长度的长度为Tn的脑电段作为该尺度下的分段；脑电信号Sk在时域上共可被分割为Nst＝11个脑电段；其中，
Figure BDA0002121870140000072
Figure BDA0002121870140000073
round()为四舍五入取整函数，ceil()为向上取整函数。长度为1000点的脑电信号在尺度1下分割为1-1000点的1个长度为1000的脑电段；在尺度2下分割为1-500点，251-750点，501-1000点的3个长度为500的脑电段；在尺度3下分割为1-250点，126-375点，251-500点，376-625点，501-750点，626-875点，751-1000点的7个长度为250的脑电段；
3)针对步骤2)分割后的每一段脑电段，在频域上的频带范围[Fmin＝4Hz,Fmax＝38Hz]内划进行Nf个尺度分割，在尺度m下将脑电段按每一频带与上一频带重叠50％的方式分割为
Figure BDA0002121870140000074
个频带宽度为Dm的脑电段，其中m＝1,…,Nf；若在频带范围[Fmin＝4Hz,Fmax＝38Hz]内分割后仍有剩余，则不使用剩余的频带；这样，步骤2)中得到的每个脑电段共可被分割为
Figure BDA0002121870140000075
个频带宽度为Dm的脑电段；其中，Nf＝floor(log2(Fmax-Fmin+1)-1)＝4，Dm＝1+2m+1，
Figure BDA0002121870140000076
floor()为向下取整函数。4-38Hz的频带范围在尺度1下分割为4-8Hz,6-10Hz,8-12Hz,10-14Hz,12-16Hz,14-18Hz,16-20H,18-22Hz,20-24Hz,22-26Hz,24-28Hz,26-30Hz,28-32Hz,30-34Hz,32-36Hz,34-38Hz的16个频带宽度为4Hz的频段；在尺度2下分割为4-12Hz,8-16Hz,12-20Hz,16-24Hz,20-28Hz,24-32Hz,28-36Hz的7个频带宽度为8Hz的频段；在尺度3下分割为4-20Hz,12-28Hz,20-36Hz的3个频带宽度为16Hz的频段；在尺度1下分割为4-36Hz的1个频带宽度为32Hz的频段；
步骤3)中对频带进行分割是指：利用J阶的巴特沃斯滤波器对脑电段进行带通滤波，J＝7；
4)对经过步骤2)和3)所获得的时频脑电段进行包裹式时频脑电段选择，包裹式时频脑电段选择的步骤为：
a)设时频脑电段总数为E＝Nst×Nsf＝297，采用每个时频脑电段Ps对应的Np＝180个样本的集合
Figure BDA0002121870140000081
进行一对一散度CSP训练，得到V＝6个散度CSP滤波器
Figure BDA0002121870140000082
其中Ch＝60为通道数目，d＝4为散度CSP算法中设定截取的行数；将每个时频脑电段Ps分别投影至V个散度CSP滤波器上进行一对一散度CSP滤波，得到滤波后的时频脑电段
Figure BDA0002121870140000083
b)对
Figure BDA0002121870140000084
的每行数据进行对数特征提取，得到特征值向量
Figure BDA0002121870140000085
其中，
Figure BDA0002121870140000086
为特征向量Fws中的第i个特征值，
Figure BDA0002121870140000087
为
Figure BDA0002121870140000088
中的第i行数据，var(·)为计算方差的函数。将每个时频脑电段对应的V个特征向量Fws连接成一个总特征向量
Figure BDA0002121870140000089
其中Q＝V×d为总特征向量中的包含的特征数目；
c)将每个时频脑电段计算出的总特征向量对应的Np个样本的集合作为训练集，其余的M-Np个样本的总特征向量集合作为验证集，训练E个K分类输出的单层人工神经网络并在相应的验证集上进行测试，得到E个准确率；将E个准确率连接成一个向量，得到准确率向量
Figure BDA00021218701400000810
其中Aj为第j个准确率。将准确率向量按对应的时域范围和频域范围组合相加后的可视化时频图像示意图如图3所示；
d)将得到的准确率向量A进行降序排序，将前G＝150个准确率值对应的时频脑电段作为选择的时频脑电段；
5)将步骤4)中得到的G个时频脑电段中的每个时频脑电段Pa对应的M个样本的集合
Figure BDA00021218701400000811
经过一对一散度CSP训练得到V个散度CSP滤波器矩阵
Figure BDA00021218701400000812
将每个时频脑电段Pa分别投影至V个散度CSP滤波器上进行一对一散度CSP滤波，得到滤波后的时频脑电段
Figure BDA00021218701400000813
对
Figure BDA00021218701400000814
的每行数据进行对数特征提取，得到特征值向量
Figure BDA00021218701400000815
其中，
Figure BDA00021218701400000816
为特征向量Fwa中的第i个特征值，
Figure BDA00021218701400000817
为
Figure BDA00021218701400000818
中的第i行数据，var(·)为计算方差的函数。将M个样本的G个时频脑电段对应的V次散度CSP得到的特征向量连接成一个总特征集合
Figure BDA0002121870140000091
其中H＝V×d×G为每个样本对应的特征个数；
6)将步骤5)中得到的总特征集合
Figure BDA0002121870140000092
以及对应的类别标签送入一对多SVM进行训练，即将每一个类别与另外3个类别的样本送入二分类SVM中进行训练，得到4个SVM分类器；
7)将步骤5)中得到的V×G个散度CSP滤波器以及步骤6)中得到的4个SVM模型组成一个时频多尺度分类器；时频多尺度分类器首先对输入的时频脑电段进行一对一散度CSP滤波，并获得对数特征，然后对获得的对数特征进行一对多SVM分类；
8)将采集的脑电信号得到的G个时频脑电段送入时频多尺度分类器中进行分类，获得脑电信号的类别标签p(p＝1,…,4)；
9)根据类别标签p转化为对应的控制命令控制外部设备。当p＝1时，判断此时脑电状态为想象左手时的脑电信号，并转换为控制命令1；当p＝2时，判断此时脑电状态为想象右手时的脑电信号，并转换为控制命令2；当p＝3时，判断此时脑电状态为想象脚趾时的脑电信号，并转换为控制命令3；当p＝4时，判断此时脑电状态为想象舌头时的脑电信号，并转换为控制命令4。
实施例2
根据实施例1所述的一种时频多尺度散度CSP的脑机接口方法，其区别在于：
步骤4)中，一对一散度CSP训练，实现步骤包括：
①取集合
Figure BDA0002121870140000093
中某一时频脑电段的数据样本
Figure BDA0002121870140000094
中的未重复使用过的两类，设为X1 *、X2 *，N*为训练集样本数目，Tn为在时域上的第n个尺度下脑电段的长度，n＝1,…,Nt；
②计算X1 *与X2 *的协方差矩阵Σ1、Σ2，并计算白化矩阵
Figure BDA0002121870140000095
③随机初始化旋转矩阵
Figure BDA0002121870140000096
④计算白化并旋转后的协方差矩阵
Figure BDA0002121870140000097
⑤选定一个最大迭代次数Ne，ne代表迭代次数，从ne＝1开始进行以下循环迭代：
a)计算梯度矩阵
Figure BDA0002121870140000098
目标函数J(R)如式(I)所示：
Figure BDA0002121870140000101
式(I)中，DKL为KL散度函数，Id为截断矩阵前d行的单位矩阵；0≤λ≤1为惩罚系数；c为类别序号，i为样本序号；
b)设
Figure BDA0002121870140000109
为目标函数在更新旋转矩阵U＝I处的梯度，其中，I为单位矩阵。在(0,1]的范围内按递减的规律搜索
Figure BDA0002121870140000102
使得J(etH)≤J(R)；
c)令U＝etH，更新旋转矩阵R为UR，更新旋转协方差矩阵
Figure BDA0002121870140000103
为
Figure BDA00021218701400001010
d)若ne＝Ne，则迭代结束，跳出循环，进入步骤⑥，否则，令ne加1，重复上述循环；
⑥对矩阵(IdRP)Σ1(IdRP)T进行矩阵特征值分解，得到对应的特征向量矩阵B；
⑦按特征值从大到小对特征向量矩阵进行排序，将排序后的特征向量矩阵
Figure BDA0002121870140000104
投影到旋转矩阵RP上，得到第a个散度CSP滤波器矩阵
Figure BDA0002121870140000105
⑧若a<V，则跳转到步骤①继续执行。否则返回一对一散度CSP滤波器Lp。
d＝4，λ＝0.1。
步骤4)中所述的单层人工神经网络，输入层包括Q个神经元，输出层包括K个神经元；其中Q＝V×d为总特征向量中包含的特征数目；输入层和输出层之间采用全连接的方式连接；输出层采用softmax函数输出概率值；用交叉熵函数作为模型训练的损失函数，设θ为模型的所有训练参数，则优化目标CE(θ)如式(II)所示：
Figure BDA0002121870140000106
式(II)中，
Figure BDA0002121870140000107
是样本i对于第j个神经元所有的加权和，
Figure BDA0002121870140000108
是样本i对于第k个神经元所有的加权和，其与θ有关。y(i)代表了第i个样本的真正标签，1{·}为示性函数，N*为输入模型的样本数目。采用随机梯度下降的方法更新神经网络的权重；迭代次数设为Ep次。Ep＝20。
步骤7)所述的一对多SVM分类指：将输入特征送入K个二分类SVM模型，将输入特征分类为具有最大分类函数值的那一类。
实施例3
一种利用如实施例1或2所述方法进行脑机接口的装置，如图1所示，包括以电路连接的脑电放大器、A/D转换器和计算机，所述计算机中设置有检测脑电状态的脑电检测模块，利用脑电放大器和对脑电信号进行采集后经过A/D转换传输到计算机中，利用脑电检测模块对脑电信号进行多尺度时频分段、时频脑电段选择、一对一散度CSP以及一对多SVM，形成时频多尺度分类器对脑电信号进行分类，获取脑电信号的类别标签并转化为轮椅左、右、前、后移动的控制命令。
利用本发明对12人测试脑电样本进行检测，选择150个时频脑电段时的四分类平均识别正确率达79.86％。选择的时频脑电段的数量对12个人四分类平均识别准确率的影响如图4所示。

Claims (9)

1.一种时频多尺度散度CSP的脑机接口方法，其特征在于，包括步骤如下：
1)使用脑电放大器和A/D转换器采集实验者想象K个类别运动时产生的脑电信号，并存储至计算机中；采样频率为Fs，脑电信号长度为L，每个类别采集N次，总共采集M＝N×K个样本；实验者想象第k个类别运动时其脑电信号Sk对应的类别标签为k；k＝1,...,K；
2)将脑电信号Sk在时域上进行Nt个尺度分割，在尺度n下将脑电信号Sk按每一段与上一段重叠50％的方式分割为
Figure FDA0002121870130000011
个长度为Tn的脑电段，n＝1,…,Nt；若最后分割后的脑电段长度有剩余，则再取一段包含该剩余长度的长度为Tn的脑电段作为该尺度下的分段；脑电信号Sk在时域上共可被分割为Nst个时频脑电段；
Figure FDA0002121870130000012
Figure FDA0002121870130000013
round()为四舍五入取整函数，ceil()为向上取整函数；
3)针对步骤2)分割后的每一段脑电段，在频域上的频带范围[Fmin,Fmax]内进行Nf个尺度分割；0<Fmin<Fmax<Fs，Fmin为频带下限频率，Fmax为频带上限频率；在尺度m下将脑电段按每一频带与上一频带重叠50％的方式分割为
Figure FDA0002121870130000014
个频带宽度为Dm的脑电段，m＝1,…,Nf；若在频带范围[Fmin,Fmax]内分割后仍有剩余，则不使用剩余的频带；步骤2)中得到的每个脑电段共被分割为Nsf个频带宽度为Dm的时频脑电段；Nf＝floor(log2(Fmax-Fmin+1)-1)，Dm＝1+2m+1，
Figure FDA0002121870130000015
floor()为向下取整函数；
4)经过步骤2)和3)所获得的时频脑电段进行包裹式时频脑电段选择，包裹式时频脑电段选择的步骤为：
a)设时频脑电段总数为E＝Nst×Nsf，采用每个时频脑电段Ps对应的Np个样本的集合
Figure FDA0002121870130000016
进行一对一散度CSP训练，得到V个散度CSP滤波器Ws,
Figure FDA0002121870130000017
Ch为脑电通道数目，d为散度CSP算法中设定截取的行数；将每个时频脑电段Ps分别投影至V个散度CSP滤波器上，进行一对一散度CSP滤波，得到滤波后的时频脑电段
Figure FDA0002121870130000021
b)对
Figure FDA0002121870130000022
的每行数据进行对数特征提取，得到特征值向量
Figure FDA0002121870130000023
Figure FDA0002121870130000024
为特征值向量Fws中的第i个特征值，
Figure FDA0002121870130000025
为
Figure FDA0002121870130000026
中的第i行数据，var(·)为计算方差的函数，将每个时频脑电段对应的V个特征值向量Fws连接成一个总特征向量
Figure FDA0002121870130000027
Q＝V×d为总特征向量中包含的特征数目；
c)将每个时频脑电段计算出的总特征向量对应的Np个样本的集合作为训练集，其余的M-Np个样本的总特征向量集合作为验证集，训练E个K分类输出的单层人工神经网络并在相应的验证集上进行测试，得到E个准确率；将E个准确率连接成一个向量，得到准确率向量
Figure FDA0002121870130000028
Aj为第j个准确率；
d)将得到的准确率向量A进行降序排序，将前G个准确率值对应的时频脑电段作为选择的时频脑电段；
5)将步骤4)中得到的G个时频脑电段中的每个时频脑电段Pa对应的M个样本的集合
Figure FDA0002121870130000029
经过一对一散度CSP训练，得到V个散度CSP滤波器矩阵
Figure FDA00021218701300000210
将每个时频脑电段Pa分别投影至V个散度CSP滤波器上进行一对一散度CSP滤波，得到滤波后的时频脑电段
Figure FDA00021218701300000211
对
Figure FDA00021218701300000212
的每行数据进行对数特征提取，得到特征值向量
Figure FDA00021218701300000213
为特征向量Fwa中的第i个特征值，
Figure FDA00021218701300000214
为
Figure FDA00021218701300000215
中的第i行数据，var(·)为计算方差的函数，将M个样本的G个时频脑电段对应的V次散度CSP得到的特征向量连接成一个总特征集合
Figure FDA00021218701300000216
H＝V×d×G为每个样本对应的特征个数；
6)将步骤5)中得到的总特征集合
Figure FDA00021218701300000217
以及对应的类别标签送入一对多SVM进行训练，即将每一个类别与另外K-1个类别的样本送入二分类SVM中进行训练，得到K个SVM分类器；
7)将步骤5)中得到的V×G个散度CSP滤波器以及步骤6)中得到的K个SVM模型组成时频多尺度分类器；时频多尺度分类器先对输入的时频脑电段进行一对一散度CSP滤波，并获得对数特征，后对获得的对数特征进行一对多SVM分类；
8)将采集的脑电信号得到的G个时频脑电段送入时频多尺度分类器中进行分类，获得脑电信号的类别标签p，p＝1,…K；
9)根据类别标签p转化为对应的控制命令控制外部设备。
2.根据权利要求1所述的一种时频多尺度散度CSP的脑机接口方法，其特征在于，步骤3)中对频带进行分割是指：利用J阶的巴特沃斯滤波器对脑电段进行带通滤波。
3.根据权利要求2所述的一种时频多尺度散度CSP的脑机接口方法，其特征在于，J＝7。
4.根据权利要求1所述的一种时频多尺度散度CSP的脑机接口方法，其特征在于，步骤4)中，一对一散度CSP训练，实现步骤包括：
①取集合
Figure FDA0002121870130000031
中某一时频脑电段的数据样本
Figure FDA0002121870130000032
中的未重复使用过的两类，设为X1 *、X2 *，N*为训练集样本数目，Tn为在时域上的第n个尺度下脑电段的长度，n＝1,…,Nt；
②计算X1 *与X2 *的协方差矩阵Σ1、Σ2，并计算白化矩阵
Figure FDA0002121870130000033
③随机初始化旋转矩阵
Figure FDA0002121870130000034
④计算白化并旋转后的协方差矩阵
Figure FDA0002121870130000035
⑤选定一个最大迭代次数Ne，ne代表迭代次数，从ne＝1开始进行以下循环迭代：
e)计算梯度矩阵
Figure FDA0002121870130000036
目标函数J(R)如式(I)所示：
Figure FDA0002121870130000037
式(I)中，DKL为KL散度函数，Id为截断矩阵前d行的单位矩阵；0≤λ≤1为惩罚系数；c为类别序号，i为样本序号；
f)设
Figure FDA0002121870130000038
为目标函数在更新旋转矩阵U＝I处的梯度，I为单位矩阵，在(0,1]的范围内按递减的规律搜索
Figure FDA0002121870130000039
使得J(etH)≤J(R)；
g)令U＝etH，更新旋转矩阵R为UR以，更新旋转协方差矩阵
Figure FDA00021218701300000310
为
Figure FDA00021218701300000311
h)若ne＝Ne，则迭代结束，跳出循环，进入步骤⑥，否则，令ne加1，返回步骤e)；
⑥对矩阵(IdRP)Σ1(IdRP)T进行矩阵特征值分解，得到对应的特征向量矩阵B；
⑦按特征值从大到小对特征向量矩阵进行排序，将排序后的特征向量矩阵
Figure FDA0002121870130000041
投影到旋转矩阵RP上，得到第a个散度CSP滤波器矩阵
Figure FDA0002121870130000042
⑧若a<V，则跳转到步骤①继续执行，否则，返回一对一散度CSP滤波器Lp。
5.根据权利要求4所述的一种时频多尺度散度CSP的脑机接口方法，其特征在于，d＝4，λ＝0.1。
6.根据权利要求1所述的一种时频多尺度散度CSP的脑机接口方法，其特征在于，步骤4)中所述的单层人工神经网络，输入层包括Q个神经元，输出层包括K个神经元；Q＝V×d为总特征向量中的包含的特征数目；输入层和输出层之间采用全连接的方式连接；输出层采用softmax函数输出概率值；用交叉熵函数作为模型训练的损失函数，设θ为模型的所有训练参数，则优化目标CE(θ)如式(II)所示：
Figure FDA0002121870130000043
式(II)中，
Figure FDA0002121870130000044
是样本i对于第j个神经元所有的加权和，
Figure FDA0002121870130000045
是样本i对于第k个神经元所有的加权和，y(i)代表了第i个样本的真正标签，1{·}为示性函数，N*为输入模型的样本数目，采用随机梯度下降的方法更新单层人工神经网络的权重；迭代次数设为Ep次。
7.根据权利要求6所述的一种时频多尺度散度CSP的脑机接口方法，其特征在于，Ep＝20。
8.根据权利要求1所述的一种时频多尺度散度CSP的脑机接口方法，其特征在于，步骤7)所述的一对多SVM分类指：将输入特征送入K个二分类SVM模型，将输入特征分类为具有最大分类函数值的那一类。
9.一种利用权利要求1-8任一所述的一种时频多尺度散度CSP的脑机接口方法进行脑机接口的装置，其特征在于，包括电路依次连接的脑电放大器、A/D转换器和计算机，所述计算机中设置有检测脑电状态的脑电检测模块，利用脑电放大器和A/D转换器对脑电信号进行采集后传输到计算机中，利用脑电检测模块对脑电信号进行多尺度时频分割、时频脑电段选择、一对一散度CSP以及一对多SVM，形成时频多尺度分类器对脑电信号进行分类，获取样本预测标签并转化为对外部设备的控制命令。
CN201910609453.7A 2019-07-08 2019-07-08 一种时频多尺度散度csp的脑机接口方法及装置 Active CN110321856B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910609453.7A CN110321856B (zh) 2019-07-08 2019-07-08 一种时频多尺度散度csp的脑机接口方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910609453.7A CN110321856B (zh) 2019-07-08 2019-07-08 一种时频多尺度散度csp的脑机接口方法及装置

Publications (2)

Publication Number Publication Date
CN110321856A CN110321856A (zh) 2019-10-11
CN110321856B true CN110321856B (zh) 2023-01-10

Family

ID=68123076

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910609453.7A Active CN110321856B (zh) 2019-07-08 2019-07-08 一种时频多尺度散度csp的脑机接口方法及装置

Country Status (1)

Country Link
CN (1) CN110321856B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111000557B (zh) * 2019-12-06 2022-04-15 天津大学 一种应用于减压颅骨术后的无创脑电信号分析***
CN113967022B (zh) * 2021-11-16 2023-10-31 常州大学 一种基于个体自适应的运动想象脑电特征表征方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012153965A2 (ko) * 2011-05-09 2012-11-15 광주과학기술원 뇌-컴퓨터 접속 장치, 그리고 그의 분류 방법
CN103735262A (zh) * 2013-09-22 2014-04-23 杭州电子科技大学 一种双树复小波与共空间模式结合的脑电特征提取方法
CN105654063A (zh) * 2016-01-08 2016-06-08 东南大学 基于人工蜂群时频参数优化的运动想象脑电模式识别方法
CN109472194A (zh) * 2018-09-26 2019-03-15 重庆邮电大学 一种基于cblstm算法模型的运动想象脑电信号特征识别方法
CN109858537A (zh) * 2019-01-22 2019-06-07 南京邮电大学 改进的eemd与csp结合的脑电信号特征提取方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012153965A2 (ko) * 2011-05-09 2012-11-15 광주과학기술원 뇌-컴퓨터 접속 장치, 그리고 그의 분류 방법
CN103735262A (zh) * 2013-09-22 2014-04-23 杭州电子科技大学 一种双树复小波与共空间模式结合的脑电特征提取方法
CN105654063A (zh) * 2016-01-08 2016-06-08 东南大学 基于人工蜂群时频参数优化的运动想象脑电模式识别方法
CN109472194A (zh) * 2018-09-26 2019-03-15 重庆邮电大学 一种基于cblstm算法模型的运动想象脑电信号特征识别方法
CN109858537A (zh) * 2019-01-22 2019-06-07 南京邮电大学 改进的eemd与csp结合的脑电信号特征提取方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Toward optimal feature and time segment selection by divergence method for EEG signals classification;Jie Wang 等;《Computers in Biology and Medicine》;20180601;第97卷;第161-170页 *
基于概率协作表示的运动想象脑电分类算法;崔丽霞等;《山东科学》;20180415;第31卷(第02期);第105-112页 *

Also Published As

Publication number Publication date
CN110321856A (zh) 2019-10-11

Similar Documents

Publication Publication Date Title
Chatterjee et al. Ensemble learning approach to motor imagery EEG signal classification
CN112861604B (zh) 一种与用户无关的肌电动作识别与控制方法
Wang et al. An approach of one-vs-rest filter bank common spatial pattern and spiking neural networks for multiple motor imagery decoding
AlOmari et al. Analysis of extracted forearm sEMG signal using LDA, QDA, K-NN classification algorithms
Hwaidi et al. Classification of motor imagery EEG signals based on deep autoencoder and convolutional neural network approach
Li et al. EEG signal classification method based on feature priority analysis and CNN
Khasnobish et al. A Two-fold classification for composite decision about localized arm movement from EEG by SVM and QDA techniques
CN114533086A (zh) 一种基于空域特征时频变换的运动想象脑电解码方法
CN110321856B (zh) 一种时频多尺度散度csp的脑机接口方法及装置
CN112990008B (zh) 基于三维特征图和卷积神经网络的情绪识别方法及***
CN113180692A (zh) 一种基于特征融合和注意力机制的脑电信号分类识别方法
CN107822629A (zh) 四肢表面肌电轴的检测方法
AU2013100576A4 (en) Human Identification with Electroencephalogram (EEG) for the Future Network Security
Zhang et al. An amplitudes-perturbation data augmentation method in convolutional neural networks for EEG decoding
CN114548165B (zh) 一种可跨用户的肌电模式分类方法
CN109144277B (zh) 一种基于机器学习实现脑控智能小车的构建方法
AlOmari et al. Novel hybrid soft computing pattern recognition system SVM–GAPSO for classification of eight different hand motions
Sridhar et al. A Neural Network Approach for EEG classification in BCI
Wang et al. Research on the key technologies of motor imagery EEG signal based on deep learning
Bhalerao et al. Automatic detection of motor imagery EEG signals using swarm decomposition for robust BCI systems
CN110604578A (zh) 基于semg的人手手内动作识别方法
Bhattacherjee Epileptic seizure detection using multicolumn convolutional neural network
Ibraheem Lower limb analysis based on surface electromyography (semg) using different time-frequency representation techniques
Vijayvargiya et al. Implementation of machine learning algorithms for automated human gait activity recognition using sEMG signals
Jana et al. A hybrid method for classification of physical action using discrete wavelet transform and artificial neural network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant