CN113128384B

CN113128384B - 一种基于深度学习的脑卒中康复***脑机接口软件关键技术方法

Info

Publication number: CN113128384B
Application number: CN202110376347.6A
Authority: CN
Inventors: 王卓峥; 宋霖涛; 董雨萌; 任博雯; 丁熠辉
Original assignee: Beijing University of Technology
Current assignee: Beijing University of Technology
Priority date: 2021-04-01
Filing date: 2021-04-01
Publication date: 2024-04-05
Anticipated expiration: 2041-04-01
Also published as: CN113128384A

Abstract

一种基于深度学习的脑卒中康复***脑机接口软件关键技术方法属于深度学习技术领域。本发明通过在脑电信号特征提取和分类阶段，采用自回归模型和样本熵对其进行特征提取，并利用CNN算法对其进行分类，可以提高脑电信号分类的准确度，应用到脑卒中康复***脑机接口软件后可以为实现脑卒中患者的康复治疗。

Description

一种基于深度学习的脑卒中康复***脑机接口软件关键技术方法

技术领域

本发明属于深度学习技术领域。

背景技术

目前脑电信号相关技术和脑机接口(Brain Computer Interface,BCI)技术的不断发展，在脑卒中康复中脑电信号的应用也越来越广泛。有相关的研究成果表明，脑卒中患者的运动想象的脑电信号可以帮助他们进行有效的康复治疗。研究发现脑电信号的活动不会因为肢体、肌肉受损而有所变化，它仍然能准确的反映出人类大脑皮层所进行的电生理活动。因此基于运动想象的脑机接口的相关技术已经成为脑卒中患者康复研究中的一个重点。

深度学习区别于传统的机器学习方法，实现了端到端的学习方式，将原始的数据作为模型输入，直接映射生成模型的输出。比较经典的深度学习模型有卷积神经网络、循环神经网络。但其弊端也是有的，比如，深度神经网络需要大量数据来训练模型，对于大部分的小规模数据集，很难使得模型得到充分的训练；缺乏足够的标签数据来有效地训练深度学习模型；有庞大的计算需求。深度森林(multi-Grained Cascade forest,gcForest)，作为包括卷积神经网络、循环神经网络在内的深度神经网络模型，是一种特征融合模型，在视觉、文本、语音等各个领域都已获得了令人瞩目的成果。在深度森林中，通过使用多粒度扫描的策略，同样能够帮助模型捕获特征之间的关联性，从而进一步提高模型表征学习的能力。

传统的脑电信号处理方法主要有时间滤波、空间滤波、主成分分析、独立成分分析等。目前较主流的脑电特征提取方式是功率谱密度和公共空间模式算法。传统的机器学习方法是在完成数据预处理及人工构造样本特征的基础上，应用合适的分类算法进行样本分类。本课题中则尝试采用深度学习的方式，进一步优化算法，提升其处理速度和准确性。

我国在此领域的发明有：基于数据增强的卷积神经网络运动想象脑电分类方法[1]通过卷积神经网络对脑电信号进行分类，得到二、三和四类分类任务的平均准确性分别达到87.32％,76.26％,64.72％。基于LFFCNN-GRU算法模型的运动想象脑电信号特征识别方法[2]用基于层间特征融合的卷积神经网络将脑电信号的频域特征提取出来，并采用采用门控循环网络进一步的提取脑电信号的时域特征。基于CWT和MLMSFFCNN的脑电识别方法[3]利用MLMSFFCNN的特征融合能力与多分辨率计算能力充分提取信号时、频、空域特征信息，提高分类的精度。

[1]刘越,杜斌,岳康,田阁良.基于数据增强的卷积神经网络运动想象脑电分类方法[P].北京市：CN111950366A,2020-11-17.

[2]毛雪峰,谢志荣,张毅,罗元.一种基于LFFCNN-GRU算法模型的运动想象脑电信号特征识别方法[P].重庆市：CN111950455A,2020-11-17.

[3]李明爱,韩健夫,杨金福,孙炎珺.基于CWT和MLMSFFCNN的脑电识别方法[P].北京市：CN111582041A,2020-08-25.

发明内容

本发明通过在脑电信号特征提取和分类阶段，采用自回归模型和样本熵对其进行特征提取，并利用CNN算法对其进行分类，可以提高脑电信号分类的准确度，应用到脑卒中康复***脑机接口软件后可以为实现脑卒中患者的康复治疗。

本发明技术方案共包含以下阶段：脑电信号采集和预处理阶段，利用脑电信号采集***进行运动想象EEG信号采集，随后将所采集的EEG信号利用EEGLAB进行预处理，去除眼电、伪迹等，并得到滤除噪声后的脑电信号，通过主成分分析进行降维；脑电信号特征提取阶段，分别利用自回归模型(Autoregressive Model)和样本熵进行运动想象EEG信号特征提取，可分别从频域和空域得到线性和非线性两类信号特征，其中将AR模型参数作为特征向量；特征分类阶段，基于CNN设计分类器对脑电信号进行分类处理，将特征提取所获得的两类信号特征分别加入到CNN中进行分类，得到不同的分类结果，按一定的权重将结果进行整合，得到最终的分类结果。

本发明通过同时提取频域和空域、线性和非线性两类脑电信号特征，使运动想象脑电信号分类的准确度得到提高。

附图说明：

图1是本发明流程图。

具体实施方式：

1.脑电信号采集阶段

本发明使用脑电信号采集仪进行信号采集，选取采样频率为250Hz，电极按照国际10-20标准电极安放法安放，选取数名健康受试者，分别采集左手、右手运动想象脑电信号，使用带阻滤波器进行滤波，选取1Hz-50 Hz的EEG信号。

2.脑电信号预处理阶段

人体的脑电信号十分微弱，背景噪声很大。由于受外界因素例如仪器、人体自身的肌肉运动等方面影响，在采集脑电信号时，会产生各种各样的噪声干扰，如基线漂移干扰、工频干扰、肌电干扰、电极接触噪声等。以上干扰将会影响到EEG的时域分析和频域分析。

预处理的主要目的是提高脑电信号的信噪比、稳定基线、减少伪迹以及移除假点。传统的预处理方法普遍采用傅立叶变换，但出于脑电信号具有随机不平稳性的特点，采用傅立叶变换对其去噪的效果不是很理想。近些年来，随着人们对脑电信号研究的深入，小波变换、独立分量分析等方法逐渐在信号预处理方面发挥出重要作用。而独立分量分析中的快速固定点算法(FastICA)具有可并行、分布式、占用内存少、收敛快等特点。

本发明使用EEGLAB进行预处理，采用FastICA对实验数据进行去噪，用主成分分析来对数据进行降维。

3.特征提取阶段

经过EEG信号预处理后，将处理后的EEG信号分别利用自回归模型(Autoregressive Model)和样本熵进行特征提取得到两类信号特征。

3.1自回归模型(Autoregressive Model)

自回归模型(Autoregressive Model)利用前期若干时刻的随机变量的线性组合来描述以后某时刻随机变量的线性回归模型，是时间序列中的一种常见形式。假设脑电信号序列为y₁,y₂,…,y_n,P阶自回归模型(简记为AR(P))表明序列中y_t是前P个序列的线性组合及误差项的函数，一般形式的数学模型为：

其中，是常数项，/>是模型参数，e_t是具备均值为0，方差为σ的白噪声。本发明中将/>作为EEG信号特征向量。

3.2样本熵

样本熵是一种非线性分析法，能通过度量脑电信号的复杂度来反映它的非线性特征。

设脑电信号一维时间序列为{y(i)}，i＝1,2,…,n，其中y(i)表示第i秒的脑电信号序列，n表示总时间长度。其样本熵可通过如下计算得到：

(1)将序列{y(i)}按顺序组成m维矢量，本发明中选取m＝2，即

Y_m(i)＝[y(i)y(i+1)…y(i+m-1)]

i＝1,2,…,n-m+1

(2)对每一个i时刻，计算矢量Y_m(i)与矢量Y_m(j)之间的距离，即

d[Y_m(i),Y_m(j)]＝max|y(i+k)-y(j+k)|

k＝0,1,…,m-1；i＝1,2,…,n-m+1；i≠j

(3)给定阈值r(r>0)，本发明中r为原始时间序列标准差的0.2倍，对每一个i时刻统计d[Y_m(i),Y_m(j)]小于r的数目，记为并记此数目与总的距离数目n-m的比值为即

(4)求对所有值的平均值，记为B^m(r)，即

(5)将序列{y(i)}按顺序组成m+1维矢量，再重复(1)至(4)，得到和B^m+1(r)

(6)序列{y(i)}的样本熵为

在实际计算中，由于序列长度有限，因此最后得到序列长度为n时的样本熵估计值为

sampEn(m,r,n)＝-ln[B^m+1(r)/B^m(r)]}

利用样本熵提取脑电信号的非线性特征的具体步骤为：首先对脑电信号加1s长度的滑动时间窗，计算脑电信号的样本熵，窗口每次移动一个采样点，并计算下1s时间窗的脑电信号样本熵，直到计算出最后1s时间窗的脑电信号的样本熵为止，从而获得该组脑电信号样本熵的时间序列，然后将这一组样本熵序列叠加平均，即获得一组样本脑电信号数据的样本熵。

4.特征分类阶段

本发明使用卷积神经网络(CNN)作为分类器对提取出的两类特征向量进行分别分类，随后将两类特征向量分别的分类结果进行加权处理，最终得到分类结果。

4.1CNN构成及其原理

本发明使用的CNN由六层卷积层、两层池化层和两层全连接层构成，顺序为：三层卷积层、一层池化层、三层卷积层、一层池化层和两层全连接层，全部使用Tensorflow实现。

数据集按7:3的比例划分为训练集与测试集，将由特征提取得到的两类特征向量(其中i∈[1,n],n表示总时间长度)和SE_i＝{i∈[1,n]|sampEn(m,r,i)}(其中n表示总时间长度)作为输入，输出有三种预测可能(T0、T1、T2，分别表示静息态、想象左手、想象右手)。使用了Adam优化器，学习速率为1*10^-5。

(1)卷积层(convolutional layer)：卷积神经网路中每层卷积层的每一个卷积核大小都是3*3，每个卷积单元的参数通过反向传播算法优化得到，其目的是提取输入的不同特征。

(2)池化层(Pooling layer)：在卷积层之后得到了维度很大(大小为[28*20*64])的特征，将特征切成分别为[2,2]的区域，取其中的最大值，得到新的、维度较小(大小为[14*10*64])的特征。

(3)监督学习

该模型使用监督学习，使用反向传播算法计算每个卷积单元的参数。

其主要过程是：

采用欧氏距离计算损失函数

E＝(x-pred)²

其中，x为实际特征向量的值，pred为预测出的特征向量的值。

将损失函数从输出层向隐藏层反向传播，直至传播到输入层；在反向传播的过程中，根据损失函数调整每个卷积单元的参数的值；不断迭代上述过程，直至收敛。

4.2加权整合

在上一步中两类特征向量进行分类后的结果采用分别加权50％求和的方法，来得到最终预测结果。由上可知，和SE_pred分别为两类特征向量的预测结果向量，形式为和/> 其中pred_i(i＝T₀,T₁,T₂)表示在此模型中该组脑电信号为第类的预测概率。最终预测结果向量为

由final可得最终预测结果。

Claims

1.一种基于深度学习的脑卒中康复***脑机接口软件关键技术方法，其特征在于包含以下阶段，脑电信号采集和预处理阶段，具体如下：

1).脑电信号采集阶段

使用脑电信号采集仪进行信号采集，选取采样频率为250Hz，电极按照国际10-20标准电极安放法安放，选取数名健康受试者，分别采集左手、右手运动想象脑电信号，使用带阻滤波器进行滤波，选取1Hz-50Hz的EEG信号；

2).脑电信号预处理阶段

使用EEGLAB进行预处理，采用FastICA对实验数据进行去噪，用主成分分析来对数据进行降维；

3).特征提取阶段

预处理后，将处理后的EEG信号分别利用自回归模型和样本熵进行特征提取得到两类信号特征；

3.1自回归模型

自回归模型利用前期若干时刻的随机变量的线性组合来描述以后某时刻随机变量的线性回归模型；假设脑电信号序列为y₁，y₂，...，y_n，P阶自回归模型记为AR(P)表明序列中y_t是前P个序列的线性组合及误差项的函数，数学模型为：

其中，是常数项，/>是模型参数，e_t是具备均值为0，方差为σ的白噪声；将作为EEG信号特征向量；

3.2样本熵

设脑电信号一维时间序列为{y(i)}，i＝1，2，...，n，其中y(i)表示第i秒的脑电信号序列，n表示总时间长度；其样本熵通过如下计算得到：

(1)将序列{y(i)}按顺序组成m维矢量，选取m＝2，即

Y_m(i)＝[y(i)y(i+1)...y(i+m-1)]

i＝1，2，...，n-m+1

(2)对每一个i时刻，计算矢量Y_m(i)与矢量Y_m(j)之间的距离，即

d[Y_m(i)，Y_m(j)]＝max|y(i+k)-y(j+k)|

k＝0，1，...，m-1；i＝1，2，...，n-m+1；i≠j

(3)给定阈值r，r>0，中r为原始时间序列标准差的0.2倍，对每一个i时刻统计d[Y_m(i)，Y_m(j)]小于r的数目，记为并记此数目与总的距离数目n-m的比值为/>即

(4)求对所有i值的平均值，记为B^m(r)，即

(6)序列{y(i)}的样本熵为

得到序列长度为n时的样本熵估计值为

sampEn(m，r，n)＝-ln[B^m+1(r)/B^m(r)]}

利用样本熵提取脑电信号的非线性特征的具体步骤为：首先对脑电信号加1s长度的滑动时间窗，计算脑电信号的样本熵，窗口每次移动一个采样点，并计算下1s时间窗的脑电信号样本熵，直到计算出最后1s时间窗的脑电信号的样本熵为止，从而获得该组脑电信号样本熵的时间序列，然后将这一组样本熵序列叠加平均，即获得一组样本脑电信号数据的样本熵；

4).特征分类阶段

使用卷积神经网络CNN作为分类器对提取出的两类特征向量进行分别分类，随后将两类特征向量分别的分类结果进行加权处理，最终得到分类结果；

4.1 CNN构成及其原理

使用的CNN由六层卷积层、两层池化层和两层全连接层构成，顺序为：三层卷积层、一层池化层、三层卷积层、一层池化层和两层全连接层，全部使用Tensorflow实现；

数据集划分为训练集与测试集，将由特征提取得到的两类特征向量其中i∈[1，n]，n表示总时间长度；和SE_i＝{i∈[1，n]|sampEn(m，r，i)}作为输入，输出有三种预测可能，T0、T1、T2，分别表示静息态、想象左手、想象右手；使用了Adam优化器，学习速率为1*10^-5；

A.卷积层：卷积神经网路中每层卷积层的每一个卷积核大小都是3*3，每个卷积单元的参数通过反向传播算法优化得到，其目的是提取输入的不同特征；

B.池化层：在卷积层之后得到了维度为[28*20*64]的特征，将特征切成分别为[2，2]的区域，取其中的最大值，得到新的、维度大小为[14*10*64]的特征；

C.监督学习

使用反向传播算法计算每个卷积单元的参数；

采用欧氏距离计算损失函数

E＝(x-pred)²

其中，x为实际特征向量的值，pred为预测出的特征向量的值；

将损失函数从输出层向隐藏层反向传播，直至传播到输入层；在反向传播的过程中，根据损失函数调整每个卷积单元的参数的值；不断迭代上述过程，直至收敛；

4.2加权整合

在上一步中两类特征向量进行分类后的结果采用分别加权50％求和的方法，来得到最终预测结果；由上可知，和SE_pred分别为两类特征向量的预测结果向量，形式为和/> 其中pred_i(i＝T₀，T₁，T₂)表示在此模型中该组脑电信号为第i类的预测概率；最终预测结果向量为

由final为最终预测结果。