CN112603337A - 一种脑电信号识别方法 - Google Patents

Abstract

本发明公开了一种脑电信号识别方法,首先采集脑电信号，采集到的数据分为两类，包括训练集与测试集；脑电信号的采集采用P300脑机接口进行采集，采集时，通过测量人在看到相应字符时的脑电信号作为数据来源；脑电信号预处理；采集优先信号通道；搭建生成对抗网路，通过生成的对抗网络对脑电信号进行分析识别。通过采用本方法，解决了脑电P300信号识别率低的问题，解决了信号识别鲁棒性低的问题。

Description

一种脑电信号识别方法

技术领域

本发明涉及脑电信号技术领域，特别是涉及一种脑电信号识别方法。

背景技术

大脑是人体中高级神经活动的中枢，拥有着数以亿计的神经元，并通过相互连接来传递和处理人体信息。脑电信号按其产生的方式可分为诱发脑电信号和自发脑电信号。P300事件相关电位是诱发脑电信号的一种，它作为一种内源性成分，不受刺激物理特性影响，与知觉或认知心理活动有关，与注意、记忆、智能等加工过程密切相关。睡眠过程中采集的脑电信号，属于自发型的脑电信号。自发型的睡眠脑电信号能够反映身体状态的自身变化，也是评估睡眠质量、诊断和治疗睡眠相关疾病的重要辅助工具。

现有的脑电检测方法存在识别率低下，准确度低，且识别速度慢的问题。

发明内容

本发明的发明目的在于：针对上述存在的问题，提供一种脑电信号识别方法，解决了脑电P300信号识别率低的问题，解决了信号识别鲁棒性低的问题。

本发明采用的具体技术方案如下：

一种脑电信号识别方法，其特征在于，包括以下步骤：

S1.采集脑电信号，采集到的数据分为两类，包括训练集与测试集；脑电信号的采集采用P300脑机接口进行采集，采集时，通过测量人在看到相应字符时的脑电信号作为数据来源；对于每个字符而言受试者会被测试若干轮，每轮会闪烁12次，12次中有2次会刺激受试者产生P300脑电信号。每一轮测量中中行列均会闪烁一次，把行分为A类，列分为B类；通过分析已知12个字符来确定若干名受试者出现P300脑电信号的时间范围，图形表示为一轮闪烁中，六个行以及六个列的波形图，找出出现P300脑电信号的300-500ms内的概率最高的行和列。

S2.脑电信号预处理；在所述步骤S2中，信号预处理包括以下步骤：

S2.1、P300脑机接口采集到的数据有3000多个连续采样值，首先剔除前250个无意义数据，

S2.2、对于数据的处理我们采用阶数为8的低通滤波；

S2.3、将各个通道的数据进行归一化处理，形成20个通道的波形图；

S2.4、将20个通道的波形进行叠加平均的处理，得到一张波形图。

S3.采集优先信号通道；最优通道的选择采用皮尔逊相关系数来研究每个被试的各个通道之间线性相关程度，定义如式所示：

其中，x，y互为两两不相同的通道。使用训练数据集，将数据代入公式得到被所有通道间的相关系数；并采用热力图对相关关系进行标注并找出相关性。

S4.搭建生成对抗网路，通过生成的对抗网络对脑电信号进行分析识别。在步骤是S4中，生成对抗网络包括监督分类模型、无监督判别模型和生成模型，所述生成模型用于生成伪数据，所述有监督分类模型、无监督判别模型共享隐含层的权值；所述隐含层包括3个全连接层，所述个层之间通过relu函数进行激活。所述生成模型的输出结果和训练数据的格式相同，所述生成模型的隐含层由两个全连接层组成，两个全连接层神经元个数均为600。

对模型进行初始化，参数初始化方法为标准化的kaiming初始化，对模型进行迭代训练，迭代训练包括以下步骤：

A.使用标签样本单独训练有监督分类模型；

B.使用无标签样本和伪数据样本训练单独训练无监督判别模型；

C.确定有监督分类模型和无监督判别模型中的权值，使用伪数据样本训练生成对抗网络模型，以提高生成模型的可靠性；

D.经过充分训练后，得到的有监督分类模型可应用于未标签新数据的分类；

E.有监督分类模型用于对样本数据实现标签分类，即区分正样本或负样本；而无监督判别模型用于区分样本数据是来源于数据集的未标签新数据还是由生成模型得到的伪数据样本；有监督分类模型和无监督判别模型输入和隐含层相同，最终实现的结果不同。

综上所述，由于采用了上述技术方案，本发明的有益效果是：

1.首先，对于字符的识别，我们首先筛选样本数据，然后采用了8阶低通滤波和数据归一化以及叠加平均的思想。滤波的作用是消除一部分噪声的影响，归一叠加平均之后做出对于每个人每个字符的测试对应的波图并分析，从中抽离出最有可能成为P300信号的行号和列号，再根据所有人的情况综合分析出最有可能的字符，由第二问给出的char13-char17做验证，这种分析方法的准确率在60％左右。

2.针对所有被试通道提取，本文使用了相关系数来判断每个通道与其它通道之间的相关性，并用热力图进行可视化展示。当某个通道和另外通道的相关系数小于0超过10次，则选择剔除该通道，且被试S4数据存在误差，在此不对其分析。经过计算可得被试S1,S2,S3,S5具有代表性的通道，取它们的交集作为最优通道组合，共有11个通道，为['T7','T8','CP3','CP4','CP5','CP6','P4','P8','Oz','O1','O2']。

3.根据上述方法得到的最优通道组合，我们在对原始脑电波数据进行预处理以及切片后，得到训练样本集，部分作为有标签样本，其余为无标签样本，对SGAN模型进行训练，再以S5_test作为验证数据，最终得到模型的平均准确率为15％，以及对其余字符做出预测。使用半监督生成对抗网络仅需要获取少量的有标签样本来训练模型，有效的减少了训练时间和增加模型的鲁棒性。

4.通过采用本方法，解决了脑电P300信号识别率低的问题，解决了信号识别鲁棒性低的问题。

附图说明

图1是本发明数据采集是所用的显示图片示意图。

图2是本发明20个通道叠加平均后的波形图。

图3是本发明被试者1第8个字符6行的叠加波形图。

图4是本发明被试者1第8个字符6列的叠加波形图。

图5是本发明SGAN流程图。

图6是本发明P300信号图。

图7是本发明无P300信号图。

图中标记：1是底座、2是弹簧、3是振动电机、4是机架、5是弃料筒、6是步进电机、7是电机座、8是联轴器、9是出料管、10是传动轴、11是轴承、12是缩分圆筒、13是缩分比调节叶片、14是入料底板、15是入料中间板、16是减速网、17是减速板、18是入料顶板、19是挡料板、20是料斗。

具体实施方式

下面结合附图，对本发明作详细的说明。

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或者是一体连接；可以是直接连接，也可以是通过中间媒介间接连接，可以是两个元件内部的连通或两个元件的相互作用关系。显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1：

本发明公开了一种脑电信号识别方法的实施方式，首先对脑电信号进行采集，本文中的实验数据是由5个健康成年被试(S1-S5)的P300脑—机接口提供的。每位被试者能够观察到一个由36个字符组成的字符矩阵，字符矩阵以行或列为单位(共6行6列)，如图1所示。采集设备以250Hz采样率对受试者采集导脑电数据。数据分为两类，包括训练集与测试集。

具体采集数据过程为：在进入字符矩阵的闪烁模式后，每次以随机的顺序闪烁字符矩阵的一行或一列，闪烁时长为80毫秒，间隔为80毫秒；最后，当所有行和列均闪烁一次后，则结束一轮实验。在被试注视“目标字符”的过程中，当目标字符所在行或列闪烁时，脑电信号中会出现P300电位；而当其他行和列闪烁时，则不会出现P300电位。上述实验流程为1轮，共重复5轮。每个字符矩阵闪烁实验中，脑电数据表格包含有20个记录通道，分别为Fz、F3、F4、Cz、C3、C4、T7、T8、CP3、CP4、CP5、CP6、Pz、P3、P4、P7、P8、Oz、O1、O2，每一行表示一个样本点数据。在进行脑电信号分析之前，需要对原始数据进行预处理，以减小其它噪声干扰的同时，尽可能保留更多的样本特征。

然后对数据进行预处理，因为每个受试者的受试字符一致，但由于个体目标的差异，产生的P300脑电信号时间可能不一致，由于设备采样频率为250Hz，采样间隔为4ms，即附件一中data数据表中，3000多个数据值为连续采样，由event数据表中可知，第一个字符目标闪烁开始均为250个样本点之后，故我们这里不考虑前250条数据。对于数据的处理我们采用阶数为8的低通滤波，然后将各个通道的数据进行归一化处理，这是为了方便我们采用叠加平均来处理附件中各个通道初始数据的不一致性，将数据统一化后，我们对于受试者的一个字符的实验经过低通滤波且归一化之后20个通道的波形图，由图2可知，其中有部分通道的数据存在冗余。

之后我们将20个通道的波形进行叠加平均的处理，得到一张波形图。如图3和图4所示。图3表示受试者1的第8个待验证字符在5轮实验中所有行/列闪烁分别对应叠加平均后的波形图，从中需要分析在300-500ms左右产生P300信号的对应的行和列，即在区间内应该下图中可能选区的行为2，3，列为12。

识别方法：对于每个字符而言受试者会被测试5轮，每轮会闪烁12次，12次中有2次会刺激受试者产生P300脑电信号；也就是说对于一个字符的确定，我们只需判断出其所在的行和列即可确定该字符。因此，对于叠加平均后的波形图而言，由于会有肌电信号，脑电信号以及眼电信号的干扰存在，我们无法保证滤波之后有很好的准确性，故我们在波形图中找到在受到刺激后的0-600ms内，最有可能成为P300信号的图形作为行列的确定。

一轮实验中行列均会闪烁一次，我们把行分为一类，列分为一类。通过分析已知12个字符来大致确定5名受试者出现P300脑电信号的时间范围，图形表示为一轮闪烁中，六个行以及六个列的波形图，找出在有可能出现P300脑电信号的300-500ms内的概率最高的行和列即可认为该字符所在的行或列。预测识别的结果如表1-1至1-10所示：

表3-1字符“char13”的统计验证

表3-2字符“char14”的统计验证

表3-3字符“char15”的统计验证

表3-4字符“char16”的统计验证

表3-5字符“char17”的统计验证

表3-6字符“char18”的统计验证

表3-7字符“char19”的统计验证

表3-8字符“char20”的统计验证

表3-9字符“char21”的统计验证

3-10字符“char22”的统计验证

在20个脑电信号采集通道中，无关或冗余的通道数据不仅会增加***的复杂度，且影响分类识别的准确率和性能。针对每个被试的，分别提取出更有利于分类的通道名称。因此，本文选择皮尔逊相关系数来研究每个被试的各个通道之间线性相关程度，定义如式(4-1)所示。

其中，x，y互为两两不相同的通道。

使用训练数据集，经过计算可以得到被试S1，S2，S3，S4，S5所有通道间的相关系数。由于为更加直观观察出相关性，本文使用热力图来表示。考虑到同一个被试者在识别不同字符的时候，得到的脑电数据的各通道间的相关性也会不尽相同。

然后选择最优通道，最优通道组合名称的选择。通过热力图和相关关系，除了通道“Cz”与各个通道是负相关外，其余19个通道的相关系数几乎一模一样，表明了这19个通道之间的波动和方向是一样的。正常情况下是不会出现的，怀疑是设备采集误差的问题，这也与我们在第一问的分析是一致的。为减少误差，在这里不对被试S4进行通道选择分析。

为达到选取的的通道组合数量大于等于10，本文经过多次重复试验与比较，针对每位被试者的每个通道与其它通道出现10次以上的负相关后，对该通道进行剔除，得到每个被试的通道，并选择所有被试通道的交集作为最优的通道组合。

具体的通道选择如表2-1所示，其中符号“×”为剔除该通道，符号“√”为保留此通道。

表2-1每个被试通道和最优通道组合

	S1	S2	S3	共同通道
					Fz	×	×	×	×
F3	√	√	×	×
					F4	√	×	√	×
Cz	×	×	×	×
					C3	×	√	×	×
C4	√	√	×	×
					T7	√	√	√	√
T8	√	√	√	√
					CP3	√	√	√	√
CP4	√	√	√	√
					CP5	√	√	√	√
CP6	√	√	√	√
					Pz	√	√	√	×
P3	√	√	√	×
					P4	√	√	√	√
P7	√	×	√	×
					P8	√	√	√	√
Oz	√	√	√	√
					O1	√	√	√	√
O2	√	√	√	√

由热力图和表2-1，我们可以得到被试S1的通道选择为'F3','F4','C4','T7','T8','CP3','CP4','CP5','CP6','Pz','P3','P4','P7','P8','Oz','O1','O2']，共17个。

被试S2的通道选择为['F3','C3','C4','T7','T8','CP3','CP4','CP5','CP6','Pz','P3','P4','P8','Oz','O1','O2']，共16个。

被试S3的通道选择为['C3','T7','T8','CP3','CP4','CP5','CP6','Pz','P3','P4','P7','P8','Oz','O1','O2']，共15个。

被试S5的通道选择为['Fz','F3','Cz','C4','T7','T8','CP3','CP4','CP5','CP6','P4','P8','Oz','O1','O2']，共15个。

最后取交集，得到最优通道组合名称为['T7','T8','CP3','CP4','CP5','CP6','P4','P8','Oz','O1','O2']，共11个。

半监督学习是在包含少量标签样本和大量无标签样本的数据集中训练分类预测模型。该模型必须从少量标签样本中进行分类学习任务，并以某种方式利用更大的无标签的数据集来提高有监督任务的性能，以便将来对新的示例进行分类。

生成性对抗网络，Generative Adversarial Network，简称GAN，是一种有效利用大量未标记数据集，通过图像判别模型训练图像生成模型的体系结构。GAN中的判别器被训练来预测给定图像是真实的(来源自数据集)还是假的(由生成模型生成)，在特定情况下，判别模型可以作为开发半监督分类器模型的起点。

半监督生成对抗网络(或SGAN)模型是GAN体系结构用于解决半监督学习问题的扩展，它包括同时训练有监督分类模型、无监督判别模型和生成模型。经过训练所得到的监督分类模型，可以很好地应用到无标签样本，以及生成模型，经过优化迭代之后，生成的图片样本能够以假乱真。SGAN流程图如5所示。

SGAN模型的实现步骤如下：

1.初始化有监督分类模型、无监督判别模型和生成模型。其中有监督分类模型和无监督鉴别模型共享隐含层的权值，隐含层由3个全连接层构成，激活函数为relu，参数初始化方法为标准化的kaiming初始化，生成模型用于生成伪数据，输出结果和训练数据的格式相同，隐含层由两个全连接层组成，神经元个数均为600。

2.利用第一步初始化的模型构建SGAN模型。

3.对模型进行迭代训练，训练过程又可细分为：

使用标签样本单独训练有监督分类模型；

使用无标签样本和‘伪’样本训练单独训练无监督判别模型；

固定有监督分类模型和无监督判别模型中的权值，使用‘伪’样本训练SGAN模型，以提高生成模型的可靠性。

4.经过充分训练后，得到的有监督分类模型可应用于未标签新数据的分类。

有监督分类模型和无监督判别模型虽然输入和隐含层相同，但最终实现的结果不同。有监督分类模型用于对样本数据实现标签分类，即区分正样本或负样本；而无监督判别模型用于区分样本数据是来源于数据集的‘真实数据’还是由生成模型得到的‘伪数据’。

根据问题二得到的最优通道组合，选择被试S5对每一个已知字符进行数据切片，数据长度为120ms，得到训练样本。其中30个为产生P300信号的正样本，如图6所示；30个为没有P300信号的负样本，如图7所示。再各从正负样本中随机选取5个样本作为有标签样本，剩下的50个作为无标签样本用来训练SGAN模型，并保存模型。

由于一个字符的每一轮识别过程中包含共有60条行列数据，对待验证的字符做行数据和列数据切片，形成测试集。最后从训练好的SGAN模型中提取出监督分类模型，将测试集应用到该模型上，得到预测的行和列是否出现P3OO信号的分类标签，再根据行号和列号确定预测的字符。如表3.1所示，且平均预测精度为15％。

表3.1被试S5已知字符的模型预测统计结果

同理，对被试S5未知字符数据进行切片，并应用到模型中去，得到如表3.2所示的预测结果。

表3.2被试S5未知字符的模型预测统计结果

这样，通过采用本方法，解决了脑电P300信号识别率低的问题，解决了信号识别鲁棒性低的问题。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种脑电信号识别方法，其特征在于，包括以下步骤：

S1.采集脑电信号，采集到的数据分为两类，包括训练集与测试集；

S2.脑电信号预处理；

S3.采集优先信号通道；

S4.搭建生成对抗网路，通过生成的对抗网络对脑电信号进行分析识别。

2.根据权利要求1所述的一种脑电信号识别方法，其特征在于：在所述步骤S1中，脑电信号的采集采用P300脑机接口进行采集，采集时，通过测量人在看到相应字符时的脑电信号作为数据来源；对于每个字符而言受试者会被测试若干轮，每轮会闪烁12次，12次中有2次会刺激受试者产生P300脑电信号。

3.根据权利要求2所述的一种脑电信号识别方法，其特征在于：在所述步骤S2中，信号预处理包括以下步骤：

S2.1、P300脑机接口采集到的数据有3000多个连续采样值，首先剔除前250个无意义数据，

S2.2、对于数据的处理我们采用阶数为8的低通滤波；

S2.3、将各个通道的数据进行归一化处理，形成20个通道的波形图；

S2.4、将20个通道的波形进行叠加平均的处理，得到一张波形图。

4.根据权利要求3所述的一种脑电信号识别方法，其特征在于：每一轮测量中中行列均会闪烁一次，把行分为A类，列分为B类；通过分析已知12个字符来确定若干名受试者出现P300脑电信号的时间范围，图形表示为一轮闪烁中，六个行以及六个列的波形图，找出出现P300脑电信号的300-500ms内的概率最高的行和列。

5.根据权利要求1所述的一种脑电信号识别方法，其特征在于：在所述步骤S3中，最优通道的选择采用皮尔逊相关系数来研究每个被试的各个通道之间线性相关程度，定义如式所示：

其中，x，y互为两两不相同的通道。

6.根据权利要求5所述的一种脑电信号识别方法，其特征在于：使用训练数据集，将数据代入公式得到被所有通道间的相关系数；并采用热力图对相关关系进行标注并找出相关性。

7.根据权利要求1所述的一种脑电信号识别方法，其特征在于：在步骤是S4中，生成对抗网络包括监督分类模型、无监督判别模型和生成模型，所述生成模型用于生成伪数据，所述有监督分类模型、无监督判别模型共享隐含层的权值；所述隐含层包括3个全连接层，所述个层之间通过relu函数进行激活。

8.根据权利要求7所述的一种脑电信号识别方法，其特征在于：所述生成模型的输出结果和训练数据的格式相同，所述生成模型的隐含层由两个全连接层组成，两个全连接层神经元个数均为600。

9.根据权利要求8所述的一种脑电信号识别方法，其特征在于：对模型进行初始化，参数初始化方法为标准化的kaiming初始化，对模型进行迭代训练，迭代训练包括以下步骤：

A.使用标签样本单独训练有监督分类模型；

B.使用无标签样本和伪数据样本训练单独训练无监督判别模型；

C.确定有监督分类模型和无监督判别模型中的权值，使用伪数据样本训练生成对抗网络模型，以提高生成模型的可靠性；

D.经过充分训练后，得到的有监督分类模型可应用于未标签新数据的分类；

E.有监督分类模型用于对样本数据实现标签分类，即区分正样本或负样本；而无监督判别模型用于区分样本数据是来源于数据集的未标签新数据还是由生成模型得到的伪数据样本；有监督分类模型和无监督判别模型输入和隐含层相同，最终实现的结果不同。

Images