CN113408397A - 领域自适应的跨受试者运动想象脑电信号识别***及方法 - Google Patents

Abstract

本发明公开了一种领域自适应的跨受试者运动想象脑电信号识别***及方法，解决了跨受试者运动想象脑电信号识别准确率低的问题。***有数据采集、数据预处理、网络训练控制、网络模块和网络前向执行模块，网络前向执行模块读取网络模块参数并结合预处理的脑电信号计算出运动想象分类结果。网络模块为构建的空间条件领域自适应网络SCDAN模块。方法有构建识别***；采集运动想象脑电数据；脑电数据预处理；准备训练数据；更新SCDAN模块；网络前向执行得到运动想象分类结果。本发明利用领域自适应技术构建SCDAN模块，实现高准确率识别分类。本发明跨受试者运动想象识别准确率高，场景通用性强。

Description

领域自适应的跨受试者运动想象脑电信号识别***及方法

技术领域

本发明属于信息技术领域，进一步涉及在生物交叉技术中应用深度学习领域自适应网络实现跨受试者运动想象脑电信号(EEG)识别。具体是一种基于深度学习的领域自适应的跨受试者运动想象脑电信号识别***及方法，用于提升运动想象脑机接口的性能以及实现对不同受试者运动想象的高精度稳定分类。

背景技术

脑机接口(BCI)是大脑和外部设备间建立的直接连接通路。脑机接口(BCI)技术是生物科技和计算机技术交叉融合的产物，是人类探索脑、开发脑的重要手段，同时也是当代科技列强的必争领域。不仅如此，脑机接口技术在军事作战、疾病康复、消费娱乐等诸多领域都有一定的应用。例如在军事领域，可以利用BCI技术来对车辆，武器等进行辅助控制；在日常生活中可以通过不同思维活动产生的特定脑电信号，用来对外部设备如遥控，键盘，电灯等设备进行控制。还可以通过运动想象脑机接口实现对于机器人的控制，让机器人根据人的意志做出相关反应，因此，对于BCI的研究无论是在国家科技安全层面上还是在日常生活的各个领域内都具有重大的意义。

在BCI技术中，运动想象脑机接口(MI-BCI)有着重要的实用价值，不同于稳态视觉诱发(SSVEP)等脑机接口需要诱发刺激，MI-BCI是基于自发脑电的脑机接口，受试者使用的舒适性远高于SSVEP等的诱发型BCI。MI-BCI通过解码算法检测使用者在想象肢体运动时大脑感觉运动区中自发的感觉运动节律(SMR)来判别当前使用者所想象的肢体运动类别，进而实现人机交互和对机器设备的控制，为使用者提供更为自然的脑机交互体验。在MI-BCI的EEG信号解码算法中，共空间模式(Common spatial pattern,CSP)和其改进算法是最有效的特征提取方法。随着近年来深度学习技术的发展，众多基于深度学习的MI-BCI解码算法也被提出。其中具有代表性的有Shiu Kumar等人提出的CSP-DNN和Lawhern Vernon等人提出的EEGNet等深度学习方法。上述算法均在已有公开数据集上取得了很好的成绩排名，但这些算法面临的最大挑战是跨受试者脑电信号解码识别的准确性，也就是说，在现有受试者的脑电数据集(源域数据)上训练算法时，往往无法在新的受试者脑电数据集(目标域数据)上获得令人满意的性能，这限制了MI-BCI的发展。

基于脑电信号的运动想象脑机接口(BCI)通过对脑电信号的解码识别，建立起人与计算机或机器之间的直接通信通道。近年来，越来越多的运动想象识别算法被提出，其中最大的挑战是跨受试者识别的准确性。这意味着在现有数据集(源数据)上训练识别算法时，训练好的识别算法往往无法在新的数据集(目标数据)上获得令人满意的性能。

受计算机视觉领域研究的启发，已有一些应用领域自适应技术的脑电解码工作。例如，Li等人在《From regional to global brain:a novel hierarchical spatial-temporal neural network model for eeg emotion recognition》中提出了一种双向长短期记忆(BiLSTM)网络来学习情绪脑电图的空间特征。在BiLSTM中，域判别器与分类器协同工作以减少训练数据和测试数据之间的域偏移。

Hang等人在《Cross-subject eeg signal recognition using deep domainadaptation network》中提出了一种用于跨受试者脑电识别的深域自适应网络(DDAN)，该网络应用最大平均差异(MMD)来最小化源域受试者脑电数据和目标域受试者脑电数据之间深度特征的分布差异，但其跨受试者分类准确率还是较低。

现有技术存在在现有受试者运动想象脑电数据上训练运动想象识别算法时，对新的受试者的运动想象脑电数据识别效果差的问题。

发明内容

本发明针对现有技术存在的不足，提供一种全新的跨受试者运动想象识别准确率较高的领域自适应的跨受试者运动想象脑电信号识别***及方法。

本发明是一种领域自适应的跨受试者运动想象脑电信号识别***，依信息处理顺序，依次连接和包括有数据采集模块、数据预处理模块、网络训练控制模块、网络模块、网络前向执行模块，数据预处理模块的输出还送入网络前向执行模块中，网络前向执行模块读取训练好的网络模块的参数，并结合预处理过的脑电信号计算得出运动想象分类结果并输出，网络训练控制模块与网络模块双向信息交互以完成对网络模块参数的训练更新，其特征在于，所述网络模块为构建的空间条件领域自适应网络SCDAN模块，简称为SCDAN模块，该模块处于网络前向执行模块和网络训练控制模块之间，对网络训练控制模块、SCDAN模块、网络前向执行模块分述如下：

网络训练控制模块，依照信息处理顺序，依次连接和包括有训练数据准备子模块、网络训练子模块、终止训练判断子模块，终止训练判断子模块的输出信息又送入训练数据准备子模块，网络训练控制模块中的网络训练子模块与SCDAN模块进行双向数据交互；训练数据准备子模块完成接收数据预处理模块输入的受试者经过预处理的脑电数据，并准备SCDAN模块网络训练所需的批训练数据；网络训练子模块读取SCDAN模块中的网络参数，再结合训练数据准备子模块送来的批训练数据通过计算并优化网络损失函数完成对网络的参数训练，并将训练好的网络参数保存至SCDAN模块中；

构建的SCDAN模块：即空间条件领域自适应网络SCDAN模块，包括解码器子模块、判别器子模块和损失函数子模块；解码器子模块的输出连接判别器子模块的输入、损失函数子模块的输入、网络前向执行模块的输入，解码器子模块与网络训练子模块双向信息交互；判别器子模块输出连接损失函数子模块输入，判别器子模块与网络训练子模块双向信息交互；损失函数子模块的输出连接网络训练子模块的输入；解码器子模块对预处理后的脑电数据，生成运动想象身体部位分类结果，并将结果送入损失函数子模块；判别器子模块输入为解码器子模块的输出，完成对脑电数据的域标签判断，即脑电数据是来自源域还是来自目标域，并将结果送入损失函数子模块；损失函数子模块构造解码器子模块损失函数、判别器子模块损失函数和整个网络的损失函数，并将结果送入网络训练子模块的输入；

网络前向执行模块，该模块接收数据预处理模块传来的脑电数据，并读取SCDAN模块中保存的训练好的SCDAN参数，使用SCDAN模块中的解码器子模块的参数和受试者的脑电数据，计算出运动想象身体部位类别的分类结果。

本发明还是一种领域自适应的跨受试者运动想象脑电信号识别方法,在上述的任一领域自适应的跨受试者运动想象脑电信号识别***上实现，其特征在于，包括如下步骤：

(1)构建领域自适应的跨受试者运动想象脑电信号识别***：依照信息处理顺序，依次连接和包括有数据采集模块、数据预处理模块、网络训练控制模块、网络模块、网络前向执行模块，数据预处理模块的输出还送入网络前向执行模块中，网络前向执行模块读取训练好的网络模块的参数，并结合预处理过的脑电信号计算得出运动想象分类结果并输出，网络训练控制模块与网络模块双向信息交互以完成对网络模块参数的训练更新，所述网络模块为构建的空间条件领域自适应网络SCDAN模块，简称为SCDAN模块，该模块处于网络前向执行模块和网络训练控制模块之间，其中的网络训练控制模块、SCDAN模块、网络前向执行模块分述如下：

网络训练控制模块，依照信息处理顺序，依次连接和包括有训练数据准备子模块、网络训练子模块、终止训练判断子模块，终止训练判断子模块的输出信息又送入训练数据准备子模块，网络训练控制模块中的网络训练子模块与SCDAN模块进行双向数据交互；训练数据准备子模块完成接收数据预处理模块输入的受试者经过预处理的脑电数据，并准备SCDAN模块网络训练所需的批训练数据；网络训练子模块读取SCDAN模块中的网络参数，再结合训练数据准备子模块送来的批训练数据通过计算并最小化网络损失函数完成对网络的参数训练，并将训练好的网络参数保存至SCDAN模块中；

SCDAN模块：即空间条件领域自适应网络SCDAN模块，包括解码器子模块、判别器子模块和损失函数子模块；解码器子模块的输出连接判别器子模块的输入、损失函数子模块的输入、网络前向执行模块的输入，解码器子模块与网络训练子模块双向信息交互；判别器子模块输出连接损失函数子模块输入，判别器子模块与网络训练子模块双向信息交互；损失函数子模块的输出连接网络训练子模块的输入；解码器子模块对预处理后的脑电数据，生成运动想象身体部位分类结果，并将结果送入损失函数子模块；判别器子模块输入为解码器子模块的输出，完成对脑电数据的域标签判断，即脑电数据是来自源域还是来自目标域，并将结果送入损失函数子模块；损失函数子模块构造解码器子模块损失函数、判别器子模块损失函数和整个网络的损失函数，并将结果送入网络训练子模块的输入；

网络前向执行模块，该模块接收数据预处理模块传来的脑电数据，并读取SCDAN模块中保存的训练好的SCDAN参数，使用SCDAN模块中的解码器子模块的参数和受试者的脑电数据，计算出运动想象身体部位类别的分类结果；

(2)采集运动想象脑电数据：通过数据采集模块采集多个受试者运动想象脑电数据，提示受试者需要执行运动想象的身体部位并让受试者进入想象状态，同时用脑电帽采集和记录受试者执行运动想象任务时的脑电数据，脑电数据包括脑电信号和对应进行运动想象的身体部位标签信号，最终得到多名受试者的原始脑电数据；

(3)原始脑电数据预处理：通过数据预处理模块对原始脑电数据预处理，对每个受试者原始脑电数据中的脑电信号依次进行去基线、滤波、降采样的预处理操作，对运动想象身体部位标签信号不进行预处理，得到预处理后的脑电数据，预处理后的脑电数据包括已预处理的脑电信号和未预处理的运动想象身体部位标签信号；

(4)准备训练数据：用网络训练控制模块的训练数据准备子模块，从多名受试者已预处理的脑电数据中挑选两名受试者的脑电数据，其一受试者脑电数据作为源域数据，另一受试者脑电数据作为目标域数据，取一小批等量的源域和目标域数据作为一批训练数据，一共取n批训练数据，作为一轮SCDAN训练所需的训练数据；训练数据准备子模块若收到网络训练控制模块中终止训练判断子模块发出的终止训练信息，则停止训练数据的准备，若未收到终止训练信息，一轮训练完成后准备下一轮训练数据；

(5)更新构建的SCDAN模块：网络训练控制模块中的网络训练子模块，接收批训练数据，并读取SCDAN模块参数，网络训练子模块在每一批训练数据上用解码器子模块、判别器子模块的参数，结合损失函数子模块中损失函数公式计算网络的损失函数，每一批数据算出一个网络损失函数，通过优化损失函数来更新一次构建的SCDAN模块参数，即解码器子模块和判别器子模块的参数，完成一次训练，一轮训练包含n次训练，每轮训练完成后，若满足终止训练条件，则停止训练，网络训练子模块将训练好的参数输出给SCDAN模块；

(6)网络前向执行得到运动想象分类结果：将经过数据预处理模块后的目标域受试者的脑电数据输入网络前项执行模块，网络前向执行模块读取步骤(5)中训练好的SCDAN模块中解码器的参数，结合受试者脑电信号进行计算，输出运动想象身体部位分类结果。

本发明是通过提出全新的领域自适应运动想象脑电信号识别***和方法，解决了在现有受试者运动想象脑电数据上训练运动想象识别算法时，对新的受试者的运动想象脑电信号识别准确率不高的问题。

与现有技术对比，本发明的技术优势是：

跨受试者运动想象识别准确率高：传统的运动想象识别算法在已有受试者的脑电数据上完成训练后，不能很好的用于识别新的受试者的运动想象脑电信号，分类准确率低，本发明提出的领域自适应的跨受试者运动想象脑电信号识别***，尤其是构建的SCDAN模块,从新的受试者的脑电信号和已有的受试者脑电信号中提取的特征，映射到同一分布下，再进行分类，使得跨受试者分类识别时的准确率大大提高。

应用范围广泛：本发明也可以应用于其他有关于想象的脑机接口领域，不仅局限于运动想象这一单独领域，具有通用性，扩展了应用领域，前景良好。

附图说明

图1为本发明的领域自适应的跨受试者运动想象脑电信号识别***结构框图；

图2为本发明的领域自适应的跨受试者运动想象脑电信号识别***中网络训练控制模块的结构框图；

图3为本发明的领域自适应的跨受试者运动想象脑电信号识别***中SCDAN模块的结构框图；

图4为本发明的领域自适应的跨受试者运动想象脑电信号识别***中解码器子模块中特征提取器的结构框图；

图5为发明的领域自适应的跨受试者运动想象脑电信号识别***中SCDAN模块中判别器子模块的空间判别器结构框图；

图6为本发明领域自适应的跨受试者运动想象脑电信号识别***中SCDAN模块中判别器子模块的条件判别器结构框图；

图7为本发明领域自适应的跨受试者运动想象脑电信号识别方法的流程框图。

具体实施方式

下面结合附图对本发明做详细的描述。

实施例1

脑机接口技术在军事、医疗康复和教育娱乐等众多领域都有着极富前景的应用空间。运动想象脑机接口在军事作战协同指挥、军事武器操控等方面已被各军事强国率先探索和布局；在医疗康复训练、外骨骼操控等应用场景也存在极大探索空间；同时，在教育训练和玩具游戏等居民消费市场，正在被诸多大型公司和初创企业所挖掘。在上述应用领域和场景中，跨受试者的运动想象脑机接口识别的准确率有待提升，目前运动想象识别算法难以用于跨受试者的场景，无法完成对受试者和算法的个性化适配。

本发明看到了这个领域的发展前景，经过不断的研究和探索，提出一种领域自适应的跨受试者运动想象脑电信号识别***和方法。

本发明首先是一种领域自适应的跨受试者运动想象脑电信号识别***，参见图1，本发明中依照信息处理顺序，依次连接和包括有数据采集模块、数据预处理模块、网络训练控制模块、网络模块、网络前向执行模块，数据预处理模块的输出还送入网络前向执行模块中，网络前向执行模块读取训练好的网络模块的参数，并结合经过数据预处理模块预处理过的脑电信号计算得出运动想象分类结果并输出。所述网络模块为本发明自行构建的空间条件领域自适应网络SCDAN模块，简称为SCDAN模块，该模块处于网络前向执行模块和网络训练控制模块之间，参见图1，图1为本发明的领域自适应的跨受试者运动想象脑电信号识别***结构框图，对***各模块分述如下：

数据采集模块，以固定采样率1024Hz和10-20电极分布***完成受试者运动想象时的数据采集，采集的数据为原始脑电数据，包括运动想象脑电信号和运动想象身体部位标签信号。

数据预处理模块，接收数据采集模块送来的原始脑电数据，对原始脑电数据依次进行包括去基线、滤波、降采样等预处理。

网络训练控制模块，参见图2，依照信息处理顺序，依次连接和包括有训练数据准备子模块、网络训练子模块、终止训练判断子模块；当网络进行训练时，训练数据准备子模块准备训练所需的训练数据，网络训练子模块读取SCDAN模块的参数，在其内部用训练数据准备子模块传来的训练数据和SCDAN模块参数完成网络的训练，训练完成将新的参数传给SCDAN模块；当训练达到设置的训练条件后，网络终止训练判断子模块的输出终止训练信息并送入训练数据准备子模块，训练数据准备子模块停止生成训练数据，训练完成。

本发明网络训练控制模块中的训练数据准备子模块，从数据预处理模块的输出中挑选两个不同受试者的脑电数据，其中一个受试者脑电数据作为源域数据，脑电数据打上源域数据标签，另一个受试者脑电数据作为目标域数据，脑电数据打上目标域数据标签，从源域数据和目标域数据中各取小批量的数据，作为一轮训练所需的批数据，每一轮训练开始前完成批数据的准备，直至终止训练判断子模块发出停止训练信息。

网络训练子模块，读取SCDAN模块中的网络参数，再结合训练数据准备子模块送来的批训练数据通过计算并优化网络损失函数完成对网络的参数训练，并将训练好的网络参数保存至SCDAN模块。

终止训练判断子模块根据预设的训练停止条件判断是否停止训练，若达到训练停止条件，则向训练数据准备子模块，令其停止训练数据的准备。本发明网络的训练可以通过改变终止训练子模块的终止训练条件，来人为控制训练的终止，训练更加灵活。

构建的SCDAN模块：本发明中网络模块SCDAN模块即空间条件领域自适应网络SCDAN模块，参见图3，SCDAN模块包括解码器子模块、判别器子模块和损失函数子模块。

解码器子模块的输出分别到连接判别器子模块的输入、损失函数子模块的输入以及网络前向执行模块的输入，解码器子模块与网络训练子模块双向信息交互；网络训练子模块读取解码器子模块的参数并更新参数后，将新参数返回给解码器子模块。

判别器子模块判别预处理数据的域来源，判别器子模块输出连接损失函数子模块输入，判别器子模块与网络训练子模块双向信息交互，网络训练子模块读取判别器子模块的参数并更新参数后，将新参数返回给判别器子模块；损失函数子模块的输出连接网络训练子模块的输入；解码器子模块对预处理后的脑电数据，生成运动想象身体部位分类结果，并将结果送入损失函数子模块；判别器子模块输入为解码器子模块的输出，完成对脑电数据的域标签判断，即脑电数据是来自源域还是来自目标域，并将结果送入损失函数子模块，判别器子模块的设置，可以让解码器将不同受试者的脑电信号映射到同一数据分布，在同一数据分布之上，解码器才能更好进行运动想象分类，提供分类准确率。

损失函数子模块构造解码器子模块损失函数、判别器子模块损失函数和整个网络的损失函数，并将结果送入网络训练子模块的输入。

本发明的SCDAN模块是专门为提高跨受试者运动想象脑电信号识别准确率而设计的。

本发明中的网络前向执行模块，该模块接收数据预处理模块传来的脑电数据，并读取SCDAN模块中保存的训练好的SCDAN参数，使用SCDAN模块中的解码器子模块的参数和受试者的脑电数据，计算出运动想象身体部位类别的分类结果。网络前向执行模块只会在网络训练完成之后使用。

现有技术存在跨受试者运动想象脑电信号识别的问题，也就是说，在现有受试者的脑电数据集(源域数据)上训练识别算法时，训练好的识别算法往往无法在新的受试者脑电数据集(目标域数据)上获得高识别准确率，为了解决在现有受试者运动想象脑电数据上训练运动想象识别算法时，对新的受试者的运动想象脑电数据识别效果差的问题，本发明提出了领域自适应的跨受试者运动想象脑电信号识别***和方法的整体方案，可以有效地提取新的受试者脑电特征并识别，完成高性能的运动想象分类任务。

本发明的基本思路是：使用脑电采集设备获取脑电数据，脑电数据包括脑电信号和对应进行运动想象的身体部位标签信号，并对脑电信号进行预处理。选取预处理后的两个不同的受试者脑电数据，一个作为源域数据，也就是当作已知运动想象的身体部位标签信号的受试者，另一个作为目标域数据，也就是当作新的受试者，虽然有其运动想象的身体部位标签信号，但当做其运动想象的身体部位标签信号是未知的，用源域带标签的脑电数据和目标域不带标签的脑电信号进行SCDAN的训练，最终将目标域的脑电信号输入SCDAN，得到预测的运动想象身体部位类别的分类结果，与真实标签比较，即可得出分类准确率，可通过分类准确率来评估算法的性能。因为实际应用中新的受试者运动想象的身体部位标签信号未知，因此SCDAN可用于跨受试者运动想象脑电信号识别。

本发明解决了传统识别算法在进行跨受试者运动想象脑电信号识别时分类准确率低的问题，也就是说，在现有受试者的脑电数据集(源域数据)上训练识别算法时，训练好的识别算法往往无法在新的受试者脑电数据集(目标域数据)上获得高识别准确率。本发明结合新的未知标签的受试者脑电信号和已有的带标签的受试者脑电数据，进行新的受试者脑电信号运动想象分类，并取得较高的分类准确率。

实施例2

领域自适应的跨受试者运动想象脑电信号识别***总体构成同实施例1，本发明SCDAN模块中的解码器子模块按照信息依照信息处理顺序，依次连接特征提取器和分类器，特征提取器依照信息处理顺序，由时间卷积单元、空间卷积单元、特征转移单元依次连接组成，参见图4，特征提取器和分类器具体组成如下：

特征提取器包括的时间卷积单元、空间卷积单元、特征转移单元，也可称为时间卷积块、空间卷积块、特征转移块，分述如下：

时间卷积单元：分别使用包含不同个数的

卷积核的卷积层和一层平均池化层来分别提取输入数据的时间特征，每组卷积核个数为F₁，F₁为超参数，将得到的张量按通道连接并进行批归一化和用ELU函数激活；时间卷积单元提取的是脑电数据的时域特征，卷积运算相当于滤波操作，不同组数的卷积核可以提取多组不同的时域特征，也使特征提取器更加具有鲁棒性，f为脑电信号采样频率，k为超参数。

参见图4，图4为本发明的领域自适应的跨受试者运动想象脑电信号识别***中解码器子模块中特征提取器的结构框图，本例中，分别使用一组包括一个卷积核的卷积层、一组依次使用两个卷积核的卷积层、一组依次使用三个卷积核的卷积层和一层平均池化层来提取输入的特征。

空间卷积单元：由深度卷积层、批归一化层、ELU激活层、平均池化层、Dropout层、可分离卷积层、批归一化层、平均池化层依次连接组成。其中深度卷积层卷积核大小为(C,1)，深度为D，C为脑电原始信号通道数，D为超参数；两个平均池化大小均为

Dropout层概率设为0.5；可分离卷积层卷积核个数为F₂，大小为

由于脑电信号是在不同脑部区域上提取的，脑电信号还包含有空间信息，空间卷积相当于进行空间域滤波，在时间域滤波后的数据上再进行空间域滤波，提取脑电信号空间特征信息。

特征转移单元：依次是卷积层D₁、ELU激活层、合并层、卷积层D₂、平均池化层、Dropout层、全连接层。卷积层D₁卷积核个数为F₂，F₂为超参数，大小为(1,1)，合并层将上一个空间卷积子模块的输出经过全连接和D₁卷积层所得结果相连接；卷积层D₂有2F₂个

的卷积核；平均池化的大小为

dropout层概率设为0.5；最后全连接将得到的张量展平成长度为2F₂的向量。特征转移单元将两个不同的受试者脑电特征进行变换，将提取到的特征映射到同一数据分布下，这使分类器能在跨受试者的情况下依然保持高分类准确率。

本例中各单元之间均为直接连接。

分类器由一层全连接层组成，全连接层的激活函数为softmax函数，全连接层输入长度为2F₂的向量，即特征转移单元的输出，输出为长度为S的向量，即每个运动想象身体部位的分类置信度。

传统运动想象算法先从不同受试者脑电信号中提取不同分布的脑电特征，再利用分类器对脑电特征进行分类识别，可想而知，利用某一受试者脑电数据上训练出的算法并不能很好应用于新的受试者上。而本发明SCDAN模块中的解码器子模块先从脑电数据中提取时域的特征，再在提取的时域特征之上，提取空间域的特征，然后将源域数据脑电特征和目标域数据的脑电特征通过特征转移单元映射到同一数据分布下，使分类器更容易在同一数据分布上进行分类任务，因此可以提高跨受试者运动想象分类的准确率。

实施例3

领域自适应的跨受试者运动想象脑电信号识别***同实施例1-2，SCDAN模块中的判别器子模块包括有空间判别器和条件判别器，参见图5和图6，具体如下：

空间判别器：参见图5，图5为发明的领域自适应的跨受试者运动想象脑电信号识别***中SCDAN模块中判别器子模块的空间判别器结构框图，图中源域数据为从源域受试者(已有脑电数据标签的受试者)提取到的脑电特征，目标域数据为从目标域受试者(新受试者)提取到的脑电特征。

空间判别器输入为源域和目标域脑电特征，运用大小为(1，T)的卷积核进行卷积，再经过ELU激活层、Dropout层、和以sigmoid函数为激活函数的全连接层得到数据域判别结果y_d，y_d为数据域标签。

由于存在类似脑电帽戴歪的情况，不同受试者采集的脑电数据的区域来源可能不同，本发明的空间判别器通过提取到的空间特征来判断脑电数据来自哪一个受试者，特征提取器不让空间判别器判断出来，因此通过对抗训练，特征提取器可以学习如何将不同空间脑电特征映射到同一数据分布下，从而让分类器的跨受试者输出准确率更高，从而解决上述问题。

条件判别器：条件判别器的输入为特征提取器的输出和分类器的分类置信度输出，将特征提取器的输出记为f＝[f₁,f₂,···,f_d]，令分类器的输出p＝[p₁,p₂,···,p_c]，p作为条件，

记

其中d是特征深度，为2F₂，c是分类类别数量，c＝S，h为条件特征。

参见图6，图6为发明的领域自适应的跨受试者运动想象脑电信号识别***中SCDAN模块中判别器子模块的条件判别器结构框图，将h经过全连接层、ELU激活层、Dropout层、最后再通过用sigmoid函数激活的全连接层并计算得到数据域标签y_d，数据域标签送入损失函数子模块，用于计算损失函数。

由于存在不同受试者想象运动的方式不同的情况，条件判别器结合分类器的输出和脑电特征，来判断脑电数据来自哪一个受试者，特征提取器又不让空间判别器判断出来，二者参数通过训练不断更新，性能表现也越来越强，因此特征提取器可以学习将不同想象方式下提取的脑电特征映射到同一数据分布下，从而让分类器的跨受试者输出准确率更高。

本发明的判别器子模块，通过域标签的判定，让解码器子模块在源域和目标域数据上学习一个映射，让源域和目标域数据提取到的特征满足同一分布，使判别器子模块判别不出来提取的特征是来自哪一个域的，判别器子模块要尽量能判定特征的域来源，解码器要尽量学习同一分布的映射，二者相互对抗，通过训练可以得到最好的解码器子模块和判别器子模块。空间判别器解决受试者脑电信号采集的位置有差异的问题，条件判别器解决受试者之间想象的方式不尽相同的问题，正是有了这两个判别器，让本发明具有了提高跨受试者脑电信号的识别准确率的能力，也可以扩展应用于其他脑机接口想象领域，具有了一定的通用性。

实施例4

本发明还是一种领域自适应的跨受试者运动想象脑电信号识别方法,在上述的任一领域自适应的跨受试者运动想象脑电信号识别***上实现，领域自适应的跨受试者运动想象脑电信号识别***同实施例1-3，参见图7，图7为本发明领域自适应的跨受试者运动想象脑电信号识别方法的流程框图，包括如下步骤：

(1)构建领域自适应的跨受试者运动想象脑电信号识别***：依照信息处理顺序，依次连接和包括有数据采集模块、数据预处理模块、网络训练控制模块、网络模块、网络前向执行模块，数据预处理模块的输出还送入网络前向执行模块中，网络前向执行模块读取训练好的网络模块的参数，并结合预处理过的脑电信号计算得出运动想象分类结果并输出，所述网络模块为构建的空间条件领域自适应网络SCDAN模块，简称为SCDAN模块，该模块处于网络前向执行模块和网络训练控制模块之间，其中的网络训练控制模块、SCDAN模块、网络前向执行模块分述如下：

网络训练控制模块，依照信息处理顺序，依次连接和包括有训练数据准备子模块、网络训练子模块、终止训练判断子模块，终止训练判断子模块的输出信息又送入训练数据准备子模块，网络训练控制模块中的网络训练子模块与SCDAN模块进行双向数据交互；训练数据准备子模块完成接收数据预处理模块输入的受试者经过预处理的脑电数据，并准备SCDAN模块网络训练所需的批训练数据；网络训练子模块读取SCDAN模块中的网络参数，再结合训练数据准备子模块送来的批训练数据通过计算并最小化网络损失函数完成对网络的参数训练，并将训练好的网络参数保存至SCDAN模块中。

SCDAN模块：即空间条件领域自适应网络SCDAN模块，包括解码器子模块、判别器子模块和损失函数子模块；解码器子模块的输出连接判别器子模块的输入、损失函数子模块的输入、网络前向执行模块的输入，解码器子模块与网络训练子模块双向信息交互；判别器子模块输出连接损失函数子模块输入，判别器子模块与网络训练子模块双向信息交互；损失函数子模块的输出连接网络训练子模块的输入；解码器子模块对预处理后的脑电数据，生成运动想象身体部位分类结果，并将结果送入损失函数子模块；判别器子模块输入为解码器子模块的输出，完成对脑电数据的域标签判断，即脑电数据是来自源域还是来自目标域，并将结果送入损失函数子模块；损失函数子模块构造解码器子模块损失函数、判别器子模块损失函数和整个网络的损失函数，并将结果送入网络训练子模块的输入。

网络前向执行模块，该模块接收数据预处理模块传来的脑电数据，并读取SCDAN模块中保存的训练好的SCDAN参数，使用SCDAN模块中的解码器子模块的参数和受试者的脑电数据，计算出运动想象身体部位类别的分类结果。

(2)采集运动想象脑电数据：通过数据采集模块采集多个受试者运动想象脑电数据，提示受试者需要执行运动想象的身体部位并让受试者进入想象状态，同时用脑电帽采集和记录受试者执行运动想象任务时的脑电数据，脑电数据包括脑电信号和对应进行运动想象的身体部位标签信号，最终得到多名受试者的原始脑电数据，具体步骤如下：

(2a)利用提示让受试者执行运动想象任务：通过使用显示器或VR头盔的屏幕提示受试者要执行运动想象任务的身体部位，包括但不限于下述部位：左手、右手。

(2b)采集脑电数据：运动想象脑电信号采集通过受试者佩戴脑电帽并执行运动想象任务，同步记录受试者全脑64通道脑电图，电极分布采用10-20***，并使用1024Hz采样率作为采样率；被采集的脑电信号及运动想象身体部位类别标签一同被记录，得到原始脑电数据。

(3)原始脑电数据预处理：通过数据预处理模块对原始脑电数据预处理，对每个受试者原始脑电数据中的脑电信号依次进行去基线、滤波、降采样的预处理，对运动想象身体部位标签信号不进行预处理，得到预处理后脑电数据，预处理后的脑电数据包括已预处理的脑电信号和未预处理的运动想象身体部位标签信号，具体步骤如下：

(3a)将采集到原始脑电数据的每个通道的脑电信号减去所有通道信号的均值，得到去除基线后的脑电数据。

(3b)将去除基线后的脑电数据通过1-75Hz的带通滤波器以去除绝大多数干扰生理信号；并对其进行50Hz工频信号滤除，得到滤波后的脑电数据。

(3c)将滤波后的脑电数据降采样至200Hz，得到预处理后的脑电数据。

(4)准备训练数据：用网络训练控制模块的训练数据准备子模块，从多名受试者已预处理的脑电数据中挑选两名受试者的脑电数据，其一受试者脑电数据作为源域数据，另一受试者脑电数据作为目标域数据，取一小批量的源域和目标域数据作为一批训练数据，一共取n批训练数据，作为一轮SCDAN训练所需的训练数据；训练数据准备子模块若收到网络训练控制模块中终止训练判断子模块发出的终止训练信息，则停止训练数据的准备，若未收到终止训练信息，一轮训练完成后准备下一轮训练数据。

(5)更新构建的SCDAN模块：网络训练控制模块中的网络训练子模块，接收批训练数据，并读取SCDAN模块参数，网络训练子模块在每一批训练数据上用解码器子模块、判别器子模块的参数，结合损失函数子模块中损失函数公式计算网络的损失函数，每一批数据算出一个网络损失函数，通过优化损失函数来更新一次构建的SCDAN模块参数，即解码器子模块和判别器子模块的参数，完成一次训练，一轮训练包含n次训练，每轮训练完成后，若满足终止训练条件，则停止训练，网络训练子模块将训练好的参数输出给SCDAN模块；网络一轮训练所需的训练数据可以通过调整每一批训练数据的数量和训练数据的批数来调整。

(6)网络前向执行得到运动想象分类结果：将经过数据预处理模块后的目标域受试者的脑电数据输入网络前项执行模块，网络前向执行模块同时还读取步骤(5)中训练好的SCDAN模块中解码器的参数，也就是说本发明结合目标域受试者脑电信号和训练好的SCDAN中解码器参数进行计算，输出运动想象身体部位分类结果。

本发明为了解决在现有受试者运动想象脑电数据上训练运动想象识别算法时，对新的受试者的运动想象脑电数据识别效果差的问题，提出了领域自适应的跨受试者运动想象脑电信号识别方法的整体技术方案，利用领域自适应技术构建的SCDAN模块，其中的解码器和判别器通过优化网络损失函数对抗训练，将预处理过的目标域受试者的脑电信号用于网络的训练，相当于给网络提供了了关于目标域受试者的额外信息，因此用于目标域受试者脑电信号识别分类时，分类准确率更高，最终实现跨受试者运动想象脑电信号高准确率识别分类。

实施例5

领域自适应的跨受试者运动想象脑电信号识别***及方法同实施例1-4，步骤(5)所述的更新构建的SCDAN模块，具体包括如下步骤：

(5.1)设定终止训练判断条件：在网络训练控制模块中的终止训练子模块中，设定终止训练判断条件，即连续m轮网络损失函数的值不再比历史网络损失函数最小值低，则终止训练，其中m预先设定，本例中可取20。

(5.2)读取SCDAN模块参数和训练数据：网络训练控制模块中的网络训练子模块读取SCDAN模块参数，读取模块参数包括特征提取器、分类器、空间判别器、条件判别器的参数，以及损失函数子模块中所有损失函数公式；网络训练子模块还读取训练数据准备子模块输出的一轮训练所需的训练数据。

(5.3)进行一次判别器子模块参数更新：开始训练，网络训练子模块固定读取的SCDAN模块中特征提取器和分类器的参数，在一轮训练数据中取一批训练数据通过前向传播，再根据损失函数子模块中的损失函数计算出网络损失函数，再经过使用Adam算法优化损失函数计算出新的参数来同步更新空间判别器和条件判别器参数，完成一次对SCDAN模块中判别器子模块的参数更新。

(5.4)进行一轮判别器子模块参数更新：在一轮训练数据中，另取一批训练数据，重复执行步骤(5.3)n次，直至一轮训练数据全部参与过损失函数计算，一轮判别器子模块的参数更新完成。

(5.5)进行一轮解码器子模块参数更新：从训练数据准备子模块的一轮训练数据中随机取一批数据作为网络训练子模块输入，网络训练子模块固定空间判别器和条件判别器的参数，再通过前向传播计算并优化损失函数，通过使用Adam算法优化损失函数，同时更新特征提取器和分类器的网络参数，完成一次解码器参数更新，一批训练数据即可完成一轮解码器参数更新。

(5.6)完成SCDAN模块的参数更新：重复(5.3)-(5.5)，每重复一次为一轮SCDAN模块的训练，一轮参数更新完成后，计算一次网络损失函数，网络训练直到满足训练停止条件为止，即连续m轮网络损失函数的值不再比历史网络损失函数最小值低，停止训练时终止训练判断子模块向训练数据准备子模块发出的终止训练信息，网络训练子模块将训练好的网络参数输出给SCDAN模块，用于更新参数。

本发明的更新构建的SCDAN模块步骤中，可以先进行一轮判别器子模块参数更新，再进行更新一轮解码器子模块参数更新，或者先进行一轮解码器子模块参数更新，再进行一轮判别器子模块参数更新。本发明的更新构建的SCDAN模块步骤构建了从获取SCDAN模块参数和训练数据到得到新的SCDAN模块参数的方法流程，其中具体判别器子模块参数更新多少次之后再更新一次解码器参数是可调整的，这使得SCDAN模块参数的更新训练更加灵活。

实施例6

领域自适应的跨受试者运动想象脑电信号识别***同实施例1-5，步骤(5)中所述的优化损失函数来更新一次构建的SCDAN模块参数，包括有如下步骤：

(5a)计算损失函数：通过计算分类器损失函数、空间判别器损失函数、条件判别器损失函数，最终计算出网络损失函数，包括如下步骤：

(5a1)计算分类器损失函数：分类器使用带有softmax激活函数的全连接层进行运动想象身体部位的分类，其分类器损失函数L_C(θ_F,θ_C)如下：

其中

是源域数据对应的脑电信号和运动想象的身体部位标签，

是分类器的输出结果，即每个运动想象的身体部位标签置信度，L(·,·)是交叉熵损失函数，θ_F,θ_C是特征提取器和分类器的参数，利用小批量的源域数据依据分类器损失函数公式计算出分类损失函数。

(5a2)计算空间判别器损失函数

其中

公式上是交叉熵损失函数，θ_F,

是特征提取器和空间判别器的参数，S_G(·)为空间卷积单元的输出，D_S(·)为空间判别器的输出，

为目标域脑电信号，利用小批量的源域不包括标签的脑电信号和目标域不包括标签的脑电信号依据空间判别器函数公式计算出空间判别器空间判别器损失函数。

(5a3)计算条件判别器损失函数

其中

分别是源域脑电信号经过特征提取器再经过分类器的输出结果和条件特征，

是目标域脑电信号经过特征提取器再经过分类器的输出结果和条件特征，D_C(·)为条件判别器的输出，上述公式有如下补充定义：

ω(H(p))＝1+e^-H(p)

利用小批量的源域不包括标签的脑电信号和目标域不包括标签的脑电信号依据条件判别器函数公式计算出条件损失函数。

(6a4)计算网络损失函数：通过计算出的分类器损失函数、空间判别器损失函数和条件判别器损失函数按照网络损失函数公式计算出网络损失函数

其中λ₁为判别器损失函数整体权重超参数，θ_F,θ_C,

分别为特征提取器、分类器、空间判别器、条件判别器的参数，L_C(·,·)，

分别是分类器、空间判别器损失函数，

是条件判别器损失函数，

为空间判别器和条件判别器损失函数的相对权重超参数，z是当前网络训练所处轮数，Z₀为超参数。

(5b)更新SCDAN模块参数：通过优化网络损失函数更新SCDAN模块参数，包括空间判别器和条件判别器参数和特征提取器和分类器参数，包括如下步骤：

(5b1)更新空间判别器和条件判别器参数：固定特征提取器和分类器参数，对一批训练数据计算出的网络损失函数，采用Adam算法最大化网络损失函数，来同步更新空间判别器和条件判别器参数，每更新一次参数就完成了一次优化损失函数。

(5b2)更新特征提取器和分类器参数：固定空间判别器和条件判别器参数，对一批训练数据计算出的网络损失函数，采用Adam算法最小化网络损失函数，来同步更新特征提取器和分类器参数，每更新一次参数就完成了一次优化损失函数。

本发明网络损失函数的计算是用到了目标域的脑电信号，里面包含了目标域受试者的一部分信息，因此通过优化损失函数相当于将目标域受试者的信息也用于网络的训练了，自然最终训练好的网络能在目标域受试者上表现出更好的性能。传统算法并没有或者说无法将目标域受试者的脑电信号用于训练，因此跨受试者分类准确率低。本发明还可以人为调节损失函数超参数，改变网络损失函数，可用于加快网络的训练，也通过优化带有不同超参数的网络损失函数来寻找在目标域脑电信号上表现最佳的SCDAN模块参数。

本发明属于信息技术领域领域，要解决的技术问题为目前跨受试者运动想象脑电信号识别准确率低的问题，利用领域自适应构建训练模型，有效地提取脑电信号特征并实现高准确率的分类，采用的技术方案为：构建领域自适应的多受试者运动想象脑电信号识别***，该***包括数据采集模块、数据预处理模块、网络训练控制模块、空间条件领域自适应网络SCDAN模块、网络前向执行模块；采集及预处理脑电数据：采集多个受试者进行运动想象时的脑电数据，并对数据进行预处理；训练更新网络参数，通过网络训练控制模块获取训练数据训练更新网络参数；网络前向执行进行特征提取和分类：使用参数更新完成后的SCDAN模块对预处理后的脑电信号进行特征提取和分类，得到最终结果。

下面将***和方法融为一体，给出一个详细的例子，对本发明进一步说明。

实施例7

领域自适应的跨受试者运动想象脑电信号识别方法同实施例1-6，具体步骤如下：

(1)采集运动想象原始脑电数据：提示受试者需要执行运动想象的身体部位并让受试者进入想象状态，同时用脑电帽采集和记录受试者执行运动想象任务时的脑电数据，脑电数据包括脑电信号和对应进行运动想象的身体部位标签信号，最终得到多名受试者的原始脑电数据，具体步骤如下：

(1a)利用提示让受试者执行运动想象任务：通过使用显示器或VR头盔的屏幕等设备提示受试者要执行运动想象任务的身体部位，包括但不限于下述部位：左手、右手。

(1b)采集脑电数据：受试者佩戴脑电帽来采集脑电数据，记录受试者全脑64通道脑电图，电极分布采用10-20***，并使用1024Hz采样率作为采样率；被采集的脑电数据包括脑电信号和对应进行运动想象的身体部位标签信号，得到原始脑电数据。

(2)原始脑电数据预处理：通过数据预处理模块对原始脑电数据预处理，对每个受试者原始脑电数据中的脑电信号依次进行去基线、滤波、降采样的预处理，对运动想象身体部位标签信号不进行预处理，得到预处理后脑电数据，预处理后的脑电数据包括已预处理的脑电信号和未预处理的运动想象身体部位标签信号，具体步骤如下：

(2a)将采集到原始脑电信号中每个通道的脑电信号减去所有通道信号的均值，得到去除基线后的脑电信号。

(2b)将去除基线后的脑电信号通过1-75Hz的带通滤波器以去除绝大多数干扰生理信号；并对其进行50Hz工频信号滤除，得到滤波后的脑电信号。

(2c)将滤波后的脑电信号降采样至200Hz，得到预处理后的脑电信号。

(3)构建SCDAN。

(3a)构建解码器：解码器由特征提取器和分类器组成，特征提取器由时间卷积单元、空间卷积单元、特征转移单元依次连接组成，特征提取器和分类器组成如下：

(3a1)时间卷积单元：分别使用不同组数的

的卷积核和一层平均池化层来分别提取输入数据的时间特征，每组卷积核个数为F₁，F₁为超参数，将得到的张量按通道连接并进行批归一化和用ELU函数激活，f为脑电信号采样频率，此处为1024，k为超参数，可设为8。

(3a2)空间卷积单元：由深度卷积层、批归一化层、ELU激活层、平均池化层、Dropout层、可分离卷积层、批归一化层、平均池化层依次连接组成。其中深度卷积层卷积核大小为(C,1)，深度为D，C为脑电原始信号通道数，此处为64，D为超参数，可设为3；两个平均池化大小均为

Dropout层概率设为0.5；可分离卷积层卷积核个数为F₂，F₂为超参数，可设为10，大小为

(3a3)特征转移单元：依次连接卷积层D₁、ELU激活层、合并层、卷积层D₂、平均池化层、Dropout层、全连接层。卷积层D₁卷积核个数为F₂，大小为(1,1)，连接层将上一个空间卷积子模块的输出经过全连接和D₁卷积层所得结果相连接；卷积层D₂有2F₂个

的卷积核；平均池化的大小为

dropout层概率设为0.5；最后全连接将得到的张量展平成长度为2F₂的向量。

(3a4)分类器由一层全连接层组成，全连接层的激活函数为softmax函数，全连接层输入长度为2F₂的向量，即特征转移单元的输出，输出为长度为S(即为分类类别数)的向量，即每个运动想象身体部位的分类置信度。

(3b)构建判别器：

(3b1)空间判别器：参见图5，输入为特征转移单元提取出的特征张量作为，运用大小为(1，T)的卷积核进行卷积，再经过ELU激活层、Dropout层、和以sigmoid函数为激活函数的全连接层得到数据域判别结果y_d，y_d为数据域标签。

(3b2)条件判别器：参见图6，条件判别器的输入为特征提取器的输出和分类器的分类置信度输出，将特征提取器的输出记为f＝[f₁,f₂,···,f_d]，令分类器的输出p＝[p₁,p₂,···,p_c]，p作为条件，

记

其中d是特征深度，为2F₂，c是分类类别数量，h为条件特征矩阵。

将h经过全连接展平层、ELU激活层、Dropout层、最后再通过用sigmoid函数激活的全连接层并计算得到数据域标签y_d。

(4)训练SCDAN：

(4a)准备训练数据：从多名受试者已预处理的脑电数据中挑选两名受试者的脑电数据，其一受试者脑电数据作为源域数据，另一受试者脑电数据作为目标域数据，取一小批量的源域和目标域数据作为一批训练数据，一共取n批训练数据，n可取10，作为一轮SCDAN训练所需的训练数据。

(4b)计算损失函数：

(4b1)计算分类器损失函数：分类器损失函数如下：

其中

是源域数据对应的脑电信号和运动想象的身体部位标签，

是分类器的输出结果，即每个运动想象的身体部位标签置信度，L(·,·)是交叉熵损失函数，θ_F,θ_C是特征提取器和分类器的参数，利用小批量的源域数据依据分类器损失函数公式计算出分类损失函数。

(4b2)计算空间判别器损失函数：

其中

是交叉熵损失函数，θ_F,

是特征提取器和空间判别器的参数，S_G(·)为空间卷积单元的输出，D_S(·)为空间判别器的输出，

为目标域脑电信号，利用小批量的源域不包括标签的脑电信号和目标域不包括标签的脑电信号依据空间判别器函数公式计算出空间判别器空间判别器损失函数。

(4b3)计算条件判别器损失函数：

其中

分别是源域脑电信号经过特征提取器再经过分类器的输出结果和条件特征，

是目标域脑电信号经过特征提取器再经过分类器的输出结果和条件特征，D_C(·)为条件判别器的输出，上述公式有如下补充定义：

ω(H(p))＝1+e^-H(p)

利用小批量的源域不包括标签的脑电信号和目标域不包括标签的脑电信号依据条件判别器函数公式计算出条件损失函数。

(4b4)计算网络损失函数

其中λ₁为超参数，θ_F,θ_C,

分别为特征提取器、分类器、空间判别器、条件判别器的参数，L_C(·,·)，

分别是分类器、空间判别器损失函数，

是条件判别器损失函数，

z是当前网络训练所处轮数，Z₀为超参数，本例可设为20。

(4c)优化损失函数得到新参数：

(4c1)完成一次判别器参数更新：固定特征提取器和分类器的参数，取一批训练数据通过前向传播计算出网络损失函数，再经过最大化网络损失函数计算出新的参数来同步更新空间判别器和条件判别器参数，完成一次判别器子模块的参数更新。

(4c2)完成一轮判别器子模块参数更新：重复执行步骤(4c1)n次，完成一轮判别器子模块的参数更新。

(4c3)完成一次解码器参数更新：从训练数据准备子模块的输出中取一小批数据作为输入，固定空间判别器和条件判别器的参数，再通过前向传播并最小化网络损失函数计算来同时更新特征提取器和分类器的网络参数，完成一次解码器参数更新。

(4c4)完成SCDAN模块的参数更新：重复(4c1)-(4c3)，每重复一次为一轮SCDAN模块的训练，直到满足训练停止条件为止，即连m轮网络损失函数的值不再比历史网络损失函数最小值低，则满足网络训练停止条件，停止训练时终止训练判断子模块向训练数据准备子模块发出的终止训练信息，网络训练子模块将训练好的网络参数输出给SCDAN模块，用于更新参数。

(5)网络前向执行得到运动想象分类结果：将经过数据预处理模块后的目标域受试者的脑电数据输入训练好的SCDAN，其中的解码器输出运动想象身体部位分类结果。

本发明的领域自适应的跨受试者运动想象脑电信号识别***及方法解决了目前跨受试者运动想象脑电信号识别准确率低的问题，流程清晰明确，并且具有通用性。

综上所述，本发明的一种领域自适应的跨受试者运动想象脑电信号识别***及方法，解决了目前跨受试者运动想象脑电信号识别准确率低的问题。识别***有数据采集模块、数据预处理模块、网络训练控制模块、网络模块、网络前向执行模块，网络前向执行模块读取训练好的网络模块的参数并结合预处理过的脑电信号计算出运动想象分类结果并输出。其中的网络模块为构建的空间条件领域自适应网络SCDAN模块。识别方法包括，构建领域自适应的跨受试者运动想象脑电信号识别***；采集运动想象脑电数据；原始脑电数据预处理；准备训练数据；更新构建的SCDAN模块；网络前向执行得到运动想象分类结果。

本发明利用领域自适应技术构建SCDAN模块，SCDAN模块中解码器中的特征提取器包含特征转移单元，将提取到的不同受试者脑电特征映射到同一分布下，帮助解码器中的分类器实现跨受试者的高准确率运动想象分类；SCDAN模块中判别器的空间判别器解决不同受试者脑电信号采集位置的差异导致跨受试者分类准确率低的问题；SCDAN模块中判别器的条件判别器解决不同受试者运动想象方式的差异导致跨受试者分类准确率低的问题；SCDAN模块中损失函数子模块，在构建分类器损失函数、空间判别损失函数、条件判别损失函数的基础之上，构建SCDAN网络损失函数，调节网络损失函数中超参数，可改变网络损失函数公式，通过优化网络损失函数来分别更新解码器和判别器参数。本发明跨受试者运动想象识别准确率高，网络损失函数可调整，可以应用于其他有关于想象的脑机接口领域，不仅局限于运动想象这一单独领域，通用性好。

以上描述仅是本发明的具体实施例，并不构成对本发明的任何限制。显然对于本领域的专业人员来说，在了解了本发明内容和原理后，都可能在不背离本发明原理、结构的情况下，进行形式和细节上的各种修正和改变，但是这些基于本发明思想的修正和改变仍在本发明的权利要求保护范围之内。

Claims (6)

1.一种领域自适应的跨受试者运动想象脑电信号识别***，依信息处理顺序，依次连接和包括有数据采集模块、数据预处理模块、网络训练控制模块、网络模块、网络前向执行模块；数据预处理模块的输出还送入网络前向执行模块中，网络前向执行模块读取训练好的网络模块的参数，并结合预处理过的脑电信号计算出运动想象分类结果并输出，网络训练控制模块与网络模块双向信息交互以完成对网络模块参数的训练更新，其特征在于，所述网络模块为构建的空间条件领域自适应网络SCDAN模块，简称为SCDAN模块，该模块处于网络前向执行模块和网络训练控制模块之间，对网络训练控制模块、SCDAN模块、网络前向执行模块分述如下：

网络训练控制模块，依照信息处理顺序，依次连接和包括有训练数据准备子模块、网络训练子模块、终止训练判断子模块，终止训练判断子模块的输出信息又送入训练数据准备子模块，网络训练控制模块中的网络训练子模块与SCDAN模块进行双向数据交互；训练数据准备子模块完成接收数据预处理模块输入的受试者经过预处理的脑电数据，并准备SCDAN模块网络训练所需的批训练数据；网络训练子模块读取SCDAN模块中的网络参数，再结合训练数据准备子模块送来的批训练数据通过计算并优化网络损失函数完成对网络的参数训练，并将训练好的网络参数保存至SCDAN模块中；

构建的SCDAN模块：即空间条件领域自适应网络SCDAN模块，包括解码器子模块、判别器子模块和损失函数子模块；解码器子模块的输出连接判别器子模块的输入、损失函数子模块的输入、网络前向执行模块的输入，解码器子模块与网络训练子模块双向信息交互；判别器子模块输出连接损失函数子模块输入，判别器子模块与网络训练子模块双向信息交互；损失函数子模块的输出连接网络训练子模块的输入；解码器子模块对预处理后的脑电数据，生成运动想象身体部位分类结果，并将结果送入损失函数子模块；判别器子模块输入为解码器子模块的输出，完成对脑电数据的域标签判断，即脑电数据是来自源域还是来自目标域，并将结果送入损失函数子模块；损失函数子模块构造解码器子模块损失函数、判别器子模块损失函数和整个网络的损失函数，并将结果送入网络训练子模块的输入；

网络前向执行模块，该模块接收数据预处理模块传来的脑电数据，并读取SCDAN模块中保存的训练好的SCDAN参数，使用SCDAN模块中的解码器子模块的参数和受试者的脑电数据，计算出运动想象身体部位类别的分类结果。

2.根据权利要求1所述的领域自适应的跨受试者运动想象脑电信号识别***，其特征在于，SCDAN模块中的解码器子模块按照信息依照信息处理顺序，依次连接特征提取器和分类器，特征提取器依照信息处理顺序，由时间卷积单元、空间卷积单元、特征转移单元依次连接组成，特征提取器和分类器具体组成如下：

特征提取器包括的时间卷积单元、空间卷积单元、特征转移单元分述如下：

时间卷积单元：分别使用包含不同个数的

卷积核的卷积层和一层平均池化层来分别提取输入数据的时间特征，每组卷积核个数为F₁，F₁为超参数，将得到的张量按通道连接并进行批归一化和用ELU函数激活，f为脑电信号采样频率，k为超参数；

空间卷积单元：按照信息传递顺序，依次连接有深度卷积层、批归一化层、ELU激活层、平均池化层、Dropout层、可分离卷积层、批归一化层、平均池化层，其中深度卷积层卷积核大小为(C,1)，深度为D，C为脑电原始信号通道数，D为超参数；两个平均池化大小均为

Dropout层概率设为0.5；可分离卷积层卷积核个数为F₂，大小为

特征转移单元：按照信息传递顺序，依次连接有卷积层D₁、ELU激活层、合并层、卷积层D₂、平均池化层、Dropout层、全连接层；卷积层D₁卷积核个数为F₂，F₂为超参数，大小为(1,1)；合并层将上一个空间卷积子模块的输出经过全连接和D₁卷积层所得结果相连接；卷积层D₂有2F₂个

的卷积核；平均池化的大小为

dropout层概率设为0.5；最后全连接将得到的张量展平成长度为2F₂的向量；

分类器由一层全连接层组成，全连接层的激活函数为softmax函数，全连接层输入长度为2F₂的向量，即特征转移单元的输出，输出长度为分类类别S的向量，即每个运动想象身体部位的分类置信度，分类器输出记为p。

3.根据权利要求1或2所述的领域自适应的跨受试者运动想象脑电信号识别***，其特征在于，所述SCDAN模块中的判别器子模块包括有空间判别器和条件判别器，具体如下：

空间判别器：输入为解码器子模块中特征转移单元提取出的特征张量，运用大小为(1，T)的卷积核进行卷积，再经过ELU激活层、Dropout层、和以sigmoid函数为激活函数的全连接层得到数据域判别结果y_d，y_d为数据域标签，数据域标签输入损失函数子模块，用于SCDAN模块参数更新；

条件判别器：接收解码器子模块中特征提取器的输出和解码器子模块中分类器的输出，并将特征提取器的输出记为f＝[f₁,f₂,···,f_d]，令解码器子模块中分类器的输出p＝[p₁,p₂,···,p_c]，c为分类类别数，p作为条件，再将特征提取器的输出和解码器子模块中分类器的输出每一项对应相乘，形成一个条件特征矩阵，

记

其中d是特征深度，c是分类类别数量，h为条件特征矩阵；

将条件特征矩阵h经过全连接层、ELU激活层、Dropout层前向传播，最后再通过用sigmoid函数激活的全连接层并计算得到数据域标签y_d，数据域标签y_d送入损失函数子模块，用于计算损失函数。

4.一种领域自适应的跨受试者运动想象脑电信号识别方法,在权利要求1-3所述的任一领域自适应的跨受试者运动想象脑电信号识别***上实现，其特征在于，包括如下步骤：

(1)构建领域自适应的跨受试者运动想象脑电信号识别***：依照信息处理顺序，依次连接和包括有数据采集模块、数据预处理模块、网络训练控制模块、网络模块、网络前向执行模块，数据预处理模块的输出还送入网络前向执行模块中，网络前向执行模块读取训练好的网络模块的参数，并结合预处理过的脑电信号计算得出运动想象分类结果并输出，网络训练控制模块与网络模块双向信息交互以完成对网络模块参数的训练更新，所述网络模块为构建的空间条件领域自适应网络SCDAN模块，简称为SCDAN模块，该模块处于网络前向执行模块和网络训练控制模块之间，其中的网络训练控制模块、SCDAN模块、网络前向执行模块分述如下：

网络训练控制模块，依照信息处理顺序，依次连接和包括有训练数据准备子模块、网络训练子模块、终止训练判断子模块，终止训练判断子模块的输出信息又送入训练数据准备子模块，网络训练控制模块中的网络训练子模块与SCDAN模块进行双向数据交互；训练数据准备子模块完成接收数据预处理模块输入的受试者经过预处理的脑电数据，并准备SCDAN模块网络训练所需的批训练数据；网络训练子模块读取SCDAN模块中的网络参数，再结合训练数据准备子模块送来的批训练数据通过计算并最小化网络损失函数完成对网络的参数训练，并将训练好的网络参数保存至SCDAN模块中；

SCDAN模块：即空间条件领域自适应网络SCDAN模块，包括解码器子模块、判别器子模块和损失函数子模块；解码器子模块的输出连接判别器子模块的输入、损失函数子模块的输入、网络前向执行模块的输入，解码器子模块与网络训练子模块双向信息交互；判别器子模块输出连接损失函数子模块输入，判别器子模块与网络训练子模块双向信息交互；损失函数子模块的输出连接网络训练子模块的输入；解码器子模块对预处理后的脑电数据，生成运动想象身体部位分类结果，并将结果送入损失函数子模块；判别器子模块输入为解码器子模块的输出，完成对脑电数据的域标签判断，即脑电数据是来自源域还是来自目标域，并将结果送入损失函数子模块；损失函数子模块构造解码器子模块损失函数、判别器子模块损失函数和整个网络的损失函数，并将结果送入网络训练子模块的输入。

网络前向执行模块，该模块接收数据预处理模块传来的脑电数据，并读取SCDAN模块中保存的训练好的SCDAN参数，使用SCDAN模块中的解码器子模块的参数和受试者的脑电数据，计算出运动想象身体部位类别的分类结果；

(2)采集运动想象脑电数据：通过数据采集模块采集多个受试者运动想象脑电数据，提示受试者需要执行运动想象的身体部位并让受试者进入想象状态，同时用脑电帽采集和记录受试者执行运动想象任务时的脑电数据，脑电数据包括脑电信号和对应进行运动想象的身体部位标签信号，最终得到多名受试者的原始脑电数据；

(3)原始脑电数据预处理：通过数据预处理模块对原始脑电数据预处理，对每个受试者原始脑电数据中的脑电信号依次进行去基线、滤波、降采样的预处理操作，对运动想象身体部位标签信号不进行预处理，得到预处理后脑电数据，预处理后的脑电数据包括已预处理的脑电信号和未预处理的运动想象身体部位标签信号；

(4)准备训练数据：用网络训练控制模块的训练数据准备子模块，从多名受试者已预处理的脑电数据中挑选两名受试者的脑电数据，其一受试者脑电数据作为源域数据，另一受试者脑电数据作为目标域数据，取一小批量的源域和目标域数据作为一批训练数据；一共取n批训练数据，作为一轮SCDAN训练所需的训练数据；训练数据准备子模块若收到网络训练控制模块中终止训练判断子模块发出的终止训练信息，则停止训练数据的准备，若未收到终止训练信息，一轮训练完成后准备下一轮训练数据；

(5)更新构建的SCDAN模块：网络训练控制模块中的网络训练子模块，接收批训练数据，并读取SCDAN模块参数，网络训练子模块在每一批训练数据上用解码器子模块、判别器子模块的参数，结合损失函数子模块中损失函数公式计算网络的损失函数，每一批数据算出一个网络损失函数，通过优化损失函数来更新一次构建的SCDAN模块参数，即解码器子模块和判别器子模块的参数，完成一次训练，一轮训练包含n次训练，每轮训练完成后，若满足终止训练条件，则停止训练，网络训练子模块将训练好的参数输出给SCDAN模块；

(6)网络前向执行得到运动想象分类结果：将经过数据预处理模块后的目标域受试者的脑电数据输入网络前项执行模块，网络前向执行模块读取训练好的SCDAN模块中解码器的参数，结合目标域受试者脑电信号进行计算，输出运动想象身体部位分类结果。

5.根据权利要求4所述的领域自适应的跨受试者运动想象脑电信号识别方法,其特征在于，步骤(5)所述的更新构建的SCDAN模块，具体包括如下步骤：

(5.1)设定终止训练判断条件：在网络训练控制模块中的终止训练子模块中，设定终止训练判断条件，即连续m轮网络损失函数的值不再比历史网络损失函数最小值低，则终止训练，其中m预先设定；

(5.2)读取SCDAN模块参数和训练数据：网络训练控制模块中的网络训练子模块读取SCDAN模块参数，读取包括特征提取器、分类器、空间判别器、条件判别器参数，以及损失函数子模块中所有损失函数公式；网络训练子模块还读取训练数据准备子模块输出的一轮训练所需的训练数据；

(5.3)进行一次判别器子模块参数更新：开始训练，网络训练子模块固定读取的SCDAN模块中特征提取器和分类器的参数，在一轮训练数据中取一批训练数据通过前向传播计算出网络损失函数，再经过优化损失函数计算出新的参数来同步更新空间判别器和条件判别器参数，完成一次对SCDAN模块中判别器子模块的参数更新；

(5.4)进行一轮判别器子模块参数更新：在一轮训练数据中，另取一批训练数据，重复执行步骤(5.3)n次，直至一轮训练数据全部参与过损失函数计算，一轮判别器子模块的参数更新完成；

(5.5)进行一轮解码器子模块参数更新：从训练数据准备子模块的一轮训练数据中随机取一批数据作为网络训练子模块输入，网络训练子模块固定空间判别器和条件判别器的参数，再通过前向传播计算并优化损失函数，通过优化损失函数，同时更新特征提取器和分类器的网络参数，完成一次解码器参数更新，一批训练数据即可完成一轮解码器参数更新；

(5.6)完成SCDAN模块的参数更新：重复(5.3)-(5.5)，每重复一次为一轮SCDAN模块的训练，直到满足训练停止条件为止，即连续m轮网络损失函数的值不再比历史网络损失函数最小值低，停止训练时终止训练判断子模块向训练数据准备子模块发出的终止训练信息，网络训练子模块将训练好的网络参数输出给SCDAN模块，用于更新参数。

6.根据权利要求4所述的领域自适应的跨受试者运动想象脑电信号识别方法，其特征在于，步骤(5)中所述的优化损失函数，包括有如下步骤：

(5a)计算损失函数：通过计算分类器损失函数、空间判别器损失函数、条件判别器损失函数，最终计算出网络损失函数，具体有：

(5a1)计算分类器损失函数：分类器使用带有softmax激活函数的全连接层进行运动想象身体部位的分类，其损失函数如下L_C(θ_F,θ_C)：

其中

是源域数据对应的脑电信号和运动想象的身体部位标签，

是分类器的输出结果，即每个运动想象的身体部位标签置信度，L(·,·)是交叉熵损失函数，θ_F,θ_C是特征提取器和分类器的参数，利用小批量的源域数据依据分类器损失函数公式计算出分类损失函数；

(5a2)计算空间判别器损失函数

其中

公式上是交叉熵损失函数，θ_F,

是特征提取器和空间判别器的参数，S_G(·)为空间卷积单元的输出，D_S(·)为空间判别器的输出，

为目标域脑电信号，利用小批量的源域不包括标签的脑电信号和目标域不包括标签的脑电信号依据空间判别器函数公式计算出空间判别器空间判别器损失函数；

(5a3)计算条件判别器损失函数

其中

分别是源域脑电信号经过特征提取器再经过分类器的输出结果和条件特征，

是目标域脑电信号经过特征提取器再经过分类器的输出结果，

是条件特征，D_C(·)为条件判别器的输出，上述公式有如下补充定义：

ω(H(p))＝1+e^-H(p)

利用小批量的源域不包括标签的脑电信号和目标域不包括标签的脑电信号依据条件判别器函数公式计算出条件损失函数；

(5a4)计算网络损失函数：通过计算出的分类器损失函数、空间判别器损失函数和条件判别器损失函数按照网络损失函数公式计算出网络损失函数

其中λ₁为超参数，θ_F,θ_C,

分别为特征提取器、分类器、空间判别器、条件判别器的参数，L_C(·,·)，

分别是分类器、空间判别器损失函数，

是条件判别器损失函数，

z为当前网络训练所处轮数，Z₀为超参数；

(5b)更新SCDAN模块参数：通过优化网络损失函数更新SCDAN模块参数，包括空间判别器和条件判别器参数和特征提取器和分类器参数，包括如下步骤：

(5b1)更新空间判别器和条件判别器参数：固定特征提取器和分类器参数，对一批训练数据计算出的网络损失函数，采用Adam算法最大化损失函数，来同步更新空间判别器和条件判别器参数，每更新一次参数就完成了一次优化损失函数；

(5b2)更新特征提取器和分类器参数：固定空间判别器和条件判别器参数，对一批训练数据计算出的网络损失函数，采用Adam算法最小化损失函数，来同步更新特征提取器和分类器参数，每更新一次参数就完成了一次优化损失函数。

Images