CN115357113A

CN115357113A - 动态背景下ssvep脑机接口刺激调制与解码方法

Info

Publication number: CN115357113A
Application number: CN202210800745.0A
Authority: CN
Inventors: 李甫; 付博勋; 李俊凯; 李意; 冯柏沄; 蒋之铭; 宋卓琛; 赵一帆; 冀有硕; 李阳; 陈远方; 张利剑; 石光明
Original assignee: Xidian University
Current assignee: Xidian University
Priority date: 2022-07-08
Filing date: 2022-07-08
Publication date: 2022-11-18

Abstract

本发明公开了一种动态背景下SSVEP脑机接口刺激调制与解码方法，调制方法包括在动态背景多个预设位置上分别悬浮设置预设形状的SSVEP刺激块；利用预设的前景调制方法和/或背景调制方法改变各SSVEP刺激块与相应背景区域的对比度，利用采样正弦编码平滑改变刺激块的透明度使刺激块基于各自频率持续闪烁以刺激受试者产生SSVEP的EEG信号，能提高刺激块与背景区域对比度，避免淹没于背景中，便于受试者观看。解码方法对已采集的受试者的SSVEP的EEG信号进行预处理，利用预设的DBDN网络对其进行解码，得到该SSVEP的EEG信号对应的SSVEP刺激块的属性信息，能针对动态背景的SSVEP范式下提高解码精度。

Description

动态背景下SSVEP脑机接口刺激调制与解码方法

技术领域

本发明属于信号处理领域，具体涉及一种动态背景下SSVEP脑机接口刺激调制与解码方法。

背景技术

脑机接口技术是连接人脑和外部设备的重要桥梁。脑机接口(Brain-computerInterface,BCI)技术是计算机科学与生物科学相融合后的产物，是人类探索大脑、研究人机结合的重要手段，在军事作战、技能训练、疾病康复等领域都有一定的应用。

稳态视觉诱发电位(Steady-StateVisual Evoked Potential，SSVEP)作为目前速度最快最稳定的脑机接口范式，已应用于控制和康复等领域。SSVEP BCI***与采用其他信号作为输入的脑-机接口相比，更容易实现高信息传输率和稳定性能，而且被试训练时间短，因此具有明显的应用优势。

SSVEP BCI主要采集SSVEP的EEG(Electroencephalogram，脑电图)信号进行分析处理。这源于EEG 信号采用非侵入式的方式，如佩戴脑电帽等方式从头皮直接获取，相比其余脑电信号采集方式，具有采集方便、使用灵活、安全性高等优势，并且能够满足脑机接口***对实时性的较高要求。

SSVEP BCI常用的诱发SSVEP信号的视觉刺激源中，图形刺激源是一种常用类型，其主要利用计算机显示屏幕闪烁刺激，即制作单一的简单方块、复杂的多个方块、不同颜色的图片等图形作为刺激块，并以一定的频率闪烁刺激。在SSVEP BCI中，实验范式设计主要是围绕刺激块的编码进行的。经典范式为黑色背景上，多个包含不同语义信息(如字母、数字、动作等)的白色方块同时闪烁。每个刺激块由一个刺激频率编码，且不同刺激块所使用的频率互不相同，因此，对刺激块的频率编码唯一地“标记”着每个刺激块。

目前，随着通讯和VR(Virtual Reality，虚拟现实)技术的普及，对SSVEP控制外设提出了更精确和更实时的要求。典型的控制场景是SSVEP刺激块悬浮于外设动态图传信号之上，使操控人员能够在脑机接口***的计算机显示屏幕上同步观察作为背景的图传，并在SSVEP刺激块的刺激下产生SSVEP的 EEG信号，从而进行设备操控。但由于图传信号是实时变化的，传统的单色SSVEP刺激块与背景的对比度将会动态变化，极端情况下，单色SSVEP刺激块可能淹没于背景中，那么对操作人员而言，这些刺激块将难以进行观察，当操作人员注视这些刺激块时，现有SSVEP解码算法的解码精度有限、鲁棒性较差，难以以较高准确率辨别操作人员所注视的刺激块，因此会降低SSVEP BCI效率，也会影响到后续控制环节的准确性。

因此，如何针对SSVEP BCI中的动态背景，比如显示于显示屏幕上的动态图传信号或其他颜色亮度发生改变的浏览背景，提出一种刺激块的调制方法和解码方法，是一个亟待解决的技术问题。

发明内容

本发明实施例的目的在于提供一种动态背景下SSVEP脑机接口刺激调制与解码方法，以实现针对 SSVEP BCI动态背景，提出一种刺激块的调制方法和解码方法，以提高SSVEP BCI效率的目的。具体技术方案如下：

第一方面，本发明实施例提供了一种动态背景下SSVEP脑机接口刺激调制方法，应用于脑机接口***中显示屏幕对应的显示调制模块，所述方法包括：

在所述显示屏幕显示的动态背景的多个预设位置上，分别悬浮设置预设形状的SSVEP刺激块；

利用预设的前景调制方法和/或背景调制方法改变各SSVEP刺激块与相应背景区域的对比度，并利用采样正弦编码平滑改变所得到的各SSVEP刺激块的透明度，使多个SSVEP刺激块基于各自频率持续闪烁，以刺激受试者产生SSVEP的EEG信号。

在本发明的一个实施例中，所述预设的前景调制方法，包括：

针对每个SSVEP刺激块，将当前时刻下该SSVEP刺激块所在范围内背景图像各像素的三通道数据分别与像素最大值255进行求补操作，得到每个像素的求补后三通道数据；

将同一像素的求补后三通道数据进行合并，利用合并后的所有像素得到当前时刻下该SSVEP刺激块进行前景调制后的SSVEP刺激块。

将同一通道的所有像素的求补后数据求取均值，得到对应通道的更新数据；

将三通道的更新数据进行合并，得到每个像素的更新像素，并利用所有更新像素得到当前时刻下该 SSVEP刺激块进行前景调制后的SSVEP刺激块。

在本发明的一个实施例中，所述预设的背景调制方法，包括：

针对每个SSVEP刺激块，将当前时刻下包围该SSVEP刺激块的背景块所在范围内图像的像素格式转换为HSV格式，得到HSV格式下该背景块内各像素的三通道数据；

将所述HSV格式下该背景块内各像素的V通道数据依据预设亮度压缩比例进行压缩；

将同一像素进行亮度压缩后的三通道数据进行合并，利用合并后的所有像素得到当前时刻下该 SSVEP刺激块对应的调制后背景块。

针对每个SSVEP刺激块，将当前时刻下包围该SSVEP刺激块的背景块所在范围内图像的各像素点进行散焦模糊操作，并利用所述散焦模糊操作处理后的各像素点得到当前时刻下该SSVEP刺激块对应的调制后背景块。

在本发明的一个实施例中，所述利用采样正弦编码平滑改变所得到的各SSVEP刺激块的透明度，使多个SSVEP刺激块基于各自频率持续闪烁，包括：

在当前时刻下，对利用所述预设的前景调制方法进行前景调制后的每个SSVEP刺激块，利用采样正弦编码方法确定该刺激块的透明度变化序列，将该刺激块的透明度依据对应的透明度变化序列进行变化；其中，各SSVEP刺激块的透明度变化序列至少基于自身频率确定。

在当前时刻下，对调制后的每个SSVEP刺激块，将该刺激块叠加在当前时刻与自身对应的调制后背景块上，并利用采样正弦编码方法确定该刺激块的透明度变化序列，将该刺激块的透明度依据对应的透明度变化序列进行变化；其中，调制后的每个SSVEP刺激块包括利用所述预设的前景调制方法进行前景调制后得到的每个SSVEP刺激块或传统的单色SSVEP刺激块；各SSVEP刺激块的透明度变化序列至少基于自身频率确定。

第二方面，本发明实施例提供了一种动态背景下SSVEP脑机接口刺激解码方法，应用于脑机接口***中的信号处理模块，所述方法包括：

对已采集的受试者的SSVEP的EEG信号进行预处理；其中，所述SSVEP的EEG信号，是脑机接口***中显示屏幕对应的显示调制模块在所述显示屏幕显示的动态背景的多个预设位置上，分别悬浮设置预设形状的SSVEP刺激块；利用预设调制方法改变各SSVEP刺激块与相应背景区域的对比度，并利用采样正弦编码平滑改变所得到的各SSVEP刺激块的透明度，使多个SSVEP刺激块基于各自频率持续闪烁刺激受试者后产生的；所述预设调制方法包括预设的前景调制方法和/或背景调制方法；

利用预设的DBDN网络对预处理后的SSVEP的EEG信号进行解码，得到该SSVEP的EEG信号对应的SSVEP刺激块的属性信息；其中，所述预设的DBDN网络包括特征提取层、特征压缩层和分类层。

在本发明的一个实施例中，所述特征提取层包括串行的多尺度时间特征提取单元、空间特征提取单元和第一激活函数操作模块；其中，所述多尺度时间特征提取单元包括并行的预设数量个、时间卷积核长度互不相同的时间卷积层、与各时间卷积层对应连接的批量归一化处理模块，以及用于融合各批量归一化处理模块处理结果的特征融合模块；所述空间特征提取单元包括串行的空间卷积层和批量归一化处理模块；

所述特征压缩层包括依次串行的平均池化层、随机丢弃处理模块、深度可分离卷积模块、批量归一化处理模块和第二激活函数操作模块；

所述分类层包括串行的全局平均池化层和第三激活函数操作模块。

在本发明的一个实施例中，所述预设数量为4；

所述多尺度时间特征提取单元中，预设数量个时间卷积层的时间卷积核长度分别为SSVEP的EEG信号采样率的

其中，n＝1，2，3，4。

本发明的有益效果：

本发明实施例所提供的动态背景下SSVEP脑机接口刺激调制方法，针对动态背景，通过利用预设的前景调制方法和/或背景调制方法，能够提高各SSVEP刺激块与相应背景区域的对比度，避免刺激块淹没于与其具有相似颜色的背景中，使得受试者能够更轻松地观察到SSVEP刺激块的闪烁，因此，能够提高动态背景下SSVEP脑机接口效率。

本发明实施例所提供的动态背景下SSVEP脑机接口刺激解码方法，利用预先构建并训练完成的预设的DBDN网络对预处理后的SSVEP的EEG信号进行解码，得到该SSVEP的EEG信号对应的SSVEP刺激块的属性信息。由于所要解码的SSVEP的EEG信号是脑机接口***中显示屏幕对应的显示调制模块在所述显示屏幕显示的动态背景的多个预设位置上，分别悬浮设置预设形状的SSVEP刺激块，利用预设调制方法改变各SSVEP刺激块与相应背景区域的对比度，并利用采样正弦编码平滑改变所得到的各 SSVEP刺激块的透明度，使多个SSVEP刺激块基于各自频率持续闪烁刺激受试者后产生的，而所述预设调制方法包括预设的前景调制方法和/或背景调制方法，因此，能够利用所述预设的DBDN网络包括的特征提取层、特征压缩层和分类层，针对动态背景的SSVEP范式提高SSVEP的EEG信号的解码精度。

附图说明

图1为本发明实施例所提供的一种动态背景下SSVEP脑机接口刺激调制方法的流程示意图；

图2为本发明实施例中脑机接口***的主要组成图；

图3为本发明实施例提出的动态背景下SSVEP脑机接口刺激调制方法的流程示意图；

图4为本发明实施例提出的单点反色调制方法的实现原理流程图；

图5为本发明实施例提出的全局反色调制方法的实现原理流程图；

图6为本发明实施例提出的亮度压缩调制方法的原理示意图；

图7为本发明实施例提出的背景模糊调制方法的原理示意图；

图8(a)～图8(c)为利用采样正弦编码方法确定的不同透明度刺激块的效果图；

图9(a)～图9(d)为本发明实施例所选的四张背景图像在SSVEP范式中某时刻的单点反色调制及采样正弦编码后的效果展示图；

图10(a)～图10(d)为本发明实施例所选的四张背景图像在SSVEP范式中某时刻的全局反色调制及采样正弦编码后的效果展示图；

图11(a)至图11(d)为本发明实施例所选四张背景图片在SSVEP范式中某时刻的亮度压缩调制及采样正弦编码后的效果展示图；

图12(a)至图12(d)为本发明实施例所选四张背景图片在SSVEP范式中某时刻的背景模糊调制及采样正弦编码后的效果展示图；

图13为本发明实施例提供的动态背景下SSVEP脑机接口刺激解码方法的流程示意图；

图14为本发明实施例提供的DBDN网络的结构示意图；

图15为本发明实施例的预设的DBDN网络所输入的SSVEP的EEG信号的示意图；

图16为本发明实施例采用的ELU激活函数的函数图像；

图17为深度卷积原理示意图；

图18为逐点卷积原理示意图；

图19为全连接层与全局平均池化对比图；

图20为本发明实施例实验中各解码算法在不同调制方法下的平均准确率对比图；

图21为本发明实施例实验中四个主观问题在各调制方法下的平均得分对比图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为了便于理解本发明实施例的方案，以下对所面临的主要技术问题进行简要介绍。

关于SSVEP BCI的结构组成请参见图1的脑机接口***理解。其中，显示屏幕上会显示动态背景和刺激块，以动态背景源于动态图传信号为例进行说明。由于图传信号实时变化，传统的单色SSVEP刺激块与背景对比度将会动态变化，极端情况下可能淹没于背景中。请见图2，图2为刺激块淹没于背景的四张示例图，随着刺激块与背景图片相对位置的改变，悬浮于背景上方的刺激块会逐渐淹没于与其具有相似颜色的背景之中，对操作人员而言，该刺激块将难以进行观察。当操作人员注视该刺激块时，现有EEG 解码方法存在对SSVEP范式针对性设计不足的问题，难以以较高准确率辨别操作人员所注视的刺激块，因此，需要开展SSVEP刺激颜色相对于动态背景调制方法和解码方法的研究，进一步提高动态背景下 SSVEP脑机接口效率。

为了实现针对SSVEP BCI动态背景，提出一种刺激块的调制方法和解码方法，以提高SSVEP BCI 效率的目的，本发明实施例提供了一种动态背景下SSVEP脑机接口刺激调制方法和一种动态背景下 SSVEP脑机接口刺激解码方法。

第一方面，本发明实施例提供了一种动态背景下SSVEP脑机接口刺激调制方法。应用于脑机接口***中显示屏幕对应的显示调制模块，如图3所示，该方法包括：

S1，在显示屏幕显示的动态背景的多个预设位置上，分别悬浮设置预设形状的SSVEP刺激块。

需要说明的是，本发明实施例所提出的动态背景下SSVEP脑机接口刺激调制方法的执行主体可以为一种装置，对应为脑机接口***中显示屏幕对应的显示调制模块。参见图1并结合现有脑机接口***相关知识可以理解，脑机接口***中的显示屏幕一般可以为计算机显示屏幕，当然也不排除可以为手机等其余设备的显示屏幕，这都是合理的。以计算机显示屏幕为例，在计算机中显示调制软件的控制下，显示屏幕上能够显示动态背景，并在动态背景上悬浮产生多个刺激块，因此，本发明实施例的动态背景下 SSVEP脑机接口刺激调制方法可以理解为由控制显示屏幕的显示调制软件实现，如计算机显示调制软件等。

关于动态背景在显示屏幕上的显示过程请参见相关现有技术理解，本发明实施例针对的场景可以为显示屏幕已显示有动态背景。可以理解的是，由于动态背景的实时变化性，每个时刻的动态背景其实为一个背景图像，尺寸由显示屏幕确定。

本发明实施例针对该尺寸确定的动态背景，可以预先确定背景图像上的多个预设位置，每个预设位置上分别悬浮设置一个预设形状的SSVEP刺激块。

具体的，针对所有时刻，多个预设位置可以是固定不变的；或者，多个预设位置也可以根据不同时刻进行一定变化，具体可以根据场景需求进行合理设置。比如针对方向控制场景，可以针对动态背景设置上下左右四个固定位置的预设位置，在每个预设位置的背景上悬浮设置一个预设形状的SSVEP刺激块，使得SSVEP刺激块覆盖相应的背景区域。以上下左右这四个预设位置的SSVEP刺激块表征前进、后退、左转和右转的方向控制，等等。

SSVEP刺激块的预设形状，可以包括矩形、圆形、三角形等，在此不做限制。针对每个预设位置的 SSVEP刺激块，可以具有相同的预设形状，当然，也可以具有不同的预设形状，但无论形状是否相同，每一时刻，各SSVEP刺激块所在范围是确定的。

针对S1，每个刺激块的颜色、图案可以任意设置。为了便于后续处理，可选的一种实施方式中，S1 中，每个刺激块内各像素值即为对应刺激块所在范围内背景图像的各像素值。

S2，利用预设的前景调制方法和/或背景调制方法改变各SSVEP刺激块与相应背景区域的对比度，并利用采样正弦编码平滑改变所得到的各SSVEP刺激块的透明度，使多个SSVEP刺激块基于各自频率持续闪烁，以刺激受试者产生SSVEP的EEG信号。

由于图传信号实时变化，传统的单色SSVEP刺激块与背景对比度将会动态变化，因此才会导致极端情况下，传统的单色SSVEP刺激块可能淹没于背景中。本发明实施例利用预设的前景调制方法和/或背景调制方法改变各SSVEP刺激块与相应背景区域的对比度，目的在于提高各SSVEP刺激块与相应背景区域的对比度，使各SSVEP刺激块不易出现与相应背景颜色相似的情况，从而消除刺激块淹没于背景的情况。

其中，前景调制指对SSVEP范式所涉及到的刺激块进行调制，目的在于维持SSVEP刺激块背景不变，对SSVEP刺激块的显示效果进行调制以提高SSVEP刺激块与相应背景区域的对比度。背景调制指对刺激块所在位置背景图像及其相邻一定面积的背景图像进行调制，目的在于维持SSVEP刺激块显示效果不变，对SSVEP刺激块的背景区域进行调制以提高SSVEP刺激块与相应背景区域的对比度。以下分别进行说明。

(1)可选的一种实施方式中，预设的前景调制方法，包括：

A1，针对每个SSVEP刺激块，将当前时刻下该SSVEP刺激块所在范围内背景图像各像素的三通道数据分别与像素最大值255进行求补操作，得到每个像素的求补后三通道数据；

A2，将同一像素的求补后三通道数据进行合并，利用合并后的所有像素得到当前时刻下该SSVEP刺激块进行前景调制后的SSVEP刺激块。

本发明实施例中涉及的图像格式为RGB格式。为了简化，该种前景调制方法可以简称为单点反色调制。如图4所示，为单点反色调制方法的实现原理流程图。其中，原始图像进行通道拆分，得到原始图像RGB三通道数据，各通道数据与255求补后，得到求补后图像RGB三通道数据，再进行通道合并，则得到单点反色后图像。

具体针对A1-A2步骤，针对每个SSVEP刺激块，获取到的当前时刻下该SSVEP刺激块所在范围内的背景图像为一个图像块，针对该图像块的每个像素，进行RGB三通道数据的拆分，将拆分出的每个通道的数据分别与255进行求补操作，得到该像素的求补后三通道数据，然后将该像素的求补后三通道数据进行合并，则得到一个合并后的像素，由所有合并后的像素按原像素位置排列可以得到一个新的图像块，则得到当前时刻下该SSVEP刺激块进行单点反色调制后的SSVEP刺激块。

其中，每个像素的求补后三通道数据根据以下公式计算得到：

其中，R_background、G_background、B_background分别表示调制前SSVEP刺激块所在范围内背景图像单个像素点的R通道数据、G通道数据和B通道数据；R_flicker、G_flicker、B_flicker分别表示单点反色调制后得到的求补后R通道数据、求补后G通道数据和求补后B通道数据。

可以理解的是，单点反色调制后，每个时刻，一个SSVEP刺激块其实为一个具有图案的图像块，各像素值并不相同。

(2)可选的另一种实施方式中，预设的前景调制方法，包括：

B1，针对每个SSVEP刺激块，将当前时刻下该SSVEP刺激块所在范围内背景图像各像素的三通道数据分别与像素最大值255进行求补操作，得到每个像素的求补后三通道数据；

B2，将同一通道的所有像素的求补后数据求取均值，得到对应通道的更新数据；

B3，将三通道的更新数据进行合并，得到每个像素的更新像素，并利用所有更新像素得到当前时刻下该SSVEP刺激块进行前景调制后的SSVEP刺激块。

为了简化，该种前景调制方法可以简称为全局反色调制。如图5所示，为全局反色调制方法的实现原理流程图。其中，原始图像进行通道拆分，得到原始图像RGB三通道数据，各通道数据与255求补后，得到求补后图像RGB三通道数据，再对求补后同一通道的所有数据取均值，得到求均值后图像RGB三通道数据，最后进行通道合并，则得到全局反色后图像。

本发明实施例考虑到传统的SSVEP刺激块为纯白色刺激块，故在设计全局反色调制方法之时，欲将其设计为随背景而改变的纯色刺激块。全局反色与单点反色相近，差别在于，得到每个像素的求补后三通道数据后，是将同一通道的所有像素的求补后数据求取均值，得到对应通道的更新数据；将三通道的更新数据进行合并，得到每个像素的更新像素，因此，可以理解的是，全局反色后各像素是相同的，其结果是由背景决定的纯色刺激块。

其中，对应通道的更新数据根据以下公式计算得到：

其中，R_background、G_background、B_background分别表示调制前SSVEP刺激块所在范围内背景图像单个像素点的R通道数据、G通道数据和B通道数据；Rchannel_flicker、Gchannel_flicker、Bchannel_flicker分别表示全局反色调制后得到的R通道的更新数据、G通道的更新数据和B通道的更新数据；∑()表示对所有像素的求补后的同一通道数据进行求和；mean表示求均值。

可以理解的是，全局反色调制后，每个时刻，一个SSVEP刺激块其实为一个纯色的图像块，各像素值是相同的。

当然，本发明实施例提供的预设的前景调制方法不限于以上描述的单点反色调制和全局反色调制，任何维持SSVEP刺激块背景不变，对SSVEP刺激块的显示效果进行调制以提高SSVEP刺激块与相应背景区域的对比度的方法都可以纳入到本发明实施例预设的前景调制方法的保护范围之内。

(3)可选的一种实施方式中，预设的背景调制方法，包括：

C1，针对每个SSVEP刺激块，将当前时刻下包围该SSVEP刺激块的背景块所在范围内图像的像素格式转换为HSV格式，得到HSV格式下该背景块内各像素的三通道数据；

C2，将HSV格式下该背景块内各像素的V通道数据依据预设亮度压缩比例进行压缩；

C3，将同一像素进行亮度压缩后的三通道数据进行合并，利用合并后的所有像素得到当前时刻下该 SSVEP刺激块对应的调制后背景块。

由于自然环境下获取的图像容易受自然光照、遮挡和阴影等情况的影响，即对亮度较为敏感。而人类视觉***除对色度信息敏感外，对亮度信息也表现出敏感的特性。基于以上特点，本发明实施例提出亮度压缩的方法作为一个背景调制方法。为了简化，该种背景调制方法可以简称为亮度压缩调制。

常见的图像存储格式为RGB格式，其中红(R)、绿(G)、蓝(B)三个颜色分量高度相关，在对图像的颜色或亮度等进行连续调整时，三个分量都需要以一定方式进行修正。对于某一种颜色，很难推测出较为精确的三个分量数值来进行表示。所以，RGB颜色空间适合于显示***，却并不适合于以自然方式对图像进行表达。

而图像存储格式除了RGB格式外还有HSV格式。HSV表达彩色图像由三部分组成：色调(Hue)、饱和度(Saturation)和明度(Value)。相比于RGB颜色空间，HSV颜色空间更接近人们对色彩的感知经验，且能更方便地进行颜色的对比。

因此，针对C1，本发明实施例首先针对每个SSVEP刺激块，将当前时刻下包围该SSVEP刺激块的背景块所在范围内图像的像素格式转换为HSV格式，得到HSV格式下该背景块内各像素的三通道数据。其中，包围该SSVEP刺激块的背景块是指背景块的范围大于SSVEP刺激块的范围，比如若SSVEP刺激块为一个矩形，则其背景块可以为面积更大的矩形，能完全包裹SSVEP刺激块对应的矩形。

RGB至HSV的具体转换公式请见以下所示：

如果H<0，则H＝H+360。最终得到0≤V≤1，0≤S≤1，0≤H≤360。关于RGB转换为HSV的具体过程请参见相关现有技术理解。

针对C2，将HSV格式下该背景块内各像素的V通道数据依据预设亮度压缩比例进行压缩，可以根据以下公式进行：

其中，H_old、S_old、V_old分别表示背景块亮度压缩前的H通道、S通道和V通道数据；H_new、S_new、 V_new分别表示背景块亮度压缩后的H通道、S通道和V通道数据；γ表示预设亮度压缩比例，该预设亮度压缩比例的数值介于[0，1]之间，可以根据需要合理选取，比如可以为0.5、0.75、0.25等。

关于C3中的调制后背景块，请结合图6理解，图6为本发明实施例提出的亮度压缩调制方法的原理示意图。其中，一幅原始图像经过亮度压缩后，得到亮度压缩后图像，亮度被降低。因此，可以理解的是，通过将SSVEP刺激块显示效果不变，将SSVEP刺激块相应背景块的亮度按比例压缩，使背景块亮度降低，能够增加SSVEP刺激块与背景之间的对比度。

(4)可选的另一种实施方式中，预设的背景调制方法，包括：

针对每个SSVEP刺激块，将当前时刻下包围该SSVEP刺激块的背景块所在范围内图像的各像素点进行散焦模糊操作，并利用散焦模糊操作处理后的各像素点得到当前时刻下该SSVEP刺激块对应的调制后背景块。

为了简化，该种背景调制方法可以简称为背景模糊调制。该种背景调制方式是对背景块中每一个像素点进行散焦模糊操作，并将散焦模糊操作后的背景块作为SSVEP刺激块的新背景块。背景模糊调制旨在减少背景细节以突出刺激块。

散焦模糊方法由点扩散函数(Point Spread Function，PSF)来描述。PSF模拟了一个成像***如何捕获世界上的单个点。最常用的模糊模型是一个线性模型，其中模糊的图像b被表示为一个核k的卷积，再加上噪声，可以表示为：

其中，公式(5)中，i表示像素点；

表示卷积；n～N(0,σ²)，表示和可加性高斯噪声模型。

本发明实施例可以采用现有的任意一种散焦模糊函数实现背景模糊调制。可选的一种实施方式中，所使用的散焦模糊函数，可以是对待处理像素点为中心的2×radius+1，其中，radius为圆形区域的半径，圆形区域内所有像素点RGB三通道分别求均值，并用求均值后像素点的值来代替原像素点的值，因此，该方法也称圆形均值滤波。可以理解的是，若使用该圆形均值滤波而背景块的形状选择为矩形，则可以在较大的圆形均值滤波范围内选择保留较小的矩形区域作为背景块，而圆形内其余区域仍采用原像素，等等。

关于背景模糊调制的原理请参见图7理解，其中，原始图像整幅图像进行背景模糊处理后，得到背景模糊后图像，可见背景模糊调制明显地减弱了背景的细节部分。

当然，本发明实施例提供的预设的背景调制方法不限于以上描述的亮度压缩调制和背景模糊调制，任何维持SSVEP刺激块显示效果不变，对SSVEP刺激块的背景区域进行调制以提高SSVEP刺激块与相应背景区域的对比度的方法都可以纳入到本发明实施例预设的背景调制方法的保护范围之内。

需要说明的是，背景调制是对SSVEP刺激块的背景区域进行调制，但并未对SSVEP刺激块的显示效果进行改变，因此，SSVEP刺激块的显示效果可以采用任一种方式实现。

也就是说，本发明实施例中，可以单独采用任一种预设的前景调制方法，也可以单独采用任一种预设的背景调制方法，也可以在预设的前景调制方法和背景调制方法各选取一种结合使用，这都是合理的。可以理解的是，前景调制和/或背景调制之后，针对当前的背景图像，多个SSVEP刺激块的图案或者颜色是确定的，而根据动态背景诱发范式的要求，各SSVEP刺激块还需要以不同频率实现SSVEP刺激。

根据动态背景诱发范式原理，不同的SSVEP信号可由不同频率刺激源来诱发产生，通过控制计算机显示器显示亮度的变化快慢，可以生成不同频率的SSVEP刺激。经典的产生不同频率SSVEP刺激模式的方法是令显示器每逢固定帧数便在黑与白之间进行切换。通常显示器都有固定的屏幕刷新率，设其为 R，当用上述经典方法生成不同SSVEP频率刺激时，可实现的刺激频率为

其中，n为正整数，表示屏幕显示一种颜色的帧数。显然，以该方式实现频率刺激会导致SSVEP产生频段内可用的频率数很少。

而采样正弦编码方法可以有效解决可用频率少这一缺点，基于透明度变化的采样正弦编码常被用于范式实现。其具体实现原理为改变显示器上每个刺激块的透明度，使刺激块在显示屏幕上按照正弦波的形式变化，正弦波的频率即为最终的闪烁刺激频率。具体的，利用采样正弦编码方法确定刺激块的透明度变化序列可以根据以下公式进行：

其中，sin函数用于生成正弦波；n为帧序号；f为频率；φ为相位；alpha为刺激块透明度，其取值范围为0≤alpha≤1，其中0表示刺激块完全透明，1表示刺激块完全不透明。图8(a)～图8(c) 为利用采样正弦编码方法确定的不同透明度刺激块的效果图，其中，图8(a)～图8(c)的alpha分别取值为1、0.5和0。

针对本发明实施例，具体的，针对采用了预设的前景调制方法进行前景调制的SSVEP刺激块，利用采样正弦编码平滑改变所得到的各SSVEP刺激块的透明度，使多个SSVEP刺激块基于各自频率持续闪烁，包括：

在当前时刻下，对利用预设的前景调制方法进行前景调制后的每个SSVEP刺激块，利用采样正弦编码方法确定该刺激块的透明度变化序列，将该刺激块的透明度依据对应的透明度变化序列进行变化。

可以理解的是，利用预设的前景调制方法进行前景调制后的每个SSVEP刺激块的像素值乘以 alpha(n，f，φ)后，能够使得自身的透明度依据对应的透明度变化序列进行变化，并叠加在相应的背景区域上，与相应的背景区域的对比度实时发生改变，能够在产生SSVEP刺激的同时，避免出现与相应背景颜色相似的情况，能够消除刺激块淹没于背景的情况。

其中，各SSVEP刺激块的透明度变化序列至少基于自身频率确定，可以参见公式(6)。具体频率可以根据需要设定，比如可以实现9～12Hz频段内的刺激频率闪烁。当SSVEP刺激块数量较少，比如少于设定的数量阈值，如小于16时，所有SSVEP刺激块的相位φ可以采用相同的初始相位；而当SSVEP刺激块数量大于16时，如SSVEP刺激块数量为64、128等数值时，各SSVEP刺激块可以采用不同的相位φ，使得各SSVEP刺激块不仅频率存在差异，相位也存在差异，以增加SSVEP刺激的区分度。

关于利用预设的前景调制方法进行前景调制后的每个SSVEP刺激块，利用采样正弦编码方法进行透明度变化后的效果，请参见图9和图10理解。

图9(a)～图9(d)为本发明实施例所选的四张背景图像在SSVEP范式中某时刻的单点反色调制及采样正弦编码后的效果展示图；图10(a)～图10(d)为本发明实施例所选的四张背景图像在SSVEP范式中某时刻的全局反色调制及采样正弦编码后的效果展示图；这四张背景图像是四种典型应用场景的图像，作为动态背景SSVEP诱发范式的背景图，为了便于对比，本发明实施例的各前景调制和后景调制均采用这四张背景图像。

具体的，图9各图为SSVEP刺激块透明度为1(即不透明)时刻的效果。图9(a)为网页浏览场景单点反色调制及采样正弦编码后的效果展示图，采用的是某网站主页，该背景图可用于模拟网页浏览场景；图9(b)为文本浏览场景单点反色调制及采样正弦编码后的效果展示图，采用的是小说片段截取，该背景图可用于模拟文本浏览场景；图9(c)为无人机视角场景单点反色调制及采样正弦编码后的效果展示图，采用的是无人机飞行时拍摄视角的图片；图9(d)为地面交通工具视角场景单点反色调制及采样正弦编码后的效果展示图，采用的是地面交通工具视角的图片，后两张背景图可用于模拟对带摄像头设备的实时控制场景。由这四张单点反色调制及采样正弦编码后的效果展示图可以看出，单点反色调制方法可以有效保留背景细节，操作者，也就是受试者，能在注视SSVEP刺激的同时更好地留意到背景的实时变化。

图10(a)为网页浏览场景全局反色调制及采样正弦编码后的效果展示图；图10(b)为文本浏览场景全局反色调制及采样正弦编码后的效果展示图；图10(c)为无人机视角场景全局反色调制及采样正弦编码后的效果展示图；图10(d)为地面交通工具视角场景全局反色调制及采样正弦编码后的效果展示图。由图10这四张图可以看出，全局反色调制方法生成了随背景图所变化的纯色刺激块。

针对本发明实施例，具体的，针对采用了预设的背景调制方法进行背景调制的SSVEP刺激块，本发明实施例中，利用采样正弦编码平滑改变所得到的各SSVEP刺激块的透明度，使多个SSVEP刺激块基于各自频率持续闪烁，包括：

在当前时刻下，对调制后的每个SSVEP刺激块，将该刺激块叠加在当前时刻与自身对应的调制后背景块上，并利用采样正弦编码方法确定该刺激块的透明度变化序列，将该刺激块的透明度依据对应的透明度变化序列进行变化。

其中，调制后的每个SSVEP刺激块包括利用预设的前景调制方法进行前景调制后得到的每个SSVEP 刺激块或传统的单色SSVEP刺激块；各SSVEP刺激块的透明度变化序列至少基于自身频率确定，可以参见公式(6)。

需要指出的是，该实施方式中的调制后的每个SSVEP刺激块可以包括利用预设的前景调制方法进行前景调制后得到的每个SSVEP刺激块或传统的单色SSVEP刺激块，还可以包括其余现有技术得到的 SSVEP刺激块。该种实施方式中，对调制后的每个SSVEP刺激块的处理方式类似上一种实施方式，在此不做重复说明。

关于利用预设的背景调制方法进行背景调制后的每个SSVEP刺激块，利用采样正弦编码方法进行透明度变化后的效果，请参见图11和图12理解。

图11(a)至图11(d)为本发明实施例所选四张背景图片在SSVEP范式中某时刻的亮度压缩调制及采样正弦编码后的效果展示图。图11(a)至图11(d)分别对应网页浏览场景、文本浏览场景、无人机视角场景和地面交通工具视角场景，同一行图像中左侧图像仅为该背景图所对应亮度压缩背景调制后所生成的背景图，不包含刺激块。右侧图像为实际实验中使用的SSVEP范式示例图，其同时包含调制后背景图与纯白色刺激块。由图11(a)至图11(d)可以看出，亮度压缩调制方法将背景亮度进行压缩以后，刺激块其附近的背景块实际达成了类似传统SSVEP范式的显示效果，即黑色背景下的白色刺激块闪烁。

图12(a)至图12(d)为本发明实施例所选四张背景图片在SSVEP范式中某时刻的背景模糊调制及采样正弦编码后的效果展示图。图12(a)至图12(d)分别对应网页浏览场景、文本浏览场景、无人机视角场景和地面交通工具视角场景，同一行图像中左侧图像仅为该背景图所对应背景模糊背景调制后所生成的背景图，不包含刺激块。右侧图像为实际实验中使用的SSVEP范式示例图，其同时包含调制后背景图与纯白色刺激块。由图12(a)至图12(d)可以看出，背景模糊调制方法明显地减弱了背景的细节部分，使操作人员(受试者)能更好地关注刺激块的闪烁。

第二方面，本发明实施例提供了一种动态背景下SSVEP脑机接口刺激解码方法，应用于脑机接口***中的信号处理模块。如图13所示，该方法可以包括如下步骤：

S001，对已采集的受试者的SSVEP的EEG信号进行预处理。

可以理解的是，脑机接口***中信号采集模块采集到受试者的SSVEP的EEG信号后，传输给信号处理模块进行处理。

本发明实施例所提出的动态背景下SSVEP脑机接口刺激解码方法的执行主体可以为一种装置，对应为脑机接口***中的信号处理模块。参见图1并结合现有脑机接口***相关知识可以理解，信号处理模块可以为计算机等设备。

可以理解的是，在采集EEG信号的过程中，EEG信号通常会受到来自不同来源的噪声的污染。这些伪迹可能来自于眨眼、心电图(Electrocardiogram，ECG)、肌电图(Electromyogram，EMG)，以及与***中涉及的设备相关的任何外部来源。这些伪迹可能具有与EEG信号相似的振幅，因此很可能对接下来的任务造成干扰。信号预处理的目的是降低原始信号中的噪声并消除原始信号中的伪迹，输出干净的信号，在不丢失相关信息的情况下简化后续处理操作，以便在后续环节提取可靠的特征。

具体的，预处理过程可通过设置硬件滤波器来过滤大部分的伪迹。通常可以设置低于0.5Hz截止频率的高通滤波器用于去除干扰的极低频分量，如呼吸分量。此外，可以通过使用截止频率约为50-70Hz的低通滤波器来降低高频噪声。除硬件滤波外，还可以采用软件方法来进行预处理。主成分分析(Principal Component Analysis，PCA)、独立成分(Independent Component Analysis，ICA)和自适应滤波器(Adaptive Filters，AF)等均适用于该步骤的预处理。

可选的一种实施方式中，该步骤的预处理过程可以包括滤波、降采样或归一化处理等。

其中，滤波用于消除噪声；降采样用于降低数据维度；归一化处理用于统一数据形式，可以根据需要选择，并选取任意一种相应方法或设备实现，在此不做限定以及详细说明。

本发明实施例中，SSVEP的EEG信号，是脑机接口***中显示屏幕对应的显示调制模块在显示屏幕显示的动态背景的多个预设位置上，分别悬浮设置预设形状的SSVEP刺激块；利用预设调制方法改变各 SSVEP刺激块与相应背景区域的对比度，并利用采样正弦编码平滑改变所得到的各SSVEP刺激块的透明度，使多个SSVEP刺激块基于各自频率持续闪烁刺激受试者后产生的；预设调制方法包括预设的前景调制方法和/或背景调制方法。

其中，在显示屏幕显示的动态背景的多个预设位置上，分别悬浮设置预设形状的SSVEP刺激块；利用预设的前景调制方法和/或背景调制方法改变各SSVEP刺激块与相应背景区域的对比度，并利用采样正弦编码平滑改变所得到的各SSVEP刺激块的透明度，使多个SSVEP刺激块基于各自频率持续闪烁刺激受试者产生SSVEP的EEG信号的过程，请参见第一方面提供的动态背景下SSVEP脑机接口刺激调制方法的相关内容，在此不做赘述。

预设调制方法包括预设的前景调制方法和/或背景调制方法意味着本发明实施例的动态背景下SSVEP 脑机接口刺激解码方法，并不局限于在第一方面提供的动态背景下SSVEP脑机接口刺激调制方法基础上实现，也可以对现有技术下的SSVEP刺激块所产生SSVEP的EEG信号进行解码，比如对传统的单色 SSVEP刺激块闪烁刺激受试者产生的SSVEP的EEG信号进行解码，或者对其余调制方法得到的SSVEP 刺激块闪烁刺激受试者产生的SSVEP的EEG信号进行解码。

S002，利用预设的DBDN网络对预处理后的SSVEP的EEG信号进行解码，得到该SSVEP的EEG 信号对应的SSVEP刺激块的属性信息。

对SSVEP的EEG信号进行解码的目的是获得描述类之间的边界，并根据待识别信号的特征来对它们进行标记。具体来说，在脑机接口***中，这个任务是基于特征提取步骤提供的大脑活动特征的特征向量来识别用户的意图。对SSVEP的EEG信号进行解码通常也被视作对其进行分类。通过对SSVEP的EEG 信号解码目的在于获得该SSVEP的EEG信号对应的模式，也就是确定激发受试者产生SSVEP的EEG信号的具体为显示屏幕上的哪一个SSVEP刺激块，从而对设备执行相应控制等，这是是脑机接口***中非常重要的一个环节。

因此，解码得到的SSVEP刺激块的属性信息可以包括SSVEP刺激块的位置、编号等能够区分SSVEP 刺激块的特征信息。具体的，属性信息可以进一步为识别出的某个SSVEP刺激块所携带的指令信息，比如，如前示例所述的方向控制场景，若解码得到SSVEP的EEG信号对应的SSVEP刺激块的属性信息为对应预设位置“上”，则可以进一步得到其属性信息还包括当前时刻的控制指令为“前进”。关于属性信息的其余内容和场景在此不做一一举例。

现有技术中对SSVEP的EEG信号进行解码的特征提取过程，是从SVEP的EEG信号中提取并用于脑机接口的一些特征，例如振幅、波段功率、功率谱密度(Power SpectralDensity，PSD)、自回归和时频特征等。不同特征对应不同的特征提取技术，此外，对于不同的特征，信号解码方法也不同。

但是现有SSVEP解码算法在动态背景的SSVEP范式下解码精度有限、鲁棒性差，因此需要开发符合动态背景刺激范式特点的解码算法，提升解码精度。

本发明实施例针对动态背景下SSVEP调制，预先构建了一个用于SSVEP的EEG信号解码的创新性网络，称为DBDN(Dynamic Background Decoding Network)，并利用样本数据完成训练，因此，本发明实施例的预设的DBDN网络是指训练完成的DBDN网络。DBDN网络的训练过程可以利用现有神经网络训练过程完成，比如利用梯度下降法等，具体过程在此不做说明。

其中，预设的DBDN网络包括特征提取层、特征压缩层和分类层。

可选的一种实施方式中，特征提取层包括串行的多尺度时间特征提取单元、空间特征提取单元和第一激活函数操作模块；其中，多尺度时间特征提取单元包括并行的预设数量个、时间卷积核长度互不相同的时间卷积层、与各时间卷积层对应连接的批量归一化处理模块，以及用于融合各批量归一化处理模块处理结果的特征融合模块；空间特征提取单元包括串行的空间卷积层和批量归一化处理模块；

特征压缩层包括依次串行的平均池化层、随机丢弃处理模块、深度可分离卷积模块、批量归一化处理模块和第二激活函数操作模块；

分类层包括串行的全局平均池化层和第三激活函数操作模块。

预设的DBDN网络的结构请参见图14理解。其中，预处理后的SSVEP的EEG信号作为输入数据输入预设的DBDN网络，特征提取层将提取该SSVEP的EEG信号的基础特征。图15为本发明实施例的预设的DBDN网络所输入的SSVEP的EEG信号的示意图；预设的DBDN网络所输入的SSVEP的EEG信号是多通道时间序列信号，维度为通道*时间。

SSVEP的EEG信号的特征包括时间特征和空间特征两个方面，因而DBDN的特征提取层依次执行两种不同类型的卷积：多尺寸时间卷积以及空间卷积。

具体的，多尺度时间特征提取单元和空间特征提取单元分别见点画线方框所示。多尺度时间特征提取单元包括并行的预设数量个时间卷积层。时间卷积的作用类似一个带通频率滤波器，其使用[1,c](其中c为卷积核长度)大小的卷积核来提取时间特征，通常网络所使用的时间卷积核为统一规格，如 EEGNet。本发明实施例中各时间卷积层采用的时间卷积核长度互不相同，以在时间维度上提取更加多样的特征。所采用的时间卷积核的长度可以用

表示，2为衰减因子，n通常为2的倍数。在实际使用中，这每个时间卷积核的输出与SSVEP的EEG信号输入维度相同，各时间卷积核的输出为时间维度的特征，可以表示为时间特征图。

图14中以预设数量为4进行示例，TimeConv1～TimeConv4是四个时间卷积层，所采用的时间卷积核的长度分别为c1、c2、c3、c4。在预设数量为4的情况下，多尺度时间特征提取单元中，预设数量个时间卷积层的时间卷积核长度分别为SSVEP的EEG信号采样率的

其中，n＝1，2，3，4。即c1、c2、 c3、c4分别为1/2、1/4、1/8、1/16。

可见，本发明实施例是将作为网络输入的原始数据，即预处理后的SSVEP的EEG信号，从多个不同的尺度或粒度，在时间维度进行特征提取。

本发明实施例研究获知，神经科学研究将大脑建模为具有不同粒度级别的分层功能架构，其中较低级别粒度信息包含了脑电图信号的短期时间相关性，较高级别粒度信息保留了大量的全局信息。因此，本发明实施例利用多个长度不同的时间卷积核并行从多个尺度进行时间特征提取，使用较低粒度级别(也就是较低尺度级别)提取SSVEP的EEG信号的短期时间相关性，较高粒度级别(也就是较高尺度级别) 提取SSVEP的EEG信号的全局信息，因此多个时间卷积层所输出的数据包含了不同时间长度的特征，粒度级别低的数据包含了数据的短时局部特征，粒度级别高的数据包含了数据的长时全局特征，通过对不同粒度级别的数据进行分析，可以提取不同粒度级别的特征信息，从而可以对数据进行更加充分合理的特征提取，在对SSVEP的EEG信号实时分类时能够极大地提升分类准确率。

各时间卷积层所提取出来的时间特征，分别经过各自的批量归一化处理后在特征图维度进行拼接。拼接后的时间特征将作为空间卷积层的输入。

空间卷积层使用[k,1]大小的空间卷积核来提取空间特征，其中k为输入信号的通道数。空间卷积核的特性能有效地降低特征图的维数，此外，加入空间卷积的操作为学习每个时间滤波器提供了一种直接的方法，从而能够生成有效地提取特定频率的空间滤波器。

对空间卷积提取出来的特征图采用批量归一化操作以加快网络收敛速度，此外，在批量归一化后利用第一激活函数操作模块，使用非线性激活函数进行处理，可以增加网络的非线性表达能力。第一激活函数操作模块采用的激活函数可以为ELU激活函数，ELU激活函数表达式如式(7)所示，其函数图像如图16所示。

ELU激活函数融合了sigmoid和ReLU两个不同的激活函数，其左侧具有类似sigmoid的饱和性，而右侧则表现出ReLU的线性。ELU激活函数右侧的线性部分能有效缓解梯度消失问题，而左侧的软饱和特性则对输入变化或噪声更具鲁棒性。此外ELU激活函数的输出均值趋于0，因而使用其作为激活函数能使网络获得更快的收敛速度。

由特征提取层所提取出来的SSVEP的EEG信号的时空特征将交由特征压缩层来进行处理。特征压缩层从特征提取层提取出来的特征图中寻找最具价值的特征，也就是对信号分类的最有利的特征。并且，特征压缩层用于降低计算量，降低过拟合风险。

特征压缩层首先利用平均池化层对时空特征图进行平均池化操作，以对特征进行聚合统计，此外，平均池化操作还能缩小特征图尺寸。为了防止模型过拟合、提高模型的泛化能力，在将池化后特征图输入深度可分离卷积模块之前，利用随机丢弃处理模块进行处理，随机丢弃处理模块采用了Dropout技术。可选的一种实施方式中，随机丢弃处理模块的Dropout比例可以被设置为0.5。

将进行Dropout操作后的特征图利用深度可分离卷积模块进行深度可分离卷积操作，深度可分离卷积是特征压缩层的核心。深度可分离卷积由两部分组成：深度卷积和逐点卷积。其中，深度卷积原理可以参见图17所示。深度卷积的卷积核与特征图通道一一对应，即一个深度卷积核负责一个通道。深度卷积后的特征图数量与输入通道数相同或为输入通道数的整数倍，其由深度参数D来决定，本文所用模型设定D＝1。

逐点卷积操作类似于常规卷积，只是其卷积核大小固定为[1,1]。逐点卷积对深度卷积所生成特征图在深度方向上进行加权求和，以生成新的特征图。逐点卷积原理可以参见图18所示。

使用深度可分离卷积提取特征有两个好处：(1)可有效降低待拟合参数量；(2)先学习多个对单个特征图进行特征汇总的卷积核，然后使用逐点卷积从深度方向最优地组合各特征。

对深度可分离卷积操作所生成的特征图利用批量归一化处理模块进行批量归一化，再利用第二激活函数操作模块进行处理，激活后的特征图将作为分类层的输入，其中第二激活函数操作模块仍可以采用 ELU激活函数。

传统的卷积神经网络(Convolutional Neural Networks，CNN)在网络的前几层对输入进行卷积以得到与输入相关的特征图。对于分类任务来说，常见的操作是将最后一个卷积层的特征图进行向量化后输入全连接层，并通过一个softmax激活函数来得到结果预测值。然而，全连接层往往参数庞大，一方面增加了网络训练以及测试的计算量，降低了速度；另一方面，参数量过大容易导致过拟合，从而阻碍网络的泛化能力。此外，由于全连接层的黑盒特性，难以解释来自目标层的类别信息如何传递回先前的卷积层。

鉴于全连接层的特点，本发明实施例在分类层应用全局平均池化(GlobalAverage Pooling，GAP)的方法来代替全连接层，该操作的实现要求特征压缩层输出特征图数量与分类类别保持一致。相比于全连接层，全局平均池化能够降低全连接层分类过拟合的风险，前移网络学***均池化不存在待优化的参数，其本身可视作结构性正则化器，因此该层不会出现过拟合现象。此外，全局平均池化汇总了空间信息，对输入的空间转换具有更好的鲁棒性。在全局平均池化层之后利用第三激活函数操作模块进行处理，得到分类结果。其中，第三激活函数操作模块可以采用softmax激活函数。

图19所示为全连接层与全局平均池化对比图。全连接层首先将卷积层的特征图进行展开与拼接，得到拼接特征向量后，将该特征向量与输出节点进行全连接映射。全局平均池化则对每一个特征图进行特征图大小的平均池化，每一个特征图被映射为一个输出节点。网络的末尾在对特征图进行全局平均池化操作后，通过一个softmax来获得各类别的预测值。因此，本发明实施例的分类层将特征图直接映射到对应的输出节点，在减少网络复杂性的同时增加了网络的可解释性。

分类结果为一个向量，向量中元素数量为类别数量，也就是SSVEP刺激块的数量，每个元素对应一个SSVEP刺激块，元素数值表示分类为该类别的概率，也就是激发受实试者产生SSVEP的EEG信号的实际刺激块为该元素对应的SSVEP刺激块的概率。

本发明实施例所提供的动态背景下SSVEP脑机接口刺激解码方法，利用预先构建并训练完成的预设的DBDN网络对预处理后的SSVEP的EEG信号进行解码，得到该SSVEP的EEG信号对应的SSVEP刺激块的属性信息。由于所要解码的SSVEP的EEG信号是脑机接口***中显示屏幕对应的显示调制模块在显示屏幕显示的动态背景的多个预设位置上，分别悬浮设置预设形状的SSVEP刺激块，利用预设调制方法改变各SSVEP刺激块与相应背景区域的对比度，并利用采样正弦编码平滑改变所得到的各SSVEP 刺激块的透明度，使多个SSVEP刺激块基于各自频率持续闪烁刺激受试者后产生的，而预设调制方法包括预设的前景调制方法和/或背景调制方法，因此，能够利用预设的DBDN网络包括的特征提取层、特征压缩层和分类层，针对动态背景的SSVEP范式提高SSVEP的EEG信号的解码精度。

为了验证本发明实施例的动态背景下SSVEP脑机接口刺激解码方法的有效性，以下以实验数据进行说明。本发明实施例实验所得结果，将在客观与主观两个方面进行评价分析，其中客观评价主要是基于各种调制方法，在不同解码方法准确率的基础上对本发明实施例所提出的调制与解码方法效果进行详细分析，主观评价则主要围绕参与实验的受试者对不同调制效果的主观感受评价来对不同调制方法进行分析。

(一)实验结果客观分析

主要实验参数设定包括：脑电采集***为BioSemiActiveTwo；使用通道：P3、PO7、O1、Oz、POz、 Pz、P4、PO8、O2；采样频率1024Hz；滤波器2～32Hz；降采样256Hz。

表1所示为CCA-SVM(Canonical Correlation Analysis-Support VectorMachine，典型关联分析-支持向量机)在各调制方法下的解码准确率。如表1所示，亮度压缩调制的解码准确率位居第一，单点反色调制次之，之后依次为全局反色调制、未调制、背景模糊调制。以未调制下的解码准确率作为对比基线，亮度压缩调制取得了最大的提升，为19.59％；单点反色调制在未调制的基础上提升了14.22％；全局反色调制提升了12.19％；背景模糊调制反而下降了22.34％。

表1 CCA-SVM结果展示

表2所示为SSVEP-EEGNet在各调制方法下的解码准确率。各调制方法的解码准确率排名同 CCA-SVM相同，均为亮度压缩调制解码准确率最高，单点反色调制次之，之后依次为全局反色调制、未调制、背景模糊调制。以未调制下的解码准确率作为对比基线，亮度压缩调制提升了27.61％；单点反色调制提升了13.42％；全局反色调制提升了6.57％；背景模糊调制下降了22.58％。

表2 SSVEP-EEGNet结果展示

表3所示为本发明实施例的DBDN在各调制方法下的解码准确率。各调制方法的解码准确率排名同前两种解码方法相同，亮度压缩调制解码准确率最高，单点反色调制次之，后续依次为全局反色调制、未调制、背景模糊调制。同样以未调制下的解码准确率作为对比基线，亮度压缩调制提升了24.68％；单点反色调制提升了20.72％；全局反色调制提升了18.56％；背景模糊调制下降了20.63％。

表3 DBDN结果展示

图20为本发明实施例实验中各解码算法在不同调制方法下的平均准确率对比图。其中针对单点反色、全局反色、亮度压缩、背景模糊和未调制，均包含三种解码方法，即左中右三个柱形分别代表CCA-SVM、 SSVEP-EEGNet、DBDN。可以看出，本发明实施例所提出的动态背景下SSVEP脑机接口刺激解码方法，简称DBDN，在各调制方法下的解码效果均优于其他两种对比算法。单点反色调制中，DBDN解码准确率比CCA-SVM高11.52％，比SSVEP-EEGNet高13.55％；全局反色调制中，DBDN解码准确率比CCA-SVM 高11.39％，比SSVEP-EEGNet高18.24％；亮度压缩调制中，DBDN解码准确率比CCA-SVM高10.11％，比SSVEP-EEGNet高3.32％；背景模糊调制中，DBDN解码准确率比CCA-SVM高6.73％，比 SSVEP-EEGNet高8.20％；即便在未调制方法中，DBDN解码准确率也比CCA-SVM高5.02％，比 SSVEP-EEGNet高6.25％。

结合表1至表3，以及图20，对各受试者在每种调制方法下的解码准确率进行对比分析，可以看出受试者之间对本发明实施例所涉及的SSVEP诱发范式适应程度有较为明显的差异。受试者4在五种调制方法上均具有优于其他受试者的表现，而受试者6则在除亮度压缩调制方法外的四种调制方法上表现明显低于其他受试者。从解码准确率的角度来看，亮度压缩调制的准确率位居第一，单点反色调制其次，接下来依次为全局反色、未调制和背景模糊。而本发明实施例的DBDN在各调制方法下的解码准确率均为最优。

需要补充说明的是，实验部分中不同调制方法：单点反色、全局反色、亮度压缩、背景模糊是指利用单点反色调制方法、全局反色调制方法、亮度压缩调制方法、背景模糊调制方法对SSVEP刺激块或者背景进行调制，并完成刺激块的采样正弦编码过程。

(二)实验结果主观分析

本发明实施例该部分实验可以采用主观评价表让受试者进行评价打分，主观评价表可见表4所示。

表4主观评价表

图21为Q1～Q4这四个主观问题在各调制方法下的平均得分对比。由图21可以看出，本发明实施例所提出的四种调制方法的显示效果均优于未调制。单点反色调制对实际操作的影响最小，其原因可能是单点操作所生成的刺激块保留了背景的所有细节；背景模糊调制对实际操作的影响最大，其原因可能是背景模糊所使用的散焦模糊弱化了背景的细节，不利于掌握背景实时情况；全局反色与亮度压缩调制对操作影响情况低于背景模糊调制，略高于未调制方法。背景模糊调制具有最高的观看舒适度，其原因可能是该调制方法在背景与刺激块之间产生了过渡的效果；亮度压缩调制的观看舒适度次之，全局反色调制观看舒适度排名第三，单点反色调制与未调制观看舒适度一致且最低。实验完后被试的疲劳程度与舒适度成反比关系，单点反色调制下的被试疲劳程度最高，其原因可能是刺激块保留背景细节过多，对受试者精神的损耗最大。即(1)亮度压缩和背景模糊同时具有最好的显示效果；(2)单点反色对操作的影响最小；(3)背景模糊具有最高的被试舒适度；(4)背景模糊具有最低的被试疲劳度。

综上，本发明实施例提出了四种不同的动态背景下SSVEP调制方法，从解码准确率的角度来看，单点反色、全局反色、亮度压缩三种调制方法均优于未调制，在解码准确率上有较大的提升。其中亮度压缩调制解码准确率最高、单点反色调制次之、全局反色调制排名第三，而背景模糊调制的解码准确率则低于未调制。从主客观综合角度来看，单点反色调制对实际操作的影响最小，却易导致被试疲惫；全局反色调制在解码准确率上略低于单点反色调制，但被试疲惫感也会得到一定缓解；亮度压缩调制在各解码算法下均有最高的识别准确率；背景模糊调制以解码准确率为代价，拥有最高的被试舒适度，对受试者而言更为友好。相较于未调制而言，本发明实施例所提出的四种调制方法均在某些方面有所提升，这证明了四种调制方法的可行性。

此外，将本发明实施例提出的解码算法DBDN在动态背景SSVEP实验下采集的数据集上进行验证，其在各调制方法上的解码准确率表现均优于用于对比的基线算法CCA-SVM和SSVEP-EEGNet。在各种调制方法下，DBDN相对于CCA-SVM分类准确率最高提升了11.52％，相对于SSVEP-EEGNet分类准确率最高提升了18.24％，这足以证明动态背景下SSVEP解码算法DBDN的有效性。

以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims

1.一种动态背景下SSVEP脑机接口刺激调制方法，其特征在于，应用于脑机接口***中显示屏幕对应的显示调制模块，所述方法包括：

2.根据权利要求1所述的动态背景下SSVEP脑机接口刺激调制方法，其特征在于，所述预设的前景调制方法，包括：

3.根据权利要求1所述的动态背景下SSVEP脑机接口刺激调制方法，其特征在于，所述预设的前景调制方法，包括：

将三通道的更新数据进行合并，得到每个像素的更新像素，并利用所有更新像素得到当前时刻下该SSVEP刺激块进行前景调制后的SSVEP刺激块。

4.根据权利要求1所述的动态背景下SSVEP脑机接口刺激调制方法，其特征在于，所述预设的背景调制方法，包括：

将同一像素进行亮度压缩后的三通道数据进行合并，利用合并后的所有像素得到当前时刻下该SSVEP刺激块对应的调制后背景块。

5.根据权利要求1所述的动态背景下SSVEP脑机接口刺激调制方法，其特征在于，所述预设的背景调制方法，包括：

6.根据权利要求1至3任一项所述的动态背景下SSVEP脑机接口刺激调制方法，其特征在于，所述利用采样正弦编码平滑改变所得到的各SSVEP刺激块的透明度，使多个SSVEP刺激块基于各自频率持续闪烁，包括：

7.根据权利要求1至5任一项所述的动态背景下SSVEP脑机接口刺激调制方法，其特征在于，所述利用采样正弦编码平滑改变所得到的各SSVEP刺激块的透明度，使多个SSVEP刺激块基于各自频率持续闪烁，包括：

8.一种动态背景下SSVEP脑机接口刺激解码方法，其特征在于，应用于脑机接口***中的信号处理模块，所述方法包括：

9.根据权利要求8所述的动态背景下SSVEP脑机接口刺激解码方法，其特征在于，

所述特征提取层包括串行的多尺度时间特征提取单元、空间特征提取单元和第一激活函数操作模块；其中，所述多尺度时间特征提取单元包括并行的预设数量个、时间卷积核长度互不相同的时间卷积层、与各时间卷积层对应连接的批量归一化处理模块，以及用于融合各批量归一化处理模块处理结果的特征融合模块；所述空间特征提取单元包括串行的空间卷积层和批量归一化处理模块；

10.根据权利要求9所述的动态背景下SSVEP脑机接口刺激解码方法，其特征在于，所述预设数量为4；

其中，n＝1，2，3，4。