CN115509355A - 一种整合视觉下的mi-bci交互控制***及方法 - Google Patents

Abstract

本发明公开了一种整合视觉下的MI‑BCI交互控制***及方法，涉及人机交互技术领域，包括眼动模块：用于获取用户对目标控件的眼动信息，以实现对目标控件的选取；其中，目标控件包括：界面上的音量调节、亮度调节、缩放调节、快慢调节、翻页调节、易于扩展按键，眼动信息包括：视线向量、注视时间、瞳孔直径、注视点坐标；脑机接口模块：用于获取用户的脑电信号的特征信息，以实现对目标控件的控制调节；其中，脑电信号的特征信息用于反映用户的运动意图；计算处理模块：用于基于眼动信息和脑电信号的特征信息，进行计算处理，实现交互控制，从而能够应对复杂场景，且有利于提高交互的精确性。

Description

一种整合视觉下的MI-BCI交互控制***及方法

技术领域

本发明涉及人机交互技术领域，尤其是涉及一种整合视觉下的MI-BCI交互控制***及方法。

背景技术

交互发展经历了如下几个阶段：非交互的批处理阶段；语言命令交互阶段；图形用户界面交互阶段；多通道智能化人机交互阶段。传统人机交互意图识别方法主要依靠脑电信号或眼动信号，当前眼动交互和脑机接口(Brain Computer Interface，BCI)交互各有优缺点。

眼动交互的优点是直接性、自然性和双向性，用户无需多余操作即可对设备进行控制；眼动交互的缺点是：精度较低，无法满足高精确度和高准确度交互需求的界面。

脑机接口是一种无需使用大脑外周神经和肌肉作为输出通路的通信***，通过将采集到的大脑信号转化为控制指令传递给外部设备，实现人脑与外界环境的直接交互。运动想象(motor imagery，MI)是对运动行为的心理演练而未有明显运动输出，可直接映射用户运动意图。在单侧肢体的想象运动时，大脑中对侧运动感觉区的节律幅度会降低，产生事件相关去同步现象(Event Related Desynchronization，ERD)，而大脑同侧的节律幅度则会相应的升高，产生事件相关同步(Event Related Synchronization，ERS)。但该脑机接口方式仍存在个体差异大、脑电信号微弱、辨识困难、分辨准确率低、易受外界环境干扰等问题。

发明内容

本发明的目的是提供一种整合视觉下的MI-BCI交互控制***及方法，能够应对复杂场景，且有利于提高交互的精确性。

为实现上述目的，本发明提供了一种整合视觉下的MI-BCI交互控制***，包括：眼动模块：用于获取用户对目标控件的眼动信息，以实现对所述目标控件的选取；其中，所述目标控件包括：界面上的音量调节、亮度调节、缩放调节、快慢调节、翻页调节、易于扩展按键，所述眼动信息包括：视线向量、注视时间、瞳孔直径、注视点坐标；

脑机接口模块：用于获取所述用户的脑电信号的特征信息，以实现对所述目标控件的控制调节；其中，所述脑电信号的特征信息用于反映所述用户的运动意图；

计算处理模块：用于基于所述眼动信息和所述脑电信号的特征信息，进行计算处理，实现交互控制。

优选的，所述眼动模块采用眼动设备获取所述用户对所述目标控件的眼动信息。

优选的，所述脑机接口模块采用脑电设备获取所述用户的脑电信号的特征信息。

优选的，所述脑电信号包括所述用户的运动想象过程中事件相关去同步信号和事件相关同步信号。

优选的，所述基于所述眼动信息和所述脑电信号的特征信息，进行计算处理，实现交互控制，具体包括：

根据所述眼动信息提取所述用户的视线向量，构建凝视触发指标，以对所述界面上的控件进行选取；

对所述脑电信号的数据进行预处理、特征提取、特征分类过程，完成对选取的所述控件进行调节；

结合所述眼动信息和所述脑电信号实现交互控制。

优选的，所述获取用户对目标控件的眼动信息，以实现对所述目标控件的选取，具体包括：通过瞳孔-普尔钦斑法采集眼动数据，触发控制选取机制。

优选的，所述获取所述用户的脑电信号的特征信息，以实现对所述目标控件的控制调节，具体包括：通过特征提取算法(共空间模式CSP)与特征分类算法(支持向量机SVM)的组合提取所述用户的脑电信号特征，以获取控制调节指令。

优选的，所述控制调节指令包括以下操作：“-”和“+”。

本发明还提供了一种基于上述整合视觉下的MI-BCI交互控制***的交互控制方法，包括：

利用所述眼动模块采集获得用户眼动信息；

利用所述脑机接口模块采集获得所述用户脑电信号；

将所述眼动信息和所述脑电信号先后输入***中，解码所述用户的控制意图，生成控制指令，以控制和调节界面控件。

因此，本发明通过将眼动模块和脑机接口模块相结合进行操控，使交互控制***既具有眼动的多选择复杂操作特性，又包含了脑机接口的精确控制特性，从而扩充脑机接口的指令集数量，能够应对复杂场景，且有利于提高交互的精确性。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

图1为本说明书实施例提供的一种整合视觉下的MI-BCI交互控制整体***示意图；

图2为本说明书实施例提供的眼动信息和脑电信号交互控制的处理流程图；

图3为本说明书实施例提供的基于眼动跟踪的显示控制界面；

图4为本说明书实施例提供的基于脑机接口的控制调节界面。

具体实施方式

以下通过附图和实施例对本发明的技术方案作进一步说明。

针对目前眼动交互控制和脑机接***互控制的精度较低、无法应对复杂场景等缺点出发，本发明提供了一种整合视觉下的MI-BCI交互控制***，将二者进行联合应用，使二者的优缺点能够进行互补，即用眼动的多操作选择性，弥补脑机接口；用脑机接口的精确性，弥补眼动的缺点。

如图1～4所示，本说明书实施例提供了一种整合视觉下的MI-BCI交互控制***，包括：眼动模块：用于获取用户对目标控件的眼动信息，以实现对目标控件的选取；其中，目标控件包括：界面上的音量调节、亮度调节、缩放调节、快慢调节、翻页调节、易于扩展按键，眼动信息包括：视线向量、注视时间、瞳孔直径、注视点坐标；

脑机接口模块：用于获取用户的脑电信号的特征信息，以实现对目标控件的控制调节；其中，脑电信号的特征信息用于反映用户的运动意图；

计算处理模块：用于基于眼动信息和脑电信号的特征信息，进行计算处理，实现交互控制。

眼动模块采用眼动设备获取用户对目标控件的眼动信息。

脑机接口模块采用脑电设备获取用户的脑电信号的特征信息。

脑电信号包括用户的运动想象过程中事件相关去同步信号和事件相关同步信号。

基于眼动信息和脑电信号的特征信息，进行计算处理，实现交互控制，具体包括：

根据眼动信息提取用户的视线向量，构建凝视触发指标，以对界面上的控件进行选取；

对脑电信号的数据进行预处理、特征提取、特征分类过程，完成对选取的控件进行调节；

结合眼动信息和脑电信号实现交互控制。

获取用户对目标控件的眼动信息，以实现对目标控件的选取，具体包括：通过瞳孔-普尔钦斑法采集眼动数据，触发控制选取机制。

获取用户的脑电信号的特征信息，以实现对目标控件的控制调节，具体包括：通过特征提取算法(共空间模式CSP)与特征分类算法(支持向量机SVM)的组合提取用户的脑电信号特征，以获取控制调节指令。

控制调节指令包括以下操作：“-”和“+”。

本说明书实施例还提供了一种基于上述整合视觉下的MI-BCI交互控制***的交互控制方法，包括：

利用眼动模块采集获得用户眼动信息；

利用脑机接口模块采集获得用户脑电信号；

将眼动信息和脑电信号先后输入***中，解码用户的控制意图，生成控制指令，以控制和调节界面控件。

具体技术方案，如图1所示，本说明书实施例提供的一种整合视觉下的MI-BCI交互控制***的工作流程为：

用户通过眼动跟踪(视线向量、注视点坐标、注视点时间等)控制选取界面上的目标控件即达到“所视即所控”，其次根据运动想象脑机接口(MI-BCI)调节控件的大小，最终完成交互控制的过程。

如图2所示，本说明书实施例提供的一种整合视觉下的MI-BCI交互控制***由眼动模块、基于MI-BCI的脑机接口控制调节模块组成。具体包括：

(1)眼动模块

眼动模块为视觉凝视下MI-BCI控制选取触发机制，以采集获得用户的眼动信息，具体包括以下步骤：

运用交互设计调研方法(如，情境分析法、故事版、控制行为记录分析、访谈法等)，记录用户在界面交互过程中所涉及的控制操作。

运用德尔菲法(Delphi)、Q-sorting法等行为分析方法对用户发出的控制命令进行梳理和层级划分，构建界面交互控制指令集的最优架构。

在***设计方法的基础上构建用户的交互控制动线图和动态转移网络图。

结合符号语义学、设计心理学理论，基于德尔菲法(Delphi)、Q-sorting法等行为分析方法构建的控制动线和控制层级架构。

设计符合用户控制认知规律的界面布局形式，并运用illustrator、Axure等软件开展原型设计开发。

基于瞳孔-普尔钦斑法(PPCR)采集眼动数据，分析用户的眼动控制动线，具体包括：

步骤一：眼部图像获取与阈值处理

瞳孔中心检测，首先使用阈值分割的方法，先粗略的检测出瞳孔区域，再计算瞳孔轮廓，剔除其他的噪声轮廓影响；

求得瞳孔轮廓面积和周长，通过阈值分割得到普尔钦斑的粗略位置。

步骤二：瞳孔中心与普尔钦斑识别

在粗略瞳孔轮廓上进行精确瞳孔检测，首先进行边缘检测，之后和边缘对应位置的普尔钦斑做运算，得到精确的瞳孔的中心；

普尔饮斑检测，首先通过瞳孔轮廓检测，确定大致的虹膜区域，并在虹膜区域内进行阈值分割，分割出亮点区域，抑制虚假检测后，找到普尔钦斑并拟合普尔钦斑点所构成的圆以及圆心；此时，便可得到视线向量V(x,y)。

上述得出的视线向量与用户屏幕上的注视点可通过映射模型建立对应关系，其中确定映射模型参数的过程称为标定，根据视线向量和标定参数得到注视点坐标，构建合理的凝视触发指标，包括：

提取用户的注视时间、瞳孔直径、注视点坐标等指标；

拟构建的控制选取指令集方案用数学形式化描述如下：

M为眼动通道；S为眼动跟踪设备采集的原始眼动信号；

D＝{D₁,D₂,...,D_m}为原始眼动信号中提取的基于控制符号区域的眼动数据集；集合中的每个眼动数据是一组具有时空特性的眼动坐标序列、注视时长、瞳孔大小等；

B＝{B₁,B₂,...,B_m}为构建的凝视指令集中包含的眼动行为集，其中，Bi(i＝1，2…，m)是由若干眼动指标构成的一个集合，进而构成凝视区域的眼动行为集，每个特定集映射特定的控制选取指令；

其中，B_i＝{b_i1,b_i2,...,b_ik}为第i个行为集，由ki(i＝1，2…，m)个基本眼动形式构成；C＝{C₁,C₂,...,C_n}为凝视指令集B所映射的控制选取指令集，其中n为控制指令个数，进而构成了当前眼动跟踪显示控制界面的指令。

(2)脑机接口模块

脑机接口模块为MI-BCI控制调节指令的交互机制，以采集获得用户的脑电信号，具体包括以下步骤：

运用行为分析方法开展用户在界面交互过程中典型控制调节(音量、亮度、缩放等)的时间与速率测算，结合不同用户构建符合界面交互控制规律的时间域。

结合人脑感觉运动节律的时域和空间响应特征，开展在运动想象过程中事件相关去同步(ERD)和事件相关同步(ERS)现象的显著时间区间研究，包括：

用户在屏幕前根据实验范式进行对应的运动想象，对用户的脑电信号进行采集。

脑电信号的采集包括采集准备、采集过程和数据预处理。

其中，采集准备：用户佩戴安装有64个电极的脑电帽，利用电极膏将电极帽上的电极与头皮进行接触；进行阻抗测试，且对阻抗过高的电极进行调整，开始记录数据。其中电极膏也可以用导电胶代替。

采集过程包括用户根据实验范式进行对应的运动想象，每轮中屏幕依次出现左、右方向提示的图片，图片出现过程中用户进行相应方向的运动想象。

针对训练阶段、离线测试阶段和在线阶段特征提取时间窗(运动想象开始后0.5s～5s区间进行划分)，寻求在高分类准确度下的较短时间窗，结合行为分析方法开展用户在控制调节界面交互过程中的控制调节时间与调节速率，保证合理的控制时滞。

数据预处理具体包括：用户在实验时产生的脑电信号数据经过EEGLAB工具箱依次进行通道定位、重参考、通道选择、带通滤波、去除基线、手动去除伪迹、ICA去除伪迹、眼电去除以及剔除噪声成分除杂处理步骤。

分析用户在认知层和控制层匹配时间域内的运动想象控制调节信号分类准确度。

选取合适的特征提取算法(共空间模式算法CSP)与特征分类算法(支持向量机SVM)组合，在较短时间窗下寻求分类准确度最优，具体包括：

步骤一：共同空间模式特征提取

采集人脑指定电极位置的脑电信号作为原始脑电数据，表示为一个K×M维的矩阵E，K是脑电测量时的通道数，M是脑电采集时每个通道的采样点数，则规则化的脑电数据协方差矩阵可以表示为：

trace(·)表示矩阵·的迹，分别使用C₁和C₂来表示非靶刺激和靶刺激两种情况下实验数据的空间协方差矩阵，则它们合成的空间协方差矩阵可以表示为：C_C＝C₁+C₂，C_C又可以分解为

其中U_c是C_c特征向量组成的矩阵，λ_c是相应的特征值组成的对角矩阵。

上述分解过程是把特征值按降序排列，并用白化矩阵P对C₁和C₂进行白化，白化矩阵如下式：

平均协方差矩阵C₁和C₂就变换为：

S₁＝PC₁P^T，S₂＝PC₂P^T

通过上式可以证明S₁与S₂拥有共同的特征向量

将EEG信号白化后投影在特征向量B的前N和后N列上，得出最佳的分类特征，投影矩阵为：

W＝B^TP

采集的脑电数据E就可以变换为:

Z＝WE

将变换后的新信号Z_i(i＝1，2，...，2N)的方差进行取对数和规范化处理后可得:

步骤二：支持向量机分类

在步骤一中已经获得运动想象脑电信号的优化特征信号，接下来利用上述特征选择二分类器进行分类：

式中

为选取合适的核函数

0≤a_i≤C i＝1，2，…，n

式中，C为合适的参数，与核函数

来构造及求解最优化问题

式中a_i为Lagrange乘子，n为向量个数

求得最优解a^*为：

选用a^*的一个正向分量

求得分类阈值b^*为：

构造的决策函数为：

如果y≥0，则判定属于类别1；如果y<0，则判定属于类别2。

因此，本说明书实施例通过通过将眼动模块和脑机接口模块相结合进行操控，使交互控制***既具有眼动的多选择复杂操作特性，又包含了脑机接口的精确控制特性，从而扩充脑机接口的指令集数量，能够应对复杂场景，且有利于提高交互的精确性。

术语解释：

MI：Motor Imagery，运动想象；

BCI：Brain Computer Interface，脑机接口；

Delphi：德尔菲法；

PPCR:瞳孔-普尔钦斑法；

ERS：Event-related synchronous，事件相关同步；

ERD：Event-related desynchronization，事件相关去同步；

Feature Extraction：特征提取；

Classification algorithm：分类算法；

CSP：Common Spatial Patterns，共空间模式；

SVM：Support Vector Machine，支持向量机；

最后应说明的是：以上实施例仅用以说明本发明的技术方案而非对其进行限制，尽管参照较佳实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对本发明的技术方案进行修改或者等同替换，而这些修改或者等同替换亦不能使修改后的技术方案脱离本发明技术方案的精神和范围。

Claims (9)

1.一种整合视觉下的MI-BCI交互控制***，其特征在于，包括：

眼动模块：用于获取用户对目标控件的眼动信息，以实现对所述目标控件的选取；其中，所述目标控件包括：界面上的音量调节、亮度调节、缩放调节、快慢调节、翻页调节、易于扩展按键，所述眼动信息包括：视线向量、注视时间、瞳孔直径、注视点坐标；

脑机接口模块：用于获取所述用户的脑电信号的特征信息，以实现对所述目标控件的控制调节；其中，所述脑电信号的特征信息用于反映所述用户的运动意图；

计算处理模块：用于基于所述眼动信息和所述脑电信号的特征信息，进行计算处理，实现交互控制。

2.根据权利要求1所述的整合视觉下的MI-BCI交互控制***，所述眼动模块采用眼动设备获取所述用户对所述目标控件的眼动信息。

3.根据权利要求1所述的整合视觉下的MI-BCI交互控制***，所述脑机接口模块采用脑电设备获取所述用户的脑电信号的特征信息。

4.根据权利要求1所述的整合视觉下的MI-BCI交互控制***，所述脑电信号包括所述用户的运动想象过程中事件相关去同步信号和事件相关同步信号。

5.根据权利要求1所述的整合视觉下的MI-BCI交互控制***，所述基于所述眼动信息和所述脑电信号的特征信息，进行计算处理，实现交互控制，具体包括：

根据所述眼动信息提取所述用户的视线向量，构建凝视触发指标，以对所述界面上的控件进行选取；

对所述脑电信号的数据进行预处理、特征提取、特征分类过程，完成对选取的所述控件进行调节；

结合所述眼动信息和所述脑电信号实现交互控制。

6.根据权利要求1所述的整合视觉下的MI-BCI交互控制***，所述获取用户对目标控件的眼动信息，以实现对所述目标控件的选取，具体包括：通过瞳孔-普尔钦斑法采集眼动数据，触发控制选取机制。

7.根据权利要求1所述的整合视觉下的MI-BCI交互控制***，所述获取所述用户的脑电信号的特征信息，以实现对所述目标控件的控制调节，具体包括：通过特征提取算法(共空间模式CSP)与特征分类算法(支持向量机SVM)的组合提取所述用户的脑电信号特征，以获取控制调节指令。

8.根据权利要求7所述的整合视觉下的MI-BCI交互控制***，所述控制调节指令包括以下操作：“-”和“+”。

9.一种基于权利要求1～8任一项所述的整合视觉下的MI-BCI交互控制***的交互控制方法，其特征在于，包括：

利用所述眼动模块采集获得用户眼动信息；

利用所述脑机接口模块采集获得所述用户脑电信号；

将所述眼动信息和所述脑电信号先后输入***中，解码所述用户的控制意图，生成控制指令，以控制和调节界面控件。

Images