CN107885124B - 一种增强现实环境中的脑眼协同控制方法及*** - Google Patents

Abstract

一种增强现实环境中的脑眼协同控制方法及***，针对航天员便携式作业需求，进行头盔显示器与视点跟踪式眼动仪的结构一体化设计，首先开发与数字头盔相匹配的集成嵌入式增强现实作业环境，实现基于眼动跟踪的机械臂自由度选择和动作预选，然后通过对脑机接口稳态视觉诱发范式控制信息的识别，实现机械臂六自由度控制动作的稳定意图理解和精细控制，最后在数字集成头盔条件下，实现脑电信号与视觉跟踪信号对被控对象的协同控制。与现有技术相比，本发明解决了单纯脑电信号控制能力较弱、鲁棒性和稳定不足的问题，具有很好的使用价值。

Description

一种增强现实环境中的脑眼协同控制方法及***

技术领域

本发明涉及涉及人机融合控制领域，特别是一种增强现实环境中的脑眼协同控制方法及***。

背景技术

我国未来载人航天项目中，航天员在轨任务(如空间站、大型空间科学实验平台等航天器在轨维修、装配、维护任务)日趋增加，需要航天员身着太空服出舱进行太空行走的任务需求不断提升，作业的复杂性和艰巨性将远超当前。

航天员在失重环境、个体运动受限等条件下，进行出舱作业中所面临的个体能力受限、航天服条件下常规控制通道受限、辅助作业***控制通道不足、操作视野不足及缺乏实时作业指导等问题。例如，国际空间站为航天器在轨服务操作提供了大型机械臂等复杂操作工具，我国空间站也部署了大型机械臂，并将后续部署小型机械臂完成在轨服务操作。但目前仍未见为航天员提供出舱作业辅助的机械装置。

发明内容

本发明解决的技术问题是：克服现有技术的不足，提供了一种增强现实环境中的脑眼协同控制方法及***，解决了航天员出舱人机协同作业中作业信息不足的问题，实现航天员任务作业中“人－机－环”的性能增强。

本发明的技术解决方案是：一种增强现实环境中的脑眼协同控制方法，包括如下步骤：

(1)构建一体化结构的头盔显示器、视点跟踪式眼动仪，得到数字头盔；所述的数字头盔能够集成眼动跟踪和增强现实模块，提供增强现实下的航天器作业场景；所述的头盔显示器能够提供对增强现实场景的显示功能；所述的视点跟踪式眼动仪能够实现对眼球转动、凝视动作的跟踪，实现眼动控制；

(2)构建与数字头盔匹配的且能够增强现实作业环境的集成嵌入式装置；

(3)根据视点跟踪式眼动仪读取视觉跟踪信号实现基于眼动跟踪的机械臂自由度选择、动作预选，然后根据数字头盔中的脑机接口读取脑电信号实现机械臂六自由度修正、动作控制。

所述的视点跟踪式眼动仪包括组合式的全息透镜，头盔显示器包括脑电信号提取装置，并在集成嵌入式装置构建的虚拟仿真环境中显示机械臂的运动过程。

所述的集成嵌入式装置能够建立虚拟可视化的太空背景环境。

所述的视点跟踪式眼动仪设有基于角膜反射的眼动跟踪算法，建立基于凝视和眼球滑动轨迹的机械臂自由度触发和控制模式。

所述的头盔显示器设有不同频率的脑电信号机械臂六自由度触发和控制模式。

所述的视点跟踪式眼动仪以普尔钦斑点为衡量基准，根据灰度值计算普尔钦斑点和瞳孔于虹膜的所在位置，进而得到视线的输入方向。

所述的头盔显示器采用LDA模型确定指向的区域位置。

一种增强现实环境中的脑眼协同控制***，包括数字头盔、集成嵌入式装置，数字头盔包括头盔显示器、视点跟踪式眼动仪；其中：

头盔显示器能够提供对增强现实场景的显示功能；根据脑机接口读取脑电信号实现机械臂六自由度修正、动作控制；

视点跟踪式眼动仪能够实现对眼球转动、凝视动作的跟踪，实现眼动控制；根据视点跟踪式眼动仪读取视觉跟踪信号实现基于眼动跟踪的机械臂自由度选择、动作预选；

集成嵌入式装置与数字头盔匹配且能够增强现实作业环境显示，建立虚拟可视化的太空背景环境。

所述的视点跟踪式眼动仪包括组合式的全息透镜，头盔显示器包括脑电信号提取装置，并在集成嵌入式装置构建的虚拟仿真环境中显示机械臂的运动过程。

所述的头盔显示器设有不同频率的脑电信号机械臂六自由度触发和控制模式，采用LDA模型确定指向的区域位置。

本发明与现有技术相比的优点在于：

(1)本发明提出一种脑控、眼控、增强现实等多种人机交互手段复合应用的新型人机融合智能操控技术框架，为航天员提供一个新型的辅助作业***控制通道，并构建一个全作业场景的视觉环境和便捷的辅助信息获取途径，显著提高航天员作业效率。利用脑机交互技术和视觉跟踪技术，设计实现新型的脑眼协同控制方式，重点解决航天员出舱人机协同作业中控制通道不足的问题；

(2)本发明通过航天员任务作业中“人－机－环”能力拓展利用以增强现实技术为基础的数字头盔研制，为航天员提供作业环境、作业指导和作业操作的增强现实显示，解决了航天员出舱人机协同作业中作业信息不足的问题，实现航天员任务作业中“人－机－环”的性能增强。

附图说明

图1为一种增强现实环境中的脑眼协同控制方法流程图。

具体实施方式

本发明针对航天员太空出舱作业的应用场景，创新性的提出一种脑控、眼控、增强现实等多种人机交互手段复合应用的新型人机融合智能操控技术框架，为航天员提供一个新型的辅助作业***控制通道，并构建一个全作业场景的视觉环境和便捷的辅助信息获取途径，显著提高航天员作业效率。本发明通过利用脑机交互技术和视觉跟踪技术，设计实现新型的脑眼协同控制方式，重点解决航天员出舱人机协同作业中控制通道不足的问题，实现航天员任务作业中“人－机－环”的能力拓展利用以增强现实技术为基础的数字头盔研制，为航天员提供作业环境、作业指导和作业操作的增强现实显示，解决了航天员出舱人机协同作业中作业信息不足的问题，实现航天员任务作业中“人－机－环”的性能增强。

1、航天头盔显示器与视点跟踪式眼动仪的结构一体化设计

本发明采用的数字头盔显示功能为脑－机交互提供指令呈现，通过视觉跟踪检测和脑－机信号检测，实现对控制意图的解析，数字头盔是脑眼协同控制的硬件平台。

1)显示器和眼动跟踪硬件一体化设计

本发明中的数字头盔显示器是一款独立的计算机设备，其内置CPU、GPU和专门的全息处理器。黑色的镜片上包含了透明显示屏，立体音效***使操作者在观察的同时也能听到语音信息，同时头盔也内置了一整套的传感器用来实现各项预置功能。双透明镜片各显示左右眼的内容，通过使用者的大脑，合成真实的3D全息图像，但使用者同时可以看到真实空间的物体。头盔上的电脑可以自主实现全息计算。使用者只要用目光和语音与内置的功能齐全的计算机互动即可。

头盔具有组合式的全息透镜，复杂的传感器阵列，以及需要处理所有的眼神、声音以及周围环境的处理器。作为头盔的重要组成部分，深度感应摄像头可以清晰地识别操作人员的眼部动作。

数字头盔还包含了CPU、GPU，以及全息处理单元HPU。CPU和GPU只负责启动程序和显示全息图像，HPU则实时处理来自传感器和摄像头的数据，这保证了对所有操作可以迅速反应。

2)视觉跟踪检测模块

数字头盔基于主动投射共外线光速来提取特征，每只眼睛周围应设置8个低功耗红外LED，眼球追踪传感器置于眼镜片下，要求既不会对视线范围产生影响，又能跟踪使用者的瞳孔活动。

检测装置采用模块化开发，使其很好的整合在头盔之中，同时可以根据使用者的特性将镜片置于特定位置，舒适清晰的感受虚拟现实，追踪速度达到120～380Hz，能够跟上眼睛的运动速度，实现准确、低时延的眼球追踪，既可以保持清晰度，又能降低眩晕感。

2、基于数字头盔的嵌入式增强现实环境设计

针对航天器空间作业智能操纵任务需求，本发明在数字头盔中建立增强现实场景环境，为基于脑电信号和眼动轨迹的新型人机交互控制模式提供支撑。该交互场景以航天器太空作业环境为背景，包括机械臂建模、背景建模、控制轨迹建模等。

机械臂建模：按照真实的六自由度机械臂进行三维建模。各个自由度单独建模，结构细节和尺寸与真实结构相同，然后按顺序组合到一起。对机械臂的电源和信号线缆，可以不必建模，以减少动画设计和软件开发中的技术难度，并且对机械臂的动作控制没有任何影响。每个自由度在运动时，不影响另外自由度的状态，但是，整个机械臂按照从下往上的主从关系动作。即底座旋转时，带动其上部分；机械手旋转时，带动机械手动作，但子部件动作时，主部件不跟随运动。每个自由度的颜色有正常纹理颜色和高亮颜色二种。正常纹理颜色以真实的六自由度机械臂的外观为纹理进行渲染。高亮颜色为红色，表征该自由度已经被选中，将要进行步进或连续动作。

背景建模：近处建立几个星球模型，以模拟太阳系的九大行星，在各自的椭圆轨道上运行。星球模型的表面贴图与真实太空中的星球一致，给操作者以处于真实太空的感受。太空背景为黑色，上面点缀星星点点的亮点表征远处的星星。整体情形与太空的真实情况一致。机械臂放置于星球表面上，用一带星球表面纹理贴图的大平面来表征，表明机械臂处于太空环境中，给用户一种真实沉浸的感受。

控制轨迹建模：对被抓持物体，建立出球体和正六面体二种即可。被持物初始状态置于地面上。对演示模式的抓取和放下动作，由开发人员将机械臂的二组动作制作成连续动画，动作轨迹符合机械臂的操作原理，每次只有一个自由度动作，然后换为下一个自由度动作。动作时间与真实的六自由度机械臂的对控制者做出的操作响应一致。

3、脑电信号与眼动信号的融合方法

本发明提出了一种基于脑眼融合的智能控制与操纵方法，该方法主要针对在航天器实际作业过程中，脑电信号识别较慢等问题，将眼动跟踪和脑电信号相融合，首先通过视点估计确定大致的相对位置关系，然后利用脑电信号分类实现更为准确的位置定位。

1)眼动跟踪算法

在眼动跟踪方面，本发明采用的技术原理为：当用一红外辅助光源照射到人的脸部时，在眼睛角膜表面形成反射像，此反射像被称为普尔钦(Purkinje)斑点；人眼在盯视不同位置的内容时，眼球会发生相应的转动。在假定实验者的头不动的情况下，由于红外发光二级管的位置时固定的，而眼球是一个近似的球体，当眼球转动时，可以认为普尔钦斑点的绝对位置是不变的；而虹膜于瞳孔的位置要发生相应的变化，这样红外辅助光源在虹膜上形成的普尔钦斑点于虹膜的相对位置关系要发生变化，这种相对位置关系的确定可以通过图像处理来实现。

图像处理基于以下特征信息：

普尔钦斑点最亮，而瞳孔于虹膜最暗；

普尔钦斑点基本为一点，而瞳孔于虹膜为一个近似的圆。这样可以由灰度值的大小来找出普尔钦斑点和瞳孔于虹膜的所在位置，然后由它们之间的相对位置关系，得出视线的输入方向。

眼动跟踪控制逻辑：首先进行自由度运动正反向(顺时针/逆时针)的选择，然后利用眼球视线的凝视信号确定此时想要产生运动的自由度。当眼部注视对应的自由度时，机械臂会在该自由度上发生持续运动。

利用眼动信号识别，当视线注视选择的自由度区域时，凝视时间3s后，所对应的自由度区域显示“红色”，此时若继续注视2s，会触发相应的自由度运动。当人注视机械臂对应的自由度时，该自由度处于持续运动状态，当操作者移开视线时，则运动停止。在眼动跟踪控制模式中，自由度旋转程度和人注视时长成正比。

2)脑电信号信息识别算法

在眼动跟踪的基础上，本发明脑电信号分类识别选用的算法是线性判别式分析(Linear discriminant analysis)，又称为Fisher线性判别(Fisher lineardiscriminant)。LDA在基于P300的脑-机接口领域中有着十分广泛的应用，且达到了令人满意的效果。线性鉴别一种行之有效的特征抽取方法。它分析能够抽取分类信息，压缩维数。它把高维样本投影到最佳的鉴别矢量空间，投影后保证原样本在该新的子空间中有最佳可分离性。

LDA算法的具体过程是：

对于特征为d维的N个样本X＝[x₁,x₂,…,x_n]T，其中在类别ω₁中有N₁个样本，另外N₂个样本在类别ω₂中。用ω表示投影方向，则样本X经过ω投影之后可表示为：y＝ω^Tx。当x为二维时，只需找到一条投影后能使特征点分离的直线即可(方向为ω)。

测试样本经过特征投影后，其决策值加和的符号决定了分类类别，也就是对应的控制输出。在本发明实验中，每轮刺激都各会触发一次P300信号。在线判断时，由于P300波是正向的，所以只需要将刺激套用LDA模型投影后，判断最大投影值，并对其交叉后就可以得到控制输出目标了。

本发明可在AR环境中，生成脑机控制所需的刺激界面。以SSVEP刺激为例，需要在增强现实环境中，建立不同频率闪烁的刺激块，对操作者形成相关的刺激。该刺激应与电子屏幕上的刺激形式保持一致，保证人接收刺激的有效性，刺激可采用菜单式的方式来呈现。

4、案例验证

在脑电信号测试方面，本发明构建了离线和在线模块，采用留一法对脑电信号进行测试。

机械臂6个自由度的运动状态如下

在协同控制过程中，本发明将离线训练的停止标准设为：连续两个试次的十轮平均正确率都在0.85以上。同时，为了保证离线模块既能准确建模，又不至于花费太长时间，将试次数控制在5～20之间，经过离线动态停止的优化后，经过充分训练的被试者脑眼协同控制正确率可达到95％左右，脑电信号识别正确率达到90％以上。

本发明说明书中未作详细描述的内容属本领域技术人员的公知技术。

Claims (5)

1.一种增强现实环境中的脑眼协同控制方法，其特征在于包括如下步骤：

(1)构建一体化结构的头盔显示器、视点跟踪式眼动仪，得到数字头盔；所述的数字头盔能够集成眼动跟踪和增强现实模块，提供增强现实下的航天器作业场景；所述的头盔显示器能够提供对增强现实场景的显示功能；所述的视点跟踪式眼动仪能够实现对眼球转动、凝视动作的跟踪，实现眼动跟踪控制；所述的眼动跟踪控制逻辑为：首先进行自由度运动正反向的选择，然后利用眼球视线的凝视信号确定此时想要产生运动的自由度，当眼部注视对应的自由度时，机械臂会在该自由度上发生持续运动；

(2)构建与数字头盔匹配的且能够增强现实作业环境的集成嵌入式装置；

(3)根据视点跟踪式眼动仪读取视觉跟踪信号实现基于眼动跟踪的机械臂自由度选择、动作预选，然后根据数字头盔中的脑机接口读取脑电信号实现机械臂六自由度修正、动作控制；

所述的视点跟踪式眼动仪包括组合式的全息透镜，头盔显示器包括脑电信号提取装置，并在集成嵌入式装置构建的虚拟仿真环境中显示机械臂的运动过程，并提供用于稳态视觉诱发刺激的不同频率闪烁界面；

所述的视点跟踪式眼动仪以普尔钦斑点为衡量基准，根据灰度值计算普尔钦斑点和瞳孔于虹膜的所在位置，进而得到视线的输入方向；

在头盔显示器中针对视觉注视的SSVEP频闪信息，采用LDA模型计算最大投影值，得到指向的区域位置。

2.根据权利要求1所述的一种增强现实环境中的脑眼协同控制方法，其特征在于：所述的集成嵌入式装置能够建立虚拟可视化的太空背景环境。

3.根据权利要求1所述的一种增强现实环境中的脑眼协同控制方法，其特征在于：所述的视点跟踪式眼动仪设有基于角膜反射的眼动跟踪算法，建立基于凝视和眼球滑动轨迹的机械臂自由度触发和控制模式。

4.根据权利要求1所述的一种增强现实环境中的脑眼协同控制方法，其特征在于：所述的头盔显示器设有不同频率的脑电信号机械臂六自由度触发和控制模式。

5.一种增强现实环境中的脑眼协同控制***，其特征在于包括数字头盔、集成嵌入式装置，数字头盔包括头盔显示器、视点跟踪式眼动仪，其中：

头盔显示器能够提供对增强现实场景的显示功能；通过建立虚拟频闪刺激界面，读取脑电信号，实现机械臂六自由度修正、动作控制；

视点跟踪式眼动仪能够实现对眼球转动、凝视动作的跟踪，实现眼动跟踪控制；根据视点跟踪式眼动仪读取视觉跟踪信号实现基于眼动跟踪的机械臂自由度选择、动作预选；

集成嵌入式装置与数字头盔匹配且能够增强现实作业环境显示，建立虚拟可视化的太空背景环境；

所述的视点跟踪式眼动仪包括组合式的全息透镜，头盔显示器包括脑电信号提取装置，并在集成嵌入式装置构建的虚拟仿真环境中显示机械臂的运动过程；

所述的头盔显示器设有不同频率的脑电信号机械臂六自由度触发和控制模式，采用LDA模型确定指向的区域位置。

Images