CN106774847A - 基于虚拟现实技术的三维视觉P300‑Speller*** - Google Patents

Abstract

本发明公开了一种基于虚拟现实技术的三维视觉P300‑Speller***，包括VR刺激模块、脑电采集模块、计算机数据处理模块和指令控制/显示模块，其中：用户注视虚拟眼镜上的刺激范式的变化，在大脑皮层产生脑电信号的相应变化，所述脑电采集模块采集六个通道的脑电信号，并且在该模块由脑电电极探测后经过脑电放大器放大、滤波后，输入所述计算机，经过计算机处理模块对相应的视觉诱发P300电位特征信号进行特征提取和分类识别，将这些特征应用于实验任务的模式识别，进而应用于阈值判断指令输出与否。与现有技术相比，本发明突破了传统二维刺激界面枯燥、单一的问题，通过虚拟现实技术与脑‑机接口技术的结合运用全面提升用户体验。

Description

基于虚拟现实技术的三维视觉P300-Speller***

技术领域

本发明涉及机加工在线检测技术领域，特别是涉及一种机床颤振状态监测与辨识技术领域。

背景技术

“虚拟现实(Virtual Reality，VR)”是指通过计算机构建一个具备三维信息的人工环境，这项技术既可以高度逼真地模拟真实世界，又可以模拟不存在的虚幻世界。使用者在这样的一个三维环境中可以通过自己的感官、肢体或者特殊装置自然地与之进行交互，具有“身临其境”的感觉。Burdea和Coiffet描述了虚拟现实的“3I”原则作为虚拟现实技术的基本特征，即沉浸感(Immersion)、交互性(Interaction)、构想性(Imagination)。

今年来成为研究热点的虚拟现实技术，为脑-机接口技术也带来了新的挑战和机遇。脑-机接口信息交互技术与虚拟现实交互环境相结合，可带来一种全新的人机交互方式，对BCI技术研究与发展具有重要的意义。脑-机接口(Brain-Computer Interface，BCI)作为一种不依赖于大脑***神经与肌肉正常输出通道的通讯控制***，已成为脑神经科学研究及***对外交互控制的热点，虚拟现实技术的引入必然引发全新技术变革。在脑-机接口的研究中，基于P300信号的脑-机接口被普遍认为是最稳定高效的脑控拼写方式，称其为P300-Speller***，它无需对被试进行训练，实验简单方便易行。信号采集需要的电极较少，六到十个电极就可以采集到足够的信息，有很强的可操作性。此外，在头皮上就可以记录到较强的P300信号(正常人当受到小概率(10％-30％)靶事件刺激后会产生存在于脑电中的一种特定模式信号，即P300信号，因其在脑电(Electroencephalography，EEG)信号中位于刺激点后300ms左右的一个正向峰电位而得名。)，有很高的信噪比和稳定的锁时性。

基于上述优点可以看出，对于P300信号的深入研究及开发一种实用便携式的脑控拼写***有助于更加清楚地了解人类大脑，实现真正的人机交互，具有很强的理论与应用价值。

发明内容

基于现有技术，本发明提出了一种基于虚拟现实技术的三维视觉P300-Speller***，基于虚拟现实技术的三维P300-Speller刺激界面，通过虚拟现实技术与脑-机接口技术的相结合运用，将全面提升用户的体验。

本发明提出的一种基于虚拟现实技术的三维视觉P300-Speller***，该***包括VR刺激模块、脑电采集模块、计算机数据处理模块和指令控制/显示模块，其中：用户注视虚拟眼镜上的刺激范式的变化，在大脑皮层产生脑电信号的相应变化，所述脑电采集模块采集六个通道的脑电信号，并且在该模块由脑电电极探测后经过脑电放大器放大、滤波后，输入所述计算机，经过计算机处理模块对相应的视觉诱发P300电位特征信号进行特征提取和分类识别，将这些特征应用于实验任务的模式识别，进而应用于阈值判断指令输出与否。

所述VR刺激模块通过Unity3D软件设计三维视觉刺激界面，该界面具体包括四种范式即：同深度信息排列字符闪烁范式、不同深度信息排列字符闪烁范式、同深度信息排列字符飞出范式和同深度信息排列字符跳跃范式。

所述计算机处理模块的最终特征提取结果为目标信号s(k)，在假设最初噪声为零的条件下，目标信号s(k)＝叠加平均后的信号

所述计算机处理模块的分类识别，依据二分类的线性分类器的判别函数，如下式所示：

g(x)＝g₁(x)-g₂(x)

式中，决策规则为g(x)＞0，则x∈ω₁；g(x)＜0，则x∈ω₂；g(x)＝0，则x∈ω₁或x∈ω₂。

与现有技术相比，本发明突破了传统二维刺激界面枯燥、单一的问题，通过虚拟现实技术与脑-机接口技术的结合运用全面提升用户体验。

附图说明

图1为本发明的基于虚拟现实技术的三维视觉P300-Speller***结构示意图；

图2为刺激范式时序示意图；

图3为字符深度信息示意图；

图4为同深度信息排列字符闪烁范式示意图；

图5为同深度信息排列字符闪烁刺激范式的界面图；

图6为Unity3D编辑界面的场景视图一；

图7为不同深度信息排列字符闪烁范式示意图；

图8为不同深度信息排列字符闪烁刺激范式的P300 Speller字符矩阵示意图；

图9为Unity3D编辑界面的场景视图二；

图10为同深度信息排列字符飞出范式示意图；

图11为同深度信息排列字符飞出刺激范式的P300-Speller字符矩阵示意图；

图12为Unity3D编辑界面的场景视图三；

图13为同深度信息排列字符跳跃范式示意图；

图14为同深度信息排列字符跳跃范式的P300 Speller字符矩阵示意图；

图15为Unity3D编辑界面的场景视图四；

图16为范式1与范式2的迭代识别结果图对比；

图17为范式1与范式3的迭代识别结果图对比；

图18为范式1与范式4的迭代识别结果图对比。

具体实施方式

本发明通过Unity3D软件设计三维视觉刺激界面，搭建好所需的脑电信号采集与在线处理平台，然后在实验***指导下，刺激同步采集用户脑电信号数据，进行脑电信号预处理、特征提取、分类识别，实现基于虚拟现实技术的三维视觉P300-Speller。

下面结合附图和具体实施例对本发明作进一步详细描述。

如图1所示，为本发明的基于虚拟现实技术的三维视觉P300-Speller***结构示意图。该***包括三维虚拟现实P300视觉(VR)刺激模块、脑电采集模块(具体包括脑电电极和脑电放大器及采集软件等)、计算机数据处理模块(包括预处理、脑电采集信号的特征提取、分类识别等)、指令控制/显示模块。在使用时，用户头戴Oculus Rift DK2头戴显示器安静地坐在靠椅上，使用Neuroscan公司生产的脑电数字采集***采集脑电，采集六个通道(Fz、Cz、Pz、Oz、PO7、PO8)的脑电数据；注视虚拟眼镜上的刺激范式的变化在此过程中用户脑电会产生相应的变化：脑电信号在大脑皮层产生，由脑电电极探测后经过脑电放大器放大、滤波后输入计算机，经过计算机处理模块提取相应的视觉诱发P300电位特征信号，将这些特征应用于实验任务的模式识别，进而应用于阈值判断指令输出与否。

其中，VR刺激模块的P300诱发范式在Unity3D平台上编写完成，分别为一种二维视觉的刺激范式和三种不同的三维视觉刺激范式，可根据用户自身体验进行选择。实验过程中，屏幕首先提示用户需要注视的目标字符，然后9个字符一个一个地随机无重复的闪烁，遍历完一遍称为完成一轮(round)的闪烁，1轮闪烁称为1个trial，10个trail即完成一个字符的闪烁过程，称为一个session。每次刺激呈现持续时间为100ms，闪烁间隔为100ms，刺激范式时序如图2所示。本发明***采用3阶魔方的结构来对字符进行放置，X、Y轴构成一个二维平面，深度信息包含在Z平面上，魔方块沿Z轴方向分为三层，沿Y轴方向也分为三层。四种范式中，字符E始终位于第二层的中心立方块，字符E与被试的双目在同一XZ平面上，Y坐标值相同。相同深度信息的刺激范式的9个字符初始位置均在Z轴方向的第二层上，ABC字符位于Y轴方向第三层，DEF位于Y轴方向第二层，GHI位于Y轴方向第三层；不同深度信息的刺激范式中，ABC三个字母位于Y轴方向的第三层，Z轴方向的第三层，DEF三个字母位于Y轴方向的第二层，Z轴方向的第二层，GHI位于Y轴方向的第一层，Z轴方向上第一层，字符深度信息如图3所示。

***的显示模块共设计了三种基于虚拟现实的字符呈现方式，与传统的P300-Speller范式相比，增加了第三维度的深度信息，并且不局限于“闪烁”，新加了“跳跃”、“飞出”的字符呈现方式，可以减少被试的视觉疲劳，增加新奇感。在设计实验范式时选取“AB CD E F G H I”9个字符作为指令集，利用C#语言在Unity 3D平台上进行编写完成，在Farwell-Donchin范式上进行改动，作为对照组范式，称为“同深度信息排列字符闪烁刺激范式”(即刺激范式1)，同时设计了“不同深度信息排列字符闪烁刺激范式”(即刺激范式2)，“同深度信息排列字符飞出刺激范式”(即刺激范式3)，“同深度信息排列字符跳跃刺激范式”(即刺激范式4)的新型范式。几种实验范式描述如下。

1、同深度信息排列字符闪烁范式

如图4所示，9个字符的初始位置排列于黄色的魔方块位置，字符的呈现方式为闪烁，9个字符排列成3行3列矩阵，随机高亮显示。实验过程中，希望被试从9个字符中选择某一个字符的时候，被试只需要将注意力集中在该字符上，则相应的字符高亮显示的时候，就可以诱发出ERP成分。本范式中，字符高亮的同时位置保持不变，从字符的排列方式、呈现方式上均不具备深度信息。

如图5所示，实验过程中被试看到的刺激界面，图(a)为字符变化前的界面，图(b)为字符A高亮的界面，如果此时需要被试注意A字符，则为靶刺激，否则即为非靶刺激。图6为9个字符位于同一平面的Unity3D编辑界面的场景视图，场景视图可以从任意角度查看游戏界面，图6选取了透视图的角度，可以明显地看出9个字符位于同一平面，图中右上角的太阳图标表示灯光模式采用了平行光线，保证了各个字符的亮度一致；右上角标有“Z”“Y”的图标为软件的坐标示意图，下方的摄像机图标表示游戏窗口的视角位置，对于本文来说即为被试的双目所在，可以发现被试于字符“E”处于同一“XZ”平面，深度信息隐含在Z轴。

2、不同深度信息排列字符闪烁范式

如图7所示，9个字符的初始排列于黄色的魔方块位置，字符的呈现方式为闪烁，9个字符排列成3行3列矩阵，随机高亮显示。实验过程中，希望被试从9个字符中选择某一个字符的时候，被试只需要将注意力集中在该字符上，则相应的字符高亮显示的时候，尝试诱发出ERP成分。本范式中，字符高亮的同时位置保持不变，字符的排列方式具备深度信息，不同深度的字符的变化时也可以带来深度信息。

如图8所示，实验过程中被试看到的刺激界面，图(a)为字符变化前的界面，图(b)为字符G高亮的界面，如果此时需要被试注意G字符，则为靶刺激，否则即为非靶刺激。如图9所示，为9个字符位于三个平面的Unity3D编辑界面的场景视图，场景视图可以从任意角度查看游戏界面，图9选取了透视图的角度，可以明显地看出9个字符位于三个不同平面，图中右上角的太阳图标表示灯光采用了平行光线，保证了各个字符的亮度一致；右上角标有“Z”“Y”的图标为软件的坐标示意图，下方的摄像机图标表示游戏窗口的视角位置，对于本文来说即为被试的双目所在，可以发现被试于字符“E”处于同一“XZ”平面，深度信息隐含在Z轴，范式中不同深度的字符闪烁会带来不同的深度信息。本范式的刺激时序与同深度信息字符闪烁范式相同。

3、同深度信息排列字符飞出范式

如图10所示，9个字符的初始排列于黄色的魔方块位置，字符的呈现方式为沿Z轴方向，向被试飞来，9个字符排列成3行3列矩阵，随机高亮显示并飞出，为了加强字符飞出的深度信息，设置每次连续飞出5个字符，以构成飞出轨迹的效果。实验过程中，希望被试从9个字符中选择某一个字符的时候，被试只需要将注意力集中在该字符上，则相应的字符高亮显示飞出的时候，尝试诱发出ERP成分。本范式中，字符高亮的同时位置保持不变，字符的排列方式不具备深度信息，单个字符的变化方式上具备深度信息。

如图11所示，为实验过程中被试看到的刺激界面，图(a)为字符变化前的界面，图(b)为字符高亮并飞出的的刺激界面，所有飞出的字符速度相同，并600ms即可飞到被试眼前，然后消失。图12为Unity3D编辑界面的场景视图，场景视图可以从任意角度查看游戏界面，图12选取了透视图的角度，可以明显地看出9个字符初始位置位于同一“XZ”平面，图中右上角的太阳图标表示灯光采用了平行光线，保证了各个字符的亮度一致；右上角标有“Z”“Y”的为图标软件的坐标示意图，下方的摄像机图标表示游戏窗口的视角位置，对于本文来说即为被试的双目所在，可以发现被试于字符“E”处于同一“XZ”平面，深度信息隐含在Z轴，单个字符高亮飞出的时候会带来深度信息。本范式的刺激时序与同深度信息字符闪烁范式相同。

4、同深度信息排列字符跳跃范式

如上图13所示，9个字符的初始排列于黄色的魔方块位置，排列成3行3列矩阵，字符的初始位置均在Z轴方向的第二层，随机高亮显示并跳跃至Z轴方向第三层。实验过程中，希望被试从9个字符中选择某一个字符的时候，被试只需要将注意力集中在该字符上，则相应的字符高亮显示跳跃的时候，尝试诱发出ERP成分。本范式中，字符高亮的同时位置保持不变，字符的排列方式不具备深度信息，单个字符的变化方式上具备深度信息。

图14是实验过程中被试看到的刺激界面，图(a)为字符变化前的界面，图(b)为字符高亮并跳跃的的刺激界面，所有跳跃的字符远度相同，均在100ms内跳到沿Z轴，然后消失。图15为Unity3D编辑界面的场景视图，场景视图可以从任意角度查看游戏界面，图15选取了透视图的角度，可以明显地看出9个字符初始位置位于同一“XZ”平面，图中右上角的太阳图标表示灯光采用了平行光线，保证了各个字符的亮度一致；右上角标有“Z”“Y”的图标为软件的坐标示意图，下方的摄像机图标表示游戏窗口的视角位置，对于本文来说即为被试的双目所在，可以发现被试于字符“E”处于同一“XZ”平面，深度信息隐含在Z轴，单个字符高亮飞出的时候会带来深度信息。本范式的刺激时序与同深度信息字符闪烁范式相同。

计算机处理模块中的特征提取和分类，具体包括以下处理：

1、相干平均算法提取诱发脑电信号

将记录的脑电信号表示为：

x_i(k)＝s(k)+n_i(k) (1)

式中，x_i(k)表示第i次记录到的测量信号，n_i(k)表示第i次记录到的噪声信号i＝1,2,...,N，变量k表示记录中第k个采样值k＝1,2,...M，s(k)为k次提取特征值。

式中，根据最初噪声零均值假设得到即叠加平均后的信号就是最终要提取的目标信号s(k)。

2、LDA算法进行信号分类识别

LDA算法基本函数的一般形式为：

g(x)＝ω₁x₁+ω₂x₂+...+ω_nx_n+ω₀ (3)

g(x)＝W₀ ^TX+ω₀ (4)

式中，n维向量X＝[x₁,x₂,...,x_n]^T，ω₀为常数，称为阈权值，W₀＝[ω₁,ω₂,...,ω_n]^T为权向量或参数变量。二分类的线性分类器的判别函数如下式所示：

g(x)＝g₁(x)-g₂(x) (5)

其中，g₁(x)＝W₁ ^TX+ω₀，g₂(x)＝W₂ ^TX+ω₀。

式中，g₁(x)为第一类判别函数的值；g₂(x)为第二类判别函数的值；g(x)为二分类判别函数的决策值。决策规则为g(x)＞0，则x∈ω₁，第一类权重系数占优，将其分为第一类；g(x)＜0，则x∈ω₂，第二类权重系数占优，将其分为第二类；g(x)＝0，则x∈ω₁或x∈ω₂，两类权重相同。

Claims (4)

1.一种基于虚拟现实技术的三维视觉P300-Speller***，其特征在于，该***包括VR刺激模块、脑电采集模块、计算机数据处理模块和指令控制/显示模块，其中：用户注视虚拟眼镜上的刺激范式的变化，在大脑皮层产生脑电信号的相应变化，所述脑电采集模块采集六个通道的脑电信号，并且在该模块由脑电电极探测后经过脑电放大器放大、滤波后，输入所述计算机，经过计算机处理模块对相应的视觉诱发P300电位特征信号进行特征提取和分类识别，将这些特征应用于实验任务的模式识别，进而应用于阈值判断指令输出与否。

2.如权利要求1所述的基于虚拟现实技术的三维视觉P300-Speller***，其特征在于，所述VR刺激模块通过Unity3D软件设计三维视觉刺激界面，该界面具体包括四种范式即：同深度信息排列字符闪烁范式、不同深度信息排列字符闪烁范式、同深度信息排列字符飞出范式和同深度信息排列字符跳跃范式。

3.如权利要求1所述的基于虚拟现实技术的三维视觉P300-Speller***，其特征在于，所述计算机处理模块的最终特征提取结果为目标信号s(k)，在假设最初噪声为零的条件下，目标信号s(k)＝叠加平均后的信号

4.如权利要求1所述的基于虚拟现实技术的三维视觉P300-Speller***，其特征在于，所述计算机处理模块的分类识别，依据二分类的线性分类器的判别函数，如下式所示：

g(x)＝g₁(x)-g₂(x)

式中，g₁(x)为第一类判别函数的值；g₂(x)为第二类判别函数的值；g(x)为二分类判别函数的决策值；决策规则为g(x)＞0，则x∈ω₁；g(x)＜0，则x∈ω₂；g(x)＝0，则x∈ω₁或x∈ω₂。