CN113110745A - 视觉刺激***、视觉刺激产生方法及脑机接口*** - Google Patents

Abstract

本申请涉及一种视觉刺激***、视觉刺激产生方法及脑机接口***。所述视觉刺激***包括用于显示立体影像显示装置、允许第一频率的偏振光通过的第一偏振过滤装置以及允许第二频率的偏振光通过的第二偏振过滤装置。所述显示装置在同一位置、同一时间显示同样大小，但频率不同的视觉刺激块。所述第一偏振过滤装置和所述第二偏振过滤装置均设置于所述显示装置发出视觉刺激块的一侧。所述视觉刺激***的编码属于双频编码，其产生的视觉刺激种类可调，且不容易产生错误的指令。所述视觉刺激***利用不同频率的偏振光完全隔绝了所述受试者的左右视野，两个频率的信息在进入视觉交叉神经前几乎不可能出现融合现象。

Description

视觉刺激***、视觉刺激产生方法及脑机接口***

技术领域

本申请涉及人机交互技术领域，具体涉及一种视觉刺激***、视觉刺激产生方法及脑机接口***。

背景技术

目前人们对于手机和电脑正投入的时间越来越多，已经慢慢超过了传统的电视和书本。而且随着科技的发展，越来越多的衍生品例如平板电脑，电子书等不断涌现。在围绕手机和电脑发展的诸多技术中，操作类型或操作方式是最引人注目的一环。对于手机，从开始的按键控制过渡到笔触控制，最后进入了手指触控的时代。对于电脑，键盘和鼠标的组合一直为使用者提供方便的操作体验，后期出现的无线鼠标，红外控制技术也让电脑操作变得更加方便灵活。然而，传统的操作控制，无论是基于键盘或鼠标，还是基于手写或手势，都需要健全的手指才能实现，对于那些遭受运动功能障碍以至于双上肢残疾的患者，这些方法都无能为力。

为了实现不依赖于人手操作控制，人们发明了适合双上肢残疾的患者使用的设备，如，脑机接口(brain-computer interface，BCI)***。

作为一种新的、非肌肉的通信通道，脑机接口***能够使人直接通过大脑来表达思想或操纵设备，而不需要借助语言或肢体动作。对于严重的运动残疾患者，脑机接口***能够将他们的意图传送到外部装置，比如计算机、家用电器、护理设备以及神经假体等，从而改进他们的生活质量。但是，用于脑机接口***的脑电信号离不开视觉刺激，目前的视觉刺激编码过于单一，视觉刺激大多由单一的视觉刺激屏提供，视觉刺激种类少，且容易产生错误的指令。

发明内容

基于此，有必要针对目前的视觉刺激编码过于单一，视觉刺激大多由单一的视觉刺激屏提供，视觉刺激种类少，且容易产生错误的指令的问题，提供一种视觉刺激***、视觉刺激产生方法及脑机接口***。

一种视觉刺激***，包括：

显示装置，用于显示立体影像，所述显示装置在同一位置、同一时间显示同样大小，但频率不同的视觉刺激块；

第一偏振过滤装置，设置于所述显示装置发出视觉刺激块的一侧，所述第一偏振过滤装置允许第一频率的偏振光通过；

第二偏振过滤装置，同样设置于所述显示装置发出视觉刺激块的一侧，且所述第二偏振过滤装置允许第二频率的偏振光通过。

在一个实施例中，所述第一频率与所述第二频率在4Hz-20Hz中任选两个不同的频率。

在一个实施例中，所述第一频率与所述第二频率分别从[4Hz-8Hz)、[8Hz-11Hz)、[11Hz-14Hz)、[14Hz-17Hz)或[17Hz-20Hz)的频率区间中进行选择，所述第一频率与所述第二频率不在同一个频率区间。

在一个实施例中，所述第一偏振过滤装置与所述第二偏振过滤装置的偏振方向正交。

在一个实施例中，所述第一偏振过滤装置到所述显示装置的垂直距离与所述第二偏振过滤装置到所述显示装置的垂直距离相等。

在一个实施例中，所述第一偏振过滤装置和所述第二偏振过滤装置到所述显示装置的垂直距离为80cm至160cm。

在一个实施例中，所述第一偏振过滤装置和所述第二偏振过滤装置设置为一副偏光眼镜。

在一个实施例中，所述显示装置为立体影像显示器或者立体影像投影荧幕。

本申请还提供一种视觉刺激产生方法，采用上述任一项所述的视觉刺激***提供视觉刺激，所述视觉刺激产生方法，包括：

通过所述显示装置在同一位置、同一时间显示同样大小，但频率不同的视觉刺激块；

将受试者的左右眼睛分别置于所述第一偏振过滤装置和所述第二偏振过滤装置远离所述显示装置的一侧；

透过所述第一偏振过滤装置和所述第二偏振过滤装置，受试者的左右眼睛分别获得不同的视觉刺激。

本申请还提供一种脑机接口***，包括：

上述任一项所述的视觉刺激***，其中，受试者的左右眼睛分别置于所述第一偏振过滤装置和所述第二偏振过滤装置远离所述显示装置的一侧；

脑电信号采集平台，用于实时采集受试者产生的视觉刺激信号，并对所述受试者产生的视觉刺激信号进行放大、滤波与模数转换；以及

实时处理装置，用于对放大、滤波与模数转换后的视觉刺激信号进行实时处理，检测SSVEP信号的频率。

本申请中提供一种视觉刺激***、视觉刺激产生方法及脑机接口***。所述视觉刺激***，包括：用于显示立体影像显示装置、允许第一频率的偏振光通过的第一偏振过滤装置以及允许第二频率的偏振光通过的第二偏振过滤装置。所述显示装置在同一位置、同一时间显示同样大小，但频率不同的视觉刺激块。所述第一偏振过滤装置设置于所述显示装置发出视觉刺激块的一侧。所述第二偏振过滤装置同样设置于所述显示装置发出视觉刺激块的一侧。本申请中提供的所述视觉刺激***的编码属于双频编码，所述视觉刺激***产生的视觉刺激种类可调，且不容易产生错误的指令。所述视觉刺激***利用不同频率的偏振光完全隔绝了所述受试者的左右视野，两个频率的信息在进入视觉交叉神经前几乎不可能出现融合现象。

附图说明

为了更清楚地说明本申请实施例或传统技术中的技术方案，下面将对实施例或传统技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请一个实施例中提供的所述视觉刺激***的结构示意图；

图2为本申请一个实施例中提供的所述视觉刺激方法的步骤流程示意图；

图3为本申请一个实施例中提供的所述脑机接口***的结构示意图；

图4为本申请一个实施例中提供的所述脑机接口***的实物图。

附图标记说明：

视觉刺激***100

显示装置10

第一偏振过滤装置20

第二偏振过滤装置30

脑机接口***200

脑电信号采集平台40

实时处理装置50

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下通过实施例，并结合附图，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。

本文中为部件所编序号本身，例如“第一”、“第二”等，仅用于区分所描述的对象，不具有任何顺序或技术含义。而本申请所说“连接”、“联接”，如无特别说明，均包括直接和间接连接(联接)。在本申请的描述中，需要理解的是，术语“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”、“顺时针”、“逆时针”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。

在本申请中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。

正如背景技术中提到的，对于传统的稳态视觉诱发电位(SSVEP)范式脑-机接口***来说，视觉刺激编码过于单一一直是个研究人员们普遍关心的问题。因此，如何提供复合视觉刺激并检测生理信号反应，以扩大视觉刺激种类的范围就成了亟待解决的技术问题。

为了解决双频编码的问题，本申请发明人提出一种视觉刺激***、视觉刺激产生方法及脑机接口***，可以解决在视觉交叉神经之前几乎不出现频率交叉的问题。本申请发明人提供的视觉刺激***、视觉刺激产生方法及脑机接口***，视觉刺激块在进入人眼之前不会发生融合，因此后期分析处理时脑机接口***的信息传输速率(英文：Information Translate Rate，缩写ITR)与判断正确率均会大幅度提高。

请参阅图1，本申请提供一种视觉刺激***100，包括：显示装置10、第一偏振过滤装置20和第二偏振过滤装置30。

所述显示装置10用于显示立体影像。所述显示装置10在同一位置、同一时间显示同样大小，但频率不同的视觉刺激块。所述显示装置10可以显示3D影像。3D指的是三维空间，D是英文Dimension的首字，即线度、维的意思。所述显示装置10显示的立体影像中可以滤出偏振光。所述显示装置10的具体形式并不作具体限定。

所述第一偏振过滤装置20设置于所述显示装置10发出视觉刺激块的一侧。具体的，在一个实施例中，所述第一偏振过滤装置20设置于所述显示装置10与受试者之间，并与所述受试者的一只眼睛距离第一间隔。所述第一偏振过滤装置20允许第一频率的偏振光通过。具体的，所述第一偏振过滤装置20允许所述显示装置10发出的立体影像中的第一频率的偏振光通过。即，经过所述第一偏振过滤装置20之后，到所述受试者一只眼睛中的视觉刺激块只有第一频率的光。

所述第二偏振过滤装置30同样设置于所述显示装置10发出视觉刺激块的一侧。具体的，所述第二偏振过滤装置30设置于所述显示装置10与所述受试者之间，并与所述受试者的另一只眼睛距离第二间隔。在一个实施例中，所述第一间隔与所述第二间隔相等。所述第二偏振过滤装置30允许第二频率的偏振光通过。具体的，所述第二偏振过滤装置30允许所述显示装置10发出的立体影像中的第二频率的偏振光通过。即，经过所述第二偏振过滤装置30之后，到所述受试者另一只眼睛中的视觉刺激块只有第二频率的光。具体的，所述显示装置10同时向所述受试者输送偏振方向不同的画面(视觉刺激块)，当画面经过所述第一偏振过滤装置20和所述第二偏振过滤装置30时，由于所述第一偏振过滤装置20和所述第二偏振过滤装置30分别只能接受一个偏振方向的画面，这样在所述受试者的左右眼就能接收两组不同的画面。

本实施例中，提供一种包括所述显示装置10、所述第一偏振过滤装置20和所述第二偏振过滤装置30的所述视觉刺激***100。本实施例中提供的所述视觉刺激***100的编码属于双频编码，所述视觉刺激***100产生的视觉刺激种类可调，且不容易产生错误的指令。所述视觉刺激***100利用不同频率的偏振光完全隔绝了所述受试者的左右视野，两个频率的信息在进入视觉交叉神经前几乎不可能出现融合现象。

在一个实施例中，所述第一频率与所述第二频率在4Hz-20Hz中任选两个不同的频率。所述第一频率与所述第二频率为不同的频率值。在一个具体的实施例中，所述第一频率与所述第二频率在7Hz-17Hz中任选两个不同的频率。比如，在一个更具体的实施例中，所述第一频率为10Hz，所述第二频率为16Hz。

在一个实施例中，所述第一频率与所述第二频率分别从[4Hz-8Hz)、[8Hz-11Hz)、[11Hz-14Hz)、[14Hz-17Hz)或[17Hz-20Hz)的频率区间中进行选择，所述第一频率与所述第二频率不在同一个频率区间。在一个具体的实施例中，所述第一频率为8Hz，所述第二频率为12Hz。

在一个实施例中，所述第一频率与所述第二频率均大于或者等于1/T，其中T为所述视觉刺激***100的采样周期。在另一个实施例中，所述第一频率与所述第二频率也可以不用设置为大于或者等于1/T的形式。具体的所述第一频率、所述第二频率与所述视觉刺激***100的采样周期之间的关系还要依据所述视觉刺激***100的具体形式进行调整。

在一个实施例中，所述第一偏振过滤装置20与所述第二偏振过滤装置30的偏振方向正交。本实施例中，所述第一偏振过滤装置20与所述第二偏振过滤装置30的偏振方向正交可以便于所述第一偏振过滤装置20与所述第二偏振过滤装置30提取/滤过不同频率的偏振光。

在一个实施例中，所述第一偏振过滤装置20到所述显示装置10的垂直距离与所述第二偏振过滤装置30到所述显示装置10的垂直距离相等。

在一个实施例中，所述第一偏振过滤装置20和所述第二偏振过滤装置30到所述显示装置10的垂直距离为80cm至160cm。所述第一偏振过滤装置20和所述第二偏振过滤装置30到所述显示装置10的垂直距离可以根据受试者的主观感受进行调整。比如，所述第一偏振过滤装置20到所述显示装置10的垂直距离为90cm，所述第二偏振过滤装置30到所述显示装置10的垂直距离也为90cm。再比如，所述第一偏振过滤装置20到所述显示装置10的垂直距离为110cm，所述第二偏振过滤装置30到所述显示装置10的垂直距离也为110cm。或者比如，所述第一偏振过滤装置20到所述显示装置10的垂直距离为150cm，所述第二偏振过滤装置30到所述显示装置10的垂直距离也为150cm。一般情况下，所述第一偏振过滤装置20和所述第二偏振过滤装置30到所述显示装置10的垂直距离不会影响所述第一频率的偏振光和所述第二频率的偏振光的获取。但是，所述第一偏振过滤装置20和所述第二偏振过滤装置30到所述显示装置10的垂直距离可能会影响所述受试者的感受。

在一个实施例中，所述第一偏振过滤装置20和所述第二偏振过滤装置30设置为一副偏光眼镜。本实施例中，所述第一偏振过滤装置20和所述第二偏振过滤装置30设置为一副偏光眼镜，所述偏光眼镜的两只眼镜片的偏光频率不同。在一个实施例中，所述偏光眼镜的两只眼镜片的偏振方向正交。

在一个实施例中，所述显示装置10为立体影像显示器或者立体影像投影荧幕。本实施例中，所述显示装置10不限定为以上两种立体显示装置，还可以是其他能够在同一位置、同一时间显示同样大小，但频率不同的视觉刺激块的显示装置。

请参阅图2，本申请还提供一种视觉刺激产生方法，采用上述任一项所述的视觉刺激***100提供视觉刺激，所述视觉刺激产生方法，包括：

S100，通过所述显示装置10在同一位置、同一时间显示同样大小，但频率不同的视觉刺激块。

S200，将受试者的左右眼睛分别置于所述第一偏振过滤装置20和所述第二偏振过滤装置30远离所述显示装置的一侧。

S300，透过所述第一偏振过滤装置20和所述第二偏振过滤装置30，受试者的左右眼睛分别获得不同的视觉刺激。

本实施例中，所述视觉刺激产生方法，采用上述任一项所述的视觉刺激***100提供视觉刺激。所述视觉刺激产生方法可以使得所述受试者的左右眼睛分别获得不同的视觉刺激。即所述视觉刺激产生方法可以产生双频编码，并且所述视觉刺激产生方法产生的视觉刺激种类可调，且不容易产生错误的指令。所述视觉刺激产生方法，利用不同频率的偏振光完全隔绝了所述受试者的左右视野，两个频率的信息在进入视觉交叉神经前几乎不可能出现融合现象。

随着脑机接口技术的发展，脑机接口***能够将神经活动直接转化为语言和控制指令，让人们可以通过脑信号自由的与外界交流，不再依赖于声音不再依赖于笔触。大脑将成为人们与外界沟通的门户。稳态视觉诱发电位脑机接口是一种极具魅力的技术。能够让屏幕变为键盘，将脑电波变为手指。人们只需注视着屏幕，脑电信号变回按照人们的思想将文字书写在屏幕上。

请参阅图3，本申请还提供一种脑机接口***200包括上述任一项所述的视觉刺激***100、脑电信号采集平台40和实时处理装置50。具体的，脑机接口***200包括所述显示装置10、所述第一偏振过滤装置20、所述第二偏振过滤装置30、所述脑电信号采集平台40和所述实时处理装置50。

其中，受试者的左右眼睛分别置于所述第一偏振过滤装置20和所述第二偏振过滤装置30远离所述显示装置的一侧。所述脑电信号采集平台40用于实时采集受试者产生的视觉刺激信号，并对所述受试者产生的视觉刺激信号进行放大、滤波与模数转换。所述实时处理装置50用于对放大、滤波与模数转换后的视觉刺激信号进行实时处理，检测SSVEP信号的频率。

本实施例中提供的所述脑机接口***200包括了上述任一项所述的视觉刺激***100、所述脑电信号采集平台40和所述实时处理装置50。所述脑机接口***200中可以通过所述第一偏振过滤装置20和所述第二偏振过滤装置30获得两个不同频率、不同偏振方向的偏振光。所述脑机接口***200可以对两个不同频率、不同偏振方向的偏振光进行双频编码。所述脑机接口***200产生的视觉刺激种类可调，且不容易产生错误的指令。比如所述脑机接口***200可以只编码所述第一频率的偏振光，或者所述脑机接口***200可以只编码所述第二频率的偏振光，再或者所述脑机接口***200同时编码所述第一频率的偏振光和所述第二频率的偏振光。所述脑机接口***200利用不同频率的偏振光完全隔绝了所述受试者的左右视野，两个频率的信息在进入视觉交叉神经前几乎不可能出现融合现象。

请参阅图4，在本申请一个实施例中提供的所述脑机接口***200包括上述任一项所述的视觉刺激***100、所述脑电信号采集平台40和所述实时处理装置50。其中，所述显示装置10可以为一块3D显示器或者3D投影荧幕。所述第一偏振过滤装置20和所述第二偏振过滤装置30组成一副偏光眼镜，所述偏光眼镜可以得到两个不同偏振方向的偏振光。所述脑电信号采集平台40和所述实时处理装置50可以是电生理采集设备和信号分析设备。

在一个具体的实施例中，所述脑机接口***200可以使得两个不同偏振方向的偏振光在同一位置同一时间显示同样大小但频率不同的视觉刺激块(f1与f2)。可以利用EEG(Electroencephalography，脑电图)、ECoG(Electrocorticography，皮层脑电图)等电生理采集设备采集被试的脑电数据。利用FBCCA(Filter bank canonical correlationanalysis，滤波器组典型相关分析)、CCA(canonical correlation analysis，典型相关分析)、频谱分析等算法判断f1和f2的频率大小和左右位置。对f1和f2频率大小和左右位置的判断，相当于做了个分类。分类之后的结果可以帮着所述受试者进行后续的使用。目前，所述脑机接口***200可以帮助所述受试者用来打字，做控制等操作。

本实施例中，所述脑机接口***200的优势在于可以用尽可能少的频率组合产生尽可能多的目标，从而减少判断所需的时间长度，提高ITR(信息传输速率)。比如一般的36目标范式需要36个不同频率，而本申请提供的所述脑机接口***200只需要6个不同频率就可以达到36目标范式的效果。

在传统方案中受试者只能接受单频(f1)视觉刺激。而本申请的核心发明点是可以同时接受双频视觉刺激。本申请提供的所述脑机接口***200采用了所述第一偏振过滤装置20和所述第二偏振过滤装置30可以做到让所述受试者同时接收两个不同频率(f1和f2)的视觉刺激。由于所述受试者的左右眼是有偏侧性的，单频情况下没有办法做到区分。本申请中所述第一偏振过滤装置20和所述第二偏振过滤装置30利用偏振光完全隔绝了左右视野，可以实现视觉刺激的左右空间视野编码，可以将两种不同的频率在同一屏幕上的同一位置同时呈现。本申请提供的所述脑机接口***200可以做到区分左右偏侧性；同时因为本申请提供的所述脑机接口***200所需频率数目少，目标数越多其判断时间短所带来的优势就越大。

以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种视觉刺激***，其特征在于，包括：

显示装置，用于显示立体影像，所述显示装置在同一位置、同一时间显示同样大小，但频率不同的视觉刺激块；

第一偏振过滤装置，设置于所述显示装置发出视觉刺激块的一侧，所述第一偏振过滤装置允许第一频率的偏振光通过；

第二偏振过滤装置，同样设置于所述显示装置发出视觉刺激块的一侧，且所述第二偏振过滤装置允许第二频率的偏振光通过。

2.根据权利要求1所述的视觉刺激***，其特征在于，所述第一频率与所述第二频率在4Hz-20Hz中任选两个不同的频率。

3.根据权利要求2所述的视觉刺激***，其特征在于，所述第一频率与所述第二频率分别从[4Hz-8Hz)、[8Hz-11Hz)、[11Hz-14Hz)、[14Hz-17Hz)或者[17Hz-20Hz)的频率区间中进行选择，所述第一频率与所述第二频率不在同一个频率区间。

4.根据权利要求3所述的视觉刺激***，其特征在于，所述第一偏振过滤装置与所述第二偏振过滤装置的偏振方向正交。

5.根据权利要求4所述的视觉刺激***，其特征在于，所述第一偏振过滤装置到所述显示装置的垂直距离与所述第二偏振过滤装置到所述显示装置的垂直距离相等。

6.根据权利要求5所述的视觉刺激***，其特征在于，所述第一偏振过滤装置和所述第二偏振过滤装置到所述显示装置的垂直距离为80cm至160cm。

7.根据权利要求6所述的视觉刺激***，其特征在于，所述第一偏振过滤装置和所述第二偏振过滤装置设置为一副偏光眼镜。

8.根据权利要求7所述的视觉刺激***，其特征在于，所述显示装置为立体影像显示器或者立体影像投影荧幕。

9.一种视觉刺激产生方法，其特征在于，采用上述权利要求1-8中任一项所述的视觉刺激***提供视觉刺激，所述视觉刺激产生方法，包括：

通过所述显示装置在同一位置、同一时间显示同样大小，但频率不同的视觉刺激块；

将受试者的左右眼睛分别置于所述第一偏振过滤装置和所述第二偏振过滤装置远离所述显示装置的一侧；

透过所述第一偏振过滤装置和所述第二偏振过滤装置，受试者的左右眼睛分别获得不同的视觉刺激。

10.一种脑机接口***，其特征在于，包括：

上述权利要求1-8中任一项所述的视觉刺激***，其中，受试者的左右眼睛分别置于所述第一偏振过滤装置和所述第二偏振过滤装置远离所述显示装置的一侧；

脑电信号采集平台，用于实时采集受试者产生的视觉刺激信号，并对所述受试者产生的视觉刺激信号进行放大、滤波与模数转换；以及

实时处理装置，用于对放大、滤波与模数转换后的视觉刺激信号进行实时处理，检测SSVEP信号的频率。

Images