CN102023701B - 脑波人机界面的视觉驱动方法、控制方法及控制*** - Google Patents

Abstract

一种脑波人机界面的视觉驱动方法、控制方法及控制***，该视觉驱动方法主要是显示多个闪烁光源供使用者观看，且闪烁光源的闪光时序是利用时间延迟来达成不同相位编码，利用闪光序列触发使用者的视觉诱发电位以进行后续控制，藉此达到增加***使用时的舒适度的目的。

Description

脑波人机界面的视觉驱动方法、控制方法及控制***

技术领域

本发明涉及一种人机界面的视觉驱动方法、控制方法及控制***，特别是涉及一种闪光顺序稳定而能让使用者方便观看且能快速辨识的脑波人机界面的视觉驱动方法、控制方法及控制***。

背景技术

肌萎缩性脊髓侧索硬化症(ALS)、脑中风、头部损伤、多发性硬化症和肌肉营养不良等病患，由于无法表达自我的意愿、与人沟通、传达喜怒哀乐、自主行动及自我照护，并具有与外界沟通的障碍；因此，各国的研发人员都试图发展不需要依赖肌肉和神经的沟通技术，其中一种可行的方法是使用脑电信号(EEG)以作为使用者传达意念的控制信号，这样的技术被称为脑波人机界面(Brain Computer Interface;简称BCI)，而一个好的脑波人机界面必须先包含下列要件：良好的触发条件以诱发稳定的脑波信号、良好的信号处理程序以萃取正确的脑波信号，以及适当的输出控制装置。

目前应用视觉诱发电位(Visual Evoked Potential,VEP)的脑波人机界面的技术包括：

一、稳态视觉诱发电位(Steady-state Visual Evoked Potential,SSVEP)：主要利用目标物的不同闪烁光源的频率而诱发出来的电位进行控制，相关研究有大陆清华大学电机系的陈明、高小榕等人利用稳态视觉诱发电位作为输出以控制屏幕的光标。

二、闪烁视觉诱发电位(Flash Visual Evoked potential,FVEP)：闪烁视觉诱发电位***与稳态视觉诱发电位***不同之处在于利用随机编码方式产生闪光序列，由于具有较多的闪光刺激，因此可增加选项数量。

但是，现有脑波人机界面技术会衍生下述缺失：

一、现有稳态视觉诱发电位***缺点是使用不同频率诱发使用者的稳态视觉诱发电位，频率落差大造成视野画面凌乱、不同选项之间信号处理和验证时间差异很大、提供的选项数目受限、高频率解析度需要较长的时间验证，及使用傅立叶转换技术，运算量大，***需求高。

二、闪烁视觉诱发电位***的缺点是视野画面的闪光顺序凌乱、易受其它生理信号的干扰、较不稳定及慢速的辨识时间。

发明内容

为了克服现有脑波人机界面技术的视野画面的闪光顺序凌乱的问题,本发明提供一种闪光顺序稳定而能让使用者方便观看且能快速辨识的脑波人机界面的视觉驱动方法。

本发明脑波人机界面的视觉驱动方法解决其技术问题所采用的技术方案是：显示多个闪烁光源供使用者观看，且各闪烁光源的闪光时序是利用时间延迟来达成不同相位编码，以达到使用者最舒适的显示目的。

为了克服现有技术运算量大且辨识速度慢的问题，本发明提供一种有利于快速辨识的脑波人机界面的控制方法及控制***。

本发明脑波人机界面的控制方法解决其技术问题所采用的技术方案是：a.显示多个闪烁光源供使用者观看，且各闪烁光源的闪光时序是利用时间延迟来达成不同相位编码；b.量测使用者的视觉诱发脑波信号；c.计算脑波信号的频率成分与相位；d.辨识受诱发脑波信号主要频率与相位与闪烁光源的相关性；及e.输出对应于该脑波信号的控制信号。

本发明脑波人机界面的控制***解决其技术问题所采用的技术方案是：控制***具有一闪光装置、一量测装置、一计算装置、一辨识装置及一控制装置；闪光装置显示多个闪烁光源供使用者观看，且各闪烁光源的闪光时序是利用时间延迟来达成不同相位编码；量测装置量测使用者的视觉诱发脑波信号；计算装置计算脑波信号的频率成分与相位；辨识装置依据计算装置得到的脑波信号之频率成分与相位与一预先建立的样板资料库比对以辨识受诱发脑波信号与闪烁光源的主要频率与相位的相关性；控制装置输出相关于各闪烁光源相对应的操作控制指令。

本发明脑波人机界面的控制方法及控制***的有益效果是：

一、闪光装置以相位编码方式进行视觉刺激并配合使用可调整的亮、暗周期闪光，增加***使用时的舒适度。

二、计算装置在时间域上处理频率域的问题，运算量小、速度快且辨识率高。

附图说明

图1是一***方块图，说明本发明优选实施例的脑波人机界面的控制***用于控制周边装置；

图2是一示意图，说明可程式化晶片所产生的序列是采用两种频率搭配四种相位而成的八个闪光信号；

图3是一示意图，说明每一个数字选项的闪光的亮暗周期可以随使用者进行调整；

图4是一示意图，说明每一个数字选项的闪光的亮暗周期可以随使用者进行调整；

图5是一流程图，说明本发明脑波人机界面的控制方法；

图6是一流程图，说明计算脑波信号的频率成分与相位及辨识受诱发脑波信号与闪烁光源的主要频率与相位的相关性的详细步骤。

具体实施方式

下面结合附图及实施例对本发明进行详细说明：

参阅图1，本发明优选实施例的脑波人机界面的控制***100用于控制一周边装置2，控制***100具有一闪光装置11、一量测装置12、一计算装置13、一辨识装置14、一控制装置15及一样版资料库16。

闪光装置11具有一可程式化晶片110及供一使用者5观看的多个闪烁光源111～118，各闪烁光源111～118的闪光时序是利用可程式化晶片110控制时间延迟来达成不同相位编码。

本发明脑波人机界面的视觉驱动方法采用的相位编码原理是：将一正弦波数学式S(t)=sin(ωt+θ)中的相位角(θ)等于角速度(ω)乘上时间常数(t')，即可等效成S(t)=sin(ωt+ωt')=sin(ω(t+t'))，再经由变数变换可得

由前述可知，该正弦波数学式可表示为代表经由时间的延迟可产生带有该相位角(θ)的正弦波函数，也就是本发明所需的闪光序列相位角(θ)可利用时间延迟来达成。

本实施例中，脑波人机界面的视觉驱动方法是依据前述原理由可程式化晶片110执行，且藉由公式1、公式2来做相位编码，其中公式1所示的该θn为一通道编号n的相位角，该x为闪烁光源的数量。

${\mathrm{\θ}}_n=\frac{2\mathrm{\π}}{x}\×(n-1)$ 公式1

公式2是利用公式1的θ=ωt转换成找出时间t对相位θ的转换式，公式2揭示的tn就是通道编号n的延迟时间，tm为该信道的闪烁周期，且tm即该闪烁光源的频率fm的倒数。

$t_n=\frac{{\mathrm{\θ}}_n}{{\mathrm{\ω}}_m}=\frac{1}{2\mathrm{\π}{f}_m}\×\frac{2\mathrm{\π}(n-1)}{x}=\frac{t_m}{x}\×(n-1)$ 公式2

藉由公式2可知，将第一频率f₁分别以1、2、3及4代入公式2，即可将4个通道的相位角(θ1、θ2、θ3、θ4)经运算后获得该四个通道编号的延迟时间(t1、t2、t3及t4)，再根据该四个通道的延迟时间(t1、t2、t3及t4)顺序，分别驱动闪烁光源111～114产生明灭；同时，而将第二频率f₂分别以5、6、7及8代入公式2，就可以再驱动闪烁光源115～118。

参阅图2，并配合图1，可程式化晶片110所产生的序列是采用两种频率f₁、f₂搭配四种相位θ₁、θ₂、θ₃及θ₄而成的八个闪光信号，闪光频率的选择采用f₁=34Hz及f₂=29Hz；而相位的选择上使用90°的分隔，如此会有θ₁=0°、θ₂=90°、θ₃=180°及θ₄=270°，依照上述频率与相位的排列组合可构成八个独立的闪烁光源，令使用者5注视这八组闪烁光源111～118，如此可在大脑视觉区中诱发出特有的脑波信号。

如上所述，可程式化晶片110令闪烁光源111～118产生具有相位及频率编码的闪光，用于区分代表不同数字的选项，且每一数字的选项的闪光为一具有固定频率、固定相位的亮暗周期变化的序列，需注意的是，在此是将不同频率以交错的方式排列显示，即邻近的闪烁光源111～118为不同频率，例如代表数字1、6、3、8的闪烁光源111、116、113、118为同一频率f₁=34Hz，代表数字5、2、7、4的闪烁光源115、112、117、114为另一频率f₂=29Hz。

参阅图3及图4，为了得到舒适的视觉显示，每一个数字选项的闪光的亮暗周期(duty cycle)可以随使用者进行调整，例如图3为亮暗各14.7ms，也就是对f₁=34Hz的闪光而言，每一个闪光亮暗周期为29.4ms，我们可以选择亮、暗各一半（各14.7ms），或是如图4为亮暗各21.4ms与8ms的情形，只要亮暗总和为29.4ms的组合，皆属于34Hz闪光的显示方式。

再参阅图1，量测装置12是使用电极量测使用者的大脑视觉区或前额的视觉诱发脑波信号，其包括多个电极121～123及一脑波取得仪器120，量测电极121放置是遵照国际10-20***放置在后脑大脑视觉区的位置(Oz，或者O1、O2、POz皆可)或前额，参考电极122置于耳后乳突（mastoid），接地电极123放置于前额，也可接于任何不易移动、不受干扰且靠近头部的位置；然而，为方便使用，量测电极121也可黏贴于前额(Frontal region)（Fpz，或者Fp1、Fp2、Fz、F1、F2皆可），参考电极122也可置于头部中间靠左右两侧(Central area)如F7、Fc5、Fc7、T7及F8、Fc6、Fc8、T8等；脑波取得仪器120包括一仪表放大器及一类比数位转换器(A/D)，仪表放大器将脑信号放大送到类比数位转换器，类比数位转换器再将数字化的脑波信号经由计算装置13做处理。

配合图5，并配合图1，本发明脑波人机界面的控制方法是利用闪光序列触发使用者5的视觉诱发电位以进行后续控制；所述方法包含下述步骤：

可程式化晶片110驱动显示多个闪烁光源111～118供使用者5观看，且各闪烁光源111～118的闪光时序是利用时间延迟来达成不同相位编码(步骤31)；量测装置12量测使用者5的脑波信号(步骤32)；计算装置13计算脑波信号的频率成分与相位(步骤33)；辨识装置14依据步骤33得到的脑波信号的频率成分与相位与一预先建立的样板资料库16比对以辨识受诱发脑波信号与闪烁光源的主要频率与相位的相关性(步骤34)；以及控制装置15执行相关于各闪烁光源111～118相对应的操作控制(步骤35)。

配合图6，计算装置13执行步骤33以计算脑波信号的频率成分与相位，详细流程包括将符合的信号经过26-32Hz及31-37Hz带通滤波器(步骤331)，然后，将视觉诱发电位与闪光序列作比对(步骤332)；接着，以闪光序列为基准对信号进行切割(步骤333)；切割后的信号利用平均技术处理以得到脑波信号的频率成分与相位(步骤334)。

然而，类似计算脑波信号的频率成分与相位的技术也可利用傅立叶转换(Fourier transform)、时间平均技术(temporal ensemble averaging)、或小波分析(Wavelet)取得脑波信号的频率与相位成分，不以前述叠加平均比对方式为限制。

辨识装置14执行步骤34以辨识频率及相位，主要是先辨识频率(步骤341)，然后再辨识相位(步骤342)，其原理是将计算装置13得到的脑波信号的频率成分与相位与预先建立的样板资料库16比对以辨识受诱发脑波信号与闪烁光源111～118的主要频率与相位的相关性。

其中，样板资料库16的数据建立是先令使用者5对八个闪烁光源个别注视1分钟(闪烁光源111～118分别对应数字1到8)，并且将闪烁光源111～118所诱发的脑波信号给记录下来，先将这些信号经过带通滤波器，数字1、6、3和8使用频带为31-37Hz的带通滤波器及数字5、2、7和4使用频带为26-32Hz的带通滤波器，滤波后的信号依照频率与相位排列；接着利用闪光周期来对脑波信号做周期性的切割，将34Hz与29Hz脑波信号利用闪光周期切割信号并且执行平均技术处理，使用多次平均技术所获得的样板数据供应辨识装置14作为判断相同频率中不同相位的视觉诱发电位的依据。

最后，参阅图1，控制装置15依据辨识装置14的辨识结果输出相关于各闪烁光源111～118相对应的操作控制指令，控制装置15可以是一可程序逻辑门阵列、数字信号处理器或单晶片微电脑，当使用者5所注视之闪烁光源111～118的功能选项被确认后，控制装置15会输出对应的操作控制指令给周边装置2。

周边装置2具有一电压/电流放大集成电路(如型号TI ULN2003)21、一继电器模组22及一电器群组23，继电器模组22具有多个对应电器群组23的电器数量的继电器(如型号SC833HM)，电压/电流放大集成电路21接受对于任一数字的操作控制指令以驱动对应该数字选项的继电器22动作；继电器22的共通接点与常开接点(Comm.and N.O.)连接对应数字选项的电源开启功能，电器群组23具有受对应数字选项驱动的电器，如数字1代表电灯、数字2代表风扇或是数字3代表电视等。

然而，前述只是列举一种实施例的说明，不应以此为限，例如文字输入与鼠标控制等应用或行动病床的控制等人性化控制功能，也应该被涵盖在本发明可供实际应用的范畴。

由以上说明可知，本发明脑波人机界面的视觉驱动方法、控制方法及控制***，不仅未见于以往，该项设计更具有下述功效：

一、透过本发明能够利用较少的闪光频率达成多信道的目的、闪光顺序不凌乱的视野画面、不受其它生理信号干扰、较稳定快速的辨识时间以及较少的测量电极数目。

二、透过本发明能够不需要依靠周边神经和肌肉，即可使用脑部的信号达到操控周边机器设备，并可达到与外界沟通、传达信息、自主行动以及自我照顾等目的，进而改善人们的生活质量。

Claims (9)

1.一种脑波人机界面的视觉驱动方法，是利用闪光序列触发使用者的视觉诱发电位以进行后续控制；其特征在于：所述方法是显示多个闪烁光源供使用者观看，将不同频率以交错的方式排列使得邻近的闪烁光源为不同频率，且各闪烁光源的闪光时序是利用时间延迟来达成不同相位编码，每一闪烁光源为一具有固定频率、固定相位的亮暗周期变化的序列，其相位编码方式是将一正弦波数学式中的相位角等于角速度乘上时间常数，再经由变数变换以表示经由时间的延迟产生带有该相位角的正弦波函数；

量测使用者的稳态视觉诱发反应信号，经过窄频带通滤波以得到正弦脑波信号；

以闪光序列为基准对正弦脑波信号进行切割；

切割后的正弦脑波信号利用平均技术处理以得到正弦脑波信号的频率成分与相位。

2.根据权利要求1所述的脑波人机界面的视觉驱动方法，其特征在于：所述闪烁光源的闪光时序藉由以下的公式1及公式2来做相位编码：

${\mathrm{\θ}}_n=\frac{2\mathrm{\π}}{x}\×(n-1)$ 公式1；

$t_n=\frac{{\mathrm{\θ}}_n}{\mathrm{\ωm}}=\frac{1}{2\mathrm{\π}{f}_m}\×\frac{2\mathrm{\π}(n-1)}{x}=\frac{t_m}{x}\×(n-1)$ 公式2；

所述的公式1揭示的θn为一通道编号n的相位角，x为闪烁光源的数量，公式2揭示的tn是通道编号n的延迟时间，tm为该信道的闪烁周期，且tm即该闪烁光源的频率fm的倒数。

3.一种脑波人机界面的控制方法，是利用闪光序列触发使用者的视觉诱发电位以进行后续控制；其特征在于：所述方法包含下述步骤：

a.显示多个闪烁光源供使用者观看，将不同频率以交错的方式排列使得邻近的闪烁光源为不同频率，且各闪烁光源的闪光时序是利用时间延迟来达成不同相位编码，每一闪烁光源为一具有固定频率、固定相位的亮暗周期变化的序列，其相位编码方式是将一正弦波数学式中的相位角等于角速度乘上时间常数，再经由变数变换以表示经由时间的延迟产生带有该相位角的正弦波函数；

b.量测使用者的视觉诱发脑波信号；

c.将所述的视觉诱发反应信号经过窄频带通滤波以得到正弦脑波信号，以闪光序列为基准对正弦脑波信号进行切割，切割后的正弦脑波信号利用平均技术处理以计算正弦脑波信号的频率成分与相位；

d.依据步骤c得到的脑波信号的频率成分与相位与一预先建立的样板资料库比对以辨识受诱发脑波信号与闪烁光源的主要频率与相位的相关性；及

e.执行相关于各闪烁光源相对应的操作控制。

4.根据权利要求3所述的脑波人机界面的控制方法，其特征在于：所述闪烁光源的闪光时序藉由以下的公式1及公式2来做相位编码：

${\mathrm{\θ}}_n=\frac{2\mathrm{\π}}{x}\×(n-1)$ 公式1；

$t_n=\frac{{\mathrm{\θ}}_n}{\mathrm{\ωm}}=\frac{1}{2\mathrm{\π}{f}_m}\×\frac{2\mathrm{\π}(n-1)}{x}=\frac{t_m}{x}\×(n-1)$ 公式2；

所述的公式1揭示的θn为一通道编号n的相位角，x为闪烁光源的数量，公式2揭示的tn是通道编号n的延迟时间，tm为该信道的闪烁周期，且tm即该闪烁光源的频率fm的倒数。

5.根据权利要求4所述的脑波人机界面的控制方法，其特征在于：所述每一个闪烁光源的闪光的亮暗周期可以自行调整。

6.一种脑波人机界面的控制***，是利用闪光序列触发使用者的视觉诱发电位以进行后续控制；其特征在于：所述***包含：

一闪光装置，显示多个闪烁光源供使用者观看，将不同频率以交错的方式排列使得邻近的闪烁光源为不同频率，且各闪烁光源的闪光时序是利用时间延迟来达成不同相位编码，每一闪烁光源为一具有固定频率、固定相位的亮暗周期变化的序列，其相位编码方式是将一正弦波数学式中的相位角等于角速度乘上时间常数，再经由变数变换以表示经由时间的延迟产生带有该相位角的正弦波函数；

一量测装置，量测使用者的视觉诱发脑波信号；

一计算装置，将所述的视觉诱发反应信号经过窄频带通滤波以得到正弦脑波信号，以闪光序列为基准对正弦脑波信号进行切割，切割后的正弦脑波信号利用平均技术处理以计算正弦脑波信号的频率成分与相位；

一辨识装置，依据计算装置得到的脑波信号的频率成分与相位与一预先建立的样板资料库比对以辨识受诱发脑波信号与闪烁光源的主要频率与相位的相关性；及

一控制装置，输出相关于各闪烁光源相对应的操作控制指令。

7.根据权利要求6所述的脑波人机界面的控制***，其特征在于：所述闪光装置对各闪烁光源的闪光时序是藉由以下的公式1及公式2来做相位编码：

${\mathrm{\θ}}_n=\frac{2\mathrm{\π}}{x}\×(n-1)$ 公式1；

$t_n=\frac{{\mathrm{\θ}}_n}{\mathrm{\ωm}}=\frac{1}{2\mathrm{\π}{f}_m}\×\frac{2\mathrm{\π}(n-1)}{x}=\frac{t_m}{x}\×(n-1)$ 公式2；

所述的公式1揭示的θn为一通道编号n的相位角，x为闪烁光源的数量，公式2揭示的tn是通道编号n的延迟时间，tm为该信道的闪烁周期，且tm即该闪烁光源的频率fm的倒数。

8.根据权利要求7所述的脑波人机界面的控制***，其特征在于：所述每一个闪烁光源的闪光的亮暗周期可以自行调整。

9.根据权利要求8所述的脑波人机界面的控制***，其特征在于：量测装置是使用电极量测使用者的大脑视觉区或前额的视觉诱发脑波信号。

Images