CN102521505B - 用于控制意图识别的脑电和眼电信号决策融合方法 - Google Patents

Abstract

本发明涉及一种用于控制意图识别的脑电和眼电信号决策融合方法。本发明方法首先提取预处理后EEG的相对小波包能量作为其运动想象特征；其次提取预处理后EOG的典型变量作为其运动想象特征；然后基于EEG的运动想象特征，应用所构建的状态分类器，获取状态分类结果；基于EOG的运动想象特征，应用所构建的运动想象多类分类器，获得运动想象分类结果；最后利用基于EEG信号获得的状态分类结果，及基于EOG获得的运动想象分类结果进行决策融合，获得运动想象所表征控制意图的识别结果。本发明能有效解决与控制意图无关的眼动对控制意图识别结果造成的干扰，可提高运动想象识别的准确率和控制意图信息的可靠性。

Description

用于控制意图识别的脑电和眼电信号决策融合方法

技术领域

本发明属于生物电信号处理领域，涉及脑电和眼电信号的处理方法，具体是一种用于控制意图识别的脑电和眼电信号决策融合方法。

背景技术

由于疾病、事故或衰老导致肢体运动功能严重缺失或衰退的重度残疾人，无法使用操纵杆、触摸屏等传统人机接口使用电动轮椅、假肢等康复辅具，迫切需要能读懂人的意图、可自然和谐地进行人机交互的智能型人机接口实现对康复辅具的控制，扩展活动范围，提高生活质量。康复辅具要能智能化地为人类服务，其人机接口***必须能准确感知使用者的多种控制意图。

考虑到该类严重运动功能障碍患者中的大多数人仍具有正常的大脑功能，从人体运动的源头出发，采集大脑运动想象思维所引发的脑电信号(electroencephalogram,EEG)进行分析识别，感知大脑对肢体动作的控制意图，再将其转换为康复辅具的控制指令，进而控制康复辅具帮助严重运动功能障碍患者实现自主的意愿，这种方法的可行性正受到相关研究机构及科研人员的广泛关注。尽管基于运动想象脑电信号对多类控制意图进行分类识别，能达到的准确率仅为50％左右，无法满足康复辅具等实际应用的需要，但就主感觉运动区头皮脑电电极记录的EEG进行分析识别，判断康复辅具使用者是处于通过运动想象表达控制意图的“控制”状态，还是处于其它“非控制”状态，其在线识别正确率可达到90％以上。

注意到残疾人在进行康复辅具操控动作的想象时，与实际进行康复辅具操控时一样，会引发眼睛产生与想象内容密切相关的动作。例如想象手控制操纵杆让轮椅驶向某个目标位置时，眼睛也会自然转而注视该目标位置。伴随运动思维的眼部动作所引发的眼电信号(electro-oculogram,EOG)，同样包含对识别控制意图有益的信息。而且眼电信号的产生机理清楚，与脑电信号相比具有较高的信噪比，眼电信号的多模式识别正确率可达到90％以上。但人的眼睛通常都会注视着某个方向，或是随机转动。在人没有进行运动想象思维时，同样有可能产生与运动想象过程中一样的眼部动作。若仅基于眼电信号进行运动想象多模式识别，则与运动意识无关的眼部动作也可能导致某种运动想象模式识别结果的产生，从而造成控制意图的错误识别。

综上所述，基于同一运动想象过程引发的EEG和EOG信号从不同方面反映了人的控制意图，但基于单一EEG或EOG进行运动想象多模式识别，获知辅具使用者控制意图的方法存在识别正确率低，可靠性差的问题。

发明内容

本发明针对上述问题，基于同一运动想象过程引发的EEG和EOG信号，利用信息融合技术，进行运动想象多模式识别，提高其识别的准确性和鲁棒性，从而使康复辅具能够更加准确、可靠地感知使用者的多种控制意图，为康复辅具智能化地服务残疾人提供一种新型的可选方式。

本发明方法包括五个步骤：(1)提取预处理后EEG的相对小波包能量作为其运动想象特征；(2)提取预处理后EOG的典型变量作为其运动想象特征；(3)基于EEG的运动想象特征，应用所构建的“控制”/“非控制”状态分类器，获取状态分类结果；(4)基于EOG的运动想象特征，应用所构建的运动想象多类分类器，获得运动想象分类结果；(5)利用基于EEG信号获得的“控制”/“非控制”状态分类结果，及基于EOG获得的运动想象分类结果进行决策融合，获得运动想象所表征控制意图的识别结果。

下面对上述五个步骤逐一介绍。

步骤1.提取预处理后EEG的相对小波包能量作为其运动想象特征。

用小波包变换对预处理后的脑电信号进行分解与重构，得到各种节律波所对应的相对小波包能量，并联接为特征向量。

所采集的各路EEG是定长的一维时间序列，记为{x(i),i＝1,2…H}，连续取l个样点X_j＝[x(j),x(j+1),…,x(j+l-1)]，分解成Q层，则整个信号空间被分成了2^Q个子空间。第n个子空间的子信号可由重构，其中为小波系数，{ψ_j,k(t)}为小波函数。分别定义每个子空间的相对小波包能量P_n

P_n＝E_n/E  (1)

其中为在每个子空间的重构信号的能量E_n,代表整个信号的能量。从计算原理可以看出，相对小波包能量P_n是信号能量在各个子空间的概率分布，与信号的量级无关，可作为模式识别的有效特征。

分别计算所采集每一路EEG的各子空间对应的相对小波包能量，并联接为特征向量。再用各路EEG的相对小波包能量特征向量，组成待识别特征矩阵T_EEG，为F×E矩阵，其中F＝2^Q为各路EEG被分解成的子空间数，E为所采集的EEG路数。

步骤2.提取预处理后EOG的典型变量作为其运动想象特征。

应用多元统计分析中的典型相关分析(canonical correlation analysis,CCA)方法，提取EOG的典型变量作为眼电信号的特征变量。

(i)选择各类运动想象引发的EOG样本构建γ个样本集其中i＝1,...,H，i为采样点数，j＝1,...,r，r为所选取的样本个数，f为样本集类别标号，γ为运动想象的类别数。应用单次采集获取的待识别EOG，构建与样本信号集结构一致的待识别信号集N。

(ii)应用典型相关算法提取待识别信号集与各模式样本信号集之间的典型变量，选择相关系数最大的一组典型变量中，待识别信号集N所对应的典型变量作为眼电的特征变量记作 r为所选取的样本个数。

求取待识别信号集N和某类别样本信号集M_f之间典型变量的关键是寻找两组基向量和使新变量u,v之间具有最大的相关性，称这种相关为典型相关，这组新变量即为典型变量。典型变量可表示为(2)式。

$\left\{\begin{array}{c}u=w_{n1}{n}_1+w_{n2}{n}_2+...+w_{\mathrm{nr}}{n}_r=w_n^{T}N\\ v=w_{m1}{m}_1+w_{m2}{m}_2+...+w_{\mathrm{mr}}{m}_r=w_m^T{M}_f\end{array}\right.---\left(2\right)$

基向量一般可以通过求解(3)式所示最大值问题获得。

$\begin{array}{c}\underset{w_n,w_m}{\max }\mathrm{\ρ}(u,v)=\underset{w_n,w_m}{\max }\frac{\mathrm{cov}[u,v]}{\sqrt{\mathrm{var}\left[u\right]}\mathrm{var}\left[v\right]}=\underset{w_n,w_m}{\max }\frac{\mathrm{cov}[w_n^{T}N,w_m^T{M}_f]}{\sqrt{\mathrm{var}\left[w_n^{T}N\right]}\mathrm{var}\left[w_m^T{M}_f\right]}\\ =\underset{w_n,w_m}{\max }\frac{w_n^T{C}_{\mathrm{nm}}{w}_m}{\sqrt{\left(w_n^T{C}_{\mathrm{nm}}{w}_n\right)}\left(w_m^T{C}_{\mathrm{mm}}{w}_m\right)}\end{array}---\left(3\right)$

其中，ρ表示典型变量间的相关系数，C_nn＝E[NN^T]和C_mm＝E[M_fM_f ^T]表示自协方差矩阵，C_nm＝E[NM_f ^T]和C_mn＝E[M_fN^T]表示互协方差矩阵，且满足

分别计算所采集各路EOG的典型变量组成待识别特征矩阵T_EOG，为F×E矩阵，其中F＝r为集合所选取的样本数，E为所采集EOG的路数。

步骤3.基于所提取的EEG运动想象特征，应用所构建的“控制”/“非控制”状态分类器，获取状态分类结果。

(i)“控制”/“非控制”状态分类器的构建

“控制”/“非控制”状态分类器基于正则化logistic分类方法(regularized logisticdiscrimination，RLD)构建，具体构建方法如下：

将表达控制意图的各类运动想象EEG训练样本均作为“控制”状态训练样本。将非控制意图表达的放松状态EEG训练样本均作为“非控制”状态训练样本。依据步骤1所描述方法，计算获取各已知类别训练样本的相对小波包能量特征矩阵T_EEG。

设G为分组指示变量，K为所需识别的类别数，在此K为2，则有G∈g＝{1,2}。已知类别的n个训练样本特征为(I₁,g₁),...,(I_n,g_n)，分类问题即为构造分类规则

设在T_EEG＝I时，G的条件概率分布对数优势比是I的线性函数，如式(4)所示。

$f_{\mathrm{\&theta;}}\left(I\right)=\ln \left\{\frac{p_{G|T_{\mathrm{EEG}}}\left(k\right|I)}{p_{G|T_{\mathrm{EEG}}}\left(K\right|I)}\right\}={\mathrm{\&alpha;}}_k+<W_k,I>,k=1,...,K-1,\mathrm{\&theta;}:=(W,\mathrm{\&alpha;})---\left(4\right)$

则预测函数为 $\left\{\begin{array}{c}{p}_{G|T_{\mathrm{EEG}}}\left(k\right|I)=\frac{e^{f_{\mathrm{\&theta;}}\left(I\right)}}{1+{\mathrm{\&Sigma;}}_{k=1}^{K-1}{e}^{f_{\mathrm{\&theta;}}\left(I\right)}},k=1,...,K-1\\ p_{G|T_{\mathrm{EEG}}}\left(K\right|I)=\frac{1}{1+{\mathrm{\&Sigma;}}_{k=1}^{K-1}{e}^{f_{\mathrm{\&theta;}}\left(I\right)}}\end{array}\right.---\left(5\right)$

分类规则为 ${\hat{G}}_{\mathrm{EEG}}=\underset{G\&Element;g}{\arg \max }(p_{G|T_{\mathrm{EEG}}}\left(k\right|I),p_{G|T_{\mathrm{EEG}}}\left(K\right|I))---\left(6\right)$

“控制”/“非控制”状态分类器的logistic回归模型参数(W,α)的估计值，可通过条件最大似然估计得到，即由最大化(7)式的值得到。

$L({\mathrm{\&alpha;}}_1,...,{\mathrm{\&alpha;}}_{K-1},W_1,...,W_{K-1})=\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}\ln p_{G|T_{\mathrm{EEG}}}\left(g_i\right|I_i)---\left(7\right)$

通过增加惩罚项，使得到的分类模型正则化，则(7)式变换为

$\begin{array}{c}L({\mathrm{\&alpha;}}_1,...,{\mathrm{\&alpha;}}_{K-1},W_1,...,W_{K-1})-\mathrm{\&lambda;}(\underset{e=1}{\overset{E}{\mathrm{\&Sigma;}}}{\left|\right|W(:,e)\left|\right|}_2+\underset{t=1}{\overset{T}{\mathrm{\&Sigma;}}}{\left|\right|W(t,:)\left|\right|}_2)\\ =\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}\ln p_{G|T_{\mathrm{EEG}}}\left(g_i\right|I_i)-\mathrm{\&lambda;}(\underset{e=1}{\overset{E}{\mathrm{\&Sigma;}}}{\left|\right|W(:,e)\left|\right|}_2+\underset{t=1}{\overset{T}{\mathrm{\&Sigma;}}}{\left|\right|W(t,:)\left|\right|}_2)\end{array}---\left(8\right)$

式中W(:,e)表示权矩阵W的第e列向量，W(t,:)表示权矩阵W的第t行向量，λ为非负常数。

通过最大化(8)式的值，完成对(4)式所示logistic回归模型参数的估计，进而得到(5)式、(6)式所构成的“控制”/“非控制”状态分类器模型。

由于在使(8)式的值最大化的过程中，可使得所得到参数(W,α)的部分估计值为零，从而实现对特征的自动选择。

(ii)获取“控制”/“非控制”状态分类结果

将待识别EEG信号的特征矩阵T_EEG，输入所构建的“控制”/“非控制”状态分类器，即可得到状态分类的结果。

步骤4.基于所提取的EOG运动想象特征，应用所构建的运动想象多类分类器，获得运动想象分类结果。

(i)运动想象多类分类器的构建

运动想象多类分类器也是基于正则化logistic分类方法(regularized logisticdiscrimination，RLD)构建，具体构建方法如下：

将表达控制意图的各类运动想象EOG作为训练样本。依据步骤(2)所描述方法，计算获取各已知类别训练样本的典型变量特征矩阵T_EOG。

G为分组指示变量，K为需识别的运动想象类别数，在此K＝γ，则有G∈g＝{1,...,K}。已知类别的n个训练样本特征为(J₁,g₁),...,(J_n,g_n)，分类问题即为构造分类规则

设在T_EOG＝J时，G的条件概率分布对数优势比是J的线性函数，如式(9)所示。

$f_{\mathrm{\&theta;}}\left(J\right)=\ln \left\{\frac{p_{G|T_{\mathrm{EEG}}}\left(k\right|J)}{p_{G|T_{\mathrm{EEG}}}\left(K\right|J)}\right\}={\mathrm{\&alpha;}}_k+<W_k,J>,k=1,...,K-1,\mathrm{\&theta;}:=(W,\mathrm{\&alpha;})---\left(9\right)$

则预测函数为 $\left\{\begin{array}{c}{p}_{G|T_{\mathrm{EOG}}}\left(k\right|J)=\frac{e^{f_{\mathrm{\&theta;}}\left(J\right)}}{1+{\mathrm{\&Sigma;}}_{k=1}^{K-1}{e}^{f_{\mathrm{\&theta;}}\left(J\right)}},k=1,...,K-1\\ p_{G|T_{\mathrm{EOG}}}\left(K\right|J)=\frac{1}{1+{\mathrm{\&Sigma;}}_{k=1}^{K-1}{e}^{f_{\mathrm{\&theta;}}\left(J\right)}}\end{array}\right.---\left(10\right)$

分类规则为 ${\hat{G}}_{\mathrm{EOG}}=\underset{G\&Element;g}{\arg \max }(p_{G|T_{\mathrm{EOG}}}\left(k\right|J),p_{G|T_{\mathrm{EOG}}}\left(K\right|J))---\left(11\right)$

运动想象多类分类器的logistic回归模型参数(W,α)的估计值，可通过条件最大似然估计得到，即最大化(12)式的值得到参数的估计值。

$L({\mathrm{\&alpha;}}_1,...,{\mathrm{\&alpha;}}_{K-1},W_1,...,W_{K-1})=\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}\ln p_{G|T_{\mathrm{EOG}}}\left(g_i\right|J_i)---\left(12\right)$

通过增加惩罚项，使得到的分类模型正则化，则(12)式变换为(13)式。

$\begin{array}{c}L({\mathrm{\&alpha;}}_1,...,{\mathrm{\&alpha;}}_{K-1},W_1,...,W_{K-1})-\mathrm{\&delta;}(\underset{e=1}{\overset{E}{\mathrm{\&Sigma;}}}{\left|\right|W(:,e)\left|\right|}_2+\underset{t=1}{\overset{T}{\mathrm{\&Sigma;}}}{\left|\right|W(t,:)\left|\right|}_2)\\ =\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}\ln p_{G|T_{\mathrm{EEG}}}\left(g_i\right|J_i)-\mathrm{\&delta;}(\underset{e=1}{\overset{E}{\mathrm{\&Sigma;}}}{\left|\right|W(:,e)\left|\right|}_2+\underset{t=1}{\overset{T}{\mathrm{\&Sigma;}}}{\left|\right|W(t,:)\left|\right|}_2)\end{array}---\left(13\right)$

(13)式中W(:,e)表示权矩阵W的第e列向量，W(t,:)表示权矩阵W的第t行向量，δ为非负常数。

通过最大化(13)式的值，完成对(9)式所示logistic回归模型参数的估计，进而得到(10)式、(11)式所构成的运动想象多类分类器模型。由于在使(13)式的值最大化的过程中，可使得所得到参数(W,α)的部分估计值为零，从而实现对眼电特征的自动选择。

(ii)获取运动想象模式的分类结果

将待识别EOG信号的特征矩阵T_EOG输入所构建的运动想象多类分类器，得到运动想象模式分类结果。

步骤5.应用基于EEG信号获得的“控制”/“非控制”状态分类结果，及基于EOG获得的运动想象分类结果进行决策融合，获得运动想象所表征控制意图的识别结果。

应用由步骤(3)，即基于EEG所获得的“控制”/“非控制”状态分类结果，对由步骤(4)，即基于EOG所获得的运动想象分类结果进行有效性判别。若状态分类结果为“控制”状态，则根据由实际辅具控制要求制定的各种运动想象模式与控制意图的映射关系，将运动想象分类结果转换为控制意图输出；若状态分类结果为“非控制”状态，则认为无控制意图，所获得的运动想象分类结果无效。应用本发明提出的上述决策融合方法，可解决与控制意图无关的眼动对控制意图识别结果造成的干扰，提高***的识别精度及鲁棒性。

本发明所提出的方法从多传感器信息融合的角度，采集表达控制意图的运动想象思维活动所引发的EEG和EOG信号，使体现人体运动控制意愿的内在EEG和反映控制动作想象行为的外在EOG相结合，采用先分类后融合的方法，在决策层使两者的信息得到一致的表达并给出识别结果。所提出方法能避免仅基于单一EEG或单一EOG控制信息人机接口存在的一些难点问题，能有效解决与控制意图无关的眼动对控制意图识别结果造成的干扰，可提高运动想象识别的准确率和控制信息的可靠性。在一定程度上更加准确、可靠地感知使用者的控制意图，帮助使用者自主有效地操纵康复辅助器具，完成部分肢体替代运动，以此改善老年人和残疾人的生活质量和社会参与能力。

附图说明

图1为本发明中脑电和眼电信号的决策融合流程图。

具体实施方式

以下根据附图对本发明的方法作进一步描述。

一种用于康复辅具使用者控制意图识别的脑电和眼电信号决策融合方法，是将脑电拾电传感器中的头皮拾电电极，放置在国际脑电图学会标准10-20导联***所确定，头顶部与大脑感觉运动区所对应的C₃、C_Z及C₄位置，采集康复辅具使用者的三路脑电信号；将一个眼电拾电传感器的拾电电极放置在辅具使用者左眼外眼角外侧，采集一路水平眼电信号；参考电极放置在左耳耳垂位置，地电极放置在右耳耳垂位置。采用经传感获取以及数据分段、信号消噪预处理环节后的三路脑电信号EEG_C3、EEG_Cz、EEG_C4，及一路水平眼电信号EOG_H作为信息源，应用本发明所提出的方法进行辅具使用者控制意图的识别。

本发明方法包括五个步骤：⑴提取预处理后EEG的相对小波包能量作为其运动想象特征，并构造相应的特征矩阵；⑵提取预处理后EOG的典型变量作为其运动想象特征，并构造相应的特征矩阵；⑶基于EEG的运动想象特征，应用所构建的“控制”/“非控制”状态分类器，获取状态分类结果；⑷基于EOG的运动想象特征，应用所构建的运动想象多类分类器，获得运动想象分类结果；⑸利用基于EEG信号获得的“控制”/“非控制”状态分类结果，及基于EOG获得的运动想象分类结果进行决策融合，获得运动想象所表征控制意图的识别结果。

步骤1.提取预处理后EEG_C3、EEG_Cz、EEG_C4三路脑电信号的相对小波包能量作为脑电信号的运动想象特征，并构造待识别特征矩阵T_EEG。

用小波包变换对消噪预处理后的脑电信号进行分解与重构，得到各种节律波所对应的相对小波包能量，并联接为特征向量。

所采集的各导EEG均是定长的一维时间序列，记为{x(i),i＝1,2…H}，连续取l个样点X_j＝[x(j),x(j+1),…,x(j+l-1)]，分解成Q＝4层，则整个信号空间被分成了2^Q＝16个子空间。第n个子空间的子信号可由重构，其中为小波系数，{ψ_j,k(t)}为小波函数。分别定义每个子空间的相对小波包能量P_n

P_n＝E_n/E  (14)

其中为在每个子空间的重构信号的能量E_n,代表整个信号的能量。

分别计算EEG_C3、EEG_Cz、EEG_C4各子空间对应的相对小波包能量，并联接为特征向量T_C3、T_Cz、T_C4。再用各路EEG的相对小波包能量特征向量组成特征矩阵 $T_{\mathrm{EEG}}=\left[\begin{array}{c}{T}_{C3}\\ T_{\mathrm{Cz}}\\ T_{C4}\end{array}\right],$ 为F×E矩阵，在此F＝2^Q＝16，E＝3。

步骤2.提取预处理后眼电信号EOG_H的典型变量作为眼电信号的运动想象特征，并构造待识别特征矩阵T_EOG。

(i)选择各类运动想象引发EOG_H的样本构建样本集其中i＝1,...,H，i为采样点数，j＝1,...,r，r所选取样本个数，在此取r＝20，f为样本集类别标号，γ为运动想象类别数。应用单次采集获取的EOG_H(i)，其中i＝1,...,H，构建与样本信号集结构一致的待识别信号集N。

(ii)应用典型相关算法提取待识别信号集与各模式样本信号集之间的典型变量，选择相关系数最大的一组典型变量中，与待识别信号集N所对应的典型变量作为眼电的特征变量 特征矩阵 为F×E矩阵，在此F＝r＝20，E＝1。

求取待识别信号集N和某类别样本信号集M_f之间典型变量的关键是，寻找两组基向量和使新变量u,v之间具有最大的相关性，称这种相关为典型相关，这组新变量即为典型变量。典型变量可表示为(15)式。

$\left\{\begin{array}{c}u=w_{n1}{n}_1+w_{n2}{n}_2+...+w_{\mathrm{nr}}{n}_r=w_n^{T}N\\ v=w_{m1}{m}_1+w_{m2}{m}_2+...+w_{\mathrm{mr}}{m}_r=w_m^T{M}_f\end{array}\right.---\left(15\right)$

基向量一般可以通过求解(16)式所示最大值问题获得。

$\begin{array}{c}\underset{w_n,w_m}{\max }\mathrm{\&rho;}(u,v)=\underset{w_n,w_m}{\max }\frac{\mathrm{cov}[u,v]}{\sqrt{\mathrm{var}\left[u\right]}\mathrm{var}\left[v\right]}=\underset{w_n,w_m}{\max }\frac{\mathrm{cov}[w_n^{T}N,w_m^T{M}_f]}{\sqrt{\mathrm{var}\left[w_n^{T}N\right]}\mathrm{var}\left[w_m^T{M}_f\right]}\\ =\underset{w_n,w_m}{\max }\frac{w_n^T{C}_{\mathrm{nm}}{w}_m}{\sqrt{\left(w_n^T{C}_{\mathrm{nm}}{w}_n\right)}\left(w_m^T{C}_{\mathrm{mm}}{w}_m\right)}\end{array}---\left(16\right)$

其中，ρ表示典型变量间的相关系数，C_nn＝E[NN^T]和C_mm＝E[M_fM_f ^T]表示自协方差矩阵，C_nm＝E[NM_f ^T]和C_mn＝E[M_fN^T]表示互协方差矩阵，且满足

步骤3.基于所提取EEG的运动想象特征，应用所构建的“控制”/“非控制”状态分类器，获取状态分类结果。

(i)构建基于RLD的“控制”/“非控制”状态分类器

将表达控制意图的各类运动想象EEG训练样本均作为“控制”状态样本。每个训练样本包括EEG_C3、EEG_Cz、EEG_C4三路脑电信号。将非控制意图表达的放松状态EEG样本均作为“非控制”状态样本。依照步骤1所述方法，计算获取各训练样本的相对小波包能量特征矩阵 $T_{\mathrm{EEG}}=\left[\begin{array}{c}{T}_{C3}\\ T_{\mathrm{Cz}}\\ T_{C4}\end{array}\right].$

设G为分组指示变量，K为所需识别的类别数，在此K为2，则有G∈g＝{1,2}。已知类别的n个训练样本特征为(I₁,g₁),...,(I_n,g_n)，分类问题即为构造分类规则在此F＝16,E＝3。

设在T_EEG＝I时，G的条件概率分布对数优势比是I的线性函数，如式(17)所示。

$f_{\mathrm{\&theta;}}\left(I\right)=\ln \left\{\frac{p_{G|T_{\mathrm{EEG}}}\left(k\right|I)}{p_{G|T_{\mathrm{EEG}}}\left(K\right|I)}\right\}={\mathrm{\&alpha;}}_k+<W_k,I>,k=1,...,K-1,\mathrm{\&theta;}:=(W,\mathrm{\&alpha;})---\left(17\right)$

则预测函数为 $\left\{\begin{array}{c}{p}_{G|T_{\mathrm{EEG}}}\left(k\right|I)=\frac{e^{f_{\mathrm{\&theta;}}\left(I\right)}}{1+{\mathrm{\&Sigma;}}_{k=1}^{K-1}{e}^{f_{\mathrm{\&theta;}}\left(I\right)}},k=1,...,K-1\\ p_{G|T_{\mathrm{EEG}}}\left(K\right|I)=\frac{1}{1+{\mathrm{\&Sigma;}}_{k=1}^{K-1}{e}^{f_{\mathrm{\&theta;}}\left(I\right)}}\end{array}\right.---\left(18\right)$

分类规则为 ${\hat{G}}_{\mathrm{EEG}}=\underset{G\&Element;g}{\arg \max }(p_{G|T_{\mathrm{EEG}}}\left(k\right|I),p_{G|T_{\mathrm{EEG}}}\left(K\right|I))---\left(19\right)$

“控制”/“非控制”状态分类器的logistic回归模型参数(W,α)的估计值，可通过条件最大似然估计得到，即最大化(20)式的值得到参数的估计值。

$L({\mathrm{\&alpha;}}_1,...,{\mathrm{\&alpha;}}_{K-1},W_1,...,W_{K-1})=\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}\ln p_{G|T_{\mathrm{EEG}}}\left(g_i\right|I_i)---\left(20\right)$

通过增加惩罚项，使得到的分类模型正则化，则(20)式变换为

$\begin{array}{c}L({\mathrm{\&alpha;}}_1,...,{\mathrm{\&alpha;}}_{K-1},W_1,...,W_{K-1})-\mathrm{\&lambda;}(\underset{e=1}{\overset{E}{\mathrm{\&Sigma;}}}{\left|\right|W(:,e)\left|\right|}_2+\underset{t=1}{\overset{T}{\mathrm{\&Sigma;}}}{\left|\right|W(t,:)\left|\right|}_2)\\ =\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}\ln p_{G|T_{\mathrm{EEG}}}\left(g_i\right|I_i)-\mathrm{\&lambda;}(\underset{e=1}{\overset{E}{\mathrm{\&Sigma;}}}{\left|\right|W(:,e)\left|\right|}_2+\underset{t=1}{\overset{T}{\mathrm{\&Sigma;}}}{\left|\right|W(t,:)\left|\right|}_2)\end{array}---\left(21\right)$

式中W(:,e)表示权矩阵W的第e列向量，W(t,:)表示权矩阵W的第t行向量，λ为非负常数。

通过最大化(21)式的值，完成对(4)式所示logistic回归模型参数的估计，进而得到(18)式、(19)式所构成的“控制”/“非控制”状态分类器模型。由于在使(21)式的值最大化的过程中，可使得所得到参数(W,α)的部分估计值为零，从而实现对特征的自动选择。

(ii)获取“控制”/“非控制”状态分类结果

将待识别EEG信号的特征矩阵T_EEG，输入所构建的“控制”/“非控制”状态分类器，得到“控制”/“非控制”状态分类结果。

步骤4.基于所提取的EOG的运动想象特征，应用所构建的运动想象多类分类器，获得运动想象分类结果。

(i)构建基于RLD的运动想象多类分类器

将表达控制意图的各类运动想象EOG_H作为训练样本。依据步骤(2)所述方法计算获得各已知类别训练样本的典型变量特征矩阵

设G为分组指示变量，K为所定义的运动想象类别数，在此K＝γ，则有则有G∈g＝{1,...,K}。已知类别的n个训练样本特征为(J₁,g₁),...,(J_n,g_n)，分类问题即为构造分类规则在此F＝20,E＝1。

设在T_EOG＝J时，G的条件概率分布对数优势比是J的线性函数，如式(22)所示。

$f_{\mathrm{\&theta;}}\left(J\right)=\ln \left\{\frac{p_{G|T_{\mathrm{EEG}}}\left(k\right|J)}{p_{G|T_{\mathrm{EEG}}}\left(K\right|J)}\right\}={\mathrm{\&alpha;}}_k+<W_k,J>,k=1,...,K-1,\mathrm{\&theta;}:=(W,\mathrm{\&alpha;})---\left(22\right)$

则预测函数为 $\left\{\begin{array}{c}{p}_{G|T_{\mathrm{EOG}}}\left(k\right|J)=\frac{e^{f_{\mathrm{\&theta;}}\left(J\right)}}{1+{\mathrm{\&Sigma;}}_{k=1}^{K-1}{e}^{f_{\mathrm{\&theta;}}\left(J\right)}},k=1,...,K-1\\ p_{G|T_{\mathrm{EOG}}}\left(K\right|J)=\frac{1}{1+{\mathrm{\&Sigma;}}_{k=1}^{K-1}{e}^{f_{\mathrm{\&theta;}}\left(J\right)}}\end{array}\right.---\left(23\right)$

分类规则为 ${\hat{G}}_{\mathrm{EOG}}=\underset{G\&Element;g}{\arg \max }(p_{G|T_{\mathrm{EOG}}}\left(k\right|J),p_{G|T_{\mathrm{EOG}}}\left(K\right|J))---\left(24\right)$

运动想象多类分类器的logistic回归模型参数(W,α)的估计值，可通过条件最大似然估计得到，即最大化(25)式的值得到参数的估计值。

$L({\mathrm{\&alpha;}}_1,...,{\mathrm{\&alpha;}}_{K-1},W_1,...,W_{K-1})=\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}\ln p_{G|T_{\mathrm{EOG}}}\left(g_i\right|J_i)---\left(25\right)$

通过增加惩罚项，使得到的分类模型正则化，则(25)式变换为(26)式。

$\begin{array}{c}L({\mathrm{\&alpha;}}_1,...,{\mathrm{\&alpha;}}_{K-1},W_1,...,W_{K-1})-\mathrm{\&delta;}(\underset{e=1}{\overset{E}{\mathrm{\&Sigma;}}}{\left|\right|W(:,e)\left|\right|}_2+\underset{t=1}{\overset{T}{\mathrm{\&Sigma;}}}{\left|\right|W(t,:)\left|\right|}_2)\\ =\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}\ln p_{G|T_{\mathrm{EEG}}}\left(g_i\right|J_i)-\mathrm{\&delta;}(\underset{e=1}{\overset{E}{\mathrm{\&Sigma;}}}{\left|\right|W(:,e)\left|\right|}_2+\underset{t=1}{\overset{T}{\mathrm{\&Sigma;}}}{\left|\right|W(t,:)\left|\right|}_2)\end{array}---\left(26\right)$

(26)式中W(:,e)表示权矩阵W的第e列向量，W(t,:)表示权矩阵W的第t行向量，δ为非负常数。

通过最大化(26)式的值，完成对(22)式所示logistic回归模型参数的估计，进而得到(23)式、(24)式所构成的运动想象多类分类器模型。由于在使(26)式的值最大化的过程中，可使得所得到参数(W,α)的部分估计值为零，从而实现对眼电特征的自动选择。

(ii)获取运动想象模式的分类结果

将待识别EOG信号的特征矩阵T_EOG，输入所构建的运动想象多类分类器，得到运动想象分类结果。

步骤5.利用基于EEG信号获得的“控制”/“非控制”状态分类结果，以及基于EOG获得的运动想象分类结果进行决策融合，获得运动想象所表征控制意图的识别结果。

步骤(5)的流程如图1所示。

图1中决策融合模块采用的策略可描述为用“控制”/“非控制”状态的分类结果，对动想象分类结果进行有效性判别，若状态分类结果为“控制”状态，则根据由实际辅具控制要求制定的各种运动想象模式与控制意图的映射关系，将运动想象分类结果转换为控制意图输出，否则认为无控制意图，基于眼电信号获得的运动想象分类结果无效。本发明应用上述决策融合方法，解决与控制意图无关的眼动对识别结果造成的干扰，提高***的识别精度及鲁棒性。

Claims (1)

1.用于控制意图识别的脑电和眼电信号决策融合方法，其特征在于该方法包括如下步骤：

步骤1.提取预处理后EEG的相对小波包能量作为其运动想象特征；

用小波包变换对预处理后的脑电信号进行分解与重构，得到各种节律波所对应的相对小波包能量，并联接为特征向量；

所采集的各路EEG是定长的一维时间序列，记为{x(i),i＝1,2…H}，连续取l个样点X_j＝[x(j),x(j+1),…,x(j+l-1)]，分解成Q层，则整个信号空间被分成了2^Q个子空间；第n个子空间的子信号可由重构，其中为小波系数，{ψ_j,k(t)}为小波函数；分别定义每个子空间的相对小波包能量P_n

P_n＝E_n/E  (1)

其中为在每个子空间的重构信号的能量E_n,代表整个信号的能量；从计算原理可以看出，相对小波包能量P_n是信号能量在各个子空间的概率分布，与信号的量级无关，可作为模式识别的有效特征；

分别计算所采集每一路EEG的各子空间对应的相对小波包能量，并联接为特征向量；再用各路EEG的相对小波包能量特征向量，组成待识别特征矩阵T_EEG，为F×E矩阵，其中F＝2^Q为各路EEG被分解成的子空间数，E为所采集的EEG路数；

步骤2.提取预处理后EOG的典型变量作为其运动想象特征；

应用多元统计分析中的典型相关分析方法，提取EOG的典型变量作为眼电信号的特征变量；

(i)选择各类运动想象引发的EOG样本构建γ个样本集其中i＝1,...,H，i为采样点数，j＝1,...,r，r为所选取的样本个数，f为样本集类别标号，γ为运动想象的类别数；应用单次采集获取的待识别EOG，构建与样本信号集结构一致的待识别信号集N；

(ii)应用典型相关算法提取待识别信号集与各模式样本信号集之间的典型变量，选择相关系数最大的一组典型变量中，待识别信号集N所对应的典型变量作为眼电的特征变量记作 r为所选取的样本个数；

求取待识别信号集N和某类别样本信号集M_f之间典型变量的关键是寻找两组基向量和使新变量u,v之间具有最大的相关性，称这种相关为典型相关，这组新变量即为典型变量；典型变量可表示为(2)式，

$\left\{\begin{array}{c}u=w_{n1}{n}_1+w_{n2}{n}_2+...+w_{\mathrm{nr}}{n}_r=w_n^{T}N\\ v=w_{m1}{m}_1+w_{m2}{m}_2+...+w_{\mathrm{mr}}{m}_r=w_m^T{M}_f\end{array}\right.---\left(2\right)$

基向量一般可以通过求解(3)式所示最大值问题获得；

$\begin{array}{c}\underset{w_n,w_m}{\max }\mathrm{\&rho;}(u,v)=\underset{w_n,w_m}{\max }\frac{\mathrm{cov}[u,v]}{\sqrt{\mathrm{var}\left[u\right]}\mathrm{var}\left[v\right]}=\underset{w_n,w_m}{\max }\frac{\mathrm{cov}[w_n^{T}N,w_m^T{M}_f]}{\sqrt{\mathrm{var}\left[w_n^{T}N\right]}\mathrm{var}\left[w_m^T{M}_f\right]}\\ =\underset{w_n,w_m}{\max }\frac{w_n^T{C}_{\mathrm{nm}}{w}_m}{\sqrt{\left(w_n^T{C}_{\mathrm{nm}}{w}_n\right)}\left(w_m^T{C}_{\mathrm{mm}}{w}_m\right)}\end{array}---\left(3\right)$

其中，ρ表示典型变量间的相关系数，C_nn＝E[NN^T]和C_mm＝E[M_fM_f ^T]表示自协方差矩阵，C_nm＝E[NM_f ^T]和C_mn＝E[M_fN^T]表示互协方差矩阵，且满足 $C_{\mathrm{mn}}=C_{\mathrm{nm}}^T;$

分别计算所采集各路EOG的典型变量组成待识别特征矩阵T_EOG，为F×E矩阵，其中F＝r为集合所选取的样本数，E为所采集EOG的路数；

步骤3.基于所提取的EEG运动想象特征，应用所构建的“控制”/“非控制”状态分类器，获取状态分类结果；

(i)“控制”/“非控制”状态分类器的构建；

“控制”/“非控制”状态分类器基于正则化logistic分类方法构建，具体构建方法如下：

将表达控制意图的各类运动想象EEG训练样本均作为“控制”状态训练样本；将非控制意图表达的放松状态EEG训练样本均作为“非控制”状态训练样本；依据步骤1所描述方法，计算获取各已知类别训练样本的相对小波包能量特征矩阵T_EEG；

设G为分组指示变量，K为所需识别的类别数，在此K为2，则有G∈g＝{1,2}；已知类别的n个训练样本特征为(I₁,g₁),...,(I_n,g_n)，分类问题即为构造分类规则

设在T_EEG＝I时，G的条件概率分布对数优势比是I的线性函数，如式(4)所示；

$f_{\mathrm{\&theta;}}\left(I\right)=\ln \left\{\frac{p_{G|T_{\mathrm{EEG}}}\left(k\right|I)}{p_{G|T_{\mathrm{EEG}}}\left(K\right|I)}\right\}={\mathrm{\&alpha;}}_k+<W_k,I>,k=1,...,K-1,\mathrm{\&theta;}:=(W,\mathrm{\&alpha;})---\left(4\right)$

则预测函数为 $\left\{\begin{array}{c}{p}_{G|T_{\mathrm{EEG}}}\left(k\right|I)=\frac{e^{f_{\mathrm{\&theta;}}\left(I\right)}}{1+{\mathrm{\&Sigma;}}_{k=1}^{K-1}{e}^{f_{\mathrm{\&theta;}}\left(I\right)}},k=1,...,K-1\\ p_{G|T_{\mathrm{EEG}}}\left(K\right|I)=\frac{1}{1+{\mathrm{\&Sigma;}}_{k=1}^{K-1}{e}^{f_{\mathrm{\&theta;}}\left(I\right)}}\end{array}\right.---\left(5\right)$

分类规则为 ${\hat{G}}_{\mathrm{EEG}}=\underset{G\&Element;g}{\arg \max }(p_{G|T_{\mathrm{EEG}}}\left(k\right|I),p_{G|T_{\mathrm{EEG}}}\left(K\right|I))---\left(6\right)$

“控制”/“非控制”状态分类器的logistic回归模型参数(W,α)的估计值，可通过条件最大似然估计得到，即由最大化(7)式的值得到；

$L({\mathrm{\&alpha;}}_1,...,{\mathrm{\&alpha;}}_{K-1},W_1,...,W_{K-1})=\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}\ln p_{G|T_{\mathrm{EEG}}}\left(g_i\right|I_i)---\left(7\right)$

通过增加惩罚项，使得到的分类模型正则化，则(7)式变换为

$\begin{array}{c}L({\mathrm{\&alpha;}}_1,...,{\mathrm{\&alpha;}}_{K-1},W_1,...,W_{K-1})-\mathrm{\&lambda;}(\underset{e=1}{\overset{E}{\mathrm{\&Sigma;}}}{\left|\right|W(:,e)\left|\right|}_2+\underset{t=1}{\overset{T}{\mathrm{\&Sigma;}}}{\left|\right|W(t,:)\left|\right|}_2)\\ =\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}\ln p_{G|T_{\mathrm{EEG}}}\left(g_i\right|I_i)-\mathrm{\&lambda;}(\underset{e=1}{\overset{E}{\mathrm{\&Sigma;}}}{\left|\right|W(:,e)\left|\right|}_2+\underset{t=1}{\overset{T}{\mathrm{\&Sigma;}}}{\left|\right|W(t,:)\left|\right|}_2)\end{array}---\left(8\right)$

式中W(:,e)表示权矩阵W的第e列向量，W(t,:)表示权矩阵W的第t行向量，λ为非负常数；

通过最大化(8)式的值，完成对(4)式所示logistic回归模型参数的估计，进而得到(5)式、(6)式所构成的“控制”/“非控制”状态分类器模型；

由于在使(8)式的值最大化的过程中，可使得所得到参数(W,α)的部分估计值为零，从而实现对特征的自动选择；

(ii)获取“控制”/“非控制”状态分类结果；

将待识别EEG信号的特征矩阵T_EEG，输入所构建的“控制”/“非控制”状态分类器，即可得到状态分类的结果；

步骤4.基于所提取的EOG运动想象特征，应用所构建的运动想象多类分类器，获得运动想象分类结果；

(i)运动想象多类分类器的构建；

运动想象多类分类器也是基于正则化logistic分类方法构建，具体构建方法如下：

将表达控制意图的各类运动想象EOG作为训练样本；依据步骤(2)所描述方法，计算获取各已知类别训练样本的典型变量特征矩阵T_EOG；

G为分组指示变量，K为需识别的运动想象类别数，在此K＝γ，则有G∈g＝{1,...,K}；已知类别的n个训练样本特征为(J₁,g₁),...,(J_n,g_n)，分类问题即为构造分类规则

设在T_EOG＝J时，G的条件概率分布对数优势比是J的线性函数，如式(9)所示；

$f_{\mathrm{\&theta;}}\left(J\right)=\ln \left\{\frac{p_{G|T_{\mathrm{EEG}}}\left(k\right|J)}{p_{G|T_{\mathrm{EEG}}}\left(K\right|J)}\right\}={\mathrm{\&alpha;}}_k+<W_k,J>,k=1,...,K-1,\mathrm{\&theta;}:=(W,\mathrm{\&alpha;})---\left(9\right)$

则预测函数为 $\left\{\begin{array}{c}{p}_{G|T_{\mathrm{EOG}}}\left(k\right|J)=\frac{e^{f_{\mathrm{\&theta;}}\left(J\right)}}{1+{\mathrm{\&Sigma;}}_{k=1}^{K-1}{e}^{f_{\mathrm{\&theta;}}\left(J\right)}},k=1,...,K-1\\ p_{G|T_{\mathrm{EOG}}}\left(K\right|J)=\frac{1}{1+{\mathrm{\&Sigma;}}_{k=1}^{K-1}{e}^{f_{\mathrm{\&theta;}}\left(J\right)}}\end{array}\right.---\left(10\right)$

分类规则为 ${\hat{G}}_{\mathrm{EOG}}=\underset{G\&Element;g}{\arg \max }(p_{G|T_{\mathrm{EOG}}}\left(k\right|J),p_{G|T_{\mathrm{EOG}}}\left(K\right|J))---\left(11\right)$

运动想象多类分类器的logistic回归模型参数(W,α)的估计值，可通过条件最大似然估计得到，即最大化(12)式的值得到参数的估计值；

$L({\mathrm{\&alpha;}}_1,...,{\mathrm{\&alpha;}}_{K-1},W_1,...,W_{K-1})=\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}\ln p_{G|T_{\mathrm{EOG}}}\left(g_i\right|J_i)---\left(12\right)$

通过增加惩罚项，使得到的分类模型正则化，则(12)式变换为(13)式；

$\begin{array}{c}L({\mathrm{\&alpha;}}_1,...,{\mathrm{\&alpha;}}_{K-1},W_1,...,W_{K-1})-\mathrm{\&delta;}(\underset{e=1}{\overset{E}{\mathrm{\&Sigma;}}}{\left|\right|W(:,e)\left|\right|}_2+\underset{t=1}{\overset{T}{\mathrm{\&Sigma;}}}{\left|\right|W(t,:)\left|\right|}_2)\\ =\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}\ln p_{G|T_{\mathrm{EEG}}}\left(g_i\right|J_i)-\mathrm{\&delta;}(\underset{e=1}{\overset{E}{\mathrm{\&Sigma;}}}{\left|\right|W(:,e)\left|\right|}_2+\underset{t=1}{\overset{T}{\mathrm{\&Sigma;}}}{\left|\right|W(t,:)\left|\right|}_2)\end{array}---\left(13\right)$

(13)式中W(:,e)表示权矩阵W的第e列向量，W(t,:)表示权矩阵W的第t行向量，δ为非负常数；

通过最大化(13)式的值，完成对(9)式所示logistic回归模型参数的估计，进而得到(10)式、(11)式所构成的运动想象多类分类器模型；由于在使(13)式的值最大化的过程中，可使得所得到参数(W,α)的部分估计值为零，从而实现对眼电特征的自动选择；

(ii)获取运动想象模式的分类结果

将待识别EOG信号的特征矩阵T_EOG输入所构建的运动想象多类分类器，得到运动想象模式分类结果；

步骤5.应用基于EEG信号获得的“控制”/“非控制”状态分类结果，及基于EOG获得的运动想象分类结果进行决策融合，获得运动想象所表征控制意图的识别结果；

应用由步骤(3)，即基于EEG所获得的“控制”/“非控制”状态分类结果，对由步骤(4)，即基于EOG所获得的运动想象分类结果进行有效性判别；若状态分类结果为“控制”状态，则根据由实际辅具控制要求制定的各种运动想象模式与控制意图的映射关系，将运动想象分类结果转换为控制意图输出；若状态分类结果为“非控制”状态，则认为无控制意图，所获得的运动想象分类结果无效。