CN106292705A - 基于蓝牙脑电耳机的多旋翼无人机意念遥操作***及操作方法 - Google Patents

Abstract

本发明公开了一种基于脑电机器学习的无人机意念遥操作***及操作方法，其中操作***包括一脑电感知模块，包括图像采集装置以及脑电测量设备，图像采集装置用于接收无人机的飞行状态及周围的环境信息，脑电测量设备用于获取无人机操作者脑部激发的大脑电流脉冲信号；一信号处理模块，从脑电感知模块获取的大脑电流脉冲信号中分离出四种需要的脑电信号；一深度学习模块，将分离出四种脑电信号作为输入进行识别并输出无人机操作指令；一地面站控制模块，根据所述深度学习模块输出的无人机操作指令无人机进行操作。本发明针对无人机控制所设计的脑电信号特征模式，使得控制无人机变得更为简单、可靠。

Description

基于蓝牙脑电耳机的多旋翼无人机意念遥操作***及操作 方法

技术领域

本发明涉及实时检测使用者的心理指令并控制多旋翼无人机的方法和设备，特别是包含一种基于Emotiv Insight脑电耳机的多旋翼无人机飞控的意念控制***和控制方法。

背景技术

可穿戴设备是近年来一项重要发明，结合了云计算、数据交互、软件处理等强大IT技术，给人们的生活带来极大便利，呈现出一种全新的智感知效果，诸如可视频、可拍照的GoogleGlass，可检测人体健康指数的Nike+等等。“意念头箍”的发明结合了生物信息学、神经学、信号处理技术、机器学习等知识，是智能穿戴技术的又一大新兴应用。

脑机交互研究发展迅速，配合智能穿戴设备的发展，逐渐让大脑操控行为这一设想变为现实。目前科技已达到能够戴上一个“意念头箍”，然后命令眼前的物品移动。EmotivInsight脑电波检测耳机是一款轻巧、多频段无线耳机，它可以监测佩戴者的脑部活动，或者直接将读取的脑电波转化为有用的命令。它可以检测到一些基本命令，例如控制一台遥控直升机：前进、后退、上升等，此外，这款耳机还能靠检测你的表情来确定命令，例如控制一台车：微笑就是前进、眨右眼就是向右转。

本发明将基于Emotiv公司最新研发的Emotiv Insight脑电耳机采集使用者的脑电信号，并通过蓝牙技术将数据发送给电脑，经过对脑电信号的训练和识别，再联合耳机的信号质量对识别结果通过算法进行筛选，获取到较为稳定的识别结果。最终将识别结果通过地面站传输给无人机，从而实现意念控制无人机的功能。

发明内容

本发明所要解决的技术问题是针对上述现有技术存在的不足，而提供一种具有灵活性、和可操作性的使用脑电信号去控制多旋翼无人机的操作***及方法。

本发明还提供了一种联合脑电信号质量的识别筛选方法，使得低精度的识别结果可以用于控制要求精度较高的无人机飞控***。

为了解决上述技术问题，本发明采用的技术方案为：

基于脑电机器学习的无人机意念遥操作***，其特征在于，包括：

一脑电感知模块，包括图像采集装置以及脑电测量设备，所述图像采集装置用于获取无人机的飞行状态及周围的环境信息，所述脑电测量设备用于获取无人机操作者脑部激发的大脑电流脉冲信号；

一终端，从所述脑电感知模块获取的大脑电流脉冲信号中分离出四种需要的脑电信号δ波、θ波、α波、β波；

一深度学习模块，将分离出四种脑电信号δ波、θ波、α波、β波作为输入进行识别并输出无人机操作指令；

一地面站控制模块，根据所述深度学习模块输出的无人机操作指令无人机进行操作。

所述深度学习模块通过基于BP神经网络模型的线上学习，识别向前、向后、向左、向右的四种旋翼无人机飞行模式，并用脑电信号强弱来控制油门大小使得飞行器上升或下降；联合信号质量，对识别结果进行筛选，获取最终操作指令。

基于BP神经网络模型的线上学习方法，使用bagging算法生成个体网络，将BP神经网络作为分类模型对样本进行离线学习；对于所有个体网络的输出，通过建立几何模型，计算决策重心的方法进行集成；最后将集成后的结果通过联合脑电信号进行筛选，获得可以用于控制无人机的较为稳定的控制指令。

一种采用上述任一所述基于脑电机器学习的无人机意念遥操作***的无人机意念遥操作方法，其特征在于，包括以下步骤：

第一步，读取脑电耳机获取的大脑电流脉冲信号并传至终端；

第二步，终端对第一步收到的原始脑电信号通过离散短时傅里叶变换的方法，进行特征提取和去除其中的干扰信号，分离出四种需要的脑电信号δ波、θ波、α波及β波并存入数据库，作为训练样本；

第三步，使用Bagging算法生成集成神经网络中的个体网络，使用BP神经网络作为分类模型对个体网络中的样本进行离线学习；

第四步，建立几何模型，计算所有个体网络的决策重心，得到集成网络结果；

第五步，将集成网络的结果通过联合脑电信号质量的识别筛选算法，获取到可以用于无人机控制的较为稳定的识别结果；

第六步，将识别结果发送给地面站控制模块控制无人机。

5、根据权利要求4所述的无人机意念遥操作方法，其特征在于，所述步骤六具体包括：

将识别结果通过地面站发送给多旋翼无人机飞控；

多旋翼无人机飞控对地面站发来的数据进行解析，控制多旋翼无人机飞行。

所述第二步包括以下过程：

利用离散短时傅里叶变换的方法，将脑电信号EEG从时域变换到频域，进行特征提取和去除其中的干扰信号，将脑电中δ波、θ波、α波及β波三种脑电信号提取出来，离散短时傅里叶变换公式如下：

$STFT\{x\[n\]\}(m,n)=X\left(w_k\right)=\underset{n=0}{\overset{R+1}{\Σ}}x\[n\]\·(0.53836-0.46164cos(\frac{2\mathrm{\π}(n-m)}{R-1}\left)\right)\·e^{-{\mathrm{jw}}_{k}n}$

x[n]是输入的离散信号，即原始脑电信号EEG；X(w_k)是x[n]w(n-m)的短时傅里叶变化结果；R表示窗口长度；w_k是固定的中心频率；

将窗口长度R设为2s，每次采样1024个点；根据delta:1-4Hz,theta：4-7Hz，alpha：8-13Hz，beta：13-30Hz各自的频率段，将固定中心频率w_k分别设为w₁＝2.5Hz，w₂＝5.5Hz，w₃＝10.5Hz，w₄＝21.5Hz带入上面的变换公式，即可频域中提取分离得到δ波、θ波、α波及β波各自的频率谱，分别表示为X_d(w₁)，X_t(w₂)，X_a(w₃)，X_b(w₄)，利用短时傅里叶反变换，公式如下：

$D\left(n\right)=\frac{1}{L}\underset{m}{\Σ}\underset{n}{\overset{L-1}{\Σ}}{X}_d\left(w_1\right)e^{j\frac{2\mathrm{\π}}{L}n}$

$T\left(n\right)=\frac{1}{L}\underset{m}{\Σ}\underset{n}{\overset{L-1}{\Σ}}{X}_t\left(w_2\right)e^{j\frac{2\mathrm{\π}}{L}n}$

$A\left(n\right)=\frac{1}{L}\underset{m}{\Σ}\underset{n}{\overset{L-1}{\Σ}}{X}_{\mathrm{\α}}\left(w_3\right)e^{j\frac{2\mathrm{\π}}{L}n}$

$B\left(n\right)=\frac{1}{L}\underset{m}{\Σ}\underset{n}{\overset{L-1}{\Σ}}{X}_b\left(w_4\right)e^{j\frac{2\mathrm{\π}}{L}n}$

L为频率采样点数；

即可得到时域中δ波、θ波、α波及β波的实时变化值D(n)，T(n)，A(n)，B(n)；将实时变化值D(n)，T(n)，A(n)，B(n)存入数据库，作为一次样本；通过神经网络模型的训练，得到样本集S＝{x_i|i＝1,2,3…N}，其中x_i为单个训练样本，包括D(n)，T(n)，A(n)，B(n)以及对应的理想输出结果，N为训练样本个数。

所述第三步包括以下过程：

在原始样本集中通过bootstrap技术随机抽取样本构成M个子训练集{S_m|m＝1,2,3…M}，子集的训练规模通常与原始训练集相当，样本允许重复选择；

使用BP神经网络对各个子训练集进行训练：设子训练集S_m的理想输出为O＝{O_m}_1≤m≤M，定义误差函数

$E(W,w)=\frac{1}{2}\left|\right|O-\mathrm{\ζ}|{|}^2=\frac{1}{2}\underset{m=1}{\overset{M}{\Σ}}{\[O_m-g\left(\underset{p=1}{\overset{P}{\Σ}}{W}_{mp}g\right(\underset{n=1}{\overset{N}{\Σ}}{w}_{pm}{\mathrm{\ξ}}_n\left)\right)\]}^2$

其中，W＝{W_mp}_{1≤m≤M,1≤p≤P}和w＝{w_pn}_{1≤p≤P,1≤n≤N}分别为输出层与隐层之间的权矩阵和隐层和输入层之间的权矩阵，ξ＝(ξ₁,…,ξ_n)^T∈Rⁿ为输入样本，

$\mathrm{\ζ}=g(W_m\·\mathrm{\τ})=g\left(\underset{p=1}{\overset{P}{\Σ}}{W}_{mp}{\mathrm{\τ}}_p\right),m=1,2,...,M$

为网络实际输出；

${\mathrm{\τ}}_p=g(w_p\·\mathrm{\ξ})=g\left(\underset{n=1}{\overset{N}{\Σ}}{w}_{pn}{\mathrm{\ξ}}_n\right),p=1,...,P$

为网络的隐层输出；

对当前权值W^k和w^k定义权值的增量为

$W_{mp}^k=-\mathrm{\η}\frac{\∂E}{W_{mp}}+{\mathrm{\αW}}_{mp}^{k-1},p=1,...,P;m=1,2,...,M;k\≥1$

$w_{pn}^k=-\mathrm{\η}\frac{\∂E}{w_{pn}}+{\mathrm{\αw}}_{pn}^{k-1},p=1,...,P;n=1,2,...,N;k\≥1$

其中α为动量项因子。

所述第四步包括以下过程：

设各个分类器的预测值为h_i∈{0,1,2,3,4}，分别代表识别动作类型为中性、前、后、左、右，将预测值映射为二维向量t_i(x,y)，定义中性状态为(0,0)，向前为(0,1)，向后为(0，-1)，向左为(-1,0)，向右为(1,0)；计算

$\left\{\begin{array}{c}t(x_t,y_t)=\frac{1}{M}\underset{i=1}{\overset{M}{\Σ}}{t}_n\\ p=\left|\right|t(x_t,y_t)\left|\right|=\sqrt{x_t^2+y_t^2}\end{array}\right.$

其中，M为子分类器的数量，若p的值小于预先设定的阈值，则认为集成分类器的输出为中性状态；若p的值大于预先设定的阈值，则根据t(x_t,y_t)在平面中与四个坐标轴的位置关系来确定集成分类器的输出。

所述第五步包括以下过程：

每隔固定时间T采集一次耳机的信号质量，并返回一次识别结果，设定滑动窗口大小为N，保存包括当前数据的前N次数据；

将第四步中集成分类器的输出再次映射为二维向量T_n(x,y)，定义中性状态为(0,0)，向前为(0,1)，向后为(0，-1)，向左为(-1,0)，向右为(1,0)；同时记录动作强度为P_n；耳机采集到的信号质量包括无线信号质量S_n(S_n＝0,1,2)和5个电极的信号质量；对5个电极的信号质量求算数平均，得到Q_n(0≤Q_n≤4)；

联合耳机的信号质量，对识别结果的筛选方法如下：

(1)S_n<2时：将识别结果重置为中性，强度为0；

(2)S_n＝2时：计算电极在一定时间内的平均信号强度

$\stackrel{\&OverBar;}{Q}=\frac{1}{N}\underset{i=n-N+1}{\overset{n}{\&Sigma;}}{Q}_n$

设定强度警戒值Q_t，若***提示使用者重新佩戴耳机，并将识别结果重置为中

性，强度为0；若计算有效识别结果如下

$\left\{\begin{array}{c}T(x_t,y_t)=\frac{1}{4N}\underset{i=n-N+1}{\overset{n}{\&Sigma;}}{Q}_n\&CenterDot;P_n\&CenterDot;T_n\\ P=\left|\right|T(x_t,y_t)\left|\right|=\sqrt{x_t^2+y_t^2}\end{array}\right.$

选定识别范围角计算

a)若0≤θ_t<θ或2π-θ≤θ_t<2π，识别结果为向右，强度P＝T·x₀；

b)若识别结果为向前，强度P＝T·y₀；

c)若π-θ≤θ_t<π+θ，识别结果为向左，强度P＝T·x₀；

d)若识别结果为向后，强度P＝T·y₀；

其中，x₀、y₀分别为x轴和y轴的单位向量；

最后，设定强度阈值S，舍去强度P<S的识别结果。

控制***采用实时控制多旋翼无人机的方式，实时控制的具体方法是：

地面站使用了Paparazzi***与无人机通信；实际控制流程中，PC终端将脑电识别结果转化为标准数据报文，并写入数传电台，最终通过PPRZLINK协议发送给无人机；无人机飞控接收到PPRZLINK报文后，对其中的数据域进行解析，最终将识别结果转化为控制指令。

本发明基于蓝牙脑电耳机的多旋翼无人机意念控制***，采用非侵入式脑电传感器Emotiv Insight模块，感知测试者因环境(无人机飞行真实场景或虚拟现实眼镜第一人称主视角FPV场景)和心理(意念)所激发的大脑电流脉冲(即脑电EEG信号)；使用神经网络集成技术中的BP神经网络和Bagging算法，实现面向无人机控制的脑电信号模式分类(即识别向前、向后、向左、向右的四种无人机飞行模式，并用脑电信号强弱来控制油门大小从而使得飞行器上升或下降)；通过筛选算法，对分类结果进行筛选，获得稳定的识别结果。最后，将脑电识别结果通过数传电台与飞控进行通信，对微型多旋翼无人机实现航迹与速度的遥操作。

本发明利用FPV第一人称主视角进行浸入式学习，提高了脑电信号识别率；使用神经网络集成技术，可以简单的通过训练多个神经网络并将其结果进行合成显著的提高学习的泛华能力，实践结果远远好于单个神经网络的学习效果；通过建立几何模型，计算决策重心，实现了四种模式下的决策，不仅解决了子网络中结果的集成方法，还克服了识别率较低、识别不精准的问题，使得用精度较低的脑电识别结果控制要求精度较高的无人机成为可能。本发明针对无人机控制所设计的脑电信号特征模式，使得控制无人机变得更为简单、可靠。除了控制无人机，本发明将在智能控制领域有更为广阔的发展前景。

附图说明

图1是本发明基于脑电耳机的多旋翼无人机意念控制***的整体框架图。

图2是本发明的脑电耳机的信号采集模型图。

图3是本发明的四旋翼飞行器的硬件结构框图。

图4是本发明的整体接口设计图。

图5是本发明的短时傅里叶变换时海明窗函数时域和频域的函数图。

图6基于Bagging的神经网络集成结构示意图。

图7是本发明的脑电训练的程序框图。

具体实施方式

下面结合附图对本发明作更进一步的说明。

本发明一种利用脑电波作为特征的机器学习方法并用于多旋翼无人机的实时控制***。本发明使用的硬件设备包含一个脑电耳机、一架四旋翼飞行器、一副虚拟现实(VR)眼镜，其中：

脑电耳机，是采用美国Emotiv公司生产研发的Emotiv Insight蓝牙脑电耳机。该装置5个EEG(脑电波)探测器和2个标准传感器，可以捕获前额皮质(负责执行动作)、顶颞(负责听力和协调)和枕骨(负责视觉)三部分区域的脑电波。耳机使用干电极监测AF3，AF4，T7，T8，PZ脑区，并以128Hz的频率进行取样，同时将其转换为数字形式，通过蓝牙传输给在PC上运行EmotivEmoEngine(专门的处理软件组件)将信号最终传给Emotiv应用程序编程接口(Emotiv API)。脑电耳机上集成无线蓝牙模块，支持蓝牙A2DP协议，有效通讯距离为10米，波特率为115200bps。

四旋翼飞行器搭载了开源飞控核心模块、卫星导航、微惯导组合定位模块、第一视角(FPV)摄像头、远距离遥控接收机数传图传等模块。其配套的地面站用于完成飞行器与地面之间的通信工作。

虚拟现实眼镜用来接收FPV摄像头实时回传的图像，使测试者可体验跟随无人机观测环境的感觉，提高脑电识别的正确率。

***依次按照以下步骤进行脑电信号的接收与识别以及无人机的远程控制：

步骤1，连接脑电耳机，读取原始脑电信号并传输到地面站。

原始信号包括了各个频率段的不同特征波，例如α波、β波、θ波等。耳机通过内置的算法拟合出不同频率段的特征，提供各个波段的功率谱密度及眨眼检测等功能。本发明中，通过记录各个脑区不同频率段信号的特征，识别测试者不同的心理指令。表1是脑电波的部分频段划分以及不同类型脑电波所反映出的脑部精神状态。

表1脑电波部分频段划分及其脑部精神状态

步骤2，连接VR眼镜，启动四旋翼飞行器到预设高度悬停。放置在飞行器前方的摄像头将拍摄的影像实时回传，使测试者可体验随无人机观测环境的感觉。

在脑电信号的训练和识别中，临场感对脑电测试起重要作用，实验表明临场脑电识别正确率高于比冥想脑电识别。

步骤3，测试者佩戴好VR眼镜，根据飞行器传回的图像想象飞行器向特定方向飞行；同时地面站电脑通过蓝牙接收来自脑电耳机的数据，并利用离散短时傅里叶变换进行特征提取，同时从原始脑电波信号中分离眼动和肌肉抖动等干扰信号，得到本发明需要的各个脑电波频段波形：

脑电信号属于非平稳信号，一般频率在0.5-100Hz，本发明中有效频率是4-14Hz，需要利用离散短时傅里叶变换将时域转换到频域，公式如下：

$STFT\{x\&lsqb;n\&rsqb;\}(m,n)=X\left(w_k\right)=\underset{n=0}{\overset{R+1}{\&Sigma;}}\{x\&lsqb;n\&rsqb;w(n-m)\}\&CenterDot;e^{-{\mathrm{jw}}_{k}n}$

x[n]是输入的离散信号，即原始脑电信号；

X(w_k)是x[n]w(n-m)的短时傅里叶变化结果。

R表示窗口长度；

w_k是固定的中心频率；

w[n]表示窗函数。

当频率固定时，X(w_k)可以看做是信号经过一个中心频率是w_k的带通滤波器产生的输出。因为此处选择海明窗作为窗函数，具有低通频率响应的特点，而指数对x(n)(此处代表原始脑电信号)有调制作用，可使频谱产生位移，即将x(n)频谱中对应于w_k的分量平移到零频，起到了带通滤波器的作用。

相较而言，肌肉和眨眼伪迹频率要高很多，眼动伪迹的频率则较低。利用脑电信号和干扰伪迹信号频率特征差异，将原始的脑电波信号通过离散短时傅里叶变换的方法，将w_k分别设为各个频段的中间频率，则可分离出有效频段，与此同时，去除脑电波信号中来自眼动和肌肉抖动等伪迹的干扰。最后经过短时傅里叶反变换得到各个频段随时间实时变化的值。并将结果存入数据库。

步骤4，使用Bagging算法生成集成神经网络中的个体网络，使用BP神经网络作为分类模型对个体网络中的样本进行离线学习；通过建立几何模型，计算所有个体网络的决策重心，得到集成网络结果；

神经网络被认为是一种较好的非线性分类方法，尤其是BP神经网络。BP神经网络结构简单，非线性处理能力却很强。然而，在使用BP神经网络时也存在一些困难，如隐单元数目难以确定、网络的最终权值受初始值影响大、易陷入局部最优、对训练样本的数量与质量要求较高等，这些因素影响了网络的泛化能力，使得运动想像的分类效果不太理想。

神经网络集成通过训练多个神经网络并将其结果进行合成，可以显著地提高神经网络***的泛化能力。该项研究不仅有助于对机器学习和神经网络的深入研究，还有利于利用神经网络技术来解决现实世界中的实际应用问题。

本发明使用Bagging算法来生成集成中的子网络，使用BP神经网络作为分类器，最后通过建立数学模型，计算决策重心的方法获得集成分类器最终的输出。

在训练时，使用者应佩戴好VR眼镜和蓝牙耳机并保持专注，根据眼镜中的实时景象想象预定的指令，地面站电脑对回传的数据进行学习并存入训练数据库。一般一个心理指令需要多次训练，每次训练持续一段时间。一个心理指令训练成功后方可进行下一个指令的训练，有用的心理指令包括上、下、东、南、西、北。

步骤5，联合耳机信号质量对识别结果进行筛选，获取稳定的识别结果，并通过数传电台发送。

对于步骤4中集成网络的输出结果，保存一段时间内结果的序列，通过使用信号质量加权的方法，再次对其进行合成，获取较为稳定的结果。方法如下：

每隔固定时间T采集一次耳机的信号质量，并返回一次识别结果.设定滑动窗口大小为N，保存包括当前数据的前N次数据。

将识别的动作类型定义为二维向量T_n(x,y)，定义中性状态为(0,0)，向前为(0,1)，向后为(0，-1)，向左为(-1,0)，向右为(1,0)。同时记录动作强度为P_n。耳机采集到的信号质量包括无线信号质量S_n(S_n＝0,1,2)和5个电极的信号质量。对5个电极的信号质量求算数平均，得到Q_n(0≤Q_n≤4).数值越大代表信号质量越好。

联合耳机的信号质量，对识别结果的筛选方法如下：

(1)S_n<2时：说明无线信号质量较差，往往是由于耳机的佩戴者离接收器太远导致

的，***发出警告，并将识别结果重置为中性，强度为0；

(2)S_n＝2时：计算电极在一定时间内的平均信号强度

$\stackrel{\&OverBar;}{Q}=\frac{1}{N}\underset{i=n-N+1}{\overset{n}{\&Sigma;}}{Q}_n$

设定强度警戒值Q_t，若则认为电极信号质量差，***提示使用者重新佩戴耳机，

并将识别结果重置为中性，强度为0；若计算有效识别结果如下

$\left\{\begin{array}{c}T(x_t,y_t)=\frac{1}{4N}\underset{i=n-N+1}{\overset{n}{\&Sigma;}}{Q}_n\&CenterDot;P_n\&CenterDot;T_n\\ P=\left|\right|T(x_t,y_t)\left|\right|=\sqrt{x_t^2+y_t^2}\end{array}\right.$

选定识别范围角计算

a)若0≤θ_t<θ或2π-θ≤θ_t<2π，识别结果为向右，强度P＝T·x₀；

b)若识别结果为向前，强度P＝T·y₀；

c)若π-θ≤θ_t<π+θ，识别结果为向左，强度P＝T·x₀；

d)若识别结果为向后，强度P＝T·y₀；

其中，x₀、y₀分别为x轴和y轴的单位向量。

设定强度阈值S，舍去强度P<S的识别结果。

步骤6，将识别结果通过地面站发送给多旋翼无人机飞控。

地面站使用了Paparazzi***与无人机通信。Paparazzi是一个开源的无人机硬件和软件***，它包括了自动驾驶***和地面站软件。实际控制流程中，PC将脑电识别结果转化为控制指令，并写入数传电台，最终通过PPRZLINK协议发送给无人机。表二是PPRZLINK的标准报文格式。

表2 PPRZ标准报文格式

步骤7，四旋翼飞行器的飞控***接收地面站发送的数据并进行解析，控制无人机飞行。

实施例：

本发明采用Emotiv Insight脑电耳机和Paparazzi开源飞控组成意念控制的无人机***。VR眼镜用来给使用者提供飞行器所处的模拟环境，提高脑电识别率。基于脑电耳机的无人机意念控制***的整体框架图如附图1.其包括四个部分，分别是脑电感知模块，深度学习模块，地面站控制***接口和无人机飞控与动力***。脑电耳机的信号采集模型如附图2。四旋翼飞行器的硬件结构框图如附图3。使用者头戴Emotiv Insight耳机和VR眼镜，耳机通过其贴在前额和耳部的干电极实时获取使用者的脑电波电压值，通过内置算法，将电压值转换成反映脑电波参数特征的数字信号，通过蓝牙发送至地面站，地面站对数据进行训练与识别，将最终的结果发送给无人机飞控，从而控制飞行器的飞行。

整体接口设计，见附图4。

步骤一，使用者正确佩戴脑电耳机与VR眼镜，将耳机前额传感器贴于右前额眉骨之上5厘米左右的位置，将参考电极紧贴耳根后部，确保传感器与参考电极和皮肤完全接触。并启动蓝牙连接配对。

步骤二，脑电耳机通过内置的算法将采集到的各个脑区原始脑电波电压U转换成原始数字脑电信号，通过蓝牙传至地面站。

步骤三，地面站蓝牙接收来自脑电耳机送来的数据，将原始数据从时域变换到频域，进行特征提取，将脑电中theta，alpha，beta，delta四种脑电信号提取出来，同时将原始脑电信号中高频眨眼肌肉抖动，低频眼动等伪迹去除。离散短时傅里叶变换公式如下：

$STFT\{x\&lsqb;n\&rsqb;\}(m,n)=X\left(w_k\right)=\underset{n=0}{\overset{R+1}{\&Sigma;}}\{x\&lsqb;n\&rsqb;w(n-m)\}\&CenterDot;e^{-{\mathrm{jw}}_{k}n}$

x[n]是输入的离散信号，即原始脑电信号；

X(w_k)是x[n]w(n-m)的短时傅里叶变化结果。

R表示窗口长度；

w_k是固定的中心频率；

w[n]表示窗函数，

此发明中用到海明窗，可以抵消高频信号的干扰，海明窗函数的时域和频域函数图如图5所示，函数表达式如下：

$w\left(n\right)=0.53836-0.46164cos\left(\frac{2\mathrm{\&pi;}n}{N-1}\right)$

N为采样次数，即窗口长度。

将上面两式合并，即可得到窗函数为海明窗的离散短时傅里叶变换公式：

$STFT\{x\&lsqb;n\&rsqb;\}(m,n)=X\left(w_k\right)=\underset{n=0}{\overset{R+1}{\&Sigma;}}x\&lsqb;n\&rsqb;.(0.53836-0.46164cos(\frac{2\mathrm{\&pi;}(n-m)}{R-1}\left)\right)\&CenterDot;e^{-{\mathrm{jw}}_{k}n}$

将窗口长度R设为2s，每次采样1024个点。根据delta:1-3Hz，theta：4-7Hz，alpha：8-14Hz，beta：14-30Hz各自的频率段，将固定中心频率w_k分别设为w₁＝2Hz，w₂＝5.5Hz，w₃＝11Hz，w₄＝22Hz，带入上面的变换公式即可频域中提取分离得到delta，theta，alpha，beta各自的频率谱分别表示为X_d(w₁)，X_t(w₂)，X_a(w₃)，X_b(w₄)，利用短时傅里叶反变换，公式如下：

$D\left(n\right)=\frac{1}{L}\underset{m}{\&Sigma;}\underset{n}{\overset{L-1}{\&Sigma;}}{X}_d\left(w_1\right)e^{j\frac{2\mathrm{\&pi;}}{L}n}$

$T\left(n\right)=\frac{1}{L}\underset{m}{\&Sigma;}\underset{n}{\overset{L-1}{\&Sigma;}}{X}_t\left(w_2\right)e^{j\frac{2\mathrm{\&pi;}}{L}n}$

$A\left(n\right)=\frac{1}{L}\underset{m}{\&Sigma;}\underset{n}{\overset{L-1}{\&Sigma;}}{X}_a\left(w_3\right)e^{j\frac{2\mathrm{\&pi;}}{L}n}$

$B\left(n\right)=\frac{1}{L}\underset{m}{\&Sigma;}\underset{n}{\overset{L-1}{\&Sigma;}}{X}_b\left(w_4\right)e^{j\frac{2\mathrm{\&pi;}}{L}n}$

L为频率采样点数，因为窗口长度为2s，结合本硬件的采样频率，L＝1024。

即可得到时域中theta，low alpha，high alpha的实时变化值D，T，A，B。将其存入数据库，作为一次样本。记录飞行器在悬停、前进、后退、向左飞行、向右飞行不同状态下的脑电数据，得到样本集S＝{x_i|i＝1,2,3…N}，其中x_i为单个训练样本，包括D(n)，T(n)，A(n)，B(n)以及对应的理想输出结果，N为训练样本个数。

步骤四，使用Bagging算法生成集成神经网络中的个体网络，使用BP神经网络作为分类模型对个体网络中的样本进行离线学习；

本发明使用基于Bagging的神经网络集成结构如图6所示。其具体实现方法为：

在原始样本集中通过bootstrap技术随机抽取样本构成M个子训练集{S_m|m＝1,2,3…M}，子集的训练规模通常与原始训练集相当，样本允许重复选择。

使用BP神经网络对各个子训练集进行训练。设子训练集S_m的理想输出为O＝{O_m}_1≤m≤M，定义误差函数

$E(W,w)=\frac{1}{2}\left|\right|O-\mathrm{\&zeta;}|{|}^2=\frac{1}{2}\underset{m=1}{\overset{M}{\&Sigma;}}{\&lsqb;O_m-g\left(\underset{p=1}{\overset{P}{\&Sigma;}}{W}_{mp}g\right(\underset{n=1}{\overset{N}{\&Sigma;}}{w}_{pn}{\mathrm{\&xi;}}_n\left)\right)\&rsqb;}^2$

其中，W＝{W_mp}_{1≤m≤M,1≤p≤P}和w＝{w_pn}_{1≤p≤P，1≤n≤N}分别为输出层与隐层之间的权矩阵和隐层和输入层之间的权矩阵，ξ＝(ξ₁,…,ξ_n)^T∈Rⁿ为输入样本，

$\mathrm{\&zeta;}=g(W_m\&CenterDot;\mathrm{\&tau;})=g\left(\underset{p=1}{\overset{P}{\&Sigma;}}{W}_{mp}{\mathrm{\&tau;}}_p\right),m=1,2,...,M$

为网络实际输出，

${\mathrm{\&tau;}}_p=g(w_p\&CenterDot;\mathrm{\&xi;})=g\left(\underset{n=1}{\overset{N}{\&Sigma;}}{w}_{pn}{\mathrm{\&xi;}}_n\right),p=1,...,P$

为网络的隐层输出。

对当前权值W^k和w^k定义权值的增量为

$W_{mp}^k=-\mathrm{\&eta;}\frac{\&part;E}{W_{mp}}+{\mathrm{\&alpha;W}}_{mp}^{k-1},p=1,...,P;m=1,2,...,M;k\&GreaterEqual;1$

$w_{pn}^k=-\mathrm{\&eta;}\frac{\&part;E}{w_{pn}}+{\mathrm{\&alpha;w}}_{pn}^{k-1},p=1,...,P;n=1,2,...,N;k\&GreaterEqual;1$

其中α为动量项因子。

训练的程序框图如附图7。训练的大致流程如下：

在开始训练之前，需要先设定训练的动作类型，如果没有指定动作类型，则默认训练中性状态(COG_NEUTRAL)；使用者需要在发送开始训练的指令之前想象指定的动作，在发送指令之后，会有一段时间的延时来避免从中性到指定状态过渡的干扰。紧接着是8秒钟的数据采集阶段，数据采集结束后，会根据采集信号的质量提示采集成功或者失败。如果采集失败，则重新进行采集；如果采集成功，则使用者还可以选择是否接受此次采集结果，以避免使用者在此次采集过程中无法保持注意力集中的情况。最后，若使用者选择接受，则该用户的资料被更新。在放松的状态(中性状态)训练成功后，以同样的方法训练前、后、左、右四种状态。

步骤五，使用者发出心理指令(中性、上、下、左、右)，地面站对脑电信号的特征进行识别。各个子网络的输出通过建立几何模型并计算决策重心的方法进行集成。并将集成后的结果联合耳机信号的质量进行筛选，获得较为稳定的结果，最终将结果通过PPRZLINK协议发送给飞行器控制***。其具体方法为：

假定各个分类器的预测值为h_i∈{0,1,2,3,4}，分别代表识别动作类型为中性、前、后、左、右。将预测值映射为二维向量t_i(x,y)，定义中性状态为(0,0)，向上为(0,1)，向下为(0，-1)，向左为(-1,0)，向右为(1,0)。计算

$\left\{\begin{array}{c}t(x_t,y_t)=\frac{1}{M}\underset{i=1}{\overset{M}{\&Sigma;}}{t}_n\\ p=\left|\right|t(x_t,y_t)\left|\right|=\sqrt{x_t^2+y_t^2}\end{array}\right.$

其中，M为子分类器的数量。若p的值小于预先设定的阈值，则认为集成分类器的输出为中性状态；若p的值大于预先设定的阈值，则根据t(x_t,y_t)在平面中与四个坐标轴的位置关系来确定集成分类器的输出。

为去除干扰和防止偶然因素，避免对飞行器过于频繁的控制，需要联合耳机信号的质量对识别结果进行筛选，获取较为稳定的识别结果，方法为：

每隔固定时间T采集一次耳机的信号质量，并返回一次识别结果.设定滑动窗口大小为N，保存包括当前数据的前N次数据。

将集成分类器的输出再次映射为二维向量T_n(x,y)，定义中性状态为(0,0)，向前为(0,1)，向后为(0，-1)，向左为(-1,0)，向右为(1,0)。同时记录动作强度为P_n。耳机采集到的信号质量包括无线信号质量S_n(S_n＝0,1,2)和5个电极的信号质量。对5个电极的信号质量求算数平均，得到Q_n(0≤Q_n≤4).数值越大代表信号质量越好。

联合耳机的信号质量，对识别结果的筛选方法如下：

(1)每隔1s查询一次识别结果和耳机信号质量。设定窗口大小为7，保存7次以内的识别结果。

(2)判断S_n的大小。若S_n<2，***发出警告，并将识别结果重置为中性，强度为0；

(3)计算电极在一定时间内的平均信号强度

$\stackrel{\&OverBar;}{Q}=\frac{1}{7}\underset{i=n-6}{\overset{n}{\&Sigma;}}{Q}_n$

设定强度警戒值Q_t＝1.5，若则认为电极信号质量差，***提示使用者重新佩戴耳机，并将识别结果重置为中性，强度为0；

(4)计算有效识别结果如下

$\left\{\begin{array}{c}T(x_t,y_t)=\frac{1}{28}\underset{i=n-6}{\overset{n}{\&Sigma;}}{Q}_n\&CenterDot;P_n\&CenterDot;T_n\\ P=\left|\right|T(x_t,y_t)\left|\right|=\sqrt{x_t^2+y_t^2}\end{array}\right.$

T(x_t,y_t)和P为等效动作类型和等效动作强度。计算向量角

a)若或识别结果为向右，强度P＝T·x₀；

b)若识别结果为向前，强度P＝T·y₀；

c)若识别结果为向左，强度P＝T·x₀；

d)若识别结果为向后，强度P＝T·y₀；

其中，x₀、y₀分别为x轴和y轴的单位向量。

(5)设定强度阈值S＝0.2，若P<S，舍去当前识别结果，保留上一次识别结果。

将第(5)步得到的稳定的识别结果的动作类型和强度写入PPRZLINK报文的数据域，添加报头和校验和，写入数传电台发送。

步骤六，无人机飞控对数据报进行解析，获取数据域中的动作类型和强度，将动作类型的中性、前、后、左、右分别定义为飞行器的悬停、向南飞行、向北飞行、向东飞行和向西飞行，控制无人机。

本发明的效果是使用者通过想象某种动作，能够控制四旋翼飞行器做出相应的动作，实现了“意念控制无人机”的构想。随着技术的完善与进步，本发明将会有广泛而丰富的应用前景。

以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.基于脑电机器学习的无人机意念遥操作***，其特征在于，包括：

一脑电感知模块，包括图像采集装置以及脑电测量设备，所述图像采集装置用于接收无人机的飞行状态及周围的环境信息，所述脑电测量设备用于获取无人机操作者脑部激发的大脑电流脉冲信号；

一信号处理模块，从所述脑电感知模块获取的大脑电流脉冲信号中分离出四种需要的脑电信号δ波、θ波、α波、β波；

一深度学习模块，将分离出四种脑电信号δ波、θ波、α波、β波作为输入进行识别并输出无人机操作指令；

一地面站控制模块，根据所述深度学习模块输出的无人机操作指令无人机进行操作。

2.根据权利要求1所述的无人机意念遥操作***，其特征在于，所述深度学习模块通过基于BP神经网络模型的线上学习，识别向前、向后、向左、向右的四种旋翼无人机飞行模式，并用脑电信号强弱来控制油门大小使得飞行器上升或下降；联合信号质量，对识别结果进行筛选，获取最终操作指令。

3.根据权利要求2所述的无人机意念遥操作***，其特征在于，基于BP神经网络模型的线上学习方法，使用bagging算法生成个体网络，将BP神经网络作为分类模型对样本进行离线学习；对于所有个体网络的输出，通过建立几何模型，计算决策重心的方法进行集成；最后将集成后的结果通过联合脑电信号进行筛选，获得可以用于控制无人机的较为稳定的控制指令。

4.根据权利要求1、2或3所述的无人机意念遥操作***，其特征在于，所述图像采集装置为显示器或者VR眼镜，所述脑电测量设备为脑电耳机或者脑电头盔。

5.一种采用权利要求1-4任一所述基于脑电机器学习的无人机意念遥操作***的无人机意念遥操作方法，其特征在于，包括以下步骤：

第一步，读取脑电耳机获取的大脑电流脉冲信号并传至信号处理模块；

第二步，信号处理模块对第一步收到的原始脑电信号通过离散短时傅里叶变换的方法，进行特征提取和去除其中的干扰信号，分离出四种需要的脑电信号δ波、θ波、α波及β波并存入数据库，作为训练样本；

第三步，使用Bagging算法生成集成神经网络中的个体网络，使用BP神经网络作为分类模型对个体网络中的样本进行离线学习；

第四步，建立几何模型，计算所有个体网络的决策重心，得到集成网络结果；

第五步，将集成网络的结果通过联合脑电信号质量的识别筛选算法，获取到可以用于无人机控制的较为稳定的识别结果；

第六步，将识别结果发送给地面站控制模块控制无人机。

6.根据权利要求5所述的无人机意念遥操作方法，其特征在于，所述步骤六具体包括：

将识别结果通过地面站发送给多旋翼无人机飞控；

多旋翼无人机飞控对地面站发来的数据进行解析，控制多旋翼无人机飞行。

7.根据权利要求5所述的无人机意念遥操作方法，其特征在于，所述第二步包括以下过程：

利用离散短时傅里叶变换的方法，将脑电信号EEG从时域变换到频域，进行特征提取和去除其中的干扰信号，将脑电中δ波、θ波、α波及β波三种脑电信号提取出来，离散短时傅里叶变换公式如下：

$STFT\{x\&lsqb;n\&rsqb;\}(m,n)=X\left(w_k\right)=\underset{n=0}{\overset{R+1}{\&Sigma;}}x\&lsqb;n\&rsqb;\&CenterDot;(0.53836-0.46164cos(\frac{2\mathrm{\&pi;}(n-m)}{R-1}\left)\right)\&CenterDot;e^{-{\mathrm{jw}}_{k}n}$

x[n]是输入的离散信号，即原始脑电信号EEG；X(w_k)是短时傅里叶变化结果；R表示窗口长度；w_k是固定的中心频率，m、n是自变量，j是虚数单位；

将窗口长度R设为2s，每次采样1024个点；根据delta:1-4Hz,theta：4-7Hz，alpha：8-13Hz，beta：13-30Hz各自的频率段，将固定中心频率w_k分别设为w₁＝2.5Hz，w₂＝5.5Hz，w₃＝10.5Hz，w₄＝21.5Hz带入上面的变换公式，即可频域中提取分离得到δ波、θ波、α波及β波各自的频率谱，分别表示为X_d(w₁)，X_t(w₂)，X_a(w₃)，X_b(w₄)，利用短时傅里叶反变换，公式如下：

$D\left(n\right)=\frac{1}{L}\underset{m}{\&Sigma;}\underset{n}{\overset{L-1}{\&Sigma;}}{X}_d\left(w_1\right)e^{j\frac{2\mathrm{\&pi;}}{L}n}$

$T\left(n\right)=\frac{1}{L}\underset{m}{\&Sigma;}\underset{n}{\overset{L-1}{\&Sigma;}}{X}_t\left(w_2\right)e^{j\frac{2\mathrm{\&pi;}}{L}n}$

$A\left(n\right)=\frac{1}{L}\underset{m}{\&Sigma;}\underset{n}{\overset{L-1}{\&Sigma;}}{X}_{\mathrm{\&alpha;}}\left(w_3\right)e^{j\frac{2\mathrm{\&pi;}}{L}n}$

$B\left(n\right)=\frac{1}{L}\underset{m}{\&Sigma;}\underset{n}{\overset{L-1}{\&Sigma;}}{X}_b\left(w_4\right)e^{j\frac{2\mathrm{\&pi;}}{L}n}$

L为频率采样点数；

即可得到时域中δ波、θ波、α波及β波的实时变化值D(n)，T(n)，A(n)，B(n)；将实时变化值D(n)，T(n)，A(n)，B(n)存入数据库，作为一次样本；通过神经网络模型的训练，得到样本集S＝{x_i|i＝1,2,3…N}，其中x_i为单个训练样本，包括D(n)，T(n)，A(n)，B(n)以及对应的理想输出结果，N为训练样本个数。

8.根据权利要求7所述的无人机意念遥操作方法，其特征在于，所述第三步包括以下过程：

在原始样本集中通过bootstrap技术随机抽取样本构成M个子训练集{S_m|m＝1,2,3…M}，子集的训练规模通常与原始训练集相当，样本允许重复选择；

使用BP神经网络对各个子训练集进行训练：设子训练集S_m的理想输出为O＝{O_m}_1≤m≤M，定义误差函数

$E(W,w)==\frac{1}{2}\underset{m=1}{\overset{M}{\&Sigma;}}{\&lsqb;O_m-g\left(\underset{p=1}{\overset{P}{\&Sigma;}}{W}_{mp}g\right(\underset{n=1}{\overset{N}{\&Sigma;}}{w}_{pn}{\mathrm{\&xi;}}_n\left)\right)\&rsqb;}^2$

其中，W＝{W_mp}_{1≤m≤M,1≤p≤P}和w＝{w_pn}_{1≤p≤P,1≤n≤N}分别为输出层与隐层之间的权矩阵和隐层和输入层之间的权矩阵，ξ＝(ξ₁,…,ξ_n)^T∈Rⁿ为输入样本，

$\mathrm{\&zeta;}==g\left(\underset{p=1}{\overset{P}{\&Sigma;}}{W}_{mp}{\mathrm{\&tau;}}_p\right),m=1,2,\mathrm{...},M$

为网络实际输出；

${\mathrm{\&tau;}}_p==g\left(\underset{n=1}{\overset{N}{\&Sigma;}}{w}_{pn}{\mathrm{\&xi;}}_n\right),p=1,\mathrm{...},P$

为网络的隐层输出；

对当前权值W^k和w^k定义权值的增量为

$W_{mp}^k=-\mathrm{\&eta;}\frac{\&part;E}{W_{mp}}+{\mathrm{\&alpha;W}}_{mp}^{k-1},p=1,\mathrm{...},P;m=1,2,\mathrm{...},M;k\&GreaterEqual;1$

$w_{pn}^k=-\mathrm{\&eta;}\frac{\&part;E}{w_{pn}}+{\mathrm{\&alpha;w}}_{pn}^{k-1},p=1,\mathrm{...},P;n=1,2,\mathrm{...},N;k\&GreaterEqual;1$

其中α为动量项因子，η和α为权重系数。

9.根据权利要求8所述的无人机意念遥操作方法，其特征在于，所述第四步包括以下过程：

设各个分类器的预测值为h_i∈{0,1,2,3,4}，分别代表识别动作类型为中性、前、后、左、右，将预测值映射为二维向量t_i(x,y)，定义中性状态为(0,0)，向前为(0,1)，向后为(0，-1)，向左为(-1,0)，向右为(1,0)；计算

$\left\{\begin{array}{c}t(x_t,y_t)=\frac{1}{M}\underset{i=1}{\overset{n}{\&Sigma;}}{t}_i(x,y)\\ p=\left|\right|t(x_t,y_t)\left|\right|=\sqrt{x_t^2+y_t^2}\end{array}\right.$

其中，M为子分类器的数量，若p的值小于预先设定的阈值，则认为集成分类器的输出为中性状态；若p的值大于预先设定的阈值，则根据t(x_t,y_t)在平面中与四个坐标轴的位置关系来确定集成分类器的输出；所述第五步包括以下过程：

每隔固定时间T采集一次耳机的信号质量，并返回一次识别结果，设定滑动窗口大小为N，保存包括当前数据的前N次数据；

将第四步中集成分类器的输出再次映射为二维向量T_n(x,y)，定义中性状态为(0,0)，向前为(0,1)，向后为(0，-1)，向左为(-1,0)，向右为(1,0)；同时记录动作强度为P_n；耳机采集到的信号质量包括无线信号质量S_n(S_n＝0,1,2)和5个电极的信号质量；对5个电极的信号质量求算数平均，得到Q_n(0≤Q_n≤4)；

联合耳机的信号质量，对识别结果的筛选方法如下：

(1)S_n<2时：将识别结果重置为中性，强度为0；

(2)S_n＝2时：计算电极在一定时间内的平均信号强度

$\stackrel{\&OverBar;}{Q}=\frac{1}{N}\underset{i=n-N+1}{\overset{n}{\&Sigma;}}{Q}_n$

设定强度警戒值Q_t，若***提示使用者重新佩戴耳机，并将识别结果重置为中性，强度为0；若计算有效识别结果如下

$\left\{\begin{array}{c}T(x_t,y_t)=\frac{1}{4N}\underset{i=n-N+1}{\overset{n}{\&Sigma;}}{Q}_n\&CenterDot;P_n\&CenterDot;T_n\\ P=\left|\right|T(x_t,y_t)\left|\right|=\sqrt{x_t^2+y_t^2}\end{array}\right.$

选定识别范围角2θ计算

a)若0≤θ_t<θ或2π-θ≤θ_t<2π，识别结果为向右，强度P＝T·x₀；

b)若识别结果为向前，强度P＝T·y₀；

c)若π-θ≤θ_t<π+θ，识别结果为向左，强度P＝T·x₀；

d)若识别结果为向后，强度P＝T·y₀；

其中，x₀、y₀分别为x轴和y轴的单位向量；

最后，设定强度阈值S，舍去强度P<S的识别结果。

10.根据权利要求9所述的无人机意念遥操作方法，其特征在于，控制***采用实时控制多旋翼无人机的方式，实时控制的具体方法是：

地面站使用了Paparazzi***与无人机通信；实际控制流程中，PC终端将脑电识别结果转化为标准数据报文，并写入数传电台，最终通过PPRZLINK协议发送给无人机；无人机飞控接收到PPRZLINK报文后，对其中的数据域进行解析，最终将识别结果转化为控制指令。