CN108272463A - 一种基于脑电信号的飞行员疲劳检测方法 - Google Patents

Abstract

本发明公开了一种基于脑电信号的飞行员疲劳检测方法，包括基于脑电波信号的小波包预处理，基于脑电波的四个节律疲劳特征评价指标，基于深度收缩自编码网络识别飞行员状态和对识别出的飞行员疲劳状态进行显示，先利用小波包对采集的脑电波信号进行预处理，提取出脑电波信号的四种节律波；并将重组的波段信号作为纯净的脑电信号，计算基于四种节律波功率谱面积的疲劳特征；再利用所提的深度收缩自编码网络模型对飞行员脑电波信号进行分析来识别飞行员状态；对识别出的飞行员疲劳状态进行显示。本发明用于适航审定或者高空飞行中对飞行员疲劳状态进行识别，实时监测飞行员疲劳状态，确保飞行员安全飞行，合理设计飞行员负荷及完善适航审定标准。

Description

一种基于脑电信号的飞行员疲劳检测方法

技术领域

本发明涉及飞行员脑电波信号脑区的选取及基于脑电波信号的飞行员疲劳状态识别技术领域，尤其涉及到一种基于脑电信号的飞行员疲劳检测方法。

背景技术

随着科技的进步以及飞行器自动化水平不断提高，因飞机发动机、操作平台等设备故障导致飞行事故的比例从上世纪中页的85％降到了如今的12％～21％，而因为操作者所导致的飞行事故占全部飞行事故的比例现已高达70％。据国际民航组织(InternationalCivil Aviation Organization，ICAO)的统计，人为因素在现代航空事故中所占的比例高达76％，其中飞行人员原因造成的事故占60％以上，与飞行员疲劳有关的事故占21％。因此，减少因飞行员疲劳造成的飞行事故，对航空安全具有重大意义。

对于飞行员疲劳状态的识别，目前众多识别并未取得较好的实时性效果。申请号为CN201610846881.8、发明名称为一种基于脑电信号的驾驶疲劳的检测方法的专利申请，对脑电信号的分析只在频域分析，并且只提取了脑电的频域特征，而脑电信号是非平稳的信号，具有时频域的特征，该发明用小波包变换的方法对脑电信号进行处理，可以很好的保留脑电信号的时频域特征；该发明提取的脑电特征只有样本熵和不同节律平均功率的比值两种特征指标，不能很好的表征复杂的脑电信号。本发明使用深度学习的方法--稀疏自编码网络，对脑电信号进行无监督的特征提取，能最大程度的保留脑电信号的抽象特征，并且这些特征都是不相关的。

申请号为CN201510808562.3、发明名称为基于人脸检测和人眼状态识别的疲劳检测方法的专利申请，运用人脸和人眼识别的方法，这类方法在实际运用中有可能存在问题，该类方法容易受光线等环境因素的影响，个体差异也比较大，导致识别的准确率并不是很高；另外视觉特征比较容易伪装,驾驶员可以骗过***的检测。本发明中的脑电信号是大脑皮层产生的电位信号，是生理信号，无法伪装。

针对科学验证脑电波信号是疲劳检测的金标准、深度学习方法具有深层结构、以及收缩自编码具有抗干扰防止过拟合自学习的优势，利用基于深度收缩自编码网络学习脑电波信号来识别飞行员疲劳状态。此外，针对先验的实验数据，根据飞行员两级疲劳量表以及飞行操作的表现情况，划分的非疲劳、微疲劳和极度疲劳状态以及所对应的脑电波信号，来训练深度收缩自编码网络，及时给予飞行员状态进行识别，在飞行员进入疲劳状态之前给予提醒，有利于帮助训练从事民航飞行的飞行员，提高有效的飞行操作，更好地驾驶飞机，有利于民航及军队更好地安排布置飞行员负荷任务。

发明内容

针对上述技术问题，本发明的目的在于提供一种基于脑电信号的飞行员疲劳检测方法，通过小波包变换对脑电信号进行多尺度分解、之后运用稀疏自编码网络对脑电信号进行特征提取，并且运用Softmax分类器对飞行员疲劳状态进行识别。

为实现上述目的，本发明是根据以下技术方案实现的：

一种基于脑电信号的飞行员疲劳检测方法，其特征在于，包括如下步骤：

步骤S1：对模拟飞行实验中飞行员的脑电信号进行采集，得到飞行员的脑电数据；

步骤S2：使用小波包变换对采集到的脑电信号进行去噪处理，获得滤波去噪后的脑电信号；

步骤S3：采用小波变换获得四个节律δ波、θ波、α波和β波,分别计算四个节律波的功率谱(Power Spectrum,PS)和功率谱面积如下：

其中，PS(f)为功率谱函数，Σ求和表示功率谱曲线的面积，这样获得脑电疲劳评价的四个指标：(α+θ)/β,α/β,(α+θ)/(α+β)和θ/β；

步骤S4：运用深度收缩自编码网络对脑电疲劳特征进行抽象特征提取，得到疲劳脑电的抽象特征；

步骤S5：对飞行员疲劳状态进行分类识别，得到飞行员所处的疲劳状态。

上述技术方案中，步骤S1具体包括如下步骤：

步骤S101：使用64个参考电极的BCI-2000***，对飞行员的脑电信号进行采集,采集64通道的脑电信号；

步骤S102：挑选出与疲劳相关的工作区域，选取的电极位置为Fp1的脑电数据，得到训练的样本集{(x⁽¹⁾,y⁽¹⁾),…,(x^(m),y^(m))}，其中，样本集表示经过处理的疲劳状态数据集，X表示疲劳特征向量，Y表示疲劳状态标签。

上述技术方案中，步骤S2具体包括如下步骤：

步骤S201：确定小波和需要多少层进行分解，然后信号分解,提取频率低于32Hz的4种节律波段；

步骤S202：小波包基最优化，根据一定的熵的规范，得出最优树；

步骤S203：根据每个小波包的分解系数，选择合适的阈值，以便量化系数；

步骤S204：按照最低层的小波包分解系数，和已经经过量化处理的系数，做小波包重构；

上述技术方案中，步骤S3具体包括如下步骤：

步骤S301：分别计算θ波、α波和β波的功率谱；

步骤S302：根据式(1),(2)和(3),分别计算四个疲劳评价指标：(α+θ)/β,α/β,(α+θ)/(α+β)和θ/β。

上述技术方案中，步骤S4具体包括如下步骤：

步骤S401：将脑电疲劳特征输入深度收缩自编码网络；

步骤S402：设置隐藏层数N,及计数器i＝0，随机初始化超参数：隐藏层权重w和偏移系数b，惩罚项系数λ；

步骤S403：原始数据其中n₁为输入层的神经元数，通过非线性激活函数s(·)，映射到隐藏层，得到隐藏层对输入层的编码结果其中n₂为隐藏层的神经元个数，则：其中S表示非性线激活函数，W表示隐藏层权重向量，B表示偏移系数b的向量；再利用同样的方法将h映射到重构层得有：y＝s(W′h+B′)，式中，W′和B′分别为隐藏层到重构层的权重和偏移系数；i＝i+1；

步骤S404：调整W和B、W′和B′使x和y之间近似，并在代价函数中加入隐藏层的雅克比矩阵限制条件，抑制干扰，有数学表达式为雅克比矩阵：得到损失函数：

对重构向量进行惩罚；

通过迭代算法：

和优化损失函数训练参数W和B、W′和B′进行更新，直至算法收敛；

步骤S405：判断隐藏层数i为N；若否，则h为x，跳到步骤S402；若是，得各层参数W和B、W′和B′；

步骤S406：将步骤S405中所得的各层参数W和B、W′和B′作为DCAEN-Softmax模型的初始值，利用带标签的数据及反向传播算法微调各层参数。

上述技术方案中，步骤S5具体包括如下步骤：

步骤S501：将脑电信号抽象特征输入到softmax分类器,记类标签y可以取r个不同的值，对于训练集{(x⁽¹⁾,y⁽¹⁾),…,(x^(m),y^(m))}，类标签为y^m∈{1,2,…,r}，r为分类数，对于给定的输入x⁽ⁿ⁾，用假设函数h_λ(x⁽ⁿ⁾)针对每一个类k估算出概率值p(y⁽ⁿ⁾＝k|x⁽ⁿ⁾),k＝1,…,r；h_λ(x⁽ⁿ⁾)输出一个r维列向量，每行表示当前类的概率；

假定假设函数h_λ(x⁽ⁿ⁾)为

其中，λ₁，λ₂,…,λ_r是模型参数，将x⁽ⁿ⁾分为第k类的概率记为

Softmax分类器的代价函数为：

步骤S502：将疲劳分为正常、微疲劳和疲劳三种状态，通过梯度下降法得到softmax分类器的模型参数λ₁，λ₂，λ₃；

步骤S503：根据步骤S502计算得到的模型参数和公式计算采集到的飞行员脑电信号属于三类的概率p₁，p₂，p₃，并比较p₁，p₂，p₃的大小，采集到的脑电信号属于p₁，p₂，p₃最大的对应的类别。

本发明与现有技术相比，具有如下有益效果：

针对科学验证脑电波信号是疲劳检测的金标准、深度学习方法具有深层结构、以及收缩自编码具有抗干扰防止过拟合自学习的优势，本发明利用基于深度收缩自编码网络学习脑电波信号来识别飞行员疲劳状态。此外，本发明针对先验的实验数据，根据飞行员两级疲劳量表以及飞行操作的表现情况，划分的非疲劳、微疲劳和极度疲劳状态以及所对应的脑电波信号，来训练深度收缩自编码网络。本发明及时给予飞行员状态进行识别，在飞行员进入疲劳状态之前给予提醒，有利于帮助训练从事民航飞行的飞行员，提高有效的飞行操作，更好地驾驶飞机，有利于民航及军队更好地安排布置飞行员负荷任务。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。

图1是本发明的基于脑电波信号的飞行员疲劳识别***总体结构示意图；

图2是本发明中对脑电波信号预处理***的结构示意图；

图3是本发明中利用DB4小波包处理某导联脑电波数据的结果；

图4是根据式(1)、(2)和(3)计算的四个疲劳指标；

图5是本发明的基于深度收缩自编码网络的飞行员识别***的结构示意图；

图6是本发明利用测试数据集对基于脑电波信号的飞行员疲劳状态的识别结果。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。

图1是本发明的基于脑电波信号的飞行员疲劳识别***总体结构示意图，本发明主要是对脑电波数据的预处理及飞行员疲劳状态的识别。

一种基于脑电信号的飞行员疲劳检测方法，其特征在于，包括如下步骤：

步骤S1：对模拟飞行实验中飞行员的脑电信号进行采集，得到飞行员的脑电数据；

步骤S2：使用小波包变换对采集到的脑电信号进行去噪处理，获得滤波去噪后的脑电信号；

步骤S3：采用小波变换获得四个节律δ波(0.4～3Hz)、θ波(4～7Hz)、α波(8～13Hz)和β波(14～30Hz),分别计算四个节律波的功率谱和功率谱面积如下：

其中，PS(f)为功率谱函数，Σ求和表示功率谱曲线的面积，获得脑电疲劳评价的四个指标：(α+θ)/β,α/β,(α+θ)/(α+β)和θ/β；

步骤S4：运用深度收缩自编码网络对脑电疲劳特征进行抽象特征提取，得到疲劳脑电的抽象特征；

步骤S5：对飞行员疲劳状态进行分类识别，得到飞行员所处的疲劳状态。

上述技术方案中，步骤S1具体包括如下步骤：

步骤S101：使用64个参考电极的BCI-2000***，对飞行员的脑电信号进行采集,采集64通道的脑电信号；

步骤S102：挑选出与疲劳相关的工作区域，选取的电极位置为Fp1的脑电数据，得到训练的样本集{(x⁽¹⁾,y⁽¹⁾),…,(x^(m),y^(m))}。

具体地，本发明步骤S2具体包括如下步骤：

步骤S201：确定小波和需要多少层进行分解，然后信号分解,提取频率低于32Hz的4种节律波段；

步骤S202：小波包基最优化，根据一定的熵的规范，得出最优树；

步骤S203：根据每个小波包的分解系数，选择合适的阈值，以便量化系数；

步骤S204：按照最低层的小波包分解系数，和已经经过量化处理的系数，做小波包重构；

步骤S3具体包括如下步骤：

步骤S301：分别计算θ波、α波和β波的功率谱面积；

步骤S302：根据式(1)、(2)和(3),分别计算四个疲劳评价指标：(α+θ)/β,α/β,(α+θ)/(α+β)和θ/β。

步骤S4具体包括如下步骤：

步骤S401：将脑电疲劳特征输入深度收缩自编码网络；

步骤S402：设置隐藏层数N,及计数器i＝0，随机初始化超参数：隐藏层权重w和偏移系数b，惩罚项系数λ；

步骤S403：原始数据其中n₁为输入层的神经元数，通过非线性激活函数s(·)，映射到隐藏层，得到隐藏层对输入层的编码结果其中n₂为隐藏层的神经元个数，则：其中S表示非性线激活函数，W表示隐藏层权重向量，B表示偏移系数b的向量；再利用同样的方法将h映射到重构层得有：y＝s(W′h+B′)，式中，W′和B′分别为隐藏层到重构层的权重和偏移系数；i＝i+1；

步骤S404：调整W和B、W′和B′使x和y之间近似，并在代价函数中加入隐藏层的雅克比矩阵限制条件，抑制干扰，有数学表达式为雅克比矩阵：得到损失函数：

对重构向量进行惩罚；

通过迭代算法：

和优化损失函数训练参数W和B、W′和B′进行更新，直至算法收敛；

步骤S405：判断隐藏层数i为N；若否，则h为x，跳到步骤S402；若是，得各层参数W和B、W′和B′；

步骤S406：将步骤S405中所得的各层参数W和B、W′和B′作为DCAEN-Softmax模型的初始值，利用带标签的数据及反向传播算法微调各层参数，DCAEN-Softmax模型为深度收缩自编码网络-Softmax模型。

步骤S5具体包括如下步骤：

步骤S501：将脑电信号抽象特征输入到softmax分类器,记类标签y可以取r个不同的值，对于训练集{(x⁽¹⁾,y⁽¹⁾),…,(x^(m),y^(m))}，类标签为y^m∈{1,2,…,r}，r为分类数，对于给定的输入x⁽ⁿ⁾，用假设函数h_λ(x⁽ⁿ⁾)针对每一个类k估算出概率值p(y⁽ⁿ⁾＝k|x⁽ⁿ⁾),k＝1,…,r；h_λ(x⁽ⁿ⁾)输出一个r维列向量，每行表示当前类的概率；

假定假设函数h_λ(x⁽ⁿ⁾)为

其中，λ₁，λ₂,…,λ_r是模型参数，将x⁽ⁿ⁾分为第k类的概率记为

Softmax分类器的代价函数为：

步骤S502：将疲劳分为正常、微疲劳和疲劳三种状态，通过梯度下降法得到softmax分类器的模型参数λ₁，λ₂，λ₃；

步骤S503：根据步骤S502计算得到的模型参数和公式计算采集到的飞行员脑电信号属于三类的概率p₁，p₂，p₃，并比较p₁，p₂，p₃的大小，采集到的脑电信号属于p₁，p₂，p₃最大的对应的类别。

图2是本发明中对脑电波信号预处理***的结构示意图；利用脑电波信号与飞行员疲劳状态之间的关系，选取合适的脑区脑电波信号，提取脑电波信号中的四种节律，重组成纯净的脑电波信号,计算基于功率谱曲线面积的疲劳特征。

图3是本发明中利用DB4小波包处理某导联脑电波数据的结果；鉴于脑电波采集设备的采样频率为160Hz及脑电波四种节律波段，选择DB4小波包的四层分解，提取较纯净的脑电波信号,分别计算出四个节律波。

图4是根据式(1)、(2)和(3)计算的四个疲劳指标:(α+θ)/β(见图4-a),α/β(见图4-b),(α+θ)/(α+β)(见图4-c)和θ/β(见图4-d)。

图5是发明的基于深度收缩自编码网络的飞行员识别***的结构示意图；本发明设置五层的深度收缩自编码网络及各层神经元数2880-800-400-50-3。

图6是本发明利用测试数据集对基于脑电波信号的飞行员疲劳状态的识别结果，针对图5，共有2400个测试样本，z＝1表示非疲劳状况，z＝2表示微疲劳状况，z＝3表示极度疲劳状况；如表1所示，测试集800个真实标签为非疲劳的飞行员状况有34个被识别为微疲劳状况，有27个被识别为极度疲劳状况；测试集800个真实标签为微疲劳的飞行员状况有26个被识别为非疲劳状况，有40个被识别为极度疲劳状况；测试集800个真实标签为极度疲劳的飞行员状况有25个被识别为非疲劳状况，有32个被识别为微疲劳状况。

表1

本发明的基于脑电波信号的飞行员疲劳识别***可以用于飞行过程中对飞行员状态进行检测，对从飞行员相关脑区的脑电波信号出发，针对小波包变化预处理脑电波信号得出较纯净脑电波信号，利用深度学习的深层非线性及收缩自编码网络的雅克比行列式约束抗干扰的能力，更好地基于脑电波信号识别飞行员疲劳状态，可以提高飞行员飞行质量及合理规划飞行员的飞行负荷安排。

以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思做出诸多修改与变化。因此，凡本技术领域中技术人员依本发明的构思在现有的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。

Claims (6)

1.一种基于脑电信号的飞行员疲劳检测方法，其特征在于，包括如下步骤：

步骤S1：对模拟飞行实验中飞行员的脑电信号进行采集，得到飞行员的脑电数据；

步骤S2：使用小波包变换对采集到的脑电信号进行去噪处理，获得滤波去噪后的脑电信号；

步骤S3：采用小波变换获得四个节律δ波、θ波、α波和β波,分别计算四个节律波的功率谱(Power Spectrum,PS)和功率谱面积如下：

其中，PS(f)为功率谱函数，Σ求和表示功率谱曲线的面积，这样获得脑电疲劳评价的四个指标：(α+θ)/β,α/β,(α+θ)/(α+β)和θ/β；

步骤S4：运用深度收缩自编码网络对脑电疲劳特征进行抽象特征提取，得到疲劳脑电的抽象特征；

步骤S5：对飞行员疲劳状态进行分类识别，得到飞行员所处的疲劳状态。

2.根据权利要求1所述的一种基于脑电信号的飞行员疲劳检测方法，其特征在于，步骤S1具体包括如下步骤：

步骤S101：使用64个参考电极的BCI-2000***，对飞行员的脑电信号进行采集,采集64通道的脑电信号；

步骤S102：挑选出与疲劳相关的工作区域，选取的电极位置为Fp1 的脑电数据，得到训练的样本集{(x⁽¹⁾,y⁽¹⁾),…,(x^(m),y^(m))}，其中，样本集表示经过处理的疲劳状态数据集，X表示疲劳特征向量，Y表示疲劳状态标签。

3.根据权利要求2所述的一种基于脑电信号的飞行员疲劳检测方法，其特征在于，步骤S2具体包括如下步骤：

步骤S201：确定小波和需要多少层进行分解，然后信号分解,提取频率低于32Hz的4种节律波段；

步骤S202：小波包基最优化，根据一定的熵的规范，得出最优树；

步骤S203：根据每个小波包的分解系数，选择合适的阈值，以便量化系数；

步骤S204：按照最低层的小波包分解系数，和已经经过量化处理的系数，做小波包重构。

4.根据权利要求3所述的一种基于脑电信号的飞行员疲劳检测方法，其特征在于，步骤S3具体包括如下步骤：

步骤S301：分别计算θ波、α波和β波的功率谱；

步骤S302：根据式(1),(2)和(3),分别计算四个疲劳评价指标：(α+θ)/β,α/β,(α+θ)/(α+β)和θ/β。

5.根据权利要求3所述的一种基于脑电信号的飞行员疲劳检测方法，其特征在于，步骤S4具体包括如下步骤：

步骤S401：将脑电疲劳特征输入深度收缩自编码网络；

步骤S402：设置隐藏层数N,及计数器i＝0，随机初始化超参数：隐藏层权重w和偏移系数b，惩罚项系数λ；

步骤S403：原始数据其中n₁为输入层的神经元数，通过非线性激活函数s(·)，映射到隐藏层，得到隐藏层对输入层的编码结果其中n₂为隐藏层的神经元个数，则：其中S表示非性线激活函数，W表示隐藏层权重向量，B表示偏移系数b的向量；再利用同样的方法将h映射到重构层得有：y＝s(W′h+B′)，式中，W′和B^′分别为隐藏层到重构层的权重和偏移系数；i＝i+1；

步骤S404：调整W和B、W′和B′使x和y之间近似，并在代价函数中加入隐藏层的雅克比矩阵限制条件，抑制干扰，有数学表达式为雅克比矩阵：得到损失函数：

对重构向量进行惩罚；

通过迭代算法：

和优化损失函数训练参数W和B、W′和B′进行更新，直至算法收敛；

步骤S405：判断隐藏层数i为N；若否，则h为x，跳到步骤S402；若是，得各层参数W和B、W′和B′；

步骤S406：将步骤S405中所得的各层参数W和B、W′和B′作为DCAEN-Softmax模型的初始值，利用带标签的数据及反向传播算法微调各层参数。

6.根据权利要求4所述的一种基于脑电信号的飞行员疲劳检测方法，其特征在于，步骤S5具体包括如下步骤：

步骤S501：将脑电信号抽象特征输入到softmax分类器,记类标签y可以取r个不同的值，对于训练集{(x⁽¹⁾,y⁽¹⁾),…,(x^(m),y^(m))}，类标签为y^m∈{1,2,…,r}，r为分类数，对于给定的输入x⁽ⁿ⁾，用假设函数h_λ(x⁽ⁿ⁾)针对每一个类k估算出概率值p(y⁽ⁿ⁾＝k|x⁽ⁿ⁾),k＝1,…,r；h_λ(x⁽ⁿ⁾)输出一个r维列向量，每行表示当前类的概率；

假定假设函数h_λ(x⁽ⁿ⁾)为

其中，λ₁，λ₂,…,λ_r是模型参数，将x⁽ⁿ⁾分为第k类的概率记为

Softmax分类器的代价函数为：

步骤S502：将疲劳分为正常、微疲劳和疲劳三种状态，通过梯度下降法得到softmax分类器的模型参数λ₁，λ₂，λ₃；

步骤S503：根据步骤S502计算得到的模型参数和公式计算采集到的飞行员脑电信号属于三类的概率p₁，p₂，p₃，并比较p₁，p₂，p₃的大小，采集到的脑电信号属于p₁，p₂，p₃最大的对应的类别。