CN116807478A - 一种驾驶员瞌睡开始状态检测方法、装置及设备 - Google Patents
一种驾驶员瞌睡开始状态检测方法、装置及设备 Download PDFInfo
- Publication number
- CN116807478A CN116807478A CN202310772607.0A CN202310772607A CN116807478A CN 116807478 A CN116807478 A CN 116807478A CN 202310772607 A CN202310772607 A CN 202310772607A CN 116807478 A CN116807478 A CN 116807478A
- Authority
- CN
- China
- Prior art keywords
- data sample
- window
- rising edge
- driver
- drowsiness
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 206010041349 Somnolence Diseases 0.000 title claims abstract description 97
- 238000000034 method Methods 0.000 title claims abstract description 85
- 208000032140 Sleepiness Diseases 0.000 title claims abstract description 23
- 230000037321 sleepiness Effects 0.000 title claims abstract description 23
- 230000000630 rising effect Effects 0.000 claims abstract description 153
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 42
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 20
- 238000003064 k means clustering Methods 0.000 claims abstract description 20
- 238000009826 distribution Methods 0.000 claims abstract description 14
- 210000004556 brain Anatomy 0.000 claims description 54
- 238000001514 detection method Methods 0.000 claims description 49
- 238000011176 pooling Methods 0.000 claims description 29
- 238000012549 training Methods 0.000 claims description 25
- 239000011159 matrix material Substances 0.000 claims description 22
- 230000004913 activation Effects 0.000 claims description 11
- 238000005070 sampling Methods 0.000 claims description 11
- 238000012545 processing Methods 0.000 claims description 10
- 238000012360 testing method Methods 0.000 claims description 9
- 230000009466 transformation Effects 0.000 claims description 8
- 238000003491 array Methods 0.000 claims description 7
- 238000004891 communication Methods 0.000 claims description 7
- 210000002569 neuron Anatomy 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 6
- 230000001174 ascending effect Effects 0.000 claims description 5
- 238000005259 measurement Methods 0.000 claims description 5
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 4
- 238000005457 optimization Methods 0.000 claims description 4
- 238000013507 mapping Methods 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 2
- 230000006870 function Effects 0.000 description 27
- 210000001508 eye Anatomy 0.000 description 19
- 238000010586 diagram Methods 0.000 description 9
- 230000005611 electricity Effects 0.000 description 9
- 230000006399 behavior Effects 0.000 description 8
- 238000004590 computer program Methods 0.000 description 7
- 238000010801 machine learning Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000011160 research Methods 0.000 description 5
- 238000002474 experimental method Methods 0.000 description 4
- 238000010606 normalization Methods 0.000 description 4
- 206010039203 Road traffic accident Diseases 0.000 description 3
- 230000000903 blocking effect Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 230000004399 eye closure Effects 0.000 description 3
- 210000000744 eyelid Anatomy 0.000 description 3
- 239000012634 fragment Substances 0.000 description 3
- 238000007619 statistical method Methods 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 210000005252 bulbus oculi Anatomy 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 208000007590 Disorders of Excessive Somnolence Diseases 0.000 description 1
- 208000027418 Wounds and injury Diseases 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000027288 circadian rhythm Effects 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 239000004020 conductor Substances 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 230000002045 lasting effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000003340 mental effect Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000010355 oscillation Effects 0.000 description 1
- 230000033764 rhythmic process Effects 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
Abstract
本发明涉及一种驾驶员瞌睡开始状态检测方法，包括：基于包含瞌睡状态的一导脑电信号与一导垂直眼电信号，得到预先训练好的一维卷积神经网络，利用k‑means聚类算法，获取上升沿质心Co与非上升沿质心Ci,i＝1,2,…，k；利用第一滑动窗口在脑电测试数据上滑动，获取当前窗口脑电数据样本Oc输入预先训练好的一维卷积神经网络中，获取分类预测结果；当分类预测结果为存在alpha波时，记录Oc的时间范围[t0,t0+l1]；利用小波能量分布方法，从[t0,t0+l1]中，获取alpha波出现的开始时刻tα；基于tα获取预设时间区域，利用第二滑动窗口在垂直眼电信号上滑动，直至当前窗口眼电数据样本Vc的结束点到达预设时间区域的结束点；计算每次滑动时获取的Vc，与Co及Ci,i＝1,2,…，k之间的相关系数；若存在Vc与Co相关系数最大，则检测到驾驶员瞌睡开始状态。
Description
技术领域
本发明涉及生物医学工程与机器学习交叉技术领域，尤其是指一种驾驶员瞌睡开始状态检测方法、装置及设备。
背景技术
据报道，驾驶员在驾驶过程中几乎都有过打瞌睡的经历。疲劳驾驶会导致驾驶员机能的降低，容易引发严重的交通事故，给社会和家庭带来巨大的经济损失和精神伤害；由于人类睡眠受生物节律的影响，一般在午后和午夜时间更容易产生睡意，而当睡眠压力累积到一定程度时，会无意识地进入瞌睡状态，从而引发交通事故。此外，即使是在无人驾驶条件下，驾驶员因为缺乏外界刺激，也容易在长时间单调的车载环境中进入睡眠状态。而现代技术社会依赖于运输、医疗、航空和许多公共服务等行业的24小时运营或轮班工作，这会对人的睡眠和昼夜节律产生重大干扰，从而引发疲劳。因此，实现对驾驶员疲劳或者瞌睡的精确检测和及时预警，是预防由驾驶疲劳引发的道路交通事故的迫切需求，同时，也对高铁、航空以及教育等行业具有重要的研究价值。
在驾驶过程中，驾驶员的瞌睡行为对于道路安全来说是极度危险的。研究瞌睡过程中脑电和眼电信号的变化规律以及提出相应的检测方法是极具实用意义的。脑电和眼电信号等生物电信号，被认为最能够反映驾驶员疲劳的产生机制。目前已有的基于生物电信号的驾驶员疲劳检测方法的可以分为基于统计分析的方法和基于机器学习的方法。但这两种方法都需要首先使用传统的疲劳度量方法采集到的数据进行疲劳等级划分。而疲劳度量的方法，如主观量表法、视频标记法或其他根据车辆驾驶行为如车道偏离值等方法，存在主观性、可靠性差的问题，这样导致基于统计分析和机器学习的疲劳驾驶检测方法的检测结果的可信度不高和实用性受到限制。
且瞌睡过程是一个短时入睡过，瞌睡行为首先开始于无意识的闭眼行为，频繁的瞌睡意味着频繁的睁闭眼行为。已有的研究发现瞌睡发生时伴随着脑电alpha波变化：脑电alpha波的阻断现象—脑电alpha波在整个瞌睡闭眼期间连续出现；脑电alpha波的衰减-消失现象—脑电alpha波在瞌睡发生时短暂出现，然后衰减消失。同时，瞌睡发生时所产生的闭眼行为导致垂直眼电信号上产生上升沿波形。现有的检测脑电alpha波的技术，主要采用数字信号处理方法，如傅里叶变换、小波变换等计算脑电alpha频带能量，并根据预设阈值判断是否为alpha波，需要人为预设阈值，存在因阈值设置不合适导致检测精准度不高的问题。而对于垂直眼电信号中的上升沿波形的检测，现有技术集中与对水平眼电信号的研究，且对垂直眼电信号的检测是利用采集面部信息视频进行标记的方式，存在标记效率低、人工成本高的问题；且现有的垂直眼电信号的检测时利用信号差分方法结合阈值来对上升沿波形进行判定，检测效率低。
发明内容
为此，本发明所要解决的技术问题在于克服现有技术中对alpha波检测精度不高、对垂直眼电信号上升沿波形检测效率低的问题。
为解决上述技术问题，本发明提供了一种驾驶员瞌睡开始状态检测方法，包括：
基于包含瞌睡状态的一导脑电信号，获取包含alpha波的窗口数据样本集A+与不包含alpha波的窗口数据样本集A-，作为训练集，训练得到预先训练好的一维卷积神经网络；
基于包含瞌睡状态的一导垂直眼电信号，获取上升沿窗口数据样本集R+与非上升沿的窗口数据样本集R-；利用k-means聚类算法，获取上升沿窗口数据样本集R+中的一个上升沿质心Co与非上升沿的窗口数据样本集R-中的k个非上升沿质心Ci,i＝1,2,…,k；
获取待检测驾驶员的一导脑电测试数据与对应的一导垂直眼电信号；
利用预设时长与步长的第一滑动窗口在待检测驾驶员的一导脑电测试数据上滑动，获取每次滑动的当前窗口脑电数据样本Oc，输入所述预先训练好的一维卷积神经网络，获取分类预测结果；
当分类预测结果为存在alpha波时，记录当前窗口脑电数据样本Oc的时间范围[t0,t0+l1]；并利用小波能量分布方法，从所述当前窗口脑电数据样本Oc的时间范围[t0,t0+l1]中，获取alpha波出现的开始时刻tα；
基于开始时刻tα获取预设时间区域，利用预设时长与步长的第二滑动窗口在待检测驾驶员的一导垂直眼电信号上滑动，直至当前窗口眼电数据样本Vc的结束点到达所述预设时间区域的结束点；
计算每次滑动时获取的当前窗口眼电数据样本Vc，与上升沿质心及多个非上升沿质心之间的相关系数；
若存在当前窗口眼电数据样本Vc与上升沿质心距离最小或相关系数最大，则检测到驾驶员瞌睡开始状态，记录当前窗口眼电数据样本Vc的开始时刻tv为驾驶员瞌睡开始状态发生时刻。
在本发明的一个实施例中，所述基于包含瞌睡状态的一导脑电信号，获取包含alpha波的窗口数据样本集A+与不包含alpha波的窗口数据样本集A-，作为训练集，训练得到预先训练好的一维卷积神经网络，包括：
采集包含瞌睡状态的一导脑电信号，进行预处理，获取alpha波片段与非alpha波片段；
利用预设时长与步长的第一滑动窗口在所述alpha波片段上滑动，获取包含alpha波的窗口数据样本集A+；
利用预设时长与步长的第一滑动窗口在所述非alpha波片段上滑动，获取不包含alpha波的窗口数据样本集A-；
构建一维卷积神经网络，利用包含alpha波的窗口数据样本集A+与不包含alpha波的窗口数据样本集A-作为训练集，交叉熵损失函数作为网络训练的损失函数进行训练，利用Adam优化算法更新网络参数，获取预先训练好的一维卷积神经网络。
在本发明的一个实施例中，所述一维卷积神经网络沿正传播方向依次包括串联的：
输入模块，输入当前窗口脑电数据样本；
前卷积模块，包括两个串联的卷积单元，每个卷积单元均包括依次串联的前卷积层、批标准化层与激活函数层；所述前卷积层具有预设个数与预设长度的卷积核；
最大池化层，设置池化窗口大小与移动步长，对前卷积模块的输出进行最大池化操作；
后卷积模块，包括两个串联的卷积单元，每个卷积单元均包括依次串联的后卷积层、批标准化层与激活函数层，对最大池化层的输出进行卷积；
全局最大池化层，设置全局池化窗口大小与移动步长，对后卷积模块的输出进行全局最大池化操作；
多层感知器，沿正传播方向依次串联预设个数的全连接层与一个输出层，用于利用预设个数的神经元对全局最大池化层的输出进行加权求和输出后，映射到线性可分空间，进行分类预测，判断输入的当前窗口脑电数据样本是否包含alpha波。
在本发明的一个实施例中，所述基于包含瞌睡状态的一导垂直眼电信号，获取上升沿窗口数据样本集R+与非上升沿的窗口数据样本集R-；利用k-means聚类算法，获取上升沿窗口数据样本集R+中的一个上升沿质心Co与非上升沿的窗口数据样本集R-中的k个非上升沿质心Ci,i＝1,2,…,k，包括：
采集包含瞌睡状态的一导垂直眼电信号，进行预处理，获取上升沿片段与非上升沿片段；
将所述上升沿片段处理为预设时长、上升沿波形居中的窗口数据片段，获取上升沿窗口数据样本集R+；
利用预设时长与步长的第二滑动窗口在所述非上升沿片段上滑动，获取非上升沿的窗口数据样本集R-；
利用k-means聚类算法，获取上升沿窗口数据样本集R+中的一个上升沿质心Co；
利用k-means聚类算法，获取非上升沿的窗口数据样本集R-中的k个非上升沿质心Ci,i＝1,2,…,k。
在本发明的一个实施例中，所述输入所述预先训练好的一维卷积神经网络，获取分类预测结果后，还包括：
当分类预测结果为不存在alpha波时，利用预先训练好的一维卷积神经网络对下一次第一滑动窗口获取的当前窗口脑电数据样本进行预测。
在本发明的一个实施例中，所述利用小波能量分布方法，从所述当前窗口脑电数据样本Oc的时间范围[t0,t0+l1]中，获取alpha波出现的开始时刻tα，包括：
采用复Morlet小波作为母小波，对当前窗口脑电数据样本Oc，进行连续小波变换，小波变换的尺度范围为[1,z]，获取复数值的连续小波系数矩阵：
其中，y为当前窗口脑电数据样本的采样点数，z为尺度范围的最大值1024；
求取连续小波系数矩阵的绝对值矩阵：
将所述绝对值矩阵B的所有列进行相加，得到一维矩阵Col＝[c11…c1y]，其中，
将一维矩阵Col平均分为3份，获取三个数组：Col1＝[c11…c1u]，Col2＝[c1(u+1)…c1v]，Col3＝[c1(v+1)…c1y]；其中，
分别计算三个数组Col1、Col2、Col3的和：Sum1＝sum(Col1)，Sum2＝sum(Col2)和Sum3＝sum(Col3)；
若Col1的和最大，则认为alpha波的开始时刻tα＝t0；
若Col2的和最大，则alpha波出现的开始时刻
若Col3的和最大，则alpha波出现的开始时刻
其中，Fs为预设数据采样率；INT(·)为取整函数。
在本发明的一个实施例中，所述计算每次滑动时获取的当前窗口眼电数据样本Vc，与上升沿质心及多个非上升沿质心之间的相关系数，包括：
若不存在当前窗口眼电数据样本Vc与非上升沿质心之间的相关系数大于当前窗口眼电数据样本Vc与上升沿质心之间的相关系数，则检测到驾驶员瞌睡开始状态，记录当前窗口眼电数据样本Vc的开始时刻tv为驾驶员瞌睡开始状态发生时刻；
若存在当前窗口眼电数据样本Vc与非上升沿质心之间的相关系数大于当前窗口眼电数据样本Vc与上升沿质心之间的相关系数，则计算下一次第二滑动窗口所获取的当前窗口眼电数据样本，与上升沿质心及多个非上升沿质心之间的相关系数。
本发明实施例还提供了一种驾驶员瞌睡开始状态检测装置，包括：
模型构建模块，用于基于包含瞌睡状态的一导脑电信号，获取包含alpha波的窗口数据样本集A+与不包含alpha波的窗口数据样本集A-，作为训练集，训练得到预先训练好的一维卷积神经网络；基于包含瞌睡状态的一导垂直眼电信号，获取上升沿窗口数据样本集R+与非上升沿的窗口数据样本集R-；利用k-means聚类算法，获取上升沿窗口数据样本集R+中的一个上升沿质心Co与非上升沿的窗口数据样本集R-中的k个非上升沿质心Ci,i＝1,2,…,k；
信号获取模块，用于获取待检测驾驶员的一导脑电测试数据与对应的一导垂直眼电信号；
脑电信号检测模块，用于利用预设时长与步长的第一滑动窗口在待检测驾驶员的一导脑电测试数据上滑动，获取每次滑动的当前窗口脑电数据样本Oc，输入所述预先训练好的一维卷积神经网络，获取分类预测结果；当分类预测结果为存在alpha波时，记录当前窗口脑电数据样本Oc的时间范围[t0,t0+l1]；并利用小波能量分布方法，从所述当前窗口脑电数据样本Oc的时间范围[t0,t0+l1]中，获取alpha波出现的开始时刻tα；
眼电信号检测模块，用于基于开始时刻tα获取预设时间区域，利用预设时长与步长的第二滑动窗口在待检测驾驶员的一导垂直眼电信号上滑动，直至当前窗口眼电数据样本Vc的结束点到达所述预设时间区域的结束点；计算每次滑动时获取的当前窗口眼电数据样本Vc，与上升沿质心及多个非上升沿质心之间的相关系数；
检测结果获取模块，若存在当前窗口眼电数据样本Vc与上升沿质心距离最小或相关系数最大，则检测到驾驶员瞌睡开始状态，记录当前窗口眼电数据样本Vc的开始时刻tv为驾驶员瞌睡开始状态发生时刻。
本发明实施例还提供了一种驾驶员瞌睡开始状态检测设备，包括：
头戴式脑电信号采集装置，用于采集驾驶员的一导脑电测试数据；
眼电信号采集装置，用于采集驾驶员的一导垂直眼电信号；
上位机，与所述头戴式脑电信号采集装置、所述眼电信号采集装置通讯连接，用于获取驾驶员的一导脑电测试数据与一导垂直眼电信号，执行如上述所述的驾驶员瞌睡开始状态检测方法，获取检测结果；
显示装置，与所述上位机通讯连接，用于显示检测结果。
在本发明的一个实施例中，还包括预警装置，与所述上位机通讯连接，用于当上位机获取的检测结果为检测到驾驶员瞌睡开始状态时，发出预警。
本发明的上述技术方案相比现有技术具有以下优点：
本发明所述的驾驶员瞌睡开始状态检测方法利用脑电信号的alpha波与垂直眼电信号的上升沿波形结合的方式进行瞌睡开始状态的检测；利用一维卷积神经网络对获取的存在alpha波的当前窗口脑电数据样本进行分类预测，其适用于分析时序数据，且能够自动学习特征，无需人工设计特征，从而能够实现对alpha波与非alpha的准确分类；利用小波能量分布方法，基于Mor l et母小波的连续小波变换刻画脑电alpha波的时频特征，准确获取alpha波的开始时刻；在包含alpha波开始时刻的时间区域中，计算获取的上升沿质心及非上升沿质心，与当前窗口眼电数据样本的相关系数，判断是否存在上升沿波形，进而判断是否存在瞌睡开始状态；本发明通过结合对脑电信号alpha波与垂直眼电信号上升沿波形的检测，能够有效识别驾驶员瞌睡开始状态，避免因疲劳驾驶导致的道路交通安全问题。
附图说明
为了使本发明的内容更容易被清楚的理解，下面根据本发明的具体实施例并结合附图，对本发明作进一步详细的说明，其中
图1是本发明所提供的驾驶员瞌睡开始状态检测方法的步骤流程图；
图2是本发明所提供的驾驶员瞌睡开始状态检测方法的信号处理示意图；
图3是脑电电极O2的位置示意图；
图4是两导垂直眼电电极位置示意图。
具体实施方式
下面结合附图和具体实施例对本发明作进一步说明，以使本领域的技术人员可以更好地理解本发明并能予以实施，但所举实施例不作为对本发明的限定。
在生物电信号的分析处理方面，数字信号处理方法和机器学***缓波形；在瞌睡结束时，再次睁眼的行为会引起垂直眼电信号的下降沿波形。因此，本发明基于脑电信号的alpha波与眼电信号的上升沿波形，利用一维卷积神经网络模型与k-means聚类，实现对驾驶员瞌睡开始状态的检测。
参照图1所示，本发明的驾驶员瞌睡开始状态检测方法，具体步骤包括：
S101：基于包含瞌睡状态的一导脑电信号，获取包含alpha波的窗口数据样本集A+与不包含alpha波的窗口数据样本集A-，作为训练集，训练得到预先训练好的一维卷积神经网络；
S102：基于包含瞌睡状态的一导垂直眼电信号，获取上升沿窗口数据样本集R+与非上升沿的窗口数据样本集R-；利用k-means聚类算法，获取上升沿窗口数据样本集R+中的一个上升沿质心Co与非上升沿的窗口数据样本集R-中的k个非上升沿质心Ci,i＝1,2,…,k；
S103：获取待检测驾驶员的一导脑电测试数据与对应的一导垂直眼电信号；
S104：利用预设时长与步长的第一滑动窗口在待检测驾驶员的一导脑电测试数据上滑动，获取每次滑动的当前窗口脑电数据样本Oc，输入所述预先训练好的一维卷积神经网络，获取分类预测结果；
S105：当分类预测结果为存在alpha波时，记录当前窗口脑电数据样本Oc的时间范围[t0,t0+l1]；并利用小波能量分布方法，从所述当前窗口脑电数据样本Oc的时间范围[t0,t0+l1]中，获取alpha波出现的开始时刻tα；
当分类预测结果为不存在alpha波时，利用预先训练好的一维卷积神经网络对下一次第一滑动窗口获取的当前窗口脑电数据样本进行预测；
S106：基于开始时刻tα获取预设时间区域，利用预设时长与步长的第二滑动窗口在待检测驾驶员的一导垂直眼电信号上滑动，直至当前窗口眼电数据样本Vc的结束点到达所述预设时间区域的结束点；
S107：计算每次滑动时获取的当前窗口眼电数据样本Vc，与上升沿质心及多个非上升沿质心之间的相关系数；
S108：若存在当前窗口眼电数据样本Vc与上升沿质心距离最小或相关系数最大，则检测到驾驶员瞌睡开始状态，记录当前窗口眼电数据样本Vc的开始时刻tv为驾驶员瞌睡开始状态发生时刻；
即若不存在当前窗口眼电数据样本Vc与非上升沿质心之间的相关系数大于当前窗口眼电数据样本Vc与上升沿质心之间的相关系数，则检测到驾驶员瞌睡开始状态，记录当前窗口眼电数据样本Vc的开始时刻tv为驾驶员瞌睡开始状态发生时刻；若存在当前窗口眼电数据样本Vc与非上升沿质心之间的相关系数大于当前窗口眼电数据样本Vc与上升沿质心之间的相关系数，则计算下一次第二滑动窗口所获取的当前窗口眼电数据样本，与上升沿质心及多个非上升沿质心之间的相关系数。
具体地，在步骤S101中包括：
S101-1：采集包含瞌睡状态的一导脑电信号，进行预处理，获取alpha波片段与非alpha波片段；
S101-2：利用预设时长与步长的第一滑动窗口在所述alpha波片段上滑动，获取包含alpha波的窗口数据样本集A+；
S101-3：利用预设时长与步长的第一滑动窗口在所述非alpha波片段上滑动，获取不包含alpha波的窗口数据样本集A-；
S101-4：构建一维卷积神经网络，利用包含alpha波的窗口数据样本集A+与不包含alpha波的窗口数据样本集A-作为训练集，交叉熵损失函数作为网络训练的损失函数进行训练，利用Adam优化算法更新网络参数，获取预先训练好的一维卷积神经网络。
在步骤S101中构建的一维卷积神经网络沿正传播方向依次包括串联的：
输入模块，输入当前窗口脑电数据样本；
前卷积模块，包括两个串联的卷积单元，每个卷积单元均包括依次串联的前卷积层、批标准化层与激活函数层；所述前卷积层具有预设个数与预设长度的卷积核；
最大池化层，设置池化窗口大小与移动步长，对前卷积模块的输出进行最大池化操作；
后卷积模块，包括两个串联的卷积单元，每个卷积单元均包括依次串联的后卷积层、批标准化层与激活函数层，对最大池化层的输出进行卷积；
全局最大池化层，设置全局池化窗口大小与移动步长，对后卷积模块的输出进行全局最大池化操作；
多层感知器，沿正传播方向依次串联预设个数的全连接层与一个输出层，用于利用预设个数的神经元对全局最大池化层的输出进行加权求和输出后，映射到线性可分空间，进行分类预测，判断输入的当前窗口脑电数据样本是否包含alpha波。
具体地，在本发明实施例中，所述前卷积层的卷积核个数m1满足100≤m1≤300，卷积核长度l3满足10≤l3≤50；卷积核步长为1，卷积层无填充。所述池化窗口大小lw与移动步长lp均满足3≤lw＝lp≤5；所述后卷积层的卷积核个数m2满足50≤m2≤100，卷积核长度lc满足10≤lc≤20；所述全连接层的神经元预设个数范围在50-100之内；输出层的神经元个数为2，输出两类标签。
具体地，在步骤S102中包括：
S102-1：采集包含瞌睡状态的一导垂直眼电信号，进行预处理，获取上升沿片段与非上升沿片段；
S102-2：将所述上升沿片段处理为预设时长、上升沿波形居中的窗口数据片段，获取上升沿窗口数据样本集R+；
S102-3：利用预设时长与步长的第二滑动窗口在所述非上升沿片段上滑动，获取非上升沿的窗口数据样本集R-；
S102-4：利用k-means聚类算法，获取上升沿窗口数据样本集R+中的一个上升沿质心Co；
S102-5：利用k-means聚类算法，获取非上升沿的窗口数据样本集R-中的k个非上升沿质心Ci,i＝1,2,…,k。
具体地，在本发明的实施例中，预设时长与步长的第一滑动窗口的预设时长为固定时长l1，1s≤l1≤3s，预设滑动步长s1，0.1s≤s1≤0.3s；预设时长与步长的第二滑动窗口的预设时长为固定时长l2，1s≤l2≤2s，预设滑动步长s2，0.1s≤s2≤0.3s。
具体地，在步骤S105中包括：
S105-1：采用复Morlet小波作为母小波，对当前窗口脑电数据样本Oc，进行连续小波变换，小波变换的尺度范围为[1,z]，获取复数值的连续小波系数矩阵：
其中，y为当前窗口脑电数据样本的采样点数，z为尺度范围的最大值1024；
S105-2：求取连续小波系数矩阵的绝对值矩阵：
将所述绝对值矩阵B的所有列进行相加，得到一维矩阵Col＝[c11…c1y]，其中，
S105-3：将一维矩阵Col平均分为3份，获取三个数组：Col1＝[c11…c1u]，Col2＝[c1(u+1)…c1v]，Col3＝[c1(v+1)…c1y]；其中，
S105-4：分别计算三个数组Col1、Col2、Col3的和：Sum1＝sum(Col1)，Sum2＝sum(Col2)和Sum3＝sum(Col3)；
若Col1的和最大，则认为alpha波的开始时刻tα＝t0；
若Col2的和最大，则alpha波出现的开始时刻
若Col3的和最大，则alpha波出现的开始时刻
其中，Fs为预设数据采样率；INT(·)为取整函数。
在本实施例中，一维卷积神经网络非常适合分析时序数据，通过端到端的学习方式，直接从原始数据中学习到特征，可以很好地识别脑电信号数据中的简单模式。而垂直眼电信号的波形是由简单的几个眼球和眼睑活动所产生，这些眼睑和眼球活动在垂直眼电信号上产生的波形分别具有肉眼容易区分的特定的模式；利用k-means聚类，将相同模式的样本自动聚集为一个类别，从而识别出瞌睡开始时由眼睑的闭合行为产生的上升沿波形。
基于上述实施例，本发明实施例还提供了一种驾驶员瞌睡开始状态检测装置，包括：
模型构建模块100，用于基于包含瞌睡状态的一导脑电信号，获取包含alpha波的窗口数据样本集A+与不包含alpha波的窗口数据样本集A-，作为训练集，训练得到预先训练好的一维卷积神经网络；基于包含瞌睡状态的一导垂直眼电信号，获取上升沿窗口数据样本集R+与非上升沿的窗口数据样本集R-；利用k-means聚类算法，获取上升沿窗口数据样本集R+中的一个上升沿质心Co与非上升沿的窗口数据样本集R-中的k个非上升沿质心Ci,i＝1,2,…,k；
信号获取模块200，用于获取待检测驾驶员的一导脑电测试数据与对应的一导垂直眼电信号；
脑电信号检测模块300，用于利用预设时长与步长的第一滑动窗口在所述待检测驾驶员的一导脑电测试数据上滑动，获取每次滑动的当前窗口脑电数据样本Oc，输入所述预先训练好的一维卷积神经网络，获取分类预测结果；当分类预测结果为存在alpha波时，记录当前窗口脑电数据样本Oc的时间范围[t0,t0+l1]；并利用小波能量分布方法，从所述当前窗口脑电数据样本Oc的时间范围[t0,t0+l1]中，获取alpha波出现的开始时刻tα；
眼电信号检测模块400，用于基于开始时刻tα获取预设时间区域，利用预设时长与步长的第二滑动窗口在待检测驾驶员的一导垂直眼电信号上滑动，直至当前窗口眼电数据样本Vc的结束点到达所述预设时间区域的结束点；计算每次滑动时获取的当前窗口眼电数据样本Vc，与上升沿质心及多个非上升沿质心之间的相关系数；
检测结果获取模块500，若存在当前窗口眼电数据样本Vc与上升沿质心距离最小或相关系数最大，则检测到驾驶员瞌睡开始状态，记录当前窗口眼电数据样本Vc的开始时刻tv为驾驶员瞌睡开始状态发生时刻。
本实施例的驾驶员瞌睡开始状态检测装置用于实现前述的驾驶员瞌睡开始状态检测方法，因此驾驶员瞌睡开始状态检测装置中的具体实施方式可见前文中的驾驶员瞌睡开始状态检测方法的实施例部分，例如，模型构建模块100，用于实现上述驾驶员瞌睡开始状态检测方法中步骤S101和S102；信号获取模块200，用于实现上述驾驶员瞌睡开始状态检测方法中步骤S103；脑电信号检测模块300，用于实现上述驾驶员瞌睡开始状态检测方法中步骤S104和S105；眼电信号检测模块400，用于实现上述驾驶员瞌睡开始状态检测方法中步骤S106和S107；检测结果获取模块500用于实现上述驾驶员瞌睡开始状态检测方法中步骤S108；所以，其具体实施方式可以参照相应的各个部分实施例的描述，在此不再赘述。
具体地，参照图2所示，本发明所述的驾驶员瞌睡开始状态检测方法利用脑电信号的alpha波与垂直眼电信号的上升沿波形结合的方式进行瞌睡开始状态的检测；利用一维卷积神经网络对获取的存在alpha波的当前窗口脑电数据样本进行分类预测，其适用于分析时序数据，能够自动学习特征，而无需人为设计特征，能够实现对alpha波与非alpha的准确分类；利用小波能量分布方法，基于Morlet母小波的连续小波变换刻画脑电alpha波的时频特征，准确获取alpha波的开始时刻；在包含alpha波开始时刻的时间区域中，计算利用k-means聚类获取的上升沿质心及非上升沿质心，与当前窗口眼电数据样本的相关系数，判断是否存在上升沿波形，进而判断是否存在瞌睡开始状态。
基于上述实施例，在本实施例中，设置模拟驾驶实验，招募具有午睡习惯的驾驶员，实验对象为具有午睡习惯的驾驶员，15名驾驶员参与了这个实验，且这些驾驶员都有持续多达1年的午睡习惯，并要求他们完成Epworth嗜睡量表，量表值都大于9，表示具有较高程度的白日嗜睡程度；采集驾驶员在模拟驾驶环境下包含瞌睡状态的一导枕部区域脑电和一导垂直眼电信号，进行驾驶员瞌睡开始状态检测，具体步骤包括：
S201：模拟驾驶实验设置；
模拟驾驶实验环境，驾驶员坐在一个真实的车内，而在车前竖立的LCD大屏幕可以显示虚拟的驾驶路况；驾驶员可以通过方向盘、油门和刹车踏板操纵虚拟车行驶在虚拟的驾驶路况中；
S202：采用ESI NeuralScan脑电采集***采集一导枕部脑电和一导垂直眼电；
参照图3所示，根据国际电极配置法(10-20***电极配置法)，采集位于枕部区域O2位置的一导脑电；
参照图4所示，采集位于传统垂直眼电位置的位于眼睛上下位置的两个电极信号Vu和Vd，通过Vu和Vd两个电极信号相减得到一导垂直眼电信号VEOG；
ESI NeuralScan脑电采集***中预先设置信号采样率为1000Hz，且设置滤波范围在0-40Hz范围内；
S203：对采集到的脑电O2信号和垂直眼电信号VEOG，采用中值滤波法进行降噪处理；
S204：根据脑电alpha波自身的频率和波幅特征，采用脑电图中传统的目测法，标记出脑电信号上的alpha波片段和非alpha波片段，以及标记出垂直眼电信号上的上升沿片段和非上升沿片段；
S205：采用固定时长为1秒的第一滑动窗口并以特定时长为0.1秒的滑动步长，分别在所有标定的alpha波片段和非alpha波片段滑动，以分别获取包含alpha波的窗口数据样本集和不包含alpha波的窗口数据样本集/>由于数据采样率为1000Hz,因此/>和/>中每个窗口数据样本为1000个数据点；
S206：将标记的上升沿片段处理为固定时长为1.5秒的、且上升沿波形居中的窗口片段，以获取上升沿窗口样本集且对所有非上升沿片段采用相同时长为1.5秒的窗口且以时长为0.1秒的滑动步长滑动，以获取非上升沿的窗口样本集/>由于数据采样率为1000Hz,因此/>和/>每个窗口数据样本为1500个数据点；
S207：构建一个一维卷积神经网络，对包含alpha波的和不包含alpha波的两类窗口数据样本集和/>进行训练，得到训练好的一维卷积神经网络模型M1；
S208：对上升沿窗口样本集与非上升沿的窗口样本集/>进行降采样,由原始的1500个样本点降采样到100个点，并分别得到对应的降采样后的样本集/>和/>
S209：采用k-Means聚类算法，采用欧式距离计算每个样本到质心的距离，对上升沿窗口样本集寻找1个质心/>并对非上升沿窗口样本集/>寻找k＝6个质心：/>i＝1,2,3,…,k；设置k＝6是根据垂直眼电信号上的可肉眼观察到可区分的模式个数；
S210：对一导O2位置上的连续的脑电测试数据，采用固定时长为1秒的第一滑动窗口并以时长为0.1秒的滑动步长上进行滑动，获取每次滑动时的当前窗口样本pc；
S211：使用已经训练好的一维卷积神经网络M1对当前窗口数据样本pc预测其类别为0或1，即表示当前窗口包含alpha波或不包含alpha波；
S212：当一维卷积神经网络M1预测当前测试窗口数据的类别由0变为1时，表示当前窗口出现了脑电alpha波，此时，记录当前窗口数据w*的时间范围[t*,t*+1]秒；
S213：对所记录的时间范围为[t*,t*+1]秒当前窗口数据w*，采用一种基于小波能量分布的方法，进一步精确定位alpha波出现的开始时间点
S214：一旦定位到alpha波出现的开始时间点则转向时域范围为秒的垂直眼电信号，并采用固定时长为/>秒的第二滑动窗口且以时长为/>秒的滑动步长在垂直眼电信号上滑动，直到第二滑动窗口的结束点到达时刻秒；
S215：在步骤S214中的每次滑动所对应的时间点将当前窗口样本/>(其时间范围为/>秒)，分别计算与k+1个质心/>i＝0,1,2,3,…,k之间的相关系数或距离，若当前窗口样本/>与质心Co的相关系数最大或距离最小，则认为检测到了上升沿波形，并记录此时的时间点/>否则，重复步骤S213；
S216：当alpha波开始点和上升沿波形出现时间点/>都检测到时，则检测到了驾驶员的瞌睡开始状态。
具体地，在步骤S207中包括：
S207-1：将原始两类窗口数据样本集本和/>中的每个样本从原始的1000个数据点降采样到500个点,作为一维卷积神经网络模型的训练数据，因此一维卷积神经网络的输入的一维数据的长度为500；
S207-2：设置两个前卷积层，每层的都有150个的卷积核且卷积核长度都为50；设置卷积核步长为1，卷积层无填充；在每个卷积层使用激活函数之前，对数据进行批标准化(BatchNormalization)；每个卷积层使用的激活函数为Relu函数；
S207-3：设置最大池化层，池化窗口大小为为3，池化操作的移动步长为3；
S207-4：设置两个后卷积层，每层都有100个的卷积核且卷积核长度都为10；在每个卷积层使用激活函数之前，对数据进行批标准化(BatchNormalization)；每个卷积层使用的激活函数为Relu函数；
S207-5：设置全局最大池化层；
S207-6：设置两个全连接层，每层的个数依次为80、50，每层的激活函数采用Relu函数；
S207-7：设置神经元个数为2的输出层，用于输出两类数据标签；输出层的激活函数采用Sigmoid函数；
S207-8：采用交叉损失函数作为模型训练的损失函数，并采用Adam优化算法更新网络参数。
具体地，在步骤S213中包括：
S213-1：采用复Morlet小波作为母小波，对窗口数据w*进行连续小波变换，小波变换的尺度范围设置为1～1024，获取复数值的连续小波系数矩阵：其中，100为窗口数据的采样点数1，1024为尺度范围的最大，并求取其绝对值矩阵：/>其中/>
S213-2：将所述绝对值矩阵B*的所有列进行相加，得到一维矩阵其中/>将一维矩阵平均分为3份，获取三个数组：/>其中，
S213-3：分别计算三个数组的和：
和/>
若的值最大，则认为alpha波的开始时间点为/>
若的值最大，则认为alpha波的开始时间点/>
若的值最大，则alpha波的开始时间点/>
基于上述实施例，本发明实施例还提供了一种驾驶员瞌睡开始状态检测设备，包括：
头戴式脑电信号采集装置，用于采集驾驶员的脑电信号；
眼电信号采集装置，用于采集驾驶员的眼电信号；
上位机，与所述头戴式脑电信号采集装置、所述眼电信号采集装置通讯连接，用于获取驾驶员的脑电信号与眼电信号，执行上述所述的驾驶员瞌睡开始状态检测方法，获取检测结果；
显示装置，与所述上位机通讯连接，用于显示检测结果。
具体地，上位机利用一维卷积神经网络对脑电信号进行分类预测，得到存在alpha波的窗口数据，并在该窗口数据的时间区域内获取alpha波的开始时刻；基于开始时刻构建时间区域，并检测该时间区域中的垂直眼电信号中的上升沿波形，计算上升沿波形与上升沿质心及非上升沿质心之间的相关系数，判断是否存在瞌睡开始状态。
基于上述实施例，在本发明实施例中，驾驶员瞌睡开始状态检测设备还包括预警装置，与所述上位机通讯连接，用于当上位机获取的检测结果为检测到驾驶员瞌睡开始状态时，发出预警，提醒驾驶人员不要进入睡眠状态，保证驾驶安全。
本发明所述的驾驶员瞌睡开始状态检测方法利用脑电信号的alpha波与垂直眼电信号的上升沿波形结合的方式进行瞌睡开始状态的检测；利用一维卷积神经网络对获取的存在alpha波的当前窗口脑电数据样本进行分类预测，其适用于分析时序数据，能够自动学习特征，而无需人为设计特征，从而实现对alpha波与非alpha的准确分类；利用小波能量分布方法，基于Mor l et母小波的连续小波变换刻画脑电alpha波的时频特征，准确获取alpha波的开始时刻；在包含alpha波开始时刻的时间区域中，计算利用k-means聚类获取的上升沿质心及非上升沿质心，与当前窗口眼电数据样本的相关系数，判断是否存在上升沿波形，进而判断是否存在瞌睡开始状态；本发明通过结合对脑电信号alpha波与垂直眼电信号上升沿波形的检测，能够有效识别驾驶员瞌睡开始状态，避免因疲劳驾驶导致的道路交通安全问题。
本领域内的技术人员应明白，本申请的实施例可提供为方法、***、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然，上述实施例仅仅是为清楚地说明所作的举例，并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。
Claims (10)
1.一种驾驶员瞌睡开始状态检测方法，其特征在于，包括：
基于包含瞌睡状态的一导脑电信号，获取包含alpha波的窗口数据样本集A+与不包含alpha波的窗口数据样本集A-，作为训练集，训练得到预先训练好的一维卷积神经网络；
基于包含瞌睡状态的一导垂直眼电信号，获取上升沿窗口数据样本集R+与非上升沿的窗口数据样本集R-；利用k-means聚类算法，获取上升沿窗口数据样本集R+中的一个上升沿质心Co与非上升沿的窗口数据样本集R-中的k个非上升沿质心Ci,i＝1,2,…,k；
获取待检测驾驶员的一导脑电测试数据与对应的一导垂直眼电信号；
利用预设时长与步长的第一滑动窗口在待检测驾驶员的一导脑电测试数据上滑动，获取每次滑动的当前窗口脑电数据样本Oc，输入所述预先训练好的一维卷积神经网络，获取分类预测结果；
当分类预测结果为存在alpha波时，记录当前窗口脑电数据样本Oc的时间范围[t0,t0+l1]；并利用小波能量分布方法，从所述当前窗口脑电数据样本Oc的时间范围[t0,t0+l1]中，获取alpha波出现的开始时刻tα；
基于开始时刻tα获取预设时间区域，利用预设时长与步长的第二滑动窗口在待检测驾驶员的一导垂直眼电信号上滑动，直至当前窗口眼电数据样本Vc的结束点到达所述预设时间区域的结束点；
计算每次滑动时获取的当前窗口眼电数据样本Vc，与上升沿质心及多个非上升沿质心之间的相关系数；
若存在当前窗口眼电数据样本Vc与上升沿质心距离最小或相关系数最大，则检测到驾驶员瞌睡开始状态，记录当前窗口眼电数据样本Vc的开始时刻tv为驾驶员瞌睡开始状态发生时刻。
2.根据权利要求1所述的驾驶员瞌睡开始状态检测方法，其特征在于，所述基于包含瞌睡状态的一导脑电信号，获取包含alpha波的窗口数据样本集A+与不包含alpha波的窗口数据样本集A-，作为训练集，训练得到预先训练好的一维卷积神经网络，包括：
采集包含瞌睡状态的一导脑电信号，进行预处理，获取alpha波片段与非alpha波片段；
利用预设时长与步长的第一滑动窗口在所述alpha波片段上滑动，获取包含alpha波的窗口数据样本集A+；
利用预设时长与步长的第一滑动窗口在所述非alpha波片段上滑动，获取不包含alpha波的窗口数据样本集A-；
构建一维卷积神经网络，利用包含alpha波的窗口数据样本集A+与不包含alpha波的窗口数据样本集A-作为训练集，交叉熵损失函数作为网络训练的损失函数进行训练，利用Adam优化算法更新网络参数，获取预先训练好的一维卷积神经网络。
3.根据权利要求2所述的驾驶员瞌睡开始状态检测方法，其特征在于，所述一维卷积神经网络沿正传播方向依次包括串联的：
输入模块，输入当前窗口脑电数据样本；
前卷积模块，包括两个串联的卷积单元，每个卷积单元均包括依次串联的前卷积层、批标准化层与激活函数层；所述前卷积层具有预设个数与预设长度的卷积核；
最大池化层，设置池化窗口大小与移动步长，对前卷积模块的输出进行最大池化操作；
后卷积模块，包括两个串联的卷积单元，每个卷积单元均包括依次串联的后卷积层、批标准化层与激活函数层，对最大池化层的输出进行卷积；
全局最大池化层，设置全局池化窗口大小与移动步长，对后卷积模块的输出进行全局最大池化操作；
多层感知器，沿正传播方向依次串联预设个数的全连接层与一个输出层，用于利用预设个数的神经元对全局最大池化层的输出进行加权求和输出后，映射到线性可分空间，进行分类预测，判断输入的当前窗口脑电数据样本是否包含alpha波。
4.根据权利要求1所述的驾驶员瞌睡开始状态检测方法，其特征在于，所述基于包含瞌睡状态的一导垂直眼电信号，获取上升沿窗口数据样本集R+与非上升沿的窗口数据样本集R-；利用k-means聚类算法，获取上升沿窗口数据样本集R+中的一个上升沿质心Co与非上升沿的窗口数据样本集R-中的k个非上升沿质心Ci,i＝1,2,…,k，包括：
采集包含瞌睡状态的一导垂直眼电信号，进行预处理，获取上升沿片段与非上升沿片段；
将所述上升沿片段处理为预设时长、上升沿波形居中的窗口数据片段，获取上升沿窗口数据样本集R+；
利用预设时长与步长的第二滑动窗口在所述非上升沿片段上滑动，获取非上升沿的窗口数据样本集R-；
利用k-means聚类算法，获取上升沿窗口数据样本集R+中的一个上升沿质心Co；
利用k-means聚类算法，获取非上升沿的窗口数据样本集R-中的k个非上升沿质心Ci,i＝1,2,…,k。
5.根据权利要求1所述的驾驶员瞌睡开始状态检测方法，其特征在于，所述输入所述预先训练好的一维卷积神经网络，获取分类预测结果后，还包括：
当分类预测结果为不存在alpha波时，利用预先训练好的一维卷积神经网络对下一次第一滑动窗口获取的当前窗口脑电数据样本进行预测。
6.根据权利要求1所述的驾驶员瞌睡开始状态检测方法，其特征在于，所述利用小波能量分布方法，从所述当前窗口脑电数据样本Oc的时间范围[t0,t0+l1]中，获取alpha波出现的开始时刻tα，包括：
采用复Mor let小波作为母小波，对当前窗口脑电数据样本Oc，进行连续小波变换，小波变换的尺度范围为[1,z]，获取复数值的连续小波系数矩阵：
其中，y为当前窗口脑电数据样本的采样点数，z为尺度范围的最大值1024；
求取连续小波系数矩阵的绝对值矩阵：
将所述绝对值矩阵B的所有列进行相加，得到一维矩阵Col＝[c11…c1y，其中，
将一维矩阵Col平均分为3份，获取三个数组：Col1＝[c11…c1u]，Col2＝[c1(u+1)…c1v，Col3＝[c1(v+1)…c1y；其中，
分别计算三个数组Col1、Col2、Col3的和：Sum1＝sum(Col1)，Sum2＝sum(Col2)和Sum3＝sum(Col3)；
若Col1的和最大，则认为alpha波的开始时刻tα＝t0；
若Col2的和最大，则alpha波出现的开始时刻
若Col3的和最大，则alpha波出现的开始时刻
其中，Fs为预设数据采样率；INT(·)为取整函数。
7.根据权利要求1所述的驾驶员瞌睡开始状态检测方法，其特征在于所述计算每次滑动时获取的当前窗口眼电数据样本Vc，与上升沿质心及多个非上升沿质心之间的相关系数，包括：
若不存在当前窗口眼电数据样本Vc与非上升沿质心之间的相关系数大于当前窗口眼电数据样本Vc与上升沿质心之间的相关系数，则检测到驾驶员瞌睡开始状态，记录当前窗口眼电数据样本Vc的开始时刻tv为驾驶员瞌睡开始状态发生时刻；
若存在当前窗口眼电数据样本Vc与非上升沿质心之间的相关系数大于当前窗口眼电数据样本Vc与上升沿质心之间的相关系数，则计算下一次第二滑动窗口所获取的当前窗口眼电数据样本，与上升沿质心及多个非上升沿质心之间的相关系数。
8.一种驾驶员瞌睡开始状态检测装置，其特征在于，包括：
模型构建模块，用于基于包含瞌睡状态的一导脑电信号，获取包含alpha波的窗口数据样本集A+与不包含alpha波的窗口数据样本集A-，作为训练集，训练得到预先训练好的一维卷积神经网络；基于包含瞌睡状态的一导垂直眼电信号，获取上升沿窗口数据样本集R+与非上升沿的窗口数据样本集R-；利用k-means聚类算法，获取上升沿窗口数据样本集R+中的一个上升沿质心Co与非上升沿的窗口数据样本集R-中的k个非上升沿质心Ci,i＝1,2,…,k；
信号获取模块，用于获取待检测驾驶员的一导脑电测试数据与对应的一导垂直眼电信号；
脑电信号检测模块，用于利用预设时长与步长的第一滑动窗口在待检测驾驶员的一导脑电测试数据上滑动，获取每次滑动的当前窗口脑电数据样本Oc，输入所述预先训练好的一维卷积神经网络，获取分类预测结果；当分类预测结果为存在alpha波时，记录当前窗口脑电数据样本Oc的时间范围[t0,t0+l1]；并利用小波能量分布方法，从所述当前窗口脑电数据样本Oc的时间范围[t0,t0+l1]中，获取alpha波出现的开始时刻tα；
眼电信号检测模块，用于基于开始时刻tα获取预设时间区域，利用预设时长与步长的第二滑动窗口在待检测驾驶员的一导垂直眼电信号上滑动，直至当前窗口眼电数据样本Vc的结束点到达所述预设时间区域的结束点；计算每次滑动时获取的当前窗口眼电数据样本Vc，与上升沿质心及多个非上升沿质心之间的相关系数；
检测结果获取模块，若存在当前窗口眼电数据样本Vc与上升沿质心距离最小或相关系数最大，则检测到驾驶员瞌睡开始状态，记录当前窗口眼电数据样本Vc的开始时刻tv为驾驶员瞌睡开始状态发生时刻。
9.一种驾驶员瞌睡开始状态检测设备，其特征在于，包括：
头戴式脑电信号采集装置，用于采集驾驶员的一导脑电测试数据；
眼电信号采集装置，用于采集驾驶员的一导垂直眼电信号；
上位机，与所述头戴式脑电信号采集装置、所述眼电信号采集装置通讯连接，用于获取驾驶员的一导脑电测试数据与一导垂直眼电信号，执行如权利要求1至7任一项所述的驾驶员瞌睡开始状态检测方法，获取检测结果；
显示装置，与所述上位机通讯连接，用于显示检测结果。
10.根据权利要求9所述的驾驶员瞌睡开始状态检测设备，其特征在于，还包括预警装置，与所述上位机通讯连接，用于当上位机获取的检测结果为检测到驾驶员瞌睡开始状态时，发出预警。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310772607.0A CN116807478A (zh) | 2023-06-27 | 2023-06-27 | 一种驾驶员瞌睡开始状态检测方法、装置及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310772607.0A CN116807478A (zh) | 2023-06-27 | 2023-06-27 | 一种驾驶员瞌睡开始状态检测方法、装置及设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116807478A true CN116807478A (zh) | 2023-09-29 |
Family
ID=88117934
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310772607.0A Pending CN116807478A (zh) | 2023-06-27 | 2023-06-27 | 一种驾驶员瞌睡开始状态检测方法、装置及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116807478A (zh) |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100217145A1 (en) * | 2006-06-09 | 2010-08-26 | Bracco Spa | Method of processing multichannel and multivariate signals and method of classifying sources of multichannel and multivariate signals operating according to such processing method |
| CN108926349A (zh) * | 2017-05-24 | 2018-12-04 | 上海交通大学 | 基于脑电alpha波的日常睡眠开始时期检测方法 |
| CN109124625A (zh) * | 2018-09-04 | 2019-01-04 | 大连理工大学 | 一种驾驶员疲劳状态水平分级方法 |
| CN110367967A (zh) * | 2019-07-19 | 2019-10-25 | 南京邮电大学 | 一种基于数据融合的便携型轻量化人脑状态检测方法 |
| CN111671420A (zh) * | 2020-06-17 | 2020-09-18 | 河北省科学院应用数学研究所 | 一种从静息态脑电数据中提取特征的方法及终端设备 |
| US20210197834A1 (en) * | 2016-11-21 | 2021-07-01 | George Shaker | System and method for sensing with millimeter waves for sleep position detection, vital signs monitoring and/or driver detection |
| US20220023584A1 (en) * | 2018-12-07 | 2022-01-27 | Ewha University - Industry Collaboration Foundation | Artificial intelligence-based non-invasive neural circuit control treatment system and method for improving sleep |
| CN113974653A (zh) * | 2021-11-30 | 2022-01-28 | 杭州妞诺霄云大数据科技有限公司 | 基于约登指数优化棘波检测方法和装置、存储介质和终端 |
| CN114916937A (zh) * | 2022-06-10 | 2022-08-19 | 长春理工大学 | 一种基于bdpca聚类算法的驾驶员脑电疲劳等级划分方法 |
| WO2023075161A1 (ko) * | 2021-10-29 | 2023-05-04 | 전남대학교 산학협력단 | 인공 지능을 이용하여 운전자의 상태를 판단하는 차량 장치 및 그 제어 방법 |
| CN116269212A (zh) * | 2022-12-23 | 2023-06-23 | 浙江工业大学 | 一种基于深度学习的多模态睡眠阶段预测方法 |
-
2023
- 2023-06-27 CN CN202310772607.0A patent/CN116807478A/zh active Pending
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100217145A1 (en) * | 2006-06-09 | 2010-08-26 | Bracco Spa | Method of processing multichannel and multivariate signals and method of classifying sources of multichannel and multivariate signals operating according to such processing method |
| US20210197834A1 (en) * | 2016-11-21 | 2021-07-01 | George Shaker | System and method for sensing with millimeter waves for sleep position detection, vital signs monitoring and/or driver detection |
| CN108926349A (zh) * | 2017-05-24 | 2018-12-04 | 上海交通大学 | 基于脑电alpha波的日常睡眠开始时期检测方法 |
| CN109124625A (zh) * | 2018-09-04 | 2019-01-04 | 大连理工大学 | 一种驾驶员疲劳状态水平分级方法 |
| US20220023584A1 (en) * | 2018-12-07 | 2022-01-27 | Ewha University - Industry Collaboration Foundation | Artificial intelligence-based non-invasive neural circuit control treatment system and method for improving sleep |
| CN110367967A (zh) * | 2019-07-19 | 2019-10-25 | 南京邮电大学 | 一种基于数据融合的便携型轻量化人脑状态检测方法 |
| CN111671420A (zh) * | 2020-06-17 | 2020-09-18 | 河北省科学院应用数学研究所 | 一种从静息态脑电数据中提取特征的方法及终端设备 |
| WO2023075161A1 (ko) * | 2021-10-29 | 2023-05-04 | 전남대학교 산학협력단 | 인공 지능을 이용하여 운전자의 상태를 판단하는 차량 장치 및 그 제어 방법 |
| CN113974653A (zh) * | 2021-11-30 | 2022-01-28 | 杭州妞诺霄云大数据科技有限公司 | 基于约登指数优化棘波检测方法和装置、存储介质和终端 |
| CN114916937A (zh) * | 2022-06-10 | 2022-08-19 | 长春理工大学 | 一种基于bdpca聚类算法的驾驶员脑电疲劳等级划分方法 |
| CN116269212A (zh) * | 2022-12-23 | 2023-06-23 | 浙江工业大学 | 一种基于深度学习的多模态睡眠阶段预测方法 |
Non-Patent Citations (4)
| Title |
|---|
| JIAO, YINGYING: "Driver sleepiness detection from EEG and EOG signals using GAN and LSTM networks", 《NEUROCOMPUTING》, 31 December 2020 (2020-12-31), pages 1 - 5 * |
| VAN HESE: "Automatic detection of sleep stages using the EEG", 《IEEE》, 31 December 2001 (2001-12-31), pages 1 - 5 * |
| 曹海婷: "基于多特征组合的动态手势识别", 《计算机工程与设计》, 31 December 2018 (2018-12-31), pages 1 - 60 * |
| 李栋: "基于FPGA的驾驶员疲劳检测***的设计与实现", 《中国优秀硕士学位论文全文数据库》, 31 December 2009 (2009-12-31), pages 1 - 60 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Murugan et al. | Detection and analysis: Driver state with electrocardiogram (ECG) | |
| EP2281506B1 (en) | Method and system for determining an individual's state of attention | |
| Gurudath et al. | Drowsy driving detection by EEG analysis using wavelet transform and K-means clustering | |
| Karuppusamy et al. | Multimodal system to detect driver fatigue using EEG, gyroscope, and image processing | |
| Hooda et al. | A comprehensive review of approaches to detect fatigue using machine learning techniques | |
| Bittner et al. | Detecting of fatigue states of a car driver | |
| He et al. | Driver fatigue evaluation model with integration of multi‐indicators based on dynamic Bayesian network | |
| Panagopoulos et al. | Forecasting markers of habitual driving behaviors associated with crash risk | |
| Hanosh et al. | Real-time epileptic seizure detection during sleep using passive infrared sensors | |
| CN109106384A (zh) | 一种心理压力状况预测方法及*** | |
| Koay et al. | Detecting and recognizing driver distraction through various data modality using machine learning: A review, recent advances, simplified framework and open challenges (2014–2021) | |
| CN106913333B (zh) | 一种持续性注意水平的敏感性特征指标的选取方法 | |
| Abdel-Rahman et al. | An affordable approach for detecting drivers' drowsiness using EEG signal analysis | |
| Rosipal et al. | EEG-based drivers’ drowsiness monitoring using a hierarchical Gaussian mixture model | |
| Ng et al. | Automated identification of epileptic and alcoholic EEG signals using recurrence quantification analysis | |
| Hassan et al. | Sigmoid wake probability model for high-resolution detection of drowsiness using electroencephalogram | |
| Josephin et al. | A review on the measures and techniques adapted for the detection of driver drowsiness | |
| Ribeiro et al. | EEG-based drowsiness detection platform to compare different methodologies | |
| Murugappan et al. | Subtractive fuzzy classifier based driver drowsiness levels classification using EEG | |
| CN116807478A (zh) | 一种驾驶员瞌睡开始状态检测方法、装置及设备 | |
| Zhong et al. | Localized energy study for analyzing driver fatigue state based on wavelet analysis | |
| Yulita et al. | Comparing classification via regression and random committee for automatic sleep stage classification in autism patients | |
| Jiao et al. | Detecting slow eye movements with bimodal-LSTM for recognizing drivers’ sleep onset period | |
| Bundele et al. | An svm classifier for fatigue-detection using skin conductance for use in the bits-lifeguard wearable computing system | |
| Rahman et al. | EMG signal segmentation to predict driver’s vigilance state |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |