CN104952210B - 一种基于决策级数据融合的疲劳驾驶状态检测***和方法 - Google Patents

一种基于决策级数据融合的疲劳驾驶状态检测***和方法 Download PDF

Info

Publication number
CN104952210B
CN104952210B CN201510249302.7A CN201510249302A CN104952210B CN 104952210 B CN104952210 B CN 104952210B CN 201510249302 A CN201510249302 A CN 201510249302A CN 104952210 B CN104952210 B CN 104952210B
Authority
CN
China
Prior art keywords
pulse
driver
data
driving state
mrow
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201510249302.7A
Other languages
English (en)
Other versions
CN104952210A (zh
Inventor
徐小龙
李硕
李涛
徐佳
李千目
章韵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Post and Telecommunication University
Original Assignee
Nanjing Post and Telecommunication University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Post and Telecommunication University filed Critical Nanjing Post and Telecommunication University
Priority to CN201510249302.7A priority Critical patent/CN104952210B/zh
Publication of CN104952210A publication Critical patent/CN104952210A/zh
Application granted granted Critical
Publication of CN104952210B publication Critical patent/CN104952210B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本发明公开了一种基于决策级数据融合的疲劳驾驶状态检测***和方法,该***首先利用加速度传感器采集方向盘运动加速度,基于加速度动态阈值判断出方向盘运动状态,基于方向盘4s不动理论初步判断驾驶员疲劳驾驶状态,还通过设置方向盘左右摇摆的误差值,增强检测的容错性;利用脉搏传感器采集驾驶员的脉搏时域值,基于脉率动态阈值检测出驾驶员生理状态;通过对两种检测结果进行决策级融合,可得到融合后的检测结果。在基于决策级数据融合的疲劳驾驶状态检测方法设计并构建了疲劳驾驶状态检测原型***。与现有的方法相比,本发明公开的基于决策级数据融合的驾驶员疲劳驾驶状态检测方法在检测准确率方面具有一定的优势,在算法的响应时间、时间复杂度和内存消耗等方面均达具有理想的性能表现。

Description

一种基于决策级数据融合的疲劳驾驶状态检测***和方法
技术领域
本发明涉及驾驶状态检测方法,尤其涉及一种疲劳驾驶状态检测方法,属于移动计算、传感技术和数据融合的交叉技术应用领域。
背景技术
疲劳驾驶(fatigue driving)一般指驾驶员在开车过程中由于身体机理出现疲劳变化而导致其操控能力失常的状况,严重危害道路交通安全,已成为全世界面临的严重问题。美国国家公路交通安全管理局的报告显示,因驾驶员疲劳驾驶诱发的交通事故占了交通事故总数的20%-30%。例如,2012年8月26日2时31分许,驾驶员陈某驾驶卧铺大客车,与重型罐式半挂汽车列车追尾,造成大客车内36人当场死亡;根据车载全球定位***(GlobalPosition System,GPS)记录,大客车驾驶员陈某连续驾驶时间达4小时22分,中途未停车休息,疲劳驾驶造成驾驶时精力不集中,反应和判断能力下降,导致事故发生。
高效地检测出驾驶员疲劳驾驶状态并及时进行反馈可以有效的预防类似交通事故的发生。通过采集驾驶员的血液可以分析出驾驶员在疲劳驾驶状态下的血糖、血尿素和肌氨酸酐,综合分析这几类信息得到了一个关于驾驶员是否疲劳的,该方法有着较高的检测准确率,实验结果可以作为其他方法的参考,但是实时性不佳,且需要专业的医疗设备。目前,研究和技术人员已经研究并开发出一系列的研究成果和产品,主要分为三类:第一类是基于生理信号的检测技术,主要基于脑电波、心率、脉搏以及皮肤电压的变化等;第二类是基于驾驶员身体物理状态,主要基于头部的倾斜程度、眼部的变化、嘴巴的变化以及握持方向盘的力度等;第三种是基于车辆运行状态,主要基于方向盘的运动规律、车辆的行驶速度、车辆的加速度以及车辆的运行轨迹等。
目前,有研究人员设计了一个可穿戴的脑电图(Electroencephalograph,EEG)检测***,可以实时检测驾驶员对自身驾驶行为的警惕程度,从而反映出驾驶员的疲劳状况;还有研究人员在驾驶员睡眠被剥夺的情况下采集驾驶员的心电图(Electrocardiogram,ECG)数据,综合心率和眨眼频率两个指标,分析驾驶员的疲劳驾驶状态;还有研究人员通过分析驾驶员的EEG数据,得到驾驶员在疲劳阶段的各个频率能量的变化信息,得到驾驶员的在疲劳阶段的疲劳变异性。还有研究人员提出一种实时检测驾驶员疲劳驾驶状态的机制,利用驾驶员的EEG数据、ECG数据和肌电信号来综合判断驾驶员的疲劳驾驶状态;还有研究人员基于核的主成分分析法分析实验样本,选择合适的核函数和相关参数可以有效地分离出正常样本和疲劳样本,对驾驶员的ECG数据进行线性分析,得到驾驶员EEG数据的实验样本,分析实验样本是属于正常还是属于疲劳样本,进而检测出驾驶员是否处于疲劳驾驶状态。基于EEG和ECG的疲劳状态检测方法有着较好的实时性和较高的检测准确率,但硬件成本较高,且佩戴不易。
目前,还有研究人员基于驾驶员面部行为特征来分析判断驾驶员的疲劳驾驶状态。如:综合利用驾驶员眼睛闭合时间百分比、嘴巴张开的程度以及头部的倾斜程度综合判断驾驶员的疲劳驾驶状态;通过综合利用帧差法、模板匹配法和卡尔曼方法定位人眼的位置,进而定位人眼的睁闭状态,基于眼睛闭合时间百分比(Percentage of EyelidClosure,PERCLOS)特征值检测驾驶员的疲劳驾驶状态。基于眼部行为的驾驶员疲劳驾驶状态检测方法实时性较好,检测准确率较高,但是这类方法局限于驾驶室光线良好的情况,无法应用于夜间行车的情况,有较大的局限性。
Electronic Safety Products公司研制生产的方向盘检测装置SAM是一种可以检测汽车方向盘非正常运动的装置,当方向盘在正常运转的情况下,传感器不会发出警报,但当驾驶员操纵方向盘4秒钟不动的情况下,传感器装置就会发出警报提醒驾驶员,直到方向盘被驾驶员控制回到正常运动状态下为止。还有研究人员提出的一种基于方向盘的转角变化的驾驶员疲劳驾驶状态检测方法,将角度位移传感器和GPS模块嵌入到方向盘上,对采集到的角度变化应用模式识别理论判断驾驶员是否处于疲劳驾驶状态,同时用GPS模块判断车辆的行驶状态。还有研究人员设计了一种基于方向盘转角信号检测驾驶员疲劳驾驶状态的方法,该算法通过建立方向盘转动信号相关变量与生理信号的多元线性回归模型的方式实现,利用了前向性选择方法建立回归模型,通过这个回归模型可以分析出驾驶员是否处于疲劳驾驶状态。这类方法都有着较好的实时性,且开销较小,但检测准确率相对较低。
总之,目前的研究成果普遍存在着检测准确率不高、硬件成本较高、设备佩戴不易、受环境因素影响较大等缺陷。而本发明能够很好地解决上面的问题。
发明内容
本发明目的在于提出了一种基于决策级数据融合的疲劳驾驶状态检测***,该***能够高效便捷地检测驾驶员疲劳状态,该***首先通过加速度传感器采集方向盘的运动加速度数据,通过脉搏传感器采集驾驶员脉搏数据;分别对这两种数据进行预处理,对预处理后的两种数据分别计算出动态阈值,得到关于驾驶员是否处于疲劳状态的初步检测结果;通过对两种检测结果进行决策级融合,得到更为准确的融合后的检测结果。
本发明解决其技术问题所采取的技术方案是:一种基于决策级数据融合的疲劳驾驶状态检测***,所述***包括加速度数据采集模块、加速度数据传输与预处理模块、加速度数据动态阈值训练模块、基于加速度数据检测驾驶员疲劳驾驶状态的算法应用模块、脉搏数据采集模块、脉搏数据存储与预处理模块、脉搏数据动态阈值训练模块、基于脉搏数据检测驾驶员疲劳驾驶状态的算法应用模块、数据融合模块等;综合利用方向盘的运动加速度间接信息和驾驶员的脉搏直接信息;所述***利用加速度数据采集模块基于加速度传感器采集到方向盘运动加速度数据,利用加速度数据传输与预处理模块对这些原始数据应用移动平均法进行平滑处理;基于加速度数据检测驾驶员疲劳驾驶状态的算法应用模块采用方向盘4s不动理论,初步判断疲劳驾驶状态的检测结果;同时,利用脉搏数据采集模块基于脉搏传感器采集到驾驶员驾驶过程中的脉搏数据;利用脉搏数据存储与预处理模块先存储采集到的脉搏数据,然后基于小波变换的阈值方法去除脉搏信号噪声,再使用加权移动平均法对数据进行平滑处理;利用脉搏数据动态阈值训练模块分析并计算出驾驶员的脉率变化,针对不同的个体建立相应正常驾驶状态的阈值;基于脉搏数据检测驾驶员疲劳驾驶状态的算法应用模块通过与这个正常阈值的比较来判断当前得到的驾驶员脉率是否正常,进而判断出驾驶员是否处于疲劳驾驶状态;数据融合模块对这两种识别结果应用证据理论进行决策级融合,通过基于决策级数据融合的疲劳驾驶状态检测算法得到驾驶员是否处于疲劳驾驶状态的检测结果。
加速度数据采集模块的功能是:利用加速度传感器采集方向盘运动加速度数据。
加速度数据传输与预处理模块的功能是:对用加速度传感器采集方向盘运动加速度原始数据应用加权移动平均法进行平滑处理。
加速度数据动态阈值训练模块的功能是:对经过加速度数据传输与预处理模块处理过的数据再计算平均值,得到驾驶员在当前路段的动态阈值,然后通过比较加速度数据得到方向盘的波动区间。
基于加速度数据检测驾驶员疲劳驾驶状态的算法应用模块的功能是:采用方向盘4s不动理论,初步判断疲劳驾驶状态的检测结果。
脉搏数据采集模块的功能是:基于固定在人体的手腕桡动脉处的脉搏传感器采集驾驶员驾驶过程中的脉搏数据。
脉搏数据存储与预处理模块的功能是:存储采集到的脉搏数据,然后基于小波变换的阈值方法去除脉搏信号噪声,再使用加权移动平均法对数据进行平滑处理。
脉搏数据动态阈值训练模块的功能是:分析并计算出驾驶员的脉率变化,针对不同的个体建立相应正常驾驶状态的阈值。
基于脉搏数据检测驾驶员疲劳驾驶状态的算法应用模块的功能是:通过与正常驾驶状态的阈值比较来判断当前得到的驾驶员脉率是否正常,进而判断出驾驶员是否处于疲劳驾驶状态。
数据融合模块的功能是:对基于加速度数据检测驾驶员疲劳驾驶状态的算法应用模块和基于脉搏数据检测驾驶员疲劳驾驶状态的算法应用模块的识别结果应用证据理论进行决策级融合,通过基于决策级数据融合的疲劳驾驶状态检测算法得到驾驶员是否处于疲劳驾驶状态的检测结果。
本发明的***驾驶员在驾驶车辆的过程中,车辆方向盘运动的加速度和角度变化信息是分析驾驶员的驾驶状态的重要信息,在一定程度上可以间接地反应驾驶员的驾驶状态。在正常行驶的道路上,如果方向盘连续4s以上不动,那么驾驶员很有可能处于疲劳驾驶状态,但是如果驾驶员行驶在笔直的公路上且周围的车辆很少,这时方向盘连续4s不动时,无法判断驾驶员是否处于疲劳驾驶状态,因此方向盘的运动信息仅能在一定程度上间接反映出驾驶员的驾驶状态。人的脉搏变化能显示出人的疲劳等生理状态,驾驶员驾驶过程中的脉搏变化,尤其是脉率的变化,是对驾驶员驾驶状态的直接反映。
本发明的***是基于决策级数据融合的疲劳驾驶状态检测方法,综合利用方向盘的运动加速度间接信息和驾驶员的脉搏直接信息,可以有效提高疲劳驾驶状态的检测准确率:利用加速度传感器采集到方向盘运动加速度数据,对这些原始数据应用加权移动平均法进行平滑处理,基于方向盘4s不动理论,初步判断疲劳驾驶状态的检测结果;同时,利用脉搏传感器采集到驾驶员驾驶过程中的脉搏数据,分析并计算出驾驶员的脉率变化,针对不同的个体建立相应正常驾驶状态的阈值,通过与这个正常阈值的比较来判断当前得到的驾驶员脉率是否正常,进而可以判断出驾驶员是否处于疲劳驾驶状态;对这两种识别结果应用证据理论进行决策级融合,得到更加精准的关于驾驶员是否处于疲劳驾驶状态的检测结果。
本发明的疲劳驾驶状态检测模型包括脉搏数据采集模块、脉搏数据存储与预处理模块、脉搏数据动态阈值训练模块、基于脉搏数据检测驾驶员疲劳驾驶状态的算法应用模块、加速度数据采集模块、加速度数据传输与预处理模块、加速度数据动态阈值训练模块、基于加速度数据检测驾驶员疲劳驾驶状态的算法应用模块、数据融合模块等。
1、数据采集与预处理
(1)数据采集
方向盘运动加速度的优点是特征变化比较明显,可以实时的体现出方向盘运动的变化,而且容易捕捉。本发明首先通过加速度传感器来采集方向盘的运动加速度,作为判断驾驶员的驾驶状态的依据之一。
对于脉搏数据的采集,利用脉搏传感器进行。脉搏传感器固定在人体的手腕桡动脉处,因为桡动脉是人体脉搏最强的地方。
(2)数据预处理
加速度数据和脉搏数据都是时间序列的数据,通过传感器采集到的数据中存在噪声。利用传感器采集到的数据普遍存在着误差,所以需要对传感器采集到的数据进行基本的数据平滑处理。本发明使用加权移动平均法对数据进行平滑处理。脉搏信号有信号弱、频率低和噪声强的特点,噪声干扰可能会导致脉搏信号失真,会造成较大的检测误差,需要对脉搏信号进行特征提取前进行去噪处理。人体的脉搏信号大多数分布在低频区域,而噪声信号一般均匀地分布在高频区域,幅度较大的小波分量通常出现在信号突变区域。本发明基于小波变换的阈值方法去除噪声。
2、动态阈值训练
(1)加速度动态阈值
本发明检测驾驶员疲劳状态的方法基于方向盘4s不动理论,并在此基础上进行了改进,加入了动态阈值的方法,去除方向盘与车体夹角的变化对检测结果的影响,更准确的判断出驾驶员的状态。
(2)脉搏动态阈值
本发明提出一种基于动态阈值检测驾驶员疲劳驾驶状态的方法,根据驾驶员心率周期下降的程度判断驾驶员的疲劳程度:驾驶员刚开始驾车的一段时间一般是比较清醒的,在这段时间里检测出驾驶员的脉搏数据并计算出其相应的心率周期值,把这个心率周期值作为驾驶员正常的心率周期值,过了这段清醒时间后连续检测驾驶员的脉搏并分析出心率周期,与正常的心率周期比较,如若下降程度超过了10%以上,***判定驾驶员处于轻度疲劳状态,下降程度超过20%,***判定驾驶员处于疲劳状态。
3、基于决策级数据融合的疲劳驾驶状态检测算法
本发明将基于方向盘运动加速度的驾驶员疲劳检测结果和基于脉搏的驾驶员疲劳检测结果的进行决策级融合。
本发明还提供了一种基于决策级数据融合疲劳状态识别方法,该方法包括如下步骤:
步骤1构建基本概率分配函数,对于加速度和脉搏两个证据体,分别计算出两者的概率分配函数f,同时要确保这两个证据体之间互不影响,相互独立。
步骤2应用证据理论的组合规则得到一个新的证据体,这个新的证据体是由加速度和脉搏这两个证据体组合出来的,新的证据体表现出来的基本概率分配越接近1,表明对命题判断的准确性越高。
步骤3应用决策规则,得到关于疲劳状态的判断决策结果并输出。
本发明所述的步骤3采用基于概率分配的决策规则,对于基于概率分配的决策规则表示成:对于任一集合M,设满足: 若有f(S1)-f(S2)>θ1,f(M)<θ2,f(S1)>f(M),则S1是对事件的决策结果,其中θ1和θ2代表设定的门限值。
有益效果:
1、本发明的疲劳驾驶状态检测准确率较高;实验表明本发明的疲劳驾驶状态检测准确率则达91.67%。
2、本发明的***响应时间短;驾驶员愤怒驾驶状态检测***有1s左右的延迟,主要花费在脉搏数据采集与传输上。
3、本发明的时空复杂度低;本发明时间复杂度为O(n);***内存消耗,***内存消耗在50-70M之间。
附图说明
图1为本发明的疲劳驾驶状态检测模型图。
图2为实测一周期脉搏波形图。
图3为本发明的决策级数据融合模型图。
图4为本发明的方法流程图。
具体实施方式
下面结合说明书附图对本发明创造作出进一步的详细说明。
本发明基于决策级数据融合的疲劳驾驶状态检测方法综合利用方向盘的运动加速度间接信息和驾驶员的脉搏直接信息,可以有效提高疲劳驾驶状态的检测准确率:利用加速度传感器采集到方向盘运动加速度数据,对这些原始数据应用加权移动平均法进行平滑处理,基于方向盘4s不动理论,初步判断疲劳驾驶状态的检测结果;同时,利用脉搏传感器采集到驾驶员驾驶过程中的脉搏数据,分析并计算出驾驶员的脉率变化,针对不同的个体建立相应正常驾驶状态的阈值,通过与这个正常阈值的比较来判断当前得到的驾驶员脉率是否正常,进而可以判断出驾驶员是否处于疲劳驾驶状态;对这两种识别结果应用证据理论进行决策级融合,得到更加精准的关于驾驶员是否处于疲劳驾驶状态的检测结果。
如图1所示,本发明的***包括脉搏数据采集模块、脉搏数据存储与预处理模块、脉搏数据动态阈值训练模块、基于脉搏数据检测驾驶员疲劳驾驶状态的算法应用模块、加速度数据采集模块、加速度数据传输与预处理模块、加速度数据动态阈值训练模块、基于加速度数据检测驾驶员疲劳驾驶状态的算法应用模块、数据融合模块等。
1、数据采集与预处理
(1)数据采集
方向盘运动加速度的优点是特征变化比较明显,可以实时的体现出方向盘运动的变化,而且容易捕捉。本发明首先通过加速度传感器来采集方向盘的运动加速度,作为判断驾驶员的驾驶状态的依据之一。
脉搏波(Pulse Wave)是血流从主动脉出发沿动脉***传播时形成的压力波,而血流在动脉***的传播正是由于心脏的心室周期性收缩和舒张引起主动脉的收缩和舒张。在每次左心室收缩时,射血入主动脉,使主动脉壁扩张,而当左心室舒张时,主动脉壁产生弹性回缩。脉搏发端于主动脉根部的搏动并沿着动脉管壁向全身各动脉依次传播。脉搏反应了主动脉内的压力的周期性升降。随心脏收缩和舒张,动脉一张一缩的搏动。正常情况下,脉搏与心脏跳动一致,脉搏有力,节律均匀,强弱一致,间隔相等。由心脏泵出的血液流入主动脉,又引起主动脉的收缩和舒张,血流以压力波的形式从主动脉根部出发沿动脉***传播,形成了脉搏,心脏每收缩舒张一次即可产生一个周期脉搏波。图2所示的波形图是在***采集的周期脉搏波形图中截取的一周期脉搏波形。
在图2中,横坐标T代表时间,纵坐标P代表压力值,在时间[0,t]内的波形是一个典型的脉搏周期波形,t代表脉搏波形的一个周期。h1代表主波幅度,是主波峰顶到脉搏波图基线的高度,h2代表重搏前波幅度,是重搏前波封顶到达脉搏波图基线的高度,h3代表降中峡幅度,是降中峡谷底到脉搏波图基线的高度,h4代表重搏波幅度,为重搏波峰顶到降中峡谷底所作的基线平行线之间的高度,t1代表脉搏波图起始点到主波峰点的时值,t1对应左心室的快速射血期,t2代表脉搏波图起始点到降中峡之间的时值,t2对应左心室的收缩期,t2-t这段时间代表降中峡到脉搏波图终止点之间的时值,对应左心室的舒张期,0-t代表脉搏波图的起始点到终止点之间的时值,t对应于左心室的一个心动周期,对应于脉搏,也是一个脉搏的周期。
图2中各个特征点对应的生理学意义如下:
p1点:代表主动脉开放点,即始射点。是整个脉搏波形图的最低点,标志着心脏快速射血期的开始,主要反映收缩期末血管内的压力和容积。
p2点:主动脉压力最高点。此处是主波,是波形图的基线至主波峰顶的一条上升曲线,峰顶反映动脉内压力与容积的最大值,构成主波的上升支,反映心室快速射血,动脉压迅速上升,管壁突然扩张。其上升速度主要与心输出量、心室射血速度、动脉阻力和管壁弹性有关,可用上升支斜率来表示。如果心输出量较多,射血速度较快,主动脉弹性减小,则斜率较大,波幅较高;如果心输出量较少,射血速度较慢,主动脉弹性较大,则斜率减小,波幅较低。
p4点:左心射血停止点,此处为潮波,也叫重搏波前波。位于波形图的下降支,一般迁延于主波之后,低于主波而位置高于重搏波。它是在减慢射血期后期心室停止射血,动脉扩张,血压下降,动脉内血液逆向流动而形成的反射波,主要与外周阻力、血管弹性及降支下降速度等变化速度有关。
p5点:重搏波波谷,是主波下降支与重搏波上升支构成的波形向下的切迹波。它主要反应主动脉静压排空时间,是心脏收缩与舒张的分界点,易受外周阻力与降支下降速度的影响。
p6点:主动脉弹性回缩波,即重搏波。是位于重搏波波谷之后的一个突出的小波,它的形成是在心室减慢射血期后,心室开始舒张,室内压迅速下降至明显低于主动脉压,主动脉内的血液开始向心室方向返流。因返流血液的冲击,主动脉瓣突然关闭,返流的血液撞击在骤然关闭的主动脉瓣上而被弹回,使主动脉压再次稍有上升,动脉管壁亦随之稍有扩张。因此,在下降支的中段形成一向上的小波,即降中波。它可以反应主动脉瓣的功能状况、血管弹性和血流流动状态。
对于脉搏数据的采集,利用脉搏传感器进行。脉搏传感器固定在人体的手腕桡动脉处,因为桡动脉是人体脉搏最强的地方,方便准确的获取人体的脉搏数据,且佩戴方便。
(2)数据预处理
加速度数据和脉搏数据都是时间序列的数据,通过传感器采集到的数据中存在噪声。利用传感器采集到的数据普遍存在着误差,所以需要对传感器采集到的数据进行基本的数据平滑处理。本发明的***首先由加速度数据采集模块利用加速度传感器来采集方向盘的运动加速度,作为判断驾驶员的驾驶状态的依据之一;由脉搏数据采集模块利用脉搏传感器对于脉搏数据的采集,脉搏传感器固定在人体的手腕桡动脉处;加速度数据传输与预处理模块和脉搏数据存储与预处理模块均使用加权移动平均法对数据进行平滑处理,越靠***滑窗口边缘的点权值越小,进入平滑窗口的点都是逐渐地计入平均值中,逐渐消除对整体平滑程度的影响:
其中
式(1)中,si代表第i个点的平滑值;xi+j代表数据点;wj代表权值,靠近中间的权值较大,靠近边缘的权值较小,权值总和为1。为了简洁地得到更好的数据平滑处理效果,本发明选择加权移动平均法作为加速度数据平滑处理的方法,如使用(1/4,1/2,1/4)作为权值,对于采集到的方向盘运动加速度数据,相邻的三个点作为一个处理项,平滑处理后的结果更新到中间对应的数据项,循环处理,直到处理完数据。
脉搏信号有信号弱、频率低和噪声强的特点,人体状态和外界环境的干扰都会对人体生理信号的采集产生比较大的影响。这些噪声干扰可能会导致脉搏信号失真,会造成较大的检测误差,需要对脉搏信号进行特征提取前进行去噪处理。人体的脉搏信号大多数分布在低频区域,而噪声信号一般均匀地分布在高频区域,幅度较大的小波分量通常出现在信号突变区域。本发明基于小波变换的阈值方法去除噪声。
首先,需要对脉搏信号进行离散小波变换。一个典型的基本小波为:
假设的傅里叶变换,称为小波母函数。通过对小波母函数平移和伸缩可以得到离散小波族:
式(3)中,a为伸缩因子,b为平移因子。
假设脉搏信号为signal(t),signal(t)=start(t)+noise(t),start(t)代表原始的脉搏信号,noise(t)代表噪声。对脉搏信号进行离散采样:signal(t),t=0,1,2,...,N-1。
小波变换的系数为:
通过式(4)得到小波系数Wsignal(a,b)后,用阈值进行处理,确定小波系数的估计值要确保的值最小,阈值采用通用阈值选取方法:
式(5)中,med代表高频正交小波系数的中值。
得到了小波系数的估计值用小波逆变换对小波重构,得到估计信号就是去噪后的脉搏信号。
2、动态阈值训练
(1)加速度动态阈值
方向盘的运动加速度数据是一种时间序列的数据流,本发明基于滑动窗口模型研究方向盘的运动加速度。滑动窗口模型是处理时间序列数据流的常用模型。滑动窗口模型的特点在于其处理的数据所在窗口尺寸固定,且滑动窗口的终点始终为当前时刻,这种限定也保证了滑动窗口模型处理的有效数据永远为数据流中最新到达的窗口内的数据。
本发明检测驾驶员疲劳状态的方法基于方向盘4s不动理论,并在此基础上进行了改进,加入了动态阈值的方法,去除方向盘与车体夹角的变化对检测结果的影响,更准确的判断出驾驶员的状态。
由于实际情况中方向盘的角度以及车辆所处的路面的情况不同,不能采用固定的阈值作为检测方向盘状态的依据,本发明提出一种动态训练方向盘运动加速度阈值的方法:首先通过方向盘的加速度数据分析车辆是否处于相对稳定的行驶状态,在这段时间内监测方向盘左右波动小于15度的连续时间,等分这个连续时间为多个连续的时间段,获取这些时间段内方向盘的加速度数据的加权平均值;然后取这些加权平均值的平均值,得到驾驶员在当前路段的动态阈值,得到阈值后通过比较加速度数据得到方向盘的波动区间,应用方向盘4s不动理论,当方向盘连续4s不动时判定驾驶员处于疲劳驾驶状态。
(2)脉搏动态阈值
正常人的脉搏和心跳是一致的,为每分钟60-100次,通常为每分钟70-80次,平均约每分钟72次。老年人较慢,为55到60次/分。正常人脉率规则,不会出现脉搏间隔时间长短不一的现象。正常人脉搏强弱均等,不会出现强弱交替的现象。脉搏的频率受年龄和性别的影响,另外,运动和情绪激动时可使脉搏增快,而休息,睡眠则使脉搏减慢。
为了得到脉率和疲劳的关系,本发明进行了对比实验测试。实验者共计12名,均是身体健康的成年人,年龄在23到26岁之间。实验者处于清醒状态的时候测量5组脉搏值;实验者处于有点疲劳状态的时候再测量5组脉搏值;实验者处于比较疲劳的时候继续测量5组脉搏值。根据测量的脉搏值,计算出相应的脉率,统计出实验者在不同身体状态下的脉率变化情况,如表1所示。
表1:不同状态下实验者的脉率变化
由表1可知,脉率和人体的疲劳有着紧密的关系。当实验者处于有点疲劳状态时,脉率的减幅在8.57%—12.50%之间,且大部分在10%以上;当实验者处于疲劳状态时,脉率的减幅在19.44%—24.66之间,且大部分在20%以上。根据实验得出的结论,本发明提出一种基于动态阈值检测驾驶员疲劳驾驶状态的方法,根据驾驶员心率周期下降的程度判断驾驶员的疲劳程度:驾驶员刚开始驾车的一段时间一般是比较清醒的,在这段时间里检测出驾驶员的脉搏数据并计算出其相应的心率周期值,把这个心率周期值作为驾驶员正常的心率周期值,过了这段清醒时间后连续检测驾驶员的脉搏并分析出心率周期,与正常的心率周期比较,如若下降程度超过了10%以上,***判定驾驶员处于轻度疲劳状态,下降程度超过20%,***判定驾驶员处于疲劳状态。
3、基于决策级数据融合的疲劳驾驶状态检测算法
本发明将基于方向盘运动加速度的驾驶员疲劳检测结果和基于脉搏的驾驶员疲劳检测结果的进行决策级融合。
本发明基于有限集Θ的理论,Θ代表的是一个辨识框架,包含要***要检测的全体对象,对象之间是互斥的关系;在本发明中Θ代表疲劳和不疲劳两个对象的集合。即Θ={疲劳,不疲劳}。
设θ的子集为2θ,f是2θ到[0,1]的映射函数,并满足f(Φ)=0,对任意的S∈2Θ,有f(s)≥0且∑f(s)=1。f(s)代表一个识别框架的基本概率值,反映对s信度的大小。f1()和f2()代表两个独立的证据源导出的基本概率分配函数,在本发明里对应的是基于加速度检测出的驾驶员疲劳驾驶状态以及基于脉搏检测出的驾驶员疲劳驾驶状态这两个证据体。计算出一个基本概率分配函数,以反映两个证据体共同作用的融合信息:
本发明采用基于概率分配的决策规则,对于基于概率分配的决策规则可以表示成如下:
对于任一集合M,设满足: 若有f(S1)-f(S2)>θ1,f(M)<θ2,f(S1)>f(M),则S1是对事件的决策结果,其中θ1和θ2代表设定的门限值。
如图4所示,本发明提供了一种基于决策级数据融合的疲劳驾驶状态检测***的实现方法,该方法包括如下步骤:
步骤1构建基本概率分配函数,对于加速度和脉搏两个证据体,分别计算出两者的概率分配函数f,同时要确保这两个证据体之间互不影响,相互独立。
步骤2应用证据理论的组合规则得到一个新的证据体,这个新的证据体是由加速度和脉搏这两个证据体组合出来的,新的证据体表现出来的基本概率分配越接近1,表明对命题判断的准确性越高。
步骤3应用决策规则,得到关于疲劳状态的判断决策结果并输出。

Claims (4)

1.一种基于决策级数据融合的疲劳驾驶状态检测***,其特征在于,所述***包括加速度数据采集模块、加速度数据传输与预处理模块、加速度数据动态阈值训练模块、基于加速度数据检测驾驶员疲劳驾驶状态的算法应用模块、脉搏数据采集模块、脉搏数据存储与预处理模块、脉搏数据动态阈值训练模块、基于脉搏数据检测驾驶员疲劳驾驶状态的算法应用模块、数据融合模块,所述***能够高效便捷地检测驾驶员疲劳状态,所述***首先通过加速度传感器采集方向盘的运动加速度数据,通过脉搏传感器采集驾驶员脉搏数据,分别对这两种数据进行预处理,对预处理后的两种数据分别计算出动态阈值,得到关于驾驶员是否处于疲劳状态的初步检测结果,通过对两种检测结果进行决策级融合,得到更为准确的融合后的检测结果;
加速度数据采集模块的功能是:利用加速度传感器采集方向盘运动加速度数据;
加速度数据传输与预处理模块的功能是:对用加速度传感器采集的方向盘运动加速度原始数据应用加权移动平均法进行平滑处理;
加速度数据动态阈值训练模块的功能是:对经过加速度数据传输与预处理模块处理过的数据再计算平均值,得到驾驶员在当前路段的动态阈值,然后通过比较加速度数据得到方向盘的波动区间;
基于加速度数据检测驾驶员疲劳驾驶状态的算法应用模块的功能是:采用方向盘4s不动理论,初步判断疲劳驾驶状态的检测结果;
脉搏数据采集模块的功能是:基于固定在人体的手腕桡动脉处的脉搏传感器采集驾驶员驾驶过程中的脉搏数据;
脉搏数据存储与预处理模块的功能是:存储采集到的脉搏数据,然后基于小波变换的阈值方法去除脉搏信号噪声,再使用加权移动平均法对数据进行平滑处理;
脉搏数据动态阈值训练模块的功能是:分析并计算出驾驶员的脉率变化,针对不同的个体建立相应正常驾驶状态的阈值;
基于脉搏数据检测驾驶员疲劳驾驶状态的算法应用模块的功能是:通过与正常驾驶状态的阈值比较来判断当前得到的驾驶员脉率是否正常,进而判断出驾驶员是否处于疲劳驾驶状态;
数据融合模块的功能是:对基于加速度数据检测驾驶员疲劳驾驶状态的算法应用模块和基于脉搏数据检测驾驶员疲劳驾驶状态的算法应用模块的识别结果应用证据理论进行决策级融合,通过基于决策级数据融合的疲劳驾驶状态检测算法得到驾驶员是否处于疲劳驾驶状态的检测结果。
2.根据权利要求1所述的一种基于决策级数据融合的疲劳驾驶状态检测***,其特征在于:所述***首先由加速度数据采集模块利用加速度传感器来采集方向盘的运动加速度,作为判断驾驶员的驾驶状态的依据之一;由脉搏数据采集模块利用脉搏传感器对脉搏数据进行采集,脉搏传感器固定在人体的手腕桡动脉处;加速度数据传输与预处理模块和脉搏数据存储与预处理模块均使用加权移动平均法对数据进行平滑处理,越靠***滑窗口边缘的点权值越小,进入平滑窗口的点都是逐渐地计入平均值中,逐渐消除对整体平滑程度的影响:
其中
式(1)中,si代表第i个点的平滑值;xi+j代表数据点;wj代表权值,靠近中间的权值较大,靠近边缘的权值较小,权值总和为1;选择加权移动平均法作为加速度数据平滑处理的方法,对于采集到的方向盘运动加速度数据,相邻的三个点作为一个处理项,平滑处理后的结果更新到中间对应的数据项,循环处理,直到处理完数据。
3.根据权利要求1所述的一种基于决策级数据融合的疲劳驾驶状态检测***,其特征在于:所述***基于小波变换的阈值方法去除脉搏信号噪声,包括:
首先,需要对脉搏信号进行离散小波变换,基本小波为:
假设 的傅里叶变换,称为小波母函数,通过对小波母函数平移和伸缩可以得到离散小波族:
式(3)中,a为伸缩因子,b为平移因子;
假设脉搏信号为signal(t),signal(t)=start(t)+noise(t),start(t)代表原始的脉搏信号,noise(t)代表噪声,对脉搏信号进行离散采样:signal(t),t=0,1,2,...,N-1;
所述的小波变换的系数为:
<mrow> <msub> <mi>W</mi> <mrow> <mi>s</mi> <mi>i</mi> <mi>g</mi> <mi>n</mi> <mi>a</mi> <mi>l</mi> </mrow> </msub> <mrow> <mo>(</mo> <mi>a</mi> <mo>,</mo> <mi>b</mi> <mo>)</mo> </mrow> <mo>=</mo> <msup> <mn>2</mn> <mfrac> <mi>a</mi> <mn>2</mn> </mfrac> </msup> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>n</mi> <mo>=</mo> <mn>0</mn> </mrow> <mrow> <mi>N</mi> <mo>-</mo> <mn>1</mn> </mrow> </munderover> <mi>f</mi> <mrow> <mo>(</mo> <mi>n</mi> <mo>)</mo> </mrow> <mrow> <mo>(</mo> <msup> <mn>2</mn> <mi>a</mi> </msup> <mi>n</mi> <mo>-</mo> <mi>b</mi> <mo>)</mo> </mrow> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>4</mn> <mo>)</mo> </mrow> </mrow>
通过式(4)得到小波系数Wsignal(a,b)后,用阈值进行处理,确定小波系数的估计值要确保的值最小,阈值采用通用阈值选取方法,包括:
<mrow> <mi>T</mi> <mo>=</mo> <mi>m</mi> <mi>e</mi> <mi>d</mi> <mo>/</mo> <mn>0.6475</mn> <msqrt> <mrow> <mn>2</mn> <mi>l</mi> <mi>n</mi> <mi> </mi> <mi>N</mi> </mrow> </msqrt> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>5</mn> <mo>)</mo> </mrow> </mrow>
式(5)中,med代表高频正交小波系数的中值;
得到了小波系数的估计值用小波逆变换对小波重构,得到估计信号就是去噪后的脉搏信号。
4.根据权利要求1所述的一种基于决策级数据融合的疲劳驾驶状态检测***,其特征在于:首先通过由加速度数据采集模块采集到的方向盘的加速度数据分析车辆是否处于相对稳定的行驶状态,在这段时间内监测方向盘左右波动小于15度的连续时间,等分这个连续时间为多个连续的时间段,由加速度数据传输与预处理模块获取这些时间段内方向盘的加速度数据的加权平均值;然后由加速度数据动态阈值训练模块取这些加权平均值的平均值,得到驾驶员在当前路段的动态阈值,得到阈值后通过比较加速度数据得到方向盘的波动区间,再由基于加速度数据检测驾驶员疲劳驾驶状态的算法应用模块根据方向盘4s不动理论,当方向盘连续4s不动时判定驾驶员处于疲劳驾驶状态。
CN201510249302.7A 2015-05-15 2015-05-15 一种基于决策级数据融合的疲劳驾驶状态检测***和方法 Expired - Fee Related CN104952210B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510249302.7A CN104952210B (zh) 2015-05-15 2015-05-15 一种基于决策级数据融合的疲劳驾驶状态检测***和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510249302.7A CN104952210B (zh) 2015-05-15 2015-05-15 一种基于决策级数据融合的疲劳驾驶状态检测***和方法

Publications (2)

Publication Number Publication Date
CN104952210A CN104952210A (zh) 2015-09-30
CN104952210B true CN104952210B (zh) 2018-01-05

Family

ID=54166832

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510249302.7A Expired - Fee Related CN104952210B (zh) 2015-05-15 2015-05-15 一种基于决策级数据融合的疲劳驾驶状态检测***和方法

Country Status (1)

Country Link
CN (1) CN104952210B (zh)

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105261153A (zh) * 2015-11-03 2016-01-20 北京奇虎科技有限公司 车辆行驶监控方法和装置
CN105405253B (zh) * 2015-12-18 2017-05-24 中交第一公路勘察设计研究院有限公司 一种驾驶员疲劳状态的监测方法及监测装置
CN105632103A (zh) * 2016-03-11 2016-06-01 张海涛 一种疲劳驾驶的监测方法及装置
CN106384129B (zh) * 2016-09-13 2018-07-20 西安科技大学 一种基于闭环驾驶模型的驾驶员驾驶状态辨识方法
CN106446849B (zh) * 2016-09-30 2019-08-23 福建省福信富通网络科技股份有限公司 一种疲劳驾驶检测方法
CN106548132A (zh) * 2016-10-16 2017-03-29 北海益生源农贸有限责任公司 融合眼睛状态和心率检测的疲劳驾驶检测方法
CN106539581B (zh) * 2016-12-07 2019-08-20 中国民用航空总局第二研究所 基于概率统计方法的管制员疲劳检测方法及***
CN106851478A (zh) * 2017-02-10 2017-06-13 深圳市笨笨机器人有限公司 多通道信息处理方法及***
US20210101604A1 (en) * 2017-03-28 2021-04-08 Kyushu Institute Of Technology Driver state detection device
CN106874900A (zh) * 2017-04-26 2017-06-20 桂林电子科技大学 一种基于方向盘图像的司机疲劳检测方法和检测装置
JP6509940B2 (ja) * 2017-05-10 2019-05-08 本田技研工業株式会社 運転支援装置および運転支援方法
CN108926352B (zh) * 2017-05-22 2020-10-09 北京大学 一种驾驶疲劳检测方法及***
CN107233103B (zh) * 2017-05-27 2020-11-20 西南交通大学 高铁调度员疲劳状态测评方法及***
CN107212870A (zh) * 2017-06-28 2017-09-29 上海电力学院 一种检测驾驶员状态的耳夹装置
CN107472130B (zh) * 2017-08-04 2020-09-11 山东理工大学 一种监测驾驶员危险驾驶状态的方法和***
DE112017008148B4 (de) * 2017-11-21 2021-12-16 Mitsubishi Electric Corporation Anomalie-Erfassungseinrichtung und Anomalie-Erfassungsverfahren
CN108682119B (zh) * 2018-05-29 2020-05-26 重庆大学 基于智能手机和智能手表的驾驶员疲劳状态检测方法
CN108765876A (zh) * 2018-05-31 2018-11-06 东北大学 基于多模信号的驾驶疲劳深度分析预警***及方法
CN108995531A (zh) * 2018-08-09 2018-12-14 爱驰汽车有限公司 用于汽车的疲劳报警装置及方法
CN109389806B (zh) * 2018-11-08 2020-07-24 山东大学 基于多信息融合的疲劳驾驶检测预警方法、***及介质
CN109993119A (zh) * 2019-03-31 2019-07-09 广东乐之康医疗技术有限公司 一种基于可穿戴设备的数据收集和学习方法
CN110101372A (zh) * 2019-04-24 2019-08-09 上海工程技术大学 一种城轨列车司机生理状态监测***
CN110334592A (zh) * 2019-05-27 2019-10-15 天津科技大学 一种司机异常行为监测和安全保障***及其方法
CN110464371A (zh) * 2019-08-29 2019-11-19 苏州中科先进技术研究院有限公司 基于机器学习的疲劳驾驶检测方法及***
CN114073513A (zh) * 2020-08-10 2022-02-22 安徽华米健康科技有限公司 一种睡眠中起夜的检测方法、装置及智能可穿戴设备
CN112233276B (zh) * 2020-10-13 2022-04-29 重庆科技学院 一种用于疲劳状态识别的方向盘转角统计特征融合方法
CN113642522B (zh) * 2021-09-01 2022-02-08 中国科学院自动化研究所 基于音视频的疲劳状态检测方法和装置
CN116382488B (zh) * 2023-06-01 2023-10-27 隽智生物医学研究实验室(佛山)有限公司 基于人体状态识别的人机交互智能化调控决策***及方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101090482A (zh) * 2006-06-13 2007-12-19 唐琎 一种基于图象处理和信息融合技术的驾驶员疲劳监测***及方法
CN102509418A (zh) * 2011-10-11 2012-06-20 东华大学 一种多传感信息融合的疲劳驾驶评估预警方法及装置
CN203252643U (zh) * 2013-05-20 2013-10-30 江西理工大学 智能检测驾驶员脉搏防瞌睡装置
CN103714660A (zh) * 2013-12-26 2014-04-09 苏州清研微视电子科技有限公司 基于图像处理融合心率特征与表情特征实现疲劳驾驶判别的***
CN104112335A (zh) * 2014-07-25 2014-10-22 北京机械设备研究所 一种基于多信息融合的疲劳驾驶检测方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011008457A (ja) * 2009-06-25 2011-01-13 Hitachi Ltd 自動車運転者居眠り防止装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101090482A (zh) * 2006-06-13 2007-12-19 唐琎 一种基于图象处理和信息融合技术的驾驶员疲劳监测***及方法
CN102509418A (zh) * 2011-10-11 2012-06-20 东华大学 一种多传感信息融合的疲劳驾驶评估预警方法及装置
CN203252643U (zh) * 2013-05-20 2013-10-30 江西理工大学 智能检测驾驶员脉搏防瞌睡装置
CN103714660A (zh) * 2013-12-26 2014-04-09 苏州清研微视电子科技有限公司 基于图像处理融合心率特征与表情特征实现疲劳驾驶判别的***
CN104112335A (zh) * 2014-07-25 2014-10-22 北京机械设备研究所 一种基于多信息融合的疲劳驾驶检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于多传感器数据融合的驾驶状态监控研究;李埃荣;《中国优秀硕士学位论文全文数据库 信息科技辑》;20080415(第4期);第12-57页 *

Also Published As

Publication number Publication date
CN104952210A (zh) 2015-09-30

Similar Documents

Publication Publication Date Title
CN104952210B (zh) 一种基于决策级数据融合的疲劳驾驶状态检测***和方法
Mendonca et al. A review of obstructive sleep apnea detection approaches
US11311201B2 (en) Feature selection for cardiac arrhythmia classification and screening
Boonnithi et al. Comparison of heart rate variability measures for mental stress detection
US9655559B2 (en) Automated sleep staging using wearable sensors
CN108765876A (zh) 基于多模信号的驾驶疲劳深度分析预警***及方法
Vicente et al. Detection of driver's drowsiness by means of HRV analysis
CN102138789B (zh) 一种动态心电和运动记录与分析***
EP3843623B1 (en) Photoplethysmography based detection of transitions between awake, drowsiness, and sleep phases of a subject
US10582862B1 (en) Determination and monitoring of basal heart rate
US20110319724A1 (en) Methods and systems for non-invasive, internal hemorrhage detection
EP2765905A1 (en) Seizure detection methods, apparatus, and systems using a wavelet transform maximum modulus or autoregression algorithm
Singh et al. An approach for real-time stress-trend detection using physiological signals in wearable computing systems for automotive drivers
Singh et al. Assessment of driver stress from physiological signals collected under real-time semi-urban driving scenarios
Singh et al. Biosignal based on-road stress monitoring for automotive drivers
Nguyen et al. Neural network approach for non-invasive detection of hyperglycemia using electrocardiographic signals
Luguev et al. Deep learning based affective sensing with remote photoplethysmography
Radha et al. LSTM knowledge transfer for HRV-based sleep staging
EP3387994B1 (en) Biological state estimation device, biological state estimation method, computer program, and recording medium
Malykhina et al. Digitalization of medical services for detecting violations of cerebrovascular regulation based on a neural network signal analysis algorithm
Clark et al. Machine learning based prediction of future stress events in a driving scenario
Jegan et al. Mental Stress Detection and Classification using SVM Classifier: A Pilot Study
Widasari et al. A new investigation of automatic sleep stage detection using decision-tree-based support vector machine and spectral features extraction of ecg signal
Chen et al. Beat-to-beat heart rate detection based on seismocardiogram using BiLSTM network
Trardi et al. Computationally efficient algorithm for atrial fibrillation detection using linear and geometric features of RR time-series derivatives

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
EE01 Entry into force of recordation of patent licensing contract
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20150930

Assignee: NUPT INSTITUTE OF BIG DATA RESEARCH AT YANCHENG

Assignor: NANJING University OF POSTS AND TELECOMMUNICATIONS

Contract record no.: X2020980007071

Denomination of invention: A fatigue driving state detection system and method based on decision level data fusion

Granted publication date: 20180105

License type: Common License

Record date: 20201026

CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20180105