CN103020594A - 利用在线学习消除驾驶人个体差异性的疲劳状态检测方法 - Google Patents

利用在线学习消除驾驶人个体差异性的疲劳状态检测方法 Download PDF

Info

Publication number
CN103020594A
CN103020594A CN2012105059765A CN201210505976A CN103020594A CN 103020594 A CN103020594 A CN 103020594A CN 2012105059765 A CN2012105059765 A CN 2012105059765A CN 201210505976 A CN201210505976 A CN 201210505976A CN 103020594 A CN103020594 A CN 103020594A
Authority
CN
China
Prior art keywords
driver
time
eyes
fatigue
tired
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2012105059765A
Other languages
English (en)
Other versions
CN103020594B (zh
Inventor
成波
张伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Automotive Research Institute of Tsinghua University
Original Assignee
Suzhou Automotive Research Institute of Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Automotive Research Institute of Tsinghua University filed Critical Suzhou Automotive Research Institute of Tsinghua University
Priority to CN201210505976.5A priority Critical patent/CN103020594B/zh
Publication of CN103020594A publication Critical patent/CN103020594A/zh
Application granted granted Critical
Publication of CN103020594B publication Critical patent/CN103020594B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本发明公开了 一种通过对眼睛运动特征进行在线学习来消除驾驶人个 体差异性的实现疲劳状态检测的方法。其方法包括以下步骤:通过摄像头获取驾驶人的视频图像,根据视频图像检测驾驶人的脸部并进行处理得到驾驶人眼睛动作特征;将驾驶人眼睛动作特征与驾驶人清醒情况下的数据进行比较,如果超出阈值则为驾驶人处于疲劳驾驶,如果没有超出阈值时,在此期间内对驾驶人的眼睛动作特征进行在线学习,并根据在线学习得到信息继续进行比较直到停止;根据本发明实施例的方法,通过对驾驶人眼睛部位的特征检测,以及对驾驶人特征的学习识别驾驶人是否处于疲劳驾驶状态,提前预防发生意外的风险,从而提高了驾驶人的行车安全。

Description

利用在线学习消除驾驶人个体差异性的疲劳状态检测方法
技术领域
本发明涉及汽车安全技术领域,尤其涉及一种利用在线学习消除驾驶人个体差异性的疲劳状态检测方法。
背景技术
机动车保有量的增加使得道路交通事故发生的数量和事故死亡人数日渐攀升,据统计资料表明,全球道路交通事故约占安全事故总数的90%左右,在非正常死亡之中,道路交通事故已成为名副其实的“头号杀手”。驾驶人疲劳驾驶是引发道路交通事故的诱因之一,其造成重大交通事故的概率远高于其他交通肇事行为。在我国,每年因疲劳驾驶等引发的事故占道路交通事故的20%,高速公路的30%以上,直接导致每年3000余人的死亡。然而,疲劳驾驶广泛存在且经常发生,研究开发高性能的驾驶人疲劳状态检测技术,可有效避免驾驶人在车辆行驶过程中精神状态下滑或进入浅度睡眠等危险状态,确保道路交通安全以及人身安全。
基于机器视觉的驾驶人疲劳状态在线辨识,作为生物特征识别与精神情感计算领域的一项具有很高实用价值的技术,以其独具的实时性、疲劳特征的高层语义可解释性、非侵入等特点,而成为驾驶人疲劳状态识别中最具发展潜力和实用化前景的技术方案。
本发明依据驾驶人疲劳时眼睑的动作特征和眼球活性特征,从不同侧面对疲劳时驾驶人的微观特征进行了描述,建立较为完备的疲劳特征空间,相对于目前国际上普遍使用的PERCLOS、最长闭眼时间、眨眼频率等指标,能够在更早期发现驾驶人的疲劳迹象。在驾驶人疲劳特征向量提取方面,多数疲劳检测方法没有充分考虑到疲劳特征的隐匿性和个体差异性问题,仅涉及具有统计学均值意义的共性特征,简单的采用固定阈值分割的方法对清醒/疲劳进行分类,没有采用时间序列分析的方法对检测对象外在表观特征的变化进行有效的提取和充分的利用,检测精度难以保证。
发明内容
本发明目的是:提供一种具有自适应性功能的驾驶人疲劳状态判别方法,有效地提取驾驶人的面部疲劳特征,针对疲劳表现特征的个体差异性和同体稳定性构建不同的疲劳模式分类器。
本发明的技术方案是:一种通过对眼睛运动特征进行在线学习来消除驾驶人个体差异性的实现疲劳状态检测的方法,利用摄像机采集驾驶人面部视频图像,在驾驶任务初期采用基于眼睛动作特征参数(如眨眼频率、眨眼速度等)构建的通用分类器对疲劳状态进行推断,后期则是在自学习的基础上采用时变特征(如眨眼频率的变化、眨眼速度的变化等)构建的疲劳模式分类器实现对驾驶人疲劳状态的辨识;具体包括如下步骤:
(1)采集驾驶人面部视频图像,采用基于面部视频的专家评分方法建立驾驶人面部视频数据库,数据库中的每个样本均为带有疲劳水平标签且长度为30秒的视频片段;
(2)运用处理软件测试每个样本中驾驶人眼睑的动作及眼球的运动状态,计算描述眼部动作特征的各疲劳评价参数,采用统计学分析的方法检验在不同疲劳水平下判别参数差异的显著性,进而筛选出描述驾驶人疲劳状态的眼睛特征指标;
(3)将筛选出的驾驶人眼睛动作特征参数全部引入特征空间,从视频数据库中随机抽取大量样本并计算每个样本的特征参数值,根据特征参数值和样本的类别标签(清醒、疲劳或严重疲劳)构建通用分类器;在驾驶任务初期,采用该通用模型对驾驶人的疲劳状态进行实时检测;
(4)根据在驾驶人面部视频数据库中抽取的大量样本,分别计算各样本特征参数的变化倍数(时变特征),检验在不同疲劳水平下时变特征差异的显著性,进而筛选出能够判别驾驶人疲劳状态的时变特征指标;根据时变特征的值和样本的类别标签,并在对时变特征有效性进行判别分析的基础上,离线设计基于时变特征的疲劳模式分类器;实际行车过程中,算法能够对驾驶人清醒状态下的眼睛动作特征进行在线学习并作为对照组,在驾驶任务后期,通过比较实时获取的数据与对照组的差异度对疲劳状态进行辨识。
优选的,所述步骤(1)具体包括以下步骤:
(11)利用摄像机采集驾驶人的面部视频图像,将实验中已录制的驾驶人面部视频按照时间顺序切分成长度为30秒的视频片段,每一个视频片段称为一个样本;
(12)利用基于面部视频的专家评分方法离线对每个样本中驾驶人的疲劳程度进行评分,其中清醒计为0分,疲劳计为1分,严重疲劳计为2分;所采用的评分准则为:
清醒——眼睛正常睁开,眨眼迅速,眼球状态活跃,精神集中,对外界保持注意力,头部端正并伴随偶尔的侧向瞥视,正常的面部表情;
疲劳——眼睛出现闭合趋势,眼球活跃程度下降,目光呆滞,打哈欠,突然的非正常动作,下意识点头,或出现挤眼、摇头等抗拒疲劳的动作,不时的矫正坐姿;
严重疲劳——眼睛闭合趋势严重,出现较长时间持续闭眼,睁眼程度下降,出现头部歪斜,点头,表情僵滞,时常出现一段时间内身体无任何动作反应,丧失继续驾车能力;
(13)多名评分专家对同一视频片段的评分均值作为该时间段驾驶人的实际疲劳状态,并以此为基准进行分类器的设计和疲劳检测算法精度的验证。
优选的,所述步骤(2)具体包括以下步骤:
(21)疲劳特征参数的选取:选取眼睛作为疲劳辨识的信息源,针对驾驶人在进入疲劳状态后眼睛表现出的闭合时间增长、闭眼速度减慢、眼球活性下降等特征,选取了与眼睑运动和虹膜运动相关的14个指标对疲劳状态下眼睛的表现特征进行描述;
(22)不同疲劳水平下判别参数差异的显著性检验:从驾驶人面部视频数据库中选取一定数量的视频样本用于疲劳判别指标的有效性分析,采用统计学分析的方法,对疲劳判别指标在疲劳致因因素三个不同水平(清醒,疲劳,严重疲劳)上是否存在显著性差异进行检验;
(23)最终确定用于驾驶人疲劳状态检测的判别指标为眼睛闭合百分比(Percentage of eyelid Closure,PERCLOS)、最长眨眼时间(Maximum CloseDuration,MCD)、眨眼频率(Blink Frequency,BF)、平均睁眼程度(AverageOpening Level,AOL)、特定闭眼时间对应的时间窗长度(Time WindowLength correspon ding to a certain value of Closure,TWLCLOS)、平均睁眼时间(Average Opening Time,AOT)、最大睁眼时间(Maximum OpeningTime,MOT)、平均闭眼时间(Average Closing Time,ACT)、最大闭眼时间(Maximum Closing Time,MCT)、闭眼时间与睁眼时间比值的最大值(Maximum Ratio of Closing and Opening Time,MRCOT)、闭眼时间与睁眼时间比值的平均值(Average Ratio of Closing and Opening Time,ARCOT)、虹膜最大无运动时间(Maximum Stationary Time ofIris,MSTI)、瞳孔无休息指数(Pupillary Unrest Index,PUI)以及虹膜上下不对称性(Asymmetry of Iris,AI),共计14个。
优选的,所述步骤(3)具体包括以下步骤:
(31)样本的选取:从驾驶人面部视频数据库中随机抽取大量样本,尽量确保每个驾驶人的视频都被抽到,且保持清醒、疲劳、严重疲劳样本的数量平衡;
(32)疲劳判别指标有效性分析:分别从定性和定量两个角度分析判别指标所构成的多维向量对驾驶人疲劳状态的分类能力,一方面通过二维典则函数空间中样本点的分布观测判别指标的分类能力,另一方面,根据Fisher线性分类器在训练样本空间上的分类精度考察特征参数对不同疲劳程度的区分能力;
(33)通用分类器设计:将描述驾驶人疲劳状态的眼睛动作特征共计14个指标全部引入特征空间,根据特征空间中特征点的分布构造Fisher线性分类器;在驾驶任务初期(前20分钟),运用Fisher线性分类器进行疲劳模式的辨识。
优选的,所述步骤(4)具体包括以下步骤:
(41)时变特征的离线获取及显著性检验:根据在驾驶人面部视频数据库中抽取的大量样本,分别计算各样本特征参数的变化倍数(时变特征),检验在不同疲劳水平下时变特征(变化倍数)差异的显著性,筛选出能够对疲劳程度进行判别的显著性指标;
(42)基于时变特征的疲劳模式分类器设计:在对时变特征疲劳分类能力判别分析的基础上,将筛选出的时变特征引入特征空间,离线设计基于时变特征的疲劳模式分类器(个体分类器);
(43)时变特征的实时在线获取:在驾驶任务初期(前20分钟),若驾驶人没有出现严重疲劳的特征,则分别计算每个驾驶人清醒状态下的特征值作为对照组,根据在线实时获取的特征参数值求取时变特征(变化倍数);
(44)在驾驶任务后期,将实时获取的时变特征值代入个体分类器中,根据所得结果进行驾驶人疲劳状态的辨识。
本发明的优点是:
1.本发明基于时变特征的驾驶人疲劳状态检测方法重点解决驾驶人的个体差异性对检测精度的影响,在实际行车过程中,通过获取驾驶人清醒状态下的判别指标作为对照组,采用与个体“特征值变化”相关的指标,例如眨眼频率相对清醒状态时的变化,睁/闭眼速度相对于清醒状态时的变化等进行驾驶人疲劳状态的识别,为疲劳辨识精度及***可靠性的提高提供了一种新的研究思路。
2.本发明为实车运行环境下驾驶人的疲劳检测提供了相关的关键技术解决方法,有益于推进疲劳检测***的实用化进程,其推广应用必将会更好地保障驾驶人、乘员及车载货物的安全,有效抑制驾驶人的异常状态和不良行为,可大幅降低我国恶***通事故的发生率。
附图说明
下面结合附图及实施例对本发明作进一步描述:
图1为本发明方法的流程图。
具体实施方式
实施例:本发明利用摄像机采集驾驶人面部视频图像,在驾驶任务初期采用基于眼睛动作特征参数(如眨眼频率、眨眼速度等)构建的通用分类器对疲劳状态进行推断,后期则是在自学习的基础上采用时变特征(如眨眼频率的变化、眨眼速度的变化等)构建的疲劳模式分类器实现对驾驶人疲劳状态的辨识;如图1所示,具体包括如下步骤:
(1)采集驾驶人面部的视频图像,采用基于面部视频的专家评分方法建立驾驶人面部视频数据库,数据库中的每个样本均为长度为30秒的视频片段,且每个样本被赋予一个疲劳状态标签;具体包括以下步骤:
(11)利用摄像机采集驾驶人面部视频图像,将实验中已录制的驾驶人面部视频采用视频切分软件按顺序切分成长度为30秒的视频片段,每一个视频片段称为一个样本;
(12)打乱视频片段的顺序,利用面部视频的专家评分方法对每个样本中驾驶人的疲劳程度进行评分,评价时将驾驶人状态分为清醒(0分)、疲劳(1分)与严重疲劳(2分)三级;基于面部视频的专家评分方法是由一组受过训练的专家根据驾驶人的面部视频依据一定规则(或整体感觉)离线对其疲劳程度进行评分,所采用的评分准则为:
清醒——眼睛正常睁开,眨眼迅速,眼球状态活跃,精神集中,对外界保持注意力,头部端正并伴随偶尔的侧向瞥视,正常的面部表情;
疲劳——眼睛出现闭合趋势,眼球活跃程度下降,目光呆滞,打哈欠,突然的非正常动作,下意识点头,或出现挤眼、摇头等抗拒疲劳的动作,不时的矫正坐姿;
严重疲劳——眼睛闭合趋势严重,出现较长时间持续闭眼,睁眼程度下降,出现头部歪斜,点头,表情僵滞,时常出现一段时间内身体无任何动作反应,丧失继续驾车能力;
(13)多名评分专家对同一视频片段的评分均值作为该时间段驾驶人的实际疲劳状态,并以此为基准进行分类器的设计和疲劳检测算法精度的验证。
(2)运用处理软件计算每个样本中的各疲劳评价参数,采用统计学分析的方法检验在不同疲劳水平(清醒,疲劳,严重疲劳)下判别参数差异的显著性,进而筛选出描述驾驶人疲劳状态的眼睛特征指标;具体包括以下步骤:
(21)疲劳特征参数的选取:选取眼睛作为疲劳辨识的信息源,针对驾驶人在进入疲劳状态后眼睛表现出的闭合时间增长、闭眼速度减慢、眼球活性下降等特征,选取了与眼睑运动和虹膜运动(即眼球的活性)相关的14个参数对疲劳状态下眼睛的表现特征进行描述;
(22)不同疲劳水平下判别参数差异的显著性检验:从驾驶人面部视频数据库中选取一定数量的视频样本用于疲劳判别指标的有效性分析,采用统计学分析的方法,通过比较不同疲劳状态下样本均值间的差异对疲劳判别指标在疲劳致因因素三个不同水平(清醒,疲劳,严重疲劳)上是否存在显著性差异进行检验;
(23)最终确定用于驾驶人疲劳状态检测的判别指标为眼睛闭合百分比(Percentage of eyelid Closure,PERCLOS)、最长眨眼时间(Maximum CloseDuration,MCD)、眨眼频率(Blink Frequency,BF)、平均睁眼程度(AverageOpening Level,AOL)、特定闭眼时间对应的时间窗长度(Time WindowLength corresponding to a certain value of Closure,TWLCLOS)、平均睁眼时间(Average Opening Time,AOT)、最大睁眼时间(Maximum OpeningTime,MOT)、平均闭眼时间(Average Closing Time,ACT)、最大闭眼时间(Maximum Closing Time,MC T)、闭眼时间与睁眼时间比值的最大值(Maximum Ratio of Closing and Opening Time,MRCOT)、闭眼时间与睁眼时间比值的平均值(Average Ratio of Closing and Opening Time,ARCOT)、虹膜最大无运动时间(Maximum Stationary Time of Iris,MSTI)、瞳孔无休息指数(Pupillary Unrest Index,PUI)以及虹膜上下不对称性(Asymmetry of Iris,AI),共计14个;这些参数包括两类,一类是与眼睑运动相关的参数,另一类是与虹膜运动相关的参数,各指标的定义分别描述如下:PERCLOS,一段时间内,眼睛累计闭合时间占时间窗长度的百分比;MCD,一段时间内,最长一次眼睛闭合的持续时间;BF,每分钟眨眼次数;AOL,一段时间内,眼睛睁开程度(百分比)的平均值;TWLCLOS,累计达到特定闭眼时间所需要的总时间;AOT,一段时间内,睁眼动作所需时间的平均值;MOT,一段时间内,睁眼动作所需时间的最大值;ACT,一段时间内,闭眼动作所需时间的平均值;MCT,一段时间内,闭眼动作所需时间的最大值;MRCOT,闭眼时间与睁眼时间比值在一段时间内的最大值;ARCOT,闭眼时间与睁眼时间的比值在一段时间内的平均值;MSTI,一段时间内,虹膜相对于眼角点无运动的时间的最大值;PUI,一段时间内,瞳孔无运动时间占总时间的百分比;AI,虹膜中心到上眼睑的距离与虹膜中心到下眼睑的距离的比值。
(3)将筛选出的描述驾驶人疲劳状态的眼睛动作特征参数全部引入特征空间,利用统计学判别分析的方法构建通用分类器;在驾驶任务初期,采用该通用模型实现对驾驶人疲劳状态的在线辨识;具体包括以下步骤:
(31)样本的选取:从驾驶人面部视频数据库中抽取大量样本,尽量确保每个驾驶人的视频都被选到,且保持清醒、疲劳、严重疲劳样本的数量平衡,数量不宜相差太大;
(32)疲劳判别指标有效性分析:为考察判别指标所构成的多维向量对驾驶人疲劳状态的分类能力,一方面通过二维典则函数空间中样本点的分布,从定性角度对指标的分类能力进行观测;另一方面根据Fisher线性分类器在训练样本空间上的分类精度,定量考察特征参数对不同疲劳程度的区分能力;
(33)通用分类器设计:将描述驾驶人疲劳状态的眼睛动作特征共计14个指标全部引入特征空间,根据特征空间中特征点的分布构造Fisher线性分类器;在驾驶任务初期(前20分钟),运用Fisher线性分类器进行疲劳模式的辨识;
(4)从面部视频数据库中随机抽取样本,根据每个驾驶人清醒状态下的判别参数值,获取各样本特征参数的变化倍数(时变特征),并检验在不同疲劳水平下时变特征差异的显著性,筛选出描述驾驶人疲劳状态的时变特征指标;在对时变特征指标有效性判别分析的基础上,离线设计基于时变特征的疲劳模式分类器;实际行车过程中,算法能够对驾驶人清醒状态下的眼睛动作特征进行在线学习并作为对照组,在驾驶任务后期,利用该基于时变特征的疲劳模式分类器对疲劳状态进行辨识。
(41)时变特征的离线获取及显著性检验:根据在驾驶人面部视频数据库中抽取的大量样本,分别计算每个驾驶人清醒状态下的眼睛动作特征PERCLOS、MCD、AOL等14个参数的均值,记为:
Ri(Parameter)
Parameter = PERCLOS , MCD , AOL , BF , TWLCLOS , AOT , MOT , ACT , MCT , MROCT , AROCT , MSTI , PUI , AI
其中i代表第i个被试人员,Parameter为PERCLOS、MCD等14个参数之一;对于具有疲劳水平标签的每个样本,分别计算特征参数的值,记作:
Tij(Parameter)
Parameter = PERCLOS , MCD , AOL , BF , TWLCLOS , AOT , MOT , ACT , MCT , MROCT , AROCT , MSTI , PUI , AI
其中i仍然代表第i个被试人员,j代表第j个样本;将每个样本各特征参数的计算值与该驾驶人清醒时各参数的平均值作商运算,可获得了每个样本的特征参数值相对于该驾驶人清醒状态时参考值的变化倍数,如下式所示:
Cij=Tij(Parameter)/Ri(Parameter)
采用变化倍数来描述驾驶人疲劳状态的各判别指标的时变特征,检验在不同疲劳水平(清醒,疲劳,严重疲劳)下时变特征差异的显著性,并筛选出描述驾驶人疲劳状态的时变特征指标;
(42)基于时变特征的疲劳模式分类器设计:在对时变特征疲劳判别能力有效性分析的基础上,根据每个训练样本时变特征的值和样本的类别标签(清醒、疲劳或严重疲劳),离线设计基于时变特征的疲劳模式分类器,得到判别方程;
(43)时变特征的实时在线获取:若驾驶任务初期(前20分钟)通用分类器输出结果中没有发现驾驶人出现严重疲劳的特征,即认为驾驶人该时间段内是清醒的,算法将自动计算清醒状态下眼睛动作特征参数的均值,并根据在线实时获取的特征参数值求取时变特征(变化倍数);
(44)在驾驶任务后期,将实时获取的时变特征代入判别方程,运用个体分类器进行驾驶人疲劳状态的实时估计。
以上仅是本发明的具体应用范例,对本发明的保护范围不构成任何限制。除上述实施例外,本发明还可以有其它实施方式。凡采用等同替换或等效变换形成的技术方案,均落在本发明所要求保护的范围之内。

Claims (5)

1.一种利用在线学习消除驾驶人个体差异性的疲劳状态检测方法,其特征在于:利用摄像机采集驾驶人面部视频图像,在驾驶任务初期采用基于眼睛动作特征参数(如眨眼频率、眨眼速度等)构建的通用分类器对疲劳状态进行推断,后期则是在自学习的基础上采用“时变特征”(如眨眼频率的变化、眨眼速度的变化等)构建的疲劳模式分类器实现对驾驶人疲劳状态的辨识;具体包括如下步骤:
(1)采集驾驶人面部视频图像,采用基于面部视频的专家评分方法建立驾驶人面部视频数据库,数据库中的每个样本均为带有疲劳水平标签且长度为30秒的视频片段;
(2)运用处理软件测试每个样本中驾驶人眼睑的动作及眼球的运动状态,计算描述眼部动作特征的各疲劳评价参数,采用统计学分析的方法检验在不同疲劳水平下判别参数差异的显著性,进而筛选出描述驾驶人疲劳状态的眼睛特征指标;
(3)将筛选出的驾驶人眼睛动作特征参数全部引入特征空间,从视频数据库中随机抽取大量样本并计算每个样本的特征参数值,根据特征参数值和样本的类别标签(清醒、疲劳或严重疲劳)构建通用分类器;在驾驶任务初期,采用该通用模型对驾驶人的疲劳状态进行实时检测;
(4)根据在驾驶人面部视频数据库中抽取的大量样本,分别计算各样本特征参数的变化倍数(时变特征),检验在不同疲劳水平下变化特征差异的显著性,进而筛选出能够判别驾驶人疲劳状态的时变特征指标;根据时变特征的值和样本的类别标签,并在对时变指标有效性判别分析的基础上,离线设计基于时变特征的疲劳模式分类器;实际行车过程中,算法能够对驾驶人清醒状态下的眼睛动作特征进行在线学习并作为对照组,在驾驶任务后期,通过比较实时获取的数据与对照组的差异度对疲劳状态进行辨识。
2.根据权利要求1所述的利用在线学习消除驾驶人个体差异性的疲劳状态检测方法,其特征在于:所述步骤(1)具体包括以下步骤:
(11)利用摄像机采集驾驶人的面部视频图像,将实验中已录制的驾驶人面部视频按照时间顺序切分成长度为30秒的视频片段,每一个视频片段称为一个样本;
(12)利用基于面部视频的专家评分方法离线对每个样本中驾驶人的疲劳程度进行评分,其中清醒计为0分,疲劳计为1分,严重疲劳计为2分;所采用的评分准则为:
清醒——眼睛正常睁开,眨眼迅速,眼球状态活跃,精神集中,对外界保持注意力,头部端正并伴随偶尔的侧向瞥视,正常的面部表情;
疲劳——眼睛出现闭合趋势,眼球活跃程度下降,目光呆滞,打哈欠,突然的非正常动作,下意识点头,或出现挤眼、摇头等抗拒疲劳的动作,不时的矫正坐姿;
严重疲劳——眼睛闭合趋势严重,出现较长时间持续闭眼,睁眼程度下降,出现头部歪斜,点头,表情僵滞,时常出现一段时间内身体无任何动作反应,丧失继续驾车能力;
(13)多名评分专家对同一视频片段的评分均值作为该时间段驾驶人的实际疲劳状态,并以此为基准进行分类器的设计和疲劳检测算法精度的验证。
3.根据权利要求1所述的利用在线学习消除驾驶人个体差异性的疲劳状态检测方法,其特征在于:所述步骤(2)具体包括以下步骤:
(21)疲劳特征参数的选取:选取眼睛作为疲劳辨识的信息源,针对驾驶人在进入疲劳状态后眼睛表现出的闭合时间增长、闭眼速度减慢、眼球活性下降等特征,选取了与眼睑运动和虹膜运动相关的14个指标对疲劳状态下眼睛的表现特征进行描述;
(22)不同疲劳水平下判别参数差异的显著性检验:从驾驶人面部视频数据库中选取一定数量的视频样本用于疲劳判别指标的有效性分析,采用统计学分析的方法,对疲劳判别指标在疲劳致因因素三个不同水平(清醒,疲劳,严重疲劳)上是否存在显著性差异进行检验;
(23)最终确定用于驾驶人疲劳状态检测的判别指标为眼睛闭合百分比(Percentage of eyelid Closure, PERCLOS)、最长眨眼时间(Maximum Close Duration, MCD)、眨眼频率(Blink Frequency, BF)、平均睁眼程度(Average Opening Level, AOL)、特定闭眼时间对应的时间窗长度(Time Window Length corresponding to a certain value of Closure, TWLCLOS)、平均睁眼时间(Average Opening Time, AOT)、最大睁眼时间(Maximum Opening Time, MOT)、平均闭眼时间(Average Closing Time, ACT)、最大闭眼时间(Maximum Closing Time, MCT)、闭眼时间与睁眼时间比值的最大值(Maximum Ratio of Closing and Opening Time, MRCOT)、闭眼时间与睁眼时间比值的平均值(Average Ratio of Closing and Opening Time, ARCOT)、虹膜最大无运动时间(Maximum Stationary Time of Iris, MSTI)、瞳孔无休息指数(Pupillary Unrest Index, PUI)以及虹膜上下不对称性(Asymmetry of Iris, AI),共计14个。
4.根据权利要求1所述的利用在线学习消除驾驶人个体差异性的疲劳状态检测方法,其特征在于:所述步骤(3)具体包括以下步骤:
(31)样本的选取:从驾驶人面部视频数据库中随机抽取大量样本,尽量确保每个驾驶人的视频都被抽到,且保持清醒、疲劳、严重疲劳样本的数量平衡;
(32)疲劳判别指标有效性分析:分别从定性和定量两个角度分析判别指标所构成的多维向量对驾驶人疲劳状态的分类能力,一方面通过二维典则函数空间中样本点的分布观测判别指标的分类能力,另一方面,根据Fisher线性分类器在训练样本空间上的分类精度考察特征参数对不同疲劳程度的区分能力;
(33)通用分类器设计:将描述驾驶人疲劳状态的眼睛动作特征共计14个指标全部引入特征空间,根据特征空间中特征点的分布构造Fisher线性分类器;在驾驶任务初期(前20分钟),运用Fisher线性分类器进行疲劳模式的辨识。
5.根据权利要求1所述的利用在线学习消除驾驶人个体差异性的疲劳状态检测方法,其特征在于:所述步骤(4)具体包括以下步骤:
(41)时变特征的离线获取及显著性检验:根据在驾驶人面部视频数据库中抽取的大量样本,分别计算各样本特征参数的变化倍数(时变特征),检验在不同疲劳水平下时变特征(变化倍数)差异的显著性,筛选出能够对疲劳程度进行判别的显著性指标;
(42)基于时变特征的疲劳模式分类器设计:在对时变特征疲劳分类能力判别分析的基础上,将筛选出的时变特征引入特征空间,离线设计基于时变特征的疲劳模式分类器(个体分类器);
(43)时变特征的实时在线获取:在驾驶任务初期(前20分钟),若驾驶人没有出现严重疲劳的特征,则分别计算每个驾驶人清醒状态下的特征值作为对照组,根据在线实时获取的特征参数值求取时变特征(变化倍数);
(44)在驾驶任务后期,将实时获取的时变特征值代入个体分类器中,根据所得结果进行驾驶人疲劳状态的辨识。
CN201210505976.5A 2012-12-03 2012-12-03 利用在线学习消除驾驶人个体差异性的疲劳状态检测方法 Active CN103020594B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201210505976.5A CN103020594B (zh) 2012-12-03 2012-12-03 利用在线学习消除驾驶人个体差异性的疲劳状态检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201210505976.5A CN103020594B (zh) 2012-12-03 2012-12-03 利用在线学习消除驾驶人个体差异性的疲劳状态检测方法

Publications (2)

Publication Number Publication Date
CN103020594A true CN103020594A (zh) 2013-04-03
CN103020594B CN103020594B (zh) 2016-01-20

Family

ID=47969185

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210505976.5A Active CN103020594B (zh) 2012-12-03 2012-12-03 利用在线学习消除驾驶人个体差异性的疲劳状态检测方法

Country Status (1)

Country Link
CN (1) CN103020594B (zh)

Cited By (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103617421A (zh) * 2013-12-17 2014-03-05 上海电机学院 基于综合视频特征分析的疲劳检测方法及***
CN103950386A (zh) * 2014-04-07 2014-07-30 临颍县贝克电子科技有限公司 利用机动车驾驶员状态特征进行综合监控的***
CN104484549A (zh) * 2014-11-06 2015-04-01 山东交通学院 一种基于驾驶员视觉注意机制的多任务驾驶安全状态辨识方法
CN104794438A (zh) * 2015-04-08 2015-07-22 天脉聚源(北京)教育科技有限公司 一种人物状态监测方法及装置
CN104850827A (zh) * 2015-04-23 2015-08-19 小米科技有限责任公司 指纹识别方法及装置
CN105354988A (zh) * 2015-12-11 2016-02-24 东北大学 一种基于机器视觉的驾驶员疲劳驾驶检测***及检测方法
CN105632104A (zh) * 2016-03-18 2016-06-01 内蒙古大学 一种疲劳驾驶检测***和方法
CN105809893A (zh) * 2014-12-30 2016-07-27 北京奇虎科技有限公司 一种防疲劳驾驶***及方法
CN105931430A (zh) * 2016-05-25 2016-09-07 惠州华阳通用电子有限公司 用于驾驶员状态预警***的报警灵敏度检测方法及装置
CN106355838A (zh) * 2016-10-28 2017-01-25 深圳市美通视讯科技有限公司 一种疲劳驾驶检测方法和***
CN106407922A (zh) * 2016-09-08 2017-02-15 哈尔滨工程大学 一种基于在线字典学习形变模型的疲劳状态识别方法
WO2017040519A1 (en) * 2015-08-31 2017-03-09 Sri International Method and system for monitoring driving behaviors
CN104182338B (zh) * 2014-08-19 2017-05-24 苏州清研微视电子科技有限公司 一种疲劳驾驶预警产品检测精度的测试方法
CN107480695A (zh) * 2015-02-06 2017-12-15 安徽大学 一种物体轮廓检测识别方法
CN107844777A (zh) * 2017-11-16 2018-03-27 百度在线网络技术(北京)有限公司 用于生成信息的方法和装置
CN108108684A (zh) * 2017-12-15 2018-06-01 杭州电子科技大学 一种融合视线检测的注意力检测方法
CN109192275A (zh) * 2018-08-06 2019-01-11 百度在线网络技术(北京)有限公司 人物精神状态的确定方法、装置及服务器
CN109543577A (zh) * 2018-11-09 2019-03-29 上海物联网有限公司 一种基于面部表情特征的疲劳驾驶检测预警方法
CN109925678A (zh) * 2019-03-01 2019-06-25 北京七鑫易维信息技术有限公司 一种基于眼动追踪技术的训练方法、训练装置及设备
CN109977761A (zh) * 2019-02-01 2019-07-05 重庆交互科技有限公司 基于面部状态识别的疲劳驾驶唤醒方法及***
CN110182050A (zh) * 2019-05-04 2019-08-30 王飞 疲劳驾驶智能控制限速停车装置
CN110232327A (zh) * 2019-05-21 2019-09-13 浙江师范大学 一种基于梯形级联卷积神经网络的驾驶疲劳检测方法
CN110765807A (zh) * 2018-07-25 2020-02-07 阿里巴巴集团控股有限公司 驾驶行为分析、处理方法、装置、设备和存储介质
CN111295699A (zh) * 2017-08-31 2020-06-16 松下知识产权经营株式会社 辅助方法以及利用该辅助方法的辅助***、辅助装置
CN111784973A (zh) * 2020-07-30 2020-10-16 广州敏视数码科技有限公司 一种车队管理平台的mdvr设备集成疲劳检测方法
CN112906633A (zh) * 2021-03-18 2021-06-04 南通师范高等专科学校 一种基于学生注意力的教学优化方法
CN113967014A (zh) * 2021-12-22 2022-01-25 成都航空职业技术学院 基于大数据的学生行为分析装置、***及方法
WO2022110917A1 (zh) * 2020-11-26 2022-06-02 亿咖通(湖北)科技有限公司 驾驶员的驾驶状态确定方法、计算机存储介质及电子设备
CN117717309A (zh) * 2023-12-25 2024-03-19 上海雄博精密仪器股份有限公司 一种人眼高阶像差的检测方法、装置和存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101540090A (zh) * 2009-04-14 2009-09-23 华南理工大学 基于多元信息融合的驾驶员疲劳监测装置及其监测方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101540090A (zh) * 2009-04-14 2009-09-23 华南理工大学 基于多元信息融合的驾驶员疲劳监测装置及其监测方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
张希波等: "基于方向盘操作的驾驶人疲劳状态实时检测方法", 《清华大学学报(自然科学版)》 *
成波等: "基于多源信息融合的驾驶人疲劳状态监测及预警方法研究", 《公路交通科技》 *
李衡峰: "基于综合集成的驾驶疲劳识别", 《中国优秀硕博士学位论文全文数据库(硕士)信息科技辑》 *
马添翼等: "基于面部表情特征的驾驶员疲劳状态识别", 《汽车安全与节能学报》 *

Cited By (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103617421A (zh) * 2013-12-17 2014-03-05 上海电机学院 基于综合视频特征分析的疲劳检测方法及***
CN103950386A (zh) * 2014-04-07 2014-07-30 临颍县贝克电子科技有限公司 利用机动车驾驶员状态特征进行综合监控的***
CN104182338B (zh) * 2014-08-19 2017-05-24 苏州清研微视电子科技有限公司 一种疲劳驾驶预警产品检测精度的测试方法
CN104484549A (zh) * 2014-11-06 2015-04-01 山东交通学院 一种基于驾驶员视觉注意机制的多任务驾驶安全状态辨识方法
CN105809893B (zh) * 2014-12-30 2019-07-30 北京奇虎科技有限公司 一种防疲劳驾驶***及方法
CN105809893A (zh) * 2014-12-30 2016-07-27 北京奇虎科技有限公司 一种防疲劳驾驶***及方法
CN107480695A (zh) * 2015-02-06 2017-12-15 安徽大学 一种物体轮廓检测识别方法
CN104794438A (zh) * 2015-04-08 2015-07-22 天脉聚源(北京)教育科技有限公司 一种人物状态监测方法及装置
CN104850827A (zh) * 2015-04-23 2015-08-19 小米科技有限责任公司 指纹识别方法及装置
WO2017040519A1 (en) * 2015-08-31 2017-03-09 Sri International Method and system for monitoring driving behaviors
US10769459B2 (en) 2015-08-31 2020-09-08 Sri International Method and system for monitoring driving behaviors
CN105354988A (zh) * 2015-12-11 2016-02-24 东北大学 一种基于机器视觉的驾驶员疲劳驾驶检测***及检测方法
CN105354988B (zh) * 2015-12-11 2018-02-27 东北大学 一种基于机器视觉的驾驶员疲劳驾驶检测***及检测方法
CN105632104A (zh) * 2016-03-18 2016-06-01 内蒙古大学 一种疲劳驾驶检测***和方法
CN105632104B (zh) * 2016-03-18 2019-03-01 内蒙古大学 一种疲劳驾驶检测***和方法
CN105931430A (zh) * 2016-05-25 2016-09-07 惠州华阳通用电子有限公司 用于驾驶员状态预警***的报警灵敏度检测方法及装置
CN106407922A (zh) * 2016-09-08 2017-02-15 哈尔滨工程大学 一种基于在线字典学习形变模型的疲劳状态识别方法
CN106355838A (zh) * 2016-10-28 2017-01-25 深圳市美通视讯科技有限公司 一种疲劳驾驶检测方法和***
CN111295699B (zh) * 2017-08-31 2023-03-21 松下知识产权经营株式会社 辅助方法以及利用该辅助方法的辅助***、辅助装置
CN111295699A (zh) * 2017-08-31 2020-06-16 松下知识产权经营株式会社 辅助方法以及利用该辅助方法的辅助***、辅助装置
CN107844777B (zh) * 2017-11-16 2021-06-11 百度在线网络技术(北京)有限公司 用于生成信息的方法和装置
CN107844777A (zh) * 2017-11-16 2018-03-27 百度在线网络技术(北京)有限公司 用于生成信息的方法和装置
CN108108684B (zh) * 2017-12-15 2020-07-17 杭州电子科技大学 一种融合视线检测的注意力检测方法
CN108108684A (zh) * 2017-12-15 2018-06-01 杭州电子科技大学 一种融合视线检测的注意力检测方法
CN110765807B (zh) * 2018-07-25 2024-04-05 斑马智行网络(香港)有限公司 驾驶行为分析、处理方法、装置、设备和存储介质
CN110765807A (zh) * 2018-07-25 2020-02-07 阿里巴巴集团控股有限公司 驾驶行为分析、处理方法、装置、设备和存储介质
CN109192275A (zh) * 2018-08-06 2019-01-11 百度在线网络技术(北京)有限公司 人物精神状态的确定方法、装置及服务器
US11055512B2 (en) 2018-08-06 2021-07-06 Baidu Online Network Technology (Beijing) Co., Ltd. Method, apparatus and server for determining mental state of human
CN109543577A (zh) * 2018-11-09 2019-03-29 上海物联网有限公司 一种基于面部表情特征的疲劳驾驶检测预警方法
CN109977761A (zh) * 2019-02-01 2019-07-05 重庆交互科技有限公司 基于面部状态识别的疲劳驾驶唤醒方法及***
CN109925678A (zh) * 2019-03-01 2019-06-25 北京七鑫易维信息技术有限公司 一种基于眼动追踪技术的训练方法、训练装置及设备
CN110182050A (zh) * 2019-05-04 2019-08-30 王飞 疲劳驾驶智能控制限速停车装置
CN110232327A (zh) * 2019-05-21 2019-09-13 浙江师范大学 一种基于梯形级联卷积神经网络的驾驶疲劳检测方法
CN111784973B (zh) * 2020-07-30 2021-12-14 广州敏视数码科技有限公司 一种车队管理平台的mdvr设备集成疲劳检测方法
CN111784973A (zh) * 2020-07-30 2020-10-16 广州敏视数码科技有限公司 一种车队管理平台的mdvr设备集成疲劳检测方法
WO2022110917A1 (zh) * 2020-11-26 2022-06-02 亿咖通(湖北)科技有限公司 驾驶员的驾驶状态确定方法、计算机存储介质及电子设备
CN112906633A (zh) * 2021-03-18 2021-06-04 南通师范高等专科学校 一种基于学生注意力的教学优化方法
CN113967014A (zh) * 2021-12-22 2022-01-25 成都航空职业技术学院 基于大数据的学生行为分析装置、***及方法
CN117717309A (zh) * 2023-12-25 2024-03-19 上海雄博精密仪器股份有限公司 一种人眼高阶像差的检测方法、装置和存储介质

Also Published As

Publication number Publication date
CN103020594B (zh) 2016-01-20

Similar Documents

Publication Publication Date Title
CN103020594B (zh) 利用在线学习消除驾驶人个体差异性的疲劳状态检测方法
Tipprasert et al. A method of driver’s eyes closure and yawning detection for drowsiness analysis by infrared camera
Garcia et al. Vision-based drowsiness detector for real driving conditions
CN104637246A (zh) 一种驾驶员多种行为预警***及危险评估方法
CN104183091A (zh) 一种自适应调整疲劳驾驶预警***灵敏度的***
CN105719431A (zh) 一种疲劳驾驶检测***
CN106250801A (zh) 基于人脸检测和人眼状态识别的疲劳检测方法
CN108294759A (zh) 一种基于cnn眼部状态识别的驾驶员疲劳检测方法
CN103340637A (zh) 基于眼动与脑电融合的驾驶员警觉度智能监控***及方法
CN109229108A (zh) 一种基于驾驶指纹的驾驶行为安全评价方法
EP3248179A1 (de) Verfahren und vorrichtung zum erkennen von sekundenschlaf eines fahrers eines fahrzeugs
CN107133584A (zh) 基于眼动跟踪的隐式意图识别分类方法
CN109740477A (zh) 驾驶员疲劳检测***及其疲劳检测方法
CN106548132A (zh) 融合眼睛状态和心率检测的疲劳驾驶检测方法
Charniya et al. Drunk driving and drowsiness detection
CN112528843A (zh) 一种融合面部特征的机动车驾驶人疲劳检测方法
Damousis et al. Fuzzy fusion of eyelid activity indicators for hypovigilance-related accident prediction
CN103729646A (zh) 一种眼睛图像有效性检测方法
Rani et al. Development of an Automated Tool for Driver Drowsiness Detection
Picot et al. EOG-based drowsiness detection: Comparison between a fuzzy system and two supervised learning classifiers
Joseph et al. Real time drowsiness detection using Viola jones & KLT
Bin et al. A fatigue driving detection method based on multi facial features fusion
Bajaj et al. AI based novel approach to detect driver drowsiness
Feldhütter et al. A new approach for a real-time non-invasive fatigue assessment system for automated driving
Wang et al. A fatigue driving detection method based on deep learning and image processing

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant