CN103318023A - 车载实时智能疲劳监控及辅助装置 - Google Patents

车载实时智能疲劳监控及辅助装置 Download PDF

Info

Publication number
CN103318023A
CN103318023A CN2013102487101A CN201310248710A CN103318023A CN 103318023 A CN103318023 A CN 103318023A CN 2013102487101 A CN2013102487101 A CN 2013102487101A CN 201310248710 A CN201310248710 A CN 201310248710A CN 103318023 A CN103318023 A CN 103318023A
Authority
CN
China
Prior art keywords
tired
unit
module
fatigue
chaufeur
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2013102487101A
Other languages
English (en)
Other versions
CN103318023B (zh
Inventor
姜成华
冯铁男
吴恒璟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tongji University
Original Assignee
Tongji University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tongji University filed Critical Tongji University
Priority to CN201310248710.1A priority Critical patent/CN103318023B/zh
Publication of CN103318023A publication Critical patent/CN103318023A/zh
Application granted granted Critical
Publication of CN103318023B publication Critical patent/CN103318023B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Traffic Control Systems (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

本发明提出了一种车载实时智能疲劳监控及辅助装置,属于汽车安全技术领域。该装置包括用户基线录入或者更新的个性化疲劳基线调整模块,检测驾驶员疲劳状态的影像采集模块,对驾驶员状态进行参数化的疲劳参数化模块,对驾驶员疲劳状态进行分级并根据其疲劳等级产生干涉指令的疲劳分级及指令生成模块,接收上述干涉指令的控制模块,在控制模块的控制下执行干涉指令动作的执行模块,上述各模块依次连接。本发明允许对用户的疲劳基线进行个性化设置与调整,检测驾驶员的疲劳状态并对其进行分级,根据不同的疲劳等级控制不同的干涉行为,能够更有效地降低事故发生率,同时提高了用户的接受度。

Description

车载实时智能疲劳监控及辅助装置
技术领域
本发明属于汽车安全技术领域,涉及一种驾驶员疲劳监控与辅助装置,尤其涉及一种以个性化的标准实时监控驾驶员疲劳程度,并根据不同的疲劳程度进行不同的辅助操作的智能装置。
背景技术
疲劳驾驶是造成交通事故的主要原因之一,由此造成的交通事故占交通事故总量的22.9%~30%,疲劳驾驶在死亡交通事故的原因中居首位,因此减少疲劳驾驶可以降低公共财产和个人人身财产损失。车载装置因其体积小,使用方便的优点,被广泛嵌入车内,目前已有用于疲劳报警中。
2005年公开的公开号为1680779的中国发明专利“驾驶员疲劳检测方法及装置”,利用红外光线对驾驶员眼部照射,通过2个不同波长滤波镜头的互补金属氧化物半导体(CMOS)摄像头得到2副在同一时刻只有视网膜图像不同的图像;采集到图像信号由控制主板中的图像处理程序进行差分处理得到瞳孔图像参数,通过计算得出单位时间眼睛闭合时间所占的比例(PERCLOS)值来判断驾驶员的疲劳程度。
但是,上述专利在不同的波长下获取眼睛的图像,进行差分,跟踪眼睛的位置在光线比较亮的环境下,容易造成测量失败;采用计算PERCLOS值的方法来进行疲劳检测,由于实际应用环境复杂,检测结果可靠性差,准确率低。
2009年公开的公开号为101574260的中国发明专利“车载疲劳预警装置及方法”,经过提取瞳孔图像数据的灰度分量,对亮暗两幅瞳孔图像数据做差分后,对差分后的瞳孔图像数据进行卡尔曼滤波做二值化去噪处理,利用灰度投影原理对瞳孔进行定位,得到瞳孔的面积,然后采用一段时间内检测到的闭眼量,检测疲劳,发出警告。
2012年公开的公开号为202243010U的中国实用新型专利“防疲劳驾驶装置及车载装置”,是基于人脸图像中瞳孔的尺寸和眼皮眨动的频率来分析疲劳程度,根据所述疲劳程度对驾驶员进行提醒。
上述两个专利分别从两个方面来检测疲劳等级,在不同的外部环境下各具有一定的优势,但是由于每个人的情况会存在差异,如果都是按照大众化的标准数据进行监控,必然会增加原本已有的误差,当误差达到一定界限时,直接导致错误的判断,因此构架准确的个性化参考数据非常重要,另外一方面,上述专利都只是将疲劳程度划分为是和否,过于简单,没有考虑到在驾驶员并不是很疲劳的情况下,采用一些辅助性的措施来提高用户的认可度。
发明内容
本发明的目的在于提供一种能够实时准确地检测驾驶员疲劳程度并针对不同的疲劳等级采取相应措施的车载实时智能疲劳监控及辅助装置。
为了达到上述目的,本发明的解决方案是:
一种车载实时智能疲劳监控及辅助装置,包括用于用户疲劳基线设定与更新的个性化疲劳基线调整模块;以及与所述个性化疲劳基线调整模块连接的影像采集模块,以检测驾驶员的疲劳状态;以及与所述影像采集模块连接的疲劳参数化模块,以参数化所述驾驶员的疲劳状态;以及与所述疲劳参数化模块连接的疲劳分级及指令生成模块,以根据所述疲劳参数化模块得出的驾驶员疲劳状态参数将驾驶员的疲劳状态分级,并根据所得的疲劳等级产生指令;以及与所述个性化疲劳基线调整模块、所述影像采集模块以及所述疲劳分级及指令生成模块连接的控制模块以及与所述控制模块连接的执行模块,所述控制模块接收所述疲劳分级及指令生成模块的指令并由此控制所述执行模块工作。
所述个性化疲劳基线调整模块包括疲劳状态选择单元,以让用户主观确认所处的疲劳状态;以及与所述疲劳状态选择单元连接的信息采集单元,以采集当前驾驶员的疲劳状态;以及与所述信息采集单元连接的比对单元及与所述比对单元连接的第一内部存储数据单元,所述第一内部存储数据单元用于存储参考基线信息或者历史基线信息,所述比对单元将所述当前驾驶员的疲劳状态与所述第一内部存储数据单元的参考基线信息或者历史基线信息进行比对;以及与所述比对单元连接的校对单元,所述校对单元根据所述比对单元的结果对当前用户的疲劳基线进行校对;以及与所述校对单元连接的用户确认单元,以让用户确认校对的当前用户的疲劳基线是否正确;所述用户确认单元还与所述疲劳状态选择单元连接,以在用户否定所述校对后的疲劳基线时重新开始疲劳基线调整,与所述第一内部存储数据单元连接,以在用户确认所述校对后的疲劳基线时将所述校对后的疲劳基线存储于所述第一内部存储数据单元中。
所述影像采集模块包括驾驶状态判断单元,以检测驾驶员是否处于驾驶状态;以及与所述驾驶状态判断单元连接的采集条件判断单元和与所述采集条件判断单元连接的提醒单元和摄像传感单元,所述采集条件判断单元判断驾驶员的头部是否在影像采集区内;所述摄像传感单元在驾驶员的头部在影像采集区内时进行摄像;所述提醒单元在驾驶员的头部不在影像采集区内时对驾驶员发出提醒;以及与所述摄像传感单元连接的滤波单元,以对所述摄像传感单元采集的信息进行滤波,辅助瞳孔的定位;以及与所述滤波单元连接的人脸识别定位单元,以从背景环境中定位驾驶员脸部;以及与所述人脸识别定位单元连接的眼眶捕获单元,以定位驾驶员的眼眶位置;以及与所述眼眶捕获单元连接的眼眶高度及宽度采集单元,以采集驾驶员的眼眶影像;以及与所述眼眶高度及宽度采集单元连接的瞳孔孔径检测单元,以采集驾驶员瞳孔影像;以及与所述瞳孔孔径检测单元连接的后台数据存储单元,以存所述采集的影像。
所述摄像传感单元为摄像头;所述摄像头的检测范围包括轴上光源800nm~900nm的红外光及轴外900~1000的红外光;所述摄像头内置于所述装置中或者通过无线连接方式与所述装置连接;优选的,当所述摄像头采集图像的帧数为25帧/s时,所述摄像头通过无线方式连接在所述装置上。
所述疲劳参数化模块包括相互连接的疲劳参数计算单元和第二内部存储数据单元;所述疲劳参数计算单元计算驾驶员的眼眶高度和宽度、瞳孔孔径、眼眶高度和宽度的加和以及瞳孔孔径的变化次数,并将所述计算结果储存于所述第二内部存储数据单元中。
所述疲劳分级及指令生成模块包括依次连接的疲劳等级生成单元和干涉指令生成单元;所述疲劳等级生成单元与所述第二内部存储数据单元连接,调用所述第二内部存储数据单元的疲劳参数并由此将驾驶员的疲劳状态进行分级,所述干涉指令生成单元根据驾驶员的疲劳等级产生干涉指令。
所述执行单元包括报警单元、制动单元以及自动驾驶单元。
当车辆已有报警部件、制动部件和自动驾驶部件时,所述报警单元、所述制动单元和所述自动驾驶单元分别共用所述车辆已有的报警部件、制动部件和自动驾驶部件。
所述个性化基线调整模块、所述影像采集模块、所述疲劳参数化模块和所述疲劳分级及指令生成模块均采用数字信号处理器;所述控制模块采用现场可编程门阵列芯片。
所述制动单元采用MCS51系列单片机。
由于采用上述方案,本发明的有益效果是:本发明设置了个性化的数据校对,通过影像采集模块采集人眼部情况,利用采集的图像对人眼的眼眶高度和宽度以及在一定时间内瞳孔的变化情况,建立疲劳等级的等级评估体系,根据疲劳等级的评估结果,进行外部设备干涉。本发明对驾驶员疲劳程度分析的判断标准是驾驶员的个性化疲劳基线,因此相比现有技术来说其误差小,准确度高。同时,本发明对驾驶员的疲劳状态进行等级划分,在不同的疲劳等级下执行不同的辅助动作,更加合理有效,能够在保证疲劳事故发生率降低的前提下,提高用户的认可度,有利于本发明的市场化。
附图说明
图1本发明实施例中车载实时智能疲劳监控及辅助装置的结构示意图;
图2本发明实施例中个性化疲劳基线调整模块的结构示意图;
图3本发明实施例中影像采集模块的结构示意图;
图4本发明实施例中疲劳参数化模块的结构示意图;
图5本发明实施例中疲劳分级及指令生成模块的结构示意图;
图6本发明实施例中车载实时智能疲劳监控及辅助装置的工作流程图。
具体实施方式
以下结合附图所示实施例对本发明作进一步的说明。
现有技术中关于驾驶员疲劳监控的技术应用在复杂的实际环境下时,容易产生测量失败的现象,可靠性差,准确率低;同时由于其比对标准为大众化的标准数据,因此误差大,有时甚至会导致错误的判断,进一步降低了其可靠性与准确度。此外,现有技术对疲劳程度的划分仅为是与否,过于简单,没有考虑到在驾驶员处于一定疲劳状态但是还不至于达到危险程度时采用辅助性措施来提高用户的认可度。鉴于此,本发明提出了一种能够实时准确地检测驾驶员疲劳程度并针对不同的疲劳程度采取相应措施的车载实时智能疲劳监控及辅助装置。
图1所示为本发明实施例中车载实时智能疲劳监控及辅助装置的结构示意图。该装置包括依次连接的个性化疲劳基线调整模块、影像采集模块、疲劳参数化模块、疲劳分级与指令生成模块、控制模块以及执行模块。其中,控制模块通过车辆总线分别与个性化疲劳基线调整模块、影像采集模块、疲劳分级与指令生成模块以及执行模块连接,对这些模块进行任务调度,接收疲劳分级与指令生成模块的指令,控制执行模块工作;个性化疲劳基线调整模块与疲劳分级与指令生成模块连接,从而疲劳分级与指令生成模块能够使用个性化疲劳基线调整模块设定的基线数据进行工作。
该装置中,个性化疲劳基线调整模块在首次或者一段时间(该时间可由用户设定,如一个月)后或者用户因其他原因(如用户个人生理参数发生变化)需要调整个人基线时,进行用户疲劳程度个人基线的采集和设定或者更新。影像采集模块采集驾驶员眼眶及瞳孔的影像。疲劳参数化模块通过对眼眶和瞳孔影像进行分析,计算眼眶的宽度和高度以及瞳孔的孔径,同时还会计算眼眶的宽度和高度的加和,以及瞳孔孔径的变化次数,从而对驾驶员的疲劳特征进行了参数化。疲劳等级及指令生成模块根据疲劳参数对驾驶员的疲劳状态进行分级,并对应生成干涉行为指令,然后将该指令发送给控制模块。控制模块对个性化疲劳基线调整模块、影像采集模块、疲劳等级及指令生成模块进行任务调度,接收疲劳等级及指令生成模块生成的干涉行为指令,并由此控制执行模块执行对应的任务。
本实施例中,个性化疲劳基线调整模块包括依次连接的疲劳状态选择单元、信息采集单元、比对单元、校对单元、用户确认单元以及第一内部存储数据单元,用户确认单元还与疲劳选择单元连接,第一内部存储数据单元还与比对单元连接,如图2所示为其结构示意图。
个性化疲劳基线调整模块中,疲劳状态选择单元用于让用户主观确认自己所处的状态(将***内置的疲劳等级作为候选项,其中不将疲劳等级4、5作为候选项)。信息采集单元整合了影像采集模块和疲劳参数化模块的功能,能够检测当前驾驶员的疲劳状态,并对驾驶员的疲劳特征进行参数化,具体为采集驾驶员的头部影像,并计算其眼眶高度和宽度以及瞳孔的孔径。比对单元可以将信息采集单元采集的当前实时疲劳状态和内置的参考基线信息(大众的、一般疲劳数据)或者历史基线信息(前一次更新后存储的基线信息)进行比对。
校对单元则是基于比对单元的比对结果对疲劳基线数据进行修正,即在首次调整时将***内置的大众的、一般疲劳数据修正为用户自己的疲劳基线数据,或者是由于用户自身原因导致自己的疲劳状态和第一内部存储数据单元中储存的历史数据的差异而进行第二次及后续调整时,将***的历史疲劳基线数据修正为用户当前的疲劳基线数据,即确定了用户个性化的非疲劳数值,该值的内容为用户的眼眶宽度和高度加和值,其意义为驾驶员处于不疲劳状态的最低临界值,低于该值则表明驾驶员处于疲劳状态。第一内部存储数据单元存储未进行首次基线数据调整前的基线数据(即大众的,一般的疲劳数据)以及调整后的用户疲劳基线数据(即历史疲劳基线)。用户确认单元让用户将校对结果自己审核一次,如果偏差太多,则用户可以重设,直到满意为止。
影像采集模块包括依次连接的驾驶状态判断单元、采集条件判断单元、摄像传感单元、滤波单元、人脸识别定位单元、眼眶捕获单元、眼眶高度及宽度采集单元、瞳孔孔径检测单元、后台数据储存单元以及与采集条件判断单元连接的提醒单元,图3所示为其结构示意图。
影像采集模块中,驾驶状态判断单元判断驾驶员是否处于驾驶状态,以确定是否需要进行后续工作。采集条件判断单元判断驾驶员的头部是否在影像采集区内,以保证能够采集到所需的驾驶员影像。提醒单元的作用是在驾驶员的头部不在影像采集区内时,提醒驾驶员按照设备的使用要求操作。
摄像传感单元为摄像头设备,能够检测到轴上光源800nm~900nm的红外光及轴外900~1000的红外光,该摄像头可内置,也可利用无线连接方式连接在本发明装置上,例如当采集图像的帧数为25帧/s时,其通过无线方式与本发明装置连接。
滤波单元基于轴上与轴外异波长的中值差分,辅助瞳孔的定位,以提高后续计算结果的精度。人脸识别定位单元用于人脸的定位,可以从背景环境中找到人脸区域。眼眶捕获单元用于定位眼眶,可以从脸部定位眼眶的位置。眼眶高度及宽度采集单元采集眼眶区域的影像,并将结果存储在后台数据储存器中;瞳孔孔径检测单元检测瞳孔区域的影像,并将结果存储在后台数据存储器中。
疲劳参数化模块包括相互连接的疲劳参数计算单元和第二内部存储数据单元,疲劳参数计算单元可以从影像采集单元定位的眼眶位置首先通过灰度计算眼眶的高度和宽度,然后计算瞳孔孔径,并且统计一段时间内眼眶的高度和宽度的加和以及瞳孔孔径的变化次数。疲劳参数计算单元的计算结果储存在第二内部数据存储单元中。图4所示为疲劳参数化模块的结构示意图。
疲劳分级及指令生成模块包括依次连接的疲劳等级生成单元以及干涉指令生成单元,图5所示为其结构示意图。疲劳等级生成单元与第二内部存储数据单元连接,调用第二内部存储数据单元中的疲劳参数,即一段时间内眼眶的宽度和高度的加和以及瞳孔孔径的变化次数,然后结合个性化疲劳基线调整模块已经设定好的个性化参数即用户个性化的非疲劳数值,将疲劳参数映射为疲劳等级。
上述进行疲劳等级划分所依据的疲劳参数和疲劳等级的具体对应关系为:若一分钟内眼眶的高度和宽度加和的平均值在个性化的非疲劳数值上下10%限及瞳孔的变化频率为4~6次/分钟,则疲劳等级设定为“0”;若两分钟内眼眶的高度和宽度的加和的平均值在个性化的非疲劳数值80%大小的上下10%限及瞳孔的变化频率为4~10次/分钟,则疲劳等级设定为“1”;若两分钟内眼眶的高度和宽度的加和的平均值在个性化的非疲劳数值80%大小的上下10%限及瞳孔的变化频率为11~20次/分钟,则疲劳等级设定为“2”;若两分钟内眼眶的高度和宽度的加和的平均值在个性化的非疲劳数值50%大小的上下10%限及瞳孔的变化频率为11~20次/分钟,则疲劳等级设定为“3”;若两分钟内眼眶的高度和宽度的加和的平均值在个性化的非疲劳数值30%大小的上下10%限,则疲劳等级设定为“4”;若两分钟内眼眶的高度和宽度的加和的平均值在个性化的非疲劳数值0%大小的上10%限,则疲劳等级设定为“5”。
干涉指令生成单元根据疲劳分级的结果即疲劳等级与指令集合对应,生成相应的指令。疲劳等级和指令的对应关系为:当处于疲劳等级“0”时,不发出任何指令;当处于疲劳等级“1”时,提示用户注意驾驶,注意道路情况类信息;当处于疲劳等级“2”时,提示用户“稍有疲劳”,仍然可以保持行驶状态,可适当补充能量;当处于疲劳等级“3”时,提示用户“开始出现疲劳”,如有自动驾驶***则启用自动驾驶***;当处于疲劳等级“4”时,提示用户“已经处于疲劳状态”,控制车速,打开辅助驾驶设备;当处于疲劳等级“5”时,发出警报,提示用户“已无能力驾驶”,车速开始减慢,并打开后尾警示灯,通知后续车辆。
从图1可看出,执行模块包括报警单元、制动单元和自动驾驶单元。报警单元、制动单元和自动驾驶单元等执行模块可共用车辆已有部件。
控制模块与个性化疲劳基线调整模块、影像采集模块和疲劳分级及指令生成模块连接,对这些模块进行任务调度,同时接收疲劳分级及指令生成模块产生的干涉指令;控制模块还与执行模块连接,根据干涉指令控制执行模块行为的执行。
执行模块中,报警单元包括发声部件以及后尾灯警示部件,制动单元包括倒计时部件。对于不同的疲劳等级,控制模块控制执行模块启动相应的执行部件,如当疲劳状态为5级时,控制模块将启动报警单元的发声部件,并启动制动单元的倒计时部件,在倒计时结束之前进行二次判定,若疲劳状态仍处于第5级,则减慢车速,并打开后尾警示灯,通知后续车辆,采取制动功能。
本实施例中,个性化基线调整模块、影像采集模块、疲劳参数化模块和疲劳分级及指令生成模块均采用数字信号处理器(DSP芯片),控制模块采用现场可编程门阵列(FPGA)芯片。制动单元采用MCS51系列单片机。
图6所示为本发明车载实时智能疲劳监控及辅助装置的工作流程图。从中可以看出,该装置启动后,首先判断个性化疲劳基线是否录入(即是否进行过第一次个性化疲劳基线的设定)或者校验是否超过一个月,如果是的话则启动个性化疲劳基线调整模块进行疲劳基线标定或者更新,而后启动影像采集模块进行后续工作。如果否的话,则表明当前个性化疲劳基线可以使用历史基线数据,因此只需直接启动影像采集模块开始后续工作。
影像采集模块的驾驶状态判断单元判断驾驶员是否在驾驶车辆。当驾驶员处于驾驶状态时,采集条件判断单元判断驾驶员头部是否处于影像采集区内。如果不满足影像采集条件则提醒单元提醒驾驶员按照设备使用规定操作;如果满足影像采集条件,摄像头采集驾驶员头部影像,滤波单元对采集的影像进行滤波,人脸识别定位单元从背景环境中定位人脸位置;眼眶高度及宽度采集单元采集眼眶影像,瞳孔孔径检测单元采集瞳孔影像,并将采集的信息存储于后台数据存储单元中。
之后疲劳参数模块中的疲劳参数计算单元计算眼眶的宽度和高度、瞳孔的孔径、眼眶的宽度和高度加和及瞳孔孔径的变化次数,并将计算结果存储于第二内部存储数据单元中,这一步为驾驶员疲劳状态的参数化过程。疲劳分级及指令生成模块根据参数化的疲劳特征对驾驶员的疲劳状态进行分级,并根据疲劳等级产生干涉指令发送给控制模块。控制模块根据干涉指令控制执行模块的相应单元工作。
本发明设置了个性化的数据校对,通过影像采集模块采集人眼部情况,利用采集的图像对人眼的眼眶高度和宽度以及在一定时间内瞳孔的变化情况,建立疲劳等级的等级评估体系,根据疲劳等级的评估结果,进行外部设备干涉。本发明对驾驶员疲劳程度分析的判断标准是驾驶员的个性化疲劳基线,因此相比现有技术来说其误差小,准确度高。同时,本发明对驾驶员的疲劳状态进行等级划分,在不同的疲劳等级下执行不同的辅助动作,更加合理有效,能够在保证疲劳事故发生率降低的前提下,提高用户的认可度,有利于本发明的市场化。
上述的对实施例的描述是为便于该技术领域的普通技术人员能理解和应用本发明。熟悉本领域技术的人员显然可以容易地对这些实施例做出各种修改,并把在此说明的一般原理应用到其他实施例中而不必经过创造性的劳动。因此,本发明不限于这里的实施例,本领域技术人员根据本发明的揭示,不脱离本发明范畴所做出的改进和修改都应该在本发明的保护范围之内。

Claims (10)

1.一种车载实时智能疲劳监控及辅助装置,其特征在于:包括用于用户疲劳基线设定与更新的个性化疲劳基线调整模块;以及
与所述个性化疲劳基线调整模块连接的影像采集模块,以检测驾驶员的疲劳状态;以及
与所述影像采集模块连接的疲劳参数化模块,以参数化所述驾驶员的疲劳状态;以及
与所述疲劳参数化模块连接的疲劳分级及指令生成模块,以根据所述疲劳参数化模块得出的驾驶员疲劳状态参数将驾驶员的疲劳状态分级,并根据所得的疲劳等级产生指令;以及
与所述个性化疲劳基线调整模块、所述影像采集模块以及所述疲劳分级及指令生成模块连接的控制模块以及与所述控制模块连接的执行模块,所述控制模块接收所述疲劳分级及指令生成模块的指令并由此控制所述执行模块工作。
2.根据权利要求1所述的车载实时智能疲劳监控及辅助装置,其特征在于:所述个性化疲劳基线调整模块包括疲劳状态选择单元,以让用户主观确认所处的疲劳状态;以及
与所述疲劳状态选择单元连接的信息采集单元,以采集当前驾驶员的疲劳状态;以及
与所述信息采集单元连接的比对单元及与所述比对单元连接的第一内部存储数据单元,所述第一内部存储数据单元用于存储参考基线信息或者历史基线信息,所述比对单元将所述当前驾驶员的疲劳状态与所述第一内部存储数据单元的参考基线信息或者历史基线信息进行比对;以及
与所述比对单元连接的校对单元,所述校对单元根据所述比对单元的结果对当前用户的疲劳基线进行校对;以及
与所述校对单元连接的用户确认单元,以让用户确认校对的当前用户的疲劳基线是否正确;所述用户确认单元还与所述疲劳状态选择单元连接,以在用户否定所述校对后的疲劳基线时重新开始疲劳基线调整,与所述第一内部存储数据单元连接,以在用户确认所述校对后的疲劳基线时将所述校对后的疲劳基线存储于所述第一内部存储数据单元中。
3.根据权利要求2所述的车载实时智能疲劳监控及辅助装置,其特征在于:所述影像采集模块包括驾驶状态判断单元,以检测驾驶员是否处于驾驶状态;以及
与所述驾驶状态判断单元连接的采集条件判断单元和与所述采集条件判断单元连接的提醒单元和摄像传感单元,所述采集条件判断单元判断驾驶员的头部是否在影像采集区内;所述摄像传感单元在驾驶员的头部在影像采集区内时进行摄像;所述提醒单元在驾驶员的头部不在影像采集区内时对驾驶员发出提醒;以及
与所述摄像传感单元连接的滤波单元,以对所述摄像传感单元采集的信息进行滤波,辅助瞳孔的定位;以及
与所述滤波单元连接的人脸识别定位单元,以从背景环境中定位驾驶员脸部;以及
与所述人脸识别定位单元连接的眼眶捕获单元,以定位驾驶员的眼眶位置;以及
与所述眼眶捕获单元连接的眼眶高度及宽度采集单元,以采集驾驶员的眼眶影像;以及
与所述眼眶高度及宽度采集单元连接的瞳孔孔径检测单元,以采集驾驶员瞳孔影像;以及
与所述瞳孔孔径检测单元连接的后台数据存储单元,以存所述采集的影像。
4.根据权利要求3所述的车载实时智能疲劳监控及辅助装置,其特征在于:所述摄像传感单元为摄像头;所述摄像头的检测范围包括轴上光源800nm~900nm的红外光及轴外900~1000的红外光;所述摄像头内置于所述装置中或者通过无线连接方式与所述装置连接;
优选的,当所述摄像头采集图像的帧数为25帧/s时,所述摄像头通过无线方式连接在所述装置上。
5.根据权利要求3所述的车载实时智能疲劳监控及辅助装置,其特征在于:所述疲劳参数化模块包括相互连接的疲劳参数计算单元和第二内部存储数据单元;所述疲劳参数计算单元计算驾驶员的眼眶高度和宽度、瞳孔孔径、眼眶高度和宽度的加和以及瞳孔孔径的变化次数,并将所述计算结果储存于所述第二内部存储数据单元中。
6.根据权利要求5所述的车载实时智能疲劳监控及辅助装置,其特征在于:所述疲劳分级及指令生成模块包括依次连接的疲劳等级生成单元和干涉指令生成单元;所述疲劳等级生成单元与所述第二内部存储数据单元连接,调用所述第二内部存储数据单元中的疲劳参数并由此将驾驶员的疲劳状态进行分级,所述干涉指令生成单元根据驾驶员的疲劳等级产生干涉指令。
7.根据权利要求1所述的车载实时智能疲劳监控及辅助装置,其特征在于:所述执行单元包括报警单元、制动单元以及自动驾驶单元。
8.根据权利要求7所述的车载实时智能疲劳监控及辅助装置,其特征在于:当车辆已有报警部件、制动部件和自动驾驶部件时,所述报警单元、所述制动单元和所述自动驾驶单元分别共用所述车辆已有的报警部件、制动部件和自动驾驶部件。
9.根据权利要求1所述的车载实时智能疲劳监控及辅助装置,其特征在于:所述个性化基线调整模块、所述影像采集模块、所述疲劳参数化模块和所述疲劳分级及指令生成模块均采用数字信号处理器;所述控制模块采用现场可编程门阵列芯片。
10.根据权利要求6所述的车载实时智能疲劳监控及辅助装置,其特征在于:所述制动单元采用MCS51系列单片机。
CN201310248710.1A 2013-06-21 2013-06-21 车载实时智能疲劳监控及辅助装置 Expired - Fee Related CN103318023B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310248710.1A CN103318023B (zh) 2013-06-21 2013-06-21 车载实时智能疲劳监控及辅助装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310248710.1A CN103318023B (zh) 2013-06-21 2013-06-21 车载实时智能疲劳监控及辅助装置

Publications (2)

Publication Number Publication Date
CN103318023A true CN103318023A (zh) 2013-09-25
CN103318023B CN103318023B (zh) 2015-10-28

Family

ID=49187186

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310248710.1A Expired - Fee Related CN103318023B (zh) 2013-06-21 2013-06-21 车载实时智能疲劳监控及辅助装置

Country Status (1)

Country Link
CN (1) CN103318023B (zh)

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103507809A (zh) * 2013-09-27 2014-01-15 奇瑞汽车股份有限公司 一种控制车辆行驶的方法和装置
CN104477113A (zh) * 2014-12-22 2015-04-01 联想(北京)有限公司 控制方法、***及汽车
CN104537806A (zh) * 2014-11-11 2015-04-22 奇瑞汽车股份有限公司 一种基于摄像头的疲劳驾驶实时检测***
CN105034805A (zh) * 2015-08-31 2015-11-11 中国矿业大学(北京) 一种司机驾驶行为监控方法及装置
CN105094029A (zh) * 2015-07-24 2015-11-25 上海帝仪科技有限公司 安全管理***和方法
WO2016161850A1 (zh) * 2015-04-10 2016-10-13 京东方科技集团股份有限公司 疲劳驾驶监控方法及设备
CN106200004A (zh) * 2016-07-15 2016-12-07 宇龙计算机通信科技(深圳)有限公司 提醒方法、智能眼镜及车载***
CN106236046A (zh) * 2016-09-05 2016-12-21 合肥飞鸟信息技术有限公司 驾驶员疲劳监测***
CN106716341A (zh) * 2014-07-22 2017-05-24 通用汽车环球科技运作有限责任公司 用以改进车内的用户体验的自适应界面的***和方法
CN107007292A (zh) * 2015-12-10 2017-08-04 罗伯特·博世有限公司 用于获知疲劳的方法
CN107042827A (zh) * 2016-01-22 2017-08-15 福特全球技术公司 用于车辆的动态显示的***和方法
WO2017193248A1 (zh) * 2016-05-08 2017-11-16 深圳市欸阿技术有限公司 车辆行驶控制的方法及装置
CN107361768A (zh) * 2017-06-27 2017-11-21 深圳市宏电技术股份有限公司 一种检测皮肤衰老程度的方法和装置
CN108492572A (zh) * 2018-05-24 2018-09-04 江苏省计量科学研究院 一种汽车行驶辅助***
CN109050247A (zh) * 2018-07-24 2018-12-21 合肥工业大学 一种汽车行驶辅助***
CN109298783A (zh) * 2018-09-03 2019-02-01 北京旷视科技有限公司 基于表情识别的标注监控方法、装置及电子设备
CN109549625A (zh) * 2018-11-13 2019-04-02 陕西科技大学 采集驾驶员眼动数据的后视镜及利用该后视镜的疲劳监测***
CN109664891A (zh) * 2018-12-27 2019-04-23 北京七鑫易维信息技术有限公司 辅助驾驶方法、装置、设备及存储介质
WO2020007000A1 (zh) * 2018-07-04 2020-01-09 青岛海尔空调器有限总公司 用于车辆控制的方法、装置、***及计算机可读存储介质
CN114419841A (zh) * 2022-01-28 2022-04-29 重庆长安汽车股份有限公司 驾驶员疲劳驾驶预警***及方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2284582A (en) * 1993-11-22 1995-06-14 Toad Innovations Ltd Vehicle safety device to warn driver of fatigue
US6426702B1 (en) * 2001-02-08 2002-07-30 Thomas W. Young Driver fatigue detector
CN101574260A (zh) * 2009-06-12 2009-11-11 大连微龙软件有限公司 车载疲劳预警装置及方法
CN202243010U (zh) * 2010-12-27 2012-05-30 上海博泰悦臻电子设备制造有限公司 防疲劳驾驶装置及车载装置
CN202472863U (zh) * 2010-12-31 2012-10-03 北京星河易达科技有限公司 基于图像信息综合评判的驾驶员疲劳监测网络***

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2284582A (en) * 1993-11-22 1995-06-14 Toad Innovations Ltd Vehicle safety device to warn driver of fatigue
US6426702B1 (en) * 2001-02-08 2002-07-30 Thomas W. Young Driver fatigue detector
CN101574260A (zh) * 2009-06-12 2009-11-11 大连微龙软件有限公司 车载疲劳预警装置及方法
CN202243010U (zh) * 2010-12-27 2012-05-30 上海博泰悦臻电子设备制造有限公司 防疲劳驾驶装置及车载装置
CN202472863U (zh) * 2010-12-31 2012-10-03 北京星河易达科技有限公司 基于图像信息综合评判的驾驶员疲劳监测网络***

Cited By (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103507809B (zh) * 2013-09-27 2016-05-18 奇瑞汽车股份有限公司 一种控制车辆行驶的方法和装置
CN103507809A (zh) * 2013-09-27 2014-01-15 奇瑞汽车股份有限公司 一种控制车辆行驶的方法和装置
CN106716341A (zh) * 2014-07-22 2017-05-24 通用汽车环球科技运作有限责任公司 用以改进车内的用户体验的自适应界面的***和方法
CN104537806A (zh) * 2014-11-11 2015-04-22 奇瑞汽车股份有限公司 一种基于摄像头的疲劳驾驶实时检测***
CN104477113A (zh) * 2014-12-22 2015-04-01 联想(北京)有限公司 控制方法、***及汽车
WO2016161850A1 (zh) * 2015-04-10 2016-10-13 京东方科技集团股份有限公司 疲劳驾驶监控方法及设备
US10390749B2 (en) 2015-04-10 2019-08-27 Boe Technology Group Co., Ltd. Method and device for monitoring fatigued driving
CN105094029A (zh) * 2015-07-24 2015-11-25 上海帝仪科技有限公司 安全管理***和方法
CN105034805A (zh) * 2015-08-31 2015-11-11 中国矿业大学(北京) 一种司机驾驶行为监控方法及装置
CN107007292B (zh) * 2015-12-10 2021-04-16 罗伯特·博世有限公司 用于获知疲劳的方法
CN107007292A (zh) * 2015-12-10 2017-08-04 罗伯特·博世有限公司 用于获知疲劳的方法
CN107042827B (zh) * 2016-01-22 2021-08-31 福特全球技术公司 用于车辆的动态显示的***和方法
CN107042827A (zh) * 2016-01-22 2017-08-15 福特全球技术公司 用于车辆的动态显示的***和方法
WO2017193248A1 (zh) * 2016-05-08 2017-11-16 深圳市欸阿技术有限公司 车辆行驶控制的方法及装置
CN107635845A (zh) * 2016-05-08 2018-01-26 深圳市欸阿技术有限公司 车辆行驶控制的方法及装置
CN106200004A (zh) * 2016-07-15 2016-12-07 宇龙计算机通信科技(深圳)有限公司 提醒方法、智能眼镜及车载***
CN106236046A (zh) * 2016-09-05 2016-12-21 合肥飞鸟信息技术有限公司 驾驶员疲劳监测***
CN107361768A (zh) * 2017-06-27 2017-11-21 深圳市宏电技术股份有限公司 一种检测皮肤衰老程度的方法和装置
CN108492572A (zh) * 2018-05-24 2018-09-04 江苏省计量科学研究院 一种汽车行驶辅助***
WO2020007000A1 (zh) * 2018-07-04 2020-01-09 青岛海尔空调器有限总公司 用于车辆控制的方法、装置、***及计算机可读存储介质
CN109050247A (zh) * 2018-07-24 2018-12-21 合肥工业大学 一种汽车行驶辅助***
CN109298783A (zh) * 2018-09-03 2019-02-01 北京旷视科技有限公司 基于表情识别的标注监控方法、装置及电子设备
CN109298783B (zh) * 2018-09-03 2021-10-01 北京旷视科技有限公司 基于表情识别的标注监控方法、装置及电子设备
CN109549625A (zh) * 2018-11-13 2019-04-02 陕西科技大学 采集驾驶员眼动数据的后视镜及利用该后视镜的疲劳监测***
CN109664891A (zh) * 2018-12-27 2019-04-23 北京七鑫易维信息技术有限公司 辅助驾驶方法、装置、设备及存储介质
CN114419841A (zh) * 2022-01-28 2022-04-29 重庆长安汽车股份有限公司 驾驶员疲劳驾驶预警***及方法

Also Published As

Publication number Publication date
CN103318023B (zh) 2015-10-28

Similar Documents

Publication Publication Date Title
CN103318023B (zh) 车载实时智能疲劳监控及辅助装置
CN106687037B (zh) 用于检测瞬时睡眠的设备、方法和计算机程序
CN102752458A (zh) 一种驾驶员疲劳检测手机与检测单元
CN104224204B (zh) 一种基于红外检测技术的驾驶员疲劳检测***
CN202142160U (zh) 一种疲劳驾驶预警***
CN102881116A (zh) 一种疲劳驾驶预警***及方法
CN104574817A (zh) 一种适用于智能手机的基于机器视觉疲劳驾驶预警***
BRPI0712837A2 (pt) mÉtodo e aparelho para determinaÇço e anÁlise de uma localizaÇço de interesse visual.
WO2020029444A1 (zh) 一种驾驶员驾驶时注意力检测方法和***
CN104142583A (zh) 一种具有眨眼检测功能的智能眼镜及实现方法
CN109664891A (zh) 辅助驾驶方法、装置、设备及存储介质
CN103927848A (zh) 一种基于生物识别技术的安全驾驶辅助***
CN101877051A (zh) 驾驶人注意力状态监测方法和装置
CN103714659B (zh) 基于双光谱融合的疲劳驾驶识别***
CN106691443A (zh) 基于脑电的穿戴式司机防疲劳智能监测预警***
CN103714660A (zh) 基于图像处理融合心率特征与表情特征实现疲劳驾驶判别的***
CN105185038A (zh) 一种基于Android智能手机的安全行车***
CN106128032A (zh) 一种疲劳状态监测及预警方法及其***
CN202568277U (zh) 疲劳检测装置
CN111583585A (zh) 一种信息融合的疲劳驾驶预警方法、***、装置以及介质
CN110334670B (zh) 对象监控方法及装置、电子设备、存储介质
CN106073804B (zh) 一种疲劳检测方法及移动终端
CN107977607A (zh) 一种基于机器视觉的疲劳驾驶监测方法
CN110490139A (zh) 基于人脸识别的夜间疲劳驾驶判断方法
CN109409172A (zh) 驾驶员视线检测方法、***、介质及设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20151028

Termination date: 20210621