CN109866774A - 基于人脸检测和身份验证的驾驶员疲劳状态监测***及方法 - Google Patents
基于人脸检测和身份验证的驾驶员疲劳状态监测***及方法 Download PDFInfo
- Publication number
- CN109866774A CN109866774A CN201910019321.9A CN201910019321A CN109866774A CN 109866774 A CN109866774 A CN 109866774A CN 201910019321 A CN201910019321 A CN 201910019321A CN 109866774 A CN109866774 A CN 109866774A
- Authority
- CN
- China
- Prior art keywords
- driver
- timer
- master controller
- authentication
- face
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Collating Specific Patterns (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明公开了一种基于人脸检测和身份验证的驾驶员疲劳状态监测***及方法。该***包括车载设备和服务器端。车载设备利用摄像头获取驾驶员的图像帧并利用人脸检测算法进行实时检测，人脸检测的结果用来更新休眠时间；根据休眠时间处于不同的时间段来处理驾驶员在途的不同异常状态。服务器端用以验证驾驶员身份。当休眠时间在T1和T2之间，车载设备将驾驶员图像发送至服务器端重新验证驾驶员身份，根据身份验证的结果更新驾驶时间。本发明提供的驾驶员疲劳状态监测方法结合人脸检测和身份验证利用两个定时器进行疲劳监测，实现了非接触式地、实时地疲劳监测，该方法灵活方便且具有较高的可靠性及实用性。
Description
技术领域
本发明是一种基于人脸检测和身份验证的驾驶员疲劳状态监测***及方法，属于图像信号处理领域。
背景技术
驾驶疲劳，是指驾驶人员在长时间的连续行车之后，产生的生理机能和心理机能的失调，而在客观上会出现驾驶技能下降的现象。驾驶员在进入疲劳驾驶状态的过程时，几乎都会伴随着明显的疲劳状态特征。据统计，我国每年因疲劳驾驶产生的交通事故约达2万起。2003年，我国交通部门在北京地区高速公路组织了516位驾驶员警觉度测试，测试结果显示，驾驶当天出现过打瞌睡现象的占10％，在过去驾驶过程中曾出现过打瞌睡现象的占50％。可见，疲劳驾驶已经成为一种严重威胁道路安全的社会问题。
相关研究表明，如果能够实时的监测驾驶员的疲劳特征，并在潜在交通事故发生前一段时间内向驾驶员发出报警，可有效地避免90％的交通事故。因此，如果开发一种能够实时监测驾驶员疲劳状态的装置，在发生疲劳驾驶初期，及时地给以对应且有效的预警提醒，将会对减少交通事故的发生有着十分重要的现实意义和实用性。
目前疲劳驾驶的检测方法主要包括基于驾驶员生理参数、基于驾驶员生理反应特征两种直接检测方法和基于车辆行为特征的间接检测方法。基于驾驶员生理参数的检测方法对疲劳状态判断的准确性比较高，能够比较准确的反应人体的疲劳状态，但是大部分的生理信号(脑电、肌电、心电信号等)都是通过和人体接触的传感器采集数据得到的，容易引起驾驶员不适，且对于个人依赖程度较大，因此不太合适驾驶员疲劳检测的实际应用。基于车辆行为特征的疲劳检测方法，采用非接触式检测途径，信号比较容易提取，不太容易对驾驶员造成干扰，但是由于驾驶行为的检测不仅和疲劳状态有关，也和驾驶员的个人习惯、操作技能、行驶速度、车辆特性、道路等众多环境因素有关，所以使用该类方法的预测准确性并不是很让人满意。
基于驾驶员生理反应特征的疲劳检测方法以图像处理算法为手段，利用摄像头采集驾驶员面部图像，通过检测面部的生理特征变化规律进行疲劳状态判断。相比于基于生理参数检测方法，该方法采用非接触方式提取信息，处理速度快，准确性较好，具有良好的实用性；相比于驾驶行为的检测方法，该方法避免了复杂环境对信号提取的干扰，并且可以在线学习个体的统计信息，具有较强的抗干扰性。
发明内容
发明目的：为了克服现有疲劳状态检测方法易于受到干扰，检测结果可靠性不理想，实用性差的缺点，本发明提供一种基于人脸检测和身份验证的驾驶员疲劳状态监测方法，能够实现对驾驶员进行有效的预警。
技术方案：为实现上述目的，本发明采用的技术方案为：
一种基于人脸检测和身份验证的驾驶员疲劳状态监测***，包括安装在车内用于拍摄驾驶员的摄像头、主控制器、用以记录摄像头相邻两次拍摄到人脸的时间间隔的第一定时器、用以记录驾驶时间的第二定时器、服务器端、无线传输设备、扬声器；所述主控制器分别电性连接摄像头、第一定时器、第二定时器、无线传输设备、扬声器；所述无线传输设备无线连接所述服务器端；所述主控制器中设有人脸检测算法，用以不断检测摄像头所拍摄视频帧中是否有人脸；所述主控制器中设有两种定时循环算法，分别用以判断第一定时器和第二定时器继续计时还是重置；所述服务器端的数据库中存储有不同驾驶员的人脸图像及对应的身份信息，服务器端设有人脸识别算法，用以识别摄像头所拍摄图像中驾驶员的身份；所述身份信息包括疲劳特征，即各个驾驶员对应的疲劳驾驶时间。
进一步的，所述主控制器为基于ARM内核的STM32单片机。
基于上述驾驶员疲劳状态监测***的监测方法，包括如下步骤：
步骤1：主控制器感知到车辆开始行驶后，控制摄像头开始拍照，主控制器检测到人脸后将图像发送至服务器端进行身份验证，同时控制第一定时器和第二定时器开始计时；
步骤2：摄像头将拍摄图像不断发送给主控制器，主控制器不断检测图像中是否有人脸，如果相邻两次检测到人脸的时间间隔小于阈值T1，则主控制器重置第一定时器；如果时间间隔介于阈值T1和阈值T2之间，则主控制器将图像发送至服务器端进行身份验证，当驾驶员身份与上次验证一致时，第二定时器继续计时，当身份验证不一致时，主控制器重置第二定时器；如果时间间隔大于阈值T2，则主控制器重置第一定时器和第二定时器，并重新对驾驶员身份进行验证；
步骤3：主控制器检测到第二定时器记录的驾驶时间超过安全驾驶时间，则控制扬声器发出警报。
进一步的，步骤1中，如果服务器端检测出驾驶员不在数据库中，则直接给驾驶员默认身份，并且取数据库中所有驾驶员疲劳特征的平均值作为该新身份的疲劳特征。
有益效果：本发明提供的利用人脸检测和身份验证的驾驶员疲劳状态监测方法，非接触式获取信息，对驾驶员干扰饺小，实用性强，相较于其他疲劳检测方法，其检测结果可信度高，并且综合考虑了驾驶途中更换驾驶员以及驾驶员短暂离开等突发情况。该方法可以有效辅助车载设备准确地判断驾驶员的驾驶状态。
附图说明
图1为***结构示意图；
图2为车载设备启动身份验证流程图；
图3为车载设备在途疲劳监测流程图。
具体实施方式
下面结合实施例对本发明作更进一步的说明。
***整体包括车载智能平台和服务器端，如图1所示。车载智能平台基于ARM内核的STM32单片机，有线连接高清摄像头、3G/4G模块、显示屏、扬声器和电源。车载智能平台包含人脸检测算法、照片上传服务和定时循环算法，服务器端包含驾驶员数据库和人脸识别算法。车载智能平台和服务器端通过3G/4G数据链路通信；显示屏可以实时预览驾驶员照片以及显示第一定时器和第二定时器的时间；扬声器可以发出语音；电源连接车辆电源***，给车载智能平台供电。
本发明将驾驶员的疲劳状态监测分为两个阶段：车辆启动时验证驾驶员身份的阶段以及行驶过程中驾驶员的疲劳状态监测
车辆启动后，STM32单片机控制扬声器提示驾驶员拍照，如果摄像头获取的图像质量较低，导致人脸检测模块未检测到人脸，重新提示驾驶员并且拍照验证身份，如图2所示。这种重复动作的次数可以根据实际需求设置。STM32单片机控制摄像头开始拍摄，并将图像发送至服务器端进行身份验证。当人脸识别模块检测出驾驶员不在数据库中，***会直接给驾驶员默认身份，并且取数据库中所有驾驶员疲劳特征(即安全驾驶时间)的平均值作为该新身份的标准。当完成驾驶员的身份验证并提取到相应的疲劳特征后，STM32单片机控制第一定时器和第二定时器开始计时，***进入在途疲劳监测阶段。
在行驶过程中驾驶员疲劳监测阶段，***根据检测结果来更新休眠时间和驾驶时间，具体方法流程如图3所示。其中休眠时间为第一定时器记录的摄像头相邻两次拍摄到人脸的时间间隔，驾驶时间为第二定时器记录的驾驶时间。在上一步骤确认完驾驶员身份后，STM32单片机始终在图像中检测是否有人脸。当正常行驶状态下一直能检测到人脸，则不断重置第一定时器；当驾驶员会有低头或者光照等情况导致短时间内未检测到人脸，第一定时器会计时，STM32单片机控制在T1内再次检测到人脸，则***认为该驾驶员仍在驾驶，再次重置第一定时器。当行驶过程中因驾驶员离开或者更换驾驶员，STM32单片机较长时间未检测到人脸，休眠时间在T1和T2之间，则***再次检测到人脸时，需要拍照并利用人脸识别算法重新验证驾驶员身份，当身份验证一致时，第二定时器继续计时；当身份验证不一致时，则第二定时器重置，并在数据库中提取新驾驶员相应的疲劳特征。当驾驶员休息充分，即休眠时间大于T2时，则需要重置第一定时器和第二定时器，重复上述检测流程。在途中一旦***检测到驾驶员的驾驶时间超过该驾驶员的安全驾驶时间，则认为驾驶员处于疲劳状态，STM32单片机控制扬声器发出预警。
STM32单片机每秒读取第一定时器和第二定时器的计时。两个阈值T1取30s，T2取10min。
另外以上所述仅是本发明的优选实施方式，应当指出：如果于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，如：设置车载设备启动时未检测到人脸重复验证身份的次数，摄像头的不同规格选取与休眠时间不同阶段的值得选取，也应该视作本发明的保护范围。
Claims (5)
1.基于人脸检测和身份验证的驾驶员疲劳状态监测***，其特征在于，包括安装在车内用于拍摄驾驶员的摄像头、主控制器、用以记录摄像头相邻两次拍摄到人脸的时间间隔的第一定时器、用以记录驾驶时间的第二定时器、服务器端、无线通信设备；所述主控制器分别电性连接摄像头、第一定时器、第二定时器、无线通信设备；所述无线通信设备无线连接所述服务器端；所述主控制器中设有人脸检测算法，用以检测摄像头所拍摄图像中是否有人脸；所述主控制器中设有两种定时循环算法，分别用以控制第一定时器和第二定时器继续计时或重置；所述服务器端设有存储有不同驾驶员的人脸图像及对应的身份信息的数据库；所述服务器端设有人脸识别算法，用以识别摄像头所拍摄图像中驾驶员的身份。
2.根据权利要求1所述的基于人脸检测和身份验证的驾驶员疲劳状态监测***，其特征在于，所述身份信息包括驾驶员的疲劳特征。
3.根据权利要求1所述的基于人脸检测和身份验证的驾驶员疲劳状态监测***，其特征在于，所述主控制器为基于ARM内核的STM32单片机。
4.基于权利要求1所述驾驶员疲劳状态监测***的监测方法，其特征在于，包括如下步骤：
步骤1：车辆启动后，主控制器控制摄像头开始拍照，主控制器检测到人脸后将图像发送至服务器端进行身份验证，身份验证完毕后控制第一定时器和第二定时器开始计时；
步骤2：摄像头将拍摄图像不断发送给主控制器，主控制器不断检测图像中是否有人脸，如果相邻两次检测到人脸的时间间隔小于阈值T1，则主控制器重置第一定时器；如果时间间隔介于阈值T1和阈值T2之间，则主控制器将图像发送至服务器端进行身份验证，当驾驶员身份与上次验证一致时，第二定时器继续计时，当身份验证不一致时，主控制器重置第二定时器；如果时间间隔大于阈值T2，则主控制器重置第一定时器和第二定时器，并重新对驾驶员身份进行验证。
5.根据权利要求4所述的驾驶员疲劳状态监测方法，其特征在于，步骤1中，如果服务器端检测出驾驶员不在数据库中，则直接给驾驶员默认身份，并且取数据库中所有驾驶员疲劳特征的平均值作为该新身份的疲劳特征。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910019321.9A CN109866774B (zh) | 2019-01-09 | 2019-01-09 | 基于人脸检测和身份验证的驾驶员疲劳状态监测***及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910019321.9A CN109866774B (zh) | 2019-01-09 | 2019-01-09 | 基于人脸检测和身份验证的驾驶员疲劳状态监测***及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109866774A true CN109866774A (zh) | 2019-06-11 |
| CN109866774B CN109866774B (zh) | 2021-06-15 |
Family
ID=66917563
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910019321.9A Expired - Fee Related CN109866774B (zh) | 2019-01-09 | 2019-01-09 | 基于人脸检测和身份验证的驾驶员疲劳状态监测***及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109866774B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110213548A (zh) * | 2019-07-01 | 2019-09-06 | 南京派光智慧感知信息技术有限公司 | 一种轨道列车驾驶员行为综合监测警示方法 |
| CN111645694A (zh) * | 2020-04-15 | 2020-09-11 | 南京航空航天大学 | 一种基于姿态估计的驾驶员驾驶状态监测***及方法 |
| CN111874004A (zh) * | 2020-08-17 | 2020-11-03 | 黄冈格罗夫氢能汽车有限公司 | 一种燃料电池氢能汽车车联网防疲劳驾驶检测***及方法 |
| WO2023216626A1 (zh) * | 2022-05-12 | 2023-11-16 | 合肥杰发科技有限公司 | Dms的启动方法及相关设备 |
-
2019
- 2019-01-09 CN CN201910019321.9A patent/CN109866774B/zh not_active Expired - Fee Related
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110213548A (zh) * | 2019-07-01 | 2019-09-06 | 南京派光智慧感知信息技术有限公司 | 一种轨道列车驾驶员行为综合监测警示方法 |
| CN110213548B (zh) * | 2019-07-01 | 2021-09-07 | 南京派光智慧感知信息技术有限公司 | 一种轨道列车驾驶员行为综合监测警示方法 |
| CN111645694A (zh) * | 2020-04-15 | 2020-09-11 | 南京航空航天大学 | 一种基于姿态估计的驾驶员驾驶状态监测***及方法 |
| CN111645694B (zh) * | 2020-04-15 | 2021-08-06 | 南京航空航天大学 | 一种基于姿态估计的驾驶员驾驶状态监测***及方法 |
| CN111874004A (zh) * | 2020-08-17 | 2020-11-03 | 黄冈格罗夫氢能汽车有限公司 | 一种燃料电池氢能汽车车联网防疲劳驾驶检测***及方法 |
| WO2023216626A1 (zh) * | 2022-05-12 | 2023-11-16 | 合肥杰发科技有限公司 | Dms的启动方法及相关设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109866774B (zh) | 2021-06-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109866774A (zh) | 基于人脸检测和身份验证的驾驶员疲劳状态监测***及方法 | |
| CN105336105B (zh) | 一种预防疲劳驾驶的方法、智能设备及*** | |
| CN104183091B (zh) | 一种自适应调整疲劳驾驶预警***灵敏度的*** | |
| US8164463B2 (en) | Driver management apparatus and travel management system | |
| CN205158585U (zh) | 一种预防疲劳驾驶的智能设备及*** | |
| CN109598899A (zh) | 一种个性化疲劳监测与提醒的***及方法 | |
| CN109367539A (zh) | 一种检测疲劳驾驶的智能*** | |
| CN203438860U (zh) | 一种基于压力传感器的疲劳驾驶主动监控*** | |
| CN208498370U (zh) | 基于方向盘的疲劳驾驶检测预警装置 | |
| CN103198618A (zh) | 一种能够预警疲劳驾驶的手机及预警方法 | |
| CN111645694B (zh) | 一种基于姿态估计的驾驶员驾驶状态监测***及方法 | |
| CN107856536A (zh) | 一种疲劳驾驶监测装置及监测方法 | |
| CN106157537A (zh) | 防疲劳驾驶*** | |
| CN104269027A (zh) | 基于视频和传感结合的疲劳驾驶检测装置 | |
| CN107585026A (zh) | 一种防疲劳驾驶*** | |
| CN104299363A (zh) | 基于多特征融合的疲劳驾驶预警*** | |
| CN207328380U (zh) | 汽车占座、安全带系扣识别远程监控装置及*** | |
| CN105701971A (zh) | 一种基于虹膜识别的防止疲劳驾驶***、装置及方法 | |
| CN106875512A (zh) | 一种基于声音方位识别的车载智能监控*** | |
| CN113744499B (zh) | 一种疲劳预警方法、眼镜、***和计算机可读存储介质 | |
| CN107499278A (zh) | 汽车占座、安全带系扣识别远程监控装置、***及方法 | |
| CN202624069U (zh) | 带疲劳驾驶报警***的汽车内后视镜 | |
| CN107933461A (zh) | 基于单摄像头的车内识别融合装置及方法 | |
| CN112330844A (zh) | 一种增强型行车记录的方法及其*** | |
| CN106919123A (zh) | 一种公交车紧急制动的方法及*** |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20210615 Termination date: 20220109 |