CN108269383A - 基于perclos算法的疲劳驾驶预警*** - Google Patents

基于perclos算法的疲劳驾驶预警*** Download PDF

Info

Publication number
CN108269383A
CN108269383A CN201611259092.0A CN201611259092A CN108269383A CN 108269383 A CN108269383 A CN 108269383A CN 201611259092 A CN201611259092 A CN 201611259092A CN 108269383 A CN108269383 A CN 108269383A
Authority
CN
China
Prior art keywords
image
driver
perclos
kalman filter
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201611259092.0A
Other languages
English (en)
Inventor
赵春阳
李国华
郭超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Henan Brilliant Ict Software Co Ltd
Original Assignee
Henan Brilliant Ict Software Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Henan Brilliant Ict Software Co Ltd filed Critical Henan Brilliant Ict Software Co Ltd
Priority to CN201611259092.0A priority Critical patent/CN108269383A/zh
Publication of CN108269383A publication Critical patent/CN108269383A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/06—Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Emergency Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Business, Economics & Management (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明提供一种基于PERCLOS算法的疲劳驾驶预警***，包括图像采集模块、DDR2SDRAM储存模块、主处理模块和音频报警模块。所述图像采集模块包括红外光源、OV7670CMOS摄像头、红外CCD摄像头图像解码器和神经网络辅助Kalman滤波器；所述主处理模块包括STM32F407VET6主控芯片和处理图像的车载PC；图像采集模块采集的图像经STM32F407VET6主控芯片读取图像数据经神经网络辅助Kalman滤波器反馈给摄像头采集下一帧图像；车载PC对连续帧的图像进行识别人眼的状态根据PERCLOS方法判断驾驶员的疲劳状况通过音频报警模块发出预警信息。该***实现了对驾驶员的全天候检测。

Description

基于PERCLOS算法的疲劳驾驶预警***
技术领域
本发明涉及预警***技术领域，具体的说，涉及了一种基于PERCLOS算法的疲劳驾驶预警***。
背景技术
我国铁路***经历数次大提速，尤其是全国高速铁路网逐步建设并投入运营，如何保障列车运行区间轨道安全重要性凸显。同时，随着铁路运输事业的跨越式发展，对各项安全工作的要求也不断提高，一切工作都围绕“安全、正点”进行，因此就需要火车驾驶员精力高度集中，注意力稍不集中，就会出现意想不到的情况， 存在严重的人身、行车安全隐患，因此如果能在疲劳产生的初期给驾驶员进行预警提示，那么就会大大降低安全隐患。因此，在驾驶中实时监测驾驶员的疲劳状况成为当前国内外研究的热点。
目前基于生理参数的方法需要传感器与驾驶员身体接触,对接触方式及位置有诸多细节要求,正常驾驶中不适宜普及应用。基于驾驶员头部动作的方法,由于特定的头部动作与疲劳的因果关系有很大的随机性与偶然性,难以作为准确的判断标准。摇摆驾驶等反映车辆行驶状态的驾驶行为,虽然可以部分反映司机是否处于疲劳状态,但属于间接推断方式,不能及时准确地判断是否为疲劳驾驶。基于计算机视觉的方法,使用摄像头实时拍摄驾驶员的图像, 通过对图像的分析,判断驾驶员的疲劳状态。这种方法具有非接触性的特点,但在精度和实用性方面还要做进一步的提升。
为了解决以上存在的问题，人们一直在寻求一种理想的技术解决方案。
发明内容
本发明的目的是针对现有技术的不足，从而提供一种基于PERCLOS算法的疲劳驾驶预警***。
为了实现上述目的，本发明所采用的技术方案是：一种基于PERCLOS算法的疲劳驾驶预警***，该***主要包括图像采集模块、DDR2SDRAM储存模块、主处理模块和音频报警模块；
所述图像采集模块包括红外光源、OV7670CMOS摄像头、红外CCD摄像头、图像解码器和神经网络辅助Kalman滤波器；
所述主处理模块包括STM32F407VET6主控芯片和车载PC；
所述音频报警模块包括钟声报警器和喇叭；
所述红外CCD摄像头采集红外图像，并经图像解码器解码后存储在所述DDR2SDRAM储存模块中；所述OV7670CMOS摄像头采集普通图像并存储在所述DDR2SDRAM储存模块中，所述STM32F407VET6主控芯片读取所述DDR2SDRAM储存模块中的红外图像或普通图像并传送至神经网络辅助Kalman滤波器，神经网络辅助Kalman滤波器计算出下一帧图像的位置并反馈给对应摄像头采集下一帧图像；同时STM32F407VET6主控芯片将读取的连续帧的图像传送至车载PC，所述车载PC对连续帧的图像进行处理，识别人眼的状态，同时根据PERCLOS方法判断驾驶员的疲劳状况，并通过音频报警模块发出预警信息。
需要说明的是，本发明选用的Kalman滤波器是一种根据递归算法估计下一帧图像运动物体的位置和偏差。为了以某种概率找到眼部,该Kalman滤波器会在下一帧图像里的位置寻找眼睛。它递归地根据以往测量值估计当前值,并将此过程进行多次重复,以先验概率估计值预测新的后验概率估计值。这种递归性质是卡尔曼滤波器的一种显著的特点。
所述OV7670CMOS摄像头是一款集成了一个640×480的感光阵列、帧控制电路、视频时序产生电路、模拟信号处理电路、A／D转换电路、数字信号输出电路及寄存器SCCB编程接口的图像采集装置。其工作原理为首先利用感光阵列得到原始的彩色图像信号后，利用模拟处理电路完成诸如颜色分离与均衡、增益控制、gamma校正、白电平调整等主要的信号处理工作，最后可根据需要输出多种标准的视频信号。而视频时序产生电路用于产生行同步、场同步、混合视频同步等多种同步信号和像素时钟等多种内部时钟信号。外部控制器可通过SCCB总线接口设置或读取OV7670的工作状态、工作方式以及数据的输出格式等。
所述STM32F407VET6主控芯片是由意法半导体开发的STM32F4系列芯片的一种。它采用的是Cortex-M4为内核的高性能32位微控制器。它集成了单周期DSP和FPU指令，大大的提高了计算能力，并且可以进行一些复杂的计算与控制。
与现有技术相比，本发明利用具有递归性质的Kalman滤波器进行图像采集和识别，实现了对驾驶员眼部的实时跟踪。同时本发明采用红外光源对人脸在进行主动照射,在不影响到驾驶员的操作的前提下能有效地满足全天候采集清晰图像的要求；同时利用神经网络辅助的Kalman滤波器对瞳孔位置进行实时跟踪预测,利用瞳距作为参考值来计算瞳孔大小绝对值,从而解决了由于驾驶员头部运动向前或向后造成的图像大小变化产生的影响。更重要的是，本发明采用OV7670CMOS摄像头和红外CCD摄像头共用，在利用OV7670CMOS摄像头本身具有的多种功能的同时，又充分利用了红外摄像头上的单波红外滤光片,在检测了夜间图像的同时,可以经白天不同天气和时段光线变化的干扰光线过滤,只剩下特定频段的光线通过从而提高了图像的稳定性,实现了全天候检测。
附图说明
图1是本发明提供的基于PERCLOS算法的疲劳驾驶预警***的硬件结构示意图。
图2是本发明提供的基于PERCLOS算法的疲劳驾驶预警***的逻辑流程示意图。
图3是本发明提供的基于PERCLOS算法的疲劳驾驶预警***的PERCLOS算法的测量原理的示意图。
具体实施方式
下面通过具体实施方式，对本发明的技术方案做进一步的详细描述。
实施例
参照图1，本实施例提供一种基于PERCLOS算法的疲劳驾驶预警***，其特征在于，该***主要包括图像采集模块、DDR2SDRAM储存模块、主处理模块和音频报警模块；
所述图像采集模块包括红外光源、OV7670CMOS摄像头、红外CCD摄像头、图像解码器和神经网络辅助Kalman滤波器；
所述主处理模块包括STM32F407VET6主控芯片和车载PC；
所述音频报警模块包括钟声报警器和喇叭；
所述红外CCD摄像头采集红外图像，并经图像解码器解码后存储在所述DDR2SDRAM储存模块中；所述OV7670CMOS摄像头采集普通图像并存储在所述DDR2SDRAM储存模块中，所述STM32F407VET6主控芯片读取所述DDR2SDRAM储存模块中的红外图像或普通图像并传送至神经网络辅助Kalman滤波器，神经网络辅助Kalman滤波器计算出下一帧图像的位置并反馈给对应摄像头采集下一帧图像；同时STM32F407VET6主控芯片将读取的连续帧的图像传送至车载PC，所述车载PC对连续帧的图像进行处理，识别人眼的状态，同时根据PERCLOS方法判断驾驶员的疲劳状况，并通过音频报警模块发出预警信息。具体逻辑流程图参照图2
同时，图3显示了PERCLOS的测量原理，根据该测量原理，只要测量出t1～t4值就能计算出PERCLOS的值f。
其中，f为眼睛闭合时间占某一特定时间的百分率。当实时检测计算得到的f大于预设的阈值时判定驾驶员处于疲劳驾驶状态，发出告警信息；实现实时预警。其中预设的阈值通常设为0.8，也可以为其他设定值。
本实施例选用的Kalman滤波器是一种根据递归算法估计下一帧图像运动物体的位置和偏差。为了以某种概率找到眼部,该Kalman滤波器会在下一帧图像里的位置寻找眼睛。它递归地根据以往测量值估计当前值,并将此过程进行多次重复,以先验概率估计值预测新的后验概率估计值。这种递归性质是卡尔曼滤波器的一种显著的特点。
所述OV7670CMOS摄像头是一款集成了一个640×480的感光阵列、帧控制电路、视频时序产生电路、模拟信号处理电路、A／D转换电路、数字信号输出电路及寄存器SCCB编程接口的图像采集装置。其工作原理为首先利用感光阵列得到原始的彩色图像信号后，利用模拟处理电路完成诸如颜色分离与均衡、增益控制、gamma校正、白电平调整等主要的信号处理工作，最后可根据需要输出多种标准的视频信号。而视频时序产生电路用于产生行同步、场同步、混合视频同步等多种同步信号和像素时钟等多种内部时钟信号。外部控制器可通过SCCB总线接口设置或读取OV7670的工作状态、工作方式以及数据的输出格式等。
因此，本实施例利用具有递归性质的Kalman滤波器进行图像采集和识别，实现了对驾驶员眼部的实时跟踪。同时本发明采用红外光源对人脸在进行主动照射,在不影响到驾驶员的操作的前提下能有效地满足全天候采集清晰图像的要求；同时利用神经网络辅助的Kalman滤波器对瞳孔位置进行实时跟踪预测,利用瞳距作为参考值来计算瞳孔大小绝对值,从而解决了由于驾驶员头部运动向前或向后造成的图像大小变化产生的影响。更重要的是，本发明采用OV7670CMOS摄像头和红外CCD摄像头共用，在利用OV7670CMOS摄像头本身具有的多种功能的同时，又充分利用了红外摄像头上的单波红外滤光片,在检测了夜间图像的同时,可以经白天不同天气和时段光线变化的干扰光线过滤,只剩下特定频段的光线通过从而提高了图像的稳定性,实现了全天候检测。
最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制；尽管参照较佳实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者对部分技术特征进行等同替换；而不脱离本发明技术方案的精神，其均应涵盖在本发明请求保护的技术方案范围当中。

Claims (1)

1.一种基于PERCLOS算法的疲劳驾驶预警***，其特征在于，该***主要包括图像采集模块、DDR2SDRAM储存模块、主处理模块和音频报警模块；
所述图像采集模块包括红外光源、OV7670CMOS摄像头、红外CCD摄像头、图像解码器和神经网络辅助Kalman滤波器；
所述主处理模块包括STM32F407VET6主控芯片和车载PC；
所述音频报警模块包括钟声报警器和喇叭；
所述红外CCD摄像头采集红外图像，并经图像解码器解码后存储在所述DDR2SDRAM储存模块中；所述OV7670CMOS摄像头采集普通图像并存储在所述DDR2SDRAM储存模块中，所述STM32F407VET6主控芯片读取所述DDR2SDRAM储存模块中的红外图像或普通图像并传送至神经网络辅助Kalman滤波器，神经网络辅助Kalman滤波器计算出下一帧图像的位置并反馈给对应摄像头采集下一帧图像；同时STM32F407VET6主控芯片将读取的连续帧的图像传送至车载PC，所述车载PC对连续帧的图像进行处理识别人眼的睁开和闭合状态，同时根据PERCLOS方法判断驾驶员的疲劳状况，并通过音频报警模块发出预警信息。
CN201611259092.0A 2016-12-30 2016-12-30 基于perclos算法的疲劳驾驶预警*** Pending CN108269383A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611259092.0A CN108269383A (zh) 2016-12-30 2016-12-30 基于perclos算法的疲劳驾驶预警***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611259092.0A CN108269383A (zh) 2016-12-30 2016-12-30 基于perclos算法的疲劳驾驶预警***

Publications (1)

Publication Number Publication Date
CN108269383A true CN108269383A (zh) 2018-07-10

Family

ID=62754784

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611259092.0A Pending CN108269383A (zh) 2016-12-30 2016-12-30 基于perclos算法的疲劳驾驶预警***

Country Status (1)

Country Link
CN (1) CN108269383A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109190600A (zh) * 2018-10-18 2019-01-11 知行汽车科技（苏州）有限公司 一种基于视觉传感器的驾驶员监控***

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN203118167U (zh) * 2013-01-28 2013-08-07 无锡南理工科技发展有限公司 防疲劳驾驶的车载信息采集***
CN104952209A (zh) * 2015-04-30 2015-09-30 广州视声光电有限公司 一种驾驶预警方法及装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN203118167U (zh) * 2013-01-28 2013-08-07 无锡南理工科技发展有限公司 防疲劳驾驶的车载信息采集***
CN104952209A (zh) * 2015-04-30 2015-09-30 广州视声光电有限公司 一种驾驶预警方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
刘志强 等: ""驾驶员疲劳监测方法设计"", 《农业机械学报》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109190600A (zh) * 2018-10-18 2019-01-11 知行汽车科技（苏州）有限公司 一种基于视觉传感器的驾驶员监控***

Similar Documents

Publication Publication Date Title
CN103729981B (zh) 一种儿童坐姿监控智能终端
CN206400717U (zh) 一种基于gps的安防巡逻机器人
CN104224204B (zh) 一种基于红外检测技术的驾驶员疲劳检测***
CN105516652B (zh) 一种智能化校园路灯照明***
CN107948465A (zh) 一种检测摄像头被干扰的方法和装置
CN103595916A (zh) 一种双摄像头目标跟踪***及其实现方法
CN106682603A (zh) 一种基于多源信息融合的实时驾驶员疲劳预警***
CN104318237A (zh) 基于人脸识别的疲劳驾驶预警方法
CN106056624A (zh) 无人机高清图像小目标检测与跟踪***及其检测跟踪方法
CN103400474A (zh) 一种基于椭圆检测的近视预防装置及方法
CN107133611A (zh) 一种课堂学生点头率识别与统计方法及装置
CN208969808U (zh) 基于人脸检测和声音检测的婴儿监护器
CN104159088A (zh) 一种远程智能车辆监控***及方法
CN106851229A (zh) 一种基于图像识别的安防智能决策的方法与***
CN116503794A (zh) 一种驾驶舱机组的疲劳检测方法
CN207883073U (zh) 一种热成像人体识别监控报警装置
CN108269383A (zh) 基于perclos算法的疲劳驾驶预警***
WO2021078145A1 (zh) 基于活体感应运动趋势检测的无线传感人脸识别装置
CN106974626A (zh) 脉搏监测机器人
CN117576153A (zh) 一种目标跟踪方法及***
Mu et al. Research on a driver fatigue detection model based on image processing
CN107341458A (zh) 一种用于智能驾考的规范行驶判断方法
CN203885510U (zh) 一种基于红外检测技术的驾驶员疲劳检测***
CN207166616U (zh) 车载监控装置及***
CN206820844U (zh) 基于pm2.5传感器检测的透雾霾型摄像机

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20180710

RJ01 Rejection of invention patent application after publication