CN111627131A - 一种带有驾驶员辅助监控警示功能的行车记录装置及方法 - Google Patents

一种带有驾驶员辅助监控警示功能的行车记录装置及方法 Download PDF

Info

Publication number
CN111627131A
CN111627131A CN202010350879.8A CN202010350879A CN111627131A CN 111627131 A CN111627131 A CN 111627131A CN 202010350879 A CN202010350879 A CN 202010350879A CN 111627131 A CN111627131 A CN 111627131A
Authority
CN
China
Prior art keywords
driver
video data
unit
fatigue
driving
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010350879.8A
Other languages
English (en)
Inventor
单梁
王子涵
舒壮壮
王志强
周盛世
李军
黄成�
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Science and Technology
Original Assignee
Nanjing University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Science and Technology filed Critical Nanjing University of Science and Technology
Priority to CN202010350879.8A priority Critical patent/CN111627131A/zh
Publication of CN111627131A publication Critical patent/CN111627131A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0841—Registering performance data
    • G07C5/0875—Registering performance data using magnetic data carriers
    • G07C5/0891—Video recorder in combination with video camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了一种带有驾驶员辅助监控警示功能的行车记录装置及方法，行车记录仪包括图像采集单元、数据存储单元、数据处理单元、警报单元、通信单元以及供电单元，其中：图像采集单元用于采集驾驶员面目姿态视频数据以及车辆前方道路环境视频数据；数据存储单元用于存储采集到的视频数据；数据处理单元用于根据视频数据判断驾驶员是否处于疲劳驾状态；警报单元响应于驾驶员处于疲劳状态发出警报信号；通信单元响应于驾驶员处于疲劳状态向导航发出搜寻就近停车位置信息。本发明对驾驶员驾驶状态进行实时监控警示，在驾驶员疲惫状态时自动导航至可以停车区域，可及时预防驾驶员因疲劳驾驶引发交通事故。

Description

一种带有驾驶员辅助监控警示功能的行车记录装置及方法
技术领域
本发明属于安全辅助驾驶领域，具体为一种带有驾驶员辅助监控警示功能的行车记录装置及方法。
背景技术
随着我国交通行业的发展，路上行驶的车辆日益增多，交通事故的发生概率也日益增长，行车记录仪作为一种安全辅助设备已被广泛运用于各类型号的机动车中。现有的行车记录仪一般只具有车外图像录制功能，虽然能够实时记录汽车行驶途中的周围状况，在事故发生时便于划分责任，正常行驶时可以辅助驾驶员倒车等，但对于事故的发生并不能起到明显的防范作用。
发明内容
本发明的目的在于提供了一种带有驾驶员辅助监控警示功能的行车记录装置。
实现本发明目的的技术方案为：一种带有驾驶员辅助监控警示功能的行车记录装置，包括图像采集单元、数据存储单元、数据处理单元、警报单元、通信单元以及供电单元，其中：
所述图像采集单元用于采集驾驶员面目姿态视频数据以及道路环境视频数据；
所述数据存储单元用于存储采集到的视频数据；
所述数据处理单元用于根据视频数据判断驾驶员是否处于疲劳驾状态；
所述警报单元响应于驾驶员处于疲劳状态发出警报信号；
所述通信单元响应于驾驶员处于疲劳状态向导航发出搜寻就近停车位置信息。
优选地，所述图像采集单元包括2个摄像头，分别采集驾驶员面目姿态视频数据以及道路环境视频数据。
优选地，所述数据处理单元采用32位嵌入式处理器。
优选地，所述数据处理单元根据视频数据判断驾驶员是否处于疲劳驾状态的具体方法为：
根据驾驶员面目姿态视频数据，采用dlib疲劳检测算法得到驾驶员眨眼频率，并通过PERCLOS眼动特征判断驾驶员是否为疲劳驾驶；
或者根据道路环境视频数据，进行HEVC帧间预测，获取车辆行驶路线，将车辆行驶路线与导航路线进行对比，当行驶路线与导航路线重合度小于设定阈值，判定为疲劳驾驶。
优选地，警报单元响应于驾驶员处于疲劳状态发出的警报信号包括声音警示信号和/或灯光警示信号。
本发明还提供了一种带有驾驶员辅助监控警示功能的行车记录方法，具体步骤为：
采集驾驶员面目姿态视频数据以及道路环境视频数据；
存储采集到的视频数据；
根据视频数据判断驾驶员是否处于疲劳驾状态；
响应于驾驶员处于疲劳状态发出警报信号；
响应于驾驶员处于疲劳状态向导航发出搜寻就近停车位置信息。
优选地，根据视频数据判断驾驶员是否处于疲劳驾状态的具体方法为：
根据驾驶员面目姿态视频数据，采用dlib疲劳检测算法得到驾驶员眨眼频率，并通过PERCLOS眼动特征判断驾驶员是否为疲劳驾驶；
或者根据道路环境视频数据，进行HEVC帧间预测，获取车辆行驶路线，将车辆行驶路线与导航路线进行对比，当行驶路线与导航路线重合度小于设定阈值，判定为疲劳驾驶
本发明的有益效果是：本发明将行车记录仪的图像采集功能进行了扩展，除实现原有车外视频录制功能外，增加了车内图像采集功能和自动导航功能，利用图像处理技术提取驾驶员眨眼频率及车辆运行特征，对驾驶员驾驶状态进行实时监控警示，在驾驶员疲惫状态时自动导航至可以停车区域，可及时预防驾驶员因疲劳驾驶引发交通事故。
附图说明
图1是本发明的结构示意图。
图2是本发明的工作流程示意图。
图3是本发明的实现软件流程图。
图4是本发明中根据驾驶员面目姿态视频判断是否为疲劳驾驶的流程图。
图5是本发明中根据驾驶室外信息判断是否为疲劳驾驶的流程图。
具体实施方式
下面结合附图对本发明的较佳实施例进行详细阐述，以使本发明的优点和特征能更易于被本领域技术人员理解，从而对本发明的保护范围做出更为清楚明确的界定。
如图1所示，一种带有驾驶员辅助监控警示功能行车记录仪，包括：图像采集单元、数据存储单元、数据处理单元、辅助照明单元、警报单元、通信单元、供电单元。所述辅助照明单元镶嵌在图像采集单元内部，图像采集单元与数据存储单元相连，数据存储单元、警报单元、通信单元均与数据处理单元相连接，供电单元与其他各单元均有连接已提供正常工作所需的电能。
所述图像采集单元用于采集驾驶员面目姿态视频数据以及车辆行驶过程中驾驶室前方道路环境的视频数据；
所述数据存储单元用于存储采集到的视频数据；
所述数据处理单元用于根据视频数据判断驾驶员是否处于疲劳驾状态；
所述警报单元响应于驾驶员处于疲劳状态发出警报信号；
所述通信单元响应于驾驶员处于疲劳状态向导航发出搜寻就近停车位置信息。
进一步的实施例中，所述图像采集单元包括2个摄像头，分别采集驾驶员面目姿态视频数据以及道路环境视频数据。在某些实施例中，所述摄像头为1080P高清摄像头，分别采集驾驶室内外环境，并通过USB数据线将采集到的视频数据传输至数据存储单元进行存储。
在某些实施例中，所述数据存储单元选用32G内存，可存储长达16h以内的视频数据，并提前进行分区，用以分别存储来自驾驶室内外的视频数据。
进一步的实施例中，所述数据处理单元采用32位嵌入式处理器，包含OpenCV库。
所述数据处理单元根据视频数据判断驾驶员是否处于疲劳驾驶状态的具体方法为：
如图4所示，对于驾驶员面目姿态视频数据，由于非均匀光照、图像采集设备的局限等因素的影响，首先需要对驾驶员面目姿态进行灰度化、几何变换、图像增强等预处理；
利用OpenCV自带的人脸检测器对预处理后的驾驶员面目姿态进行目标检测；
根据人眼目标成像面积较小、缺乏纹理信息等特征，采用基于top-hat变换方法实现人眼目标定位，并利用SPCNN模型实现目标分割，即实现眼睛分割；
对于分割好的目标进行dlib疲劳检测算法计算眨眼频率，具体为：每个眼睛使用6个(x,y)坐标表示，从眼睛的左侧开始，沿着眼睛周围顺时针计算，连续检查50帧图像，如果眼睛长宽比小于0.25，就判定为闭眼，根据PERCLOS眼动特征，当闭合帧数占总帧数的80％以上时，判断为疲劳驾驶。
或者，如图5所示，根据道路环境视频数据，进行HEVC帧间预测，获取车辆行驶路线：连续收集1000帧历史图像(每秒帧数为20)，并对未来100帧图像进行预测。如果通过帧间预测得到的运行轨迹与导航推荐的运行路线在40％以上的时间不同，则判断为疲劳驾驶。
Step1:根据车在行驶中驾驶室外部场景本身所包含的动态范围等因素的影响，采用中值滤波来降低随机噪声对其灰度值的影响，完成图像预处理。
Step2:对于预处理后的图像数据进行HEVC帧间预测，获取车辆行驶路线，主要包括：场景分割、数据收集、特征训练、决策树判断以及场景合并输出等过程。
Step3:得到预测后的场景与导航推荐的运行路线数据进行连续100帧的对比，如果运行轨迹不同的概率大于40％，判定为疲劳驾驶。
当根据驾驶员面目姿态视频数据或者路环境视频数据，判断为疲劳驾驶，判定驾驶员处理疲劳驾驶状态。
进一步的实施例中，所述警报单元用于在判定驾驶员为疲劳驾驶时发出声音和灯光警示，分别采用扬声器发声和8.8Hz LED闪烁形式。
进一步的实施例中，所述通信单元采用蓝牙与车内导航相连接，及时反馈导航推荐的行驶路线并在驾驶员疲劳驾驶时通知导航搜寻就近停车位置。
如图2、3所示，本发明的工作过程为：
图像采集单元采集驾驶员面目姿态视频数据以及道路环境视频数据；数据存储单元存储采集到的视频数据，
数据处理单元对于采集到的驾驶员面目姿态视频数据进行dlib疲劳检测，得到驾驶员眨眼频率，利用PERCLOS眼动特征判断是否为疲劳驾驶；
数据处理单元对道路环境视频数据进行HEVC帧内预测，如果采集到的真实数据与预测所得到的数据差别大于设定阈值，则判断为疲劳驾驶；
警报单元发出警报信号，扬声器发声，LED灯以8.8Hz频率闪烁；
通信单元向导航发出搜寻就近停车位置信息。
本发明除了能够满足传统行车记录仪记录车辆行驶途中的影像及声音等相关资讯功能以外，还增加了对驾驶员疲劳状态的实时监测、及时警示提醒以及在监测到驾驶员处于疲劳状态下及时导航搜寻停车位置的功能。
一种带有驾驶员辅助监控警示功能的行车记录方法，具体步骤为：
采集驾驶员面目姿态视频数据以及道路环境视频数据；
存储采集到的视频数据；
根据视频数据判断驾驶员是否处于疲劳驾状态，具体方法为：
对驾驶员面目姿态进行灰度化、几何变换、图像增强等预处理；
利用OpenCV自带的人脸检测器对预处理后的驾驶员面目姿态进行目标检测；
根据人眼目标成像面积较小、缺乏纹理信息等特征，采用基于top-hat变换方法实现人眼目标定位，并利用SPCNN模型实现目标分割，即实现眼睛分割；
对于分割好的目标进行dlib疲劳检测算法计算眨眼频率，具体为：每个眼睛使用6个(x,y)坐标表示，从眼睛的左侧开始，沿着眼睛周围顺时针计算，连续检查20帧图像，如果眼睛长宽比小于0.25，就判定为闭眼，根据PERCLOS眼动特征，当闭合帧数占总帧数的80％以上时，判断为疲劳驾驶。
或者根据道路环境视频数据，进行HEVC帧间预测，获取车辆行驶路线，将车辆行驶路线与导航路线进行对比，当行驶路线与导航路线重合度小于设定阈值，判定为疲劳驾驶。
具体地，对于道路环境视频数据，进行HEVC帧间预测，连续收集1000帧图像(每秒帧数为20)，并对未来100帧图像进行预测，如果预测后的场景与导航推荐的运行路线在40％以上的时间都不同，则判断为疲劳驾驶。
响应于驾驶员处于疲劳状态发出警报信号；
响应于驾驶员处于疲劳状态向导航发出搜寻就近停车位置信息。

Claims (7)

1.一种带有驾驶员辅助监控警示功能的行车记录装置，其特征在于，包括图像采集单元、数据存储单元、数据处理单元、警报单元、通信单元以及供电单元，其中：
所述图像采集单元用于采集驾驶员面目姿态视频数据以及车辆前方道路环境视频数据；
所述数据存储单元用于存储采集到的视频数据；
所述数据处理单元用于根据视频数据判断驾驶员是否处于疲劳驾状态；
所述警报单元响应于驾驶员处于疲劳状态发出警报信号；
所述通信单元响应于驾驶员处于疲劳状态向导航发出搜寻就近停车位置信息。
2.根据权利要求1所述的带有驾驶员辅助监控警示功能的行车记录装置，其特征在于，所述图像采集单元包括2个摄像头，分别采集驾驶员面目姿态视频数据以及道路环境视频数据。
3.根据权利要求1所述的带有驾驶员辅助监控警示功能的行车记录装置，其特征在于，所述数据处理单元采用32位嵌入式处理器。
4.根据权利要求1或3所述的带有驾驶员辅助监控警示功能的行车记录装置，其特征在于，所述数据处理单元根据视频数据判断驾驶员是否处于疲劳驾状态的具体方法为：
根据驾驶员面目姿态视频数据，采用dlib疲劳检测算法得到驾驶员眨眼频率，并通过PERCLOS眼动特征判断驾驶员是否为疲劳驾驶；
或者根据道路环境视频数据，进行HEVC帧间预测，获取车辆行驶路线，将车辆行驶路线与导航路线进行对比，当行驶路线与导航路线重合度小于设定阈值，判定为疲劳驾驶。
5.根据权利要求1所述的带有驾驶员辅助监控警示功能的行车记录装置，其特征在于，警报单元响应于驾驶员处于疲劳状态发出的警报信号包括声音警示信号和/或灯光警示信号。
6.一种带有驾驶员辅助监控警示功能的行车记录方法，其特征在于，具体步骤为：
采集驾驶员面目姿态视频数据以及道路环境视频数据；
存储采集到的视频数据；
根据视频数据判断驾驶员是否处于疲劳驾状态；
响应于驾驶员处于疲劳状态发出警报信号；
响应于驾驶员处于疲劳状态向导航发出搜寻就近停车位置信息。
7.根据权利要求6所述的带有驾驶员辅助监控警示功能的行车记录方法，其特征在于，根据视频数据判断驾驶员是否处于疲劳驾状态的具体方法为：
根据驾驶员面目姿态视频数据，采用dlib疲劳检测算法得到驾驶员眨眼频率，并通过PERCLOS眼动特征判断驾驶员是否为疲劳驾驶；
或者根据道路环境视频数据，进行HEVC帧间预测，获取车辆行驶路线，将车辆行驶路线与导航路线进行对比，当行驶路线与导航路线重合度小于设定阈值，判定为疲劳驾驶。
CN202010350879.8A 2020-04-28 2020-04-28 一种带有驾驶员辅助监控警示功能的行车记录装置及方法 Pending CN111627131A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010350879.8A CN111627131A (zh) 2020-04-28 2020-04-28 一种带有驾驶员辅助监控警示功能的行车记录装置及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010350879.8A CN111627131A (zh) 2020-04-28 2020-04-28 一种带有驾驶员辅助监控警示功能的行车记录装置及方法

Publications (1)

Publication Number Publication Date
CN111627131A true CN111627131A (zh) 2020-09-04

Family

ID=72270866

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010350879.8A Pending CN111627131A (zh) 2020-04-28 2020-04-28 一种带有驾驶员辅助监控警示功能的行车记录装置及方法

Country Status (1)

Country Link
CN (1) CN111627131A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113051311A (zh) * 2021-03-16 2021-06-29 鱼快创领智能科技(南京)有限公司 一种监测车辆油箱液位异常变化的方法、***及装置
CN114347997A (zh) * 2021-12-13 2022-04-15 华人运通(上海)自动驾驶科技有限公司 一种疲劳状态下的驾驶辅助控制方法和***
WO2023131278A1 (zh) * 2022-01-07 2023-07-13 长城汽车股份有限公司 车辆驾驶辅助控制方法、装置、车辆及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104881956A (zh) * 2015-06-17 2015-09-02 上海大学 一种疲劳驾驶预警***
CN105575125A (zh) * 2015-12-15 2016-05-11 上海微桥电子科技有限公司 一种车流视频侦测分析***
CN105788028A (zh) * 2016-03-21 2016-07-20 上海仰笑信息科技有限公司 具有疲劳驾驶预警功能的行车记录仪
CN107200022A (zh) * 2016-03-15 2017-09-26 奥迪股份公司 驾驶辅助***和方法
CN110765980A (zh) * 2019-11-05 2020-02-07 中国人民解放军国防科技大学 一种异常驾驶的检测方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104881956A (zh) * 2015-06-17 2015-09-02 上海大学 一种疲劳驾驶预警***
CN105575125A (zh) * 2015-12-15 2016-05-11 上海微桥电子科技有限公司 一种车流视频侦测分析***
CN107200022A (zh) * 2016-03-15 2017-09-26 奥迪股份公司 驾驶辅助***和方法
CN105788028A (zh) * 2016-03-21 2016-07-20 上海仰笑信息科技有限公司 具有疲劳驾驶预警功能的行车记录仪
CN110765980A (zh) * 2019-11-05 2020-02-07 中国人民解放军国防科技大学 一种异常驾驶的检测方法及装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113051311A (zh) * 2021-03-16 2021-06-29 鱼快创领智能科技(南京)有限公司 一种监测车辆油箱液位异常变化的方法、***及装置
CN113051311B (zh) * 2021-03-16 2023-07-28 鱼快创领智能科技(南京)有限公司 一种监测车辆油箱液位异常变化的方法、***及装置
CN114347997A (zh) * 2021-12-13 2022-04-15 华人运通(上海)自动驾驶科技有限公司 一种疲劳状态下的驾驶辅助控制方法和***
WO2023131278A1 (zh) * 2022-01-07 2023-07-13 长城汽车股份有限公司 车辆驾驶辅助控制方法、装置、车辆及存储介质

Similar Documents

Publication Publication Date Title
CN111627131A (zh) 一种带有驾驶员辅助监控警示功能的行车记录装置及方法
US8164463B2 (en) Driver management apparatus and travel management system
CN112885144B (zh) 一种施工作业区车辆撞入事件预警方法及***
CN110532976A (zh) 基于机器学习和多特征融合的疲劳驾驶检测方法及***
US20220406072A1 (en) Obstacle detection and notification for motorcycles
CN104599443A (zh) 一种基于信息融合的驾驶行为预警车载终端及其预警方法
CN104875681A (zh) 一种基于应用场景进行车载摄像头动态控制的方法
CN103802728B (zh) 基于头盔显示器进行自动选景显示的驾驶辅助***及方法
CN103987577A (zh) 用于监视和信号化车辆的周围环境中的交通情况的方法
CN103871200A (zh) 用于汽车驾驶的安全提醒***及方法
CN102145688A (zh) 车辆防撞监控***及方法
CN108961678A (zh) 一种基于人脸检测驾驶员疲劳检测***及其检测方法
CN102592475A (zh) 路***通预警***
CN204332007U (zh) 一种基于信息融合的驾驶行为预警车载终端
CN113808418B (zh) 路况信息显示***、方法、车辆、计算机设备和存储介质
CN109435844A (zh) 一种驾驶辅助及司机行为检测方法
CN108312964A (zh) 一种疲劳驾驶状态识别预警***及方法
CN112896159A (zh) 行车安全预警方法及***
CN104299363A (zh) 基于多特征融合的疲劳驾驶预警***
CN114360210A (zh) 一种车辆疲劳驾驶预警***
CN113562005A (zh) 轨道列车司机行为智能监测和障碍物侵限智能侦测***
CN109866686A (zh) 基于视频实时分析的智能主动安全辅助驾驶***及方法
CN108932503A (zh) 恶劣天气下车前障碍的识别方法及装置、存储介质、终端
CN205210978U (zh) 行车记录仪
CN107640111B (zh) 基于百核微处理器控制的汽车视觉图像处理***及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200904

RJ01 Rejection of invention patent application after publication