CN105769120A - 疲劳驾驶检测方法和装置 - Google Patents

疲劳驾驶检测方法和装置 Download PDF

Info

Publication number
CN105769120A
CN105769120A CN201610056984.4A CN201610056984A CN105769120A CN 105769120 A CN105769120 A CN 105769120A CN 201610056984 A CN201610056984 A CN 201610056984A CN 105769120 A CN105769120 A CN 105769120A
Authority
CN
China
Prior art keywords
human eye
driver
image
face
detecting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610056984.4A
Other languages
English (en)
Other versions
CN105769120B (zh
Inventor
杨铭
白涛
都大龙
黄畅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Horizon Robotics Science and Technology Co Ltd
Original Assignee
Shenzhen Horizon Robotics Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Horizon Robotics Science and Technology Co Ltd filed Critical Shenzhen Horizon Robotics Science and Technology Co Ltd
Priority to CN201610056984.4A priority Critical patent/CN105769120B/zh
Publication of CN105769120A publication Critical patent/CN105769120A/zh
Application granted granted Critical
Publication of CN105769120B publication Critical patent/CN105769120B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6813—Specially adapted to be attached to a specific body part
    • A61B5/6825—Hand
    • A61B5/6826—Finger
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2503/00—Evaluating a particular growth phase or type of persons or animals
    • A61B2503/20—Workers
    • A61B2503/22—Motor vehicles operators, e.g. drivers, pilots, captains

Landscapes

  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Emergency Alarm Devices (AREA)

Abstract

本申请公开了一种驾驶员疲劳驾驶检测方法和检测装置，所述方法包括：接收采集的驾驶员的正面图像；在采集的图像中进行人脸检测；在检测到的人脸中进一步定位人眼和/或嘴巴；所述方法还包括：基于深度神经网络模型，对检测到的人眼和/或嘴巴进行定位，识别人眼的状态；跟踪多帧图像中人眼的状态的变化，判断驾驶员是否疲劳。通过上述检测方法和装置，能够实时的、高鲁棒性而准确地检测疲劳驾驶。

Description

疲劳驾驶检测方法和装置
技术领域
本公开一般涉及汽车安全驾驶技术领域，具体涉及基于深度神经网络的疲劳驾驶检测方法和装置。
背景技术
随着社会经济的发展，机动车辆急剧增多，由疲劳驾驶导致的交通事故呈现越来越多发的趋势。针对这一现象，产生了各种疲劳驾驶检测技术，其中包括基于驾驶员的生理特征的疲劳驾驶检测技术。当驾驶员疲劳时，会表现出低头、闭眼频率增加等生理特征。通过监控装置，检测驾驶员的这些生理特征，可以判断驾驶员是否疲劳。基于驾驶员的生理特征的疲劳驾驶检测技术，具有非接触、成本低、精确度高的特点，因此，被广泛采用于目前的疲劳驾驶检测装置。
当前的基于驾驶员的生理特征的疲劳驾驶检测装置，大多通过图像处理技术，定位人脸，再在人脸的范围内分析眼睛的状态，判断是否疲劳。具体地，通常有两种方法，一种是采用可见光摄像头，获得人眼张合状态信息进行检测识别，根据眼睛、嘴巴、鼻子等器官的特征以及相互之间的几何位置关系来进行，这种方法在强光和黑暗环境条件下准确率受到很大影响，而且，传统的单纯基于图像的人眼检测分析算法，如肤色瞳孔分割检测，对噪声不鲁棒，无法准确的分割出人眼区域进行识别。另一种基于深度学习模型的算法，通过对大量人脸图像样本构造人脸模式空间，根据相似度来判断人脸是否存在。这种方法虽然准确率有所提升，但这种方法计算量大，无法在嵌入式设备上实时运行，不能实用。
发明内容
在下文中给出关于本发明的简要概述，以便提供关于本发明的某些方面的基本理解。应当理解，这个概述并不是关于本发明的穷举性概述。它并不是意图确定本发明的关键或重要部分，也不是意图限定本发明的范围。其目的仅仅是以简化的形式给出某些概念，以此作为稍后论述的更详细描述的前序。
本发明提出一种能够实时的、高鲁棒性而准确地进行疲劳驾驶检测的方法。
在本发明的第一方面，本发明提供一种疲劳驾驶检测方法，包括：接收采集的驾驶员的正面图像；在采集的图像中进行人脸检测；在检测到的人脸中进一步定位人眼和/或嘴巴；其中，所述方法还包括：
基于深度神经网络模型，对检测到的人眼和/或嘴巴进行定位，识别人眼的状态；
跟踪多帧图像中人眼的状态的变化，判断驾驶员是否疲劳。
优选地，上述疲劳驾驶方法基于深度神经网络模型，对检测到的人眼和/或嘴巴进行定位包括：将人脸图像输入人脸特征点回归卷积神经网络模型，回归预测在一个降采样的低分辨率图像中人眼和/或嘴巴的边界位置。
优选地，上述疲劳驾驶方法对检测到的人眼和/或嘴巴进行定位还包括从所述降采样的低分辨率图像中裁剪出双眼区域图像，输入眼睛区域分割深度神经网络模型，预测在另一降采样的低分辨率图像上属于人眼区域的概率图，分割出人眼区域所包含的图像像素，并据此判断人眼的张合状态。
优选地，在上述疲劳驾驶方法中，所述人眼状态的变化包括人眼张合大小的变化。优选地，在上述疲劳驾驶方法中，所述人眼状态的变化包括人眼张合频次的变化。
优选地，所述疲劳驾驶检测方法还包括在检测到的人脸中进一步定位鼻子，并且基于深度神经网络模型，对检测到的鼻子进行定位。
优选地，所述疲劳驾驶检测方法还包括利用单目红外摄像头进行图像采集。
优选地，所述疲劳驾驶检测方法还包括从降采样的低分辨率图像中定位嘴部区域，裁剪出嘴部区域图像，输入嘴区域分割深度神经网络模型，分类判断嘴部张开闭合状态。
优选地，所述疲劳驾驶检测方法还包括根据检测的疲劳的不同状况，作出不同等级的预警提示。
在本发明的第二方面，本发明还提供一种驾驶员疲劳驾驶检测装置，包括人脸检测装置、人眼定位装置、以及疲劳判断装置，所述人脸检测装置用于在接收的驾驶员的活动图像中检测驾驶员的面部，所述人眼定位装置，用于在所述面部中，定位驾驶员的眼睛，从而确定驾驶员眼睛的状态，所述疲劳判断装置，用于根据所述驾驶员眼睛的状态，判断所述驾驶员是否疲劳；其中，
所述人眼定位装置基于深度神经网络模型，对检测到的人眼和/或嘴巴进行定位，识别人眼的状态；
所述疲劳判断装置跟踪多帧图像中人眼的状态的变化，判断驾驶员是否疲劳。
优选地，所述人眼定位装置包括人眼粗略定位装置，所述人眼粗略定位装置，用于将人脸图像输入人脸特征点回归卷积神经网络模型，回归预测在一个降采样的低分辨率图像中人眼和/或嘴巴的边界位置，进而识别人眼的状态。
优选地，所述人眼定位装置包括进一步包括人眼精确定位装置，所述人眼精确定位装置，用于从降采样的低分辨率图像中裁剪出双眼区域图像，输入眼睛区域分割深度神经网络模型，预测在另一降采样的低分辨率图像上属于人眼区域的概率图，分割出人眼区域所包含的图像像素，并据此判断人眼的张合状态。
优选地，所述驾驶员疲劳驾驶检测装置还包括嘴部精确定位装置，所述嘴部精确定位装置用于从降采样的低分辨率图像中定位嘴部区域，裁剪出嘴部区域图像，输入嘴区域分割深度神经网络模型，分类判断嘴部张开闭合状态。
优选地，所述驾驶员疲劳驾驶检测装置进一步包括疲劳驾驶报警装置，所述疲劳驾驶报警装置用于根据驾驶员疲劳驾驶检测装置判断的疲劳驾驶程度向驾驶员发出报警信息。
优选地，所述驾驶员疲劳驾驶检测装置进一步包括图像采集装置，所述图像采集装置用于采集驾驶员的正面图像。
通过根据本发明的驾驶员疲劳驾驶检测方法和检测装置，能够实现低成本快速、准确、鲁棒地基于图像的驾驶员疲劳状态检测装置，以便嵌入式设备不需要任何人机交互就可以实时获取驾驶员是否处于疲劳状态，为驾驶员提供安全防护提示或预警。
附图说明
参照下面结合附图对本发明实施例的说明，会更加容易地理解本发明的以上和其它目的、特点和优点。附图中的部件只是为了示出本发明的原理。在附图中，相同的或类似的技术特征或部件将采用相同或类似的附图标记来表示。
图1是根据本发明的驾驶员疲劳驾驶检测方法的流程图；
图2是根据本发明的驾驶员疲劳驾驶检测装置的组成示意图；
图3和图4示出安装根据本发明的驾驶员疲劳驾驶检测装置的位置示意图。
具体实施方式
下面参照附图来说明本发明的实施例。在本发明的一个附图或一种实施方式中描述的元素和特征可以与一个或更多个其它附图或实施方式中示出的元素和特征相结合。应当注意，为了清楚的目的，附图和说明中省略了与本发明无关的、本领域普通技术人员已知的部件和处理的表示和描述。
图1为本发明实施例一提供的疲劳驾驶检测方法的流程图。其包括如下的步骤：
首先，在步骤S101，接收利用摄像头采集的驾驶员正面的活动图像。例如以640*480像素、1280*720像素、1920*1080像素的分辨率采集图像。
在此，摄像头可以采用普通摄像头，或者单目红外可见光摄像头，以加强在弱光线或夜间行驶条件下的图像采集的清晰度。
然后，在步骤S102，对采集的驾驶员活动图像进行人脸检测。
人脸检测是为了在整幅(帧)驾驶员图像中识别出驾驶员的面部，为进一步定位眼睛及嘴巴做基础。人脸检测可以采用现有的各种检测识别技术，例如，如肤色分割，形状检测等。优选地，可以采用多级级联分类算法进行人脸检测。
接着，在步骤S103，在检测的人脸图像中进一步定位眼睛和嘴巴。根据本发明的方法，在进一步定位眼睛和鼻子的步骤中，可以基于深度神经网络的方法来进行，根据定位的眼睛，来识别人眼所处的状态。
最后，在步骤S104中，连续跟踪多帧人脸图像中眼睛状态的变化，确定驾驶员是否疲劳以及疲劳程度。
优选地，对检测到的人眼和/或嘴巴进行定位，识别人眼所处的状态包括：对人眼进行粗略定位和精确定位。对人眼进行粗略定位包括：将人脸图像输入人脸特征点回归卷积神经网络模型，回归预测在一个降采样的低分辨率图像中人眼和/或嘴巴的边界位置，进而识别人眼的状态。例如，在降采样的低分辨率图像中，人眼和/或嘴巴可以是分辨率为72*72的图像块。在一个实施例中，将人脸图像输入到卷积神经网络，从而获得包括表征两只眼睛位置的二维坐标的两对数据。在另一个实施例中，将人脸图像输入到卷积神经网络，从而获得包括表征两只眼睛和嘴巴位置的二维坐标的三对数据。也可以采用现有图像分析方法，例如，瞳孔分割，形状检测等，定位出人眼的边界位置，进而确定人眼的状态。确定人眼的状态包括人眼瞳孔的面积、人眼张合大小及其变化。例如，归一化的人眼区域面积，瞳孔区域的相对运动。
优选地，可以在对人眼进行粗略定位的基础上进一步对人眼进行精确定位。对检测到的人眼进行精确定位还可以包括：根据粗略定位的人眼定位结果，从降采样的低分辨率图像中裁剪出双眼区域图像，输入眼睛区域分割深度神经网络模型，预测在另一降采样的低分辨率图像上属于人眼区域的概率图，分割出人眼区域所包含的图像像素，并据此判断人眼的张合状态。例如，在另一降采样的低分辨率为64*64的图像上，裁剪出驾驶员双眼的图像，以更精确地判断人眼状态的变化。
优选地，在上述精确定位人眼过程中，根据在对人眼进行粗略定位时嘴区域定位结果，裁剪出嘴部区域图像，输入嘴区域分割深度神经网络模型进行分类判断嘴部张合状态。将嘴部张合状态与上述的人眼张合状态相结合分析，获得更精确的疲劳状态检测结果。
优选地，在上述检测驾驶员疲劳驾驶的方法中，还包括跟踪多帧图像中人眼的状态的变化，从而分析人眼张合频次的变化，辅助检测驾驶员的疲劳程度变化。
在上述检测中，可选地，包括在检测到的人脸中定位鼻子、嘴等多个人脸特征点，并且基于深度神经网络模型提高对眼睛检测定位的精确度。这是为了促进加快根据神经网络模型的方法定位人的眼睛。在此情况下，将人脸图像输入到该深度神经网络模型，输出包括表征两只眼睛、嘴巴和鼻子位置的二维坐标的四对数据。
在上述疲劳驾驶检测方法中，还可以包括结合嘴巴状态分析，判断是否疲劳。例如，通过对比连续多帧图像中，分析眼睛状态的变化，并且结合嘴巴张合大小的变化或打哈欠的频次，辅助判断驾驶员是否疲劳。
根据眼睛和/或嘴巴张合的程度及频次判断驾驶员的疲劳程度，提取疲劳参数，可以依据现有技术标准进行。
在上述判断人眼状态的过程中，可以仅在进行人眼粗略定位后即对人眼的张合状态作出判断，这样有利于快速地获得判断驾驶员疲劳驾驶的判断结果。
另外，在上述神经网络模型中，将前后多帧的人脸检测或人眼检测结果相互关联，可以降低误检测，提高检测的准确度。
所述疲劳驾驶检测方法还包括根据检测的驾驶员的疲劳的不同状况，设置上述疲劳驾驶检测的敏感度，作出不同等级的预警提示。例如，人眼区域过小即人眼闭合达到10秒，或者瞳孔无相对运动10秒，设置为“轻度疲劳”，开始语音提示初级报警；人眼闭合20秒，设置为“中度疲劳”，开始进入中级报警；人眼闭合30秒，设置为“重度疲劳”，开始最大音量持续报警，等等。
在上述驾驶员疲劳驾驶检测方法中，建立卷积神经网络模型时，对于多维数组数据，例如RGB多通道的图像数据，进行多层网络非线性处理，例如卷积层，池化层(Pooling)、全连接层,得到图像不同阶段的语义表达特征，用于对图像的检测，分类和识别。例如，在训练阶段，搜集大量人脸数据，并进行眼睛和嘴部区域标注，采用监督学习和反向传导算法优化模型参数，提取出鲁棒和准确的神经网络模型。
通过根据本发明的驾驶员疲劳驾驶检测方法，能够实现低成本快速、准确、鲁棒的基于图像的驾驶员疲劳状态检测装置，以便嵌入式设备不需要任何人机交互就可以实时获取驾驶员是否处于疲劳状态，为驾驶员提供安全防护提示或预警。
本发明还提供一种驾驶员疲劳检测装置1，如图2所示，其包括：人脸检测装置12，人眼定位装置13，以及疲劳判断装置14。在驾驶员疲劳检测装置1的外部可以包括图像采集装置11，用于采集驾驶员的活动图像。所述人脸检测装置12用于在接收的驾驶员活动图像中检测驾驶员的面部，所述人眼定位装置13，用于在所述面部中，定位驾驶员的眼睛，从而确定驾驶员眼睛的状态，所述疲劳判断装置14，用于根据所述驾驶员眼睛的状态，判断所述驾驶员是否疲劳；其中，人眼定位装置13基于深度神经网络模型，对检测到的人眼和/或嘴巴进行定位，识别人眼的状态；疲劳判断装置14跟踪多帧图像中人眼的状态的变化，判断驾驶员是否疲劳。
优选地，在上述驾驶员疲劳驾驶检测装置，人眼定位装置包括：人眼粗略定位装置。所述人眼粗略定位装置，用于将人脸图像输入人脸特征点回归卷积神经网络模型，回归预测在一个降采样的低分辨率图像中人眼和/或嘴巴的边界位置，进而识别人眼的状态。
优选地，上述驾驶员疲劳驾驶检测装置，人眼定位装置进一步包括人眼精确定位装置。所述人眼精确定位装置，用于从降采样的低分辨率图像中裁剪出双眼区域图像，输入眼睛区域分割深度神经网络模型，预测在另一降采样的低分辨率图像上属于人眼区域的概率图，分割出人眼区域所包含的图像像素，并据此判断人眼的张合状态。
优选地，上述驾驶员疲劳驾驶检测装置还包括嘴部精确定位装置。所述嘴部精确定位装置用于从降采样的低分辨率图像中定位嘴部区域，裁剪出嘴部区域图像，输入嘴部区域分割卷积深度神经网络模型，分类判断嘴部张合状态。
优选地，上述驾驶员疲劳驾驶检测装置，进一步包括疲劳驾驶报警装置，所述疲劳驾驶报警装置用于根据驾驶员疲劳驾驶检测装置判断的疲劳驾驶程度向驾驶员发出报警信息。报警信息包括声音和/或光学报警。例如，报警装置包括喇叭和警示灯，在判定适当程度的疲劳驾驶后，喇叭发出鸣叫和/或警示灯发出闪烁的灯光。
可选地，上述图像采集装置也可以集成到驾驶员疲劳驾驶检测装置中。
上述图像采集装置、人脸检测装置、人眼定位装置、以及疲劳判断装置可以用电子硬件电路实现，人脸检测装置、人眼定位装置、以及疲劳判断装置也可以用能够在嵌入式硬件平台上运行的软件实现。例如，人脸检测装置、人眼定位装置、以及疲劳判断装置可以用分别用一个或多个ASIC和/或FPGA及其组合实现，也可以分别用运行在ARM平台、X86平台上的软件功能模块实现。各个功能模块，也可以依据硬件或软件功能划分的方便，重新组合或一体化实现。
根据本发明的驾驶员疲劳驾驶检测装置可以采用分体式结构，其中图像采集装置优选地安装在汽车挡风玻璃上，驾驶员位置的左前上方或右前上方的车顶上。也可以采用一体式结构，集成嵌入到车辆的不同位置，例如后视镜、仪表盘中央等。图3和图4示出安装根据本发明的驾驶员疲劳驾驶检测装置的位置示意图。图3中驾驶员疲劳驾驶检测装置安装于仪表盘中央透过方向盘能够捕获驾驶员正面的适当位置，图4中驾驶员疲劳驾驶检测装置安装于后视镜左侧朝向驾驶员的位置。驾驶员可根据实际的应用场景，自主调节预警的敏感度和报警音量。
通过根据本发明的驾驶员疲劳驾驶检测方法和装置，可以实时快速对驾驶员疲劳状态进行判定，其嵌入式软硬件装置设备可以集成到各种用于监控驾驶人员的设备中，如轿车、公交、高铁、飞机等。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (15)

1.一种疲劳驾驶检测方法，包括：
接收采集的驾驶员的正面图像；
在采集的图像中进行人脸检测；
在检测到的人脸中进一步定位人眼和/或嘴巴；
其特征在于，所述方法还包括：
基于深度神经网络模型，对检测到的人眼和/或嘴巴进行定位，识别人眼的状态；
跟踪多帧图像中人眼的状态的变化，判断驾驶员是否疲劳。
2.根据权利要求1所述的疲劳驾驶方法，其特征在于，所述基于深度神经网络模型，对检测到的人眼和/或嘴巴进行定位包括：将人脸图像输入人脸特征点回归卷积神经网络模型，回归预测在一个降采样的低分辨率图像中人眼和/或嘴巴的边界位置。
3.根据权利要求2所述的疲劳驾驶检测方法，其特征在于，所述对检测到的人眼和/或嘴巴进行定位还包括从所述降采样的低分辨率图像中裁剪出双眼区域图像，输入眼睛区域分割深度神经网络模型，预测在另一降采样的低分辨率图像上属于人眼区域的概率图，分割出人眼区域所包含的图像像素，并据此判断人眼的张合状态。
4.根据权利要求2所述的疲劳驾驶检测方法，其特征在于，所述人眼状态的变化包括人眼张合大小的变化。
5.根据权利要求1所述的疲劳驾驶检测方法，其特征在于，所述人眼状态的变化包括人眼张合频次的变化。
6.根据权利要求1所述的疲劳驾驶检测方法，其特征在于，所述疲劳驾驶检测方法还包括在检测到的人脸中进一步定位鼻子，并且基于深度神经网络模型，对检测到的鼻子进行定位。
7.根据权利要求1所述的疲劳驾驶检测方法，其特征在于，所述疲劳驾驶检测方法还包括利用单目红外摄像头进行图像采集。
8.根据权利要求2所述的疲劳驾驶检测方法，其特征在于，所述疲劳驾驶检测方法还包括从所述降采样的低分辨率图像中定位嘴部区域，裁剪出嘴部区域图像，输入嘴区域分割深度神经网络模型，分类判断嘴部张开闭合状态。
9.根据权利要求1所述的疲劳驾驶检测方法，其特征在于，所述疲劳驾驶检测方法还包括根据检测的疲劳的不同状况，作出不同等级的预警提示。
10.一种驾驶员疲劳驾驶检测装置，包括人脸检测装置、人眼定位装置、以及疲劳判断装置，所述人脸检测装置用于在接收的驾驶员活动图像中检测驾驶员的面部，所述人眼定位装置，用于在所述面部中，定位驾驶员的眼睛，从而确定驾驶员眼睛的状态，所述疲劳判断装置，用于根据所述驾驶员眼睛的状态，判断所述驾驶员是否疲劳；其特征在于，
所述人眼定位装置基于深度神经网络模型，对检测到的人眼和/或嘴巴进行定位，识别人眼的状态；
所述疲劳判断装置跟踪多帧图像中人眼的状态的变化，判断驾驶员是否疲劳。
11.根据权利要求10所述的驾驶员疲劳驾驶检测装置，其特征在于，所述人眼定位装置包括人眼粗略定位装置，所述人眼粗略定位装置，用于将人脸图像输入人脸特征点回归卷积神经网络模型，回归预测在一个降采样的低分辨率图像中人眼和/或嘴巴的边界位置，进而识别人眼的状态。
12.根据权利要求11所述的驾驶员疲劳驾驶检测装置，其特征在于，所述人眼定位装置包括进一步包括人眼精确定位装置，所述人眼精确定位装置，用于从降采样的低分辨率图像中裁剪出双眼区域图像，输入眼睛区域分割深度神经网络模型，预测在另一降采样的低分辨率图像上属于人眼区域的概率图，分割出人眼区域所包含的图像像素，并据此判断人眼的张合状态。
13.根据权利要求10或11所述的驾驶员疲劳驾驶检测装置，其特征在于，所述驾驶员疲劳驾驶检测装置还包括嘴部精确定位装置，所述嘴部精确定位装置用于从降采样的低分辨率图像中定位嘴部区域，裁剪出嘴部区域图像，输入嘴区域分割深度神经网络模型，分类判断嘴部张开闭合状态。
14.根据权利要求10所述的驾驶员疲劳驾驶检测装置，其特征在于，所述驾驶员疲劳驾驶检测装置进一步包括疲劳驾驶报警装置，所述疲劳驾驶报警装置用于根据驾驶员疲劳驾驶检测装置判断的疲劳驾驶程度向驾驶员发出报警信息。
15.根据权利要求10所述的驾驶员疲劳驾驶检测装置，其特征在于，所述驾驶员疲劳驾驶检测装置进一步包括图像采集装置，所述图像采集装置用于采集驾驶员的正面图像。
CN201610056984.4A 2016-01-27 2016-01-27 疲劳驾驶检测方法和装置 Active CN105769120B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610056984.4A CN105769120B (zh) 2016-01-27 2016-01-27 疲劳驾驶检测方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610056984.4A CN105769120B (zh) 2016-01-27 2016-01-27 疲劳驾驶检测方法和装置

Publications (2)

Publication Number Publication Date
CN105769120A true CN105769120A (zh) 2016-07-20
CN105769120B CN105769120B (zh) 2019-01-22

Family

ID=56402500

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610056984.4A Active CN105769120B (zh) 2016-01-27 2016-01-27 疲劳驾驶检测方法和装置

Country Status (1)

Country Link
CN (1) CN105769120B (zh)

Cited By (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106446811A (zh) * 2016-09-12 2017-02-22 北京智芯原动科技有限公司 基于深度学习的驾驶员疲劳检测方法及装置
CN106599821A (zh) * 2016-12-07 2017-04-26 中国民用航空总局第二研究所 基于bp神经网络的管制员疲劳检测方法及***
CN107038422A (zh) * 2017-04-20 2017-08-11 杭州电子科技大学 基于空间几何约束深度学习的疲劳状态识别方法
CN107657236A (zh) * 2017-09-29 2018-02-02 厦门知晓物联技术服务有限公司 汽车安全驾驶预警方法及车载预警***
CN107832721A (zh) * 2017-11-16 2018-03-23 百度在线网络技术（北京）有限公司 用于输出信息的方法和装置
CN107958573A (zh) * 2017-12-25 2018-04-24 芜湖皖江知识产权运营中心有限公司 一种应用于智能车辆中的行车控制方法
CN107977605A (zh) * 2017-11-08 2018-05-01 清华大学 基于深度学习的眼部区域边界特征提取方法及装置
CN108128161A (zh) * 2017-12-25 2018-06-08 芜湖皖江知识产权运营中心有限公司 一种应用于智能车辆中的疲劳驾驶识别控制方法
CN108162893A (zh) * 2017-12-25 2018-06-15 芜湖皖江知识产权运营中心有限公司 一种应用于智能车辆中的行车控制***
CN108491858A (zh) * 2018-02-11 2018-09-04 南京邮电大学 基于卷积神经网络的疲劳驾驶检测方法及***
CN108657185A (zh) * 2018-03-28 2018-10-16 贵州大学 一种车辆acc***主动安全的疲劳检测及控制方法
CN108888294A (zh) * 2018-03-30 2018-11-27 杭州依图医疗技术有限公司 一种检测颈部透明带宽度的方法及装置
CN108932461A (zh) * 2017-05-27 2018-12-04 杭州海康威视数字技术股份有限公司 一种疲劳检测方法及装置
CN109308445A (zh) * 2018-07-25 2019-02-05 南京莱斯电子设备有限公司 一种基于信息融合的固定岗位人员疲劳检测方法
CN109376649A (zh) * 2018-10-20 2019-02-22 张彦龙 一种从眼部灰度图像缩小似然图计算识别上下眼皮的方法
CN109460704A (zh) * 2018-09-18 2019-03-12 厦门瑞为信息技术有限公司 一种基于深度学习的疲劳检测方法、***和计算机设备
CN109598237A (zh) * 2018-12-04 2019-04-09 青岛小鸟看看科技有限公司 一种疲劳状态检测方法和装置
CN109614892A (zh) * 2018-11-26 2019-04-12 青岛小鸟看看科技有限公司 一种疲劳驾驶检测方法、装置和电子设备
CN109711309A (zh) * 2018-12-20 2019-05-03 北京邮电大学 一种自动识别人像图片是否闭眼的方法
CN109803583A (zh) * 2017-08-10 2019-05-24 北京市商汤科技开发有限公司 驾驶状态监控方法、装置和电子设备
CN110654314A (zh) * 2019-09-30 2020-01-07 浙江鸿泉车联网有限公司 基于深度学习的后视镜自动调节方法和装置
CN110674701A (zh) * 2019-09-02 2020-01-10 东南大学 一种基于深度学习的驾驶员疲劳状态快速检测方法
CN110826521A (zh) * 2019-11-15 2020-02-21 爱驰汽车有限公司 驾驶员疲劳状态识别方法、***、电子设备和存储介质
CN110855934A (zh) * 2018-08-21 2020-02-28 北京嘀嘀无限科技发展有限公司 疲劳驾驶识别方法、装置、***、车载终端及服务器
WO2020062969A1 (zh) * 2018-09-27 2020-04-02 北京市商汤科技开发有限公司 动作识别方法及装置、驾驶员状态分析方法及装置
CN111428680A (zh) * 2020-04-07 2020-07-17 深圳市华付信息技术有限公司 一种基于深度学习的瞳孔定位方法
CN111507170A (zh) * 2019-01-31 2020-08-07 斯特拉德视觉公司 通过车对车连接警告驾驶员的异常状态的方法和装置
CN111521270A (zh) * 2020-04-23 2020-08-11 烟台艾睿光电科技有限公司 一种体温筛查报警***及其工作方法
CN111626221A (zh) * 2020-05-28 2020-09-04 四川大学 一种基于人眼信息增强的驾驶员注视区域估计方法
CN111724408A (zh) * 2020-06-05 2020-09-29 广东海洋大学 基于5g通信下异常驾驶行为算法模型的验证实验方法
WO2020233489A1 (zh) * 2019-05-17 2020-11-26 成都旷视金智科技有限公司 疲劳检测方法、装置及可读存储介质
CN112036352A (zh) * 2020-09-08 2020-12-04 北京嘀嘀无限科技发展有限公司 一种疲劳检测模型的训练方法、疲劳驾驶检测方法及装置
CN112528792A (zh) * 2020-12-03 2021-03-19 深圳地平线机器人科技有限公司 疲劳状态检测方法、装置、介质及电子设备
CN112966664A (zh) * 2021-04-01 2021-06-15 科世达(上海)机电有限公司 一种疲劳驾驶检测方法、***、装置及可读存储介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109770925B (zh) * 2019-02-03 2020-04-24 闽江学院 一种基于深度时空网络的疲劳检测方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007122362A (ja) * 2005-10-27 2007-05-17 Toyota Motor Corp ニューラルネットワークを用いた状態推定方法及びニューラルネットワークを用いた状態推定装置
CN102254151A (zh) * 2011-06-16 2011-11-23 清华大学 一种基于面部视频分析的驾驶人疲劳检测方法
CN103400471A (zh) * 2013-08-12 2013-11-20 电子科技大学 一种驾驶员疲劳驾驶检测***及检测方法
US20140097957A1 (en) * 1995-06-07 2014-04-10 American Vehicular Sciences Llc Driver fatigue monitoring system and method
CN103824049A (zh) * 2014-02-17 2014-05-28 北京旷视科技有限公司 一种基于级联神经网络的人脸关键点检测方法
CN103839379A (zh) * 2014-02-27 2014-06-04 长城汽车股份有限公司 汽车及用于其的驾驶员疲劳预警检测方法和***
CN104688251A (zh) * 2015-03-02 2015-06-10 西安邦威电子科技有限公司 一种多姿态下的疲劳及非正常姿态驾驶检测方法
CN105096528A (zh) * 2015-08-05 2015-11-25 广州云从信息科技有限公司 一种疲劳驾驶检测方法及***
CN105139070A (zh) * 2015-08-27 2015-12-09 南京信息工程大学 基于人工神经网络和证据理论的疲劳驾驶评价方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140097957A1 (en) * 1995-06-07 2014-04-10 American Vehicular Sciences Llc Driver fatigue monitoring system and method
JP2007122362A (ja) * 2005-10-27 2007-05-17 Toyota Motor Corp ニューラルネットワークを用いた状態推定方法及びニューラルネットワークを用いた状態推定装置
CN102254151A (zh) * 2011-06-16 2011-11-23 清华大学 一种基于面部视频分析的驾驶人疲劳检测方法
CN103400471A (zh) * 2013-08-12 2013-11-20 电子科技大学 一种驾驶员疲劳驾驶检测***及检测方法
CN103824049A (zh) * 2014-02-17 2014-05-28 北京旷视科技有限公司 一种基于级联神经网络的人脸关键点检测方法
CN103839379A (zh) * 2014-02-27 2014-06-04 长城汽车股份有限公司 汽车及用于其的驾驶员疲劳预警检测方法和***
CN104688251A (zh) * 2015-03-02 2015-06-10 西安邦威电子科技有限公司 一种多姿态下的疲劳及非正常姿态驾驶检测方法
CN105096528A (zh) * 2015-08-05 2015-11-25 广州云从信息科技有限公司 一种疲劳驾驶检测方法及***
CN105139070A (zh) * 2015-08-27 2015-12-09 南京信息工程大学 基于人工神经网络和证据理论的疲劳驾驶评价方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ERJIN ZHOU等: "Extensive Facial Landmark Localization with Coarse-to-fine Convolutional Network Cascade", 《2013 IEEE INTERNATIONAL CONFERENCE ON COMPUTER VISION WORKSHOPS》 *

Cited By (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106446811A (zh) * 2016-09-12 2017-02-22 北京智芯原动科技有限公司 基于深度学习的驾驶员疲劳检测方法及装置
CN106599821A (zh) * 2016-12-07 2017-04-26 中国民用航空总局第二研究所 基于bp神经网络的管制员疲劳检测方法及***
CN107038422A (zh) * 2017-04-20 2017-08-11 杭州电子科技大学 基于空间几何约束深度学习的疲劳状态识别方法
CN107038422B (zh) * 2017-04-20 2020-06-23 杭州电子科技大学 基于空间几何约束深度学习的疲劳状态识别方法
CN108932461A (zh) * 2017-05-27 2018-12-04 杭州海康威视数字技术股份有限公司 一种疲劳检测方法及装置
CN109803583A (zh) * 2017-08-10 2019-05-24 北京市商汤科技开发有限公司 驾驶状态监控方法、装置和电子设备
CN107657236A (zh) * 2017-09-29 2018-02-02 厦门知晓物联技术服务有限公司 汽车安全驾驶预警方法及车载预警***
CN107977605A (zh) * 2017-11-08 2018-05-01 清华大学 基于深度学习的眼部区域边界特征提取方法及装置
CN107832721A (zh) * 2017-11-16 2018-03-23 百度在线网络技术（北京）有限公司 用于输出信息的方法和装置
CN108162893A (zh) * 2017-12-25 2018-06-15 芜湖皖江知识产权运营中心有限公司 一种应用于智能车辆中的行车控制***
CN108128161A (zh) * 2017-12-25 2018-06-08 芜湖皖江知识产权运营中心有限公司 一种应用于智能车辆中的疲劳驾驶识别控制方法
CN107958573A (zh) * 2017-12-25 2018-04-24 芜湖皖江知识产权运营中心有限公司 一种应用于智能车辆中的行车控制方法
CN108491858A (zh) * 2018-02-11 2018-09-04 南京邮电大学 基于卷积神经网络的疲劳驾驶检测方法及***
CN108657185A (zh) * 2018-03-28 2018-10-16 贵州大学 一种车辆acc***主动安全的疲劳检测及控制方法
CN108888294A (zh) * 2018-03-30 2018-11-27 杭州依图医疗技术有限公司 一种检测颈部透明带宽度的方法及装置
CN108888294B (zh) * 2018-03-30 2021-02-23 杭州依图医疗技术有限公司 一种检测颈部透明带宽度的方法及装置
CN109308445A (zh) * 2018-07-25 2019-02-05 南京莱斯电子设备有限公司 一种基于信息融合的固定岗位人员疲劳检测方法
CN109308445B (zh) * 2018-07-25 2019-06-25 南京莱斯电子设备有限公司 一种基于信息融合的固定岗位人员疲劳检测方法
CN110855934A (zh) * 2018-08-21 2020-02-28 北京嘀嘀无限科技发展有限公司 疲劳驾驶识别方法、装置、***、车载终端及服务器
CN109460704B (zh) * 2018-09-18 2020-09-15 厦门瑞为信息技术有限公司 一种基于深度学习的疲劳检测方法、***和计算机设备
CN109460704A (zh) * 2018-09-18 2019-03-12 厦门瑞为信息技术有限公司 一种基于深度学习的疲劳检测方法、***和计算机设备
CN110956061B (zh) * 2018-09-27 2024-04-16 北京市商汤科技开发有限公司 动作识别方法及装置、驾驶员状态分析方法及装置
CN110956061A (zh) * 2018-09-27 2020-04-03 北京市商汤科技开发有限公司 动作识别方法及装置、驾驶员状态分析方法及装置
WO2020062969A1 (zh) * 2018-09-27 2020-04-02 北京市商汤科技开发有限公司 动作识别方法及装置、驾驶员状态分析方法及装置
CN109376649A (zh) * 2018-10-20 2019-02-22 张彦龙 一种从眼部灰度图像缩小似然图计算识别上下眼皮的方法
CN109614892A (zh) * 2018-11-26 2019-04-12 青岛小鸟看看科技有限公司 一种疲劳驾驶检测方法、装置和电子设备
CN109598237A (zh) * 2018-12-04 2019-04-09 青岛小鸟看看科技有限公司 一种疲劳状态检测方法和装置
CN109711309A (zh) * 2018-12-20 2019-05-03 北京邮电大学 一种自动识别人像图片是否闭眼的方法
CN109711309B (zh) * 2018-12-20 2020-11-27 北京邮电大学 一种自动识别人像图片是否闭眼的方法
CN111507170B (zh) * 2019-01-31 2023-11-28 斯特拉德视觉公司 通过车对车连接警告驾驶员的异常状态的方法和装置
CN111507170A (zh) * 2019-01-31 2020-08-07 斯特拉德视觉公司 通过车对车连接警告驾驶员的异常状态的方法和装置
WO2020233489A1 (zh) * 2019-05-17 2020-11-26 成都旷视金智科技有限公司 疲劳检测方法、装置及可读存储介质
CN110674701A (zh) * 2019-09-02 2020-01-10 东南大学 一种基于深度学习的驾驶员疲劳状态快速检测方法
CN110654314A (zh) * 2019-09-30 2020-01-07 浙江鸿泉车联网有限公司 基于深度学习的后视镜自动调节方法和装置
CN110826521A (zh) * 2019-11-15 2020-02-21 爱驰汽车有限公司 驾驶员疲劳状态识别方法、***、电子设备和存储介质
CN111428680B (zh) * 2020-04-07 2023-10-20 深圳华付技术股份有限公司 一种基于深度学习的瞳孔定位方法
CN111428680A (zh) * 2020-04-07 2020-07-17 深圳市华付信息技术有限公司 一种基于深度学习的瞳孔定位方法
CN111521270A (zh) * 2020-04-23 2020-08-11 烟台艾睿光电科技有限公司 一种体温筛查报警***及其工作方法
CN111626221A (zh) * 2020-05-28 2020-09-04 四川大学 一种基于人眼信息增强的驾驶员注视区域估计方法
CN111724408A (zh) * 2020-06-05 2020-09-29 广东海洋大学 基于5g通信下异常驾驶行为算法模型的验证实验方法
CN111724408B (zh) * 2020-06-05 2021-09-03 广东海洋大学 基于5g通信下异常驾驶行为算法模型的验证实验方法
CN112036352A (zh) * 2020-09-08 2020-12-04 北京嘀嘀无限科技发展有限公司 一种疲劳检测模型的训练方法、疲劳驾驶检测方法及装置
CN112036352B (zh) * 2020-09-08 2021-09-14 北京嘀嘀无限科技发展有限公司 一种疲劳检测模型的训练方法、疲劳驾驶检测方法及装置
CN112528792A (zh) * 2020-12-03 2021-03-19 深圳地平线机器人科技有限公司 疲劳状态检测方法、装置、介质及电子设备
CN112528792B (zh) * 2020-12-03 2024-05-31 深圳地平线机器人科技有限公司 疲劳状态检测方法、装置、介质及电子设备
CN112966664A (zh) * 2021-04-01 2021-06-15 科世达(上海)机电有限公司 一种疲劳驾驶检测方法、***、装置及可读存储介质

Also Published As

Publication number Publication date
CN105769120B (zh) 2019-01-22

Similar Documents

Publication Publication Date Title
CN105769120A (zh) 疲劳驾驶检测方法和装置
CN108960065B (zh) 一种基于视觉的驾驶行为检测方法
CN104013414B (zh) 一种基于移动智能手机的驾驶员疲劳检测***
CN101593425B (zh) 一种基于机器视觉的疲劳驾驶监控方法及***
Ji et al. Fatigue state detection based on multi-index fusion and state recognition network
CN104751600B (zh) 基于虹膜识别的防疲劳驾驶安全设备及其使用方法
CN103824420B (zh) 基于心率变异性非接触式测量的疲劳驾驶识别***
CN110119676A (zh) 一种基于神经网络的驾驶员疲劳检测方法
CN202257856U (zh) 驾驶员疲劳驾驶监控装置
WO2021016873A1 (zh) 基于级联神经网络的注意力检测方法、计算机装置及计算机可读存储介质
CN110532976A (zh) 基于机器学习和多特征融合的疲劳驾驶检测方法及***
CN103714659B (zh) 基于双光谱融合的疲劳驾驶识别***
CN109389806A (zh) 基于多信息融合的疲劳驾驶检测预警方法、***及介质
CN101950355A (zh) 基于数字视频的驾驶员疲劳状态检测方法
CN106128032A (zh) 一种疲劳状态监测及预警方法及其***
CN102752458A (zh) 一种驾驶员疲劳检测手机与检测单元
CN109740477A (zh) 驾驶员疲劳检测***及其疲劳检测方法
CN104224204A (zh) 一种基于红外检测技术的驾驶员疲劳检测***
CN109977930A (zh) 疲劳驾驶检测方法及装置
Tang et al. Real-time image-based driver fatigue detection and monitoring system for monitoring driver vigilance
CN104881956A (zh) 一种疲劳驾驶预警***
CN116935361A (zh) 一种基于深度学习的驾驶员分心行为检测方法
CN114220158A (zh) 基于深度学习的疲劳驾驶检测方法
US20120189161A1 (en) Visual attention apparatus and control method based on mind awareness and display apparatus using the visual attention apparatus
Rani et al. Development of an Automated Tool for Driver Drowsiness Detection

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant