CN109740477A - 驾驶员疲劳检测***及其疲劳检测方法 - Google Patents
驾驶员疲劳检测***及其疲劳检测方法 Download PDFInfo
- Publication number
- CN109740477A CN109740477A CN201811596591.8A CN201811596591A CN109740477A CN 109740477 A CN109740477 A CN 109740477A CN 201811596591 A CN201811596591 A CN 201811596591A CN 109740477 A CN109740477 A CN 109740477A
- Authority
- CN
- China
- Prior art keywords
- fatigue
- driver
- facial
- image
- driver fatigue
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Analysis (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
本发明公开了一种驾驶员疲劳检测***，包括图像预处理模块将图像处理为预设格式；面部以及面部特征点检测模块采用第一卷积神经网络检测获得面部区域和面部特征点；面部区域调整归一化模块根据人脸特征点形成面部位置框，利用面部位置框裁剪面部区域，将裁剪后的面部区域归一化处理；面部特征提取网络模块采用第二卷积神经网络在归一化后的图像中获取面部特征并获取各面部特征的置信度；疲劳程度及疲劳状态判断模块，根据疲劳判断规则获取当前图像疲劳程度，根据前图像疲劳程度利用PERCLOS算法获得驾驶员疲劳状态。本发明还公开了一种驾驶员疲劳检测方法。本发明能精确获取驾驶员的面部信息，并进行融合决策准确判断驾驶员疲劳状态。
Description
技术领域
本发明涉及汽车领域，特别是涉及一种基于深度学习和信息融合的驾驶员疲劳检测***。本发明还涉及一种基于深度学习和信息融合的疲劳检测方法。
背景技术
根据国内外的研究表明，疲劳驾驶是发生重大事故的三大原因之一：疲劳驾驶引发的交通事故占比高达40％以上，其次为酒后驾车、车辆故障、违反交通法规等。驾驶疲劳是指驾驶员在驾驶车辆时由于种种原因产生的生理机能或者心理机能的失调(即在生理或心理上产生疲劳)，从而使驾驶员对周边环境的感知能力减弱以及对车辆的操纵能力下降，偏离正常的驾驶行为。因此，如何主动针对驾驶员的状态进行监测，并有效的提供驾驶疲劳预警，是一个亟待解决的交通安全问题。
现在对驾驶员的实时疲劳检测技术，主要采用接触式的设备，检测驾驶员的生理信号，其优点是精确，但对驾驶员驾驶操作不够友好，或者采用车辆信息进行判断，其优点是不会对驾驶员造成影响，但是精确度不高，滞后严重。因此，急需一种功能全面，安全高效的对驾驶员疲劳检测的技术。
发明内容
本发明要解决的技术问题是提供一种基于深度学习和信息融合在光照、驾驶员姿态变化等复杂条件下均能精确获取驾驶员的面部信息，判断驾驶员疲劳程度的驾驶员疲劳检测***。
本发明还提供一种基于深度学习和信息融合在光照、驾驶员姿态变化等复杂条件下均能精确获取驾驶员的面部信息，判断驾驶员疲劳程度的驾驶员疲劳检测方法。
为解决上述技术问题，本发明提供的驾驶员疲劳检测***，包括：图像预处理模块、面部以及面部特征点检测模块、面部区域调整归一化模块、面部特征提取网络模块和疲劳程度判断模块；
图像预处理模块，将图像处理为预设格式；
面部以及面部特征点检测模块，采用第一卷积神经网络检测获得面部区域和面部特征点；
面部区域调整归一化模块，根据人脸特征点形成面部位置框，利用面部位置框裁剪面部区域，将裁剪后的面部区域归一化处理；
面部特征提取网络模块，采用第二卷积神经网络在归一化后的图像中获取面部特征，并获取各面部特征的置信度；
疲劳程度及疲劳状态判断模块，根据疲劳判断规则获取当前图像疲劳程度，根据前图像疲劳程度利用PERCLOS算法获得驾驶员疲劳状态。
进一步改进所述驾驶员疲劳检测***，所述预设格式为单通道灰度图像，图像分辨率大于640×480。
进一步改进所述驾驶员疲劳检测***，所述灰度转化公式为，Gray＝0.299R+0.587G+0.114B。
进一步改进所述驾驶员疲劳检测***，所述第一卷积神经网络是多级级联卷积神经网络MTCNN。
进一步改进所述驾驶员疲劳检测***，使多级级联卷积神经网络MTCNN输出的所有面部特征点位于面部区域内形成面部位置框，再通过面部位置框对面部区域形象裁剪。
进一步改进所述驾驶员疲劳检测***，所述归一化是将图像转换分辨率为96×96的图像。
进一步改进所述驾驶员疲劳检测***，所述第二卷积神经网络采用MobileNetV2网络结构，损失函数由分类损失和回归损失构成，多标签分类损失采用的是Sigmoid交叉熵损失函数，公式为：
回归损失采用的是L2损失函数，公式为：L2(x)＝∑(Yi-p(xi))2，训练过程的学习率设置为0.05，最大迭代次数为100000。
进一步改进所述驾驶员疲劳检测***，所述面部特征包括:左右眼睁闭状态，嘴部的张闭状态以及驾驶员头部位姿。
进一步改进所述驾驶员疲劳检测***，所述疲劳判读规则包括:根据左右眼闭眼状态置信度，张嘴状态置信度以及头部位姿的Pitch值利用加权融合算法获得驾驶员所当前帧下的疲劳程度置信度，前帧下疲劳程度置信度大于第一阈值的则当前帧为疲劳。
进一步改进所述驾驶员疲劳检测***，所述加权融合算法公式如下；
低头置信度为Pitch为低头的角度值。
进一步改进所述驾驶员疲劳检测***，所述第一阈值为0.5-0.9。
进一步改进所述驾驶员疲劳检测***，所述PERCLOS算法是单位时间内驾驶员眼睛闭合时间所占的比例，计算公式为：PERCLOS＝单位时间闭眼帧数/单位时间总帧数，当比值大于第二阈值的时候，驾驶员处于疲劳状态。
进一步改进所述驾驶员疲劳检测***，所述单位时间为30秒～180秒。
进一步改进所述驾驶员疲劳检测***，所述第二阈值为0.3-0.5。
本发明提供一种驾驶员疲劳检测方法，包括以下步骤：
1)拍摄驾驶员面部图像；
2)将图像处理为预设格式；
3)采用第一卷积神经网络检测获得面部区域和面部特征点；
4)根据人脸特征点形成面部位置框，利用面部位置框裁剪面部区域，将裁剪后的面部区域归一化处理；
5)采用第二卷积神经网络在归一化后的图像中获取面部特征，并获取各面部特征的置信度；
6)根据疲劳判断规则获取当前图像疲劳程度，根据前图像疲劳程度利用PERCLOS算法获得驾驶员疲劳状态。
进一步改进所述的驾驶员疲劳检测方法，实施步骤2)时，预设格式为单通道灰度图像，图像分辨率大于640×480。
进一步改进所述的驾驶员疲劳检测方法，所述灰度转化公式为，Gray＝0.299R+0.587G+0.114B。
进一步改进所述的驾驶员疲劳检测方法，实施步骤3)时，所述第一卷积神经网络是多级级联卷积神经网络MTCNN。
进一步改进所述的驾驶员疲劳检测方法，实施步骤4)时，使多级级联卷积神经网络MTCNN输出的所有面部特征点位于面部区域内形成面部位置框，再通过面部位置框对面部区域形象裁剪。
进一步改进所述的驾驶员疲劳检测方法，实施步骤4)时,所述归一化是将图像转换分辨率为96×96的图像。
进一步改进所述的驾驶员疲劳检测方法，实施步骤5)时,第二卷积神经网络采用MobileNetV2网络结构，损失函数由分类损失和回归损失构成，多标签分类损失采用的是Sigmoid交叉熵损失函数，公式为：
回归损失采用的是L2损失函数，公式为：L2(x)＝∑(Yi-p(xi))2，训练过程的学习率设置为0.05，最大迭代次数为100000。
进一步改进所述的驾驶员疲劳检测方法，实施步骤5)时,所述面部特征包括:左右眼睁闭状态，嘴部的张闭状态以及驾驶员头部位姿。
进一步改进所述的驾驶员疲劳检测方法，实施步骤6)时,所述疲劳判读规则包括:根据左右眼闭眼状态置信度，张嘴状态置信度以及头部位姿的Pitch值利用加权融合算法获得驾驶员所当前帧下的疲劳程度置信度，前帧下疲劳程度置信度大于第一阈值的则当前帧为疲劳。
进一步改进所述的驾驶员疲劳检测方法，所述加权融合算法公式如下；
低头置信度为Pitch为低头的角度值。
进一步改进所述的驾驶员疲劳检测方法，所述第一阈值为0.5-0.9。
进一步改进所述的驾驶员疲劳检测方法，所述PERCLOS算法是单位时间内驾驶员眼睛闭合时间所占的比例，计算公式为：PERCLOS＝单位时间闭眼帧数/单位时间总帧数，当比值大于第二阈值的时候，驾驶员处于疲劳状态。
进一步改进所述的驾驶员疲劳检测方法，所述单位时间为30秒～180秒。
进一步改进所述的驾驶员疲劳检测方法，所述第二阈值为0.3-0.5。
本发明能减少因驾驶疲劳引发的交通事故，保障驾驶员安全驾驶。本发明基于深度学习和信息融合的驾驶员疲劳状态检测***及方法，实现了即使在光照、姿态变化等复杂条件下均能精确获取驾驶员的面部信息，并进行融合决策准确判断驾驶员状态并预警，能够有效的预防驾驶员疲劳驾驶，减少因驾驶疲劳引发的交通事故。
本发明至少具有以下技术效果：
(1)本发明采用基于视觉信息的非接触式方式，利用深度卷积神经网络能够有效的克服各种光照、位姿等变化带来的干扰，实现对驾驶疲劳的实时精准判别检测。
(2)利用单一的神经网络对图像进行成处理，同时获取面部区域和面部点区域，减少冗余计算，有效提升计算速度，并利用特征点优化面部检测模块，提高面部检测的精度。
(3)利用单一神经网络结合多标签分类损失和回归损失对面部区域进行计算，同时计算得出左右眼闭眼状态置信度值、嘴部张开状态置信度值以及头部位姿的Pitch(俯仰角)、Yaw(偏航角)和Roll(翻滚角)角度值，可以高效准确的获取人脸数据，计算速度快。
(4)采用眼睛、嘴部以及头部位姿的特征信息融合，充分利用驾驶员的面部信息，***更加精准有效的判别驾驶员所处的状态。
附图说明
下面结合附图与具体实施方式对本发明作进一步详细的说明：
图1是本发明的原理示意图。
图2是本发明面部以及面部特征点检测模块通过神经网络获取左右眼睁闭，嘴部张闭以及头部位姿值原理示意图。
图3是本发明面部特征提取网络模块采用MobileNetV2模型原理示意图。
图4是本发明融合判断原理示意图。
具体实施方式
参考图1所示，本发明提供的驾驶员疲劳检测***，包括：图像预处理模块、面部以及面部特征点检测模块、面部区域调整归一化模块、面部特征提取网络模块和疲劳程度判断模块；
图像预处理模块，将图像转换为单通道灰度图像，图像分辨率大于640×480；
灰度转化公式为，Gray＝0.299R+0.587G+0.114B；
参考图2所示，面部以及面部特征点检测模块，采用多级级联卷积神经网络MTCNN检测获得面部区域和面部特征点；使多级级联卷积神经网络MTCNN输出的所有面部特征点位于面部区域内形成面部位置框，再通过面部位置框对面部区域形象裁剪；面部特征包括:左右眼睁闭状态，嘴部的张闭状态以及驾驶员头部位姿；
面部区域调整归一化模块，根据人脸特征点形成面部位置框，利用面部位置框裁剪面部区域，将裁剪后的面部区域转换分辨率为96×96的图像；
参考图3所示，面部特征提取网络模块，采用第二卷积神经网络在归一化后的图像中获取面部特征，并获取各面部特征的置信度；
所述第二卷积神经网络采用MobileNetV2网络结构，损失函数由分类损失和回归损失构成，多标签分类损失采用的是Sigmoid交叉熵损失函数，公式为：
回归损失采用的是L2损失函数，公式为：L2(x)＝∑(Yi-p(xi))2，训练过程的学习率设置为0.05，最大迭代次数为100000；
疲劳程度及疲劳状态判断模块，根据疲劳判断规则获取当前图像疲劳程度，根据前图像疲劳程度利用PERCLOS算法获得驾驶员疲劳状态；
所述疲劳判读规则包括:根据左右眼闭眼状态置信度，张嘴状态置信度以及头部位姿的Pitch值利用加权融合算法获得驾驶员所当前帧下的疲劳程度置信度，前帧下疲劳程度置信度大于第一阈值的则当前帧为疲劳。
所述加权融合算法公式如下；
低头置信度为Pitch为低头的角度值；例如，低头17度；
所述PERCLOS算法是单位时间内驾驶员眼睛闭合时间所占的比例，计算公式为：PERCLOS＝单位时间闭眼帧数/单位时间总帧数，当比值大于第二阈值的时候，驾驶员处于疲劳状态，发出疲劳预警。
其中，所述第一阈值为0.5-0.9，优选为0.6。
所述单位时间为30秒～180秒，优选为90秒。
所述第二阈值为0.3-0.5，优选为0.4。
本发明提供一种驾驶员疲劳检测方法，包括以下步骤：
1)采用相机/摄像机拍摄驾驶员面部图像；
2)将图像转换为单通道灰度图像，图像分辨率大于640×480；灰度转化公式为，Gray＝0.299R+0.587G+0.114B；
3)采用多级级联卷积神经网络MTCNN检测获得面部区域和面部特征点；
4)使多级级联卷积神经网络MTCNN输出的所有面部特征点位于面部区域内形成面部位置框，再通过面部位置框对面部区域形象裁剪，将裁剪后的面部区域转换分辨率为96×96的图像。
面部特征包括:左右眼睁闭状态，嘴部的张闭状态以及驾驶员头部位姿；
5)采用第二卷积神经网络在归一化后的图像中获取面部特征，并获取各面部特征的置信度；
所述第二卷积神经网络采用MobileNetV2网络结构，损失函数由分类损失和回归损失构成，多标签分类损失采用的是Sigmoid交叉熵损失函数，公式为：
回归损失采用的是L2损失函数，公式为：L2(x)＝∑(Yi-p(xi))2，训练过程的学习率设置为0.05，最大迭代次数为100000。
6)根据疲劳判断规则获取当前图像疲劳程度，根据前图像疲劳程度利用PERCLOS算法获得驾驶员疲劳状态；
所述疲劳判读规则包括:根据左右眼闭眼状态置信度，张嘴状态置信度以及头部位姿的Pitch值利用加权融合算法获得驾驶员所当前帧下的疲劳程度置信度，前帧下疲劳程度置信度大于第一阈值的则当前帧为疲劳。
所述加权融合算法公式如下；
低头置信度为Pitch为低头的角度值；例如，低头17度；
所述PERCLOS算法是单位时间内驾驶员眼睛闭合时间所占的比例，计算公式为：PERCLOS＝单位时间闭眼帧数/单位时间总帧数，当比值大于第二阈值的时候，驾驶员处于疲劳状态，发出疲劳预警。
其中，所述第一阈值为0.5-0.9，优选为0.6。
所述单位时间为30秒～180秒，优选为90秒。
所述第二阈值为0.3-0.5，优选为0.4。
以上通过具体实施方式和实施例对本发明进行了详细的说明，但这些并非构成对本发明的限制。在不脱离本发明原理的情况下，本领域的技术驾驶员还可做出许多变形和改进，这些也应视为本发明的保护范围。
Claims (28)
1.一种驾驶员疲劳检测***，其特征在于，包括：图像预处理模块、面部以及面部特征点检测模块、面部区域调整归一化模块、面部特征提取网络模块和疲劳程度判断模块；
图像预处理模块，将图像处理为预设格式；
面部以及面部特征点检测模块，采用第一卷积神经网络检测获得面部区域和面部特征点；
面部区域调整归一化模块，根据人脸特征点形成面部位置框，利用面部位置框裁剪面部区域，将裁剪后的面部区域归一化处理；
面部特征提取网络模块，采用第二卷积神经网络在归一化后的图像中获取面部特征，并获取各面部特征的置信度；
疲劳程度及疲劳状态判断模块，根据疲劳判断规则获取当前图像疲劳程度，根据前图像疲劳程度利用PERCLOS算法获得驾驶员疲劳状态。
2.如权利要求1所述驾驶员疲劳检测***，其特征在于：所述预设格式为单通道灰度图像，图像分辨率大于640×480。
3.如权利要求2所述驾驶员疲劳检测***，其特征在于：所述灰度转化公式为，Gray＝0.299R+0.587G+0.114B。
4.如权利要求1所述驾驶员疲劳检测***，其特征在于：所述第一卷积神经网络是多级级联卷积神经网络MTCNN。
5.如权利要求4所述驾驶员疲劳检测***，其特征在于：使多级级联卷积神经网络MTCNN输出的所有面部特征点位于面部区域内形成面部位置框，再通过面部位置框对面部区域形象裁剪。
6.如权利要求1所述驾驶员疲劳检测***，其特征在于：所述归一化是将图像转换分辨率为96×96的图像。
7.如权利要求1所述驾驶员疲劳检测***，其特征在于：所述第二卷积神经网络采用MobileNetV2网络结构，损失函数由分类损失和回归损失构成，多标签分类损失采用的是Sigmoid交叉熵损失函数，公式为：
回归损失采用的是L2损失函数，公式为：L2(x)＝∑(Yi-p(xi))2，训练过程的学习率设置为0.05，最大迭代次数为100000。
8.如权利要求1所述驾驶员疲劳检测***，其特征在于：所述面部特征包括:左右眼睁闭状态，嘴部的张闭状态以及驾驶员头部位姿。
9.如权利要求1所述驾驶员疲劳检测***，其特征在于：所述疲劳判读规则包括:
根据左右眼闭眼状态置信度，张嘴状态置信度以及头部位姿的Pitch值利用加权融合算法获得驾驶员所当前帧下的疲劳程度置信度，前帧下疲劳程度置信度大于第一阈值的则当前帧为疲劳。
10.如权利要求9所述驾驶员疲劳检测***，其特征在于：所述加权融合算法公式如下；
低头置信度为Pitch为低头的角度值。
11.如权利要求9所述驾驶员疲劳检测***，其特征在于：所述第一阈值为0.5-0.9。
12.如权利要求1所述驾驶员疲劳检测***，其特征在于：所述PERCLOS算法是单位时间内驾驶员眼睛闭合时间所占的比例，计算公式为：PERCLOS＝单位时间闭眼帧数/单位时间总帧数，当比值大于第二阈值的时候，驾驶员处于疲劳状态。
13.如权利要求12所述驾驶员疲劳检测***，其特征在于：所述单位时间为30秒～180秒。
14.如权利要求12所述驾驶员疲劳检测***，其特征在于：所述第二阈值为0.3-0.5。
15.一种驾驶员疲劳检测方法，其特征在于，包括以下步骤：
1)拍摄驾驶员面部图像；
2)将图像处理为预设格式；
3)采用第一卷积神经网络检测获得面部区域和面部特征点；
4)根据人脸特征点形成面部位置框，利用面部位置框裁剪面部区域，将裁剪后的面部区域归一化处理；
5)采用第二卷积神经网络在归一化后的图像中获取面部特征，并获取各面部特征的置信度；
6)根据疲劳判断规则获取当前图像疲劳程度，根据前图像疲劳程度利用PERCLOS算法获得驾驶员疲劳状态。
16.如权利要求15所述的驾驶员疲劳检测方法，其特征在于：实施步骤2)时，预设格式为单通道灰度图像，图像分辨率大于640×480。
17.如权利要求16所述的驾驶员疲劳检测方法，其特征在于：所述灰度转化公式为，Gray＝0.299R+0.587G+0.114B。
18.如权利要求15所述的驾驶员疲劳检测方法，其特征在于：实施步骤3)时，所述第一卷积神经网络是多级级联卷积神经网络MTCNN。
19.如权利要求15所述的驾驶员疲劳检测方法，其特征在于：实施步骤4)时，使多级级联卷积神经网络MTCNN输出的所有面部特征点位于面部区域内形成面部位置框，再通过面部位置框对面部区域形象裁剪。
20.如权利要求15所述的驾驶员疲劳检测方法，其特征在于：实施步骤4)时,所述归一化是将图像转换分辨率为96×96的图像。
21.如权利要求15所述的驾驶员疲劳检测方法，其特征在于：实施步骤5)时,第二卷积神经网络采用MobileNetV2网络结构，损失函数由分类损失和回归损失构成，多标签分类损失采用的是Sigmoid交叉熵损失函数，公式为：
回归损失采用的是L2损失函数，公式为：L2(x)＝∑(Yi-p(xi))2，训练过程的学习率设置为0.05，最大迭代次数为100000。
22.如权利要求15所述的驾驶员疲劳检测方法，其特征在于：实施步骤5)时,所述面部特征包括:左右眼睁闭状态，嘴部的张闭状态以及驾驶员头部位姿。
23.如权利要求15所述的驾驶员疲劳检测方法，其特征在于：实施步骤6)时,所述疲劳判读规则包括:根据左右眼闭眼状态置信度，张嘴状态置信度以及头部位姿的Pitch值利用加权融合算法获得驾驶员所当前帧下的疲劳程度置信度，前帧下疲劳程度置信度大于第一阈值的则当前帧为疲劳。
24.如权利要求23所述的驾驶员疲劳检测方法，其特征在于：所述加权融合算法公式如下；
低头置信度为Pitch为低头的角度值。
25.如权利要求23所述的驾驶员疲劳检测方法，其特征在于：所述第一阈值为0.5-0.9。
26.如权利要求23所述的驾驶员疲劳检测方法，其特征在于：所述PERCLOS算法是单位时间内驾驶员眼睛闭合时间所占的比例，计算公式为：PERCLOS＝单位时间闭眼帧数/单位时间总帧数，当比值大于第二阈值的时候，驾驶员处于疲劳状态。
27.如权利要求26所述的驾驶员疲劳检测方法，其特征在于：所述单位时间为30秒～180秒。
28.如权利要求26所述的驾驶员疲劳检测方法，其特征在于：所述第二阈值为0.3-0.5。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811596591.8A CN109740477B (zh) | 2018-12-26 | 2018-12-26 | 驾驶员疲劳检测***及其疲劳检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811596591.8A CN109740477B (zh) | 2018-12-26 | 2018-12-26 | 驾驶员疲劳检测***及其疲劳检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109740477A true CN109740477A (zh) | 2019-05-10 |
| CN109740477B CN109740477B (zh) | 2022-12-06 |
Family
ID=66361206
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811596591.8A Active CN109740477B (zh) | 2018-12-26 | 2018-12-26 | 驾驶员疲劳检测***及其疲劳检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109740477B (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110232327A (zh) * | 2019-05-21 | 2019-09-13 | 浙江师范大学 | 一种基于梯形级联卷积神经网络的驾驶疲劳检测方法 |
| CN110532887A (zh) * | 2019-07-31 | 2019-12-03 | 郑州大学 | 一种基于面部特征融合的疲劳驾驶检测方法及*** |
| CN110678873A (zh) * | 2019-07-30 | 2020-01-10 | 珠海全志科技股份有限公司 | 基于级联神经网络的注意力检测方法、计算机装置及计算机可读存储介质 |
| CN110674701A (zh) * | 2019-09-02 | 2020-01-10 | 东南大学 | 一种基于深度学习的驾驶员疲劳状态快速检测方法 |
| CN113343940A (zh) * | 2021-07-19 | 2021-09-03 | 湖南科技大学 | 一种基于面部多特征点识别的值班人员疲劳状态检测方法 |
| WO2022001091A1 (zh) * | 2020-06-29 | 2022-01-06 | 北京百度网讯科技有限公司 | 一种危险驾驶行为识别方法、装置、电子设备及存储介质 |
| CN114475620A (zh) * | 2022-01-26 | 2022-05-13 | 南京科融数据***股份有限公司 | 用于款箱押运***的驾驶员验证方法及*** |
| CN116912808A (zh) * | 2023-09-14 | 2023-10-20 | 四川公路桥梁建设集团有限公司 | 架桥机控制方法、电子设备和计算机可读介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106361456A (zh) * | 2015-07-23 | 2017-02-01 | 郭宏博 | 一种智能牙刷的刷牙方式检测方法及*** |
| CN106781282A (zh) * | 2016-12-29 | 2017-05-31 | 天津中科智能识别产业技术研究院有限公司 | 一种智能行车驾驶员疲劳预警*** |
| US20180039751A1 (en) * | 2015-05-19 | 2018-02-08 | Sony Corporation | Information processing apparatus, information processing method, and program |
| CN108363968A (zh) * | 2018-01-31 | 2018-08-03 | 上海瀚所信息技术有限公司 | 一种基于关键点提取的司机疲劳驾驶监测***和方法 |
| CN108703444A (zh) * | 2018-06-15 | 2018-10-26 | 吉林大学 | 用于识别乘员与驾驶员的智能手环及方法 |
| CN108875642A (zh) * | 2018-06-21 | 2018-11-23 | 长安大学 | 一种多指标融合的驾驶员疲劳检测的方法 |
-
2018
- 2018-12-26 CN CN201811596591.8A patent/CN109740477B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180039751A1 (en) * | 2015-05-19 | 2018-02-08 | Sony Corporation | Information processing apparatus, information processing method, and program |
| CN106361456A (zh) * | 2015-07-23 | 2017-02-01 | 郭宏博 | 一种智能牙刷的刷牙方式检测方法及*** |
| CN106781282A (zh) * | 2016-12-29 | 2017-05-31 | 天津中科智能识别产业技术研究院有限公司 | 一种智能行车驾驶员疲劳预警*** |
| CN108363968A (zh) * | 2018-01-31 | 2018-08-03 | 上海瀚所信息技术有限公司 | 一种基于关键点提取的司机疲劳驾驶监测***和方法 |
| CN108703444A (zh) * | 2018-06-15 | 2018-10-26 | 吉林大学 | 用于识别乘员与驾驶员的智能手环及方法 |
| CN108875642A (zh) * | 2018-06-21 | 2018-11-23 | 长安大学 | 一种多指标融合的驾驶员疲劳检测的方法 |
Non-Patent Citations (1)
| Title |
|---|
| 杨欢等: "基于逆投影修正和眼睛凝视修正的列车驾驶员疲劳检测方法", 《铁道学报》 * |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110232327B (zh) * | 2019-05-21 | 2023-04-21 | 浙江师范大学 | 一种基于梯形级联卷积神经网络的驾驶疲劳检测方法 |
| CN110232327A (zh) * | 2019-05-21 | 2019-09-13 | 浙江师范大学 | 一种基于梯形级联卷积神经网络的驾驶疲劳检测方法 |
| CN110678873A (zh) * | 2019-07-30 | 2020-01-10 | 珠海全志科技股份有限公司 | 基于级联神经网络的注意力检测方法、计算机装置及计算机可读存储介质 |
| WO2021016873A1 (zh) * | 2019-07-30 | 2021-02-04 | 珠海全志科技股份有限公司 | 基于级联神经网络的注意力检测方法、计算机装置及计算机可读存储介质 |
| CN110532887A (zh) * | 2019-07-31 | 2019-12-03 | 郑州大学 | 一种基于面部特征融合的疲劳驾驶检测方法及*** |
| CN110674701A (zh) * | 2019-09-02 | 2020-01-10 | 东南大学 | 一种基于深度学习的驾驶员疲劳状态快速检测方法 |
| WO2022001091A1 (zh) * | 2020-06-29 | 2022-01-06 | 北京百度网讯科技有限公司 | 一种危险驾驶行为识别方法、装置、电子设备及存储介质 |
| CN113343940B (zh) * | 2021-07-19 | 2022-05-10 | 湖南科技大学 | 一种基于面部多特征点识别的值班人员疲劳状态检测方法 |
| CN113343940A (zh) * | 2021-07-19 | 2021-09-03 | 湖南科技大学 | 一种基于面部多特征点识别的值班人员疲劳状态检测方法 |
| CN114475620A (zh) * | 2022-01-26 | 2022-05-13 | 南京科融数据***股份有限公司 | 用于款箱押运***的驾驶员验证方法及*** |
| CN114475620B (zh) * | 2022-01-26 | 2024-03-12 | 南京科融数据***股份有限公司 | 用于款箱押运***的驾驶员验证方法及*** |
| CN116912808A (zh) * | 2023-09-14 | 2023-10-20 | 四川公路桥梁建设集团有限公司 | 架桥机控制方法、电子设备和计算机可读介质 |
| CN116912808B (zh) * | 2023-09-14 | 2023-12-01 | 四川公路桥梁建设集团有限公司 | 架桥机控制方法、电子设备和计算机可读介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109740477B (zh) | 2022-12-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109740477A (zh) | 驾驶员疲劳检测***及其疲劳检测方法 | |
| CN108053615B (zh) | 基于微表情的驾驶员疲劳驾驶状态检测方法 | |
| Ji et al. | Fatigue state detection based on multi-index fusion and state recognition network | |
| Tipprasert et al. | A method of driver’s eyes closure and yawning detection for drowsiness analysis by infrared camera | |
| CN103839379B (zh) | 汽车及用于其的驾驶员疲劳预警检测方法和*** | |
| CN110119676A (zh) | 一种基于神经网络的驾驶员疲劳检测方法 | |
| Zhang et al. | A new real-time eye tracking based on nonlinear unscented Kalman filter for monitoring driver fatigue | |
| CN202257856U (zh) | 驾驶员疲劳驾驶监控装置 | |
| CN105769120A (zh) | 疲劳驾驶检测方法和装置 | |
| CN105719431A (zh) | 一种疲劳驾驶检测*** | |
| CN112434611B (zh) | 基于眼部运动细微特征的早期疲劳检测方法及*** | |
| CN107491769A (zh) | 基于AdaBoost算法的疲劳驾驶检测方法及*** | |
| CN110728241A (zh) | 一种基于深度学习多特征融合的驾驶员疲劳检测方法 | |
| CN104637246A (zh) | 一种驾驶员多种行为预警***及危险评估方法 | |
| CN111753674A (zh) | 一种基于深度学习的疲劳驾驶的检测识别方法 | |
| CN105117681A (zh) | 基于安卓的多特征疲劳实时检测方法 | |
| CN107563346A (zh) | 一种基于人眼图像处理实现驾驶员疲劳判别的方法 | |
| CN106919913A (zh) | 基于计算机视觉的疲劳驾驶检测方法及装置 | |
| CN109543577A (zh) | 一种基于面部表情特征的疲劳驾驶检测预警方法 | |
| CN112528843A (zh) | 一种融合面部特征的机动车驾驶人疲劳检测方法 | |
| CN115937830A (zh) | 一种面向特种车辆的驾驶员疲劳检测方法 | |
| Rani et al. | Development of an Automated Tool for Driver Drowsiness Detection | |
| Joseph et al. | Real time drowsiness detection using Viola jones & KLT | |
| Diddi et al. | Head pose and eye state monitoring (HEM) for driver drowsiness detection: Overview | |
| Liu et al. | Design and implementation of multimodal fatigue detection system combining eye and yawn information |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |