CN106909879A - 一种疲劳驾驶检测方法及*** - Google Patents

一种疲劳驾驶检测方法及*** Download PDF

Info

Publication number
CN106909879A
CN106909879A CN201710021413.1A CN201710021413A CN106909879A CN 106909879 A CN106909879 A CN 106909879A CN 201710021413 A CN201710021413 A CN 201710021413A CN 106909879 A CN106909879 A CN 106909879A
Authority
CN
China
Prior art keywords
key point
human face
face region
shape
default
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710021413.1A
Other languages
English (en)
Inventor
刘鹏
张世亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kai Yi (beijing) Technology Co Ltd
Original Assignee
Kai Yi (beijing) Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kai Yi (beijing) Technology Co Ltd filed Critical Kai Yi (beijing) Technology Co Ltd
Priority to CN201710021413.1A priority Critical patent/CN106909879A/zh
Publication of CN106909879A publication Critical patent/CN106909879A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种疲劳驾驶检测方法及***，其中方法包括如下步骤：输入采集的驾驶员视频图像，利用预设的人脸特征分离器获取待检测人脸区域图像集；将待检测人脸区域图像集中所有人脸图像进行归一得到平均脸，根据平均脸获取待检测人脸区域图像集中某一人脸图像的初始关键点形状，通过预设的回归器计算初始关键点的偏差值，根据偏差结果更新关键点形状直至确定人脸区域内关键点的形状；根据确定的人脸区域关键点的形状获取眼睛关键点的位置，并提取对应的纹理特征，利用预设墨镜分类器判断用户是否佩戴眼睛，判断结果进行驾驶员疲劳状态的检测。本发明处理速度快、识别率高，特别适用于嵌入式智能设备，防止了驾驶员佩戴墨镜导致误判降低疲劳驾驶检测的准确性。

Description

一种疲劳驾驶检测方法及***
技术领域
本发明属于计算机视觉技术领域，具体而言，涉及一种疲劳驾驶检测方法及***。
背景技术
为了降低因疲劳驾驶导致的交通事故发生率，疲劳驾驶预警***广泛应用于驾驶领域。疲劳驾驶预警***利用驾驶员的面部特征、眼部信号、头部运动性等推断驾驶员的疲劳状态，并进行报警提示和采取相应措施的装置。然而当驾驶员佩戴墨镜后则会降低疲劳驾驶预警***判断的准确率，进而产生误报。
当前的疲劳驾驶预警***一般包括红外照明元件、滤光元件及摄像头，通过摄像头获取红外图像保证即使在夜间光线较差的情况下，也能获得较清晰的人脸图像，从而判断驾驶员的疲劳状态。然而，当驾驶员佩戴墨镜后，现有的疲劳驾驶预警***无法准确判断驾驶员的疲劳状态。因为利用波长较短的红外线光源检测照射时佩戴的墨镜直接影响对人眼状态的获取或者不能穿透墨镜，而利用波长较长的红外线光源长时间照射人眼将会造成白内障等眼部疾病。
发明内容
为解决上述技术缺陷，本发明通过对驾驶员的眼睛部位周围信息的提取,得到驾驶员是否佩戴了墨镜的状态,并依据此状态影响进行疲劳检测，提高疲劳驾驶检测的准确性，降低红外线光源对人体的影响。
本发明提供了一种疲劳驾驶检测方法，包括如下步骤：
输入采集的驾驶员视频图像，利用预设的人脸特征分离器获取待检测人脸区域图像集；
将待检测人脸区域图像集中所有人脸图像进行归一得到平均脸，根据平均脸获取待检测人脸区域图像集中某一人脸图像的初始关键点形状，通过预设的回归器计算初始关键点的偏差值，根据偏差结果更新关键点形状直至确定人脸区域内关键点的形状；
根据确定的人脸区域关键点的形状获取眼睛关键点的位置，并提取对应的纹理特征，利用预设墨镜分类器判断用户是否佩戴眼睛，判断结果进行驾驶员疲劳状态的检测。
进一步，所述根据确定的人脸区域关键点的形状获取眼睛关键点的位置，并提取对应的纹理特征，利用预设墨镜分类器判断用户是否佩戴眼睛，判断结果进行驾驶员疲劳状态的检测包括
如果墨镜分类器输出结果小于阈值，则不做处理；否则根据眼睛关键点位置处的纹理特征分析眼镜闭合状态，将闭合状态与疲劳标准比较，判断驾驶员是否处于疲劳状态。
进一步，所述输入采集的驾驶员视频图像，利用预设的人脸特征分离器获取待检测人脸区域图像集包括
利用滑动窗口检测方法搜索视频图像，生成候选子区域；
将候选子区域输入人脸特征分类器，判断输出结果是否不小于分类阈值，是则标记为待检测人脸区域，否则不做处理。
进一步，所述根据平均脸获取待检测人脸区域图像集中某一人脸图像的初始关键点形状，通过预设的回归器计算初始关键点的偏差值，根据偏差结果更新关键点形状直至确定人脸区域内关键点的形状包括
遍历待检测人脸区域图像集，根据评价脸获取某一人脸图像的关键点形状，并提取对应的纹理特征；
根据纹理特征计算该人脸图像的偏差值；
根据偏差值更新后的关键点形状输出回归结果。
更进一步，所述根据偏差值更新后的关键点形状输出回归结果还包括
根据预设的识别模型判断更新后的关键点形状的回归值是否不小于归回阈值，是则不做处理，否则将回归结果作为下一次回归的偏差值。
本发明还提供了一种疲劳驾驶检测***，包括
人脸检测模块，用于输入采集的驾驶员视频图像，利用预设的人脸特征分离器获取待检测人脸区域图像集；
关键点追踪模块，用于将待检测人脸区域图像集中所有人脸图像进行归一得到平均脸，根据平均脸获取待检测人脸区域图像集中某一人脸图像的初始关键点形状，通过预设的回归器计算初始关键点的偏差值，根据偏差结果更新关键点形状直至确定人脸区域内关键点的形状；
墨镜识别模块，用于根据确定的人脸区域关键点的形状获取眼睛关键点的位置，并提取对应的纹理特征，利用预设墨镜分类器判断用户是否佩戴眼睛，判断结果进行驾驶员疲劳状态的检测。
进一步，人脸检测模块包括
候选单元，用于利用滑动窗口检测方法搜索视频图像，生成候选子区域；
输出单元，将候选子区域输入人脸特征分类器，判断输出结果是否不小于分类阈值，是则标记为待检测人脸区域，否则不做处理。
进一步，墨镜识别模块还包括
判断单元，用于如果墨镜分类器输出结果小于阈值，则不做处理；否则根据眼睛关键点位置处的纹理特征分析眼镜闭合状态，将闭合状态与疲劳标准比较，判断驾驶员是否处于疲劳状态。
进一步，关键点追踪模块包括
特征提取单元，用于遍历待检测人脸区域图像集，根据评价脸获取某一人脸图像的关键点形状，并提取对应的纹理特征；
偏差计算单元，用于根据纹理特征计算该人脸图像的偏差值；
回归输出单元，用于根据偏差值更新后的关键点形状输出回归结果。
进一步，回归输出单元包括
处理子单元，用于根据预设的识别模型判断更新后的关键点形状的回归值是否不小于归回阈值，是则不做处理，否则将回归结果作为下一次回归的偏差值。
综上，本发明首先通过人脸检测技术获取人脸区域，然后基于此区域定位和追踪到人脸关键点，再根据眼睛周围区域的纹理特征判别司机是否戴了墨镜，进而防止因驾驶员佩戴墨镜导致误判降低疲劳驾驶检测的准确性。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。
图1为本发明所述的疲劳驾驶检测方法的流程示意图；
图2为本发明所述的疲劳驾驶检测方法中确定关键点形状的流程示意图；
图3为本发明所述的疲劳驾驶检测***的结构示意图。
具体实施方式
为了使本领域的技术人员更好地理解本发明的技术方案，下面将结合附图对本发明作进一步的详细介绍。
下面通过具体的实施例并结合附图对本发明做进一步的详细描述。
检测驾驶员眼镜状态一般利用红外线光源，一般利用的是波长1.5微米的红外线光源，长时间的话会造成白内障等眼部疾病，但是选用波长较大的红外线光源，带来了一个问题就是有些材质的墨镜穿不透，这样在图像上就看不清眼睛的状态，无法判断疲劳状态。因此本发明要解决的问题就是判断司机是否戴了墨镜，如果判断结果是戴墨镜的话，就不进入眼睛状态的检测模块，防止可能的虚报警。为此本发明提供了一种疲劳驾驶检测方法。
如图1所示，所述方法包括如下步骤：
S101、输入采集的驾驶员视频图像，利用预设的人脸特征分离器获取待检测人脸区域图像集；
视频图像中每个视频帧图像包括人脸区域，也包括非人脸区域，非人脸区域包括还包括背景区域以及人体其他部分。该步骤的目的在视频帧图像中识别人脸区域，加快对人脸关键点区域的检测。该步骤中从视频图像中识别人脸所在的区域，一般可用矩形框等进行标记，这种标记的人脸区域并不是精确的人脸轮廓曲线。
本发明所述的人脸特征分类器采用的是基于像素灰度值对比特征的级联决策树分类器，此方法的优势在于速度快，识别率较高，特别适用于嵌入式智能设备。
进一步，S101包括如下步骤：
利用滑动窗口检测方法搜索视频图像，生成候选子区域；
将候选子区域输入人脸特征分类器，判断输出结果是否不小于分类阈值，是则标记为待检测人脸区域，否则不做处理。对于每一个候选的区域，只有通过所有级联的分类器，才输出为人脸区域。
为了进一步说明本发明，下面给出像素对比特征(pixel intensity)定义：
pixel intensity(I；i1,i2)＝0如果I(i1)<＝I(i2)；
pixel intensity(I；i1,i2)＝1如果I(i1)>I(i2)；
其中,i1、i2分别是像素位置，I(＊)表示像素亮度。i1、i2分别对的两个像素点的位置，在提取像素差特征时用到。决策树分类器由若干个弱分类器级联组成。每个弱分类器有若干个决策树组成，其中，每个决策树都是一个弱分类器。当检测的时候，对于输入的待选区域图像，只有通过所有的级联的决策树分离器才能检测到人脸区域。每个决策树都保存着若干个像素对的位置，用于提取特征(如像素对比特征，对提取的特征对于区分分类和非人脸贡献较大)，基于提取的特征以得到待选区域图像对于此决策树的置信度(score)。如果小于某个决策树的阈值，则认为是非人脸区域，反之进入后续分离器。这些像素对位置通过离线训练获得。
进一步，人脸特征分类器的训练过程包括如下步骤：
A：确定样本集；
B：初始化样本集中各个样本的权重，生成一个决策树；
C：更新样本权重，迭代决策树最终生成决策树分类器。
具体实施时，如下步骤进行：
对于一个训练集{Is,cs}，Is为图像集，cs{-1,1}图像为是否为人脸的标注集，-1表示不是人脸，1代表人脸，其中s＝1,2,3…，n,s为图像样本的个数。
(1)首先初始化每个训练样本的权重W；
(2)对于每一个k＝1,2,3，…，K决策树，
<a>.以最小化基于权重的最小二乘误差WMSE，训练决策树Tk
其中，Δ和xk是决策树中的每个节点中标注分别是-1和1的训练集的集合，和是两个集合的基于权重的标注真值的均值。
<b>更新每个样本的权重
<c>归一化权重，使所有权重的和为1；
(3)更新每个样本的权重,以最小化基于权重的最小二乘误差WMSE，训练决策树，其中所有权重的和为1；
其中，Δ和xk是决策树中的每个节点中标注分别是-1和1的训练集的集合，和是两个集合的基于权重的标注真值的均值。
(3)输出级联决策树。
S102、将待检测人脸区域图像集中所有人脸图像进行归一得到平均脸，根据平均脸获取待检测人脸区域图像集中某一人脸图像的初始关键点形状，通过预设的回归器计算初始关键点的偏差值，根据偏差结果更新关键点形状直至确定人脸区域内关键点的形状；具体实施时，为了便于管理首先将各个人脸区域范围的图像进行归一处理，可选的将所有的人脸区域归一化为统一的分辨率，如50*50。
具体实施时，平均脸在离线训练的时候得到，其方法如下：
平均人脸模型包括每个关键点离中心点(所有关键点的中心)的平均距离mean.x和mean.y,以及整个形状的中心点离人脸检测框中心点的纵轴方向的平均偏移dy，关键点形状的宽度与人脸检测框宽度的平均比值sx，关键点形状的高度与人脸检测框高度的平均比值sy。在实际应用中，得到人脸检测框(detect_x，detect_y，detect_w，detect_h)后获取初始的关键点形状的方法如下：对于每一个关键点：
x＝mean.x*detect_w*sx+detect_x+detect_w/2；y＝mean.y*detect_h*sy+detect_y+detect_h/2+dy。
进一步，S102包括
S201、遍历待检测人脸区域图像集，根据评价脸获取某一人脸图像的关键点形状，并提取对应的纹理特征；具体实施时，通过提取SIFT特征作为纹理特征实现计算初始关键点的偏差值。SIFT特征的提取可选的采用如下公式，利用关键点邻域像素的梯度方向分布特性为每个关键点指定方向参数，使算子具备旋转不变性。
θ(x，y)＝a tan2((L(x，y+1)-L(x，y-1))/(L(x+1，y)-L(x-1，y)))
m(x，y)＝√(L(x+1，y)-L(x-1，y))2+(L(x，y+1)-L(x，y-1))2
其中，θ和m分别是像素(x，y)处梯度的方向和模值公式。其中L是关键点所在的尺度值，本实施例中不考虑尺度信息，默认为1。以关键点为中心的邻域窗口内采样(采样内容为SIFT特征、SURF特征、聚合通道特征、局部二值特征等)，用直方图统计邻域内所分的子块内的像素梯度方向。实际应用中，梯度直方图的范围是0～360度，我们把其分为每45度一个柱，总共8个柱，最后把邻域窗口内采样的所有子块计算得出的梯度方向直方图归一化后串联起来即是所用的特征。
S202、根据纹理特征计算该人脸图像的偏差值；
S203、根据偏差值更新后的关键点形状输出回归结果。
本发明以平均人脸初始关键点为基础，并将其与提取的目标人脸区域的初始关键点形状处的像素特征进行关键点回归，从而生成回归后的关键点形状，进而将回归后的关键点形状与其他人脸区域的关键点形状进行回归直至最后一个人脸区域，输出最终的人脸关键点形状。
具体实施时，本发明采用基于监督下降方法的级联回归器对人脸关键点的初始形状进行更新，基于监督下降方法的级联回归器如下：
其中，Δxk表示在回归第k次后的所有关键点的偏差，Rk和bk(k＝0，1，…N)表示监督下降方法离线学习到的第k步回归器，xk表示k次回归后人脸关键点结果，φk表示k次回归时提取的特征，比如SIFT特征(尺度不变特征)。
本发明首先从一个人脸关键点初始形状开始，经过一次回归后得到每个关键点所需移动的偏差，第二次回归依据前步的回归结果，若干次回归后，人脸关键点从初始形状逐步逼近真正的关键点形状。即，当开始回归人脸关键点时，先从初始的关键点形状开始，从每一个关键点周围区域提取纹理特征，比如SIFT，然后按一定顺序把特征串联起来用于回归即φ0，wk＝[Rk,bk],而W0*φ0＝Δx0，根据上述公式得到每个关键点的偏差去更新关键点形状，迭代多次后输出xk即为关键点形状的结果，其中，wk＝[Rk,bk]即回归器由离线训练得到。
更进一步，根据偏差值更新后的关键点形状输出回归结果后，还可选的，根据预设的识别模型判断更新后的关键点形状的回归值是否不小于归回阈值，是则不做处理，否则将回归结果作为下一次回归的偏差值。通过对回归结果的判断实现对人脸形状的确定，提高对人脸上是否佩戴墨镜的判断率。
S103、根据确定的人脸区域关键点的形状获取眼睛关键点的位置，并提取对应的纹理特征，利用预设墨镜分类器判断用户是否佩戴眼睛，判断结果进行驾驶员疲劳状态的检测。
进一步，S103包括
如果墨镜分类器输出结果小于阈值，则不做处理；否则根据眼睛关键点位置处的纹理特征分析眼镜闭合状态，将闭合状态与疲劳标准比较，判断驾驶员是否处于疲劳状态。本发明确定人脸关键点形状后获取两只眼睛的位置，在其周围提取纹理特征如SIFT特征，然后基于BP人工神经网络分类器进行判别。因此具体实施时可选在采集两个眼睛位置周围区域再提取纹理特征，比如SIFT特征，然后用人工神经网络进行二分类，BP人工神经网络是一种现有的分类技术，并不是本发明的发明重点，故而本发明在此不再赘述。本发明通过计算平均脸及各个人脸区域的初始关键点的偏差，实现对人脸关键点的校正，进而提取人脸关键点位置处的像素特征，从而判断驾驶员是否佩戴眼镜。
如图3所示，本发明还提供了一种疲劳驾驶检测***，包括人脸检测模块10、关键点追踪模块20、墨镜识别模块30。
其中，
人脸检测模块10，用于输入采集的驾驶员视频图像，利用预设的人脸特征分离器获取待检测人脸区域图像集；
关键点追踪模块20，用于将待检测人脸区域图像集中所有人脸图像进行归一得到平均脸，根据平均脸获取待检测人脸区域图像集中某一人脸图像的初始关键点形状，通过预设的回归器计算初始关键点的偏差值，根据偏差结果更新关键点形状直至确定人脸区域内关键点的形状；
墨镜识别模块30，用于根据确定的人脸区域关键点的形状获取眼睛关键点的位置，并提取对应的纹理特征，利用预设墨镜分类器判断用户是否佩戴眼睛，判断结果进行驾驶员疲劳状态的检测。
进一步，人脸检测模块包括
候选单元，用于利用滑动窗口检测方法搜索视频图像，生成候选子区域；
输出单元，将候选子区域输入人脸特征分类器，判断输出结果是否不小于分类阈值，是则标记为待检测人脸区域，否则不做处理。
进一步，墨镜识别模块还包括
判断单元，用于如果墨镜分类器输出结果小于阈值，则不做处理；否则根据眼睛关键点位置处的纹理特征分析眼镜闭合状态，将闭合状态与疲劳标准比较，判断驾驶员是否处于疲劳状态。
进一步，关键点追踪模块包括
特征提取单元，用于遍历待检测人脸区域图像集，根据评价脸获取某一人脸图像的关键点形状，并提取对应的纹理特征；
偏差计算单元，用于根据纹理特征计算该人脸图像的偏差值；
回归输出单元，用于根据偏差值更新后的关键点形状输出回归结果。更进一步，回归输出单元包括
处理子单元，用于根据预设的识别模型判断更新后的关键点形状的回归值是否不小于归回阈值，是则不做处理，否则将回归结果作为下一次回归的偏差值。
以上只通过说明的方式描述了本发明的某些示范性实施例，毋庸置疑，对于本领域的普通技术人员，在不偏离本发明的精神和范围的情况下，可以用各种不同的方式对所描述的实施例进行修正。因此，上述附图和描述在本质上是说明性的，不应理解为对本发明权利要求保护范围的限制。

Claims (10)

1.一种疲劳驾驶检测方法，其特征在于，包括如下步骤：
输入采集的驾驶员视频图像，利用预设的人脸特征分离器获取待检测人脸区域图像集；
将待检测人脸区域图像集中所有人脸图像进行归一得到平均脸，根据平均脸获取待检测人脸区域图像集中某一人脸图像的初始关键点形状，通过预设的回归器计算初始关键点的偏差值，根据偏差结果更新关键点形状直至确定人脸区域内关键点的形状；
根据确定的人脸区域关键点的形状获取眼睛关键点的位置，并提取对应的纹理特征，利用预设墨镜分类器判断用户是否佩戴眼睛，判断结果进行驾驶员疲劳状态的检测。
2.根据权利要求1所述的疲劳驾驶检测方法，其特征在于，所述根据确定的人脸区域关键点的形状获取眼睛关键点的位置，并提取对应的纹理特征，利用预设墨镜分类器判断用户是否佩戴眼睛，判断结果进行驾驶员疲劳状态的检测包括
如果墨镜分类器输出结果小于阈值，则不做处理；否则根据眼睛关键点位置处的纹理特征分析眼镜闭合状态，将闭合状态与疲劳标准比较，判断驾驶员是否处于疲劳状态。
3.根据权利要求1所述的疲劳驾驶检测方法，其特征在于，所述输入采集的驾驶员视频图像，利用预设的人脸特征分离器获取待检测人脸区域图像集包括
利用滑动窗口检测方法搜索视频图像，生成候选子区域；
将候选子区域输入人脸特征分类器，判断输出结果是否不小于分类阈值，是则标记为待检测人脸区域，否则不做处理。
4.根据权利要求1所述的疲劳驾驶检测方法，其特征在于，所述根据平均脸获取待检测人脸区域图像集中某一人脸图像的初始关键点形状，通过预设的回归器计算初始关键点的偏差值，根据偏差结果更新关键点形状直至确定人脸区域内关键点的形状包括
遍历待检测人脸区域图像集，根据评价脸获取某一人脸图像的关键点形状，并提取对应的纹理特征；
根据纹理特征计算该人脸图像的偏差值；
根据偏差值更新后的关键点形状输出回归结果。
5.根据权利要求4所述的疲劳驾驶检测方法，其特征在于，所述根据偏差值更新后的关键点形状输出回归结果还包括
根据预设的识别模型判断更新后的关键点形状的回归值是否不小于归回阈值，是则不做处理，否则将回归结果作为下一次回归的偏差值。
6.一种疲劳驾驶检测***，其特征在于，包括
人脸检测模块，用于输入采集的驾驶员视频图像，利用预设的人脸特征分离器获取待检测人脸区域图像集；
关键点追踪模块，用于将待检测人脸区域图像集中所有人脸图像进行归一得到平均脸，根据平均脸获取待检测人脸区域图像集中某一人脸图像的初始关键点形状，通过预设的回归器计算初始关键点的偏差值，根据偏差结果更新关键点形状直至确定人脸区域内关键点的形状；
墨镜识别模块，用于根据确定的人脸区域关键点的形状获取眼睛关键点的位置，并提取对应的纹理特征，利用预设墨镜分类器判断用户是否佩戴眼睛，判断结果进行驾驶员疲劳状态的检测。
7.根据权利要求6所述的疲劳驾驶检测***，其特征在于，人脸检测模块包括
候选单元，用于利用滑动窗口检测方法搜索视频图像，生成候选子区域；
输出单元，将候选子区域输入人脸特征分类器，判断输出结果是否不小于分类阈值，是则标记为待检测人脸区域，否则不做处理。
8.根据权利要求6所述的疲劳驾驶检测***，其特征在于，墨镜识别模块还包括
判断单元，用于如果墨镜分类器输出结果小于阈值，则不做处理；否则根据眼睛关键点位置处的纹理特征分析眼镜闭合状态，将闭合状态与疲劳标准比较，判断驾驶员是否处于疲劳状态。
9.根据权利要求6所述的疲劳驾驶检测***，其特征在于，关键点追踪模块包括
特征提取单元，用于遍历待检测人脸区域图像集，根据评价脸获取某一人脸图像的关键点形状，并提取对应的纹理特征；
偏差计算单元，用于根据纹理特征计算该人脸图像的偏差值；
回归输出单元，用于根据偏差值更新后的关键点形状输出回归结果。
10.根据权利要求9所述的疲劳驾驶检测***，其特征在于，回归输出单元包括
处理子单元，用于根据预设的识别模型判断更新后的关键点形状的回归值是否不小于归回阈值，是则不做处理，否则将回归结果作为下一次回归的偏差值。
CN201710021413.1A 2017-01-11 2017-01-11 一种疲劳驾驶检测方法及*** Pending CN106909879A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710021413.1A CN106909879A (zh) 2017-01-11 2017-01-11 一种疲劳驾驶检测方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710021413.1A CN106909879A (zh) 2017-01-11 2017-01-11 一种疲劳驾驶检测方法及***

Publications (1)

Publication Number Publication Date
CN106909879A true CN106909879A (zh) 2017-06-30

Family

ID=59207429

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710021413.1A Pending CN106909879A (zh) 2017-01-11 2017-01-11 一种疲劳驾驶检测方法及***

Country Status (1)

Country Link
CN (1) CN106909879A (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107818310A (zh) * 2017-11-03 2018-03-20 电子科技大学 一种基于视线的驾驶员注意力检测方法
CN107862285A (zh) * 2017-11-07 2018-03-30 哈尔滨工业大学深圳研究生院 一种人脸对齐方法
CN107992815A (zh) * 2017-11-28 2018-05-04 北京小米移动软件有限公司 眼镜检测方法及装置
CN108460345A (zh) * 2018-02-08 2018-08-28 电子科技大学 一种基于人脸关键点定位的面部疲劳检测方法
CN109241842A (zh) * 2018-08-02 2019-01-18 平安科技（深圳）有限公司 疲劳驾驶检测方法、装置、计算机设备及存储介质
CN109803583A (zh) * 2017-08-10 2019-05-24 北京市商汤科技开发有限公司 驾驶状态监控方法、装置和电子设备
CN109858466A (zh) * 2019-03-01 2019-06-07 北京视甄智能科技有限公司 一种基于卷积神经网络的人脸关键点检测方法及装置
CN109858553A (zh) * 2019-01-31 2019-06-07 深圳市赛梅斯凯科技有限公司 驾驶状态的监测模型更新方法、更新装置及存储介质
US11341769B2 (en) 2017-12-25 2022-05-24 Beijing Sensetime Technology Development Co., Ltd. Face pose analysis method, electronic device, and storage medium

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102324166A (zh) * 2011-09-19 2012-01-18 深圳市汉华安道科技有限责任公司 一种疲劳驾驶检测方法及装置
CN102799888A (zh) * 2011-05-27 2012-11-28 株式会社理光 人眼检测方法和人眼检测设备
CN104361716A (zh) * 2014-10-31 2015-02-18 新疆宏开电子***集成有限公司 实时检测疲劳并提醒的方法
CN104881955A (zh) * 2015-06-16 2015-09-02 华中科技大学 一种驾驶员疲劳驾驶检测方法及***
CN105426870A (zh) * 2015-12-15 2016-03-23 北京文安科技发展有限公司 一种人脸关键点定位方法及装置
CN106250801A (zh) * 2015-11-20 2016-12-21 北汽银翔汽车有限公司 基于人脸检测和人眼状态识别的疲劳检测方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102799888A (zh) * 2011-05-27 2012-11-28 株式会社理光 人眼检测方法和人眼检测设备
CN102324166A (zh) * 2011-09-19 2012-01-18 深圳市汉华安道科技有限责任公司 一种疲劳驾驶检测方法及装置
CN104361716A (zh) * 2014-10-31 2015-02-18 新疆宏开电子***集成有限公司 实时检测疲劳并提醒的方法
CN104881955A (zh) * 2015-06-16 2015-09-02 华中科技大学 一种驾驶员疲劳驾驶检测方法及***
CN106250801A (zh) * 2015-11-20 2016-12-21 北汽银翔汽车有限公司 基于人脸检测和人眼状态识别的疲劳检测方法
CN105426870A (zh) * 2015-12-15 2016-03-23 北京文安科技发展有限公司 一种人脸关键点定位方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张君昌等: "基于改进AdaBoost算法的人脸检测", 《计算机仿真》 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109803583A (zh) * 2017-08-10 2019-05-24 北京市商汤科技开发有限公司 驾驶状态监控方法、装置和电子设备
CN107818310A (zh) * 2017-11-03 2018-03-20 电子科技大学 一种基于视线的驾驶员注意力检测方法
CN107818310B (zh) * 2017-11-03 2021-08-06 电子科技大学 一种基于视线的驾驶员注意力检测方法
CN107862285A (zh) * 2017-11-07 2018-03-30 哈尔滨工业大学深圳研究生院 一种人脸对齐方法
CN107992815A (zh) * 2017-11-28 2018-05-04 北京小米移动软件有限公司 眼镜检测方法及装置
US11341769B2 (en) 2017-12-25 2022-05-24 Beijing Sensetime Technology Development Co., Ltd. Face pose analysis method, electronic device, and storage medium
CN108460345A (zh) * 2018-02-08 2018-08-28 电子科技大学 一种基于人脸关键点定位的面部疲劳检测方法
CN109241842A (zh) * 2018-08-02 2019-01-18 平安科技（深圳）有限公司 疲劳驾驶检测方法、装置、计算机设备及存储介质
CN109241842B (zh) * 2018-08-02 2024-03-05 平安科技（深圳）有限公司 疲劳驾驶检测方法、装置、计算机设备及存储介质
CN109858553A (zh) * 2019-01-31 2019-06-07 深圳市赛梅斯凯科技有限公司 驾驶状态的监测模型更新方法、更新装置及存储介质
CN109858553B (zh) * 2019-01-31 2023-12-12 锦图计算技术(深圳)有限公司 驾驶状态的监测模型更新方法、更新装置及存储介质
CN109858466A (zh) * 2019-03-01 2019-06-07 北京视甄智能科技有限公司 一种基于卷积神经网络的人脸关键点检测方法及装置

Similar Documents

Publication Publication Date Title
CN106909879A (zh) 一种疲劳驾驶检测方法及***
CN109558810B (zh) 基于部位分割与融合目标人物识别方法
CN103632136B (zh) 人眼定位方法和装置
CN108288033B (zh) 一种基于随机蕨融合多特征的安全帽检测方法
CN105512640B (zh) 一种基于视频序列的人流量统计方法
CN103632132B (zh) 一种基于肤色分割和模板匹配的人脸检测与识别方法
Shi et al. Real-time traffic light detection with adaptive background suppression filter
Yang et al. Sieving regression forest votes for facial feature detection in the wild
CN104091176B (zh) 人像比对在视频中的应用技术
CN108256459A (zh) 基于多摄像机融合的安检门人脸识别和人脸自动建库算法
CN108197587A (zh) 一种通过人脸深度预测进行多模态人脸识别的方法
CN105894701B (zh) 输电线路防外破大型施工车辆的识别报警方法
CN103902962B (zh) 一种遮挡或光源自适应人脸识别方法和装置
CN105868689A (zh) 一种基于级联卷积神经网络的人脸遮挡检测方法
CN107133569A (zh) 基于泛化多标记学习的监控视频多粒度标注方法
CN103093215A (zh) 人眼定位方法及装置
CN108537143B (zh) 一种基于重点区域特征比对的人脸识别方法与***
CN106599785A (zh) 人体3d特征身份信息库的建立方法及设备
CN107992854A (zh) 基于机器视觉的林业生态环境人机交互方法
CN108960047A (zh) 基于深度二次树的视频监控中人脸去重方法
CN108256462A (zh) 一种商场监控视频中的人数统计方法
CN103886305A (zh) 面向基层治安、维稳及反恐的特异人脸搜索方法
CN106203338B (zh) 基于网格区域分割和阈值自适应的人眼状态快速识别方法
CN109697727A (zh) 基于相关滤波和度量学习的目标跟踪方法、***及存储介质
CN107862298A (zh) 一种基于红外摄像装置下眨眼的活体检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20170630

RJ01 Rejection of invention patent application after publication