CN107194346A - 一种汽车疲劳驾驶预测方法 - Google Patents

一种汽车疲劳驾驶预测方法 Download PDF

Info

Publication number
CN107194346A
CN107194346A CN201710356372.1A CN201710356372A CN107194346A CN 107194346 A CN107194346 A CN 107194346A CN 201710356372 A CN201710356372 A CN 201710356372A CN 107194346 A CN107194346 A CN 107194346A
Authority
CN
China
Prior art keywords
mrow
msubsup
convolutional neural
neural networks
face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710356372.1A
Other languages
English (en)
Inventor
曾智勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujian Normal University
Original Assignee
Fujian Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujian Normal University filed Critical Fujian Normal University
Priority to CN201710356372.1A priority Critical patent/CN107194346A/zh
Publication of CN107194346A publication Critical patent/CN107194346A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/06—Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818—Inactivity or incapacity of driver
    • B60W2040/0827—Inactivity or incapacity of driver due to sleepiness

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种汽车疲劳驾驶预测方法，构建依次设置一至四级的卷积神经网络，输入图像由一级卷积神经网络获得候选人脸窗口及其对应的包围盒回归向量，再经过一二级卷积神经网络合并高度重叠的候选窗口；剩余的候选窗口经过三级卷积神经网络并利用人脸特征点标记信息预测识别人眼区域；依据眼睛特征点再分割眼睛区域，并输入四级卷积神经网络通过深度学习算法训练眼睛图像的深度视觉特征模型；摄像头采集的视频依次通过CNN1、CNN2、CNN3、CNN4，判别眼睛的闭合状态；计算驾驶员疲劳视觉评估参数PERCLOS，当PERCLOS值大于40%时，则判定驾驶员开始疲劳或处于疲劳状态，输出预警信号。本发明的方法不仅能检测各种光照、姿态、表情条件下驾驶员的疲劳状态，检测结果鲁棒性高，有效地克服了光照、姿态、表情等因素对驾驶员疲劳检测的影响。

Description

一种汽车疲劳驾驶预测方法
技术领域
本发明涉及计算机视觉和图像处理领域，尤其涉及一种汽车疲劳驾驶预测方法。
背景技术
随着经济的发展，汽车的拥有量急剧增长。据国务院发展研究中心课题组的方案预测结果，中国汽车保有量在2010年达到5669万辆，2016年达到19400万辆，2020年将超过2.5亿辆。高速公路里程日益增加，公路交通的平均车速有了很大提高，这无疑对经济的发展起到了促进作用。但同时交通事故也相应增多，给人民的生命和财产安全带来了极大威胁。据中国公安部交管部门提供的数据统计，2003年中国发生公路交通事故66.7万次。死亡10.44万人，直接经济损失达33.7亿元。美国汽车工程师协会统计，美国每年约有26万起交通事故。大量的疲劳驾驶公路交通事故对人们的生命和财产造成了难以估计的损失。疲劳驾驶检测***能够检测驾驶员的疲劳状态，并提前给出预警，让存在疲劳状态的驾驶员在就近的服务区休息或紧急在安全区停车休息，避免各种交通意外事故的发生。这项技术涉及计算机视觉、图像处理、模式识别、人工智能、神经网络、机器学习等多个领域的技术。近年来，在疲劳检测方面，国内外的研究者从不同的角度出发提出了很多卓有成效的方法，根据出发点的不同，概括起来，其中代表性的方法大致可以分为两类：一类是基于特征的疲劳检测方法，如文献1：W.O.Lee,E.C.Lee,K.R.Park,Blink detection robust to variousfacial poses,J.Neurosci.Methods 193(2)(2010)356–372.文献2：K.Arai,R.Mardiyanto,Real time blinking detection based on Gabor filter,Int.J.Hum.Comput.Interact.1(3)(2010)33–40.和文献3：L.Lu,X.Ning,M.Qian,Y.Zhao,Close eye detected based on synthesized gray projection,in:Advances inMultimedia,Software Engineering and Computing,vol.2,2012,pp.345–351.所描述的，该类方法主要通过抽取虹膜和眼睑的形状特征或眼睛的灰度分布来判别是否疲劳，这类方法的有效性容易受定位的准确性及环境光照变化的影响。另一类是基于表观的疲劳检测方法，如文献4：Y.Wu,T.Lee,Q.Wu,H.Liu,An eye state recognition method fordrowsinessdetection,in:Proceedings of Vehicular Technology Conference,2010,pp.1–5.文献5：L.Zhou,H.Wang,Open/closed eye recognition by local binaryincreasingintensity patterns,in:Proceedings of IEEE Conference on Robotics,Automationand Mechatronics,2011,pp.7–11.所介绍的，该类方法通过抽取描述目标的形状和纹理的中层特征，如LBP、Gabor特征等，并利用先进的机器学习工具，如SVM、Adaboost等，在良好的成像条件下获得了鲁棒性的结果。然而，上述两类方法容易受光照变化、图像模糊、眼睛被遮挡和眼睛定位的准确性的影响，所以它们不适合在挑战性的成像条件下的疲劳检测。
上世纪五十年代末，Rosenblatt第一次提出了人工神经网络理论。1984年Hopfield从图像碎片中提取出了完整的图像，从而激发了人工神经网络的研究热潮，随后研究者提出了许多神经网络模型，如BP、RBF、RNN等，到上世纪九十年代，人工神经网络在图像处理理论上有了很大发展，并结合其它数学工具如统计学、最优化理论、形态学等，形成了比较完整的理论体系。基于神经网络的图像处理方法有良好的数学基础，深厚的理论背景，在图像边缘检测、分割、修复、聚类、分类和预测等方面取得了一定的成果。
受到大脑中深度层次结构的启发,以及对能够将特征抽取和分类这两个过程有机的结合的迫切需求,研宄者将深度学习的概念引入到人工神经网络的研究中,但计算机硬件的发展限制、大数据的出现及神经网络的局限性使这项工作变得异常困难。研究者在使用标准的随机初始化网络权重的情况下,通常都得到很差的训练和泛化结果,以至于得不到很好的深度网络结构。2006年，Hinton等人采用逐层贪心算法和后向传播算法实现了一种叫做深信度网络(Deep Belief Networks,DBNs)的深度网络结构,取得了很好的实验结果。
现代生理学研究表明，人的视觉***的理解和卷积神经网络中的图像处理过程相一致。LeCun等人基于随机梯度下降算法设计并训练了深度卷积神经网络LeNet，展现出了相对于其它方法的领先性能。2012年，Hinton设计训练的深度卷积网络模型包含了6千万个参数，它从ImageNet上学习得到的特征表示的分类能力远超人工设计的特征，具有非常强的泛化能力，并可以成功地应用到其它的数据集和任务中，如物体检测、跟踪和检索等等。
深度模型具有强大的学***滑和形状先验等约束。事实上即使存在局部遮挡的情况下，人眼也可以根据脸部其它区域的信息估计被遮挡处的标注。这意味着全局和上下文的信息对于局部的判断是非常重要的，而这些信息在基于局部特征的方法中从最开始阶段就丢失了。深度学习可以学习针对人脸图像的分层特征表达，模型在高维数据转换过程中隐式地加入了形状先验。最底层可以从原始像素学习滤波器，刻画局部的边缘和纹理特征；通过对各种边缘滤波器进行组合，中层滤波器可以描述不同类型的人脸器官；最高层描述的是整个人脸的全局特征。在最高的隐含层，每个神经元代表了一个属性分类器。
针对基于深度学习的图像分类效果好，同时大数据和计算机硬件的飞速发展促进深度学习分类效果的事实，有研究者利用大数据进行人脸识别的方法，但由于眼睛的目标较小，涉及遮挡、表情变化、光线变化等复杂情况，所以目前这类方法无法适用眼睛的疲劳检测，尚没有看到基于多任务学习的级联深度卷积神经网络的疲劳检测方法。
发明内容
本发明的目的在于克服现有技术的不足，提供一种鲁棒高效、检测效果好的汽车疲劳驾驶预测方法。
本发明采用的技术方案是：
一种汽车疲劳驾驶预测方法，其包括以下步骤：
步骤1，对于训练数据集给定的任意一幅图像f(x,y)，多尺度设定图像以构造图像金字塔并作为下面级联框架的输入；
步骤2，将多尺度训练图像集输入一级卷积神经网络CNN1，获得一级候选人脸窗口及其对应的一级包围盒回归向量；利用一级包围盒回归向量对一级候选窗口进行校正，并应用非极大值抑制NMS合并高度重叠的一级候选窗口；
步骤3，将经过校正的一级候选窗口全部输入到二级卷积神经网络CNN2，获得二级候选人脸窗口及其对应的二级包围盒回归向量；将二级包围盒回归向量对二级候选窗口再次进行校正，并应用非极大值抑制NMS合并重叠度高的二级候选窗口；
步骤4，将经过再次校正的二级候选窗口全部输入到三级卷积神经网络CNN3，利用人脸特征点标记信息预测图像中的人脸特征点，并输出人脸的5个特征点位置；
步骤5，根据5个人脸特征点中的2个人眼特征点位置，分割出以特征点为中心的24×24眼睛区域，将分割对齐的眼睛区域图像集输入到四级卷积神经网络CNN4中，使用睁眼和闭眼标记信息，通过随机梯度下降算法SGD得到人眼深度视觉特征模型；
步骤6，将摄像头采集的测试图像依次通过CNN1、CNN2、CNN3、CNN4，得到当前测试视频帧图像眼睛的闭合状态；
步骤7，计算驾驶员疲劳视觉评估参数PERCLOS。首先根据摄像头采集速率获得3秒时间内视频包含的总帧数，接着按照步骤6计算3秒视频中包含的人眼闭合的帧数。PERCLOSE的计算公式为：
当PERCLOS值大于40％时，则判定驾驶员开始疲劳或处于疲劳状态，输出报警状态。
进一步地，根据所述步骤2中一级卷积神经网络CNN1学习的目标函数被表示为两类分类问题，这两个类别分别是人类标记和非人脸标记；对于每个样本xi采用交叉熵损失作为目标函数：
其中，pi是神经网络产生的表示样本xi是人眼的概率，为1表示人脸、为0表示非人脸，表示样本xi是人脸的损失。CNN1的训练目的就是通过神经网络CNN1使方程(1)的分类损失最小化。
进一步地，根据所述步骤3中二级卷积神经网络CNN2的学习目标表示为一个回归问题，对于每个样本xi采用欧氏损失作为目标函数：
其中，为样本xi的预测包围盒与真正包围盒的损失，为样本xi的预测包围盒，为样本的真正包围盒。CNN2的训练目的就是通过训练神经网络CNN2使方程(2)的人脸与非人脸预测损失最小化。
进一步地，根据所述步骤4中三级卷积神经网络CNN3的学习目标表示为一个回归问题，对于每个样本xi采用欧氏损失作为目标函数：
其中，为样本xi的预测人脸特征点坐标与真正的人脸特征点坐标损失，为样本xi的预测人脸特征点坐标，为样本的真正人脸特征点坐标。CNN3的训练目的就是通过训练神经网络CNN3使方程(3)的人脸特征点预测损失最小化。
进一步地，根据所述步骤5中使用基于度量学习的误差函数Triplet Loss作为神经网络的目标函数。设从训练数据集中随机选择一个样本作为Anchor(记为),再分别从与Anchor同一类和不同类的训练数据集中随机选择一个样本作为Positive(记为)和Negative(记为)，构成一个(Anchor,Positive,Negative)三元组，则四级卷积神经网络CNN4学习目标是使三元组分类损失最小化：
在方程(4)中，三元组分类损失对三个样本特征的梯度分别为：
其中，L表示三元组分类损失，分别表示随机样本、正例样本和负例样本的特征，α表示与之间的距离与与之间的距离之间的最小间隔。
进一步地，步骤2、步骤3、步骤4和步骤5均使用随机梯度下降算法迭代学习目标函数以分类或预测人脸与非人脸候选窗口和包围盒回归向量、预测人脸特征点、判别眼睛的睁开闭合状态，通过前向传播得到网络各层的特征图、池化特征图和激活特征图；再利用后向传播算法更新网络各层的权重和偏置，直到网络收敛或终止。
进一步地，当随机梯度下降算法迭代学习目标函数方法应用于步骤2的一级卷积神经网络CNN1时，步骤2的对应卷积神经网络的输入为训练数据集的多尺度金字塔图像；
当随机梯度下降算法迭代学习目标函数方法应用于步骤3的二级卷积神经网络CNN2时，步骤3的对应卷积神经网络的输入为步骤2训练得到的多尺度人脸图像；
当随机梯度下降算法迭代学习目标函数方法应用于步骤4的三级卷积神经网络CNN3时，步骤4的对应卷积神经网络的输入为步骤3训练得到的多尺度人脸图像；
当随机梯度下降算法迭代学习目标函数方法应用于步骤5的四级卷积神经网络CNN4时，步骤5的对应卷积神经网络的输入为分割得到的眼睛图像和非眼睛图像组成三元组训练集中的每一幅图像。
进一步地，当随机梯度下降算法迭代学习目标函数方法应用于步骤5的四级卷积神经网络CNN4时，步骤5获得输出层的激活值为对应三元组的激活值和
所述步骤5具体计算过程为：对于输出层第nl层，按照公式(5)、(6)、(7)分别计算三元组分类损失对三元组的激活值的偏导数并累积每一幅图像的 作为后向传播的中间值；对于输出层前面的各层l＝nl-1,nl-2,...,2各层，分别计算各层并将各层每一幅图像的进行累积作为后向传播的中间值，利用上述中间值更新神经网络的权重和偏置系数直至网络收敛。
进一步地，将摄像头采集的待测试图像输入步骤2、步骤3、步骤4、步骤5训练好的网络中，直接得到人眼的闭合分类信息。
本发明采用以上技术方案，与现有疲劳检测方法相比优点在于：检测精度高，实时性好，鲁棒性高，有效地克服了光线变化、天气变化等因素的影响。本发明的方法不仅能够检测正常光线下人的疲劳状态，而且还能够检测光线较暗及遮挡条件下人的疲劳状态。
附图说明
以下结合附图和具体实施方式对本发明做进一步详细说明；
图1为本发明一种汽车疲劳驾驶预测方法的流程示意图；
图2为本发明一种汽车疲劳驾驶预测方法的一级卷积神经网络CNN1的结构示意图；
图3为本发明一种汽车疲劳驾驶预测方法的二级卷积神经网络CNN2的结构示意图；
图4为本发明一种汽车疲劳驾驶预测方法的三级卷积神经网络CNN3的结构示意图；
图5为本发明一种汽车疲劳驾驶预测方法的四级卷积神经网络CNN4的结构示意图。
具体实施方式
如图1-5之一所示，本发明公开了一种汽车疲劳驾驶预测方法，其包括以下步骤：
步骤1，对于训练数据集给定的任意一幅图像f(x,y)，多尺度设定图像以构造图像金字塔并作为下面级联框架下神经网络的输入；
本发明中，产生多尺度图像金字塔的尺度因子为1.2,、1.0、0.8。利用尺度因子可产生三个尺度的训练和测试图像集。它们分别作为训练学习和测试时的网络输入。
本发明中，训练数据集由正例(人脸)、负例(非人脸)、部分人脸和特征脸图像按3：1：1：2比例组成。负例：与基准测试人脸图像交并比小于0.3的图像区域。正例：与基准测试人脸图像交并比大于0.65的图像区域。部分人脸：与基准测试人脸图像交并比在0.4-0.65之间的图像区域。特征脸：包含5个特征点的人脸。
步骤2，将多尺度训练数据集输入卷积神经网络CNN1中，获得候选人脸窗口及其对应的包围盒回归向量；然后使用估计的包围盒回归向量对上述候选窗口进行校正，并应用非极大值抑制NMS合并高度重叠的候选窗口；
进一步地，所述步骤2中卷积神经网络CNN1是根据人脸识别的特点设计的。CNN1的体系结构如图2所示。输入图像的大小为12×12，神经网络的第一层10个滤波器的大小为3×3，学习率为0.0001，衰减为0.01，步长为1，滤波器权重参数利用"xavier"算法获得，该层网络偏置为0，10个滤波器分别与输入图像按式(13)卷积，得到10个特征图；利用最大池化方法对上述特征图进行池化，池化窗口大小为2×2，步长为1，得到10个新特征图；然后使用PReLU激活函数将这些特征图激活为10个特征图。神经网络的第二个卷积层将激活的10个特征图与16个3×3滤波器卷积，得到16个特征图；使用PReLU激活函数激活上述特征图得到16个新特征图。在神经网络的第三个卷积层，将新激活的16个特征图与32个3×3滤波器卷积，得到32个特征图，使用PReLU激活函数激活它们，得到32个激活特征图。最后，32个激活特征图与2个1×1滤波器卷积，得到候选人眼窗口，Softmax分类器识别候选窗口为人脸区域和非人脸区域。同时，将32个激活特征图再次与4个1×1滤波器卷积，得到包围盒对应的回归向量。将32个激活特征图与10个1×1滤波器卷积得到5个特征点的坐标。
步骤3，将经过校正的上述候选窗口全部输入到卷积神经网络CNN2，获得二级候选人脸窗口及其对应的二级包围盒回归向量；使用二级包围盒回归向量对二级候选窗口再次进行校正，并应用非极大值抑制NMS合并重叠度高的二级候选窗口；
步骤3中卷积神经网络CNN2的体系结构如图3所示。将步骤2得到的经过校正的候选窗口重新调整为大小24×24的输入图像，输入到卷积神经网络CNN2中。神经网络的第一层28个滤波器的大小为3×3，学习率为0.0001，衰减为0.01，步长为1，滤波器权重利用"xavier"算法获得，该层网络偏置为0，该层28个滤波器分别与输入图像按式(13)卷积，得到28个特征图；然后利用最大池化方法对上述特征图进行池化，池化窗口大小为3×3，步长为2，得到28个新特征图；接着使用PReLU激活函数激活上述特征图得到28个激活特征图。在网络模型第二个卷积层，首先将这28个激活特征图与48个3×3滤波器卷积，得到48个特征图；其次利用最大池化方法对上述特征图进行池化，池化窗口大小为3×3，步长为2，得到48个新特征图；再次使用PReLU激活函数得到48个激活特征图。在网络结构的第三个卷积层，首先将获取的48个激活特征图与64个2×2滤波器卷积，得到64个特征图；接着使用PReLU激活函数激活它们，得到64个激活特征图。在模型第四个卷积层，将上一层64个激活特征图与128个1×1滤波器卷积，得到128内积值。使用PReLU激活函数激活它们得到128个激活的内积值。在神经网络第五个卷积层，128个激活特征与2个1×1滤波器卷积，得到候选人脸窗口。最后，这些候选人脸窗口通过Softmax分类器被识别为人脸和非人脸区域。同时，将128个激活特征与4个1×1滤波器卷积得到包围盒对应的回归向量。将128个激活特征图与10个1×1滤波器卷积得到5个特征点的坐标。
步骤4，将经过校正的二级候选窗口全部输入到三级卷积神经网络CNN3，利用人脸特征点标记预测图像中的人脸特征点，并输出人脸的5个特征点位置；
步骤4中三级卷积神经网络CNN3的体系结构如图4所示。将步骤3得到的经过校正的二级候选窗口重新调整为大小48×48的输入图像，输入到另一个卷积神经网络CNN3中。CNN3的第一层32个滤波器的大小为3×3，学习率为0.0001，衰减为0.1，步长为1，滤波器权重系数利用"xavier"算法获得，该层网络偏置为0。该层32个滤波器分别与上述输入图像按式(13)卷积，得到32个特征图；然后利用最大池化方法对上述特征图进行池化，池化窗口大小为3×3，步长为2，得到32个新特征图；接着使用PReLU激活函数激活上述池化后的特征图得到32个激活特征图。在CNN3的第二个卷积层，将这32个激活的特征图与64个3×3滤波器卷积，得到64个特征图；利用最大池化方法对上述特征图进行池化，池化窗口大小为3×3，步长为2，得到64个池化特征图；然后使用PReLU激活函数激活上述池化特征图得到64个激活特征图。在CNN3的第三个卷积层，将上述64个激活特征图与64个3×3滤波器卷积，得到64个特征图；利用最大池化方法对上述特征图进行池化，池化窗口大小为2×2，步长为2，得到64个池化特征图；接着使用PReLU激活函数激活它们，得到64个激活特征图。在CNN3的第四个卷积层，将64个激活特征图与128个2×2滤波器卷积，得到128特征图；然后使用PReLU激活函数激活它们得到128个激活的特征图。在CNN3的第五个卷积层，将上述128个激活特征图与256个3×3滤波器卷积，得到256个特征图。为了防止过拟合，提高模型的泛化能力，这一层在训练时采用了Dropout技术，每次训练都抛弃25％的隐层节点进行训练。然后使用PReLU激活函数激活它们得到256个激活的特征图。在CNN3的第六个卷积层，将256个激活的特征图与2个1×1滤波器进行内积，得到候选人脸窗口。最后，将候选人脸窗口输入Softmax分类器被识别为人脸和非人脸区域。同时将256个激活特征图与4个1×1滤波器卷积得到包围盒对应的回归向量。将256个激活特征图与10个1×1滤波器卷积得到5个特征点的坐标。
步骤5，根据步骤4检测的人脸的2个人眼特征点位置，分割出以人眼特征点为中心的24×24眼睛区域，将分割对齐的眼睛区域图像输入到四级卷积神经网络CNN4，通过深度学习算法训练人眼深度视觉特征模型；
步骤5中，四级卷积神经网络CNN4的体系结构如图5所示。将步骤4得到的2个人眼特征点位置，分割出以人眼特征点为中心的24×24眼睛区域。将人眼区域重新调整为大小48×48的输入图像，输入到四级卷积神经网络CNN4中。CNN4的第一层96个滤波器的大小为5×5，步长为1，滤波器权重利用"xavier"算法获得，该层网络偏置为0，96个滤波器分别与输入图像按式(13)卷积，得到96个特征图；将计算得到的得到96个特征图分别与96个大小为1×1的滤波器卷积，卷积步长为1，再次得到96个特征图；然后利用最大池化方法对上述特征图进行池化，池化窗口大小为3×3，步长为2，得到96,个池化特征图；再使用PReLU激活96个池化特征图，得到96个激活特征图。CNN4的第二个卷积层，将上述96个激活特征图与256个3×3滤波器卷积，得到256个特征图；将计算得到的得到256个特征图分别与256个大小为1×1的滤波器卷积，卷积步长为1，再次得到256个特征图；利用最大池化方法对上述特征图进行池化，池化窗口大小为3×3，步长为2，得到256个池化特征图；接着使用PReLU激活函数得到256个激活特征图。在CNN4的第三个卷积层，将激活的256个特征图与384个3×3滤波器卷积，得到384个特征图；将计算得到的得到384个特征图分别与384个大小为1×1的滤波器卷积，卷积步长为1，再次得到384个特征图；利用最大池化方法对上述特征图进行池化，池化窗口大小为2×2，步长为2，得到384个池化特征图；然后使用PReLU激活函数激活它们，得到384个激活特征图。在CNN4的第四个卷积层，384个激活特征图与128个3×3滤波器卷积，得到128特征图；将计算得到128个特征图分别与128个大小为1×1的滤波器卷积，卷积步长为1，再次得到128个特征图；利用平均池化方法对上述特征图进行池化，池化窗口大小为4×4，步长为2，得到128个池化特征图；然后使用PReLU激活函数激活它们得到128个激活的特征图。在CNN4的第五个卷积层，128个激活特征图与256个1×1滤波器卷积得到256个特征图，并用PReLU激活函数激活它们得到256个激活特征图。为了防止过拟合，提高模型的泛化能力，这一层在训练时采用了Dropout技术，每次训练都抛弃25％的隐层节点进行训练。使用PReLU激活函数激活它们得到256个激活的特征图。256个激活的特征图与128个1×1滤波器进行内积，得到128维特征向量。在CNN4的训练中，学习率设置为0.005，间隔α设置为0.2。我们使用具有标准后向传播的随机梯度下降SGD和AdaGrad训练CNN4。
步骤6，将摄像头采集的测试图像依次通过CNN1、CNN2、CNN3、CNN4，得到测试视频帧图像眼睛的闭合状态；
步骤7，计算驾驶员疲劳视觉评估参数PERCLOS。首先根据摄像头采集速率获得3秒时间内视频包含的总帧数，接着计算3秒视频中包含的人眼闭合的帧数。PERCLOSE的计算公式为：
当PERCLOS值大于40％时，则判定驾驶员开始疲劳或处于疲劳状态，输出报警状态。
本发明采用以上技术方案，与现有疲劳检测方法相比优点在于：本发明的方法不仅能检测正常光照、姿态、表情条件下驾驶员的疲劳状态，还能够检测光照条件变化、姿态及表情变化等条件下的驾驶员疲劳状态，检测结果鲁棒性高，有效地克服了光照、姿态、表情等因素对驾驶员疲劳检测的影响。
本发明公开一种汽车疲劳驾驶预测方法，构建依次设置一至四级的卷积神经网络，输入图像由一级卷积神经网络获得候选人脸窗口及其对应的包围盒回归向量，再经过一二级卷积神经网络合并高度重叠的候选窗口；剩余的候选窗口经过三级卷积神经网络并利用人脸特征点信息预测人脸特征点，输出5个人脸特征点位置；再用5个人脸特征点中的2个人眼特征点为中心分割眼睛区域并由四级卷积神经网络通过深度学习算法训练眼睛图像的深度视觉特征模型；将摄像头采集的测试图像依次通过CNN1、CNN2、CNN3、CNN4，得到测试视频帧图像眼睛的闭合状态；反复计算3秒时间内视频中驾驶员疲劳视觉评估参数PERCLOS，当PERCLOS值大于40％时，则判定驾驶员开始疲劳或处于疲劳状态，输出报警状态。本发明的方法不仅能检测各种光照、姿态、表情条件下驾驶员的疲劳状态，检测结果鲁棒性高，有效地克服了光照、姿态、表情等因素对驾驶员疲劳检测的影响。

Claims (8)

1.一种汽车疲劳驾驶预测方法，其特征在于：其包括以下步骤：
步骤1，对于训练数据集给定的任意一幅图像f(x,y)，多尺度设定图像以构造图像金字塔并作为下面级联框架的输入；
步骤2，将多尺度训练图像集输入一级卷积神经网络CNN1，获得一级候选人脸窗口及其对应的一级包围盒回归向量；利用一级包围盒回归向量对一级候选窗口进行校正，并应用非极大值抑制NMS合并高度重叠的一级候选窗口；
步骤3，将经过校正的一级候选窗口全部输入到二级卷积神经网络CNN2，获得二级候选人脸窗口及其对应的二级包围盒回归向量；将二级包围盒回归向量对二级候选窗口再次进行校正，并应用非极大值抑制NMS合并重叠度高的二级候选窗口；
步骤4，将经过再次校正的二级候选窗口全部输入到三级卷积神经网络CNN3，利用人脸特征点标记信息预测图像中的人脸特征点，并输出人脸的5个特征点位置；
步骤5，根据步骤4输出的人脸的5个特征点中的2个人眼特征点位置，分割出以特征点为中心的24×24眼睛区域，将分割对齐的眼睛区域图像集输入到四级卷积神经网络CNN4中，使用睁眼和闭眼标记信息，通过随机梯度下降算法SGD得到人眼深度视觉特征模型；
步骤6，将摄像头采集的测试图像依次通过CNN1、CNN2、CNN3、CNN4，得到测试视频帧图像眼睛的闭合状态；
步骤7，计算驾驶员疲劳视觉评估参数PERCLOS：首先根据摄像头采集速率获得3秒时间内视频包含的总帧数，接着计算3秒视频中包含的人眼闭合的帧数，PERCLOSE的计算公式为：
当PERCLOS值大于40％时，则判定驾驶员开始疲劳或处于疲劳状态，输出报警状态。
2.根据权利要求1所述的一种汽车疲劳驾驶预测方法，其特征在于：所述步骤2中一级卷积神经网络CNN1学习的目标函数被表示为两类分类问题，这两个类别分别是人类标记和非人脸标记；对于每个样本xi采用交叉熵损失作为目标函数：
<mrow> <msubsup> <mi>L</mi> <mi>i</mi> <mi>det</mi> </msubsup> <mo>=</mo> <mo>-</mo> <mrow> <mo>(</mo> <msubsup> <mi>y</mi> <mi>i</mi> <mi>det</mi> </msubsup> <mi>l</mi> <mi>o</mi> <mi>g</mi> <mo>(</mo> <msub> <mi>p</mi> <mi>i</mi> </msub> <mo>)</mo> <mo>+</mo> <mo>(</mo> <mrow> <mn>1</mn> <mo>-</mo> <msubsup> <mi>y</mi> <mi>i</mi> <mi>det</mi> </msubsup> </mrow> <mo>)</mo> <mo>(</mo> <mrow> <mn>1</mn> <mo>-</mo> <mi>l</mi> <mi>o</mi> <mi>g</mi> <mrow> <mo>(</mo> <msub> <mi>p</mi> <mi>i</mi> </msub> <mo>)</mo> </mrow> </mrow> <mo>)</mo> <mo>)</mo> </mrow> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>1</mn> <mo>)</mo> </mrow> </mrow>
其中，pi是神经网络产生的表示样本xi是人脸的概率，为1表示人脸、为0表示非人脸， 表示样本xi是人脸的损失。
3.根据权利要求1所述的一种汽车疲劳驾驶预测方法，其特征在于：所述步骤3中二级卷积神经网络CNN2的学习目标表示为一个回归问题，对于每个样本xi采用欧氏损失作为目标函数：
<mrow> <msubsup> <mi>L</mi> <mi>i</mi> <mrow> <mi>b</mi> <mi>b</mi> <mi>o</mi> <mi>x</mi> </mrow> </msubsup> <mo>=</mo> <mo>|</mo> <mo>|</mo> <msubsup> <mover> <mi>y</mi> <mo>^</mo> </mover> <mi>i</mi> <mrow> <mi>b</mi> <mi>b</mi> <mi>o</mi> <mi>x</mi> </mrow> </msubsup> <mo>-</mo> <msubsup> <mi>y</mi> <mi>i</mi> <mrow> <mi>b</mi> <mi>b</mi> <mi>o</mi> <mi>x</mi> </mrow> </msubsup> <mo>|</mo> <msubsup> <mo>|</mo> <mn>2</mn> <mn>2</mn> </msubsup> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>2</mn> <mo>)</mo> </mrow> </mrow>
其中，为样本xi的预测包围盒与真正包围盒之间的损失，为样本xi的预测包围盒，为样本的真正包围盒。
4.根据权利要求1所述的一种汽车疲劳驾驶预测方法，其特征在于：所述步骤4中三级卷积神经网络CNN3的学习目标表示为一个回归问题，对于每个样本xi采用欧氏损失作为目标函数：
<mrow> <msubsup> <mi>L</mi> <mi>i</mi> <mrow> <mi>l</mi> <mi>m</mi> <mi>a</mi> <mi>r</mi> <mi>k</mi> <mi>s</mi> </mrow> </msubsup> <mo>=</mo> <mo>|</mo> <mo>|</mo> <msubsup> <mover> <mi>y</mi> <mo>^</mo> </mover> <mi>i</mi> <mrow> <mi>l</mi> <mi>m</mi> <mi>a</mi> <mi>r</mi> <mi>k</mi> <mi>s</mi> </mrow> </msubsup> <mo>-</mo> <msubsup> <mi>y</mi> <mi>i</mi> <mrow> <mi>l</mi> <mi>m</mi> <mi>a</mi> <mi>r</mi> <mi>k</mi> <mi>s</mi> </mrow> </msubsup> <mo>|</mo> <msubsup> <mo>|</mo> <mn>2</mn> <mn>2</mn> </msubsup> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>3</mn> <mo>)</mo> </mrow> </mrow>
其中，为样本xi的预测人脸特征点坐标与真正的人脸特征点坐标之间的损失，为样本xi的预测人脸特征点坐标，为样本的真正人脸特征点坐标。
5.根据权利要求1所述的一种汽车疲劳驾驶预测方法，其特征在于：所述步骤5中使用基于度量学习的误差函数Triplet Loss作为神经网络的目标函数；设从训练数据集中随机选择一个样本作为Anchor(记为),再分别从与Anchor同一类和不同类的训练数据集中随机选择一个样本作为Positive(记为)和Negative(记为)，构成一个(Anchor,Positive,Negative)三元组，则四级卷积神经网络CNN4学习目标是使三元组分类损失最小化：
<mrow> <mi>L</mi> <mo>=</mo> <mi>arg</mi> <mi> </mi> <mi>m</mi> <mi>i</mi> <mi>n</mi> <munderover> <mi>&amp;Sigma;</mi> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>N</mi> </munderover> <mo>&amp;lsqb;</mo> <mo>|</mo> <mo>|</mo> <mi>f</mi> <mrow> <mo>(</mo> <msubsup> <mi>x</mi> <mi>i</mi> <mi>a</mi> </msubsup> <mo>)</mo> </mrow> <mo>-</mo> <mi>f</mi> <mrow> <mo>(</mo> <msubsup> <mi>x</mi> <mi>i</mi> <mi>p</mi> </msubsup> <mo>)</mo> </mrow> <mo>|</mo> <msubsup> <mo>|</mo> <mn>2</mn> <mn>2</mn> </msubsup> <mo>-</mo> <mo>|</mo> <mo>|</mo> <mi>f</mi> <mrow> <mo>(</mo> <msubsup> <mi>x</mi> <mi>i</mi> <mi>a</mi> </msubsup> <mo>)</mo> </mrow> <mo>-</mo> <mi>f</mi> <mrow> <mo>(</mo> <msubsup> <mi>x</mi> <mi>i</mi> <mi>n</mi> </msubsup> <mo>)</mo> </mrow> <mo>|</mo> <msubsup> <mo>|</mo> <mn>2</mn> <mn>2</mn> </msubsup> <mo>+</mo> <mi>&amp;alpha;</mi> <mo>&amp;rsqb;</mo> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>4</mn> <mo>)</mo> </mrow> </mrow>
在方程(4)中，三元组分类损失对三个样本特征的梯度分别为：
<mrow> <mfrac> <mrow> <mo>&amp;part;</mo> <mi>L</mi> </mrow> <mrow> <mo>&amp;part;</mo> <mi>f</mi> <mrow> <mo>(</mo> <msubsup> <mi>x</mi> <mi>i</mi> <mi>a</mi> </msubsup> <mo>)</mo> </mrow> </mrow> </mfrac> <mo>=</mo> <mn>2</mn> <mo>*</mo> <mrow> <mo>(</mo> <mi>f</mi> <mo>(</mo> <msubsup> <mi>x</mi> <mi>i</mi> <mi>a</mi> </msubsup> <mo>)</mo> <mo>-</mo> <mi>f</mi> <mo>(</mo> <msubsup> <mi>x</mi> <mi>i</mi> <mi>p</mi> </msubsup> <mo>)</mo> <mo>)</mo> </mrow> <mo>-</mo> <mn>2</mn> <mo>*</mo> <mrow> <mo>(</mo> <mi>f</mi> <mo>(</mo> <msubsup> <mi>x</mi> <mi>i</mi> <mi>a</mi> </msubsup> <mo>)</mo> <mo>-</mo> <mi>f</mi> <mo>(</mo> <msubsup> <mi>x</mi> <mi>i</mi> <mi>n</mi> </msubsup> <mo>)</mo> <mo>)</mo> </mrow> <mo>=</mo> <mn>2</mn> <mo>*</mo> <mrow> <mo>(</mo> <mi>f</mi> <mo>(</mo> <msubsup> <mi>x</mi> <mi>i</mi> <mi>n</mi> </msubsup> <mo>)</mo> <mo>-</mo> <mi>f</mi> <mo>(</mo> <msubsup> <mi>x</mi> <mi>i</mi> <mi>p</mi> </msubsup> <mo>)</mo> <mo>)</mo> </mrow> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>5</mn> <mo>)</mo> </mrow> </mrow>
<mrow> <mfrac> <mrow> <mo>&amp;part;</mo> <mi>L</mi> </mrow> <mrow> <mo>&amp;part;</mo> <mi>f</mi> <mrow> <mo>(</mo> <msubsup> <mi>x</mi> <mi>i</mi> <mi>p</mi> </msubsup> <mo>)</mo> </mrow> </mrow> </mfrac> <mo>=</mo> <mn>2</mn> <mo>*</mo> <mrow> <mo>(</mo> <mi>f</mi> <mo>(</mo> <msubsup> <mi>x</mi> <mi>i</mi> <mi>a</mi> </msubsup> <mo>)</mo> <mo>-</mo> <mi>f</mi> <mo>(</mo> <msubsup> <mi>x</mi> <mi>i</mi> <mi>p</mi> </msubsup> <mo>)</mo> <mo>)</mo> </mrow> <mo>*</mo> <mrow> <mo>(</mo> <mo>-</mo> <mn>1</mn> <mo>)</mo> </mrow> <mo>=</mo> <mn>2</mn> <mo>*</mo> <mrow> <mo>(</mo> <mi>f</mi> <mo>(</mo> <msubsup> <mi>x</mi> <mi>i</mi> <mi>p</mi> </msubsup> <mo>)</mo> <mo>-</mo> <mi>f</mi> <mo>(</mo> <msubsup> <mi>x</mi> <mi>i</mi> <mi>a</mi> </msubsup> <mo>)</mo> <mo>)</mo> </mrow> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>6</mn> <mo>)</mo> </mrow> </mrow>
<mrow> <mfrac> <mrow> <mo>&amp;part;</mo> <mi>L</mi> </mrow> <mrow> <mo>&amp;part;</mo> <mi>f</mi> <mrow> <mo>(</mo> <msubsup> <mi>x</mi> <mi>i</mi> <mi>n</mi> </msubsup> <mo>)</mo> </mrow> </mrow> </mfrac> <mo>=</mo> <mo>-</mo> <mn>2</mn> <mo>*</mo> <mrow> <mo>(</mo> <mi>f</mi> <mo>(</mo> <msubsup> <mi>x</mi> <mi>i</mi> <mi>a</mi> </msubsup> <mo>)</mo> <mo>-</mo> <mi>f</mi> <mo>(</mo> <msubsup> <mi>x</mi> <mi>i</mi> <mi>n</mi> </msubsup> <mo>)</mo> <mo>)</mo> </mrow> <mo>*</mo> <mrow> <mo>(</mo> <mo>-</mo> <mn>1</mn> <mo>)</mo> </mrow> <mo>=</mo> <mn>2</mn> <mo>*</mo> <mrow> <mo>(</mo> <mi>f</mi> <mo>(</mo> <msubsup> <mi>x</mi> <mi>i</mi> <mi>a</mi> </msubsup> <mo>)</mo> <mo>-</mo> <mi>f</mi> <mo>(</mo> <msubsup> <mi>x</mi> <mi>i</mi> <mi>n</mi> </msubsup> <mo>)</mo> <mo>)</mo> </mrow> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>7</mn> <mo>)</mo> </mrow> </mrow>
其中，L表示三元组分类损失，分别表示随机样本、正例样本和负例样本的特征，α表示与之间的距离与与之间的距离之间的最小间隔，α设置为一个常数。
6.根据权利要求2-5之一所述的一种汽车疲劳驾驶预测方法，其特征在于：所示步骤2、步骤3、步骤4和步骤5均使用随机梯度下降算法迭代学习目标函数以分类或预测人脸与非人脸候选窗口和包围盒回归向量、预测人脸特征点位置、分类人眼的睁开闭合状态，通过前向传播得到网络各层的特征图、池化特征图和激活特征图；再利用后向传播算法更新网络各层的权重和偏置，直到网络收敛或终止。
7.根据权利要求6所述的一种汽车疲劳驾驶预测方法，其特征在于：当随机梯度下降算法迭代学习目标函数方法应用于步骤2的一级卷积神经网络CNN1时，步骤2的对应卷积神经网络的输入为训练数据集的多尺度金字塔图像；
当随机梯度下降算法迭代学习目标函数方法应用于步骤3的二级卷积神经网络CNN2时，步骤3的对应卷积神经网络的输入为步骤2训练得到的多尺度人脸候选窗口图像，包括正例、负例、部分人脸和特征脸；
当随机梯度下降算法迭代学习目标函数方法应用于步骤4的三级卷积神经网络CNN3时，步骤4的对应卷积神经网络的输入为步骤3训练得到的多尺度人脸候选窗口图像，包括正例、负例、部分人脸和特征脸；
当随机梯度下降算法迭代学习目标函数方法应用于步骤5的四级卷积神经网络CNN4时，步骤5的对应卷积神经网络的输入为分割得到的多尺度眼睛图像和非眼睛图像组成三元组训练集中的每一幅图像。
8.根据权利要求5所述的一种汽车疲劳驾驶预测方法，其特征在于：当随机梯度下降算法迭代学习目标函数方法应用于步骤5的四级卷积神经网络CNN4时，步骤5前向传播算法获得输出层的激活值为对应三元组的激活值和
所述步骤5后向传播具体为：对于输出层第nl层，按照公式(5)、(6)、(7)分别计算三元组分类损失对三元组的激活值的偏导数并累积每一幅图像的 作为后向传播的中间值；对于输出层前面的各层l＝nl-1,nl-2,...,2各层，分别计算各层并将各层每一幅图像的进行累积作为后向传播的中间值，利用上述中间值更新神经网络的权重和偏置系数直至网络收敛。
CN201710356372.1A 2017-05-19 2017-05-19 一种汽车疲劳驾驶预测方法 Pending CN107194346A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710356372.1A CN107194346A (zh) 2017-05-19 2017-05-19 一种汽车疲劳驾驶预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710356372.1A CN107194346A (zh) 2017-05-19 2017-05-19 一种汽车疲劳驾驶预测方法

Publications (1)

Publication Number Publication Date
CN107194346A true CN107194346A (zh) 2017-09-22

Family

ID=59874657

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710356372.1A Pending CN107194346A (zh) 2017-05-19 2017-05-19 一种汽车疲劳驾驶预测方法

Country Status (1)

Country Link
CN (1) CN107194346A (zh)

Cited By (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107704836A (zh) * 2017-10-17 2018-02-16 电子科技大学 基于物体检测的疲劳驾驶检测方法
CN107832721A (zh) * 2017-11-16 2018-03-23 百度在线网络技术（北京）有限公司 用于输出信息的方法和装置
CN107944415A (zh) * 2017-12-06 2018-04-20 董伟 一种基于深度学习算法的人眼注意力检测方法
CN108021911A (zh) * 2018-01-04 2018-05-11 重庆公共运输职业学院 一种驾驶员疲劳驾驶监测方法
CN108053410A (zh) * 2017-12-11 2018-05-18 厦门美图之家科技有限公司 运动目标分割方法及装置
CN108171220A (zh) * 2018-01-31 2018-06-15 南京云思创智信息科技有限公司 基于全卷积神经网络与crf技术的道路自动识别方法
CN108309311A (zh) * 2018-03-27 2018-07-24 北京华纵科技有限公司 一种列车驾驶员实时盹睡检测装置及检测算法
CN108363957A (zh) * 2018-01-19 2018-08-03 成都考拉悠然科技有限公司 基于级联网络的交通标志检测与识别方法
CN108596108A (zh) * 2018-04-26 2018-09-28 中国科学院电子学研究所 基于三元组语义关系学习的航拍遥感图像变化检测方法
CN108596087A (zh) * 2018-04-23 2018-09-28 合肥湛达智能科技有限公司 一种基于双网络结果的驾驶疲劳程度检测回归模型
CN108764034A (zh) * 2018-04-18 2018-11-06 浙江零跑科技有限公司 一种基于驾驶室近红外相机的分神驾驶行为预警方法
CN108765876A (zh) * 2018-05-31 2018-11-06 东北大学 基于多模信号的驾驶疲劳深度分析预警***及方法
CN109034448A (zh) * 2018-06-14 2018-12-18 重庆邮电大学 基于车辆轨迹语义分析和深度信念网络的轨迹预测方法
CN109033953A (zh) * 2018-06-14 2018-12-18 深圳市博威创盛科技有限公司 多任务学习深度网络的训练方法、设备及存储介质
CN109063545A (zh) * 2018-06-13 2018-12-21 五邑大学 一种疲劳驾驶检测方法及装置
CN109063835A (zh) * 2018-07-11 2018-12-21 中国科学技术大学 神经网络的压缩装置及方法
CN109086660A (zh) * 2018-06-14 2018-12-25 深圳市博威创盛科技有限公司 多任务学习深度网络的训练方法、设备及存储介质
CN109101869A (zh) * 2018-06-14 2018-12-28 深圳市博威创盛科技有限公司 多任务学习深度网络的测试方法、设备及存储介质
CN109308445A (zh) * 2018-07-25 2019-02-05 南京莱斯电子设备有限公司 一种基于信息融合的固定岗位人员疲劳检测方法
CN109344763A (zh) * 2018-09-26 2019-02-15 汕头大学 一种基于卷积神经网络的斜眼检测方法
CN109344802A (zh) * 2018-10-29 2019-02-15 重庆邮电大学 一种基于改进的级联卷积神经网的人体疲劳检测方法
CN109460704A (zh) * 2018-09-18 2019-03-12 厦门瑞为信息技术有限公司 一种基于深度学习的疲劳检测方法、***和计算机设备
CN109583332A (zh) * 2018-11-15 2019-04-05 北京三快在线科技有限公司 人脸识别方法、人脸识别***、介质及电子设备
CN109657591A (zh) * 2018-12-12 2019-04-19 东莞理工学院 基于级联卷积神经网络的面部识别方法及装置
CN109670512A (zh) * 2017-10-16 2019-04-23 斯特拉德视觉公司 使用多尺度特征图调整cnn参数的学习方法和学习装置及使用其的测试方法和测试装置
CN109726652A (zh) * 2018-12-19 2019-05-07 杭州叙简科技股份有限公司 一种基于卷积神经网络检测值班人员睡觉行为的方法
CN109770925A (zh) * 2019-02-03 2019-05-21 闽江学院 一种基于深度时空网络的疲劳检测方法
CN109919320A (zh) * 2019-01-23 2019-06-21 西北工业大学 基于语义层次结构的Triplet网络学习方法
CN109948433A (zh) * 2019-01-31 2019-06-28 浙江师范大学 一种嵌入式人脸跟踪方法及装置
CN110097012A (zh) * 2019-05-06 2019-08-06 苏州国科视清医疗科技有限公司 基于N-range图像处理算法的眼动参数监测的疲劳检测方法
CN110232327A (zh) * 2019-05-21 2019-09-13 浙江师范大学 一种基于梯形级联卷积神经网络的驾驶疲劳检测方法
CN110263641A (zh) * 2019-05-17 2019-09-20 成都旷视金智科技有限公司 疲劳检测方法、装置及可读存储介质
CN110321877A (zh) * 2019-06-04 2019-10-11 中北大学 一种三目后视镜和三目视觉安全驾驶方法和***
CN110414544A (zh) * 2018-04-28 2019-11-05 杭州海康威视数字技术股份有限公司 一种目标状态分类方法、装置及***
CN110532976A (zh) * 2019-09-03 2019-12-03 湘潭大学 基于机器学习和多特征融合的疲劳驾驶检测方法及***
CN110532925A (zh) * 2019-08-22 2019-12-03 西安电子科技大学 基于时空图卷积网络的驾驶员疲劳检测方法
CN111062479A (zh) * 2019-12-19 2020-04-24 北京迈格威科技有限公司 基于神经网络的模型快速升级方法及装置
CN111506759A (zh) * 2020-03-04 2020-08-07 中国人民解放军战略支援部队信息工程大学 一种基于深度特征的影像匹配方法及装置
CN111645695A (zh) * 2020-06-28 2020-09-11 北京百度网讯科技有限公司 一种疲劳驾驶的检测方法、装置、计算机设备和存储介质
CN111783854A (zh) * 2020-06-18 2020-10-16 武汉互创联合科技有限公司 胚胎妊娠状态智能预测方法及***
CN111898473A (zh) * 2020-07-10 2020-11-06 华南农业大学 一种基于深度学习的司机状态实时监测方法
CN112400150A (zh) * 2018-05-17 2021-02-23 索尼互动娱乐股份有限公司 基于预测扫视着陆点的动态图形渲染
CN112528815A (zh) * 2020-12-05 2021-03-19 西安电子科技大学 基于多模态信息融合的疲劳驾驶检测方法
CN112558510A (zh) * 2020-10-20 2021-03-26 山东亦贝数据技术有限公司 一种智能网联汽车安全预警***及预警方法
CN112561211A (zh) * 2021-02-19 2021-03-26 西南石油大学 基于神经网络深度学习的钻井循环压耗预测方法
CN112829754A (zh) * 2021-01-21 2021-05-25 浙江合众新能源汽车有限公司 车载智能机器人和车载智能机器人的运行方法
CN113158850A (zh) * 2021-04-07 2021-07-23 大连海事大学 基于深度学习的船舶驾驶员疲劳检测方法和***
CN114140985A (zh) * 2021-11-09 2022-03-04 北京中交兴路车联网科技有限公司 基于知识图谱的车辆疲劳预警方法、装置、设备及介质
CN114179811A (zh) * 2022-02-17 2022-03-15 北京心驰智途科技有限公司 一种获取驾驶状态的数据处理方法、设备、介质及产品
CN114821713A (zh) * 2022-04-08 2022-07-29 湖南大学 一种基于Video Transformer的疲劳驾驶检测方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104590130A (zh) * 2015-01-06 2015-05-06 上海交通大学 基于图像识别的后视镜自适应调节方法
CN104688251A (zh) * 2015-03-02 2015-06-10 西安邦威电子科技有限公司 一种多姿态下的疲劳及非正常姿态驾驶检测方法
CN105096528A (zh) * 2015-08-05 2015-11-25 广州云从信息科技有限公司 一种疲劳驾驶检测方法及***
CN205230272U (zh) * 2015-11-12 2016-05-11 熊强 汽车司机驾驶状态监测***
CN106383912A (zh) * 2016-10-14 2017-02-08 上海谦问万答吧云计算科技有限公司 一种图片检索方法和装置
CN106446811A (zh) * 2016-09-12 2017-02-22 北京智芯原动科技有限公司 基于深度学习的驾驶员疲劳检测方法及装置
CN106485214A (zh) * 2016-09-28 2017-03-08 天津工业大学 一种基于卷积神经网络的眼睛和嘴部状态识别方法
CN106683344A (zh) * 2017-01-22 2017-05-17 福州大学 防疲劳驾驶***及其工作方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104590130A (zh) * 2015-01-06 2015-05-06 上海交通大学 基于图像识别的后视镜自适应调节方法
CN104688251A (zh) * 2015-03-02 2015-06-10 西安邦威电子科技有限公司 一种多姿态下的疲劳及非正常姿态驾驶检测方法
CN105096528A (zh) * 2015-08-05 2015-11-25 广州云从信息科技有限公司 一种疲劳驾驶检测方法及***
CN205230272U (zh) * 2015-11-12 2016-05-11 熊强 汽车司机驾驶状态监测***
CN106446811A (zh) * 2016-09-12 2017-02-22 北京智芯原动科技有限公司 基于深度学习的驾驶员疲劳检测方法及装置
CN106485214A (zh) * 2016-09-28 2017-03-08 天津工业大学 一种基于卷积神经网络的眼睛和嘴部状态识别方法
CN106383912A (zh) * 2016-10-14 2017-02-08 上海谦问万答吧云计算科技有限公司 一种图片检索方法和装置
CN106683344A (zh) * 2017-01-22 2017-05-17 福州大学 防疲劳驾驶***及其工作方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
KAIPENG ZHANG 等: "Joint Face Detection and Alignment Using Multitask Cascaded Convolutional Networks", 《IEEE SIGNAL PROCESSING LETTERS》 *

Cited By (75)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109670512A (zh) * 2017-10-16 2019-04-23 斯特拉德视觉公司 使用多尺度特征图调整cnn参数的学习方法和学习装置及使用其的测试方法和测试装置
CN107704836A (zh) * 2017-10-17 2018-02-16 电子科技大学 基于物体检测的疲劳驾驶检测方法
CN107832721A (zh) * 2017-11-16 2018-03-23 百度在线网络技术（北京）有限公司 用于输出信息的方法和装置
CN107832721B (zh) * 2017-11-16 2021-12-07 百度在线网络技术（北京）有限公司 用于输出信息的方法和装置
CN107944415A (zh) * 2017-12-06 2018-04-20 董伟 一种基于深度学习算法的人眼注意力检测方法
CN108053410A (zh) * 2017-12-11 2018-05-18 厦门美图之家科技有限公司 运动目标分割方法及装置
CN108021911A (zh) * 2018-01-04 2018-05-11 重庆公共运输职业学院 一种驾驶员疲劳驾驶监测方法
CN108363957A (zh) * 2018-01-19 2018-08-03 成都考拉悠然科技有限公司 基于级联网络的交通标志检测与识别方法
CN108171220A (zh) * 2018-01-31 2018-06-15 南京云思创智信息科技有限公司 基于全卷积神经网络与crf技术的道路自动识别方法
CN108309311A (zh) * 2018-03-27 2018-07-24 北京华纵科技有限公司 一种列车驾驶员实时盹睡检测装置及检测算法
CN108764034A (zh) * 2018-04-18 2018-11-06 浙江零跑科技有限公司 一种基于驾驶室近红外相机的分神驾驶行为预警方法
CN108596087A (zh) * 2018-04-23 2018-09-28 合肥湛达智能科技有限公司 一种基于双网络结果的驾驶疲劳程度检测回归模型
CN108596087B (zh) * 2018-04-23 2020-09-15 合肥湛达智能科技有限公司 一种基于双网络结果的驾驶疲劳程度检测回归模型
CN108596108A (zh) * 2018-04-26 2018-09-28 中国科学院电子学研究所 基于三元组语义关系学习的航拍遥感图像变化检测方法
CN108596108B (zh) * 2018-04-26 2021-02-23 中国科学院电子学研究所 基于三元组语义关系学习的航拍遥感图像变化检测方法
CN110414544A (zh) * 2018-04-28 2019-11-05 杭州海康威视数字技术股份有限公司 一种目标状态分类方法、装置及***
CN110414544B (zh) * 2018-04-28 2023-01-03 杭州海康威视数字技术股份有限公司 一种目标状态分类方法、装置及***
CN112400150A (zh) * 2018-05-17 2021-02-23 索尼互动娱乐股份有限公司 基于预测扫视着陆点的动态图形渲染
CN108765876A (zh) * 2018-05-31 2018-11-06 东北大学 基于多模信号的驾驶疲劳深度分析预警***及方法
CN109063545A (zh) * 2018-06-13 2018-12-21 五邑大学 一种疲劳驾驶检测方法及装置
CN109063545B (zh) * 2018-06-13 2021-11-12 五邑大学 一种疲劳驾驶检测方法及装置
CN109086660A (zh) * 2018-06-14 2018-12-25 深圳市博威创盛科技有限公司 多任务学习深度网络的训练方法、设备及存储介质
CN109101869A (zh) * 2018-06-14 2018-12-28 深圳市博威创盛科技有限公司 多任务学习深度网络的测试方法、设备及存储介质
CN109033953A (zh) * 2018-06-14 2018-12-18 深圳市博威创盛科技有限公司 多任务学习深度网络的训练方法、设备及存储介质
CN109034448A (zh) * 2018-06-14 2018-12-18 重庆邮电大学 基于车辆轨迹语义分析和深度信念网络的轨迹预测方法
CN109063835B (zh) * 2018-07-11 2021-07-09 中国科学技术大学 神经网络的压缩装置及方法
CN109063835A (zh) * 2018-07-11 2018-12-21 中国科学技术大学 神经网络的压缩装置及方法
CN109308445B (zh) * 2018-07-25 2019-06-25 南京莱斯电子设备有限公司 一种基于信息融合的固定岗位人员疲劳检测方法
CN109308445A (zh) * 2018-07-25 2019-02-05 南京莱斯电子设备有限公司 一种基于信息融合的固定岗位人员疲劳检测方法
CN109460704A (zh) * 2018-09-18 2019-03-12 厦门瑞为信息技术有限公司 一种基于深度学习的疲劳检测方法、***和计算机设备
CN109460704B (zh) * 2018-09-18 2020-09-15 厦门瑞为信息技术有限公司 一种基于深度学习的疲劳检测方法、***和计算机设备
CN109344763A (zh) * 2018-09-26 2019-02-15 汕头大学 一种基于卷积神经网络的斜眼检测方法
CN109344802B (zh) * 2018-10-29 2021-09-10 重庆邮电大学 一种基于改进的级联卷积神经网的人体疲劳检测方法
CN109344802A (zh) * 2018-10-29 2019-02-15 重庆邮电大学 一种基于改进的级联卷积神经网的人体疲劳检测方法
CN109583332A (zh) * 2018-11-15 2019-04-05 北京三快在线科技有限公司 人脸识别方法、人脸识别***、介质及电子设备
CN109657591A (zh) * 2018-12-12 2019-04-19 东莞理工学院 基于级联卷积神经网络的面部识别方法及装置
CN109726652B (zh) * 2018-12-19 2020-11-13 杭州叙简科技股份有限公司 一种基于卷积神经网络检测值班人员睡觉行为的方法
CN109726652A (zh) * 2018-12-19 2019-05-07 杭州叙简科技股份有限公司 一种基于卷积神经网络检测值班人员睡觉行为的方法
CN109919320B (zh) * 2019-01-23 2022-04-01 西北工业大学 基于语义层次结构的Triplet网络学习方法
CN109919320A (zh) * 2019-01-23 2019-06-21 西北工业大学 基于语义层次结构的Triplet网络学习方法
CN109948433A (zh) * 2019-01-31 2019-06-28 浙江师范大学 一种嵌入式人脸跟踪方法及装置
CN109770925A (zh) * 2019-02-03 2019-05-21 闽江学院 一种基于深度时空网络的疲劳检测方法
CN109770925B (zh) * 2019-02-03 2020-04-24 闽江学院 一种基于深度时空网络的疲劳检测方法
CN110097012B (zh) * 2019-05-06 2022-11-08 苏州国科视清医疗科技有限公司 基于N-range图像处理算法的眼动参数监测的疲劳检测方法
CN110097012A (zh) * 2019-05-06 2019-08-06 苏州国科视清医疗科技有限公司 基于N-range图像处理算法的眼动参数监测的疲劳检测方法
CN110263641A (zh) * 2019-05-17 2019-09-20 成都旷视金智科技有限公司 疲劳检测方法、装置及可读存储介质
CN110232327A (zh) * 2019-05-21 2019-09-13 浙江师范大学 一种基于梯形级联卷积神经网络的驾驶疲劳检测方法
CN110232327B (zh) * 2019-05-21 2023-04-21 浙江师范大学 一种基于梯形级联卷积神经网络的驾驶疲劳检测方法
CN110321877A (zh) * 2019-06-04 2019-10-11 中北大学 一种三目后视镜和三目视觉安全驾驶方法和***
CN110532925A (zh) * 2019-08-22 2019-12-03 西安电子科技大学 基于时空图卷积网络的驾驶员疲劳检测方法
CN110532925B (zh) * 2019-08-22 2022-12-06 西安电子科技大学 基于时空图卷积网络的驾驶员疲劳检测方法
CN110532976A (zh) * 2019-09-03 2019-12-03 湘潭大学 基于机器学习和多特征融合的疲劳驾驶检测方法及***
CN110532976B (zh) * 2019-09-03 2021-12-31 湘潭大学 基于机器学习和多特征融合的疲劳驾驶检测方法及***
CN111062479A (zh) * 2019-12-19 2020-04-24 北京迈格威科技有限公司 基于神经网络的模型快速升级方法及装置
CN111062479B (zh) * 2019-12-19 2024-01-23 北京迈格威科技有限公司 基于神经网络的模型快速升级方法及装置
CN111506759A (zh) * 2020-03-04 2020-08-07 中国人民解放军战略支援部队信息工程大学 一种基于深度特征的影像匹配方法及装置
CN111506759B (zh) * 2020-03-04 2023-10-24 中国人民解放军战略支援部队信息工程大学 一种基于深度特征的影像匹配方法及装置
CN111783854A (zh) * 2020-06-18 2020-10-16 武汉互创联合科技有限公司 胚胎妊娠状态智能预测方法及***
CN111783854B (zh) * 2020-06-18 2022-06-07 武汉互创联合科技有限公司 胚胎妊娠状态智能预测方法及***
CN111645695A (zh) * 2020-06-28 2020-09-11 北京百度网讯科技有限公司 一种疲劳驾驶的检测方法、装置、计算机设备和存储介质
CN111645695B (zh) * 2020-06-28 2022-08-09 北京百度网讯科技有限公司 一种疲劳驾驶的检测方法、装置、计算机设备和存储介质
CN111898473A (zh) * 2020-07-10 2020-11-06 华南农业大学 一种基于深度学习的司机状态实时监测方法
CN111898473B (zh) * 2020-07-10 2023-09-01 华南农业大学 一种基于深度学习的司机状态实时监测方法
CN112558510A (zh) * 2020-10-20 2021-03-26 山东亦贝数据技术有限公司 一种智能网联汽车安全预警***及预警方法
CN112528815A (zh) * 2020-12-05 2021-03-19 西安电子科技大学 基于多模态信息融合的疲劳驾驶检测方法
CN112829754A (zh) * 2021-01-21 2021-05-25 浙江合众新能源汽车有限公司 车载智能机器人和车载智能机器人的运行方法
CN112561211B (zh) * 2021-02-19 2021-11-16 西南石油大学 基于神经网络深度学习的钻井循环压耗预测方法
CN112561211A (zh) * 2021-02-19 2021-03-26 西南石油大学 基于神经网络深度学习的钻井循环压耗预测方法
CN113158850A (zh) * 2021-04-07 2021-07-23 大连海事大学 基于深度学习的船舶驾驶员疲劳检测方法和***
CN113158850B (zh) * 2021-04-07 2024-01-05 大连海事大学 基于深度学习的船舶驾驶员疲劳检测方法和***
CN114140985B (zh) * 2021-11-09 2022-11-18 北京中交兴路车联网科技有限公司 基于知识图谱的车辆疲劳预警方法、装置、设备及介质
CN114140985A (zh) * 2021-11-09 2022-03-04 北京中交兴路车联网科技有限公司 基于知识图谱的车辆疲劳预警方法、装置、设备及介质
CN114179811B (zh) * 2022-02-17 2022-06-10 北京心驰智途科技有限公司 一种获取驾驶状态的数据处理方法、设备、介质及产品
CN114179811A (zh) * 2022-02-17 2022-03-15 北京心驰智途科技有限公司 一种获取驾驶状态的数据处理方法、设备、介质及产品
CN114821713A (zh) * 2022-04-08 2022-07-29 湖南大学 一种基于Video Transformer的疲劳驾驶检测方法

Similar Documents

Publication Publication Date Title
CN107194346A (zh) 一种汽车疲劳驾驶预测方法
CN108805093B (zh) 基于深度学习的手扶电梯乘客摔倒检测方法
CN104182772B (zh) 一种基于深度学习的手势识别方法
Gao et al. A segmentation-aware object detection model with occlusion handling
CN104063719B (zh) 基于深度卷积网络的行人检测方法及装置
CN103116756B (zh) 一种人脸检测与跟踪方法及装置
CN102663413B (zh) 一种面向多姿态和跨年龄的人脸图像认证方法
CN107886073A (zh) 一种基于卷积神经网络的细粒度车辆多属性识别方法
CN110232316A (zh) 一种基于改进的dsod模型的车辆检测与识别方法
CN101980242B (zh) 人脸面相判别方法、***及公共安全***
CN109902806A (zh) 基于卷积神经网络的噪声图像目标边界框确定方法
CN106485214A (zh) 一种基于卷积神经网络的眼睛和嘴部状态识别方法
CN108182454A (zh) 安检识别***及其控制方法
CN103258332B (zh) 一种抗光照变化的运动目标的检测方法
CN108294759A (zh) 一种基于cnn眼部状态识别的驾驶员疲劳检测方法
CN104992167A (zh) 一种基于卷积神经网络的人脸检测方法及装置
CN107133569A (zh) 基于泛化多标记学习的监控视频多粒度标注方法
CN107133974A (zh) 高斯背景建模与循环神经网络相结合的车型分类方法
CN105335716A (zh) 一种基于改进udn提取联合特征的行人检测方法
CN104715244A (zh) 一种基于肤色分割和机器学习的多视角人脸检测方法
CN105488456A (zh) 基于自适应阈值调整拒识子空间学习的人脸检测方法
CN110310241A (zh) 一种融合深度区域分割的多大气光值交通图像去雾方法
CN107066968A (zh) 基于目标识别和跟踪的融合策略的车载行人检测方法
CN109460704A (zh) 一种基于深度学习的疲劳检测方法、***和计算机设备
CN110956158A (zh) 一种基于教师学生学习框架的遮挡行人再标识方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20170922

RJ01 Rejection of invention patent application after publication