CN110765980A - 一种异常驾驶的检测方法及装置 - Google Patents

Abstract

本发明公开一种异常驾驶的检测方法及装置，该方法包括：对预定时间段内采集的人脸图像数据进行检测，提取多个表征眼睑长度和宽度的人眼特征；根据多个人眼特征与眼睛开合度之间的关系获得眨眼次数；根据眨眼次数及单次眨眼过程中眼睛开合度随时间的变化关系获得疲劳度参考值；将疲劳度参考值输入检测模型对疲劳程度进行预测获得疲劳度预测值；在疲劳度预测值处于不同的疲劳等级时，发出与疲劳等级对应的预警信号。针对现有疲劳驾驶检测技术准确性和安全性较低等问题，实现提高检测的准确性及安全系数。

Description

一种异常驾驶的检测方法及装置

技术领域

本发明涉及智能驾驶技术领域，具体是一种异常驾驶的检测方法及装置。

背景技术

现有技术对驾驶异常的检测比较单一，主要集中在对车辆驾驶轨迹异常的检测，对于驾驶员的异常检测提之甚少，且检测算法方面尚有改进的空间，作为道路交通重要参与者，驾驶员的状态对交通安全至关重要。

发明内容

本发明提供一种异常驾驶的检测方法及装置，用于克服现有技术中鲁棒性和驾驶安全系数低等缺陷，通过驾驶员状态异常的检测，提高检测算法的鲁棒性和驾驶安全系数。

为实现上述目的，本发明提供一种异常驾驶的检测方法，包括：

对预定时间段内采集的人脸图像数据进行检测，提取多个表征眼睑长度和宽度的人眼特征；

根据多个人眼特征与眼睛开合度之间的关系获得眨眼次数；

根据眨眼次数及单次眨眼过程中眼睛开合度随时间的变化关系获得疲劳度参考值；

将疲劳度参考值输入检测模型对疲劳程度进行预测获得疲劳度预测值；

在疲劳度预测值处于不同的疲劳等级时，发出与疲劳等级对应的预警信号。

为实现上述目的，本发明还提供一种异常驾驶的检测装置，包括：

摄像头，用于采集人脸图像；

传感器，用于采集车辆行驶数据；

内部检测模块，用于对预定时间段内采集的人脸图像数据进行检测，提取多个表征眼睑长度和宽度的人眼特征；根据多个人眼特征与眼睛开合度之间的关系获得眨眼次数；根据眨眼次数及单次眨眼过程中眼睛开合度随时间的变化关系获得疲劳度参考值；将疲劳度参考值输入检测模型对疲劳程度进行预测获得疲劳度预测值；在疲劳度预测值处于不同的疲劳等级时，发出与疲劳等级对应的预警信号；

外部检测模块，用于对采集的车辆行驶数据进行处理和计算，获得车辆运动特征；在车辆运动特征超过相应阈值时发出警报信号；

报警器，接收所述警报信号和预警信号，并发出声音、光或振动警报。

本发明提供的异常驾驶的检测方法及装置，通过对人脸图像进行检测，提取多个能表征眼睑长宽参量的人眼特征，通过多个人眼特征获得眼睛开合度，通过眼睛开合度获得眨眼次数，根据眨眼次数及单次眨眼过程中眼睛开合度随时间的变化关系获得闭眼时间占检测时间的比重即疲劳度参考值，在该参考值大于疲劳等级对应的阈值时，发出相应等级的预警信号，以提示驾驶员；相对于现有技术，能够更准确地获取眨眼次数和闭眼时间，疲劳驾驶状态预测更符合实际状况，提高安全系数；***采用内外检测模块相结合，提高异常检测的鲁棒性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。

图1为本发明实施例一提供的异常驾驶的检测方法中采集的人脸图像；

图2为从图1中提取的人眼的六个特征点；

图3为实施例一中眼睛睁开程度随时间的变化关系曲线；

图4为实施例一中疲劳度预测的流程图；

图5为实施例一中车辆行驶预测的流程图；

图6为仿真实验中通过预测模型ARIMA显示疲劳原始数据的分布示意图；

图7为对图6的疲劳原始数据采用ADF检验方法进行平稳性检验的示意图；

图8为对图6所示的原始数据进行一阶差分后进行ADF分析的检测结果图；

图9为图8中一阶差分后的序列数据的自相关图；

图10为图8中一阶差分后的序列数据的偏自相关图；

图11为模型ARIMA(4,1,1)预测示意图；

图12为模型ARIMA(0,1,1)预测示意图；

图13为模型ARIMA(4,1,0)预测示意图；

图14为驾驶员疲劳程度的XGBoost预测对比图；

图15为驾驶员疲劳程度的LSTM预测对比图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明，本发明实施例中所有方向性指示(诸如上、下、左、右、前、后……)仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。

另外，在本发明中如涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

在本发明中，除非另有明确的规定和限定，术语“连接”、“固定”等应做广义理解，例如，“固定”可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接，还可以是物理连接或无线通信连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

另外，本发明各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。

实施例一

如附图4所示，本发明实施例提供一种异常驾驶的检测方法，具体包括如下步骤：

步骤1，对预定时间段内采集的人脸图像数据进行检测，提取多个人眼特征；具体包括：

采用Dlib中基于HOG(方向梯度直方图，Histogram of Oriented Gradient,简称HOG)特征和SVM(支持向量机，Support Vector Machine,简称SVM)算法对人脸图像进行检测，获得若干人脸特征；从若干人脸特征中提取左眼、右眼分别对应的六个特征点，所述六个特征点包括内眼角特征点、外眼角特征点、上眼睑直线两端特征点和下眼睑直线两端特征点。

具体参见S100：人眼检测：本***采用Dlib库中的人脸检测器，Dlib是C++机器学习工具包，目前广泛适用于工业界，具有很高的性能。Dlib人脸检测基于HOG特征和SVM算法，相比较于Opencv的人脸级联检测器算法，其误检率更低，鲁棒性更好，对于各种面部表情以及适当的头部旋转都能很好的进行检测，在相关研究中可以达到超实时性的检测效果。通过Dlib得到人脸的68个特征点，其中左右眼分别对应6个特征点，如图1、图2所示。

步骤2，根据多个人眼特征与眼睛开合度之间的关系获得眨眼次数；根据左眼、右眼对应的六个特征点获得眼睛纵横比；在眼睛纵横比波动范围大于阈值时，判定眼睛闭合。

具体参见S200：眨眼次数检测

图2中6个特征点：内眼角特征点p1、上眼睑直线两端特征点p2、p3、外眼角特征点p4、下眼睑直线两端p5、p6是人脸特征点中对应眼睛的6个特征点。根据人眼的长宽比在眼睛睁开和闭合时会有所差异这一特点，近年来，TerezaSoukupova和Jan Cech提出了眼睛纵横比(EAR)这一概念，成为人眼活动检测的重要指标，其数学表达式为：

其中分子表示眼睛特征点在垂直方向上的距离，分母表示眼睛特征点在水平方向上的距离，当眼睛睁开时EAR会在小范围内进行波动，基本保持不变，当眼睛闭合时EAR数值会迅速下降，从而较为精准的实现眨眼检测。该方法通过人眼关键点获得眼睛的开合程度，利用SVM分类器判别眨眼行为，其中SVM数据集的采集针对各种实际复杂环境采取了不同的面部图像分辨率，保证了检测效果的鲁棒性，由于特征点检测以及SVM算法耗时极短，此方法可实现实时性检测。

步骤3，根据眨眼次数及单次眨眼过程中眼睛开合度随时间的变化关系获得疲劳度参考值；参见S300：Perclos值计算

Perclos测量如图3所示。

其数学表达式为

t2表示眼睛完全睁开到80％睁开时间，t3表示眼睛完全睁开到20％睁开时间，t4表示眼睛完全睁开到闭合再到睁开20％的时间，t6表示眼睛完全睁开到完全闭合再到完全睁开的时间。

在实际操作过程中，对于p80标准，一般采用眼睛闭合时间占时间窗的比例作为perclos参考值。

PERCLOS指时间窗内眼睛闭合时间所占的比例，其常用标准分为p70、p80、EM三种，分别表示眼睑遮住瞳孔面积超过70％、80％以及50％，目前p80是公认最适合疲劳程度衡量标准，该方法由卡内基梅隆研究所提出，被广泛应用于疲劳程度评价。眼睛闭合时间即t4-t3,时间窗时间即t5-t2；

步骤4，将疲劳度参考值输入检测模型对疲劳程度进行预测获得疲劳度预测值；通过LSTM模型对所述疲劳度参考值进行前向传输训练和/或反向传播训练，获得疲劳度预测值；具体参见后面关于LSTM(长短期记忆网络,Long Short-Term Memory,简称LSTM)模型与ARIMA(自回归移动平均模型，Autoregressive Integrated Moving Average Model,简称ARIMA)模型及与Xgboost(算法)模型仿真实验对比结果。

S400：LSTM预测

LSTM模型训练具体可以分为前向传输过程以及反向传播过程。

在LSTM前向传输过程中，首先通过忘记门从模型节点状态中丢弃信息，该门会读取当前时刻的网络输入x_t(样本训练集中的perclos参考值)和上一时刻的隐藏层输出h_t-1，通过一个激活函数，一般是sigmoid，得到忘记门的输出f_t，其值域为[0,1]，作为输入在模型节点状态C_t-1中的数字。

f_t＝σ(W_f*[h_t-1,x_t]+b_f) (4)

其中W_f为忘记门的权重，b_f忘记层为其偏置，σ为sigmoid激活函数。

通过忘记门，模型在进行更新的时候限制其记忆前面疲劳perclos值所有的数据信息，将其中不重要的信息选择性遗忘部分，保留重要的序列信息，比如对最近几分钟的疲劳值记忆比较牢固而对几十分钟之前的记忆相对不牢固，通过这样的结构设计使得模型能够更好的达到长久记忆有效信息的效果。

神经网络分为输入层，隐藏层，输出层，LSTM网络可以看作有很多个这样的结构，比如在模型训练的时候一个perclos输入对应一个疲劳预测值输出，输入层是perclos值的数据，隐藏层是对输入处理后的结果，包含了这个单个训练的信息，通过将一个隐藏层输出连接到下一个隐藏层输入，使得后面的预测可以利用前面很多个这样结构的信息，也就是记忆性。而不是单一的只用到单次输入的信息；并不是要将前面所有时间的疲劳值都用上，这样记忆性不好，记忆时间不长。f_t是一个0-1之间的数，比如传进来100条信息，f_t＝0.8,那么只保留80条信息；C表示节点状态，是贯穿在整个LSTM网络模型之中，可以看作是之前逐渐累积的记忆信息，比如C_t-2传到C_t-1，C_t-1经过遗忘一部分信息，再新增一部分信息再传到下一个网络节点C_t；

接下来是通过输入门获得模型节点状态的输入信息，输入门由两部分组成，第一部分通过sigmoid函数决定要更新的值i_t，第二部分使用tanh函数生成输出

b_i为输入层偏置；两者结果乘积用来更新模型节点的状态。

i_t＝σ(W_f·[h_t-1,x_t]+b_i) (5)

最后更新输出门的状态，其更新由两部分组成，第一部分o_t由上一序列隐藏层输出h_t-1以及本序列输入x_t经过激活函数σ得到，第二部分由隐藏层状态C_t和激活函数tanh得到，两部分乘积得到最终的输出结果。

o_t＝σ(W_o*[h_t-1,x_t]+b_i) (7)

h_t＝tanh(C_t)*o_t (8)

乘积的输出结果即为h_t，为隐藏层输出，h_t与下一个时刻模型输入x_t共同作为下一个时刻模型隐藏层的输入。最后预测的结果就是通过隐藏层到达输出层进行预测，这里的隐藏层会用到上一个隐藏层的信息，所以会有h_t在模型之间的输入输出。

在一具体实施例中，如输入perclos值为0.1，前向传播相当于训练了一个较为复杂的函数f，输入值经过这个f函数得到预测perclos输出值，比如为0.2，前向传播训练函数的计算结果，但是实际可能输出值为0.12，此时模型并没训练好，需要通过反向传播的过程再次训练这个函数f。

在LSTM反向传播过程中采用的是时间梯度下降算法(基于时间的反向传播算法,Back Propagation Trough Time,简称BPTT)，输入训练样本经正向传播过程在t时刻得到神经网络的输出，根据输出值与实际值的误差得到损失函数L(t)，从t＝T开始，逐层反向计算梯度。损失函数L(t)由两部分组成，一部分是在时刻t的损失l(t),另一部分是在时刻t之后损失L(t+1),数学表达式为：

于隐藏层的状态h_t与C_t，定义δh与δ_c，在时刻τ，此时有

接下来由δ_h(t+1)，δ_c(t+1)反向推导δ_h(t)，δ_c(t)，其中δ_h(t)的梯度由本层t时刻输出梯度误差以及大于t时刻误差两部分决定。

通过δ_h(t)，δ_c(t)，可计算反向传播中各梯度参数。

在一具体实施例中，比如开始训练模型时，输入perclos值是0.1，经过一个类似函数的模型参数，输出预测值为0.2，相差0.1，误差相对误差要求较大，那么反向传播的作用就是将这个误差值0.1返回去更新模型的训练参数，使得这个函数模型变得更好，下一次预测可能就变成0.15，再下一次变成0.11这样依次下去，反向传播是前向传播的逆过程，将误差一层层的梯度根据链式法则传导下去，直到达到要求。

S500：疲劳程度阈值、发出预警

LSTM预测得出驾驶员疲劳程度Perclos值，根据Perclos值将疲劳程度分级，对于达到异常疲劳程度阈值的情况，发出预警。

一种驾驶异常的检测方法及装置软件推荐***，包括：

外部的驾驶轨迹检测模块，用于检测车辆运动轨迹异常信息。

内部人脸异常状态检测模块，用于检测驾驶员面部驾驶异常信息。

步骤5，在疲劳度预测值处于不同的疲劳等级时，发出与疲劳等级对应的预警信号。

在疲劳预设值超过一级疲劳阈值时，发出一级预警信号；

在疲劳预设值超过二级疲劳阈值时，发出二级预警信号。

为提高本方案检测的鲁棒性和安全系数，还包括以下对于车辆行驶轨迹进行外部检测的步骤：

步骤101，对采集的车辆行驶数据进行处理和计算，获得车辆运动特征；

步骤102，在车辆运动特征超过相应阈值时发出警报信号。

需要说明的是，该外部检测步骤与上述的疲劳驾驶步骤1～5可同时进行，并不发生冲突。无论哪个检测流程发出预警信号，报警器均会报警。

具体参见图5，为一个外部驾驶轨迹检测的流程图。该方法包括：

S10：车辆行驶信息采集。

通过采集设备采集车辆实时轨迹数据，包括GPS车辆速度、加速度、经度、纬度，对采集数据进行清洗。

S20：汽车运动特征。

根据清洗后的采集数据计算得到汽车运动特征平均速度、平均行驶速度、平均加速度、平均减速度。

S30：危险程度判别。

通过将计算的汽车运动参数与对应阈值相比较，超过相应阈值即发出预警。

(3)本发明的技术效果

采用上述提出的检测方法及装置，能够从外部及内部综合对驾驶异常进行评估，使得异常驾驶检测更具有鲁棒性，提高驾驶安全系数。

本文模型首先通过人眼特征点检测获取EAR眨眼原始数据，计算反映驾驶员疲劳程度Perclos值，对初始的Perclos值进行数据预处理，对其进行归一化操作,本文实时采集驾驶员100min驾驶信息，设定Perclos时间窗为20s，通过look_back值指定前t个时刻的Perclos时间序列数据作为样本的输入x_t，第(t+1)个时刻的Perclos数据作为该样本的输出f_t，依次进行顺延,通过指定不同的look_back值，对模型进行不同的比较。本实验通过人眼检测算法获取了时间窗内的Perclos值，本次实验设计时间窗为20s，实时采集驾驶员100min驾驶信息，得到眨眼数据1200条，Perclos实验数据320条。首先对输入数据进行预处理，将数据进行归一化，采用0-1标准化从而更好地发挥神经网络的性能，数学表达式为：

其将原始数据归一化0-1，其中X_min为样本数据最小值，X_max为样本数据最大值，X^*为样本数据归一化之后的值，得到输出数据后可将结果进行反归一化。方法对比时序数据预测常用经典模型为ARIMA对于经典序列预测模型ARIMA，首先通过绘制时序图，查看原始数据的大概分布，如图6所示，其中横坐标为数据时间序列号，纵坐标为Perclos值。

对原始数据采用ADF(augmented Dickey–Fuller test，单位根检验，简称ADF)检验方法进行平稳性检验，结果如图7及表1所示：

表1原始数据ADF检验结果

图7中，虚线线条表示原始数据，黑色线条表示原始数据滚动均值，灰色线条表示原始数据滚动标准差。从表1中得到p值为0.836523，表示数据非平稳，对原始数据进行一阶差分后进行ADF分析，检测结果如图8及表2所示。

表2一阶差分数据ADF检验结果

检验项	检验结果
		Test Statistic	-7.150209e+00
p-value	3.155518e-10
		Critical Value(1％)	3.452411e+00
Critical Value(10％)	2.571947e+00
		Critical Value(5％)	2.871255e+00

图8中，虚线线条表示一阶差分数据，黑色线条表示一阶差分数据滚动均值，灰色线条表示一阶差分数据滚动标准差。从表2中可以得到此时p值为3.155518e-10，一阶差分后的序列为平稳时序序列，数据在99％的置信度上是可信的。利用自相关图和偏自相关图确定ARMA的阶数，如图9及图10所示。

由图9及图10可以得到p＝4,q＝1,为了突出差别，可以选择模型ARIMA(4，1，1)或(0，1，1)或(4，1，0)对模型进行预测比较，将数据分为训练集和测试集，其中前2/3属于训练集，后1/3属于测试集。为检验各分量以及最终预测结果，本文引入均方根误差对预测效果进行评价，它是预测值和真实值偏差的平方与预测检验个数n比值的平方根，对一组测量中的特大或特小误差反应非常敏感，所以均方根误差可以很好的反映出预测的精确度。其数学表达式为：

RMSE值越小，表示预测准确度越高。预测结果如图11-13所示。

由程序运行结果可以得到RMSE损失分别为0.0289，0.0302，0.0302，因此最优模型为ARIMA(4,1,1),此时模型预测RMSE损失为0.0289。

相比较于经典时序预测模型ARIMA，XGBoost作为集成学习的代表近年来在分类以及回归问题上成为研究的热点，Boosting方法是一种用来提高弱分类算法准确度的方法，通过构造一系列的预测列表，然后以一定的方式将他们组成一个预测函数。

在实际运用中，需要对XGBoost模型超参数进行调参，利用sklearn模块中GridSearchCV模块能够实现在指定的范围内自动搜索具有不同超参数的组合模型，模型参数最终设定为n_estimators＝50，min_child_weight＝5，sunsample＝0.8，gamma＝0，learning_rate＝0.15，colsample_bytree＝0.7，reg_alpha＝2，reg_lambda＝1，得到预测结果如图14所示。虚线线条为输入的疲劳值，实线线条为模型输出的疲劳测试值。

模型采用RMSE作为损失函数，RMSE损失为0.0450。

本文利用深度学习框架keras构建LSTM模型，输入层为1个输入，隐藏层为5个神经单元，输出层为全连接层，迭代次数为100轮，初始look_back设置为3，学习率为0.001，beta_1＝0.9，beta_2＝0.999，采用adam优化方法，利用梯度的一阶矩估计和二阶矩估计动态调整每个参数的学习率，使用均方误差(RMSE)作为损失函数。

将数据分为训练集和测试集，其中前2/3属于训练集，后1/3属于测试集，得到预测数据如图15所示，驾驶员疲劳程度的LSTM预测对比图；

可以得到疲劳程度随时间递增的变化规律。蓝色数据为采集原始疲劳程度Perclos曲线，绿色数据为训练集上的预测数据曲线，红色数据为测试集上的预测数据曲线，最终在训练集上的损失为0.0061时，模型收敛到终止条件，最终在测试集上损失为0.0157RMSE。

对于不同的look_back设置，测试集上损失值会有所差异，对比结果如表3所示。

表3不同look_back下均方根误差损失

由表3可以看出，look_back值不断增大，模型测试集损失也逐渐减小，当look_back值为9时，测试集误差开始增大，表示模型开始出现过拟合，因此最优模型为look_back值为7时，此时测试集上预测损失为0.00142。

相比较于经典预测模型ARIMA以及集成模型XGBoost，本文中LSTM网络表现出更优的预测效果，预测结果对比如表4。

表4 ARIMA、XGBoost与LSTM模型预测结果对比

实验模型	测试集(RMSE)
		ARIMA(4，1，1)模型	0.0289
ARIMA(0，1，1)模型	0.0302
		ARIMA(4，1，0)模型	0.0302
XGBoost模型	0.0450
		LSTM模型(look_back＝1)	0.0167
LSTM模型(look_back＝3)	0.0157
		LSTM模型(look_back＝5)	0.0149
LSTM模型(look_back＝7)	0.0142
		LSTM模型(look_back＝9)	0.0161

上述实验表明，相比较于经典预测模型ARIMA以及集成模型XGBoost，LSTM神经网络在疲劳程度时间序列数据预测中表现出较强的拟合能力和泛化能力，对于疲劳程度的预测起到了较好的效果，可以有效降低虚警。当预测的疲劳程度大于疲劳阈值时，即可实现提前预警。

实施例二

基于上述检测方法的实施例一，本发明实施例还提供一种异常驾驶的检测装置，包括：

摄像头，用于采集人脸图像；

传感器，用于采集车辆行驶数据；包括GPS车辆速度、加速度、经度、纬度；

内部检测模块，与摄像头及报警器相连，用于对预定时间段内采集的人脸图像数据进行检测，提取多个人眼特征；根据多个人眼特征与眼睛开合度之间的关系获得眨眼次数；根据眨眼次数及单次眨眼过程中眼睛开合度随时间的变化关系获得疲劳度参考值；将疲劳度参考值输入检测模型对疲劳程度进行预测获得疲劳度预测值；在疲劳度预测值处于不同的疲劳等级时，发出与疲劳等级对应的预警信号；

外部检测模块，与传感器及报警器相连，用于对采集的车辆行驶数据进行处理和计算，获得车辆运动特征；在车辆运动特征超过相应阈值时发出警报信号；

报警器，接收所述预警信号和警报信号，并发出声音、光或振动警报。

包括两个模块，一个是外部的驾驶轨迹检测模块，一个是内部人脸异常状态检测模块。外部驾驶轨迹检测模块通过采集车辆实时轨迹数据，包括GPS车辆速度、加速度、经度、纬度，计算获取相关轨迹数据平均值，得到平均速度、平均行驶速度、平均加速度、平均减速度从而反映汽车的运动特征；通过将车辆运动特征参数与阈值相比较，确定驾驶行为危险程度级别；在驾驶行为危险程度级别属于异常驾驶时发出异常驾驶行为警报。内部人脸异常状态检测模块包括人脸特征点检测、眨眼次数检测、Perclos计算，LSTM预测四个流程，通过检测装置检测出人眼特征点，监测眼睛眨眼次数，对一定时间里的眨眼时间计算得到驾驶员疲劳程度Perclos值，将Perclos值输入LSTM网络，预测驾驶员疲劳程度，根据疲劳程度等级，在驾驶行为危险程度属于异常疲劳驾驶时提出警报。

以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是在本发明的发明构思下，利用本发明说明书及附图内容所作的等效结构变换，或直接/间接运用在其他相关的技术领域均包括在本发明的专利保护范围内。

Claims (10)

1.一种异常驾驶的检测方法，其特征在于，包括：

对预定时间段内采集的人脸图像数据进行检测，提取多个表征眼睑长度和宽度的人眼特征；

根据多个人眼特征与眼睛开合度之间的关系获得眨眼次数；

根据眨眼次数及单次眨眼过程中眼睛开合度随时间的变化关系获得疲劳度参考值；

将疲劳度参考值输入检测模型对疲劳程度进行预测获得疲劳度预测值；

在疲劳度预测值处于不同的疲劳等级时，发出与疲劳等级对应的预警信号。

2.如权利要求1所述的异常驾驶的检测方法，其特征在于，所述对预定时间段内采集的人脸图像数据进行检测，提取人眼的特征的步骤包括：

采用Dlib中基于HOG特征和SVM算法对人脸图像进行检测，获得若干人脸特征；

从若干人脸特征中提取左眼、右眼分别对应的六个特征点，所述六个特征点包括内眼角特征点、外眼角特征点、上眼睑直线两端特征点和下眼睑直线两端特征点。

3.如权利要求2所述的异常驾驶的检测方法，其特征在于，所述根据人眼特征获得眨眼次数的步骤包括：

根据左眼、右眼对应的六个特征点获得眼睛纵横比；

在眼睛纵横比波动范围小于阈值时，判定眼睛闭合。

4.如权利要求3所述的异常驾驶的检测方法，其特征在于，所述根据眨眼次数获得疲劳度参考值的步骤包括：

单次疲劳度参考值数学表达式为：

t2表示眼睛完全睁开到80％睁开时间，t3表示眼睛完全睁开到20％睁开时间，t4表示眼睛完全睁开到闭合再到睁开20％的时间，t6表示眼睛完全睁开到完全闭合再到完全睁开的时间；

采用眼睛闭合时间占时间窗的比例作为perclos参考值：

这里眼睛闭合时间为：t4-t3,时间窗为：t5-t2。

5.如权利要求4所述的异常驾驶的检测方法，其特征在于，所述将疲劳度参考值输入检测模型对疲劳程度进行预测获得疲劳度预测值的步骤包括：

通过LSTM模型对所述疲劳度参考值进行前向传输训练和反向传播训练，获得疲劳度预测值。

6.如权利要求5所述的异常驾驶的检测方法，其特征在于，所述前向传输训练的步骤包括：

通过忘记门从LSTM模型节点状态中丢弃信息，忘记门读取当前时刻的网络输入x_t和上一时刻的隐藏层输出h_t-1，通过sigmoid激活函数得到忘记门的输出f_t，其值域为[0,1]，作为输入在LSTM模型上一时刻节点状态C_t-1中的数值：

f_t＝σ(W_f*[h_t-1,x_t]+b_f) (4)

其中W_f为忘记门的权重，b_f为忘记层偏置，σ为sigmoid激活函数；

通过输入门获得LSTM模型节点状态的输入信息，输入门包括两部分，第一部分通过sigmoid激活函数决定要更新的值i_t，第二部分使用取值范围在-1～1之间的tanh激活函数生成输出值

两者结果乘积用来更新模型节点的状态C_t：

i_t＝σ(W_f·[h_t-1,x_t]+b_i) (5)

其中，b_i为输入层偏置，W_a为模型训练的参数矩阵，b_a为模型训练的偏置；

更新输出门的状态，更新包括两部分，第一部分o_t由上一序列隐藏层输出h_t-1以及本序列输入x_t经过取值范围在0～1之间的激活函数σ得到，第二部分由隐藏层状态C_t和tanh激活函数得到，两部分乘积得到最终的输出结果h_t：

o_t＝σ(W_o*[h_t-1,x_t]+b_i) (7)

h_t＝tanh(C_t)*o_t (8)

7.如权利要求5所述的异常驾驶的检测方法，其特征在于，所述反向传播训练的步骤包括：

采用时间梯度下降算法BPTT，输入训练样本经正向传播过程在t时刻得到神经网络的输出，根据输出值与实际值的误差得到损失函数L(t)，从t＝τ开始，逐层反向计算梯度；

损失函数L(t)包括两部分，一部分是在时刻t的损失l(t),另一部分是在时刻t之后损失L(t+1),数学表达式为：

于隐藏层的状态h_t与C_t，定义δ_h与δ_c，δ_h为误差反向传播到ht时候的梯度，δ_c为误差反向传播到细胞节点C_t的梯度，L为输出值与实际值的损失函数，O为输出层的输出，h为隐藏层输出，c为节点输出C，在时刻τ，此时有：

由δ_h(t+1)，δ_c(t+1)反向推导δ_h(t)，δ_c(t)，其中δ_h(t)的梯度由本层t时刻输出梯度误差以及大于t时刻误差两部分确定：

通过δ_h(t)，δ_c(t)，获得反向传播中各梯度参数。

8.如权利要求6或7所述的异常驾驶的检测方法，其特征在于，在疲劳度预测值处于不同的疲劳等级时，发出与疲劳等级对应的预警信号的步骤包括：

在疲劳预设值超过一级疲劳阈值时，发出一级预警信号；

在疲劳预设值超过二级疲劳阈值时，发出二级预警信号。

9.如权利要求1～7任一项的所述的异常驾驶的检测方法，其特征在于，还包括：

对采集的车辆行驶数据进行处理和计算，获得车辆运动特征；

在车辆运动特征超过相应阈值时发出警报信号。

10.一种异常驾驶的检测装置，其特征在于，包括：

摄像头，用于采集人脸图像；

传感器，用于采集车辆行驶数据；

内部检测模块，用于对预定时间段内采集的人脸图像数据进行检测，提取多个表征眼睑长度和宽度的人眼特征；根据多个人眼特征与眼睛开合度之间的关系获得眨眼次数；根据眨眼次数及单次眨眼过程中眼睛开合度随时间的变化关系获得疲劳度参考值；将疲劳度参考值输入检测模型对疲劳程度进行预测获得疲劳度预测值；在疲劳度预测值处于不同的疲劳等级时，发出与疲劳等级对应的预警信号；

外部检测模块，用于对采集的车辆行驶数据进行处理和计算，获得车辆运动特征；在车辆运动特征超过相应阈值时发出警报信号；

报警器，接收所述预警信号和警报信号，并发出声音、光或振动警报。

Images