CN111882827A - 一种疲劳驾驶监测方法、***、装置和可读存储介质 - Google Patents

Abstract

本发明属于疲劳驾驶监测和交通安全领域，尤其是涉及一种疲劳驾驶监测方法、***、装置和可读存储介质，其方法包括：根据实时采集的视频数据，获得用于描述驾驶员的多个视频帧；并从所述多个视频帧中，分别获得驾驶员的多个脸部数据；再根据所述多个脸部数据，在第一疲劳判定算法的基础上，得到第一判定结果；接着从所述多个视频帧中，分别获得驾驶员的多个姿态数据；之后根据所述多个姿态数据，在第二疲劳判定算法的基础上，得到第二判定结果；当所述第一判定结果和所述第二判定结果中的任意一个指示驾驶员疲劳驾驶时，生成疲劳警告。其能降低疲劳驾驶的监测成本，同时提高监测结果的准确性和时效性。

Description

一种疲劳驾驶监测方法、***、装置和可读存储介质

技术领域

本发明属于疲劳驾驶监测和交通安全领域，尤其是涉及一种疲劳驾驶监测方法、***、装置和可读存储介质。

背景技术

疲劳驾驶会影响驾驶员对外界的注意力、感知力、判断力和运动力，极易导致交通事故。据统计，由疲劳驾驶导致的交通事故比例为道路交通事故的20％～30％。因为产生疲劳驾驶的原因是多方面的，特别是生理和心理方面，所以它是很难被及时察觉和准确检测的，并且不易控制。因此，需要对驾驶员的驾驶状态作实时监测，以便在驾驶员进入疲劳状态时，及时对驾驶员发出警告。

就对驾驶员当前驾驶状态的监测工作而言，相关技术所提供的方法是，通过多种传感器对车辆行为进行监测，来获得车辆行驶过程中的行驶路线、车速、方向盘转动幅度等信息，从而间接完成对驾驶员当前驾驶状态的监测工作。

因为相关技术所提供方法需要在车辆上加装多种传感器，所以监测成本较高；同时由于被监测主体为车辆而非驾驶员，所以监测结果的准确性和时效性较差。

发明内容

针对相关技术存在的不足，本发明提供一种疲劳驾驶监测方法、***、装置和可读存储介质，其能降低疲劳驾驶的监测成本，同时提高监测结果的准确性和时效性。

本发明的上述发明目的是通过以下技术方案得以实现的：

第一方面：本发明实施例提供了一种疲劳驾驶监测方法，该方法包括

根据实时采集的视频数据，获得用于描述驾驶员的多个视频帧；

从所述多个视频帧中，分别获得驾驶员的多个脸部数据；

根据所述多个脸部数据，在第一疲劳判定算法的基础上，得到第一判定结果；

从所述多个视频帧中，分别获得驾驶员的多个姿态数据，所述姿态数据用于描述驾驶员的骨骼姿态；

根据所述多个姿态数据，在第二疲劳判定算法的基础上，得到第二判定结果；

若所述第一判定结果和所述第二判定结果中的任意一个指示驾驶员疲劳驾驶，则生成疲劳警告。

相较于利用多种传感器对车辆行为进行监测，来间接监测驾驶员当前驾驶状态的方式，通过采集并分析驾驶员驾驶过程中的视频数据，来对驾驶员当前的驾驶状态进行直接监测的方式，由于省却了多种的传感器安装和维护费用，所以使得疲劳驾驶的监测成本有所降低；

同时因为本申请所提供的方法是直接对驾驶员的当前驾驶状态进行监测，故而监测结果的时效性和准确性也会有所提高；

还因为本申请所提供的方法综合利用了驾驶员姿态和脸部两方面的信息，所以能降低驾驶员姿态或脸部信息无法被识别的几率，这能进一步提高监测结果的准确性。

可选的，所述根据所述多个脸部数据，在第一疲劳判定算法的基础上，得到第一判定结果包括：

通过第一疲劳判定算法，对所述多个脸部数据分别进行识别，得到与所述多个脸部数据一一对应的多个脸部识别结果；所述脸部识别结果包括疲劳状态或正常状态；

将所述多个脸部识别结果存入预设的缓存队列中；

判断所述缓存队列中，疲劳状态的脸部识别结果在所有脸部识别结果中的比例是否大于预设的警戒阈值，并得到第一判定结果。

可选的，所述将所述多个脸部识别结果存入预设的缓存队列中之前，所述方法还包括：

根据容量计算公式设置实际总容量，所述实际总容量用于描述所述缓存队列使用时的容量；

根据所述实际总容量，生成所述缓存队列。

可选的，所述容量计算公式为：N=M1+M2；

其中，N为所述缓存队列的实际总容量，M1为所述缓存队列预设的初始容量，M1是正整数；M2为所述缓存队列容量的调整值，M2是绝对值小于M1的整数。

可选的，所述警戒阈值的计算公式为：K=0.2N；

其中，K为所述警戒阈值，N为所述缓存队列的实际总容量。

可选的，所述从所述多个视频帧中，分别获得驾驶员的多个姿态数据；根据所述多个姿态数据，在第二疲劳判定算法的基础上，得到第二判定结果包括：

根据所述多个视频帧和特征提取算法，分别获得驾驶员的多个姿态数据；

根据多个姿态数据和预先训练好的第二疲劳判定算法，获得第二判定结果。

可选的，所述第二疲劳判定算法的训练过程可以为：

从训练视频中，获得多个疲劳视频帧；所述疲劳视频帧用于描述驾驶员处于疲劳驾驶；

根据adaboost算法，构建第二疲劳判定算法；

从所述多个疲劳视频帧中，分别获得驾驶员的多个疲劳姿态数据；所述疲劳姿态数据用于描述驾驶员疲劳驾驶时的骨骼姿态；

根据所述多个疲劳姿态数据，对第二疲劳判定算法进行训练。

第二方面，一种疲劳驾驶监测设备，该设备包括：

采集模块，用于实时采集视频数据；

处理模块，用于根据所述视频数据，获得用于描述驾驶员的多个视频帧；

所述处理模块还用于，从所述多个视频帧中，分别获得驾驶员的多个脸部数据；

所述处理模块还用于，从所述多个视频帧中，分别获得驾驶员的多个姿态数据，所述姿态数据用于描述驾驶员的骨骼姿态；

判定模块，用于根据所述多个脸部数据，在第一疲劳判定算法的基础上，得到第一判定结果；

所述判定模块还用于，根据所述多个姿态数据，在第二疲劳判定算法的基础上，得到第二判定结果；

警告模块，用于在所述第一判定结果和所述第二判定结果中的任意一个指示驾驶员疲劳驾驶时，生成疲劳警告。

第三方面，一种疲劳驾驶监测***，该***包括：

采集装置，用于实时采集视频数据；

处理装置，用于根据所述视频数据，获得用于描述驾驶员的多个视频帧；

所述处理装置还用于，从所述多个视频帧中，分别获得驾驶员的多个脸部数据；

所述处理装置还用于，从所述多个视频帧中，分别获得驾驶员的多个姿态数据，所述姿态数据用于描述驾驶员的骨骼姿态；

判定装置，用于根据所述多个脸部数据，在第一疲劳判定算法的基础上，得到第一判定结果；

所述判定装置还用于，根据所述多个姿态数据，在第二疲劳判定算法的基础上，得到第二判定结果；

警告装置，用于在所述第一判定结果和所述第二判定结果中的任意一个指示驾驶员疲劳驾驶时，生成疲劳警告。

第四方面，一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序包括程序指令，该程序指令被处理器执行时实现如上述第一方面所述的疲劳驾驶监测方法。

本申请提供了一种疲劳驾驶监测方法、***、装置和可读存储介质，其包括：根据实时采集的视频数据，获得用于描述驾驶员的多个视频帧；从所述多个视频帧中，分别获得驾驶员的多个脸部数据；根据所述多个脸部数据，在第一疲劳判定算法的基础上，得到第一判定结果；从所述多个视频帧中，分别获得驾驶员的多个姿态数据，所述姿态数据用于描述驾驶员的骨骼姿态；根据所述多个姿态数据，在第二疲劳判定算法的基础上，得到第二判定结果；若所述第一判定结果和所述第二判定结果中的任意一个满足预设条件，则生成疲劳警告。

本申请所提供技术方案达到的有益效果是：通过实时监测驾驶员的脸部数据和姿态数据的方式，降低了疲劳驾驶的监测成本，同时提高了监测结果的准确性和时效性。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例一提供的一种疲劳驾驶监测方法的流程图；

图2是本申请实施例二提供的一种疲劳驾驶监测方法的流程图；

图3是本申请实施例二提供的用于说明缓存区长度和延迟时间之间关系的示意图；

图4是本申请实施例三提供的一种疲劳驾驶监测装置的结构示意图；

图5是本申请实施例四提供的一种疲劳驾驶监测***的示意图。

具体实施方式

以下结合附图对本发明作进一步详细说明。

为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

实施例一：

参照图1，为本申请公开的一种疲劳驾驶监测方法，具体包括如下步骤：

101、根据实时采集的视频数据，获得用于描述驾驶员的多个视频帧。

102、从多个视频帧中，分别获得驾驶员的多个脸部数据。

103、根据多个脸部数据，在第一疲劳判定算法的基础上，得到第一判定结果。

具体的，通过第一疲劳判定算法，对多个脸部数据分别进行识别，得到与多个脸部数据一一对应的多个脸部识别结果；脸部识别结果包括疲劳状态或正常状态；

将多个脸部识别结果存入预设的缓存队列中；

判断上述缓存队列中，疲劳状态的脸部识别结果在所有脸部识别结果中的比例是否大于预设的警戒阈值，并得到第一判定结果。

可选的，上述缓存队列的设置过程可以为：

根据容量计算公式设置缓存队列的实际总容量，该实际总容量用于描述缓存队列使用时的容量；

根据实际总容量，生成缓存队列。

可选的，上述步骤中的容量计算公式可以为：N=M1+M2；

在上述容量计算公式中，N为缓存队列的实际总容量，M1为缓存队列预设的初始容量，M1是正整数；M2为缓存队列容量的调整值，M2是绝对值小于M1的整数。

可选的，上述步骤中，警戒阈值的计算公式可以为：K=0.2N；

在上述警戒阈值的计算公式中，K为警戒阈值，N为缓存队列的实际总容量。

104、从步骤101所获得的多个视频帧中，分别获得驾驶员的多个姿态数据，并根据多个姿态数据，在第二疲劳判定算法的基础上，得到第二判定结果。

具体的，姿态数据用于描述驾驶员的骨骼姿态；步骤104所述的过程可以为：

根据多个视频帧和特征提取算法，分别获得驾驶员的多个姿态数据；

根据多个姿态数据和预先训练好的第二疲劳判定算法，获得第二判定结果。

其中，第二疲劳判定算法的训练过程可以为：

从训练视频中，获得多个疲劳视频帧；疲劳视频帧用于描述驾驶员处于疲劳驾驶；

根据adaboost（自适应增强，adaptive boosting）算法，构建第二疲劳判定算法；

从多个疲劳视频帧中，分别获得驾驶员的多个疲劳姿态数据；疲劳姿态数据用于描述驾驶员疲劳驾驶时的骨骼姿态；

根据多个疲劳姿态数据，对第二疲劳判定算法进行训练。

需要说明的是，步骤102至步骤103是获取第一判定结果的过程，步骤104是获取第二判定结果的过程，第一判定结果的获取过程和第二判定结果的获取过程为并行过程。

105、若第一判定结果和第二判定结果中的任意一个指示驾驶员疲劳驾驶，则生成疲劳警告。

实施例二：

本申请实施例提供了一种疲劳驾驶监测方法，参照图2所示，该方法包括：

201、根据实时采集的视频数据，获得用于描述驾驶员的多个视频帧。

具体的，实时采集驾驶员在驾驶过程中的视频数据；

按时间序列，对该视频数据进行识别，并获得多个视频帧；其中，视频帧包括用于描述驾驶员的脸部图像和身体图像；该识别过程可以是：

对视频数据进行人脸识别，得到多个包括驾驶员脸部图像的视频帧；该识别过程可以是通过面向人脸识别的深度识别算法实现的，本发明实施例对具体的的深度识别算法不加以限定；

对多个包括驾驶员面部图像的视频帧进行身体图像识别，得到该多个视频帧；该识别过程可以是通过面向人脸识别的深度识别算法实现的，本发明实施例对具体的的深度识别算法不加以限定。

在实际应用中，用于实时采集视频数据的设备可以是Kinect，也可以是配置摄像模块和数据传输模块的车载摄像头等，还可以是其他配置摄像模块和数据传输模块的设备，本申请实施例对具体的用于实时采集视频数据的设备不加以限定。

202、从多个视频帧中，分别获得驾驶员的多个脸部数据。

具体的，脸部数据包括驾驶员的眼部特征数据和驾驶员的嘴部特征数据；

根据Kinect所配置的人脸识别算法，从多个视频帧中，分别获得每个视频帧所对应的眼部特征数据和嘴部特征数据；眼部特征数据用于描述驾驶员的眼部特征，嘴部特征数据用于描述驾驶员的嘴部特征。

人在疲倦时，受大脑神经支配，会通过打呵欠的方式来进行深呼吸活动；在打呵欠的过程中，人的双眼通常会处于闭合状态，而人的嘴巴则处于张开的状态；基于上述原因，便可以在驾驶过程中，通过驾驶员的眼部特征和嘴部特征，来判断驾驶员是否处于打呵欠的过程；若驾驶员处于打呵欠的过程，则推定驾驶员当前处于疲劳驾驶的状态；若驾驶员未处于打呵欠的过程，则推定驾驶员当前处于正常驾驶的状态。

203、通过第一疲劳判定算法，对多个脸部数据分别进行识别，得到与多个脸部数据一一对应的多个脸部识别结果。

具体的，脸部识别结果包括疲劳状态或正常状态；

2031、根据步骤202所获得的眼部特征数据，在第一疲劳判定算法的基础上，获得用于描述驾驶员眼部开合情况的眼部张开距离，并判断该眼部张开距离是否大于闭眼阈值，若是，则执行步骤2032；否则，则执行步骤2033；

其中，闭眼阈值为描述驾驶员眼部开合情况的临界值，当驾驶员眼部张开距离大于闭眼阈值，则判定驾驶员眼部处于张开状况；当驾驶员眼部张开距离小于闭眼阈值，则判定驾驶员眼部处于闭合状态；在实际应用中，该第一疲劳判定算法可以是应用于人眼定位的深度识别算法，本申请对该深度识别算法的训练过程不加以限定；

2032、根据步骤202所获得的嘴部特征数据，在第一疲劳判定算法的基础上，获得用于描述驾驶员嘴部开合情况的嘴部张开距离，并判断该嘴部张开距离是否小于闭嘴阈值，若是，则执行步骤2034；否则，则执行步骤2033；

其中，闭嘴阈值为描述驾驶员嘴部开合情况的临界值，当驾驶员嘴部张开距离大于闭嘴阈值，则判定驾驶员嘴部处于张开状态；当驾驶员嘴部张开距离小于闭嘴阈值，则判定驾驶员嘴部处于闭合状态；在实际应用中，该第一疲劳判定算法可以是应用于嘴巴定位的深度识别算法，本申请对该深度识别算法的训练过程不加以限定；

2033、判定该脸部数据所对应的脸部识别结果为正常状态；

2034、判定该脸部数据所对应的脸部识别结果为疲劳状态；

对任意一个脸部数据执行步骤2031-步骤2034的操作，对下一个脸部数据同样执行步骤2031-步骤2034的操作，直至上述多个脸部数据均获得其所对应的脸部识别结果。

204、根据容量计算公式，设置缓存队列的实际总容量，并根据该实际总容量，生成缓存队列。

具体的，通过容量计算公式，获得缓存队列的实际总容量；该缓存队列用于存储步骤203所获得的多个脸部识别结果，而实际总容量则是该缓存队列使用时的容量；

根据上述实际总容量，生成缓存队列。

示例性地，假定通过容量计算公式获得的实际总容量为N，则生成N个用于存储步骤203所获得脸部识别结果的数据节点，并令第一个数据节点的顺时针方向和第二个数据节点的逆时针方向相连，第二个数据节点的顺时针方向和第三个数据节点的逆时针方向相连……，第N-1个节点的顺时针方向和第N个节点的逆时针方向相连，第N个节点的顺时针方向和第一个节点的逆时针方向相连，N个数据节点首尾相连成环，便生成了用于存储步骤203所获得多个脸部识别结果的缓存队列，且该缓存队列为环形队列。

其中，容量计算公式可以为：N=M1+M2；

在上述容量计算公式中，N为缓存队列的实际总容量，该实际总容量用于描述缓存队列使用时的容量；M1为缓存队列预设的初始容量，M1是正整数；M2为缓存队列容量的调整值，M2是绝对值小于M1的整数。

需要说明的是，步骤204可以在步骤203和步骤205之间执行，也可以与步骤201同步执行，还可以在步骤201或步骤202之后执行，本申请实施例对步骤204的执行顺序并不加以限定。

205、将步骤203所获得的多个脸部识别结果，存入步骤204所生成的缓存队列中，随后判断该缓存队列中，疲劳状态的脸部识别结果在所有脸部识别结果中的比例是否大于预设的警戒阈值，并得到第一判定结果。

具体的，

2051、将步骤203所获得的多个脸部识别结果，按时间序列，依次存入步骤204所生成的缓存队列中；当该缓存队列处于队满状态以后，根据FIFO（先入先出，First Input FirstOutput）原则，把缓存队列中最先存入的脸部识别结果舍弃，并将新的脸部识别结果存入该被舍弃脸部识别结果原先所在的数据节点；

示例性的，假定上述缓存队列的实际总容量N等于100，且该缓存队列由有序连接的数据节点N1、数据节点N2、数据节点N3......数据节点N99、数据节点N100共同构成；并令数据节点N1为缓存队列中最先存入脸部识别结果的数据节点；

而根据步骤203所获得的多个脸部识别结果分别为：脸部识别结果a1、脸部识别结果a2、脸部识别结果a3......脸部识别结果a99、脸部识别结果a100、脸部识别结果a101以及脸部识别结果a102；

则脸部识别结果a1会被存入数据节点N1中，脸部识别结果a2会被存入数据节点N2中......脸部识别结果a99会被存入数据节点N3中，脸部识别结果a100会被存入数据节点N100中，此时该缓存队列处于队满状态；

当该缓存队列存入脸部识别结果a101时，根据FIFO原则，该缓存队列会先将数据节点N1中所存储的脸部识别结果a1舍弃，再把脸部识别结果a101存入数据节点N1当中；

同样的，当该缓存队列继续存入脸部识别结果a102时，根据FIFO原则，该缓存队列会先将数据节点N2中所存储的脸部识别结果a2舍弃，再把脸部识别结果a102存入数据节点N2当中；

若存在位于脸部识别结果a102之后的其他脸部识别结果，也将依照上述方式有序存入该缓存队列中；

2052、当缓存队列处于队满状态以后，获得缓存队列中，疲劳状态的脸部识别结果的数量，并将该数量称为疲劳量；

2053、将步骤2052所获得的疲劳量除以该缓存队列的实际总容量，得到疲劳状态的脸部识别结果在缓存队列中的占比数值，将该占比数值称为疲劳占比；

2054、判断步骤2053所获得的疲劳占比是否大于预设的警戒阈值，若是，则将第一判定结果设定为疲劳驾驶；否则，则将第一判定结果设定为正常驾驶；

其中，警戒阈值的计算公式可以为：K=0.2N；

在上述警戒阈值的计算公式中，K为警戒阈值，N为步骤203 所生成缓存队列的实际总容量。

可选的，为了进一步减少第一判定结果获取过程的延迟时间，保证第一判定结果的时效性，还可以通过步骤204中的容量计算公式，借由设置M2的值来调整实际总容量N的值，该设置过程可以为；

获取所要设置的延迟时间；

根据时效公式，获取该延迟时间所对应的实际总容量；

根据该延迟时间所对应的实际总容量，设置M2的值；

其中，该时效公式可以为：

在上述时效公式中，t为延迟时间，即在驾驶员产生打呵欠的动作以后，第一疲劳判定算法识别该动作并把第一判定结果设定为疲劳驾驶所花费的时间；

K为缓存队列的警戒阈值；

N为缓存队列的实际总容量；

a为第一疲劳判定算法识别的准确率；

f为视频数据的帧率；

因为第一疲劳判定算法的时效性与缓存队列的实际总容量紧密相关，所以为了适应不同的场合，会通过容量计算公式对缓存队列的实际总容量进行动态调整，以使最终的监测结果的时效性能有所提高。为了进一步说明本发明实施例所述的通过设置M2的值，以达到进一步减少上述延迟时间的目的，保证第一判定结果具有较强的时效性，本申请实施例公开了在实际使用中，实际总容量（缓存区长度）和延迟时间之间的关系，参照图3所示。

从图3中可以看出，当缓存区长度处于20-40之间的范围内时，延迟时间的变化并不明显，这是因为当缓存区长度处于40以内时，延迟时间的产生主要是由计算机作数据计算和数据传输等工作导致的。

而当缓存区长度大于40以后，从图中可以发现，延迟时间会随着缓存区长度的增加而不断增长，而且趋势是线性的，这证实了时效公式的存在。

206、根据特征提取算法和步骤201所获得的多个视频帧，分别获得多个用于描述驾驶员骨骼姿态的姿态数据。

具体的，根据步骤201所获得的多个视频帧，在姿态识别算法的基础上，按时间序列分别获得与多个视频帧一一对应的多个姿态数据；

其中，姿态数据包括驾驶员的头部特征数据、驾驶员的肢体特征数据以及驾驶员的躯干特征数据；该目标检测过程可以是：

通过姿态识别算法，对视频帧进行人首目标检测，得到多个包括驾驶员头部特征数据的视频帧；该姿态识别算法可以是应用于人首识别的目标检测算法,本申请对该目标检测算法的训练过程不加以限定；

通过姿态识别算法，对多个包括驾驶员头部特征数据的视频帧进行肢体目标检测，得到多个包括驾驶员肢体特征数据的视频帧；该姿态识别算法可以是应用于肢体识别的目标检测算法,本申请对该目标检测算法的训练过程不加以限定；

通过姿态识别算法，对多个包括肢体特征数据的视频帧进行躯干目标检测，得到多个包括驾驶员躯干特征数据的姿态数据；该姿态识别算法可以是应用于躯干识别的目标检测算法,本申请对该目标检测算法的训练过程不加以限定。

207、根据步骤206所获得的多个姿态数据和预先训练好的第二疲劳判定算法，获得第二判定结果。

具体的，把多个姿态数据分别代入预先训练好的第二疲劳判定算法，并得到与多个姿态数据一一对应的多个姿态判定结果；姿态判定结果包括疲劳驾驶或正常驾驶；

判断上述多个姿态判定结果中，是否存在疲劳驾驶的姿态判定结果，若是，则将第二判定结果设定为疲劳驾驶；否则，则将第二判定结果设定为正常驾驶。

其中，第二疲劳判定算法的训练过程可以为：

从训练视频中，获得多个疲劳视频帧；疲劳视频帧用于描述驾驶员处于疲劳驾驶；

根据adaboost（自适应增强，adaptive boosting）算法，构建第二疲劳判定算法；

从多个疲劳视频帧中，分别获得驾驶员的多个疲劳姿态数据；疲劳姿态数据用于描述驾驶员疲劳驾驶时的骨骼姿态；

根据多个疲劳姿态数据和梯度下降算法，对第二疲劳判定算法进行训练。

208、若第一判定结果和第二判定结果中的任意一个指示驾驶员疲劳驾驶，则生成疲劳警告。

具体的，若第一判定结果为疲劳驾驶或第二判定结果为疲劳驾驶，则生成警告信息；

根据该警告信息，通过语音播报的方式，向驾驶员发出疲劳警告。

相较于利用多种传感器对车辆行为进行监测，来间接监测驾驶员当前驾驶状态的方式，通过采集并分析驾驶员驾驶过程中的视频数据，来对驾驶员当前的驾驶状态进行直接监测的方式，由于省却了多种的传感器安装和维护费用，所以使得疲劳驾驶的监测成本有所降低；

并且因为本申请所提供的方法综合利用了驾驶员姿态和脸部两方面的信息，所以驾驶员姿态或脸部信息无法被识别，或者误识别情况发生的几率会有所降低，这提高了监测结果的准确性。

实施例三

本申请实施例提供了一种疲劳驾驶监测设备300，参照图4所示，该设备300包括：

采集模块301，用于实时采集视频数据；

处理模块302，用于根据视频数据，获得用于描述驾驶员的多个视频帧；

处理模块302还用于，从多个视频帧中，分别获得驾驶员的多个脸部数据；

处理模块302还用于，从多个视频帧中，分别获得驾驶员的多个姿态数据，姿态数据用于描述驾驶员的骨骼姿态；

判定模块303，用于根据多个脸部数据，在第一疲劳判定算法的基础上，得到第一判定结果；

判定模块303还用于，根据多个姿态数据，在第二疲劳判定算法的基础上，得到第二判定结果；

警告模块304，用于在第一判定结果和第二判定结果中的任意一个指示驾驶员疲劳驾驶时，生成疲劳警告。

可选的，该设备300还包括：

前置模块305，用于根据容量计算公式设置缓存队列的实际总容量，实际总容量用于描述缓存队列使用时的容量；根据实际总容量，生成缓存队列。

其中，容量计算公式可以为：N=M1+M2；

N为缓存队列的实际总容量，M1为缓存队列预设的初始容量，M1是正整数；M2为缓存队列容量的调整值，M2是绝对值小于M1的整数。

可选的，判定模块303具体用于：

通过第一疲劳判定算法，对多个脸部数据分别进行识别，得到与多个脸部数据一一对应的多个脸部识别结果；脸部识别结果包括疲劳状态或正常状态；

将多个脸部识别结果存入预设的缓存队列中；

判断缓存队列中，疲劳状态的脸部识别结果在所有脸部识别结果中的比例是否大于预设的警戒阈值，并得到第一判定结果。

其中，警戒阈值的计算公式可以为：K=0.2N；

在上述警戒阈值的计算公式中，K为警戒阈值，N为缓存队列的实际总容量。

可选的，处理模块302具体用于：根据多个视频帧和特征提取算法，分别获得驾驶员的多个姿态数据；

可选的，判定模块303具体用于：根据多个姿态数据和预先训练好的第二疲劳判定算法，获得第二判定结果。

可选的，该设备300还包括：

训练模块306，用于从训练视频中，获得多个疲劳视频帧；疲劳视频帧用于描述驾驶员处于疲劳驾驶；

根据adaboost算法，构建第二疲劳判定算法；

从多个疲劳视频帧中，分别获得驾驶员的多个疲劳姿态数据；疲劳姿态数据用于描述驾驶员疲劳驾驶时的骨骼姿态；

根据多个疲劳姿态数据，对第二疲劳判定算法进行训练。

实施例四

本申请实施例提供了一种疲劳驾驶监测***，参照图5所示，该***包括：

采集装置401，用于实时采集视频数据；

处理装置402，用于根据视频数据，获得用于描述驾驶员的多个视频帧；

处理装置402还用于，从多个视频帧中，分别获得驾驶员的多个脸部数据；

处理装置402还用于，从多个视频帧中，分别获得驾驶员的多个姿态数据，姿态数据用于描述驾驶员的骨骼姿态；

判定装置403，用于根据多个脸部数据，在第一疲劳判定算法的基础上，得到第一判定结果；

判定装置403还用于，根据多个姿态数据，在第二疲劳判定算法的基础上，得到第二判定结果；

警告装置404，用于在第一判定结果和第二判定结果中的任意一个指示驾驶员疲劳驾驶时，生成疲劳警告。

可选的，判定装置403具体用于：

通过第一疲劳判定算法，对多个脸部数据分别进行识别，得到与多个脸部数据一一对应的多个脸部识别结果；脸部识别结果包括疲劳状态或正常状态；

将多个脸部识别结果存入预设的缓存队列中；

判断缓存队列中，疲劳状态的脸部识别结果在所有脸部识别结果中的比例是否大于预设的警戒阈值，并得到第一判定结果。

可选的，该***还包括：

前置装置405，用于根据容量计算公式设置实际总容量，实际总容量用于描述缓存队列使用时的容量；根据实际总容量，生成缓存队列。

其中，容量计算公式可以为：N=M1+M2；

N为缓存队列的实际总容量，M1为缓存队列预设的初始容量，M1是正整数；M2为缓存队列容量的调整值，M2是绝对值小于M1的整数；

警戒阈值的计算公式可以为：K=0.2N；

K为警戒阈值，N为缓存队列的实际总容量。

可选的，处理装置402具体用于：根据多个视频帧和特征提取算法，分别获得驾驶员的多个姿态数据；

可选的，判定装置403具体用于：根据多个姿态数据和预先训练好的第二疲劳判定算法，获得第二判定结果。

可选的，该***还包括：

训练装置406，用于从训练视频中，获得多个疲劳视频帧；疲劳视频帧用于描述驾驶员处于疲劳驾驶；

根据adaboost算法，构建第二疲劳判定算法；

从多个疲劳视频帧中，分别获得驾驶员的多个疲劳姿态数据；疲劳姿态数据用于描述驾驶员疲劳驾驶时的骨骼姿态；

根据多个疲劳姿态数据，对第二疲劳判定算法进行训练。

实施例五：

本申请实施例提供了一种计算机可读存储介质，计算机可读存储介质存储有一个或者多个预设程序，预设程序被处理器执行时实现实施例一或实施例二的疲劳驾驶监测方法的步骤。

本申请实施例提供了一种疲劳驾驶监测方法、***、装置和可读存储介质，通过根据实时采集的视频数据，获得用于描述驾驶员的多个视频帧；从所述多个视频帧中，分别获得驾驶员的多个脸部数据；根据所述多个脸部数据，在第一疲劳判定算法的基础上，得到第一判定结果；从所述多个视频帧中，分别获得驾驶员的多个姿态数据，所述姿态数据用于描述驾驶员的骨骼姿态；根据所述多个姿态数据，在第二疲劳判定算法的基础上，得到第二判定结果；若所述第一判定结果和所述第二判定结果中的任意一个满足预设条件，则生成疲劳警告。

相较于利用多种传感器对车辆行为进行监测，来间接监测驾驶员当前驾驶状态的方式，通过采集并分析驾驶员驾驶过程中的视频数据，来对驾驶员当前的驾驶状态进行直接监测的方式，由于省却了多种的传感器配制和维护费用，所以使得疲劳驾驶的监测成本有所降低；

同时因为本申请所提供的方法是直接对驾驶员的当前驾驶状态进行监测，故而监测结果的时效性和准确性也会有所提高；

还因为本申请所提供的方法综合利用了驾驶员姿态和脸部两方面的信息，所以能避免驾驶员姿态或脸部信息无法被识别的情况发生，这能进一步提高监测结果的准确性。

需要说明的是：上述实施例提供的用于疲劳驾驶监测的设备和***在执行疲劳驾驶监测方法时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备和设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的疲劳驾驶监测方法、设备和***属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上所述仅为本申请的较佳实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种疲劳驾驶监测方法，其特征在于，所述方法包括：

根据实时采集的视频数据，获得用于描述驾驶员的多个视频帧；

从所述多个视频帧中，分别获得驾驶员的多个脸部数据；

根据所述多个脸部数据，在第一疲劳判定算法的基础上，得到第一判定结果；

从所述多个视频帧中，分别获得驾驶员的多个姿态数据，所述姿态数据用于描述驾驶员的骨骼姿态；

根据所述多个姿态数据，在第二疲劳判定算法的基础上，得到第二判定结果；

若所述第一判定结果和所述第二判定结果中的任意一个指示驾驶员疲劳驾驶，则生成疲劳警告。

2.根据权利要求1中所述的方法，其特征在于，所述根据所述多个脸部数据，在第一疲劳判定算法的基础上，得到第一判定结果包括：

通过第一疲劳判定算法，对所述多个脸部数据分别进行识别，得到与所述多个脸部数据一一对应的多个脸部识别结果；所述脸部识别结果包括疲劳状态或正常状态；

将所述多个脸部识别结果存入预设的缓存队列中；

判断所述缓存队列中，疲劳状态的脸部识别结果在所有脸部识别结果中的比例是否大于预设的警戒阈值，并得到第一判定结果。

3.根据权利要求2中所述的方法，其特征在于，所述将所述多个脸部识别结果存入预设的缓存队列中之前，所述方法还包括：

根据容量计算公式，设置实际总容量，所述实际总容量用于描述所述缓存队列使用时的容量；

根据所述实际总容量，生成所述缓存队列。

4.根据权利要求3中所述的方法，其特征在于，所述容量计算公式为：N=M1+M2；

其中，N为所述缓存队列的实际总容量，M1为所述缓存队列预设的初始容量，M1是正整数；M2为所述缓存队列容量的调整值，M2是绝对值小于M1的整数。

5.根据权利要求4中所述的方法，其特征在于，所述警戒阈值的计算公式为：K=0.2N；

其中，K为所述警戒阈值，N为所述缓存队列的实际总容量。

6.根据权利要求1中所述的方法，其特征在于，所述从所述多个视频帧中，分别获得驾驶员的多个姿态数据；根据所述多个姿态数据，在第二疲劳判定算法的基础上，得到第二判定结果包括：

根据所述多个视频帧和特征提取算法，分别获得驾驶员的多个姿态数据；

根据多个姿态数据和预先训练好的第二疲劳判定算法，获得第二判定结果。

7.根据权利要求6中所述的方法，其特征在于，所述第二疲劳判定算法的训练过程包括：

从训练视频中，获得多个疲劳视频帧；所述疲劳视频帧用于描述驾驶员处于疲劳驾驶；

根据adaboost算法，构建第二疲劳判定算法；

从所述多个疲劳视频帧中，分别获得驾驶员的多个疲劳姿态数据；所述疲劳姿态数据用于描述驾驶员疲劳驾驶时的骨骼姿态；

根据所述多个疲劳姿态数据，对第二疲劳判定算法进行训练。

8.一种疲劳驾驶监测设备，其特征在于,所述设备包括：

采集模块，用于实时采集视频数据；

处理模块，用于根据所述视频数据，获得用于描述驾驶员的多个视频帧；

所述处理模块还用于，从所述多个视频帧中，分别获得驾驶员的多个脸部数据；

所述处理模块还用于，从所述多个视频帧中，分别获得驾驶员的多个姿态数据，所述姿态数据用于描述驾驶员的骨骼姿态；

判定模块，用于根据所述多个脸部数据，在第一疲劳判定算法的基础上，得到第一判定结果；

所述判定模块还用于，根据所述多个姿态数据，在第二疲劳判定算法的基础上，得到第二判定结果；

警告模块，用于在所述第一判定结果和所述第二判定结果中的任意一个指示驾驶员疲劳驾驶时，生成疲劳警告。

9.一种疲劳驾驶监测***，其特征在于,所述***包括：

采集装置，用于实时采集视频数据；

处理装置，用于根据所述视频数据，获得用于描述驾驶员的多个视频帧；

所述处理装置还用于，从所述多个视频帧中，分别获得驾驶员的多个脸部数据；

所述处理装置还用于，从所述多个视频帧中，分别获得驾驶员的多个姿态数据，所述姿态数据用于描述驾驶员的骨骼姿态；

判定装置，用于根据所述多个脸部数据，在第一疲劳判定算法的基础上，得到第一判定结果；

所述判定装置还用于，根据所述多个姿态数据，在第二疲劳判定算法的基础上，得到第二判定结果；

警告装置，用于在所述第一判定结果和所述第二判定结果中的任意一个指示驾驶员疲劳驾驶时，生成疲劳警告。

10.一种计算机可读存储介质，其特征在于，所述可读存储介质存储有计算机程序，所述程序被处理器执行时实现权利要求1-7任一项所述方法的步骤。

Images