CN110751810A - 一种疲劳驾驶检测方法和装置 - Google Patents

Abstract

本发明实施例提供了一种疲劳驾驶检测方法和装置，所述方法包括：采集驾驶员的人脸视频图像，并依据所述人脸视频图像得出所述驾驶员的人脸朝向信息；判断所述人脸朝向信息是否处于指定朝向状态；当所述人脸朝向信息处于指定朝向状态时，判定所述驾驶员为疲劳驾驶，并发出警示音；所述方法通过判定人脸朝向状态能够准确检测疲劳驾驶，并进行疲劳驾驶预警，从而有效避免因疲劳驾驶而导致的交通事故。

Description

一种疲劳驾驶检测方法和装置

技术领域

本发明涉及车载图像处理技术领域，特别是涉及一种疲劳驾驶检测方法以及装置，终端，以及一种计算机可读存储介质。

背景技术

随着汽车数量的不断增加，道路交通安全形势异常严峻，交通事故已然成为影响社会安全的重大问题之一。而世界各地每年都会有多起因疲劳驾驶而引发的车祸发生，经研究表明，疲劳驾驶是导致交通事故发生的主要原因之一。

采用疲劳驾驶检测方法能够实时的检测出驾驶员的疲劳状态，并在疲劳驾驶发生时及时向车内人员发出警报，从而能够预防因疲劳驾驶而引起的交通事故的发生，进而避免因交通事故发生而造成的巨大损失。

现有技术，一种疲劳驾驶辅助装置及疲劳驾驶检测方法(申请号：CN108694815A)公开了：通过CCD(Charge-coupled Device，电荷耦合元件)摄像头对汽车驾驶员的眨眼频率、眨眼时间以及打哈欠频率(即面部特征)进行采集，并借助电容传感器对汽车驾驶员的点头次数进行采集，从而能够依据面部特征和点头次数并配合道路路况以及行车状况对疲劳驾驶状态进行检测。可见，在现有方法中，虽然能够对疲劳驾驶进行检测，但其并不涉及依据驾驶员的人脸朝向来判断驾驶员是否为疲劳驾驶，因此，无法准确地对疲劳驾驶进行检测。

发明内容

鉴于上述问题，提出了本发明实施例以便提供一种克服上述问题或者至少部分地解决上述问题的一种疲劳驾驶检测方法，一种疲劳驾驶检测装置，一种终端，以及一种计算机可读存储介质。

为了解决上述问题，本发明公开了一种疲劳驾驶检测方法，具体包括：采集驾驶员的人脸视频图像，并依据所述人脸视频图像得出所述驾驶员的人脸朝向信息；判断所述人脸朝向信息是否处于指定朝向状态；当所述人脸朝向信息处于指定朝向状态时，判定所述驾驶员为疲劳驾驶，并发出警示音。

可选地，所述依据所述人脸视频图像得出所述驾驶员的人脸朝向信息的步骤，包括：依据所述人脸视频图像得出眉毛坐标信息、眼睛坐标信息、鼻子坐标信息和嘴巴坐标信息；依据所述眉毛坐标信息、眼睛坐标信息、鼻子坐标信息和嘴巴坐标信息得出所述人脸朝向信息。

可选地，所述人脸朝向信息包括上半脸与下半脸的比值，和/或左半脸与右半脸的比值；所述依据所述眉毛坐标信息、眼睛坐标信息、鼻子坐标信息和嘴巴坐标信息得出所述人脸朝向信息的步骤，包括：依据所述眉毛和眼睛的坐标信息得出左眼中心和右眼中心的坐标信息；依据所述左眼中心和右眼中心的坐标信息得出上半脸与下半脸的比值；依据所述鼻子和嘴巴的坐标信息得出左半脸与右半脸的比值。

可选地，所述判断所述人脸朝向信息是否处于指定朝向状态的步骤，包括：判断所述上半脸与下半脸的比值是否大于预设比值；若是，则判断大于预设比值的持续时间是否大于预设时长；若是，则判定为处于指定朝向状态；

或，判断所述左半脸与右半脸的比值是否大于预设比值；若是，则判断大于预设比值的持续时间是否大于预设时长；若是，则判定为处于指定朝向状态；

或，判断所述右半脸与左半脸的比值是否大于预设比值；若是，则判断大于预设比值的持续时间是否大于预设时长；若是，则判定为处于指定朝向状态。

可选地，所述方法还包括：依据所述眉毛坐标信息和所述眼睛坐标信息得到眼部状态；依据所述鼻子坐标信息和所述嘴巴坐标信息得到嘴部状态；依据所述眼部状态，和/或，所述嘴部状态判断所述驾驶员是否为疲劳驾驶状态；若是，则发出警示音。

可选地，所述依据所述眉毛坐标信息和眼睛坐标信息得到眼部状态的步骤，包括：依据所述眉毛坐标信息和所述眼睛坐标信息得到眼睛水平投影曲线；依据所述眼睛水平投影曲线的高度和宽度得到所述眼部状态。

可选地，所述依据所述鼻子坐标信息和嘴巴坐标信息得到嘴部状态的步骤，包括：依据所述鼻子坐标信息和所述嘴巴坐标信息得到嘴巴水平投影曲线；依据所述嘴巴水平投影曲线的高度和宽度得到所述嘴部状态。

可选地，所述依据所述眼部状态或所述嘴部状态判断所述驾驶员是否为疲劳驾驶状态的步骤，包括：判断所述眼部状态是否为闭眼状态；若是，则判断所述闭眼状态的维持时间是否大于第一指定时长；若大于第一指定时长，则判定为疲劳驾驶状态；若小于第一指定时长，则判断第一预设时间内所述眼部状态处于闭眼状态的人脸视频图像帧数是否大于第一预设阈值；若是，则判定为疲劳驾驶状态；

或，判断所述嘴部状态是否为张开状态；若是，则判断所述张开状态的维持时间是否大于第二指定时长；若是，则判断第二预设时间内所述嘴部状态处于张开状态的人脸视频图像帧数是否大于第二预设阈值；若是，则判定为疲劳驾驶状态。

本发明实施例还提供了一种疲劳驾驶检测装置，具体包括：采集模块，用于采集驾驶员的人脸视频图像，并依据所述人脸视频图像得出所述驾驶员的人脸朝向信息；判断模块，用于判断所述人脸朝向信息是否处于指定朝向状态；第一警示模块，用于当所述人脸朝向信息处于指定朝向状态时，判定所述驾驶员为疲劳驾驶，并发出警示音。

本发明实施例还公开了一种终端，包括：

一个或多个处理器；和

其上存储有指令的一个或多个机器可读介质，当由所述一个或多个处理器执行时，使得所述终端执行如本发明实施例所述的一个或多个的疲劳驾驶检测方法。

本发明实施例还公开了一种计算机可读存储介质，其存储的计算机程序使得处理器执行如本发明实施例所述的疲劳驾驶检测方法。

与现有技术相比，本发明实施例包括以下优点：

本发明实施例中，可以采集驾驶员的人脸视频图像，并依据所述人脸视频图像得出所述驾驶员的人脸朝向信息；然后判断所述人脸朝向信息是否处于指定朝向状态；当所述人脸朝向信息处于指定朝向状态时，判定所述驾驶员为疲劳驾驶，并发出警示音；能够准确检测出疲劳驾驶，并能够及时对疲劳驾驶进行预警，从而能够有效避免因疲劳驾驶而导致的交通事故，促进道路交通安全。

附图说明

图1是本发明的一种疲劳驾驶检测方法实施例的步骤流程图；

图2是本发明的一种疲劳驾驶检测***的原理图；

图3是本发明的一种疲劳驾驶检测方法可选实施例的步骤流程图；

图4是本发明的一种疲劳驾驶检测装置实施例的结构框图；

图5是本发明的一种疲劳驾驶检测装置可选实施例的结构框图；

图6是本发明的一种实现所述疲劳驾驶检测方法的计算机设备结构示意图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

参照图1，示出了本发明的一种疲劳驾驶检测方法实施例的步骤流程图，具体可以包括如下步骤：

步骤101、采集驾驶员的人脸视频图像，并依据所述人脸视频图像得出所述驾驶员的人脸朝向信息。

步骤102、判断所述人脸朝向信息是否处于指定朝向状态。

步骤103、当所述人脸朝向信息处于指定朝向状态时，判定所述驾驶员为疲劳驾驶，并发出警示音。

本发明实施例中，可以实时采集驾驶员的人脸视频图像，再对人脸视频图像进行图像处理，得到驾驶员的人脸朝向信息。其中，可以通过车载摄像头或其他设备采集人脸视频图像，本发明实施例对此不进行限制。

得到人脸朝向信息后，可以判断人脸朝向信息是否处于指定朝向状态，若是，则判定驾驶员为疲劳驾驶，并发出警示音，以对疲劳驾驶进行预警；若否，则判定驾驶员为正常驾驶状态，并根据实时得到的人脸朝向信息实时检测驾驶员的驾驶状态。

其中，可以通过人脸朝向信息表示驾驶员视线方向，当驾驶员视线方向偏离驾驶方向时，可以判定为处于指定朝向状态，进而判定驾驶员为疲劳驾驶。人脸朝向信息可以根据实际驾驶情况进行设置，本发明实施例对此不进行限制。

本发明实施例中，可以采集驾驶员的人脸视频图像，并依据所述人脸视频图像得出所述驾驶员的人脸朝向信息；然后判断所述人脸朝向信息是否处于指定朝向状态；当所述人脸朝向信息处于指定朝向状态时，判定所述驾驶员为疲劳驾驶，并发出警示音；能够准确检测出疲劳驾驶，并能够及时对疲劳驾驶进行预警，从而能够有效避免因疲劳驾驶而导致的交通事故，促进道路交通安全。

参照图2，本发明实施例中示出了一种采用所述疲劳驾驶检测方法的***原理图：可以采用摄像头或其他设备采集驾驶员的人脸视频图像，再对人脸视频图像进行人脸识别，然后对人脸视频图像中识别出的人脸进行图像处理(如积分投影算法、椭圆拟合运算等)，得到人脸朝向信息，然后可以基于Linux***的MCU(Microcontroller Unit，微控制单元)判断驾驶员人脸朝向信息是否正处于指定朝向状态，若是，则判定驾驶员为疲劳驾驶，并通过车载预警装置或其他设备发出疲劳驾驶警示音。其中，可以将Linux***应用于该疲劳驾驶检测方法中，进而能够对驾驶员当前的疲劳状态进行更精准、更快速的识别和预警，当然，本发明实施例也可将其他操作***应用到该疲劳驾驶检测方法中，本发明对此不进行限制。以下以图2所示的疲劳驾驶检测***为示例，对该***可采用的所述疲劳驾驶检测方法进行详细说明。

参照图3，示出了本发明的一种疲劳驾驶检测方法可选实施例的步骤流程图，具体可以包括如下步骤：

步骤301、采集驾驶员的人脸视频图像，并依据所述人脸视频图像得出眉毛坐标信息、眼睛坐标信息、鼻子坐标信息和嘴巴坐标信息。

步骤302、依据所述眉毛坐标信息、眼睛坐标信息、鼻子坐标信息和嘴巴坐标信息得出所述人脸朝向信息。

本发明实施例中，可以实时采集所述驾驶员的人脸视频图像，得到多帧人脸视频图像，再对各帧人脸视频图像进行图像处理(如积分投影算法)，得到每帧人脸视频图像对应的眉毛坐标信息、眼睛坐标信息、鼻子坐标信息和嘴巴坐标信息；进而可以依据所述眉毛坐标信息、眼睛坐标信息、鼻子坐标信息和嘴巴坐标信息实时得出所述人脸朝向信息，进而可以实时检测疲劳驾驶。

本发明的一种示例中，针对一帧人脸视频图像，可以通过积分投影算法对该人脸视频图像进行图像处理，具体过程如下：对该人脸视频图像进行垂直积分投影，得到对应的垂直投影曲线，然后得到该垂直投影曲线中凸峰的边界点，即找到该人脸视频图像中面部边界坐标信息；然后可以根据该面部边界坐标信息将面部边界内的图像进行提取，得到该人脸视频图像对应的面部图像。然后，可以对该面部图像进行水平积分投影，得到对应的水平投影曲线，该水平投影曲线的第一段波峰即最大值对应驾驶员的额头，四个凹点分别对应眉头、眼睛、鼻子和嘴巴的坐标信息，如眉头、眼睛、鼻子和嘴巴的纵坐标，可以记作Y1为眉毛的纵坐标，Y2为眼睛的纵坐标，Y3为鼻子的纵坐标，Y4为嘴巴的纵坐标。

其中，可以参照如下子步骤依据所述眉毛坐标信息、眼睛坐标信息、鼻子坐标信息和嘴巴坐标信息得出所述人脸朝向信息：

子步骤21、依据所述眉毛和眼睛的坐标信息得出左眼中心和右眼中心的坐标信息。

子步骤22、依据所述左眼中心和右眼中心的坐标信息得出上半脸与下半脸的比值。

子步骤23、依据所述鼻子和嘴巴的坐标信息得出左半脸与右半脸的比值。

本发明实施例中，所述人脸朝向信息可以包括上半脸与下半脸的比值，和/或左半脸与右半脸的比值等用于表示驾驶员视线方向的参数。可以根据眉毛和眼睛的坐标信息得到眉毛和眼睛部分的图像，再依据眉毛和眼睛部分的图像得出左眼中心和右眼中心的坐标信息，再依据所述左眼中心和右眼中心的坐标信息得出上半脸与下半脸的比值；进而可以依据上半脸与下半脸的比值对疲劳驾驶进行检测(参照步骤303-304)。

本发明的一种示例中，可以将[Y1，Y2+(Y2-Y1)]间的面部图像提取出来，得到眉毛和眼睛部分的图像，可以对眉毛和眼睛部分的图像进行垂直积分投影，得到对应的垂直投影曲线，该垂直投影曲线的两个波谷对应的点即为左眼中心的坐标信息和右眼中心的坐标信息，如左眼和右眼中心点的横坐标，可以分别记作X1和X2；然后，可以将X1和X2进行连线，得到上半脸占比FU与下半脸占比FD的比值(FU/FD)。

此外，本发明实施例中，还可以根据鼻子和嘴巴的坐标信息得出左半脸与右半脸的比值，例如，将鼻子的纵坐标Y3和嘴巴的纵坐标Y4进行连线，得出左半脸占比FR与右半脸占比FL的比值(FL/FR)，以及右半脸占比FL与左半脸占比FR的比值(FR/FL)；进而可以依据左半脸与右半脸的比值对疲劳驾驶进行检测(参照步骤303-304)。

步骤303、判断所述人脸朝向信息是否处于指定朝向状态。

其中，可以参照如下子步骤判断所述人脸朝向信息是否处于指定朝向状态：

当所述人脸朝向信息包括上半脸与下半脸的比值FU/FD时，可以执行子步骤31-33来判断人脸朝向信息是否处于指定朝向状态。

子步骤31、判断所述上半脸与下半脸的比值是否大于预设比值。

子步骤32、若是，则判断大于预设比值的持续时间是否大于预设时长。

子步骤33、若是，则判定为处于指定朝向状态。

本发明实施例中，可以判断上半脸与下半脸的比值FU/FD是否大于预设比值，若小于预设比值，则判定人脸朝向信息不处于指定朝向状态，若大于预设比值，则执行子步骤32，即判断FU/FD大于预设比值的持续时间是否大于预设时长(如3s)；若大于预设时长，则判定人脸朝向信息处于指定朝向状态(即低头状态)；若小于预设时长，则判定人脸朝向信息不处于指定朝向状态。

当所述人脸朝向信息包括左半脸与右半脸的比值FL/FR时，可以执行子步骤34-36来判断人脸朝向信息是否处于指定朝向状态。

子步骤34、判断所述左半脸与右半脸的比值是否大于预设比值。

子步骤35、若是，则判断大于预设比值的持续时间是否大于预设时长。

子步骤36、若是，则判定为处于指定朝向状态。

本发明实施例中，可以判断左半脸与右半脸的比值FL/FR是否大于预设比值，若小于预设比值，则判定人脸朝向信息不处于指定朝向状态，若大于预设比值，则执行子步骤35，即判断FL/FR大于预设比值的持续时间是否大于预设时长(如3s)；若大于预设时长，则判定人脸朝向信息处于指定朝向状态(即右偏头状态)；若小于预设时长，则判定人脸朝向信息不处于指定朝向状态。

当所述人脸朝向信息包括右半脸与左半脸的比值FR/FL(即左半脸与右半脸的比值的倒数值)时，可以执行子步骤37-39来判断人脸朝向信息是否处于指定朝向状态。

子步骤37、判断所述右半脸与左半脸的比值是否大于预设比值。

子步骤38、若是，则判断大于预设比值的持续时间是否大于预设时长。

子步骤39、若是，则判定为处于指定朝向状态。

本发明实施例中，可以判断右半脸与左半脸的比值FR/FL是否大于预设比值，若小于预设比值，则判定人脸朝向信息不处于指定朝向状态，若大于预设比值，则执行子步骤38，即判断FR/FL大于预设比值的持续时间是否大于预设时长(如3s)；若大于预设时长，则判定人脸朝向信息处于指定朝向状态(即左偏头状态)；若小于预设时长，则判定人脸朝向信息不处于指定朝向状态。

其中，预设比值和预设时长可根据实际需求进行设置，本发明实施例对此不进行限制。

步骤304、当所述人脸朝向信息处于指定朝向状态时，判定所述驾驶员为疲劳驾驶，并发出警示音。

本发明实施例中，指定朝向状态可以包括右偏头状态或左偏头状态，也可以包括低头状态。当所述人脸朝向信息处于右偏头状态或左偏头状态时，驾驶员视线方向偏离驾驶方向，则可以判定驾驶员为疲劳驾驶；当所述人脸朝向信息处于低头状态时，驾驶员视线方向也偏离驾驶方向，因此可以判定驾驶员为疲劳驾驶，并发出警示音。

此外，本发明实施例还可以根据眼部状态和/或嘴部状态等面部特征检测疲劳驾驶，具体可参照步骤305-308。

步骤305、依据所述眉毛坐标信息和所述眼睛坐标信息得到眼部状态。

其中，可参照如下子步骤依据所述眉毛坐标信息和眼睛坐标信息得到眼部状态：

子步骤51、依据所述眉毛坐标信息和所述眼睛坐标信息得到眼睛水平投影曲线。

子步骤52、依据所述眼睛水平投影曲线的高度和宽度得到所述眼部状态。

本发明实施例中，对于一帧人脸视频图像，参见上述步骤302，在根据眉毛坐标信息(眉毛的纵坐标Y1)和眼睛坐标信息(如眼睛的纵坐标Y2)得出左眼中心的坐标信息(如左眼中心点的横坐标X1)和右眼中心的坐标信息(如右眼中心点的横坐标X2)之后，可以根据左眼和右眼的坐标位置(如Y2、X1、X2)得到该帧人脸视频图像对应的眼睛图像，并对该眼睛图像进行水平投影，得到对应的眼睛水平投影曲线，然后依据该眼睛水平投影曲线的高度he和宽度we得到该帧人脸视频图像对应的眼部状态，其中，眼部状态可以包括睁眼状态或闭眼状态。

步骤306、依据所述鼻子坐标信息和所述嘴巴坐标信息得到嘴部状态。

其中，可参照如下子步骤依据所述鼻子坐标信息和嘴巴坐标信息得到嘴部状态：

子步骤61、依据所述鼻子坐标信息和所述嘴巴坐标信息得到嘴巴水平投影曲线。

子步骤62、依据所述嘴巴水平投影曲线的高度和宽度得到所述嘴部状态。

本发明实施例中，对于一帧人脸视频图像，可以根据鼻子坐标信息(如鼻子的纵坐标Y3)和所述嘴巴坐标信息(如嘴巴的纵坐标Y4)，得到该帧人脸视频图像对应的嘴巴部分的图像，再根据该嘴巴部分的图像得到嘴巴中心的坐标信息(如嘴巴中心点横坐标，记作X3)，然后根据该嘴巴的坐标位置(如Y4、X3)得到嘴巴图像，并对该嘴巴图像进行水平投影，得到对应的嘴巴水平投影曲线，然后依据该嘴巴水平投影曲线的高度hm和宽度wm得到该帧人脸视频图像对应的嘴部状态，其中，嘴部状态可以包括张开状态或闭合状态。

本发明的一种示例中，对于一帧人脸视频图像，可以把[Y3，Y4+(Y4-Y3)]间的图像提取出来，即得到该帧人脸视频图像对应的嘴巴部分的图像，对该嘴巴部分的图像进行垂直积分投影，得到对应的垂直投影曲线，该垂直投影曲线的波谷点对应为嘴巴中心的坐标信息(如嘴巴中心点横坐标，记作X3)。

得到眼部状态，和/或，嘴部状态后，即可判断所述驾驶员是否为疲劳驾驶状态，具体参照步骤307。

步骤307、依据所述眼部状态，和/或，所述嘴部状态判断所述驾驶员是否为疲劳驾驶状态。

本发明实施例中，可参照如下子步骤依据所述眼部状态或所述嘴部状态判断所述驾驶员是否为疲劳驾驶状态：

其中，依据所述眼部状态判断所述驾驶员是否为疲劳驾驶状态的步骤，具体可以包括子步骤71-75。

子步骤71、判断所述眼部状态是否为闭眼状态。

子步骤72、若是，则判断所述闭眼状态的维持时间是否大于第一指定时长。

子步骤73、若大于第一指定时长，则判定为疲劳驾驶状态。

子步骤74、若小于第一指定时长，则判断第一预设时间内所述眼部状态处于闭眼状态的人脸视频图像帧数是否大于第一预设阈值。

子步骤75、若是，则判定为疲劳驾驶状态。

本发明实施例中，可以依次判断各帧人脸视频图像对应的眼部状态是否为闭眼状态，若为睁眼状态，则继续对下一帧人脸视频图像对应的眼部状态进行疲劳驾驶判断；若为闭眼状态，则判断闭眼状态的维持时间ECT是否大于第一指定时长(如3s)，若ECT大于第一指定时长，则判定为疲劳驾驶状态；若ECT小于第一指定时长，则判断第一预设时间内(如30s)眼部状态处于闭眼状态的人脸视频图像帧数是否大于第一预设阈值(如30％)，若大于第一预设阈值，则判定为疲劳驾驶状态；若小于第一预设阈值，则继续对下一帧人脸视频图像对应的眼部状态进行疲劳驾驶判断。

本发明的一种示例中，可以根据如下方法判断该帧人脸视频图像对应的眼部状态是否为闭眼状态：在得到眼睛水平投影曲线的高度he和宽度we之后，可以预设满足he大于一阈值的第一帧人脸视频图像为睁眼状态的图像，计算并保存此时的he、we和he/we，并分别记为HE、WE、和KE。然后，可以依次判断后续帧人脸视频图像对应的眼部状态是否为闭眼状态：可以先判断后续帧人脸视频图像对应的眼睛水平投影曲线的高度he是否大于HE，当he大于HE时，为睁眼状态；当he小于HE时，计算ke＝he/we，并判断ke是否小于KE，当ke大于KE时，为睁眼状态；当ke小于KE时，为闭眼状态。

其中，依据所述嘴部状态判断所述驾驶员是否为疲劳驾驶状态的步骤，具体包括子步骤76-79。

子步骤76、判断所述嘴部状态是否为张开状态。

子步骤77、若是，则判断所述张开状态的维持时间是否大于第二指定时长。

子步骤78、若是，则判断第二预设时间内所述嘴部状态处于张开状态的人脸视频图像帧数是否大于第二预设阈值。

子步骤79、若是，则判定为疲劳驾驶状态。

本发明实施例中，可以依次判断各帧人脸视频图像对应的嘴部状态是否为张开状态，若为闭合状态，则继续对下一帧人脸视频图像对应的嘴部状态进行疲劳驾驶判断；若为张开状态，则判断张开状态的维持时间MOT是否大于第二指定时长(如3s)，若MOT小于第二指定时长，则继续对下一帧人脸视频图像对应的嘴部状态进行疲劳驾驶判断；若MOT大于第二指定时长，则判断第二预设时间内(如30s)嘴部状态处于张开状态的人脸视频图像帧数是否大于第二预设阈值(如30％)，若大于第二预设阈值，则判定为疲劳驾驶状态；若小于第二预设阈值，则继续对下一帧人脸视频图像对应的嘴部状态进行疲劳驾驶判断。

本发明的一种示例中，可以根据如下方法判断该帧人脸视频图像对应的嘴部状态是否为张开状态：在得到嘴巴水平投影曲线的高度hm和宽度wm之后，可以预设满足hm大于一阈值的第一帧人脸视频图像为嘴巴张开状态的图像，计算并保存此时的hm、wm和hm/wm，并分别记为HM、WM、和KM。然后，可以依次判断后续帧人脸视频图像对应的嘴部状态是否为张开状态：可以先判断后续帧人脸视频图像对应的嘴巴水平投影曲线的高度hm是否大于HM，当hm大于HM时，为张开状态；当hm小于HM时，计算km＝hm/wm，并判断km是否小于KM，当km小于KM时，为闭合状态；当km大于KM时，为张开状态。

其中，第一指定时长、第一预设时间、第一预设阈值，以及第二指定时长、第二预设时间、第二预设阈值均可根据实际需求进行设置，本发明实施例对此不进行限制。

步骤308、若是，则发出警示音。

本发明实施例中，根据眼部状态和/或嘴部状态等面部特征检测驾驶员为疲劳驾驶时，可以发出警示音来对疲劳驾驶进行预警。

本发明实施例中，可以判断所述人脸朝向信息是否处于指定朝向状态；当所述人脸朝向信息处于指定朝向状态时，可以判定驾驶员视线方向偏离驾驶方向，进而判定所述驾驶员为疲劳驾驶，并发出警示音；此外，还可以依据所述眼部状态，和/或，所述嘴部状态判断所述驾驶员是否为疲劳驾驶状态，若是，则发出警示音；能全面、有效而准确的检测疲劳驾驶。

需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明实施例所必须的。

参照图4，示出了本发明一种疲劳驾驶检测装置实施例的结构框图，具体可以包括如下模块：

采集模块401，用于采集驾驶员的人脸视频图像，并依据所述人脸视频图像得出所述驾驶员的人脸朝向信息；

判断模块402，用于判断所述人脸朝向信息是否处于指定朝向状态；

第一警示模块403，用于当所述人脸朝向信息处于指定朝向状态时，判定所述驾驶员为疲劳驾驶，并发出警示音。

参照图5，示出了本发明一种疲劳驾驶检测装置可选实施例的结构框图。

本发明的一个可选实施例中，所述采集模块401，包括：

坐标确定子模块4011，用于依据所述人脸视频图像得出眉毛坐标信息、眼睛坐标信息、鼻子坐标信息和嘴巴坐标信息；

人脸朝向确定子模块4012，用于依据所述眉毛坐标信息、眼睛坐标信息、鼻子坐标信息和嘴巴坐标信息得出所述人脸朝向信息。

本发明的一个可选实施例中，所述人脸朝向信息包括上半脸与下半脸的比值，和/或左半脸与右半脸的比值；

所述人脸朝向确定子模块4012，用于依据所述眉毛和眼睛的坐标信息得出左眼中心和右眼中心的坐标信息；依据所述左眼中心和右眼中心的坐标信息得出上半脸与下半脸的比值；依据所述鼻子和嘴巴的坐标信息得出左半脸与右半脸的比值。

本发明的一个可选实施例中，

所述判断模块402，用于判断所述上半脸与下半脸的比值是否大于预设比值；若是，则判断大于预设比值的持续时间是否大于预设时长；若是，则判定为处于指定朝向状态；

或，用于判断所述左半脸与右半脸的比值是否大于预设比值；若是，则判断大于预设比值的持续时间是否大于预设时长；若是，则判定为处于指定朝向状态；

或，用于判断所述右半脸与左半脸的比值是否大于预设比值；若是，则判断大于预设比值的持续时间是否大于预设时长；若是，则判定为处于指定朝向状态。

本发明的一个可选实施例中，所述装置还包括：

眼部确定模块404，用于依据所述眉毛坐标信息和所述眼睛坐标信息得到眼部状态；

嘴部确定模块405，用于依据所述鼻子坐标信息和所述嘴巴坐标信息得到嘴部状态；

疲劳驾驶判断模块406，用于依据所述眼部状态，和/或，所述嘴部状态判断所述驾驶员是否为疲劳驾驶状态；

第二警示模块407，用于若是，则发出警示音。

本发明的一个可选实施例中，所述眼部确定模块404，用于依据所述眉毛坐标信息和所述眼睛坐标信息得到眼睛水平投影曲线；依据所述眼睛水平投影曲线的高度和宽度得到所述眼部状态。

本发明的一个可选实施例中，所述嘴部确定模块405，用于依据所述鼻子坐标信息和所述嘴巴坐标信息得到嘴巴水平投影曲线；依据所述嘴巴水平投影曲线的高度和宽度得到所述嘴部状态。

本发明的一个可选实施例中，所述疲劳驾驶判断模块406，用于判断所述眼部状态是否为闭眼状态；若是，则判断所述闭眼状态的维持时间是否大于第一指定时长；若大于第一指定时长，则判定为疲劳驾驶状态；若小于第一指定时长，则判断第一预设时间内所述眼部状态处于闭眼状态的人脸视频图像帧数是否大于第一预设阈值；若是，则判定为疲劳驾驶状态；

或，用于判断所述嘴部状态是否为张开状态；若是，则判断所述张开状态的维持时间是否大于第二指定时长；若是，则判断第二预设时间内所述嘴部状态处于张开状态的人脸视频图像帧数是否大于第二预设阈值；若是，则判定为疲劳驾驶状态。

本发明实施例中，可以采集驾驶员的人脸视频图像，并依据所述人脸视频图像得出所述驾驶员的人脸朝向信息；然后判断所述人脸朝向信息是否处于指定朝向状态；当所述人脸朝向信息处于指定朝向状态时，判定所述驾驶员为疲劳驾驶，并发出警示音；能够准确检测出疲劳驾驶，并能够及时对疲劳驾驶进行预警，从而能够有效避免因疲劳驾驶而导致的交通事故，促进道路交通安全。

对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。

参照图6，示出了本发明的一种实现所述疲劳驾驶检测方法的计算机设备结构示意图，具体可以包括如下：

上述计算机设备12以通用计算设备的形式表现，计算机设备12的组件可以包括但不限于：一个或者多个处理器或者处理单元16，***存储器28，连接不同***组件(包括***存储器28和处理单元16)的总线18。

总线18表示几类总线18结构中的一种或多种，包括存储器总线18或者存储器控制器，***总线18，图形加速端口，处理器或者使用多种总线18结构中的任意总线18结构的局域总线18。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线18，微通道体系结构(MAC)总线18，增强型ISA总线18、音视频电子标准协会(VESA)局域总线18以及***组件互连(PCI)总线18。

计算机设备12典型地包括多种计算机***可读介质。这些介质可以是任何能够被计算机设备12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。

***存储器28可以包括易失性存储器形式的计算机***可读介质，例如随机存取存储器(RAM)30和/或高速缓存存储器32。计算机设备12可以进一步包括其他移动/不可移动的、易失性/非易失性计算机体统存储介质。仅作为举例，存储***34可以用于读写不可移动的、非易失性磁介质(通常称为“硬盘驱动器”)。尽管图6中未示出，可以提供用于对可移动非易失性磁盘(如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD～ROM，DVD～ROM或者其他光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质界面与总线18相连。存储器可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块42，这些程序模块42被配置以执行本发明各实施例的功能。

具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如存储器中，这样的程序模块42包括——但不限于——操作***、一个或者多个应用程序、其他程序模块42以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本发明所描述的实施例中的功能和/或方法。

计算机设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24、摄像头等)通信，还可与一个或者多个使得用户能与该计算机设备12交互的设备通信，和/或与使得该计算机设备12能与一个或多个其他计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)界面22进行。并且，计算机设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(LAN))，广域网(WAN)和/或公共网络(例如因特网)通信。如图所示，网络适配器20通过总线18与计算机设备12的其他模块通信。应当明白，尽管图6中未示出，可以结合计算机设备12使用其他硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元16、外部磁盘驱动阵列、RAID***、磁带驱动器以及数据备份存储***34等。

处理单元16通过运行存储在***存储器28中的程序，从而执行各种功能应用以及数据处理，例如实现本发明实施例所提供的疲劳驾驶检测方法。

也即，上述处理单元16执行上述程序时实现：采集驾驶员的人脸视频图像，并依据所述人脸视频图像得出所述驾驶员的人脸朝向信息；判断所述人脸朝向信息是否处于指定朝向状态；当所述人脸朝向信息处于指定朝向状态时，判定所述驾驶员为疲劳驾驶，并发出警示音。

在本发明实施例中，本发明还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本申请所有实施例提供的疲劳驾驶检测方法：

也即，给程序被处理器执行时实现：采集驾驶员的人脸视频图像，并依据所述人脸视频图像得出所述驾驶员的人脸朝向信息；判断所述人脸朝向信息是否处于指定朝向状态；当所述人脸朝向信息处于指定朝向状态时，判定所述驾驶员为疲劳驾驶，并发出警示音。

可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机克顿信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线或半导体的***、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体地例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦可编程只读存储器(EPOM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD～ROM)、光存储器件、磁存储器件或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行***、装置或者器件使用或者与其结合使用。

计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括——但不限于——电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。

可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，上述程序设计语言包括面向对象的程序设计语言——诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言——诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行或者完全在远程计算机或者服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)——连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

本领域内的技术人员应明白，本发明实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明实施例是参照根据本发明实施例的方法、终端设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。

以上对本发明所提供的一种疲劳驾驶检测方法和一种疲劳驾驶检测装置，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种疲劳驾驶检测方法，其特征在于，包括：

采集驾驶员的人脸视频图像，并依据所述人脸视频图像得出所述驾驶员的人脸朝向信息；

判断所述人脸朝向信息是否处于指定朝向状态；

当所述人脸朝向信息处于指定朝向状态时，判定所述驾驶员为疲劳驾驶，并发出警示音。

2.根据权利要求1所述的方法，其特征在于，所述依据所述人脸视频图像得出所述驾驶员的人脸朝向信息的步骤，包括：

依据所述人脸视频图像得出眉毛坐标信息、眼睛坐标信息、鼻子坐标信息和嘴巴坐标信息；

依据所述眉毛坐标信息、眼睛坐标信息、鼻子坐标信息和嘴巴坐标信息得出所述人脸朝向信息。

3.根据权利要求2所述的方法，其特征在于，所述人脸朝向信息包括上半脸与下半脸的比值，和/或左半脸与右半脸的比值；

所述依据所述眉毛坐标信息、眼睛坐标信息、鼻子坐标信息和嘴巴坐标信息得出所述人脸朝向信息的步骤，包括：

依据所述眉毛和眼睛的坐标信息得出左眼中心和右眼中心的坐标信息；

依据所述左眼中心和右眼中心的坐标信息得出上半脸与下半脸的比值；

依据所述鼻子和嘴巴的坐标信息得出左半脸与右半脸的比值。

4.根据权利要求3所述的方法，其特征在于，所述判断所述人脸朝向信息是否处于指定朝向状态的步骤，包括：

判断所述上半脸与下半脸的比值是否大于预设比值；

若是，则判断大于预设比值的持续时间是否大于预设时长；

若是，则判定为处于指定朝向状态；

或，

判断所述左半脸与右半脸的比值是否大于预设比值；

若是，则判断大于预设比值的持续时间是否大于预设时长；

若是，则判定为处于指定朝向状态；

或，

判断所述右半脸与左半脸的比值是否大于预设比值；

若是，则判断大于预设比值的持续时间是否大于预设时长；

若是，则判定为处于指定朝向状态。

5.根据权利要求2所述的方法，其特征在于，还包括：

依据所述眉毛坐标信息和所述眼睛坐标信息得到眼部状态；

依据所述鼻子坐标信息和所述嘴巴坐标信息得到嘴部状态；

依据所述眼部状态，和/或，所述嘴部状态判断所述驾驶员是否为疲劳驾驶状态；

若是，则发出警示音。

6.根据权利要求5所述的方法，其特征在于，所述依据所述眉毛坐标信息和眼睛坐标信息得到眼部状态的步骤，包括：

依据所述眉毛坐标信息和所述眼睛坐标信息得到眼睛水平投影曲线；

依据所述眼睛水平投影曲线的高度和宽度得到所述眼部状态。

7.根据权利要求5所述的方法，其特征在于，所述依据所述鼻子坐标信息和嘴巴坐标信息得到嘴部状态的步骤，包括：

依据所述鼻子坐标信息和所述嘴巴坐标信息得到嘴巴水平投影曲线；

依据所述嘴巴水平投影曲线的高度和宽度得到所述嘴部状态。

8.一种疲劳驾驶检测装置，其特征在于，包括：

采集模块，用于采集驾驶员的人脸视频图像，并依据所述人脸视频图像得出所述驾驶员的人脸朝向信息；

判断模块，用于判断所述人脸朝向信息是否处于指定朝向状态；

第一警示模块，用于当所述人脸朝向信息处于指定朝向状态时，判定所述驾驶员为疲劳驾驶，并发出警示音。

9.一种终端，其特征在于，包括：

一个或多个处理器；和

其上存储有指令的一个或多个机器可读介质，当由所述一个或多个处理器执行时，使得所述终端执行如权利要求1至7所述的一个或多个的疲劳驾驶检测方法。

10.一种计算机可读存储介质，其特征在于，其存储的计算机程序使得处理器执行如权利要求1至7任一项所述的疲劳驾驶检测方法。

Images