CN106327801B - 疲劳驾驶检测方法和装置 - Google Patents

Abstract

本发明实施例提供了疲劳驾驶检测方法和装置，其中，所述方法包括：采集驾驶员的人脸图像，从中检测出人脸区域，确定人脸区域中的人脸关键点，作为当前帧人脸图像的人脸关键点；根据人脸关键点确定出人眼区域后，从人脸关键点中选取位于人眼区域中的人眼关键点；根据人眼区域中的人眼关键点连线之间的夹角信息，判断驾驶员是否疲劳驾驶。应用本发明，可以提高疲劳驾驶状态检测的准确度。

Description

疲劳驾驶检测方法和装置

技术领域

本发明涉及终端设备的技术领域，具体而言，本发明涉及疲劳驾驶检测方法和装置。

背景技术

近年来，随着经济社会的发展，机动车辆的数量大大增多，因而，由于疲劳驾驶导致的交通事故也越来越多。针对上述问题，现有的疲劳驾驶的检测方法主要有如下三种方法：

近年来，随着经济社会的发展，机动车辆的数量大大增多，因而，由于疲劳驾驶导致的交通事故也越来越多。针对上述问题，现有的疲劳驾驶的检测方法主要有如下三种方法：

(1)基于生理信号的检测方法。

基于生理信号的检测方法，需要采集驾驶员的血压以及脑电波的生理信号，并依据上述生理信号判断驾驶员是否处于疲劳驾驶状态。此种检测方法需要有高精度的检测仪器，因此相应的成本也比较高。

(2)基于行车信息的疲劳检测方法。

当行车信息显示出车辆左右摇晃幅度过大，或者车速不稳定，则判断为当前驾驶员处于疲劳驾驶状态。由于不同的驾驶员具有不同的驾驶习惯，以及不同道路上的行车状况，因而，基于行车信息的疲劳检测方法难以有效地执行，所获得的结果的准确度不高。

(3)基于生理特征的疲劳检测方法。

为了提高图像处理技术的处理效率，缩小眼睛的搜索范围，对人脸进行定位。基于生理特征的疲劳检测方法，通过图像处理技术，首先定位人脸区域，再在当前人脸区域内分析眼睛的状态，根据所获得的眼睛的状态来判断驾驶员是否处于疲劳状态。由于计算速度快，且受光照影响小的优点，分类器的方法被应用于人脸定位技术中。若检测结果显示出驾驶员表现出频频低头以及闭眼，则判断出驾驶员处于疲劳驾驶的状态。

但是，本发明的发明人发现，该方法对提高疲劳检测算法的有效性有较大的局限性：例如，当驾驶员的头部向后扭转，或者头部侧向左侧或右侧时，采集的脸部图像出现偏转，此时容易出现误判情况，降低判断驾驶员是否处于疲劳驾驶状态的准确性。

发明内容

针对上述现有技术存在的缺陷，本发明提供了一种疲劳驾驶检测方法和装置，能够获取更高准确度、精度的人眼关键点的位置信息，移动设备可以更为准确地获知驾驶员是否疲劳驾驶的信息，当驾驶员出现疲劳驾驶时，对驾驶员进行提醒，使得驾驶员处于安全驾驶的状态，提高驾驶员长时间驾驶时的安全性。

本发明的实施例根据一个方面，提供了一种疲劳驾驶检测方法，包括：

采集驾驶员的人脸图像，从中检测出人脸区域，确定所述人脸区域中的人脸关键点，作为当前帧人脸图像的人脸关键点；

根据所述人脸关键点确定出人眼区域后，从所述人脸关键点中选取位于所述人眼区域中的人眼关键点；

根据所述人眼区域中的人眼关键点连线之间的夹角信息，判断所述驾驶员是否疲劳驾驶。

本发明的实施例根据另一个方面，还提供了一种疲劳驾驶检测装置，包括：

人脸区域检测模块，用于采集驾驶员的人脸图像，从中检测出人脸区域；

人脸关键点确定模块，用于从所述人脸区域检测模块所检测出的所述人脸区域中确定出人脸关键点，作为当前帧人脸图像的人脸关键点；

人眼关键点确定模块，用于根据所述人脸关键点确定模块所确定的当前帧人脸图像的人脸关键点，确定出人眼区域后，从所述人脸关键点中选取位于所述人眼区域中的人眼关键点；

疲劳驾驶判断模块，用于根据所述人眼关键点确定模块所确定的所述人眼区域中的人眼关键点连线之间的夹角信息，判断所述驾驶员是否疲劳驾驶。

本发明的技术方案中，采集驾驶员的人脸图像，从中检测出人脸区域，从人脸区域中确定出当前帧人脸图像的人脸关键点，进而确定出人眼关键点，根据人眼关键点连线之间的夹角信息判断驾驶员的疲劳驾驶状态；相比现有的通过人脸器官布局规律，或者通过瞳孔检测的方法获取人眼位置，更不易受到人脸姿态、光照变化的影响，从而提高疲劳驾驶状态检测准确度。

进一步地，本发明的技术方案中，基于更高准确度、精度的人眼位置信息，对人眼区域中的人眼关键点连线之间的夹角信息进行读取，判断驾驶员是否疲劳驾驶；相比现有人眼状态检测方法，本发明基于更高准确度、精度的判断人眼的闭合程度，从而更为准确地获知驾驶员是否疲劳驾驶的信息，当驾驶员出现疲劳驾驶时，对驾驶员进行提醒，使得驾驶员处于安全驾驶的状态，提高驾驶员长时间驾驶时的安全性。

进一步，本发明实施例的根据相邻两帧人脸图像进行疲劳驾驶检测的方法中，可以利用当前帧人脸图像的人脸关键点初始化出下一帧人脸图像的人脸区域，与从每一帧人脸图像中检测出人脸区域相比，计算量大大减少，整体上提升了疲劳驾驶检测的速度，可以及时地检测出驾驶员的疲劳驾驶状态并进行提醒，提高了行车安全。

本发明附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1a、1b为本发明实施例的疲劳驾驶检测方法的流程示意图；

图2a为本发明实施例的人脸区域示意图；

图2b为本发明实施例的人脸关键点示意图；

图3为本发明实施例的疲劳驾驶检测装置的结构示意图；

图4为本发明实施例的疲劳驾驶判断模块的内部结构示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。

本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。

本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。

本技术领域技术人员可以理解，这里所使用的“终端”、“终端设备”既包括无线信号接收器的设备，其仅具备无发射能力的无线信号接收器的设备，又包括接收和发射硬件的设备，其具有能够在双向通信链路上，进行双向通信的接收和发射硬件的设备。这种设备可以包括：蜂窝或其他通信设备，其具有单线路显示器或多线路显示器或没有多线路显示器的蜂窝或其他通信设备；PCS(Personal Communications Service，个人通信***)，其可以组合语音、信息处理、传真和/或信息通信能力；PDA(Personal Digital Assistant，个人数字助理)，其可以包括射频接收器、寻呼机、互联网/内联网访问、网络浏览器、记事本、日历和/或GPS(Global Positioning System，全球定位***)接收器；常规膝上型和/或掌上型计算机或其他设备，其具有和/或包括射频接收器的常规膝上型和/或掌上型计算机或其他设备。这里所使用的“终端”、“终端设备”可以是便携式、可运输、安装在交通工具(航空、海运和/或陆地)中的，或者适合于和/或配置为在本地运行，和/或以分布形式，运行在地球和/或空间的任何其他位置运行。这里所使用的“终端”、“终端设备”还可以是通信终端、上网终端、音乐/视频播放终端，例如可以是PDA、MID(Mobile Internet Device，移动互联网设备)和/或具有音乐/视频播放功能的移动电话，也可以是智能电视、机顶盒等设备。

本发明的发明人发现，现有基于生理特征的疲劳检测方法的检测结果不准确的关键原因在于：疲劳检测算法是基于采集到的当前驾驶员所表现出的频频低头的图像来进行运算。当驾驶员头部发生偏转情况时，例如，当驾驶员的头部向后扭转，或者头部侧向左侧或右侧时，采集的脸部图像出现偏转。由于采集的脸部图像出现偏转，无法采集到当前驾驶员所表现出的频频低头的图像，基于采集到的当前驾驶员所表现出的频频低头的图像来进行运算的疲劳检测算法也就失效了，无法获知驾驶员是否疲劳驾驶的信息，导致容易出现误判情况，降低判断驾驶员是否处于疲劳驾驶状态的准确性。

因此，有必要提供一种能够获取更高准确度、精度的人眼关键点的位置信息的疲劳驾驶的检测方法，从而基于获取的人眼关键点的位置信息，以及人眼关键点连线之间的夹角信息，移动设备可以更为准确地获知驾驶员是否疲劳驾驶的信息，当驾驶员出现疲劳驾驶时，对驾驶员进行提醒，使得驾驶员处于安全驾驶的状态，提高驾驶员长时间驾驶时的安全性。

本发明的发明人考虑到，可以利用移动设备的摄像头对当前用户的人脸进行拍摄后，从拍摄的人脸图像中检测出人脸区域，从人脸区域中确定出人脸关键点，根据人脸关键点确定出人眼区域，进而确定人眼区域中的人眼关键点，进而根据人眼关键点连线之间的夹角信息，可以更为准确地判断驾驶员是否疲劳驾驶。

而且，相比现有的通过人脸器官布局规律，或者通过瞳孔检测的方法来判断驾驶员是否疲劳驾驶，本发明的技术方案不易受到人脸姿态、光照变化的影响；事实上，当人脸姿态发生变化，人脸出现偏转时，人眼关键点连线的夹角并不会发生改变，因此，本发明的技术方案在人脸姿态、光照变化时相比于现有技术的判断方法具有更高准确度。从而使得当驾驶员出现疲劳驾驶时，及时对其进行提醒，提高了长时间驾驶的安全性。

下面结合附图详细说明本发明的技术方案。

本发明实施例中，移动设备在进行疲劳驾驶检测之前，可以利用批量的人脸图像对人脸检测器进行训练；对人脸检测器进行训练的具体方法为本领域技术人员所熟知，此处不再赘述。

本发明实施例中，移动设备根据当前帧人脸图像进行疲劳驾驶检测的具体方法流程，如图1a所示，包括如下步骤：

S101：采集驾驶员的人脸图像，从中检测出人脸区域。

考虑到目前移动设备，尤其是手机、平板电脑等通常配有摄像头(比如，前置摄像头)。因此，本步骤中，移动设备可以利用其前置摄像头对用户的人脸进行拍摄，从而采集到驾驶员的人脸图像。

移动设备采集到驾驶员的第一帧人脸图像后，可以利用预先训练的人脸检测器定位出人脸区域。例如，图2a中位于人员脸部的方框表示从该人脸图像中检测出的人脸区域。

S102：确定人脸区域中的人脸关键点，作为当前帧人脸图像的人脸关键点。

具体地，移动设备利用预先训练的人脸关键点检测器从定位出的人脸区域中，确定人脸区域中的人脸关键点，作为当前帧人脸图像的人脸关键点；此当前帧人脸图像可以是第一帧人脸图像。也就是说，利用预先训练的人脸关键点检测器可以确定出当前帧人脸图像的人脸关键点的位置信息。人脸关键点可以包括：人眼关键点、人鼻关键点和人嘴关键点。人脸关键点的位置信息，具体可以是人脸关键点在人脸图像所在平面的坐标信息。人脸关键点检测器的训练方法为本领域技术人员所熟知，此处不再赘述。

较佳地，移动设备可以利用Supervised Descent Method(监督下降法)从人脸区域中确定出人脸关键点。

例如图2b的方框中分位于人员眼睛、鼻子和嘴巴处的多个点，都表示当前帧人脸图像的人脸关键点。

S103：根据当前帧人脸图像的人脸关键点确定出当前帧人脸图像的人眼区域后，从人脸关键点中选取位于人眼区域中的人眼关键点。

为了提高人眼区域的检测效率和准确度，移动设备可以根据当前帧人脸图像的人脸关键点确定出当前帧人脸图像的人眼区域，进而从人脸关键点中选取位于人眼区域中的人眼关键点，作为当前帧人脸图像的人眼关键点。人眼关键点可以包括：眼角关键点、上眼睑关键点和下眼睑关键点。

S104：根据当前帧人脸图像的人眼区域中的人眼关键点连线之间的夹角信息，判断驾驶员是否疲劳驾驶。

在本步骤中，移动设备可以根据当前帧人脸图像的人眼区域中的人眼关键点连线之间的夹角信息，判断驾驶员是否疲劳驾驶。

实际应用中，移动设备可以根据当前帧人脸图像的人眼关键点中的眼角关键点与上眼睑关键点的连线，以及眼角关键点与下眼睑关键点的连线之间的夹角信息，能够准确地判断驾驶员是否疲劳驾驶。

具体地，若在当前帧人脸图像的人眼关键点中的眼角关键点与上眼睑关键点的连线，以及眼角关键点与下眼睑关键点的连线之间的夹角小于预设阈值时，判断驾驶员疲劳驾驶。这样，移动设备可以准确地获知驾驶员处于疲劳驾驶状态，并对驾驶员进行提醒，使得驾驶员处于安全驾驶的状态。

反之，若在关键点连线之间的夹角大于预设阈值时，判断出驾驶员处于非疲劳驾驶状态，并记录当前部位标定点的参数信息。这样，移动设备可以准确地获知驾驶员处于非疲劳驾驶状态，并记录当前部位标定点的参数信息。

更优地，上述阈值既可以是预先固定设置，也可以通过大量采集该驾驶员的人脸图像，并根据大量人脸图像中的人眼区域中的人眼关键点连线之间的夹角信息进行学习、训练，得到适合于该驾驶员的阈值。其具体的训练方法，可以应用现有技术的一些模型训练方法，此处不再赘述。事实上，各个不同的驾驶员其人眼区域图像特点有所不同；因此，根据每个驾驶员本身的人眼区域图像特点设置阈值，有助于提高疲劳驾驶的判断准确性。

更优地，移动设备根据当前帧人脸图像的人眼关键点中上眼睑关键点和下眼睑关键点的位置信息，利用PERCLOS(眼睑闭合度)算法，确定出驾驶员的眼睛闭合时间的百分率；当确定出的眼睛闭合时间的百分率不小于预设的眼睛闭合时间的百分率阈值时，判断出驾驶员处于疲劳驾驶状态；当确定出的眼睛闭合时间的百分率小于预设的眼睛闭合时间的百分率阈值时，判断出驾驶员处于非疲劳驾驶状态。

更优地，为提高判断疲劳驾驶状态的速度，以便及时发现驾驶员的疲劳驾驶状态进行告警提醒，本发明技术方案中，移动设备在继续采集下一帧人脸图像后，可以利用在前帧的人脸关键点加快疲劳驾驶检测，其具体方法流程，如图1b所示，在上述步骤S101-S104之后还包括如下步骤：

S105：继续采集下一帧人脸图像后，利用上一帧人脸图像的人脸关键点的位置初始化下一帧人脸图像，得到下一帧人脸图像的初始化人脸区域。

具体地，移动设备继续采集下一帧人脸图像后，利用上述步骤S102中所述的当前帧人脸图像的人脸关键点，即利用上一帧人脸图像的人脸关键点的位置信息，从下一帧人脸图像中初步定位一个大致的人脸区域，即得到下一帧人脸图像的初始化人脸区域及其位置信息。

由于利用上一帧人脸图像的人脸关键点可以快速定位下一帧人脸图像中的人脸区域，相比于利用人脸检测器从下一帧人脸图像定位人脸区域可以大大节约时间，从而整体上缩减疲劳驾驶检测的时间，提高检测效率，加快检测速度。

S106：利用人脸识别器最终判别初始化人脸区域确实为下一帧人脸图像中的人脸区域后，从下一帧人脸图像中的人脸区域中，确定下一帧人脸图像的人脸关键点。

具体地，人脸识别器可以为二类分类器，可以通过多个正样本和负样本预先训练得到；其中，正样件采用人脸图像，负样本可以采用除了人脸图像之外的其它图像。具体的训练方法可以采用本领域技术人员所熟知的惯用方法，此处不再赘述。

移动设备利用预先训练得到的人脸识别器判别初始化人脸区域是否为下一帧人脸图像中的人脸区域：若是，则从下一帧人脸图像中的人脸区域中，确定下一帧人脸图像的人脸关键点；否则忽略拍摄得到的下一帧人脸图像，并返回到步骤S105。从下一帧人脸图像中的人脸区域中，确定下一帧人脸图像的人脸关键点的具体方法，与上述步骤S102中确定当前帧人脸图像的人脸关键点的具体方法相同，此处不再赘述。

S107：根据下一帧人脸图像的人脸关键点确定出下一帧人脸图像中的人眼区域，从下一帧人脸图像的人脸关键点中选取位于下一帧人脸图像中的人眼区域中的人眼关键点，作为下一帧人脸图像的人眼关键点。

具体地，移动设备根据下一帧人脸图像的人脸关键点确定出下一帧人脸图像中的人眼区域。

之后，移动设备从下一帧人脸图像的人脸关键点中选取位于下一帧人脸图像中的人眼区域中的人眼关键点，作为下一帧人脸图像。

S108：根据下一帧人脸图像的人眼关键点连线之间的夹角信息，判断驾驶员是否疲劳驾驶。

具体地，移动设备根据下一帧人脸图像的人眼关键点连线之间的夹角信息，判断驾驶员是否疲劳驾驶，具体方法与上述步骤S104中根据当前帧人脸图像的人眼区域中的人眼关键点连线之间的夹角信息，判断驾驶员是否疲劳驾驶的方法一致，此处不再赘述。

上述步骤S101至步骤S108的疲劳驾驶检测方法，相比现有技术，不需要对采集的每帧图像均做人脸检测，移动设备只需要直接读取所存储的上一帧人脸图像的人脸关键点的位置信息，并以此信息进行计算，以获取下一帧人脸图像的人脸区域的位置信息，进而从下一帧人脸图像的人脸区域中获取下一帧人脸图像的人眼关键点，并进行疲劳驾驶判断。这将大大地提高确定下一帧人脸图像的人眼关键点及其位置信息的速度，提高了用户体验度。

基于上述疲劳驾驶的检测方法，本发明实施例提供了一种可以应用并设置于移动设备中的疲劳驾驶检测装置，如图3所示，具体可以包括：人脸区域检测模块301、人脸关键点确定模块302、人眼关键点确定模块303、以及疲劳驾驶判断模块304。

其中，人脸区域检测模块301用于采集驾驶员的人脸图像，从中检测出人脸区域。

人脸关键点确定模块302用于从人脸区域检测模块301所检测出的人脸区域中确定出人脸关键点，作为当前帧人脸图像的人脸关键点。

人眼关键点确定模块303用于根据人脸关键点确定模块302所确定的当前帧人脸图像的人脸关键点，确定出人眼区域后，从当前帧人脸图像的人脸关键点中选取位于人眼区域中的人眼关键点，作为帧人脸图像的人眼关键点。

疲劳驾驶判断模块304用于根据人眼关键点确定模块303所确定的人眼区域中的人眼关键点连线之间的夹角信息，判断驾驶员是否疲劳驾驶。

较佳地，人脸区域检测模块301还用于对于摄像头继续采集的下一帧人脸图像，利用上一帧人脸图像的人脸关键点的位置初始化下一帧人脸图像，得到下一帧人脸图像的初始化人脸区域。

人脸关键点确定模块302还利用人脸识别器最终判别人脸区域检测模块301所得到的初始化人脸区域确实为下一帧人脸图像中的人脸区域后，从下一帧人脸图像中的人脸区域中，确定下一帧人脸图像的人脸关键点。

人眼关键点确定模块303还用于根据人脸关键点确定模块302所确定的下一帧人脸图像的人脸关键点确定出下一帧人脸图像中的人眼区域，从下一帧人脸图像的人脸关键点中选取位于下一帧人脸图像中的人眼区域中的人眼关键点，作为下一帧人脸图像的人眼关键点。

疲劳驾驶判断模块304还用于根据人眼关键点确定模块303所确定的下一帧人脸图像的人眼关键点连线之间的夹角信息，判断驾驶员是否疲劳驾驶。

更优地，疲劳驾驶判断模块304的内部结构示意图如图4所示，具体包括：人眼关键点连线单元401和判断单元402。

其中，人眼关键点连线单元401用于确定人眼关键点确定模块303所确定的人眼关键点中的眼角关键点与上眼睑关键点的连线；以及该眼角关键点与下眼睑关键点的连线。

判断单元402用于在人眼关键点连线单元401所确定的人眼关键点中的眼角关键点与上眼睑关键点的连线，以及该眼角关键点与下眼睑关键点的连线之间的夹角小于预设阈值时，判断驾驶员疲劳驾驶，否则，判断出驾驶员处于非疲劳驾驶状态。

具体地，在人眼关键点连线单元401所确定的人眼关键点中的眼角关键点与上眼睑关键点的连线，以及该眼角关键点与下眼睑关键点的连线之间的夹角小于预设阈值时，疲劳驾驶判断模块303的判断单元402用于判断驾驶员疲劳驾驶。因而，对驾驶员进行提醒，使得驾驶员处于安全驾驶的状态，提高驾驶员长时间驾驶时的安全性。

反之，在人眼关键点连线单元401所确定的人眼关键点中的眼角关键点与上眼睑关键点的连线，以及该眼角关键点与下眼睑关键点的连线之间的夹角大于预设阈值时，疲劳驾驶判断模块303的判断单元402判断出驾驶员处于非疲劳驾驶状态。

进一步地，本发明实施例的疲劳驾驶的检测装置，还包括：记录模块(图中未标)。

在疲劳驾驶判断模块304的判断单元402判断出驾驶员处于非疲劳驾驶状态之后，为了进一步地提高人脸图像的数据处理效率，启动记录模块的记录参数信息的功能。记录模块用于进一步地记录上一帧(或当前帧)人脸图像的各人脸关键点的位置信息。

为了进一步地提高人脸图像的数据处理速度，疲劳驾驶的检测装置还包括存储模块(图中未标)，其中，存储模块用于将上一帧(或当前帧)人脸图像的各人脸关键点的位置信息进行存储。这样，移动设备可以利用上一帧人脸图像的人脸关键点可以快速定位下一帧人脸图像中的人脸区域，相比于利用人脸检测器从下一帧人脸图像定位人脸区域可以大大节约时间，从而整体上缩减疲劳驾驶检测的时间，提高检测效率，加快检测速度。

上述人脸区域检测模块301、人脸关键点确定模块302、人眼关键点确定模块303、疲劳驾驶判断模块304及其人眼关键点连线单元401和判断单元402功能的具体实现方法，可以参考上述如图1a和图1b所示的方法流程步骤的具体内容，此处不再赘述。

本发明的技术方案中，由于采集驾驶员的人脸图像，从中检测出人脸区域，从人脸区域中确定出当前帧人脸图像的人脸关键点，进而确定出人眼关键点，根据人眼关键点连线之间的夹角信息判断驾驶员的疲劳驾驶状态；相比现有的通过人脸器官布局规律，或者通过瞳孔检测的方法获取人眼位置，更不易受到人脸姿态、光照变化的影响，从而提高疲劳驾驶状态检测准确度。

而且，本发明实施例中，基于更高准确度、精度的人眼位置信息，对人眼区域中的人眼关键点连线之间的夹角信息进行读取，判断驾驶员是否疲劳驾驶；相比现有人眼状态检测方法，本发明基于更高准确度、精度的判断人眼的闭合程度，从而更为准确地获知驾驶员是否疲劳驾驶的信息，当驾驶员出现疲劳驾驶时，对驾驶员进行及时提醒，使得驾驶员处于安全驾驶的状态，提高驾驶员长时间驾驶时的安全性。

进一步，本发明实施例的根据相邻两帧人脸图像进行疲劳驾驶检测的方法中，可以利用当前帧人脸图像的人脸关键点初始化出下一帧人脸图像的人脸区域，与从每一帧人脸图像中检测出人脸区域相比，计算量大大减少，整体上提升了疲劳驾驶检测的速度，可以及时地检测出驾驶员的疲劳驾驶状态并进行提醒，提高了行车安全。

本技术领域技术人员可以理解，本发明包括涉及用于执行本申请中所述操作中的一项或多项的设备。这些设备可以为所需的目的而专门设计和制造，或者也可以包括通用计算机中的已知设备。这些设备具有存储在其内的计算机程序，这些计算机程序选择性地激活或重构。这样的计算机程序可以被存储在设备(例如，计算机)可读介质中或者存储在适于存储电子指令并分别耦联到总线的任何类型的介质中，所述计算机可读介质包括但不限于任何类型的盘(包括软盘、硬盘、光盘、CD-ROM、和磁光盘)、ROM(Read-Only Memory，只读存储器)、RAM(Random Access Memory，随即存储器)、EPROM(Erasable ProgrammableRead-Only Memory，可擦写可编程只读存储器)、EEPROM(Electrically ErasableProgrammable Read-Only Memory，电可擦可编程只读存储器)、闪存、磁性卡片或光线卡片。也就是，可读介质包括由设备(例如，计算机)以能够读的形式存储或传输信息的任何介质。

本技术领域技术人员可以理解，可以用计算机程序指令来实现这些结构图和/或框图和/或流图中的每个框以及这些结构图和/或框图和/或流图中的框的组合。本技术领域技术人员可以理解，可以将这些计算机程序指令提供给通用计算机、专业计算机或其他可编程信息处理方法的处理器来实现，从而通过计算机或其他可编程信息处理方法的处理器来执行本发明公开的结构图和/或框图和/或流图的框或多个框中指定的方案。

本技术领域技术人员可以理解，本发明中已经讨论过的各种操作、方法、流程中的步骤、措施、方案可以被交替、更改、组合或删除。进一步地，具有本发明中已经讨论过的各种操作、方法、流程中的其他步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。进一步地，现有技术中的具有与本发明中公开的各种操作、方法、流程中的步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。

以上所述仅是本发明的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (9)

1.一种疲劳驾驶检测方法，其特征在于，包括：

采集驾驶员的人脸图像，从中检测出人脸区域，确定所述人脸区域中的人脸关键点，作为当前帧人脸图像的人脸关键点；

根据所述人脸关键点确定出人眼区域后，从所述人脸关键点中选取位于所述人眼区域中的人眼关键点；

根据所述人眼区域中的人眼关键点连线之间的夹角信息，判断所述驾驶员是否疲劳驾驶；

还包括：

继续采集下一帧人脸图像后，利用上一帧人脸图像的人脸关键点的位置初始化所述下一帧人脸图像，得到所述下一帧人脸图像的初始化人脸区域；

利用人脸识别器最终判别所述初始化人脸区域确实为所述下一帧人脸图像中的人脸区域后，从所述下一帧人脸图像中的人脸区域中，确定下一帧人脸图像的人脸关键点；

根据所述下一帧人脸图像的人脸关键点确定出下一帧人脸图像中的人眼区域，从所述下一帧人脸图像的人脸关键点中选取位于下一帧人脸图像中的人眼区域中的人眼关键点，作为下一帧人脸图像的人眼关键点；

根据下一帧人脸图像的人眼关键点连线之间的夹角信息，判断所述驾驶员是否疲劳驾驶。

2.如权利要求1所述的方法，其特征在于，所述人脸识别器具体为二类分类器，以及是通过多个正、负样本预先训练得到的；

其中，所述正样本具体为人脸图像，所述负样本为其它图像。

3.如权利要求1-2任一项所述的方法，其特征在于，所述采集驾驶员的人脸图像，从中检测出人脸区域，具体包括：

采集驾驶员的人脸图像后，利用预先训练的人脸检测器，定位出人脸区域。

4.如权利要求1-2任一项所述的方法，其特征在于，所述确定所述人脸区域中的人脸关键点，具体包括：

利用预先训练的人脸特征点检测器从定位出的人脸区域中，确定所述人脸区域中的人脸关键点，作为当前帧人脸图像的人脸关键点。

5.如权利要求1-2任一项所述的方法，其特征在于，所述人眼区域中人眼的关键点连线，包括：

所述人眼关键点中的眼角关键点与上眼睑关键点的连线；

所述眼角关键点与下眼睑关键点的连线。

6.如权利要求5所述的方法，其特征在于，所述根据所述人眼区域中的人眼关键点连线之间的夹角信息，判断所述驾驶员是否疲劳驾驶，具体包括：

在所述关键点连线之间的夹角小于预设阈值时，判断所述驾驶员疲劳驾驶。

7.如权利要求5所述的方法，其特征在于，所述方法还包括：

在所述关键点连线之间的夹角大于预设阈值时，判断出所述驾驶员处于非疲劳驾驶状态。

8.一种疲劳驾驶检测装置，其特征在于，包括：

人脸区域检测模块，用于采集驾驶员的人脸图像，从中检测出人脸区域；

人脸关键点确定模块，用于从所述人脸区域检测模块所检测出的所述人脸区域中确定出人脸关键点，作为当前帧人脸图像的人脸关键点；

人眼关键点确定模块，用于根据所述人脸关键点确定模块所确定的当前帧人脸图像的人脸关键点，确定出人眼区域后，从所述人脸关键点中选取位于所述人眼区域中的人眼关键点；

疲劳驾驶判断模块，用于根据所述人眼关键点确定模块所确定的所述人眼区域中的人眼关键点连线之间的夹角信息，判断所述驾驶员是否疲劳驾驶；

所述人脸区域检测模块还用于对于摄像头继续采集的下一帧人脸图像，利用上一帧人脸图像的人脸关键点的位置初始化所述下一帧人脸图像，得到所述下一帧人脸图像的初始化人脸区域；

所述人脸关键点确定模块还利用人脸识别器最终判别所述初始化人脸区域确实为所述下一帧人脸图像中的人脸区域后，从所述下一帧人脸图像中的人脸区域中，确定下一帧人脸图像的人脸关键点；

所述人眼关键点确定模块还用于根据所述下一帧人脸图像的人脸关键点确定出下一帧人脸图像中的人眼区域，从所述下一帧人脸图像的人脸关键点中选取位于下一帧人脸图像中的人眼区域中的人眼关键点，作为下一帧人脸图像的人眼关键点；

所述疲劳驾驶判断模块还用于根据下一帧人脸图像的人眼关键点连线之间的夹角信息，判断所述驾驶员是否疲劳驾驶。

9.如权利要求8所述的装置，其特征在于，所述疲劳驾驶判断模块具体包括：

人眼关键点连线单元，用于确定所述人眼关键点确定模块所确定的所述人眼关键点中的眼角关键点与上眼睑关键点的连线，以及所述眼角关键点与下眼睑关键点的连线；

判断单元，用于在所述人眼关键点连线单元所确定的所述人眼关键点中的眼角关键点与上眼睑关键点的连线，以及所述眼角关键点与下眼睑关键点的连线之间的夹角小于预设阈值时，判断所述驾驶员疲劳驾驶，否则，判断出所述驾驶员处于非疲劳驾驶状态。