CN108108651B - 基于视频人脸分析的驾驶员非专心驾驶检测方法及*** - Google Patents

Abstract

本发明公开一种基于视频人脸分析的驾驶员非专心驾驶检测方法及***，该方法包括如下步骤：在驾驶的过程中，获取驾驶员头部的视频序列；对视频序列进行人脸检测，得到人脸图像；对人脸图像进行特征定位；将定位的人脸特征映射到三维模型上，得到驾驶员的人脸姿态数据；以及从定位的人脸特征中，提取嘴巴特征点信息，得到驾驶员的口型数据；根据驾驶员的人脸姿态数据及口型数据，判断驾驶员是否为非专心驾驶。本发明的技术方案在黑夜、光照不均匀或戴墨镜等各种复杂场景下，提高判断驾驶员非疲劳驾驶的可靠性和准确性。

Description

基于视频人脸分析的驾驶员非专心驾驶检测方法及***

技术领域

本发明涉及视频处理技术领域，尤其涉及一种基于视频人脸分析的驾驶员非专心驾驶检测方法及***。

背景技术

疲劳驾驶曾被认为是导致道路交通事故最重要的原因，但统计数据表明，不专心驾驶(例如开车玩手机、长时间交谈)引发的事故比例高过疲劳驾驶。另一方面来说，疲劳驾驶也可以归类为不专心驾驶里面。如此，开发高性能的驾驶员非专心驾驶的检测***，通过对驾驶员实时监测并适当预警，能够大大降低因不专心驾驶而造成的交通事故。现有基于视频的驾驶员疲劳驾驶检测的方法及***，都是基于人脸检测和眼睛瞳孔判定，通过对瞳孔状态及眼睛闭合的程度来判定是否为驾驶员疲劳驾驶。基于驾驶员眼睛闭合程度判定的疲劳驾驶检测方法在理想化环境的一定程度上可以起到提醒驾驶员不要疲劳驾驶的目的。但这类方法的效果极其有限，还不足以应付各类驾驶场合，例如对于佩戴墨镜时***不能检测到眼睛瞳孔、夜间摄像头捕捉不到正常人脸图像、或光照变化特别大无法捕捉特征而失去作用。对于驾驶员并不处于疲劳驾驶，但处于不专心驾驶的情形，目前的方法及***并未涉及，未能起到有效提醒的作用。

发明内容

为解决上述至少一技术问题，本发明的主要目的是提供一种基于视频人脸分析的驾驶员非专心驾驶检测方法。

为实现上述目的，本发明采用的一个技术方案为：提供一种基于视频人脸分析的驾驶员非专心驾驶检测方法，包括如下步骤：

在驾驶的过程中，获取驾驶员头部的视频序列；

对视频序列进行人脸检测，得到人脸图像；

对人脸图像进行特征定位；

将定位的人脸特征映射到三维模型上，得到驾驶员的人脸姿态数据；以及

从定位的人脸特征中，提取嘴巴特征点信息，得到驾驶员的口型数据；

根据驾驶员的人脸姿态数据及口型数据，判断驾驶员是否为非专心驾驶。

优选地，所述对人脸图像进行特征定位的步骤，具体包括：

归一化人脸图像，使人脸图像的尺寸统一；

计算归一化人脸图像的均值人脸，并将均值人脸作为估计人脸，并放在人脸图像上，使均值中心和真实人脸形状中心对齐；

计算基于每一个均值人脸的标记点的非灰度值特征，并将所有标记点的非灰度值特征组合形成样本特征，记作矩阵I；

计算估计人脸和真实人脸之间的偏移量，并形成矩阵R；

根据样本特征矩阵I及估计人脸和真实人脸之间的偏移量矩阵R计算出估计人脸与真实人脸偏移量的映射矩阵。

优选地，所述将定位的人脸特征根据映射矩阵映射到三维模型上，得到驾驶员的人脸姿态数据的步骤，具体包括：

对3D人脸模型渲染的相关人脸图像提取面部特征；

建立人脸图像2D-3D的对应关系，将提取的人脸图像的面部特征映射到给定的3D人脸模型；以及

根据旋转向量及3D人脸模型初始方向向量，计算出表达人脸姿态的向量。

优选地，所述从定位的人脸特征中，提取嘴巴特征点信息，得到驾驶员的口型数据的步骤，具体包括：

分别计算每一帧嘴巴第n个特征点与前i帧对应特征点、以及第n个特征点与后i帧对应特征点的横坐标与纵坐标的距离偏移度，得到偏移度坐标；

根据正态加权累积m帧嘴巴偏移度；

根据大量说话与不说话时的口型样本，聚类得到偏移度坐标的阈值范围，并将阈值范围拟合成闭合域；

在第n个特征点的偏移度坐标落入闭合域时，判断为说话口型。

优选地，所述根据驾驶员的人脸姿态数据及口型数据，判断驾驶员是否为非专心驾驶的步骤，具体包括：

根据专心驾驶和非专心驾驶图像样本，聚类分析得到专心驾驶的人脸姿态范围，在人脸姿态偏侧角度序列超过既定专心驾驶姿态范围时，认定为非专心驾驶；

根据每帧嘴巴的特征点进行运动描述，聚类分析得到嘴巴运动时间窗范围，在嘴巴运动时间窗超过既定专心驾驶时嘴巴运动时间窗范围时，认定为非专心驾驶。

为实现上述目的，本发明采用的一个技术方案为：提供一种基于视频人脸分析的驾驶员非专心驾驶检测***，包括：

获取模块，用于在驾驶的过程中，获取驾驶员头部的视频序列；

检测模块，用于对视频序列进行人脸检测，得到人脸图像；

定位模块，用于对人脸图像进行特征定位；

第一计算模块，用于将定位的人脸特征映射到三维模型上，得到驾驶员的人脸姿态数据；以及

第二计算模块，用于从定位的人脸特征中，提取嘴巴特征点信息，得到驾驶员的口型数据；

认定模块，用于根据驾驶员的人脸姿态数据及口型数据，判断驾驶员是否为非专心驾驶。

优选地，所述定位模块，具体用于：

归一化人脸图像，使人脸图像的尺寸统一；

计算归一化人脸图像的均值人脸，并将均值人脸作为估计人脸，并放在人脸图像上，使均值中心和真实人脸形状中心对齐；

计算基于每一个均值人脸的标记点的非灰度值特征，并将所有标记点的非灰度值特征组合形成样本特征，记作矩阵I；

计算估计人脸和真实人脸之间的偏移量，并形成矩阵R；

根据样本特征矩阵I及估计人脸和真实人脸之间的偏移量矩阵R计算出估计人脸与真实人脸偏移量的映射矩阵。

优选地，所述第一计算模块，具体用于：

对3D人脸模型渲染的相关人脸图像提取面部特征；

建立人脸图像2D-3D的对应关系，将提取的人脸图像的面部特征映射到给定的3D人脸模型；以及

根据旋转向量及3D人脸模型初始方向向量，计算出表达人脸姿态的向量。

优选地，所述第二计算模块，具体用于：

分别计算每一帧嘴巴第n个特征点与前i帧对应特征点、以及第n个特征点与后i帧对应特征点的横坐标与纵坐标的距离偏移度，得到偏移度坐标；

根据正态加权累积m帧嘴巴偏移度；

根据大量说话与不说话时的口型样本，聚类得到偏移度坐标的阈值范围，并将阈值范围拟合成闭合域；

在第n个特征点的偏移度坐标落入闭合域时，判断为说话口型。

优选地，所述认定模块，具体用于：

根据专心驾驶和非专心驾驶图像样本，聚类分析得到专心驾驶的人脸姿态范围，在人脸姿态偏侧角度序列超过既定专心驾驶姿态范围时，认定为非专心驾驶；

根据每帧嘴巴的特征点进行运动描述，聚类分析得到嘴巴运动时间窗范围，在嘴巴运动时间窗超过既定专心驾驶时嘴巴运动时间窗范围时，认定为非专心驾驶。

本发明的技术方案通过将定位的人脸特征映射到三维模型上，得到驾驶员的人脸姿态数据；以及从定位的人脸特征中，提取嘴巴特征点信息，得到驾驶员的口型数据；根据驾驶员的人脸姿态数据及口型数据，判断驾驶员是否为非专心驾驶，能够在黑夜、光照不均匀或戴墨镜等各种复杂场景下，提高认定驾驶员非专心驾驶的可靠性和准确性；及时提醒驾驶员，增加行车的安全性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。

图1为本发明一实施例基于视频人脸分析的驾驶员非专心驾驶检测方法的流程图；

图2为本发明一实施例基于视频人脸分析的驾驶员非专心驾驶检测***的方框图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明，本发明中涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。

请参照图1，在本发明实施例中，该基于视频人脸分析的驾驶员非专心驾驶检测方法，包括如下步骤：

步骤S10、在驾驶的过程中，获取驾驶员头部的视频序列；

本步骤中，可以通过红外摄像头获取驾驶员头部的视频序列，优选地，该红外摄像头拍摄的是驾驶员头部正前方的头部视频。

步骤S20、对视频序列进行人脸检测，得到人脸图像；

本步骤中，可以根据Adaboost算法对视频序列进行人脸检测，

步骤S20，具体包括：通过大量的人脸及非人脸图像分别训练Adaboost分类器，然后将待检测的图像通过Adaboost分类器(即分层级联筛选器，一系列弱的筛选器串联的结合)，最终通过所有筛选器的图像就是人脸图像。

步骤S30、对人脸图像进行特征定位；

本步骤，可以通过SDM(Supervised Descent Method，监督下降法)方法对检测到的人脸进行特征定位，采用SDM算法来求非线性的最小平方差进行特征定位，SDM人脸对齐的核心内容就是特征到偏移量的映射，其中I是特征，x是映射矩阵，R是偏移量，SDM人脸对齐方法训练的目的就是得到映射矩阵x，具体的步骤请参照下述的实施例。

步骤S40、将定位的人脸特征映射到三维模型上，得到驾驶员的人脸姿态数据；

步骤S50、从定位的人脸特征中，提取嘴巴特征点信息，得到驾驶员的口型数据；

步骤S60、根据驾驶员的人脸姿态数据及口型数据，判断驾驶员是否为非专心驾驶。

本实施例中，通过步骤S40能够得到人脸姿态数据，通过步骤S50能够得到口型数据，在步骤S60中能够利用人脸姿态数据及口型数据为基础，判断驾驶员是否处于非专心驾驶状态。应该指出的是，本方法还可以在驾驶员处于非专心驾驶状态时，增加警告或提醒步骤，以提高驾驶员行车的安全性，能够大大减少交通事故的发生。

本发明的技术方案通过将定位的人脸特征映射到三维模型上，得到驾驶员的人脸姿态数据；以及从定位的人脸特征中，提取嘴巴特征点信息，得到驾驶员的口型数据；根据驾驶员的人脸姿态数据及口型数据，判断驾驶员是否为非专心驾驶，能够在黑夜、光照不均匀或戴墨镜等各种复杂场景下，提高认定驾驶员非专心驾驶的可靠性和准确性；及时提醒驾驶员，增加行车的安全性。

在一具体的实施例中，所述对人脸图像进行特征定位的步骤S30，具体包括：

步骤S31、归一化人脸图像，使人脸图像的尺寸统一；

步骤S32、计算归一化人脸图像的均值人脸，并将均值人脸作为估计人脸，并放在人脸图像上，使均值中心和真实人脸形状中心对齐；

步骤S33、计算基于每一个均值人脸的标记点的非灰度值特征，并将所有标记点的非灰度值特征组合形成样本特征，记作矩阵I；该非灰度值特征可以为SIFT特征、SURF特征或者HOG特征等。

步骤S34、计算估计人脸和真实人脸之间的偏移量，并形成矩阵R；

步骤S35、根据样本特征矩阵I及估计人脸和真实人脸之间的偏移量矩阵R计算出估计人脸与真实人脸偏移量的映射矩阵。

通过本实施例，可以得出线性方程Ix＝R，其中，I是特征，x是映射矩阵，R是偏移量，估计形状加上预测偏移量就可以得到对齐结果。

在一具体的实施例中，所述将定位的人脸特征根据映射矩阵映射到三维模型上，得到驾驶员的人脸姿态数据的步骤S40，具体包括：

步骤S41、对3D人脸模型渲染的相关人脸图像提取面部特征；

步骤S42、建立人脸图像2D-3D的对应关系，将提取的人脸图像的面部特征映射到给定的3D人脸模型；以及

步骤S43、根据旋转向量及3D人脸模型初始方向向量，计算出表达人脸姿态的向量。

本实施例中，可求其映射的旋转及平移矩阵C_M＝A_M[R_Mt_M]，其中，A_M是内参矩阵，R_M表示旋转向量，t_M表示平移向量，在检测面部特征点可表示为：p_i＝(x_i,y_i)^T，对于每个2D特征点p_i与3D坐标P＝(X,Y,Z)^T，存在p～C_MP。并且，根据旋转向量R_M及3D模型初始方向向量O_s，可以求取表达人脸姿态的向量O_t，有O_t ^T＝R_MO_s ^T。

在一具体的实施例中，所述从定位的人脸特征中，提取嘴巴特征点信息，得到驾驶员的口型数据的步骤S50，具体包括：

步骤S51、分别计算每一帧嘴巴第n个特征点p_n＝(x_n,y_n)与前i帧对应特征点p_n(t-i)、以及第n个特征点与后i帧对应特征点p_n(t+i)的横坐标与纵坐标的距离偏移度Δp_x,n(t)和Δp_y,n(t)，得到偏移度坐标Δp_n(t)；

Δp_n(t)＝Δp_n(t-i)+Δp_n(t+i)，

步骤S52、根据正态加权累积m帧嘴巴偏移度；

该偏移度为：

步骤S53、根据大量说话与不说话时的口型样本，聚类得到偏移度坐标的阈值范围，并将阈值范围拟合成闭合域；

步骤S54、在第n个特征点的偏移度坐标Δp_n(t)落入闭合域时，判断为说话口型。

本实施例中，可计算出口型数据。

在一具体的实施例中，所述根据驾驶员的人脸姿态数据及口型数据，判断驾驶员是否为非专心驾驶的步骤S60，具体包括：

步骤S61、根据专心驾驶和非专心驾驶图像样本，聚类分析得到专心驾驶的人脸姿态范围，在人脸姿态偏侧角度序列超过既定专心驾驶姿态范围时，认定为非专心驾驶；

本步骤中，得到每帧面部姿态坐标的规范化表达(α,β,γ)，可把偏头交谈、低头玩手机或抬头打盹认定为非专心驾驶。根据上述的专心驾驶和非专心驾驶图像样本，聚类分析得到专心驾驶的人脸姿态范围。

步骤S62、根据每帧嘴巴的特征点进行运动描述，聚类分析得到嘴巴运动时间窗范围，在嘴巴运动时间窗超过既定专心驾驶时嘴巴运动时间窗范围时，认定为非专心驾驶。

本步骤中，还可以把嘴巴运动时间窗作为认定非专心驾驶的依据。

请参照图2，在本发明的实施例中，该基于视频人脸分析的驾驶员非专心驾驶检测***，包括：

获取模块10，用于在驾驶的过程中，获取驾驶员头部的视频序列；

该获取模块10可以是安装于驾驶员正前方的红外摄像机，该红外摄像机能捕获到驾驶员完整头部的视频序列。

检测模块20，用于对视频序列进行人脸检测，得到人脸图像；

该检测模块20，可以根据Adaboost算法对视频序列进行人脸检测。该检测模块20具体用于：通过大量的人脸及非人脸图像分别训练Adaboost分类器，然后将待检测的图像通过Adaboost分类器(即分层级联筛选器，一系列弱的筛选器串联的结合)，最终通过所有筛选器的图像就是人脸图像。

定位模块30，用于对人脸图像进行特征定位；

该定位模块30，可以通过SDM(Supervised Descent Method，监督下降法)方法对检测到的人脸进行特征定位，采用SDM算法来求非线性的最小平方差进行特征定位，SDM人脸对齐的核心内容就是特征到偏移量的映射，其中I是特征，x是映射矩阵，R是偏移量，SDM人脸对齐方法训练的目的就是得到映射矩阵x，具体的步骤请参照下述的实施例。

第一计算模块40，用于将定位的人脸特征映射到三维模型上，得到驾驶员的人脸姿态数据；以及

第二计算模块50，用于从定位的人脸特征中，提取嘴巴特征点信息，得到驾驶员的口型数据；

认定模块60，用于根据驾驶员的人脸姿态数据及口型数据，判断驾驶员是否为非专心驾驶。

本实施例中，通过第一计算模块40能够得到人脸姿态数据，通过第二计算模块50能够得到口型数据，该认定模块60能够利用人脸姿态数据及口型数据为基础，判断驾驶员是否处于非专心驾驶状态。应该指出的是，本方法还可以在驾驶员处于非专心驾驶状态时，增加警告或提醒步骤，以提高驾驶员行车的安全性，能够大大减少交通事故的发生。

在一具体的实施例中，所述定位模块30，具体用于：

归一化人脸图像，使人脸图像的尺寸统一；

计算归一化人脸图像的均值人脸，并将均值人脸作为估计人脸，并放在人脸图像上，使均值中心和真实人脸形状中心对齐；

计算基于每一个均值人脸的标记点的非灰度值特征，并将所有标记点的非灰度值特征组合形成样本特征，记作矩阵I；该非灰度值特征可以为SIFT特征、SURF特征或者HOG特征等。

计算估计人脸和真实人脸之间的偏移量，并形成矩阵R；

根据样本特征矩阵I及估计人脸和真实人脸之间的偏移量矩阵R计算出估计人脸与真实人脸偏移量的映射矩阵。

通过本实施例，利用定位模块30得出线性方程Ix＝R，其中，I是特征，x是映射矩阵，R是偏移量，估计形状加上预测偏移量就可以得到对齐结果。

在一具体的实施例中，所述第一计算模块40，具体用于：

对3D人脸模型渲染的相关人脸图像提取面部特征；

建立人脸图像2D-3D的对应关系，将提取的人脸图像的面部特征映射到给定的3D人脸模型；以及

根据旋转向量及3D人脸模型初始方向向量，计算出表达人脸姿态的向量。

本实施例中，通过第一计算模块40可求其映射的旋转及平移矩阵C_M＝A_M[R_Mt_M]，其中，A_M是内参矩阵，R_M表示旋转向量，t_M表示平移向量，在检测面部特征点可表示为：p_i＝(x_i,y_i)^T，对于每个2D特征点p_i与3D坐标P＝(X,Y,Z)^T，存在p～C_MP。并且，根据旋转向量R_M及3D模型初始方向向量O_s，可以求取表达人脸姿态的向量O_t，有O_t ^T＝R_MO_s ^T。

在一具体的实施例中，所述第二计算模块50，具体用于：

分别计算每一帧嘴巴第n个特征点p_n＝(x_n,y_n)与前i帧对应特征点p_n(t-i)、以及第n个特征点与后i帧对应特征点p_n(t+i)的横坐标与纵坐标的距离偏移度Δp_x,n(t)和Δp_y,n(t)，得到偏移度坐标Δp_n(t)；

Δp_n(t)＝Δp_n(t-i)+Δp_n(t+i)，

根据正态加权累积m帧嘴巴偏移度；

该偏移度为：

根据大量说话与不说话时的口型样本，聚类得到偏移度坐标的阈值范围，并将阈值范围拟合成闭合域；

在第n个特征点的偏移度坐标Δp_n(t)落入闭合域时，判断为说话口型。

本实施例，通过第二计算模块50可计算口型数据。

在一具体的实施例中，所述认定模块60，具体用于：

根据专心驾驶和非专心驾驶图像样本，聚类分析得到专心驾驶的人脸姿态范围，在人脸姿态偏侧角度序列超过既定专心驾驶姿态范围时，认定为非专心驾驶；

本实施例中，得到每帧面部姿态坐标的规范化表达(α,β,γ)，可把偏头交谈、低头玩手机或抬头打盹认定为非专心驾驶。根据上述的专心驾驶和非专心驾驶图像样本，聚类分析得到专心驾驶的人脸姿态范围。

根据每帧嘴巴的特征点进行运动描述，聚类分析得到嘴巴运动时间窗范围，在嘴巴运动时间窗超过既定专心驾驶时嘴巴运动时间窗范围时，认定为非专心驾驶。

本实施例中，还可以把嘴巴运动时间窗作为认定非专心驾驶的依据。

以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是在本发明的发明构思下，利用本发明说明书及附图内容所作的等效结构变换，或直接/间接运用在其他相关的技术领域均包括在本发明的专利保护范围内。

Claims (4)

1.一种基于视频人脸分析的驾驶员非专心驾驶检测方法，其特征在于，所述基于视频人脸分析的驾驶员非专心驾驶检测方法包括如下步骤：

在驾驶的过程中，获取驾驶员头部的视频序列；

对视频序列进行人脸检测，得到人脸图像；

对人脸图像进行特征定位；

将定位的人脸特征映射到三维模型上，得到驾驶员的人脸姿态数据；以及

从定位的人脸特征中，提取嘴巴特征点信息，得到驾驶员的口型数据；

根据驾驶员的人脸姿态数据及口型数据，判断驾驶员是否为非专心驾驶；

所述对人脸图像进行特征定位的步骤，具体包括：

归一化人脸图像，使人脸图像的尺寸统一；

计算归一化人脸图像的均值人脸，并将均值人脸作为估计人脸，并放在人脸图像上，使均值中心和真实人脸形状中心对齐；

计算基于每一个均值人脸的标记点的非灰度值特征，并将所有标记点的非灰度值特征组合形成样本特征，记作矩阵I；

计算估计人脸和真实人脸之间的偏移量，并形成矩阵R；

根据样本特征矩阵I及估计人脸和真实人脸之间的偏移量矩阵R计算出估计人脸与真实人脸偏移量的映射矩阵；

所述将定位的人脸特征根据映射矩阵映射到三维模型上，得到驾驶员的人脸姿态数据的步骤，具体包括：

对3D人脸模型渲染的相关人脸图像提取面部特征；

建立人脸图像2D-3D的对应关系，将提取的人脸图像的面部特征映射到给定的3D人脸模型；以及

根据旋转向量及3D人脸模型初始方向向量，计算出表达人脸姿态的向量；

所述从定位的人脸特征中，提取嘴巴特征点信息，得到驾驶员的口型数据的步骤，具体包括：

分别计算每一帧嘴巴第n个特征点p_n＝(x_n,y_n)与前i帧对应特征点p_n(t-i)、以及第n个特征点与后i帧对应特征点p_n(t+i)的横坐标与纵坐标的距离偏移度Δp_x,n(t)和Δp_y,n(t)，得到偏移度坐标Δp_n(t)；

根据正态加权累积m帧嘴巴偏移度

根据大量说话与不说话时的口型样本，聚类得到偏移度坐标的阈值范围，并将阈值范围拟合成闭合域；

在第n个特征点的偏移度坐标Δp_n(t)落入闭合域时，判断为说话口型；

其中，Δp_n(t)＝Δp_n(t-i)+Δp_n(t+i)，

2.如权利要求1所述的基于视频人脸分析的驾驶员非专心驾驶检测方法，其特征在于，所述根据驾驶员的人脸姿态数据及口型数据，判断驾驶员是否为非专心驾驶的步骤，具体包括：

根据专心驾驶和非专心驾驶图像样本，聚类分析得到专心驾驶的人脸姿态范围，在人脸姿态偏侧角度序列超过既定专心驾驶姿态范围时，认定为非专心驾驶；

根据每帧嘴巴的特征点进行运动描述，聚类分析得到嘴巴运动时间窗范围，在嘴巴运动时间窗超过既定专心驾驶时嘴巴运动时间窗范围时，认定为非专心驾驶。

3.一种基于视频人脸分析的驾驶员非专心驾驶检测***，其特征在于，所述基于视频人脸分析的驾驶员非专心驾驶检测***包括：

获取模块，用于在驾驶的过程中，获取驾驶员头部的视频序列；

检测模块，用于对视频序列进行人脸检测，得到人脸图像；

定位模块，用于对人脸图像进行特征定位；

第一计算模块，用于将定位的人脸特征映射到三维模型上，得到驾驶员的人脸姿态数据；以及

第二计算模块，用于从定位的人脸特征中，提取嘴巴特征点信息，得到驾驶员的口型数据；

认定模块，用于根据驾驶员的人脸姿态数据及口型数据，判断驾驶员是否为非专心驾驶；

所述定位模块，具体用于：

归一化人脸图像，使人脸图像的尺寸统一；

计算归一化人脸图像的均值人脸，并将均值人脸作为估计人脸，并放在人脸图像上，使均值中心和真实人脸形状中心对齐；

计算基于每一个均值人脸的标记点的非灰度值特征，并将所有标记点的非灰度值特征组合形成样本特征，记作矩阵I；

计算估计人脸和真实人脸之间的偏移量，并形成矩阵R；

根据样本特征矩阵I及估计人脸和真实人脸之间的偏移量矩阵R计算出估计人脸与真实人脸偏移量的映射矩阵；

所述第一计算模块，具体用于：

对3D人脸模型渲染的相关人脸图像提取面部特征；

建立人脸图像2D-3D的对应关系，将提取的人脸图像的面部特征映射到给定的3D人脸模型；以及

根据旋转向量及3D人脸模型初始方向向量，计算出表达人脸姿态的向量；

所述第二计算模块，具体用于：

分别计算每一帧嘴巴第n个特征点p_n＝(x_n,y_n)与前i帧对应特征点p_n(t-i)、以及第n个特征点与后i帧对应特征点p_n(t+i)的横坐标与纵坐标的距离偏移度Δp_x,n(t)和Δp_y,n(t)，得到偏移度坐标Δp_n(t)；

根据正态加权累积m帧嘴巴偏移度

根据大量说话与不说话时的口型样本，聚类得到偏移度坐标的阈值范围，并将阈值范围拟合成闭合域；

在第n个特征点的偏移度坐标Δp_n(t)落入闭合域时，判断为说话口型；

其中，Δp_n(t)＝Δp_n(t-i)+Δp_n(t+i)，

4.如权利要求3所述的基于视频人脸分析的驾驶员非专心驾驶检测***，其特征在于，所述认定模块，具体用于：

根据专心驾驶和非专心驾驶图像样本，聚类分析得到专心驾驶的人脸姿态范围，在人脸姿态偏侧角度序列超过既定专心驾驶姿态范围时，认定为非专心驾驶；

根据每帧嘴巴的特征点进行运动描述，聚类分析得到嘴巴运动时间窗范围，在嘴巴运动时间窗超过既定专心驾驶时嘴巴运动时间窗范围时，认定为非专心驾驶。

Images