CN104573657B - 一种基于低头特征的盲驾检测方法 - Google Patents

Abstract

本发明公开了一种基于低头特征的盲驾检测方法，本发明采用视频图像处理技术，监控驾驶员头部的运动轨迹，依据驾驶员低头时间的长短实时判断是否存在盲驾行为，具有监控准确度高，漏检误检少，受环境影响小，速度快，成本低等特点。

Description

一种基于低头特征的盲驾检测方法

技术领域

本发明涉及安全驾驶技术领域，特别是盲驾检测技术领域。

背景技术

随着汽车保有量的快速增长，人们在享受到交通的便利和快捷的同时，也伴随着各类交通事故的频发，造成巨大的人员和经济损失。造成交通事故的因素很多，其中驾驶员低头玩弄手机或手持终端造成的“盲驾”是一个重要的诱发原因，因为它不像饮酒驾驶或者接打电话驾驶那样被交通法规明令禁止，因此它也是人们普遍忽视的因素，然而，它造成的危害远远超过饮酒驾驶或者接打电话驾驶，具体体现在当驾驶员玩手机时，一般都需要低头或者俯视，视线严重偏离正前方，失去了对路面情况和周边环境的有效观察，一旦遇到紧急情况或突发情况，将会大大削弱驾驶员的应变能力，极易造成交通事故。当车速在65km/h时，低头看手机2秒，相当于盲开36米，一旦遇到紧急情况，刹车至少需20米，用智能手机打开并阅读一条微博需要12秒的话，相当于汽车盲开约216米。另外，玩手机驾驶易导致错过交通信号或看不到公告栏和其他标志等。

对于盲驾引起的交通事故，由于无法实时监控驾驶员的驾驶行为，一些客运和货运企业的监管部门只能以事后的推断作为划分责任的依据，无法进行事前的监控和预防。因此，实时监控驾驶员的盲驾行为，并及时反馈给运输企业监管部门，对于预防重大交通事故，有着重要的作用。

发明内容

针对上述问题，本发明要解决的技术问题在于提供一种盲驾检测方法。

具体技术方案如下：

一种基于低头特征的盲驾检测方法，包括以下步骤：

11)检测开始前，加载人脸检测分类器文件；

12)检测开始，实时采集驾驶员的头部图像，并变换成灰度图像；

13)基于步骤11)加载的人脸检测分类器文件以及步骤12)所得到的灰度图像，判断当前帧人脸是否存在，如是，则定位驾驶员的头部位置；如否，则直接进入步骤14)；

14)如人脸不存在，则基于人脸消失的时间特征判断驾驶员是否处于盲驾状态；如人脸存在，则基于步骤13)定位的驾驶员头部位置判断驾驶员是否长时间处于低头状态，如果是，则判断驾驶员处于盲驾状态；

15)当驾驶员处于盲驾状态时，向驾驶员发出警报或向远程监控的服务器发送驾驶员处于盲驾状态时的实时视频。

进一步，所述步骤12)按照公式[1]，变换成灰度图像；

f(x,y)＝max{r(x,y),g(x,y),b(x,y)} [1]

其中，f(x,y)是变换后图像中像素(x,y)处的灰度值，r(x,y)、g(x,y)、b(x,y)是原图中像素(x,y)处的彩色三通道的值，max{}函数的功能是选择所有变量中的最大值。

进一步，所述步骤13)包括以下步骤：

31)获取人脸检测的有效区域，如上一帧没有得到正确的人脸位置，则人脸检测的有效区域为全图区域；如上一帧存在正确的人脸位置，则有效区域为在原有人脸矩形区域的基础上，向左右各扩展半个人脸的矩形宽度，向上下各扩展半个人脸的矩形高度，形成的人脸检测的有效区域；

32)基于adaboost分类器，进行人脸检测；

33)判断人脸是否存在，如果是，清空时间戳列表，进入步骤34)，如果否，把当前帧时间戳放入时间戳列表，进入步骤14)；

34)基于人脸的“三庭五眼”的布局规律，按照公式[2]、公式[3]，分别获取左、右眼睛的位置区域rect_left、rect_right，

其中，rect_face是图像中的人脸位置区域；

35)定位左、右眼睛的内眼角点位置；

36)计算左、右眼睛的内眼角点的纵坐标均值，作为当前帧中头部的高度位置，并把该值放入高度列表中。

进一步，所述步骤35)具体包括以下步骤：

41)获取左眼睛的内眼角点，先进行图像模糊处理，采用如[4]的模板进行中值滤波；

42)图像增强，按照公式[5]，基于gamma滤波理论校正图像，增强眼睛图像的对比度；

其中，g(x,y)是增强后图像(x,y)处像素的灰度值，f(x,y)是原图(x,y)处像素的灰度值，γ是gamma滤波系数，当γ<1时，可以显著增强低灰度值区域的对比度，当γ>1时，可以显著增强高灰度值区域的对比度；

43)边缘检测，基于canny边缘检测算子；

44)形态学闭运算，把相邻的边缘连接起来形成连通区域；

45)选择眼睛连通区域；

46)获取眼睛连通区域的最右侧前景目标点，作为左眼睛的内眼角点位置。

47)获取右眼睛的内眼脚点，参照步骤41)-45)进行，获取眼睛连通区域的最左侧前景目标点，作为右眼睛的内眼角点位置。

进一步，所述步骤45)包括以下步骤：

51)去除面积较小的连通区域；

52)选择最大面积的连通区域作为眼睛的候选连通区域；

53)判断在候选连通区域的相近高度上是否存在其他的连通区域，如果存在，合并到候选连通区域内，形成最后的眼睛连通区域；

进一步，所述步骤14)包括以下步骤：

61)判断当前帧中驾驶员人脸是否处于消失状态，具体方法为，依据时间戳列表中人脸消失的时间戳个数，如果时间戳个数大于0，则进入步骤62)；否，则进入步骤63)；

62)按照公式[6]，基于人脸消失的时间特征判断驾驶员是否处于盲驾状态，

其中，exist＝1说明驾驶员处于盲驾状态，timestamp_begin是时间戳列表中人脸消失开始的时间戳，timestamp_end是时间戳列表中人脸消失结尾的时间戳，T_n是时间戳间隔阈值，表示驾驶员人脸严重偏离正前方的时间持续多久算是处于盲驾状态；

63)判断驾驶员头部是否处于下降状态，如果是，则进入步骤65)；如果否，则进入步骤64)；

64)按照公式[7]，判断当前帧中驾驶员头部是否存在下降趋势，如果存在，说明驾驶员接下来会低头，把h[n-3]作为正常驾驶时的头部高度h_before，进入步骤S45，否则，判断驾驶员正常驾驶；

h[n]-h[n-3]>th1 [7]

其中，h[i]表示高度列表中第i帧的头部高度，n表示当前帧，n-3表示前三帧，th1是高度差阈值，表示驾驶员头部下降多少距离算是存在下降趋势；

65)判断驾驶员头部是否处于静止状态，如果是，则进入步骤67)，如果否，则进入步骤66)；

66)按照公式[8]，判断当前帧中头部是否开始处于静止状态，如果是，则把h[n-3]作为静止时的头部高度h_after，进入步骤67)，如果否，则说明驾驶员头部还处于下降过程中；

h[n]-h[n-3]≤th2 [8]

其中，th2是高度差阈值，表示驾驶员头部位置波动距离在多少以内算是处于静止状态；

67)判断驾驶员是否处盲驾状态。

进一步，所述步骤67)包括以下步骤：

71)按照公式[9]，判断驾驶员头部是否处于低头状态，如果是，说明驾驶员可能会出现盲驾，进入步骤72)，否则，说明驾驶员此次头部下降动作属于误判；

h_after-h_before≥th3 [9]

其中，th3是距离阈值，表示驾驶员头部下降距离大于多少时才算是处于低头状态；

72)按照公式[10]、公式[11]，判断驾驶员是否处盲驾状态；

time_last＝times[n]-times[0] [11]

其中，exist＝1表示驾驶员处于盲驾状态，times[0]是h_after所在帧的时间戳，times[n]是当前帧的时间戳，time_last表示驾驶员处于低头状态的持续时间，th4表示驾驶员低头多长时间算是盲驾。

本发明的有益效果在于：本发明采用视频图像处理技术，监控驾驶员头部的运动轨迹，依据驾驶员低头时间的长短实时判断是否存在盲驾行为，具有监控准确度高，漏检误检少，受环境影响小，速度快，成本低等特点。

附图说明

图1本发明所述***的逻辑流程图；

图2检测模块工作流程图；

图3左眼睛的局部区域分割效果图；

图4左眼睛图像的增强效果图；

图5左眼睛图像的边缘检测效果图；

图6左眼睛边缘连接效果图；

图7左眼睛的连通区域效果图；

图8左眼睛内眼角点定位效果图。

具体实施方式

为了更加清晰地理解本发明的技术方案，以下将结合附图和实施例对本发明作进一步的说明。

参照图1所示，基于整个盲驾检测***对本实施例的方法进行说明，该***包含初始化模块、采集模块、定位模块、检测模块、语音通信模块，具体实施步骤如下：

S1、执行初始化模块；

初始化模块的功能是，***启动时，加载必需的分类器学习文件，主要是人脸检测分类器文件；

S2、执行采集模块；

采集模块的功能是，实时采集驾驶员的驾驶状态图像，主要是驾驶员的头部图像，按照公式[1]，变换成灰度图像；

f(x,y)＝max{r(x,y),g(x,y),b(x,y)} [1]

其中，f(x,y)是变换后图像中像素(x,y)处的灰度值，r(x,y)、g(x,y)、b(x,y)是原图中像素(x,y)处的彩色三通道的值，max{}函数的功能是选择所有变量中的最大值；

S3、执行定位模块；

定位模块的功能是，在图像中准确定位出驾驶员的头部位置，为检测模块做准备，具体的步骤如下：

S31、定位眼睛区域，主要是找出左、右眼睛的局部子区域，具体步骤如下：

S311、获取人脸检测有效区域，具体做法是如果上一帧没有得到正确的人脸位置，则有效检测区域是全图区域，如果上一帧存在正确的人脸位置，则有效检测区域是在原有的人脸矩形区域基础上，向左右各扩展半个人脸矩形宽度，向上下各扩展半个人脸矩形高度，形成的区域；

S312、基于adaboost分类器，进行人脸检测；

S313、判断人脸是否存在，如果存在，清空时间戳列表，进入步骤S314，否则，把当前帧时间戳放入时间戳列表，进入步骤S4；

S314、基于人脸的“三庭五眼”布局规律，按照公式[2]、公式[3]，分别获取左、右眼睛的位置区域rect_left、rect_right，其中左眼睛的局部子区域如图3所示；

其中，rect_face是图像中的人脸位置区域；

S32、定位左、右眼睛的内眼角点位置，选用内眼角点作为特征点的理由是外眼角点易受到头发的干扰，以致于找不到外眼角点位置，而内眼角点相对很稳定；下面以左眼睛内眼角点定位为例叙述定位过程，右眼睛内眼角点定位过程与之类似，具体步骤如下：

S321、图像模糊处理，因为眼脸的边缘特征相对很明显，进行模糊处理，能够在保留眼脸边缘特征的情况下，去除部分细小边缘的影响，如皮肤毛孔和睫毛等，本发明采用如式[4]的模板进行中值滤波；

S322、图像增强，按照公式[5]，基于gamma滤波理论校正图像，增强眼睛图像的对比度，效果如图4；

其中，g(x,y)是增强后图像(x,y)处像素的灰度值，f(x,y)是原图(x,y)处像素的灰度值，γ是gamma滤波系数，当γ<1时，可以显著增强低灰度值区域的对比度，当γ>1时，可以显著增强高灰度值区域的对比度；

S323、边缘检测，主要是基于canny边缘检测算子，效果如图5；

S324、形态学闭运算，把相邻的边缘连接起来形成连通区域，效果如图6；

S325、选择眼睛连通区域，效果如图7，具体步骤如下：

S3251、去除面积较小的连通区域；

S3252、选择最大面积的连通区域作为眼睛的候选连通区域；

S3253、判断在候选连通区域的相近高度上是否存在其他的连通区域，如果存在，合并到候选连通区域内，形成最后的眼睛连通区域；

S326、获取连通区域的最右侧前景目标点，作为眼睛的内眼角点位置，效果如图8；

S33、计算左、右眼睛内眼角点的纵坐标均值，作为当前帧中头部的高度位置，并把该值放入高度列表中；

S4、执行检测模块；

检测模块的功能是，判断驾驶员是否存在长时间低头行为，如果存在，说明驾驶员正在低头看东西，处于盲驾状态，如图2所示，具体步骤如下：

S41、判断当前帧中驾驶员人脸是否处于消失状态，具体方法是依据时间戳列表中的是时间戳个数，如果时间戳个数大于0，说明驾驶员人脸处于消失状态，进入步骤S42，否则，进入步骤S43；

S42、按照公式[6]，判断驾驶员是否处于盲驾状态，退出当前模块；

其中，exist＝1说明驾驶员处于盲驾状态，timestamp_begin是时间戳列表中开始时间戳，timestamp_end是时间戳列表中结尾时间戳，T_n是时间戳间隔阈值，表示驾驶员人脸严重偏离正前方的时间持续多久算是处于盲驾状态，实施例中，T_n＝2秒；

S43、判断驾驶员头部是否处于下降状态，如果是，进入步骤S45，否则，进入步骤S44；

S44、按照公式[7]，判断当前帧中头部是否存在下降趋势，如果存在，说明驾驶员接下来会低头，把h[n-3]作为正常驾驶时的头部高度h_before，进入步骤S45，否则，说明驾驶员正常驾驶，直接退出当前模块；

h[n]-h[n-3]>th1 [7]

其中，h[i]表示高度列表中第i帧的头部高度，n表示当前帧，n-3表示前三帧，th1是高度差阈值，表示驾驶员头部下降多少距离算是存在下降趋势；

S45、判断驾驶员头部是否处于静止状态，如果是，进入步骤S47，否则，进入步骤S46；

S46、按照公式[8]，判断当前帧中头部是否开始处于静止状态，如果是，把h[n-3]作为静止时的头部高度h_after，进入步骤S47，否则，说明驾驶员头部处于下降过程中，直接退出当前模块；

h[n]-h[n-3]≤th2 [8]

其中，th2是高度差阈值，表示驾驶员头部位置波动距离在多少以内算是处于静止状态；

S47、判断驾驶员是否处盲驾状态，具体步骤如下：

S471、按照公式[9]，判断驾驶员头部是否处于低头状态，如果是，说明驾驶员可能会出现盲驾，进入步骤S472，否则，说明驾驶员此次头部下降动作属于误判，直接退出当前模块；

h_after-h_before≥th3 [9]

其中，th3是距离阈值，表示驾驶员头部下降距离大于多少时才算是处于低头状态；

S472、按照公式[10]、公式[11]，判断驾驶员是否处盲驾状态；

time_last＝times[n]-times[0] [11]

其中，exist＝1表示驾驶员处于盲驾状态，times[0]是h_after所在帧的时间戳，times[n]是当前帧的时间戳，time_last表示驾驶员处于低头状态的持续时间，th4表示驾驶员低头多长时间算是盲驾，实施例中，th4＝2秒；

S48、更新模块参数，依据当前帧的头部位置和盲驾状态判断情况，调整模块中的相关状态参数值。

S5、执行语音通讯模块；

语音通讯模块的功能是，当驾驶员处于盲驾状态时，该模块及时发出报警声，提醒驾驶员已处于盲驾状态，或者向远程服务器发送驾驶员处于盲驾状态时的实时视频，此时运输企业监管部门可以通过该视频进行及时的处理，如果需要和驾驶员通话，还可以通过该模块接受远程命令。

以上所述，仅为本发明较佳的具体实施方式，但本发明保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此本发明保护范围以权利要求书的保护范围为准。

Claims (5)

1.一种基于低头特征的盲驾检测方法，其特征在于，包括以下步骤：

11)检测开始前，加载人脸检测分类器文件；

12)检测开始，实时采集驾驶员的头部图像，并变换成灰度图像；

13)基于步骤11)加载的人脸检测分类器文件以及步骤12)所得到的灰度图像，判断当前帧人脸是否存在，如是，则定位驾驶员的头部位置；如否，则直接进入步骤14)；

14)如人脸不存在，则基于人脸消失的时间特征判断驾驶员是否处于盲驾状态；如人脸存在，则基于步骤13)定位的驾驶员头部位置判断驾驶员是否长时间处于低头状态，如果是，则判断驾驶员处于盲驾状态；

15)当驾驶员处于盲驾状态时，向驾驶员发出警报或向远程监控的服务器发送驾驶员处于盲驾状态时的实时视频；

所述步骤13)包括以下步骤：

31)获取人脸检测的有效区域，如上一帧没有得到正确的人脸位置，则人脸检测的有效区域为全图区域；如上一帧存在正确的人脸位置，则有效区域为在原有人脸矩形区域的基础上，向左右各扩展半个人脸的矩形宽度，向上下各扩展半个人脸的矩形高度，形成的人脸检测的有效区域；

32)基于adaboost分类器，进行人脸检测；

33)判断人脸是否存在，如果是，清空时间戳列表，进入步骤34)，如果否，把当前帧时间戳放入时间戳列表，进入步骤14)；

34)基于人脸的“三庭五眼”的布局规律，按照公式[2]、公式[3]，分别获取左、右眼睛的位置区域rect_left、rect_right，

其中，rect_face是图像中的人脸位置区域；

35)定位左、右眼睛的内眼角点位置；

36)计算左、右眼睛的内眼角点的纵坐标均值，作为当前帧中头部的高度位置，并把该值放入高度列表中；

所述步骤35)具体包括以下步骤：

41)获取左眼睛的内眼角点，先进行图像模糊处理，采用如[4]的模板进行中值滤波；

42)图像增强，按照公式[5]，基于gamma滤波理论校正图像，增强眼睛图像的对比度；

其中，g(x,y)是增强后图像(x,y)处像素的灰度值，f(x,y)是原图(x,y)处像素的灰度值，γ是gamma滤波系数，当γ＜1时，可以显著增强低灰度值区域的对比度，当γ＞1时，可以显著增强高灰度值区域的对比度；

43)边缘检测，基于canny边缘检测算子；

44)形态学闭运算，把相邻的边缘连接起来形成连通区域；

45)选择眼睛连通区域；

46)获取眼睛连通区域的最右侧前景目标点，作为左眼睛的内眼角点位置；

47)获取右眼睛的内眼角点，参照步骤41)-45)进行，获取眼睛连通区域的最左侧前景目标点，作为右眼睛的内眼角点位置。

2.根据权利要求1所述的一种基于低头特征的盲驾检测方法，其特征在于，所述步骤12)按照公式[1]，变换成灰度图像；

f(x,y)＝max{r(x,y),g(x,y),b(x,y)} [1]

其中，f(x,y)是变换后图像中像素(x,y)处的灰度值，r(x,y)、g(x,y)、b(x,y)是原图中像素(x,y)处的彩色三通道的值，max{}函数的功能是选择所有变量中的最大值。

3.根据权利要求1所述的一种基于低头特征的盲驾检测方法，其特征在于，所述步骤45)包括以下步骤：

51)去除面积较小的连通区域；

52)选择最大面积的连通区域作为眼睛的候选连通区域；

53)判断在候选连通区域的相近高度上是否存在其他的连通区域，如果存在，合并到候选连通区域内，形成最后的眼睛连通区域。

4.根据权利要求1所述的一种基于低头特征的盲驾检测方法，其特征在于，所述步骤14)包括以下步骤：

61)判断当前帧中驾驶员人脸是否处于消失状态，具体方法为，依据时间戳列表中人脸消失的时间戳个数，如果时间戳个数大于0，则进入步骤62)；否，则进入步骤63)；

62)按照公式[6]，基于人脸消失的时间特征判断驾驶员是否处于盲驾状态，

其中，exist＝1说明驾驶员处于盲驾状态，timestamp_begin是时间戳列表中人脸消失开始的时间戳，timestamp_end是时间戳列表中人脸消失结尾的时间戳，T_n是时间戳间隔阈值，表示驾驶员人脸严重偏离正前方的时间持续多久算是处于盲驾状态；

63)判断驾驶员头部是否处于下降状态，如果是，则进入步骤65)；如果否，则进入步骤64)；

64)按照公式[7]，判断当前帧中驾驶员头部是否存在下降趋势，如果存在，说明驾驶员接下来会低头，把h[n-3]作为正常驾驶时的头部高度h_before，进入步骤S45，否则，判断驾驶员正常驾驶；

h[n]-h[n-3]＞th1 [7]

其中，h[i]表示高度列表中第i帧的头部高度，n表示当前帧，n-3表示前三帧，th1是高度差阈值，表示驾驶员头部下降多少距离算是存在下降趋势；

65)判断驾驶员头部是否处于静止状态，如果是，则进入步骤67)，如果否，则进入步骤66)；

66)按照公式[8]，判断当前帧中头部是否开始处于静止状态，如果是，则把h[n-3]作为静止时的头部高度h_after，进入步骤67)，如果否，则说明驾驶员头部还处于下降过程中；

h[n]-h[n-3]≤th2 [8]

其中，th2是高度差阈值，表示驾驶员头部位置波动距离在多少以内算是处于静止状态；

67)判断驾驶员是否处盲驾状态。

5.根据权利要求4所述的一种基于低头特征的盲驾检测方法，其特征在于，所述步骤67)包括以下步骤：

71)按照公式[9]，判断驾驶员头部是否处于低头状态，如果是，说明驾驶员可能会出现盲驾，进入步骤72)，否则，说明驾驶员此次头部下降动作属于误判；

h_after-h_before≥th3 [9]

其中，th3是距离阈值，表示驾驶员头部下降距离大于多少时才算是处于低头状态；

72)按照公式[10]、公式[11]，判断驾驶员是否处盲驾状态；

time_last＝times[n]-times[0] [11]

其中，exist＝1表示驾驶员处于盲驾状态，times[0]是h_after所在帧的时间戳，times[n]是当前帧的时间戳，time_last表示驾驶员处于低头状态的持续时间，th4表示驾驶员低头多长时间算是盲驾。