CN109165630A - 一种基于二维人眼识别的疲劳监测方法 - Google Patents

Abstract

本发明公开一种基于二维人眼识别的疲劳监测方法，通过人眼识别算法和面部特征点估计算法对图像信息进行人眼识别和人眼状态检测，可以用于汽车中进行疲劳监测。实时反馈司机的开车状况和疲劳情况，并将司机的疲劳情况实时发送到App上实现家人对司机疲劳状况的检测。实现家人监督，实时提醒，从而实现减少因为司机疲劳驾驶而造成的事故伤亡。本发明在识别率和安全性上都有不错的效果并且无需大量人脸数据，能在保证安全的情况下，大大提高疲劳监测速度。

Description

一种基于二维人眼识别的疲劳监测方法

技术领域

本发明属于图像处理方法技术，尤其涉及一种基于二维人眼识别的疲劳监测方法。

背景技术

随着社会的不断进步以及各方面对于快速有效的自动身份验证的迫切要求，生物特征识别技术在近几十年中得到了飞速的发展。作为人的一种内在属性，并且具有很强的自身稳定性及个体差异性，生物特征成为了自动身份验证的最理想依据。当前的生物特征识别技术主要包括有：指纹识别，视网膜识别，虹膜识别，步态识别，静脉识别，人脸识别等。与其他识别方法相比，人眼识别由于具有直接，友好，方便的特点，使用者无任何心理障碍，易于为用户所接受，从而得到了广泛的研究与应用。

中国CN200510027371.X号专利涉及一种人眼定位和人眼张开闭合的识别方法。本发明主要解决对动态图象的人眼进识别的问题。其步骤为：将摄像头动态提取到的一帧图象利用灰度直方图进行自动灰度均衡，将人的脸部从背景中凸现出来，再利用可调半窗口域值将人脸从背景中提取出来，根据估算的人眼象素块大小，去掉非人眼区域，然后结合人眼的二维几何关系自动确定人的双眼，用黑框在原始图像上显示出来，如果没有检测到双眼，***声音提示；再利用眼睛象素的大小，判断眼睛的张开与闭合；如果眼睛张开，原始图像上将有黑框显示，程序不发出提示音；如果眼睛闭上，原始图像上将没有黑框显示，程序发出提示音。该识别方法需要数据集量大，检测速度慢。

中国CN201710315119.1号专利涉及一种结合视觉疲劳检测的裸眼立体显示装置和方法。本装置主要由红外双目摄像机、人眼图像分析单元、人眼空间位置反馈单元、人眼视区调整单元、左右视图显示调整单元、人眼疲劳检测单元和视频输出单元组成。本方法采用人眼眼球跟踪技术实时定位人眼的空间坐标，采用可编程逻辑阵列技术实时跟踪眼睛位置移动与对应液晶光栅图像子像素进行重新排布，以改变最佳视点区域，有效地减小人眼观看过程中的图像串扰，提高用户观视体验；同时，通过上述技术实时检测、度量和评价用户在观视过程中的眼部疲劳状态，判定其不良生理反应程度，以提示用户及时采取措施预防或缓解视觉疲劳。该方法需要大量的数据集进行训练，识别速度较慢。

近些年来，并没有比较好的电脑人脸识别软件，传统人眼也存在许多弊端，检测速度慢，需要数据集量大，对环境要求过高。目前，国内外研究人脸识别的算法有多种，通常面对静态图像的人脸自动模式识别技术分为三大类：基于几何特征的识别方法、基于代数特征的识别方法和基于连接机制的识别方法；应用神经网络的识别方式需要大量的脸部图库，应用自学习的方法进行识别，它对脸部图库的要求比较高。因此，急需设计一种基于二维人眼识别的疲劳监测方法以解决上述问题。

发明内容

本发明的目的是针对现有技术存在的问题，提供一种基于二维人眼识别的疲劳监测方法，通过所述人眼识别算法在人眼识别过程中对环境要求低，识别速度快、识别率高；通过所述面部特征点估计算法不需要大量数据集进行训练，解决了训练数据收集困难的问题。

为实现上述目的，本发明采用的技术方案是：

本发明提供一种基于二维人眼识别的疲劳监测方法，包括以下步骤：

(1)通过图像采集装置对驾驶员进行人脸图像采集寻找人脸；

(2)通过人眼识别算法和面部特征点估计算法对图像信息进行人眼识别和人眼状态检测；

(3)根据人眼状态信息发出提示音，并将状态信息发送到App。

本发明所述疲劳检测方法的工作原理为：在驾驶过程中，驾驶员可控制开启疲劳检测的装置，通过汽车上的摄像头，对驾驶员的面部图像进行采集，再通过人眼识别算法得到人眼的位置信息，对人眼的位置进行实时监控；通过所述面部特征点估计算法对眼部特征点的波动情况进行记录，通过眼部特征点的变化判定驾驶员的驾驶状态，通过特定的提示音来警示疲劳状态，并将状态信息发送至App。实现家人监督，实时提醒，从而实现减少因为司机疲劳驾驶而造成的事故伤亡。本发明在识别率和安全性上都有不错的效果并且无需大量人脸数据，能在保证安全的情况下，大大提高疲劳监测速度。

所述人眼识别算法包括以下步骤：

1)将图像进行灰度处理，判断当前像素与其周边像素的像素深度，用箭头代表图像变暗的方向；

2)将图像分割成16×16像素的小方块，计算得到每个方向上的所有梯度；用指向性最强方向的箭头代替原有的小方块，得到处理图像；

3)通过大量人脸照片生成的方向梯度直方图，将步骤2)所得处理图像与生成的方向梯度直方图进行对比，找到相似的地方即为脸部。

所述人眼识别算法的原理为：首先将图片进行灰度处理，然后对图片中的每个像素进行查看，同时查看单个元素的周围元素，目的是找到当前像素与其周边像素的像素深度，并用箭头代表图像变暗的方向。如果将所有像素都是用此方法进行替代，则最终像素会被箭头代替，但这运算量太大。为了做到这一点，发明人将图像分割成一些16×16像素的小方块，在每个小方块中，我们将计算出每个主方向上有多少个梯度(有多少指向上，指向右上，指向右等)。然后用指向性最强那个方向的箭头来代替原来的那个小方块。之后只需要与从许许多多的脸部照片中生成的方向梯度直方图进行比较，找到相似的地方就是脸部。本方法解决了传统人眼识别检测对环境要求高，检测速度慢和安全性差的缺点。

所述面部特征点估计算法包括以下步骤：

A、通过调用dlib中卷积神经网络对上述机器学习算法进行训练，得到训练后的68特征点检测算法，利用所述68特征点检测算法得到任意脸部的68个特征点，从而确定图像中眼睛和嘴巴的位置；

B、确定图像中眼睛和嘴巴的位置后，将图像进行旋转、缩放和错切，使得眼睛和嘴巴尽可能靠近中心；

C、根据眼部的6个特征点实时标出眼部位置，并对人眼的6个特征点的状态进行实时监测。

所述面部特征点估计算法的基本思路是调用dlib中卷积神经网络对上述机器学习算法进行训练，得到训练后的68特征点检测算法，利用所述68特征点检测算法得到任意脸部的68个特征点，从而确定图像中眼睛和嘴巴的位置；在知道眼睛和嘴巴的位置后，将图像进行旋转、缩放和错切，使得眼睛和嘴巴尽可能靠近中心，这样无论人脸朝向哪边，我们都能将眼睛和嘴巴向中间挪动到大致相同的位置，使得下一步对眼部位置的识别和、眼部状态的判断更加准确；然后根据眼部的6个特征点实时标出眼部位置，并对人眼的6个特征点的状态进行实时监测。

所述面部特征点估计算法步骤C中，对人眼的6个特征点的状态进行实时监测的方法为：引入眼睛纵横比EAR的概念，对人眼的6个特征点坐标分别定义为p₁,p₂,p₃,p₄,p₅,p₆，EAR公式为

通过EAR的变化波动判定人眼状态为有效眨眼或疲劳状态。

眼睛的长宽比在眼睛张开的时候大致是恒定的，但是在发生眨眼时会迅速下降到零，可以通过对EAR的监听从而实现对眨眼的检测。

所述有效眨眼的判断方法为：当所述EAR值出现波动，记录帧数大于4帧图片时，记录此次为有效眨眼。

所述疲劳状态的判断方法为：在指定时间内检测到EAR至为0或变化频率过小，记录为疲劳驾驶。从而发出报警音提示司机并将信息发送到App上。

与现有技术相比，本发明的有益效果是：

(1)本发明所述人眼识别算法将图像分割成一些16×16像素的小方块，在每个小方块中，我们将计算出每个主方向上有多少个梯度，然后用指向性最强那个方向的箭头来代替原来的那个小方块，与方向梯度直方图进行比较找到脸部位置，克服了传统人眼识别检测对环境要求高，检测速度慢和安全性差的缺点；

(2)本发明所述面部特征点估计算法将计算机视觉与机器学习算法有机融合，解决现有的使用神经网络进行人脸检测面临着训练数据收集困难的困境；

(3)本发明所述一种基于二维人眼识别的疲劳监测方法，通过对司机的眨眼频率与闭眼情况，对司机进行提醒，并将信息传送到App上，实现家人对司机的实时监测；

(4)本发明提供一种快速的准确的人眼识别技术不仅解决了传统人眼检测对环境要求高，对数据集要求搞，检测速度慢局限性，并实现家人对司机的远程提醒。

附图说明

图1为本发明所述一种基于二维人眼识别的疲劳监测方法的流程图；

图2为本发明所述脸部68个特征点图；

图3(a)为本发明所述人眼的6个特征点的坐标图；

图3(b)为本发明眨眼时人眼的6个特征点的坐标图；

图3(c)为本发明在疲劳状态EAR的波动情况图。

具体实施方式

下面将对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动条件下所获得的所有其它实施例，都属于本发明保护的范围。

一种基于二维人眼识别的疲劳监测方法，包括以下步骤：

(1)通过图像采集装置对驾驶员进行人脸图像采集；

(2)通过人眼识别算法和面部特征点估计算法对图像信息进行人眼识别和人眼状态检测；

(3)根据人眼状态信息发出提示音，并将状态信息发送到App。

如图1所示，打开汽车内部摄像头，寻找人脸，通过人脸68特征点检测确定人脸位置以及眼部位置，对眼部6个特征点进行眨眼检测，若眨眼频率过高或闭眼，***将记录为疲劳状态，***将发出警报提醒司机，并推送当前状态到App，实现实时监控和提醒；在监测的过程中，***将眨眼检测的频率信息发送给App，绘制线总结司机的行驶状态。

所述人眼识别算法包括以下步骤：

首先将图片进行灰度处理，然后对图片中的每个像素进行查看，同时查看单个元素的周围元素，目的是找到当前像素与其周边像素的像素深度，并用箭头代表图像变暗的方向。如果将所有像素都是用此方法进行替代，则最终像素会被箭头代替，但这运算量太大。为了做到这一点，发明人将图像分割成一些16×16像素的小方块，在每个小方块中，我们将计算出每个主方向上有多少个梯度(有多少指向上，指向右上，指向右等)。然后用指向性最强那个方向的箭头来代替原来的那个小方块。之后只需要与从许许多多的脸部照片中生成的方向梯度直方图进行比较，找到相似的地方就是脸部。

所述面部特征点估计算法包括以下步骤：

如图2所示，所述面部特征点估计算法的基本思路是调用dlib中卷积神经网络对上述机器学习算法进行训练，得到训练后的68特征点检测算法，利用所述68特征点检测算法得到任意脸部的68个特征点，从而确定图像中眼睛和嘴巴的位置；在知道眼睛和嘴巴的位置后，将图像进行旋转、缩放和错切，使得眼睛和嘴巴尽可能靠近中心，这样无论人脸朝向哪边，我们都能将眼睛和嘴巴向中间挪动到大致相同的位置，使得下一步对眼部位置的识别和、眼部状态的判断更加准确；然后根据眼部的6个特征点实时标出眼部位置，并对人眼的6个特征点的状态进行实时监测。

所述面部特征点估计算法步骤C中，对人眼的6个特征点的状态进行实时监测的方法为：引入眼睛纵横比EAR的概念，如图3(a)所示，对人眼的6个特征点坐标分别定义为p₁,p₂,p₃,p₄,p₅,p₆，EAR公式为

通过EAR的变化波动判定人眼状态为有效眨眼或疲劳状态。

眼睛的长宽比在眼睛张开的时候大致是恒定的，如图3(b)所示，在发生眨眼时会迅速下降到零，可以通过对EAR的监听从而实现对眨眼的检测。当所述EAR值出现波动，记录帧数大于4帧图片时，记录此次为有效眨眼。

如图3(c)所示，为EAR值的波动情况，在指定时间内检测到EAR值为0或者变化频率过小，那么可以认为司机处于疲劳状态。从而发出报警音提示司机并将信息发送到App上。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (6)

1.一种基于二维人眼识别的疲劳监测方法，其特征在于，包括以下步骤：

(1)通过图像采集装置对驾驶员进行人脸图像采集寻找人脸；

(2)通过人眼识别算法和面部特征点估计算法对图像信息进行人眼识别和人眼状态检测；

(3)根据人眼状态信息发出提示音，并将状态信息发送到App。

2.根据权利要求1所述的一种基于二维人眼识别的疲劳监测方法，其特征在于，所述人眼识别算法包括以下步骤：

1)将图像进行灰度处理，判断当前像素与其周边像素的像素深度，用箭头代表图像变暗的方向；

2)将图像分割成16×16像素的小方块，计算得到每个方向上的所有梯度；用指向性最强方向的箭头代替原有的小方块，得到处理图像；

3)通过大量人脸照片生成的方向梯度直方图，将步骤2)所得处理图像与生成的方向梯度直方图进行对比，找到相似的地方即为脸部。

3.根据权利要求1所述的一种基于二维人眼识别的疲劳监测方法，其特征在于，所述面部特征点估计算法包括以下步骤：

A、通过调用dlib中卷积神经网络对上述机器学习算法进行训练，得到训练后的68特征点检测算法，利用所述68特征点检测算法得到任意脸部的68个特征点，从而确定图像中眼睛和嘴巴的位置；

B、确定图像中眼睛和嘴巴的位置后，将图像进行旋转、缩放和错切，使得眼睛和嘴巴尽可能靠近中心；

C、根据眼部的6个特征点实时标出眼部位置，并对人眼的6个特征点的状态进行实时监测。

4.根据权利要求3所述的一种基于二维人眼识别的疲劳监测方法，其特征在于，所述面部特征点估计算法步骤C中，对人眼的6个特征点的状态进行实时监测的方法为：引入眼睛纵横比EAR的概念，对人眼的6个特征点坐标分别定义为p₁,p₂,p₃,p₄,p₅,p₆，EAR公式为

通过EAR的变化波动判定人眼状态为有效眨眼或疲劳状态。

5.根据权利要求4所述的一种基于二维人眼识别的疲劳监测方法，其特征在于，所述有效眨眼的判断方法为：当所述EAR值出现波动，记录帧数大于4帧图片时，记录此次为有效眨眼。

6.根据权利要求4所述的一种基于二维人眼识别的疲劳监测方法，其特征在于，所述疲劳状态的判断方法为：在指定时间内检测到EAR至为0或变化频率过小，记录为疲劳驾驶。