CN105373767A - 一种智能手机使用的眼睛疲劳检测方法 - Google Patents

Abstract

本发明采用使用尺度不变梯度积分投影算法、卡尔曼滤波法对人眼精确定位，并使用基于PERLOG特征的计算方法来检测人眼疲劳程度，并根据疲劳程度作出不同的干预措施。其实现主要过程如下阶段：第一，通过智能手机的前置摄像头，采集用户在使用智能手机过程的图像帧序列，使用智能手机依次处理每一帧，定位包含人眼的最小矩形；第二，在一定的精度范围内，定位到包含人眼的最小矩形。每次得到的矩形缩放在相同的固定比例中计算矩形面积，然后根据训练得到的睁闭眼阈值判定眼睛的睁闭情况；更新判断人眼疲劳程度的PERCLOS特征值；第三，根据疲劳程度作出相应的干预措施。

Description

一种智能手机使用的眼睛疲劳检测方法

技术领域

本发明涉及到智能手机操作***的应用层技术，和人脸识别、人眼识别等图像处理技术。

技术背景

智能手机的易用性、可玩性(娱乐、社交、多媒体视频等功能)，给人们带来了很多便利，极大丰富了大家的生活，让大家对智能手机产生了非常严重的依赖。据GOOGLE和IPSOS联合推出的对中国市场智能手机情况调查报告称，中国城市智能手机的普及从2012年的33％上升至47％。其中大约有70％的用户每天都会使用智能手机访问互联网，智能手机已经成为了他们生活不可分离的重要部分，而且大部分人在晚上也有使用智能手机的习惯。不可避免地，智能手机的过度使用给用户的身心健康带来了重大的影响，其中数字眼疲劳问题就是一个非常值得重视的问题。数字眼疲劳就是长时间在数字屏幕前产生不适。一些典型的症状包括眼干、眼睛发红甚至眼睛发炎，视力模糊，更为严重的可以造成后背、颈部和肩膀疼痛等问题。而智能手机的普及无疑成为了其中最为主要的幕后凶手。智能手机除了造成眼睛聚焦***疲劳之外，它释放出的高能量可见光是会给视力健康带来长期影响的。研究显示，过度暴露在高能量可见光下会危害视网膜，引发年龄相关性黄斑变性与白内障等眼部疾病的可能性会增加，随后会变得更加严重。而且大部分人并未意识到使用智能手机等电子设备带来的这些消极影响。所以设计一种可以检测用户在使用智能手机过程中的视觉疲劳问题并作提醒或者强制性介入是非常有必要的。

虽然市场上已经出现了一些可以在一定程度上保护眼睛的光学眼睛，但这都没有从根本上解决使用电子设备的眼疲劳问题，反而很容易纵容了用户过程使用这些电子设置，在保护好眼睛的前提下过长时间使用这些设备还是是导致其他方面的身心问题，影响正常的工作生活。同时这些有效果的设备都是比较昂贵的，也是接触式的，并不使用于大部分人。为了避免这些问题同时又能很好地解决数字眼疲劳问题，本发明提出了一种基于智能手机设置的眼疲劳检测和预防的解决方法。这是一种通过手机摄像设备非接触性地采集用户人脸图像，并利用现在智能手机比较强大的计算能力来处理图像检测人眼的疲劳状态，最后也借助智能手机的交互设备(如显示屏、扩音器等设备)和手机操作***的控制接口来达到反馈结果的目的。整个过程不依赖于其它硬件设备，很好地达到了控制成本的目的，只需要在软件的设计实现上优化处理就能达到比较理想的效果。

在使用电子设备的眼疲劳检测和预防并没有得到较多的关注，有少量发明人使用检测人眼到数字屏幕距离的方法提醒用户使用设备保持合适的距离，无法检测到用户使用电子设备的疲劳程度，不能恰当地为用户的疲劳提出预防依据，这也是没有很多解决预防眼疲劳的这个问题。

为了实时了解用户眼睛使用的情况，我们通过分析采集到视频序列帧，能够得到用户实时的用眼疲劳程度，根据其疲劳程度使用不同的干预手段。这样可以很有效地防止过度用眼而导致的不良影响。

发明内容

为了提高大家在智能手机等移动智能电子设备试使用过程的护眼意识，以及有效保护眼睛过度疲劳而导致的身心健康问题，本发明提出了一种能有效监测用户用眼状态和干预过度用眼的方法。

为了实现上述目的，我们基于现在使用最为普遍的智能手机设备作为硬件平台，而不依赖于其它复杂昂贵的第三方硬件。

优选地，我们选用较为适当的视频图像采样频率，既可以实现比较理想的检测效果，在一定精度范围内反应眼睛疲劳程度，又可以很好地减轻对智能手机其它运行任务的影响，保持智能设备的可用性。

在人眼定位之前，对处理图像作必要的预处理，可以较好地提高人眼定位的效率和正确率。包括肤色分割和人脸定位，其中在人脸定位后使用了支持向量机SVM对定位的人脸进行验证，有效剔除非定位错位区域，同时还可以缩小定位的精确区域。鉴于智能手机用户使用习惯和阅读姿势的差别，还需要对人脸区域进行必要的矫正，达到输出正脸图像的目的。

优选的，使用一种全局扫描并验证的策略，即采用级联结构来组织分类器，采用Adaboost算法学习分类器。这种算法很好地排除了特征点定位误差的影响，分类性能有大幅提高，并且速度并没有明显下降，基本达到实时。该算法的存储量很小，大约2M左右，无论在鲁棒性、正确率和速度方面都达到了很好的性能。

人眼定位的常用投影方法有快速和高效的特征，但是在各种复杂环境中没有较好地精确度。本发明使用了尺度不变梯度积分投影算法(SGIPF)用来作为人脸图像中人眼区域分割，得到了较精确的包含人双眼的的最小矩形，即使在低质量图像的输入情况下。

为了提高程度上提高人眼定位的效率和检测的实时性，使用卡尔曼滤波提取每个人眼的位置和运动状态这些特征参数，关联连续图像帧的这些特征参数可以对运行目标进行跟踪和预测。这个跟踪过程包含不断反复的预估-测量-修正的过程。

优选的，在得到包含双眼的矩形区域前提下，简单计算矩形面积作为判断眼睛睁闭的依据是比较直接高效的办法。鉴于个体人眼面积差异的情况，需要将用户的最大和最小眼睛矩形面积值作为阈值选取的参考依据。

有益效果

为了提高大家在智能手机等移动智能电子设备试使用过程的护眼意识，以及有效保护眼睛过度疲劳而导致的身心健康问题，本发明提出了一种能有效监测用户用眼状态和干预过度用眼的方法。本方案使用基于成熟算法的改进技术上来检测智能手机使用时的眼疲劳，可以避免光照、戴眼镜以及低质量图像等情况下对检测结果有较大影响的因素。能够得到用户实时的用眼疲劳程度，根据其疲劳程度使用不同的干预手段。这样可以很有效地防止过度用眼而导致的不良影响。

附图说明

图1为***工作涉及的硬件模块

图2为整体处理流程的设计

图3为人眼检测流程

图4为定位包含人眼的最小矩形效果图

具体实施方法

为使本发明的目的，技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步的详细描述。

为了提高人眼疲劳检测的实时性、准确度，本发明实施例提供了一种基于手机平台的眼疲劳检测方法，参见图2、3。其中图2阐述了***整体的处理流程，其中人眼定位和人眼疲劳的评价是重要的两个步骤，下面将结合图3详细描述：

201以每隔120毫秒的时间采集一帧图像数据；

其中，在应用PERCLOS方法对眼睛疲劳程度进行判定时，图像的采样率需要达到一定的要求。采样间隔时间至少小于等于120ms时，PERCLOS的值是稳定的，这样才不会影响疲劳判定结果。

203使用肤色模型分割肤色区域进行人脸检测

1)将采集到的图像计算出灰度值，然后将其在YCbCr颜色空间进行非线性分段色变换到YCb’Cr’的颜色空间中。

2)求出图像灰度值的变换点看是否位于该椭圆中，从而确定是否是人脸肤色。如果是，执行步骤3)；如果否，则输入当前帧的下一帧被检测视频图像，重新执行步骤1)，直至遍历完被检测视频图像的所有帧；

其中，由光线补偿和非线性分段色彩变换可知，肤色点聚集在一个椭圆中。因此，我们要将采集的图片的肤色区域和非肤色区域分离，就需要先将图像二值化，令s＝e^-t只有当s＜e^-t，则认为是肤色点。

206进行人脸定位采用的是级联AdaBoost方法和SimpleSVM验证的算法。其中，利用级联AdaBoost人脸检测的步骤如下：

1)根据训练样本，针对每个可能的矩形特征训练一个弱分类器；

2)选择合适的弱分类器，根据级联AdaBoost算法，计算每个弱分类器的分类结果的分类错误率，并选择具有最小错误率的弱分类器，依据此分类器的分类结果更新样本权重，权重更新的结果是增加此分类器分类错误的样本的权重，以使后面选择的弱分类器着重训练这些样本。

3)重复步骤2)，直至选出个弱分类器；

4)级联选出的T个弱分类器，按如下式子构成强分类器；

$w_i=\frac{w_i\exp [-y_i{f}_m\left(x_i\right){\mathrm{\α}}_m]}{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{w}_i\exp \left[{-y}_i{f}_m\left(x_i\right){\mathrm{\α}}_m\right]}$

5)重复步骤2)至4)，构造级联强分类器；

6)对于输入的图像，将每个可能的子窗口输入训练好的级联分类器中，得到检测结果，然后合并一些相邻的子窗口得到最终的人脸检测结果。为了得到更为经精确的输出结果，还需要使用SVM分类器作进一步的扫描。这两种分类器处理后的输出结果才作为最终输出的人脸。

207对于检测阶段输出的人脸，虽然大致上是正面端正的，但是对于不同姿态下和低分辨率下的小尺度人脸，为达到准确性和快速性，还可用SimpleDAM进一步校正。使用SimpleDAM人脸矫正的具体步骤如下：

1)初始化当前纹理为检测结果框定的人脸纹理t←t₀，

2)根据当前纹理，由条状和纹理之间的线性关系公式s＝R*t+ε，得到三个特征点的位置。如果三个特征点的位置和平均位置很接近，则结束。

其中，其中t是经过一定校正的人脸纹理在其主分量空间(PCA)的投影，s是形状在其主分量空间的投影。在我们的方法中，考虑最简单的情况，只需要三对对应点，就可以将非正面端正的人脸，校正到正面端正的姿态。我们假设，人脸检测输出所框定的人脸纹理向量，与这张脸上的三个特征点“双眼和嘴巴中心”组成的向量之间，存在简单的的线性关系s＝R*t+ε。

3)根据三个特征点的位置，在整个图片(或者在包含脸部和周围的一个图象窗口上)上施加仿射变换，将倾斜人脸校正；令当前纹理为校正后的人脸纹理；转到2)。

208采用基于投影算法的改进算法进行人眼的定位，普通的投影算法并不能不好地从人脸图像中定位人眼。而基于尺度不变梯度积分投影算法(SGIPF)人眼定位可以获得非常好的效果。它的步骤可以描述为：

1.计算待检测人脸图像的SGIPF，以SGIPF曲线的最大值处作为双眼在人脸

图像中垂直方向上的位置，记为P_v；

2.归一化SGIPF曲线，然后将最大值附近的曲线上下两部分分别拟合成单调下降的曲线；

3.按照公式2.14，在经归一化和单调拟合后的曲线上，从位置P_v处出发分别向两侧搜索，直到曲线的值下降到α＝0.5时停止，停止处的位置分别作为双眼的上下边界，记此时两边界间的距离为H；

4.如果H∈[0.05，0.2]，则认为上一步得出的边界正确，返回结果；否则，继续下一步；

5.重复第三步，按照公式

P(0.5)＞P(0.4)＞P(0.6)＞P(0.3)＞P(0.7)＞P(0.2)

中的顺序，依次选择α＝0.5，0.4，0.6，0.3，0.7，0.2作为停止条件得出双跟上下边界，并计算上下边界的间距H，直到满足H∈[0.05，0.2]，如果都不满足，则以距离上下各0.1*m处作为双眼上下边界(m为人脸图像的高度)。

为了提高检测的效率，整个处理过程结合了卡尔曼滤波方法进一步优化，每帧图像处理后都会对下一帧图像人眼位置做一个预测。卡尔曼滤波是用状态空间法描述***的，下面确定描述眼睛状态的状态变量、量测方程、及初始化条件。

1)由于用户眼睛相对手机屏幕不断运动且位置不固定，因此描述描述眼睛状态的状态变量可记为：x_k-1＝[m_k-1，n_k-1，u_x-1，v_k-1]。其中m，n为水平和垂直方向上的位置，u，v为水平和垂直方向的速度。

2)建立状态预测模型：由于并没有眼睛状态的预测输入量，其状态方程可表示为其中A为状态转移矩阵，其值起决于相邻两帧的时间间隔；P(w)即误差的概率密度分布函数服，从高斯分布。

3)建立状态更新模型：记流程图中上一步通过人眼检测所获得的眼睛位置为x_k＝(m_k，n_k)，则可得其状态量的更新方程为易得 $H=\left[\begin{array}{cccc}1& 0& 0& 0\\ 0& 1& 0& 0\end{array}\right],$ v_k是上一步人眼的测量误差，服从高斯分布。

4)确定初始条件：要利用卡尔曼滤波法预测人眼的位置，必须确定下列初始条件，人眼初始状态x₀，x₀的误差协方差矩阵p₀，状态预测的误差协方差矩阵Q和状态更新的误差协方差矩阵R的初值。任取连续两帧准确检测人眼位置的图像，其人眼位置记为(m_t，n_t)和(m_t+1，n_t+1)，则x₀＝[m_t+1，n_t+1，(m_t+1-m_t)/A，(n_t+1-n_t)/A]，状态变量的协方差误差矩阵p₀、状态预测的误差协方差矩阵Q和状态更新的误差协方差矩阵R取决于眼睛位置像素的误差及速度预测的误差，可根据实际情况自行设定。

利用上述量测方程及初始化条件，便可用卡尔曼滤波法通过迭代准确预测出下一帧人眼的位置。

210使用基于PERLOG特征的计算方法来评价人眼疲劳状态，指在一定的时间内眼睛闭合时所占的时间比例。根据大量数据研究表明：在单位时间内若眼睛闭合的比例达到了70％以上，满足下面的式子，则可以认为用户已经眼疲劳了。

从PERLOG的定义可以看出，该计算方法的关键在于计算出眼睛的闭合程度。通过前面肤色模型所得的预测的眼睛图像可以计算出两眼的面积，从而表征眼睛的睁开程度是非常好的做法。其具体做法分为下面三个步骤：

1)人眼睁开面积有一个最大值和最小值，记为M_左、M_右和m_左、m_右；随着数据的采集，可以得到两眼面积随时间的变化函数，记为s(t)_左和s(t)_右。其中M_左、M_右和m_左、m_右根据每个用户前面所采集到的数据来确定(注：M_左和M_右为非0的最小值)。

2)在检测阶段，若s(t)_左和s(t)_右出现了比M_左、M_右大的值或出现了比M_左和M_右小的值，这些值记为M_左、M_右和m_左、m_右，在下一帧，调整M_左、M_右和m_左、m_右的值。

3)记左右眼的睁开程度为p(t)_左和p(t)_右：

p(t)_左＝(s(t)_左-m_左)/(M_左-m_左)

p(t)_右＝(s(t)_右-m_右)/(M_右-m_右)

p(t)_左和p(t)_右是归一化后的值，眼睛睁开程度p(t)和PERLOG为：

p(t)＝(p(t)_左+p(t)_右)/2

PERLOG＝∑(p(t)≤0.3)

最后，在预测模型中，将眼疲劳分为三个不同程度的级别：轻度眼疲劳、中度眼疲劳和重度眼疲劳。根据预测模型的判断，分别对着三种不同程度眼疲劳给出不同的干预：

1)如果是轻度疲劳的状况，使用语音提醒，并使用具有对眼视觉比较友好UI全屏提醒休息和给出眼睛保护建议；

2)如果是中度疲劳状态，使用语音提醒，并直接触发手机黑屏待机；

3)如果是重度疲劳状态，使用语音提醒，并短暂时间倒计时后触发关机指令。

Claims (6)

1.一种智能手机使用的眼睛疲劳检测***，其特征在于：

(1)通过智能手机的前置摄像设备，采集用户在使用智能手机过程的图像帧序列；

(2)使用智能手机依次处理每一帧，通过一系列技术精确定位包含人眼的最小矩形；

(3)在一定的精度范围内，定位到包含人眼的最小矩形。每次得到的矩形缩放在相同的固定比例中计算矩形面积，然后根据训练得到的睁闭眼阈值判定眼睛的睁闭情况；

(4)更新判断人眼疲劳程度的PERCLOS特征值；

(5)如果没有疲劳将继续循环检测，返回步骤(1)；如果出现不同程度的眼疲劳情况，将执行(6)步骤；

(6)根据疲劳程度作出不同的干预措施。

2.根据权利要求1所述的智能手机使用的眼睛疲劳检测方法，其特征在于，智能手机尽管大部分都有比较高的硬件配置，但过于高频率的数据采集和计算任务会在一定程度上影响用户使用智能手机处理其它任务的流畅程度，在能得到较好的检测效果基础上取尽可能小的图像采集频率是非常有必要的。实验结果表明选取每隔120ms取一个图像帧样本是比较适合的。

3.根据权利要求1所述的精确定位包含人眼最小矩形的技术，其特征在于，使用基于成熟算法的改进技术上，可以避免光照、戴眼镜以及低质量图像等情况下对检测结果有较大影响的因素。主要的步骤如下：

(1)使用肤色模型分割肤色区域作必要的预处理；

(2)评价人眼预测位置。如果预测正确的话，直接结束该帧图像的人眼定位；如果预测结果错误的话，继续执行步骤(3)；

(3)使用已经训练好的CascadeAdaboost对人脸进行定位，并使用支持向量机SVM的方法对定位结果进行验证；

(4)对人脸方向进行矫正，使得(5)输入的都是正脸图像；

(5)使用尺度不变梯度积分投影算法(Scale-invariantGradientIntegralProjectionFunction,简称SGIPF)的分割算法，分离出包含人眼的最小矩形；

(6)使用卡尔曼滤波算法预测下一次人眼位置，正确的预测结果可以大大提高***的检测效率。

4.根据权利要求1所述的人眼疲劳程度评价技术，其特征在于，PERCLOS(PercentageofEyelidClosureOverTime)是公认的疲劳状态评判标准,现已被认为是判断驾驶疲劳最有效的评估参数。本发明使用PERCLOS的值来评估用户在使用智能手机设备疲劳检测中的用眼疲劳程度。根据智能手机使用的疲劳特点，阈值需要做适当的调整，然后作为评价疲劳程度的评价方法，疲劳程度分为轻度、中度和重度三个级别。

5.根据权利要求1所述的智能手机使用的眼睛疲劳检测方法，其特征在于，在检测到眼疲劳程度后的干预措施分为：

(1)如果是轻度疲劳的状况，使用语音提醒，并使用具有对眼视觉比较友好UI全屏提醒休息和给出眼睛保护建议；

(2)如果是中度疲劳状态，使用语音提醒，并直接触发手机黑屏待机；

(3)如果是重度疲劳状态，使用语音提醒，并短暂时间倒计时后触发关机指令。

6.本方法的实现是基于智能手机，但是平板等可移动电子设备在实现上的原理是类似的，基于这些设备的相同实现技术也是属于本权利要求。