CN106814853A - 一种基于机器学习的眼控跟踪方法 - Google Patents

Abstract

本发明公开了一种基于机器学习的眼控跟踪方法，包括以下步骤：启动眼控跟踪模式；通过摄像头获取被跟踪人员的瞳孔、眼脸形状特征和头部姿势，获得联合特征数据；对获得的联合特征数据进行分析，采用机器学习方法，对多特征进行深度学习和训练，得到具有强识别性能的分类器；通过处理单元接收分析信息，并依据该分析信息产生眼动指针。采用本方法可以极大的提高眼控跟踪的效率和鲁棒性，***检测单次循环不超过38ms，检测成功率达到93％以上。

Description

一种基于机器学习的眼控跟踪方法

技术领域

本发明涉及智能视觉处理技术领域，特别涉及一种基于机器学习的眼控跟踪方法。

背景技术

随着现代社会的发展，人们对安全、智能与舒适的要求越来越高，采用眼控跟踪技术可以在不需要人手部参与的情况下对智能设备进行控制，实现多种设备的智能化提升。

目前，常用的眼控跟踪技术采用的是基于红外光源探测获取眼球运动信息的方法，其技术要点在于传统方法：首先，使用外接红外摄像模组获取眼球图像,并进行图像预处理。然后，对瞳孔的中心和红外led灯产生的普洱钦斑的大小、位置等特征进行检测；接着，建立瞳孔角膜反射向量,进而通过该向量映射、求解注视点在屏幕上的坐标，获得眼动信息。该方法结构简单，易于实现。

但是，随着低成本消费电子设备的出现，在低频视频设备上，该技术的弊病日益显现。在驾驶员疲劳检测、人脸金融支付等领域，该方法也存在着识别效率较低，判断不够准确，可靠性较差等问题。阻碍了该技术的进一步推广和实验，成为亟待解决和提高的问题。

发明内容

本发明的目的是：提出一种基于机器学习的眼控跟踪方法，以解决现有的眼控跟踪技术识别准确率低、鲁棒性差的问题。

本发明解决其技术问题所采用的技术方案是：

一种基于机器学习的眼控跟踪方法，包括以下步骤：

S1，启动眼控跟踪模式；

S2，通过摄像头获取被跟踪人员的瞳孔、眼脸形状特征和头部姿势，获得联合特征数据；

S3，对步骤S2所获得的联合特征数据进行分析，采用机器学习方法，对多特征进行深度学习和训练，得到具有强识别性能的分类器；

S4，通过处理单元接收分析信息，并依据该分析信息产生眼动指针。

进一步，所述步骤S1具体包括如下步骤：通过语音指令或触控指令启动，对APP发出启动指令，电子设备在得到指令后自动打开眼控跟踪模块，启动眼控跟踪模式。

进一步，所述步骤S2具体包括如下步骤：

S21，对摄像机获得的当前图像进行色彩空间转换处理，由三通道RGB彩色空间转换到单通道灰度空间，并进行直方图均衡化处理；

S22，使用双边滤波在保证图像中障碍物边缘清晰的前提下去除图像中的噪声，滤波计算表达式为：

其中，f为原输入图像，h为去噪后的输出图像，c(ξ,x)为度量了领域中心点x和领近点ξ的几何临近度，k_d为归一化参数；

S23，采用图像特征提取方法，获得图像的像素级特征序列，对算法生成的有序对象列表进行分析，去除其中不属于聚类群的孤立点和奇异点。

进一步，所述步骤S3具体包括以下步骤：

S31，利用深度置信网络对步骤S23中获得的特征进行训练和学习，并对训练和学习结果进行测试；

S32，采用步骤S31获得具有强分辨能力的分类器，并将获得的分类器集成到本发明所述的眼控跟踪技术中。

进一步，所述步骤S4具体包括以下步骤：

S41，采用步骤S32所获得的强分类器，实时检测瞳孔位置信息，对位置进行记录，构成一阶马尔科夫过程，并采用随机状态估计方法对瞳孔在下一时刻的可能位置进行预测；

S42，采用Kalman滤波方法对步骤S41获得的位置进行跟踪，进而提供本发明所述眼控跟踪方法的实时性；

S43，采用步骤S42所获得的瞳孔跟踪信息，提取其中的瞳孔运动速度和方向信息构成眼动指针。

本发明的有益效果是：

1、本发明采用深度机器学习方法，可以极大的提高眼控跟踪的效率和鲁棒性，***检测单次循环不超过38ms，检测成功率达到93％以上。

2、本发明采用消费级电子设备摄像头作为环境感知设备，极大地降低了该方法推广使用的门槛和成本，本可以获得更为准确可靠的眼控跟踪。

附图说明

图1为本发明的眼控跟踪方法的***硬件框图。

图2为本发明的眼控跟踪方法的实施流程框图。

图中：01-智能电子设备、011-摄像头、012-显示屏、013-眼控跟踪指针。

具体实施方式

以下结合附图，对本发明做进一步说明。

本发明是一种基于机器学***板电脑、台式机或笔记本电脑。该智能电子设备包括有显示屏012和摄像头011；图1中显示的是一种单目摄像头，期采样频率低，采用低帧率标准感光元件，该单目摄像头用于将采集到的图像信号传输至智能电子设备的计算单元中。

本发明提供的一直基于机器学习的眼控跟踪方法，具体实施步骤如图2所示，包括：

S1，启动眼控跟踪模式；

在本实施方式中，启动眼控跟踪模式，具体方法为：通过语音信息，触摸屏等方式，对APP发出启动指令，电子设备在得到指令后自动打开眼控跟踪模块。

S2，通过摄像头获取被跟踪人员的瞳孔、眼脸形状特征和头部姿势，获得联合特征数据；该联合特征可对被跟踪人员进行区别，具有旋转、缩放特征不变性；

在本实施方式中，对被跟踪人员的瞳孔、眼脸形状特征和头部姿势，获得联合特征，具体包括以下步骤：

S21，对摄像机获得的当前图像进行色彩空间转换处理，由三通道RGB彩色空间转换到单通道灰度空间，并进行直方图均衡化处理；

S22，使用双边滤波在保证图像中障碍物边缘清晰的前提下去除图像中的噪声，滤波计算表达式为：

其中，f为原输入图像，h为去噪后的输出图像，c(ξ,x)为度量了领域中心点x和领近点ξ的几何临近度，k_d为归一化参数；

S23，采用图像特征提取方法，获得图像的像素级特征序列，对算法生成的有序对象列表进行分析，去除其中不属于聚类群的孤立点和奇异点。

S3，对步骤S2所获得的联合特征数据进行分析，采用机器学习方法，对多特征进行深度学习和训练，得到具有强识别性能的分类器，

在本实施方式中，采用机器学习方法，对多特征进行深度学习和训练，具体包括以下步骤：

S31利用深度置信网络对步骤S23中获得的特征进行训练和学习，并对训练和学习结果进行测试；

S32采用步骤S31获得具有强分辨能力的强分类器，并将获得的强分类器集成到本发明的眼控跟踪***中。

S4，通过处理单元接收分析信息，并依据分析信息产生眼动指针。

在本实施方式中，通过处理单元接收分析信息，并依据分析信息产生眼动指针包括以下步骤：

S41采用步骤S32所获得的强分类器，实时检测瞳孔位置信息，对位置进行记录，构成一阶马尔科夫过程，并采用随机状态估计方法对瞳孔在下一时刻的可能位置进行预测；

S42采用Kalman滤波方法对步骤S41获得的位置进行跟踪，进而提供本发明所述眼控跟踪方法的实时性；

S43采用步骤S42所获得的瞳孔跟踪信息，提取其中的瞳孔运动速度和方向信息构成眼动指针。

以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (5)

1.一种基于机器学习的眼控跟踪方法，其特征在于，包括以下步骤：

S1，启动眼控跟踪模式；

S2，通过摄像头获取被跟踪人员的瞳孔、眼脸形状特征和头部姿势，获得联合特征数据；

S3，对步骤S2所获得的联合特征数据进行分析，采用机器学习方法，对多特征进行深度学习和训练，得到具有强识别性能的分类器；

S4，通过处理单元接收分析信息，并依据该分析信息产生眼动指针。

2.如权利要求1所述的一种基于机器学习的眼控跟踪方法，其特征在于，所述步骤S1具体包括如下步骤：通过语音指令或触控指令启动，对APP发出启动指令，电子设备在得到指令后自动打开眼控跟踪模块，启动眼控跟踪模式。

3.如权利要求2所述的一种基于机器学习的眼控跟踪方法，其特征在于，所述步骤S2具体包括如下步骤：

S21，对摄像机获得的当前图像进行色彩空间转换处理，由三通道RGB彩色空间转换到单通道灰度空间，并进行直方图均衡化处理；

S22，使用双边滤波在保证图像中障碍物边缘清晰的前提下去除图像中的噪声，滤波计算表达式为：

$h\left(x\right)=k_d^{-1}\left(x\right){\∫}_{-\mathrm{\∞}}^{\mathrm{\∞}}{\∫}_{-\mathrm{\∞}}^{\mathrm{\∞}}f\left(\mathrm{\ξ}\right)c(\mathrm{\ξ},x)d\mathrm{\ξ},$

其中，f为原输入图像，h为去噪后的输出图像，c(ξ,x)为度量了领域中心点x和领近点ξ的几何临近度，k_d为归一化参数；

S23，采用图像特征提取方法，获得图像的像素级特征序列，对算法生成的有序对象列表进行分析，去除其中不属于聚类群的孤立点和奇异点。

4.如权利要求3所述的一种基于机器学习的眼控跟踪方法，其特征在于，所述步骤S3具体包括以下步骤：

S31，利用深度置信网络对步骤S23中获得的特征进行训练和学习，并对训练和学习结果进行测试；

S32，采用步骤S31获得具有强分辨能力的分类器，并将获得的分类器集成到的眼控跟踪***中。

5.如权利要求4所述的一种基于机器学习的眼控跟踪方法，其特征在于，所述步骤S4具体包括以下步骤：

S41，采用步骤S32所获得的强分类器，实时检测瞳孔位置信息，对位置进行记录，构成一阶马尔科夫过程，并采用随机状态估计方法对瞳孔在下一时刻的可能位置进行预测；

S42，采用Kalman滤波方法对步骤S41获得的位置进行跟踪，进而提供本发明所述眼控跟踪方法的实时性；

S43，采用步骤S42所获得的瞳孔跟踪信息，提取其中的瞳孔运动速度和方向信息构成眼动指针。