CN106814853A - 一种基于机器学习的眼控跟踪方法 - Google Patents
一种基于机器学习的眼控跟踪方法 Download PDFInfo
- Publication number
- CN106814853A CN106814853A CN201611157019.2A CN201611157019A CN106814853A CN 106814853 A CN106814853 A CN 106814853A CN 201611157019 A CN201611157019 A CN 201611157019A CN 106814853 A CN106814853 A CN 106814853A
- Authority
- CN
- China
- Prior art keywords
- eye control
- machine learning
- eye
- image
- pupil
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/19—Sensors therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/197—Matching; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Ophthalmology & Optometry (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于机器学习的眼控跟踪方法,包括以下步骤:启动眼控跟踪模式;通过摄像头获取被跟踪人员的瞳孔、眼脸形状特征和头部姿势,获得联合特征数据;对获得的联合特征数据进行分析,采用机器学习方法,对多特征进行深度学习和训练,得到具有强识别性能的分类器;通过处理单元接收分析信息,并依据该分析信息产生眼动指针。采用本方法可以极大的提高眼控跟踪的效率和鲁棒性,***检测单次循环不超过38ms,检测成功率达到93%以上。
Description
技术领域
本发明涉及智能视觉处理技术领域,特别涉及一种基于机器学习的眼控跟踪方法。
背景技术
随着现代社会的发展,人们对安全、智能与舒适的要求越来越高,采用眼控跟踪技术可以在不需要人手部参与的情况下对智能设备进行控制,实现多种设备的智能化提升。
目前,常用的眼控跟踪技术采用的是基于红外光源探测获取眼球运动信息的方法,其技术要点在于传统方法:首先,使用外接红外摄像模组获取眼球图像,并进行图像预处理。然后,对瞳孔的中心和红外led灯产生的普洱钦斑的大小、位置等特征进行检测;接着,建立瞳孔角膜反射向量,进而通过该向量映射、求解注视点在屏幕上的坐标,获得眼动信息。该方法结构简单,易于实现。
但是,随着低成本消费电子设备的出现,在低频视频设备上,该技术的弊病日益显现。在驾驶员疲劳检测、人脸金融支付等领域,该方法也存在着识别效率较低,判断不够准确,可靠性较差等问题。阻碍了该技术的进一步推广和实验,成为亟待解决和提高的问题。
发明内容
本发明的目的是:提出一种基于机器学习的眼控跟踪方法,以解决现有的眼控跟踪技术识别准确率低、鲁棒性差的问题。
本发明解决其技术问题所采用的技术方案是:
一种基于机器学习的眼控跟踪方法,包括以下步骤:
S1,启动眼控跟踪模式;
S2,通过摄像头获取被跟踪人员的瞳孔、眼脸形状特征和头部姿势,获得联合特征数据;
S3,对步骤S2所获得的联合特征数据进行分析,采用机器学习方法,对多特征进行深度学习和训练,得到具有强识别性能的分类器;
S4,通过处理单元接收分析信息,并依据该分析信息产生眼动指针。
进一步,所述步骤S1具体包括如下步骤:通过语音指令或触控指令启动,对APP发出启动指令,电子设备在得到指令后自动打开眼控跟踪模块,启动眼控跟踪模式。
进一步,所述步骤S2具体包括如下步骤:
S21,对摄像机获得的当前图像进行色彩空间转换处理,由三通道RGB彩色空间转换到单通道灰度空间,并进行直方图均衡化处理;
S22,使用双边滤波在保证图像中障碍物边缘清晰的前提下去除图像中的噪声,滤波计算表达式为:
其中,f为原输入图像,h为去噪后的输出图像,c(ξ,x)为度量了领域中心点x和领近点ξ的几何临近度,kd为归一化参数;
S23,采用图像特征提取方法,获得图像的像素级特征序列,对算法生成的有序对象列表进行分析,去除其中不属于聚类群的孤立点和奇异点。
进一步,所述步骤S3具体包括以下步骤:
S31,利用深度置信网络对步骤S23中获得的特征进行训练和学习,并对训练和学习结果进行测试;
S32,采用步骤S31获得具有强分辨能力的分类器,并将获得的分类器集成到本发明所述的眼控跟踪技术中。
进一步,所述步骤S4具体包括以下步骤:
S41,采用步骤S32所获得的强分类器,实时检测瞳孔位置信息,对位置进行记录,构成一阶马尔科夫过程,并采用随机状态估计方法对瞳孔在下一时刻的可能位置进行预测;
S42,采用Kalman滤波方法对步骤S41获得的位置进行跟踪,进而提供本发明所述眼控跟踪方法的实时性;
S43,采用步骤S42所获得的瞳孔跟踪信息,提取其中的瞳孔运动速度和方向信息构成眼动指针。
本发明的有益效果是:
1、本发明采用深度机器学习方法,可以极大的提高眼控跟踪的效率和鲁棒性,***检测单次循环不超过38ms,检测成功率达到93%以上。
2、本发明采用消费级电子设备摄像头作为环境感知设备,极大地降低了该方法推广使用的门槛和成本,本可以获得更为准确可靠的眼控跟踪。
附图说明
图1为本发明的眼控跟踪方法的***硬件框图。
图2为本发明的眼控跟踪方法的实施流程框图。
图中:01-智能电子设备、011-摄像头、012-显示屏、013-眼控跟踪指针。
具体实施方式
以下结合附图,对本发明做进一步说明。
本发明是一种基于机器学***板电脑、台式机或笔记本电脑。该智能电子设备包括有显示屏012和摄像头011;图1中显示的是一种单目摄像头,期采样频率低,采用低帧率标准感光元件,该单目摄像头用于将采集到的图像信号传输至智能电子设备的计算单元中。
本发明提供的一直基于机器学习的眼控跟踪方法,具体实施步骤如图2所示,包括:
S1,启动眼控跟踪模式;
在本实施方式中,启动眼控跟踪模式,具体方法为:通过语音信息,触摸屏等方式,对APP发出启动指令,电子设备在得到指令后自动打开眼控跟踪模块。
S2,通过摄像头获取被跟踪人员的瞳孔、眼脸形状特征和头部姿势,获得联合特征数据;该联合特征可对被跟踪人员进行区别,具有旋转、缩放特征不变性;
在本实施方式中,对被跟踪人员的瞳孔、眼脸形状特征和头部姿势,获得联合特征,具体包括以下步骤:
S21,对摄像机获得的当前图像进行色彩空间转换处理,由三通道RGB彩色空间转换到单通道灰度空间,并进行直方图均衡化处理;
S22,使用双边滤波在保证图像中障碍物边缘清晰的前提下去除图像中的噪声,滤波计算表达式为:
其中,f为原输入图像,h为去噪后的输出图像,c(ξ,x)为度量了领域中心点x和领近点ξ的几何临近度,kd为归一化参数;
S23,采用图像特征提取方法,获得图像的像素级特征序列,对算法生成的有序对象列表进行分析,去除其中不属于聚类群的孤立点和奇异点。
S3,对步骤S2所获得的联合特征数据进行分析,采用机器学习方法,对多特征进行深度学习和训练,得到具有强识别性能的分类器,
在本实施方式中,采用机器学习方法,对多特征进行深度学习和训练,具体包括以下步骤:
S31利用深度置信网络对步骤S23中获得的特征进行训练和学习,并对训练和学习结果进行测试;
S32采用步骤S31获得具有强分辨能力的强分类器,并将获得的强分类器集成到本发明的眼控跟踪***中。
S4,通过处理单元接收分析信息,并依据分析信息产生眼动指针。
在本实施方式中,通过处理单元接收分析信息,并依据分析信息产生眼动指针包括以下步骤:
S41采用步骤S32所获得的强分类器,实时检测瞳孔位置信息,对位置进行记录,构成一阶马尔科夫过程,并采用随机状态估计方法对瞳孔在下一时刻的可能位置进行预测;
S42采用Kalman滤波方法对步骤S41获得的位置进行跟踪,进而提供本发明所述眼控跟踪方法的实时性;
S43采用步骤S42所获得的瞳孔跟踪信息,提取其中的瞳孔运动速度和方向信息构成眼动指针。
以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解,本发明不受上述实施例的限制,上述实施例和说明书中描述的只是说明本发明的原理,在不脱离本发明精神和范围的前提下,本发明还会有各种变化和改进,这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。
Claims (5)
1.一种基于机器学习的眼控跟踪方法,其特征在于,包括以下步骤:
S1,启动眼控跟踪模式;
S2,通过摄像头获取被跟踪人员的瞳孔、眼脸形状特征和头部姿势,获得联合特征数据;
S3,对步骤S2所获得的联合特征数据进行分析,采用机器学习方法,对多特征进行深度学习和训练,得到具有强识别性能的分类器;
S4,通过处理单元接收分析信息,并依据该分析信息产生眼动指针。
2.如权利要求1所述的一种基于机器学习的眼控跟踪方法,其特征在于,所述步骤S1具体包括如下步骤:通过语音指令或触控指令启动,对APP发出启动指令,电子设备在得到指令后自动打开眼控跟踪模块,启动眼控跟踪模式。
3.如权利要求2所述的一种基于机器学习的眼控跟踪方法,其特征在于,所述步骤S2具体包括如下步骤:
S21,对摄像机获得的当前图像进行色彩空间转换处理,由三通道RGB彩色空间转换到单通道灰度空间,并进行直方图均衡化处理;
S22,使用双边滤波在保证图像中障碍物边缘清晰的前提下去除图像中的噪声,滤波计算表达式为:
其中,f为原输入图像,h为去噪后的输出图像,c(ξ,x)为度量了领域中心点x和领近点ξ的几何临近度,kd为归一化参数;
S23,采用图像特征提取方法,获得图像的像素级特征序列,对算法生成的有序对象列表进行分析,去除其中不属于聚类群的孤立点和奇异点。
4.如权利要求3所述的一种基于机器学习的眼控跟踪方法,其特征在于,所述步骤S3具体包括以下步骤:
S31,利用深度置信网络对步骤S23中获得的特征进行训练和学习,并对训练和学习结果进行测试;
S32,采用步骤S31获得具有强分辨能力的分类器,并将获得的分类器集成到的眼控跟踪***中。
5.如权利要求4所述的一种基于机器学习的眼控跟踪方法,其特征在于,所述步骤S4具体包括以下步骤:
S41,采用步骤S32所获得的强分类器,实时检测瞳孔位置信息,对位置进行记录,构成一阶马尔科夫过程,并采用随机状态估计方法对瞳孔在下一时刻的可能位置进行预测;
S42,采用Kalman滤波方法对步骤S41获得的位置进行跟踪,进而提供本发明所述眼控跟踪方法的实时性;
S43,采用步骤S42所获得的瞳孔跟踪信息,提取其中的瞳孔运动速度和方向信息构成眼动指针。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201611157019.2A CN106814853A (zh) | 2016-12-15 | 2016-12-15 | 一种基于机器学习的眼控跟踪方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201611157019.2A CN106814853A (zh) | 2016-12-15 | 2016-12-15 | 一种基于机器学习的眼控跟踪方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN106814853A true CN106814853A (zh) | 2017-06-09 |
Family
ID=59109727
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201611157019.2A Withdrawn CN106814853A (zh) | 2016-12-15 | 2016-12-15 | 一种基于机器学习的眼控跟踪方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106814853A (zh) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107608523A (zh) * | 2017-09-30 | 2018-01-19 | 广东欧珀移动通信有限公司 | 移动终端的控制方法、装置及存储介质和移动终端 |
CN107633196A (zh) * | 2017-06-14 | 2018-01-26 | 电子科技大学 | 一种基于卷积神经网络的眼球移动预测方案 |
CN107704919A (zh) * | 2017-09-30 | 2018-02-16 | 广东欧珀移动通信有限公司 | 移动终端的控制方法、装置及存储介质和移动终端 |
CN108681699A (zh) * | 2018-05-04 | 2018-10-19 | 上海像我信息科技有限公司 | 一种基于深度学习的视线估计方法及视线估计装置 |
CN109685829A (zh) * | 2018-12-17 | 2019-04-26 | 成都旷视金智科技有限公司 | 基于图像的视线追踪方法、装置和电子设备 |
CN109948469A (zh) * | 2019-03-01 | 2019-06-28 | 吉林大学 | 基于深度学习的巡检机器人仪表自动检测识别方法 |
CN111796708A (zh) * | 2020-06-02 | 2020-10-20 | 南京信息工程大学 | 一种在触摸屏上再现图像三维形状特征的方法 |
-
2016
- 2016-12-15 CN CN201611157019.2A patent/CN106814853A/zh not_active Withdrawn
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107633196A (zh) * | 2017-06-14 | 2018-01-26 | 电子科技大学 | 一种基于卷积神经网络的眼球移动预测方案 |
CN107608523A (zh) * | 2017-09-30 | 2018-01-19 | 广东欧珀移动通信有限公司 | 移动终端的控制方法、装置及存储介质和移动终端 |
CN107704919A (zh) * | 2017-09-30 | 2018-02-16 | 广东欧珀移动通信有限公司 | 移动终端的控制方法、装置及存储介质和移动终端 |
CN107704919B (zh) * | 2017-09-30 | 2021-12-07 | Oppo广东移动通信有限公司 | 移动终端的控制方法、装置及存储介质和移动终端 |
CN108681699A (zh) * | 2018-05-04 | 2018-10-19 | 上海像我信息科技有限公司 | 一种基于深度学习的视线估计方法及视线估计装置 |
CN109685829A (zh) * | 2018-12-17 | 2019-04-26 | 成都旷视金智科技有限公司 | 基于图像的视线追踪方法、装置和电子设备 |
CN109948469A (zh) * | 2019-03-01 | 2019-06-28 | 吉林大学 | 基于深度学习的巡检机器人仪表自动检测识别方法 |
CN111796708A (zh) * | 2020-06-02 | 2020-10-20 | 南京信息工程大学 | 一种在触摸屏上再现图像三维形状特征的方法 |
CN111796708B (zh) * | 2020-06-02 | 2023-05-26 | 南京信息工程大学 | 一种在触摸屏上再现图像三维形状特征的方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106814853A (zh) | 一种基于机器学习的眼控跟踪方法 | |
CN107545302B (zh) | 一种人眼左右眼图像联合的视线方向计算方法 | |
CN104317391B (zh) | 一种基于立体视觉的三维手掌姿态识别交互方法和*** | |
CN110221699B (zh) | 一种前置摄像头视频源的眼动行为识别方法 | |
US9411417B2 (en) | Eye gaze tracking system and method | |
CN108960067B (zh) | 基于深度学习的实时的列车驾驶员动作识别***和方法 | |
Liu et al. | Hand gesture recognition using depth data | |
US20220301218A1 (en) | Head pose estimation from local eye region | |
CN108197534A (zh) | 一种人头部姿态检测方法、电子设备及存储介质 | |
CN104821010A (zh) | 基于双目视觉的人手三维信息实时提取方法及*** | |
CN103472915B (zh) | 基于瞳孔跟踪的阅读控制方法、阅读控制装置及显示设备 | |
CN109325408A (zh) | 一种手势判断方法及存储介质 | |
CN107145226A (zh) | 眼控人机交互***及方法 | |
CN106778574A (zh) | 用于人脸图像的检测方法和装置 | |
JP2012003364A (ja) | 人物動作判定装置およびそのプログラム | |
Suresh et al. | Real-time hand gesture recognition using deep learning | |
CN114821753B (zh) | 一种基于视觉图像信息的眼动交互*** | |
Yang et al. | Early childhood education by hand gesture recognition using a smartphone based robot | |
CN108255285A (zh) | 一种基于掌间点检测的运动手势检测方法 | |
Sambrekar et al. | Human computer interaction for disabled using eye motion tracking | |
Ahmed et al. | Controlling multimedia player with eye gaze using webcam | |
Raza et al. | An integrative approach to robust hand detection using CPM-YOLOv3 and RGBD camera in real time | |
Dhamanskar et al. | Human computer interaction using hand gestures and voice | |
CN114296543A (zh) | 一种指尖力检测及手势识别的智能交互***及智能指环 | |
Monica et al. | Recognition of medicine using cnn for visually impaired |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WW01 | Invention patent application withdrawn after publication | ||
WW01 | Invention patent application withdrawn after publication |
Application publication date: 20170609 |