CN102520796A - 一种基于逐步回归分析映射模型的视线跟踪方法 - Google Patents
一种基于逐步回归分析映射模型的视线跟踪方法 Download PDFInfo
- Publication number
- CN102520796A CN102520796A CN2011104065995A CN201110406599A CN102520796A CN 102520796 A CN102520796 A CN 102520796A CN 2011104065995 A CN2011104065995 A CN 2011104065995A CN 201110406599 A CN201110406599 A CN 201110406599A CN 102520796 A CN102520796 A CN 102520796A
- Authority
- CN
- China
- Prior art keywords
- eye movement
- characteristics information
- movement characteristics
- mapping model
- function
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Eye Examination Apparatus (AREA)
Abstract
本发明公开了一种基于逐步回归分析映射模型的视线跟踪方法,该方法首先在人眼注视标定点时提取眼动特征信息;然后选择初始映射模型函数。选择初始映模型射函数后,对映射模型函数各项的显著性进行检验,剔除非显著的项,在不断的项剔除及重新建立映射模型函数的过程中,最终找到拟合精度最高的映射模型函数。最后,利用最终映射模型函数计算注视点,当人眼处于凝视状态时,采用高斯权重平均法来平滑眼动特征信息,克服眼睛抖动的问题。本发明鲁棒性好、精度高。
Description
技术领域
本发明涉及视线跟踪技术,具体涉及基于逐步回归分析映射模型的视线跟踪方法。
背景技术
视线识别技术为人机交互技术的重要分支,主要研究对人眼注视点的检测与识别,实现对其他功能***控制,其研究成果在军备开发、无人驾驶、航空航天、残疾人辅助、虚拟现实等领域有着广泛的应用前景。
视线跟踪技术一般可以分为两类,接触式和非接触式。接触式的精度高,但用户须佩戴特殊设备,给用户使用带来很大的不便。非接触式不需用户佩戴任何设备,不对用户产生干扰。非接触式技术是目前研究的热点。在非接触式视线跟踪技术中,瞳孔-角膜反射向量法具有较高的精度,是目前非接触式技术的主流。按照其原理瞳孔-角膜反射法可划分为3维跟踪方法和2维跟踪方法。3维的跟踪方法存在很大的缺陷,需要用到多个摄像机来求得眼睛3维坐标,对硬件要求高,算法复杂耗时,实现难度大。在现今的视线跟踪实用***中大多使用2维的跟踪方法。人眼注视点映射模型是2维跟踪方法中最关键的问题,现今的映射模型函数使用固定的参数组合,没有考虑映射模型函数整体和各个参数的显著性,缺乏合理性检验和拟合精度不高。由于使用者生理特征参数差异性,如眼球半径、眼球椭圆系数等,和所处的条件不同,如头部相对与摄像头的位置等,不同个体是有差异的,使用固定的模型参数组合并不完全适合所有情况,必须对映射模型函数整体和各参数的显著性进行检测。并且现有绝大部分视线跟踪方法在人眼凝视时定位注视点时没有考虑眼睛抖动的问题,使得人眼盯着一点看时,定位出的注视点还会不断跳动。
发明内容
本发明的目的在于克服现有2维映射模型缺乏合理性检验、拟合精度不高和缺乏考虑凝视时眼睛抖动的缺点,提供一种基于逐步回归分析映射模型的视线跟踪方法,根据输入的眼动特征信息数据检测模型整体和各参数的显著性,自适应调整模型参数的组合,建立合理、高精度的、鲁棒性强的映射模型,并且在人眼凝视时通过高斯权重平均解决眼睛抖动的问题。该算法对硬件要求低,只需一个普通的摄像头和两个红外光源,所需的计算量不大,提高了视线跟踪的实时性。
本发明通过以下技术方案实现:
一种基于逐步回归分析映射模型的视线跟踪方法,该方法需要一个摄像头和两个红外光源,包括如下步骤:
(1)眼睛注视屏幕上的标定点,提取眼动特征信息;
(2)选择初始映射模型函数:利用步骤(1)所获取的眼动特征信息,对候选的初始映射模型函数进行整体的显著性检测和初始精度检测,若通不过这两检测则更换初始映射模函数重新进行检测,通过这两个检测则确定为初始映射模型函数;
(3)确定最终映射模型函数:对初始映射模型函数各项的显著性进行检验,剔除非显著的项,在不断地项剔除及重新建立映射模型函数的过程中,最终找到拟合精度最高的映射模型函数;
(4)计算注视点:提取眼动特征信息,当人眼处于凝视状态时,采用高斯权重平均法来平滑眼动特征信息,利用最终映射模型函数进行注视点计算,实现实时的视线跟踪。
上述跟踪方法中,步骤(1)的标定点为屏幕的中点及在屏幕上4×4平均分布的16个点,共17个点。
上述跟踪方法中,所述步骤(1)眼动特征信息的提取包括:
a.定位出瞳孔区域,获得瞳孔中心坐标(Px,Py);
b.分别定位出两个红外光源在眼睛角膜上的反射斑点区域,获得两个斑点中心坐标,得到这两个斑点中点连线的中点坐标(Xc,Yc),以及两个斑点中点的欧氏距离d;
c..获得由瞳孔中心指向两个反射斑点中点连线的中点的向量V,以两个反射斑点中点的欧氏距离d作为修正因子,由V除以d.获得眼动特征信息VP-CR,称为修正瞳孔-角膜反射向量;
d.由于人眼在凝视标定点时眼睛也不是完全静止的,人眼为了获取外界信息在不断地小范围抖动,为了获取的眼动特征信息具有更好的鲁棒性,在人眼凝视每个标定点时连续取五帧图像的修正瞳孔-角膜反射向量,然后取平均值作为标定点对应的眼动特征信息。
上述跟踪方法中,所述步骤(2)包括:
a.确定初始映射模型函数把眼动特征信息和人眼注视点对应起来,映射模型函数为多项映射模型函数,以人眼注视点的坐标为依变量,以眼动特征信息即修正瞳孔-角膜反射向量的X轴分量和Y轴分量组合构成的项作为自变量;
b.利用标定点在屏幕上的坐标信息和对应的眼动特征信息采用F检验法检查候选初始映射模型函数的整体显著性,当映射模型函数整体为非显著时更改初始映射模型函数,通过整体显著行检测后,用最小二乘法确定初始映射模型函数的系数,把用该初始映射模型函数计算出的人眼注视点与标定点进行比较得到定位误差,若定位误差大于设定值则更换初始映射模型函数。
上述跟踪方法的步骤b中,候选初始映射模型函数有6参数二次多项式、9参数多项式和12参数多项式,首先选择6参数二次多项式作为待定初始映射模型函进行整体的显著性检测和初始精度检测,如果如果6参数二次多项式达通不过检测则重新选择9参数多项式作为待定初始映射模型函进行整体的显著性检测和初始精度检测,若9参数多项式也通不过检测则选择12参数多项式。
上述跟踪方法中,所述步骤(3)包括:
确定了初始映射模型函数后,映射模型函数的各自变量不一定与依变量的关系都是显著的,非显著的自变量会影响映射模型函数的准确性和鲁棒性,故用F检验法对映射模型函数各项的显著性进行检验,剔除非显著的项,在不断的项剔除及重新建立映射模型函数的过程中,找到最优的函数参数组合,显著地提高模型函数计算效率及拟合精度。
上述跟踪方法中,所述步骤(4)包括:
a.获取每帧图像的眼动特征信息VP-CR;
b.根据眼动特征信息VP-CR变化量,判断眼睛处于凝视状态还是非凝视状态:当前帧的眼动特征信息VP-CR与前一帧的眼动特征信息VP-CR比较,如果相对变化量小于1%则判断为眼睛处于凝视状态,反之则处于非凝视状态;
c.当眼睛处于凝视状态时,平滑眼动特征信息VP-CR:由于眼睛的抖动影响,直接采用每一帧图像的眼动特征信息VP-CR来计算眼睛注视点时,眼睛注视点会快速跳动,为了克服这个困难,当眼睛处于凝视状态时,采用高斯分布为眼睛处于凝视状态时获取的连续多帧图像的眼动特征信息分配权重,通过权重平均来获得平滑的眼动特征信息;
d.当人眼处于非凝视状态时直接利用该帧图像的眼动特征信息计算注视点,当人眼处于凝视状态时利用平滑后的眼动特征信息计算注视点。
与现有技术相比,本发明的优点与积极效果在于:
1.相对传统的静态的映射模型采用固定组合的多项式映射模型函数,该方法采用基于逐步回归分析的方法,在构建了初始映射模型函数后,根据眼动特征信息检查映射模型函数的显著性,剔除映射模型函数不显著的项,最终找到最优的多项式映射模型函数,显著地提高模型函数计算效率及拟合精度。
2.该方法在人眼凝视时采用高斯权重平均法来解决眼睛凝视时产生的抖动现象,当前帧的权重最大,之前的帧的权重按高斯分布递减,这不仅克服了眼睛的抖动现象而且能快速的响应眼睛细微运动。
3.该方法对硬件要求低,只需一个摄像头及两个光源,计算量少,实时性强。
附图说明
图1是本发明实施方式中显示屏、红外光源与摄像头的布置示意图。
图2是本发明实施方式中视线跟踪方法的流程示意图。
图3是本发明实施方式中标定点分布图。
具体实施方式
下面结合附图对本发明的具体实施方式作进一步说明。
如图1,本发明需要红外光源及摄像头。红外光源为安装在显示屏两个侧边中点的LED灯,摄像头位于屏幕中心正下方。摄像头实时地捕捉图像,在两个红外光源的照射下,瞳孔图像会产生暗瞳效应,且会在眼睛角膜上形成两反射斑点。,
如图2,视线跟踪算法具体实施步骤如下:
步骤一:眼睛注视标定点,提取眼动特征信息
步骤二:选择初始映射模型函数
步骤三:确定最终映射模型函数:
步骤四:注视点计算。
其中步骤一的具体实施步骤为:
1.眼睛依次注视标定点,标定点分布图如图3所示,为屏幕的中点及在屏幕上4×4平均分布的16个点,共17个点;
2.在眼睛注视标定时提取眼动特征信息
每个注视点提取连续五帧图像的修正瞳孔-角膜反射向量的平均值作为眼动特征信息。眼动特征信息提取的具体实施步骤为:
2.1彩色图像灰度化
摄像头采集的数字图像为具有R,G,B分量的彩色图片,将彩色图像灰度化,公式如下:
V=0.259R+0.578G+0.144B
式中V表示转换后的灰度值,R,G,B为图片的红,绿,蓝分量。
2.2定位人眼区域
a.采用基于模版匹配的定位算法实现快速的人眼区域。采用相关系数匹配法则,求取样本与人眼模板之间的相关度,有最大相关值为所要定位的区域。
b.在定位人眼区域后,对人眼区域进行去噪声处理,采用高斯滤波器对图像平滑预处理。
2.3定位瞳孔获得瞳孔信息
a.采用canny边缘检测算法获取瞳孔的边缘信息
b.采用椭圆曲线拟合瞳孔边缘点
以图像的左上角作为原点建立X-Y直角坐标系,对所提取的瞳孔边缘点集合进行椭圆方程的最小二乘法拟合,然后确定瞳孔中心位置(XC,YC),椭圆方程取为:
X2+AXY+BY2+CX+DY+E=0
利用最小二乘法求取A、B、C、D、E参数值,
椭圆中心坐标(XC,YC)计算如下:
2.4定位斑点,获取斑点信息
a.二值化眼睛区域获得斑点图像
跟据斑点为一个高亮的块的特征,对图像进行二值化处理,获取二值化斑点图像,提取斑点轮廓。
b.采用椭圆曲线拟合斑点轮廓。
分别获得两个斑点中心坐标,得到这两个斑点中点连线的中点坐标(Xc,Yc),以及两个斑点中点的欧氏距离d
2.5.眼动特征信息修正瞳孔-角膜反射向量
获得由瞳孔中心(Xp,Yp)指向两个红外反射斑点中点连线的中点(Xc,Yc)的向量V,以两个反射斑点中点的欧氏距离d作为修正因子,由V除以d.获得眼动特征信息VP-CR,公式如下:
其中步骤二的具体实施步骤为:
1、候选初始映射模型函数
6参数二次多项式映射模型函数:
9参数多项式映射模型函数:
12参数多项式函数:
其中sx表示注视点在屏幕坐标系下的横坐标,sy表示注视点在屏幕坐标系下的纵坐标,x代表眼动特征信息在图像坐标系中的x轴分量,y代表眼动图像坐标系中的y轴分量。a0~a11,b0~b11是待标定的系数。
2、初始函数整体显著性检测和精度检测
利用标定点的信息和对的眼动特征信息采用F检验法检查映射模型函数的整体显著性,当映射模型函数整体为非显著时更改初始映射模型函数,通过整体显著行检测后,用最小二乘法确定初始映射模型函数的系数,把用该初始映射模型函数计算出的人眼注视点与标定点进行比较,判断定位误差,若定位误差太大则更换初始映射模型函数
首先选择6参数二次多项式作为初始映射模型函数,如果6参数二次多项式模型达不到要求则重新选择9参数多项式作为初始映射模型函数,若9参数多项式也达不到要求则选择12参数多项式。
函数整体显著性检测具体方法如下:
初始映射模型函数可以表示为:
y=β0+β1*x1+β2*x2+β3*x3+…+βm*xm
其中y代表多项式公式中的(sx,sy),β0,β1,……,βm代表初始映射模型函数中的a、b参数,1,x1,x2,...,xm分别代表公式中的a、b参数对应的单项。
则在标定过程中,由17组标定点和对应眼动特征数据获得的求解映射模型函数的数据可记录如表1:
表1
由于非线性因素的不确定性,并不能确定注视点坐标依变量y与眼动特征信息输入自变量1,x1,x2,...,xm之间存在必然联系,y与1,x1,x2,...,xm的联系只是假设,在建立了初始映射模型函数之后,必须对其联系假设进行显著度检验,采用F检验方法进行显著度的测试及判断。
注视点坐标的依变量y的总平方和SSy剖分为回归平方和SSR及离回归平方和SSr:
SSy=SSR+SSr
依变量y的总自由度dfy同样剖分为回归自由度dfR与离回归自由度dfr:
dfy=dfR+dfr
其中,
SSy=∑y2-(∑y)2/17
SSr=SSy-SSR
dfy=n-1
dfR=m
dfr=n-m-1
m为自变量映射模型函数参数的个数,n为眼动输入数据及标定点的组数,本实例为17。
根据SSR、dfR与SSr、dfr即可计算出回归均方MSR与离回归均方MSr及统计量F:
由上述F统计量进行F检验以推断多元回归的视线映射模型的显著度,及模型的参数组合及估算是否符合注视点映射模型的要求
其中步骤三的具体实施步骤为:
算法流程图如图3所示。在确定了初始映射模型函数后,用F检验法对映射模型函数各项的显著性进行检验,剔除非显著的项,在不断的项剔除及重新建立多元回归映射模型的过程中,找到最优的模型参数组合,显著地提高模型计算效率及拟合精度。
具体算法如下:
映射模型函数参数显著度校验原理:在逐步回归分析中,SSR总是随着自变量的增多而增加,如果去掉一个自变量时,回归平方和SSR就会减少,同时减少的数值的大小说明该自变量在回归中越重要,设SSR为m个自变量x1,x2.....xm的回归平方和,为去掉自变量xi后m-1个自变量的回归平方和,代表回归平方和所减少的量,称为自变量xi的偏回归平方和,记为SSβi:
偏回归均方MSbi为
MSβi=SSβi/dfβi=SSβi
其中dfβi为偏回归自由度,其自由度为1
计算用于检验各偏回归映射模型系数β0,β1,……,β11显著度的F统计量:
Fβi=MSβi/MSr(i=0、2、...、11)
若存在偏回归系数经显著度检验为不显著时,从模型中剔除不显著的偏回归系数对应的自变量,重新建立多元线性回归方程,重新计算新映射模型的参数,对各个新的偏回归系数进行显著度检验,直至映射模型显著及各个偏回归系数都显著为止
其中步骤四的具体实施步骤为:
a..获取每帧图像的眼动特征信息VP-CR
b.根据眼动特征信息VP-CR变化量,判断眼睛处于凝视状态还是非凝视状态:当前帧的眼动特征信息VP-CR与前一帧的眼动特征信息VP-CR比较,如果相对变化量小于1%则判断为眼睛处于凝视状态,反之则处于非凝视状态。
c.当眼睛处于凝视状态时,平滑眼动特征信息
由于眼睛的抖动影响,直接采用每一帧图像的眼动特征信息VP-CR来计算眼睛注视点时,眼睛注视点会快速跳动,为了克服这个困难,当眼睛处于凝视状态时,每帧图像的眼动特征信息都经平滑处理。
平滑算法如下:
当眼睛处于凝视状态时,提取包含该帧在内的处于同一凝视状态下的相邻的共n帧图像的眼动特征信息。如果处于同一凝视状态下的图像帧数N小于等于10,则n的取值为N,如果N大于10,则n取值为10。用高斯分布为这连续n个的眼动特征信息(VP-CR)i分配权重,通过权重平均来获得平滑的眼动特征信息:
当前帧图像的眼动特征信息记为(VP-CR)0,权重记为ω0与之相邻的前n-1帧图像的眼动特征信息和权重依次为(VP-CR)1,(VP-CR)2…(VP-CR)n-1和ω1,ω2…ωn-1,它们的权重按高斯分布逐渐递减,当前帧具有最大的权重,与当前帧隔最远的帧具有最小的权重。权重分配公式如下:
其中,μ为高斯分布的均数,这里取0,δ为标准差,δ越大权重分布越平均,δ越小则权重分布的差异越大。
平滑眼动特征信息公式:
d.当人眼处于非凝视状态是直接利用该帧图像的眼动特征信息计算注视点,当人眼处于凝视状态是利用平滑后的眼动特征信息计算注视点。
Claims (7)
1.一种基于逐步回归分析映射模型的视线跟踪方法,该方法采用一个摄像头和两个红外光源, 两个红外光源安装在显示屏两侧,摄像头位于屏幕下方,其特征在于包括如下步骤:
(1)眼睛注视屏幕上的标定点,提取眼动特征信息;
(2)选择初始映射模型函数:利用步骤(1)所获取的眼动特征信息,对候选的初始映射模型函数进行整体的显著性检测和初始精度检测,若通不过这两检测则更换初始映射模函数重新进行检测,通过这两个检测则确定为初始映射模型函数;
(3)确定最终映射模型函数:对初始映射模型函数各项的显著性进行检验,剔除非显著的项,在不断地项剔除及重新建立映射模型函数的过程中,最终找到拟合精度最高的映射模型函数;
(4)计算注视点:提取眼动特征信息,当人眼处于凝视状态时,采用高斯权重平均法来平滑眼动特征信息,利用最终映射模型函数进行注视点计算,实现实时的视线跟踪。
2.根据权利要求1所述的跟踪方法,其特征在于:所述步骤(1)标定点为屏幕的中点及在屏幕上4×4平均分布的16个点,共17个点。
3.根据权利要求1所述的跟踪方法,其特征在于所述步骤(1)眼动特征信息的提取包括:
(1.1) 定位出瞳孔区域,获得瞳孔中心坐标(Px,Py);
(1.2)分别定位出两个红外光源在眼睛角膜上的反射斑点区域,获得两个斑点中心坐标,得到这两个斑点中点连线的中点坐标(Xc,Yc),以及两个斑点中点的欧氏距离d;
(1.4)由于人眼在凝视标定点时眼睛也不是完全静止的,人眼为了获取外界信息在不断地小范围抖动,为了获取的眼动特征信息具有更好的鲁棒性,在人眼凝视每个标定点时连续取五帧图像的修正瞳孔-角膜反射向量,然后取平均值作为标定点对应的眼动特征信息。
4.根据权利要求1所述的跟踪方法,其特征在于所述步骤(2)中包括:
(2.1) 确定初始映射模型函数以将眼动特征信息和人眼注视点对应起来,映射模型函数为多项映射模型函数,以人眼注视点的坐标为依变量,以眼动特征信息即修正瞳孔-角膜反射向量的X轴分量和Y轴分量组合构成的项作为自变量;
(2.2)利用标定点在屏幕上的坐标信息和对应的眼动特征信息采用F检验法检查候选初始映射模型函数的整体显著性,当映射模型函数整体为非显著时更改初始映射模型函数,通过整体显著行检测后,用最小二乘法确定初始映射模型函数的系数,把用该初始映射模型函数计算出的人眼注视点与标定点进行比较得到定位误差,若定位误差大于设定值则更换初始映射模型函数。
5.根据权利要求4所述的跟踪方法,其特征在于步骤(2.2)中,候选初始映射模型函数有6参数二次多项式、9参数多项式和12参数多项式,首先选择6参数二次多项式作为待定初始映射模型函进行整体的显著性检测和初始精度检测,如果如果6参数二次多项式达通不过检测则重新选择9参数多项式作为待定初始映射模型函进行整体的显著性检测和初始精度检测,若9参数多项式也通不过检测则选择12参数多项式。
6.根据权利要求1所述的跟踪方法,其特征在于所述步骤(3)包括:
确定了初始映射模型函数后,用F检验法对映射模型函数各项的显著性进行检验,剔除非显著的项,在不断的项剔除及重新建立映射模型函数的过程中,找到最优的函数参数组合,显著地提高模型函数计算效率及拟合精度。
7.根据权利要求1所述的跟踪方法,其特征在于所述步骤(4)包括:
(4.3)当眼睛处于凝视状态时,平滑眼动特征信息:当眼睛处于凝视状态时,采用高斯分布为处于凝视状态时获取的连续多帧图像的眼动特征信息分配权重,通过权重平均来获得平滑的眼动特征信息;
(4.4)当人眼处于非凝视状态时直接利用该帧图像的眼动特征信息计算注视点,当人眼处于凝视状态时利用平滑后的眼动特征信息计算注视点。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201110406599.5A CN102520796B (zh) | 2011-12-08 | 2011-12-08 | 一种基于逐步回归分析映射模型的视线跟踪方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201110406599.5A CN102520796B (zh) | 2011-12-08 | 2011-12-08 | 一种基于逐步回归分析映射模型的视线跟踪方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102520796A true CN102520796A (zh) | 2012-06-27 |
CN102520796B CN102520796B (zh) | 2014-10-08 |
Family
ID=46291748
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201110406599.5A Expired - Fee Related CN102520796B (zh) | 2011-12-08 | 2011-12-08 | 一种基于逐步回归分析映射模型的视线跟踪方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN102520796B (zh) |
Cited By (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104182723A (zh) * | 2013-05-24 | 2014-12-03 | 汉王科技股份有限公司 | 一种视线估计的方法和装置 |
CN104615978A (zh) * | 2015-01-23 | 2015-05-13 | 清华大学 | 视线方向跟踪方法及装置 |
CN105027144A (zh) * | 2013-02-27 | 2015-11-04 | 汤姆逊许可公司 | 用于无校准注视估计的方法和设备 |
CN103870796B (zh) * | 2012-12-13 | 2017-05-24 | 汉王科技股份有限公司 | 一种人眼视线估计的方法与装置 |
CN107247571A (zh) * | 2017-06-26 | 2017-10-13 | 京东方科技集团股份有限公司 | 一种显示装置及其显示方法 |
CN107515474A (zh) * | 2017-09-22 | 2017-12-26 | 宁波维真显示科技股份有限公司 | 自动立体显示方法、装置及立体显示设备 |
WO2018121635A1 (zh) * | 2016-12-28 | 2018-07-05 | 北京七鑫易维信息技术有限公司 | 注视点映射函数确定方法及装置、注视点确定方法及装置 |
CN108595008A (zh) * | 2018-04-27 | 2018-09-28 | 北京计算机技术及应用研究所 | 基于眼动控制的人机交互方法 |
CN108898572A (zh) * | 2018-04-19 | 2018-11-27 | 北京七鑫易维信息技术有限公司 | 光斑提取方法 |
CN109199412A (zh) * | 2018-09-28 | 2019-01-15 | 南京工程学院 | 基于眼动数据分析的异常情绪识别方法 |
CN109656373A (zh) * | 2019-01-02 | 2019-04-19 | 京东方科技集团股份有限公司 | 一种注视点定位方法及定位装置、显示设备和存储介质 |
CN109785403A (zh) * | 2018-12-21 | 2019-05-21 | 广东工业大学 | 一种基于眼跳信息的热度图生成方法 |
CN109947253A (zh) * | 2019-03-25 | 2019-06-28 | 京东方科技集团股份有限公司 | 眼球追踪的模型建立方法、眼球追踪方法、设备、介质 |
CN110414427A (zh) * | 2019-07-26 | 2019-11-05 | Oppo广东移动通信有限公司 | 基于眼球追踪的测光方法及相关产品 |
CN110610768A (zh) * | 2019-07-31 | 2019-12-24 | 毕宏生 | 一种用眼行为的监测方法及服务器 |
CN110706283A (zh) * | 2019-11-14 | 2020-01-17 | Oppo广东移动通信有限公司 | 用于视线追踪的标定方法、装置、移动终端及存储介质 |
CN110807427A (zh) * | 2019-11-05 | 2020-02-18 | 中航华东光电(上海)有限公司 | 一种视线追踪方法、装置、计算机设备和存储介质 |
CN110934599A (zh) * | 2019-12-20 | 2020-03-31 | 东南大学 | 一种自然场景下婴幼儿共同注意评估方法及*** |
CN110969061A (zh) * | 2018-09-29 | 2020-04-07 | 北京市商汤科技开发有限公司 | 神经网络训练、视线检测方法和装置及电子设备 |
CN111292548A (zh) * | 2020-02-06 | 2020-06-16 | 温州大学 | 一种基于视觉注意力的安全驾驶方法 |
CN112051918A (zh) * | 2019-06-05 | 2020-12-08 | 京东方科技集团股份有限公司 | 人眼注视计算方法及人眼注视计算*** |
CN113158846A (zh) * | 2021-04-06 | 2021-07-23 | 中航航空电子有限公司 | 面向头戴式波导显示装置的抗干扰视线追踪方法 |
CN114360043A (zh) * | 2022-03-18 | 2022-04-15 | 南昌虚拟现实研究院股份有限公司 | 模型参数标定方法、视线追踪方法、装置、介质及设备 |
WO2023005800A1 (zh) * | 2021-07-30 | 2023-02-02 | 歌尔科技有限公司 | 头戴设备的显示校准方法、装置、头戴设备及存储介质 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101576771A (zh) * | 2009-03-24 | 2009-11-11 | 山东大学 | 基于非均匀样本插值的眼动仪定标方法 |
TW200947262A (en) * | 2008-05-05 | 2009-11-16 | Utechzone Co Ltd | Non-contact type cursor control method using human eye, pupil tracking system and storage media |
-
2011
- 2011-12-08 CN CN201110406599.5A patent/CN102520796B/zh not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TW200947262A (en) * | 2008-05-05 | 2009-11-16 | Utechzone Co Ltd | Non-contact type cursor control method using human eye, pupil tracking system and storage media |
CN101576771A (zh) * | 2009-03-24 | 2009-11-11 | 山东大学 | 基于非均匀样本插值的眼动仪定标方法 |
Non-Patent Citations (2)
Title |
---|
ZHIWEI ZHU ET AL.: "Nonlinear Eye Gaze Mapping Function Estimation via Support Vector Regression", 《PROCEEDING OF THE 18TH INTERNATIONAL CONFERENCE ON PATTERN RECOGNITION》, 31 December 2006 (2006-12-31), pages 1132 - 1135 * |
迟健男等: "一种优化的二维视线映射模型", 《北京理工大学学报》, vol. 31, no. 1, 31 January 2011 (2011-01-31) * |
Cited By (34)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103870796B (zh) * | 2012-12-13 | 2017-05-24 | 汉王科技股份有限公司 | 一种人眼视线估计的方法与装置 |
CN105027144A (zh) * | 2013-02-27 | 2015-11-04 | 汤姆逊许可公司 | 用于无校准注视估计的方法和设备 |
CN104182723A (zh) * | 2013-05-24 | 2014-12-03 | 汉王科技股份有限公司 | 一种视线估计的方法和装置 |
CN104182723B (zh) * | 2013-05-24 | 2017-07-18 | 汉王科技股份有限公司 | 一种视线估计的方法和装置 |
CN104615978A (zh) * | 2015-01-23 | 2015-05-13 | 清华大学 | 视线方向跟踪方法及装置 |
CN104615978B (zh) * | 2015-01-23 | 2017-09-22 | 清华大学 | 视线方向跟踪方法及装置 |
WO2018121635A1 (zh) * | 2016-12-28 | 2018-07-05 | 北京七鑫易维信息技术有限公司 | 注视点映射函数确定方法及装置、注视点确定方法及装置 |
US10996745B2 (en) | 2016-12-28 | 2021-05-04 | Beijing 7Invensun Technology Co., Ltd. | Method and device for determining gaze point mapping function, and method and device for determining gaze point |
CN107247571A (zh) * | 2017-06-26 | 2017-10-13 | 京东方科技集团股份有限公司 | 一种显示装置及其显示方法 |
CN107515474A (zh) * | 2017-09-22 | 2017-12-26 | 宁波维真显示科技股份有限公司 | 自动立体显示方法、装置及立体显示设备 |
CN108898572A (zh) * | 2018-04-19 | 2018-11-27 | 北京七鑫易维信息技术有限公司 | 光斑提取方法 |
CN108595008B (zh) * | 2018-04-27 | 2022-02-08 | 北京计算机技术及应用研究所 | 基于眼动控制的人机交互方法 |
CN108595008A (zh) * | 2018-04-27 | 2018-09-28 | 北京计算机技术及应用研究所 | 基于眼动控制的人机交互方法 |
CN109199412A (zh) * | 2018-09-28 | 2019-01-15 | 南京工程学院 | 基于眼动数据分析的异常情绪识别方法 |
CN109199412B (zh) * | 2018-09-28 | 2021-11-09 | 南京工程学院 | 基于眼动数据分析的异常情绪识别方法 |
CN110969061A (zh) * | 2018-09-29 | 2020-04-07 | 北京市商汤科技开发有限公司 | 神经网络训练、视线检测方法和装置及电子设备 |
CN109785403A (zh) * | 2018-12-21 | 2019-05-21 | 广东工业大学 | 一种基于眼跳信息的热度图生成方法 |
CN109656373A (zh) * | 2019-01-02 | 2019-04-19 | 京东方科技集团股份有限公司 | 一种注视点定位方法及定位装置、显示设备和存储介质 |
CN109947253A (zh) * | 2019-03-25 | 2019-06-28 | 京东方科技集团股份有限公司 | 眼球追踪的模型建立方法、眼球追踪方法、设备、介质 |
CN112051918A (zh) * | 2019-06-05 | 2020-12-08 | 京东方科技集团股份有限公司 | 人眼注视计算方法及人眼注视计算*** |
CN112051918B (zh) * | 2019-06-05 | 2024-03-29 | 京东方科技集团股份有限公司 | 人眼注视计算方法及人眼注视计算*** |
CN110414427A (zh) * | 2019-07-26 | 2019-11-05 | Oppo广东移动通信有限公司 | 基于眼球追踪的测光方法及相关产品 |
CN110610768A (zh) * | 2019-07-31 | 2019-12-24 | 毕宏生 | 一种用眼行为的监测方法及服务器 |
CN110610768B (zh) * | 2019-07-31 | 2022-06-28 | 济南瞳星智能科技有限公司 | 一种用眼行为的监测方法及服务器 |
CN110807427A (zh) * | 2019-11-05 | 2020-02-18 | 中航华东光电(上海)有限公司 | 一种视线追踪方法、装置、计算机设备和存储介质 |
CN110807427B (zh) * | 2019-11-05 | 2024-03-01 | 中航华东光电(上海)有限公司 | 一种视线追踪方法、装置、计算机设备和存储介质 |
CN110706283A (zh) * | 2019-11-14 | 2020-01-17 | Oppo广东移动通信有限公司 | 用于视线追踪的标定方法、装置、移动终端及存储介质 |
CN110934599A (zh) * | 2019-12-20 | 2020-03-31 | 东南大学 | 一种自然场景下婴幼儿共同注意评估方法及*** |
CN111292548A (zh) * | 2020-02-06 | 2020-06-16 | 温州大学 | 一种基于视觉注意力的安全驾驶方法 |
CN113158846A (zh) * | 2021-04-06 | 2021-07-23 | 中航航空电子有限公司 | 面向头戴式波导显示装置的抗干扰视线追踪方法 |
CN113158846B (zh) * | 2021-04-06 | 2024-02-20 | 中航航空电子有限公司 | 面向头戴式波导显示装置的抗干扰视线追踪方法 |
WO2023005800A1 (zh) * | 2021-07-30 | 2023-02-02 | 歌尔科技有限公司 | 头戴设备的显示校准方法、装置、头戴设备及存储介质 |
CN114360043A (zh) * | 2022-03-18 | 2022-04-15 | 南昌虚拟现实研究院股份有限公司 | 模型参数标定方法、视线追踪方法、装置、介质及设备 |
CN114360043B (zh) * | 2022-03-18 | 2022-06-17 | 南昌虚拟现实研究院股份有限公司 | 模型参数标定方法、视线追踪方法、装置、介质及设备 |
Also Published As
Publication number | Publication date |
---|---|
CN102520796B (zh) | 2014-10-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102520796B (zh) | 一种基于逐步回归分析映射模型的视线跟踪方法 | |
Xie et al. | Scut-fbp: A benchmark dataset for facial beauty perception | |
CN102930252B (zh) | 一种基于神经网络头部运动补偿的视线跟踪方法 | |
Li et al. | Robust and accurate iris segmentation in very noisy iris images | |
CN103761519B (zh) | 一种基于自适应校准的非接触式视线追踪方法 | |
CN103677270A (zh) | 一种基于眼动跟踪的人机交互方法 | |
Huang et al. | Screenglint: Practical, in-situ gaze estimation on smartphones | |
CN106909220A (zh) | 一种适用于触控的视线交互方法 | |
CN101833672B (zh) | 基于约束采样与形状特征的稀疏表示人脸识别方法 | |
Chen et al. | Efficient and robust pupil size and blink estimation from near-field video sequences for human–machine interaction | |
CN109343700B (zh) | 眼动控制校准数据获取方法和装置 | |
Geng et al. | Context-aware fusion: A case study on fusion of gait and face for human identification in video | |
CN101819628A (zh) | 结合形状特征的稀疏表示人脸识别方法 | |
CN103210421A (zh) | 物体检测装置及物体检测方法 | |
CN106203370B (zh) | 一种基于计算机视觉技术的视力测定*** | |
CN103761508A (zh) | 一种融合人脸和手势的生物识别方法和*** | |
CN102971768A (zh) | 姿势状态估计装置及姿势状态估计方法 | |
KR101288447B1 (ko) | 시선 추적 장치와 이를 이용하는 디스플레이 장치 및 그 방법 | |
CN103366157A (zh) | 一种人眼视线距离的判断方法 | |
CN106204658A (zh) | 运动图像跟踪方法及装置 | |
CN104615978A (zh) | 视线方向跟踪方法及装置 | |
CN101833654A (zh) | 基于约束采样的稀疏表示人脸识别方法 | |
CN107392151A (zh) | 基于神经网络的人脸影像多维度情感判别***及方法 | |
CN109376621A (zh) | 一种样本数据生成方法、装置以及机器人 | |
CN111176447A (zh) | 一种融合深度网络和几何模型的增强现实眼动交互方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20141008 Termination date: 20201208 |
|
CF01 | Termination of patent right due to non-payment of annual fee |