CN106774863A - 一种基于瞳孔特征实现视线追踪的方法 - Google Patents

一种基于瞳孔特征实现视线追踪的方法 Download PDF

Info

Publication number
CN106774863A
CN106774863A CN201611098203.4A CN201611098203A CN106774863A CN 106774863 A CN106774863 A CN 106774863A CN 201611098203 A CN201611098203 A CN 201611098203A CN 106774863 A CN106774863 A CN 106774863A
Authority
CN
China
Prior art keywords
point
user
pupil
infrared
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201611098203.4A
Other languages
English (en)
Other versions
CN106774863B (zh
Inventor
吴孟杰
李斌
米磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xi 'an Cas Star Technological Incubator Co Ltd
Original Assignee
Xi 'an Cas Star Technological Incubator Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xi 'an Cas Star Technological Incubator Co Ltd filed Critical Xi 'an Cas Star Technological Incubator Co Ltd
Priority to CN201611098203.4A priority Critical patent/CN106774863B/zh
Publication of CN106774863A publication Critical patent/CN106774863A/zh
Application granted granted Critical
Publication of CN106774863B publication Critical patent/CN106774863B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • G06V40/193Preprocessing; Feature extraction

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

本发明提供一种基于瞳孔特征实现视线追踪的方法,该方法包括:提取用户的瞳孔边缘信息;根据所述瞳孔边缘信息,确定所述用户的瞳孔中心点;根据所述瞳孔中心点确定所述用户观察的目标点,以得到所述用户的视线方向。本发明提供的基于瞳孔特征实现视线追踪的方法的优点有:不受环境干扰因素的影响和头部运动的影响,准确度和可靠性高,且无需昂贵复杂的设备,成本低廉。

Description

一种基于瞳孔特征实现视线追踪的方法
技术领域
本发明涉及眼球追踪技术,尤其涉及一种基于瞳孔特征实现视线追踪的方法。
背景技术
视线追踪也称眼动追踪,是利用摄像设备实时观测人眼的运动情况,通过一定的方法估算出视线的方向和视线落点坐标的一种技术,近年来该技术被引入到信息领域,并结合计算机视觉和图像处理技术可以广泛使用在心理分析、患者眼动交流、兴趣数据分析、安全驾驶、人机交互和军事模拟等众多领域。视线追踪技术实现的方法经历了近百年的发展,先后采用了机械记录法、电流记录法、电磁记录法和当代的光学记录法,对实验人员的人眼侵入程度越来越小,精度也越来越高。
视线追踪目前以光学记录法为主,依赖于光学器件——CCD或CMOS图像传感器拍摄人眼图像,而后通过人眼模型将人眼的特征点数据映射到视线的三维数据,从而估算出视线方向,这是光学记录法的两大步骤:特征提取和实现估计。可以提取的人眼特征主要是:虹膜中心、虹膜边缘、瞳孔边缘、瞳孔中心、巩膜边缘、外界光源在眼睛肿的反射点(普尔钦斑)。在这些人眼特征的基础上衍生出的的估算方法有:
1.角膜反射法:外部光源照射到人眼,当眼睛运动的时候,反射点也会随之运动,摄像机通过记录反射点的变化来分析视线的方向。
2.瞳孔角膜反射法:它是角膜反射法的改进,它不仅需要检测反射点的位置,而且还要检测瞳孔中心的位置信息。瞳孔角膜反射法进一步细分为:瞳孔中心与角膜反射向量法、给予眼球三维模型的视线估计方法,这类方法会因为头部运动造成准确性降低,因此常适用于穿戴式眼动跟踪***,利用眼球转动时相对位置不变的眼部特征做参考,提取视线变化参数,通过几何模型或映射模型获取视线方向。
3.双铺金野法,利用光线经过眼球时各个组织部分对光线的折射率不同的原理,分析光源反射产生的图像,角膜反射回来的光线较强,成为第一普金野图像,角膜后表面反射光线较弱为第二普金野图像,从晶状体前表面反射出来的图像为第三普金野图像,从晶状体后表面反射回来的图像位第四普金野图像,从而估算眼球的视线方向,但是该***的设备昂贵、设置复杂。
4.虹膜-巩膜边缘法,该法使用红外光远照射眼睛,反射的红外光线被两只光敏晶体管接受,当眼睛转动的时候,两只晶体管接受的反射量此增彼减,可以估算出视线的大致方向,但精度略低。
综上所述,目前的眼动追踪方法面临的主要问题有:(1)眼睛的光照环境、特征选取、外部其他干扰因素等原因导致眼睛特征提取准确度和可靠性不足;(2)方法需要昂贵的设备作支撑;(3)需要较为复杂的光源设置,比如瞳孔角膜反射法,需要明暗交替的断续光源照射眼睛以获取明瞳和暗瞳;(4)受限于头部运动,测量精度不高。
发明内容
因此,为解决上述现有技术存在的技术缺陷和不足,本发明提供一种基于瞳孔特征实现视线追踪的方法。
具体的,本发明实施例提供一种基于瞳孔特征实现视线追踪的方法,其特征在于,包括:
提取用户的瞳孔边缘信息;
根据所述瞳孔边缘信息,确定用户的瞳孔中心点;
根据所述瞳孔中心点确定所述用户观察的目标点,以得到所述用户的视线方向。
在上述实施例的基础上,提取用户的瞳孔边缘信息,包括:
采用红外采集设备获取所述眼部图像信息,所述红外采集设备包括至少一个红外灯源;
对所述眼部图像信息进行处理,得到所述眼部图像信息在指定方向上灰度的梯度值,并将所述灰度的梯度值达到最大值时所在的位置确定为瞳孔边缘点的位置。
在上述实施例的基础上,根据所述瞳孔边缘信息,确定用户的瞳孔中心点,包括:
提取所述瞳孔边缘信息中的散点信息并将所述散点信息拟合,形成类椭圆曲线;
计算出所述类椭圆曲线长轴和短轴的交点,将所述交点确定为所述瞳孔中心点。
在上述实施例的基础上,在提取用户的瞳孔边缘信息之前,还包括:
将屏幕和配备至少一个红外光源的红外采集设备放置于所述用户眼睛前方的特定位置;
控制所述屏幕的不同位置依次出现K个点以引导所述用户对所述K个点进行依次观察,其中,K为大于等于2的整数;
控制所述红外光源照射所述用户的眼部区域并控制所述红外采集设备对所述用户的眼睛进行拍摄;
记录并处理所述用户对所述K个点进行依次观察时的瞳孔边缘信息,得到所述用户的瞳孔中心点;
根据所述K个点的坐标(X,Y)和所述瞳孔中心点坐标(x,y)得到映射模型(X,Y)=F(x,y)。
在上述实施例的基础上,将屏幕和配备至少一个红外光源的红外采集设备放置于所述用户眼睛前方的特定位置,包括:
将所述红外采集设备放置于所述用户眼睛的正前下方位置处并将所述屏幕放置于所述用户眼睛的正前方,且所述红外采集设备和所述用户眼睛之间的距离满足关系为:1/d+1/v=1/f;其中,d为所述红外采集设备和所述用户眼睛之间的距离,f为所述红外采集设备的焦距,v为所述红外采集设备的像距。
在上述实施例的基础上,记录并处理所述用户对所述K个点进行依次观察时的瞳孔边缘信息,得到所述用户的瞳孔中心点,包括:
获取经过用户眼睛反射后的红外图像并对所述红外图像进行预处理形成修正红外图像,以增加用户的瞳孔区域图像和非瞳孔区域图像的对比度;
在所述修正红外图像上估算瞳孔中心点坐标(xmin,ymin);
以坐标(xmin,ymin)为起点沿指定射线方向在所述修正红外图像上计算灰度的梯度值,并将梯度值达到最大值时所在的位置确定为瞳孔边缘点的位置;
对多个所述瞳孔边缘点进行拟合处理形成类椭圆曲线,以所述类椭圆曲线的中心作为所述瞳孔中心点。
在上述实施例的基础上,获取经过用户眼睛反射后的红外图像并对所述红外图像进行预处理形成修正红外图像,包括:
采用增强算子作用在所述红外图像的每个像素以使图像亮度增强进而实现灰度对比度的增大,之后对所述红外图像采用拉普拉斯法进行图像滤波处理;
其中,所述增强算子的公式为:
En=c*lg(1+double(f0));其中,En为增强算子,f0为原函数灰度值,c是常系数。
在上述实施例的基础上,在所述修正红外图像上估算瞳孔中心点位置的坐标(xmin,ymin),包括:
采用灰度积分法在所述修正红外图像上估算瞳孔中心位置的坐标(xmin,ymin);其中,xmin和ymin的公式为:
其中,min表示取最小值运算,sum表示求和运算,f(i,j)表示在坐标(i,j)处图像的灰度值。
在上述实施例的基础上,对多个所述瞳孔边缘点进行拟合处理形成类椭圆曲线,包括:
步骤a、从N个所述特征点中选取任意5个点,使用最小二乘法进行椭圆拟合形成第一类椭圆方程;
步骤b、对N个所述特征点利用随机采样一致性算法通过所述第一类椭圆方程进行局内点和局外点甄别,统计得到M个局内点和N-M个局外点;
步骤c、判断局内点占有率是否小于第一阈值t1;若是,则确定所述5个点为非典型特征点,拟合椭圆为非典型特征椭圆,则重新执行步骤a;若否,则确定所述5个点为典型特征点,则执行步骤d;
步骤d、根据所述M个局内点任意选取5个点,利用最小二乘法对所述第一类椭圆方程进行优化形成第二类椭圆方程,并对所述N个特征点利用随机采样一致性算法通过所述第二类椭圆方程进行局内点和局外点甄别,最终统计得到M1个局内点和N-M1局外点;
步骤e、判断局内点占有率是否大于第二阈值t2;如是,则终止迭代,认为所述第二类椭圆方程为最优方程;若否,则执行步骤d。
在上述实施例的基础上,根据所述K个点的坐标(X,Y)和所述瞳孔中心点坐标(x,y)得到映射模型(X,Y)=F(x,y),包括:
选取所述映射模型为:
通过所述K个点的坐标(X,Y)和对应的所述瞳孔中心点坐标(x,y)确定所述映射模型的参数a、b、c、d、e、f、g、h、k、l、m及n,以完成所述映射模型的建立。
本发明提供的基于瞳孔特征实现视线追踪的方法的优点有:不受环境干扰因素的影响和头部运动的影响,准确度和可靠性高,且无需昂贵复杂的设备,成本低廉。
附图说明
为了更清晰地说明本发明或现有技术的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍。显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他附图。下面将结合附图,对本发明的具体实施方式进行详细的说明。
图1为本发明实施例提供的一种基于瞳孔特征实现视线追踪的方法的流程图;
图2为本发明实施例提供的红外采集设备、屏幕和眼睛之间的位置示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合本发明的附图,对本发明的技术方案进行清楚、完整的描述。显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明的保护范围。
本发明实施例提供一种基于瞳孔特征实现视线追踪的方法,请参考图1,图1为本发明实施例提供的一种基于瞳孔特征实现视线追踪的方法的流程图。如图1所示,该方法包括:
提取用户的瞳孔边缘信息;
根据所述瞳孔边缘信息,确定用户的瞳孔中心点;
根据所述瞳孔中心点确定所述用户观察的目标点,以得到所述用户的视线方向。
具体地,可以根据所述瞳孔中心点和用户观察目标点的匹配特点,具体确定所述用户的视线方向。在本实施例中,用户观察目标点的匹配特点,可以通过大数据的方式确定,无需事先对该用户进行训练学习或者建模。
其中,在上述实施例中,提取用户的瞳孔边缘信息,具体可以为:
采用红外采集设备获取所述眼部图像信息,所述红外采集设备包括至少一个红外灯源;
对所述眼部图像信息进行处理,得到所述眼部图像信息在指定方向上灰度的梯度值,并将所述灰度的梯度值达到最大值时所在的位置确定为瞳孔边缘点的位置。
具体地,瞳孔内、外对红外线的反射有很明显的差异。拍摄的图像在瞳孔区域光线较强,亮度高;在非瞳孔区则图像较暗,亮度低。瞳孔区域灰度明显低于其他区域,在边缘位置处,梯度变化剧烈。过处理后的图像信息中,在指定的方向上,瞳孔区的灰度值与非瞳孔区的灰度值在交界处有剧烈的变化,在交界处的梯度值也会达到最大,据此判断出瞳孔边缘点的位置。
例如,设f(i,j)为图像f在坐标(i,j)处的灰度值,灰度值的偏微分为
则该方向的灰度梯度D最大的点即为边缘点。
进一步地,在上述实施例的基础上,根据所述瞳孔边缘信息,确定用户的瞳孔中心点,包括:
提取所述瞳孔边缘信息中的散点信息并将所述散点信息拟合,形成类椭圆曲线;
计算出所述类椭圆曲线长轴和短轴的交点,将所述交点确定为所述瞳孔中心点。
进一步地,在上述实施例的基础上,在提取用户的瞳孔边缘信息之前,还包括:
将屏幕和配备至少一个红外光源的红外采集设备放置于所述用户眼睛前方的特定位置;
控制所述屏幕的不同位置依次出现K个点以引导所述用户对所述K个点进行依次观察,其中,K为大于等于2的整数;
控制所述红外光源照射所述用户的眼部区域并控制所述红外采集设备对所述用户的眼睛进行拍摄;
记录并处理所述用户对所述K个点进行依次观察时的瞳孔边缘信息,得到所述用户的瞳孔中心点;
根据所述K个点的坐标(X,Y)和所述瞳孔中心点坐标(x,y)得到映射模型(X,Y)=F(x,y)。
通过事先对该用户的视线习惯进行训练、建模以获得该用户的瞳孔中心和视线之间的匹配特点,而非通过大数据的方式事先预设该用户的瞳孔中心和视线之间的匹配特点,可以提高视线追踪的精度。
进一步地,在上述实施例的基础上,将屏幕和配备至少一个红外光源的红外采集设备放置于所述用户眼睛前方的特定位置,包括:
将所述红外采集设备放置于所述用户眼睛的正前下方位置处并将所述屏幕放置于所述用户眼睛的正前方,且所述红外采集设备和所述用户眼睛之间的距离满足关系为:1/d+1/v=1/f;其中,d为所述红外采集设备和所述用户眼睛之间的距离,f为所述红外采集设备的焦距,v为所述红外采集设备的像距。
优选地,经过试验,红外采集设备放置于所述用户眼睛的正前下方2cm-4cm处。请参考图2,图2为本发明实施例提供的红外采集设备、屏幕和眼睛之间的位置示意图。采用如图2所述的拍摄方式,可以达到较好的拍摄效果。
进一步地,在上述实施例的基础上,记录并处理所述用户对所述K个点进行依次观察时的瞳孔边缘信息,得到所述用户的瞳孔中心点,具体可以为:
获取经过用户眼睛反射后的红外图像并对所述红外图像进行预处理形成修正红外图像,以增加用户的瞳孔区域图像和非瞳孔区域图像的对比度;
在所述修正红外图像上估算瞳孔中心点坐标(xmin,ymin);
以坐标(xmin,ymin)为起点沿指定射线方向在所述修正红外图像上计算灰度的梯度值,并将梯度值达到最大值时所在的位置确定为瞳孔边缘点的位置;
例如,设f(i,j)为图像f在坐标(i,j)处的灰度值,灰度值的偏微分为
则该方向的灰度梯度D最大的点即为边缘点。
随后,对多个所述瞳孔边缘点进行拟合处理形成类椭圆曲线,以所述类椭圆曲线的中心作为所述瞳孔中心点。
进一步地,在上述实施例的基础上,获取经过用户眼睛反射后的红外图像并对所述红外图像进行预处理形成修正红外图像,具体可以为:
采用增强算子作用在所述红外图像的每个像素以使图像亮度增强进而实现灰度对比度的增大,之后对所述红外图像采用拉普拉斯法进行图像滤波处理;
其中,所述增强算子的公式为:En=c*lg(1+double(f0));其中,En为增强算子,f0为原函数灰度值,c是常系数。其中,c的具体取值可根据实际情况设置,本发明在此不做限制。
进一步地,在上述实施例的基础上,在所述修正红外图像上估算瞳孔中心点位置的坐标(xmin,ymin),包括:
采用灰度积分法在所述修正红外图像上估算瞳孔中心位置的坐标(xmin,ymin);其中,xmin和ymin的公式为:
其中,min表示取最小值运算,sum表示求和运算,f(i,j)表示在坐标(i,j)处图像的灰度值。
因为瞳孔中心位置处最暗,通过上述求最小值的方法,可以估算出瞳孔中心的粗略位置。
进一步地,在上述实施例的基础上,本发明采用最小二乘法(LSM)和随机采样一致性(RANSAC)混合迭代的一种算法,对多个所述瞳孔边缘点进行拟合处理形成类椭圆曲线。本方法既能够克服最小二乘法精度不高的缺点,又改进了RANSAC算法时效性的不足。具体步骤如下:
步骤a、从N个所述特征点中选取任意5个点,使用最小二乘法进行椭圆拟合形成第一类椭圆方程;
步骤b、对N个所述特征点利用随机采样一致性算法通过所述第一类椭圆方程进行局内点和局外点甄别,统计得到M个局内点和N-M个局外点;
在本实施例中,落在所述类椭圆上的点,视为局内点。当然,本发明不在此处做限制。
步骤c、判断局内点占有率是否小于第一阈值t1;若是,则确定所述5个点为非典型特征点,拟合椭圆为非典型特征椭圆,则重新执行步骤a;若否,则确定所述5个点为典型特征点,则执行步骤d;
步骤d、根据所述M个局内点任意选取5个点,利用最小二乘法对所述第一类椭圆方程进行优化形成第二类椭圆方程,并对所述N个特征点利用随机采样一致性算法通过所述第二类椭圆方程进行局内点和局外点甄别,最终统计得到M1个局内点和N-M1局外点;
步骤e、判断局内点占有率是否大于第二阈值t2;如是,则终止迭代,认为所述第二类椭圆方程为最优方程;若否,则执行步骤d。
可选地,本发明实施例还提供另一种采用最小二乘法(LSM)和随机采样一致性(RANSAC)混合迭代的一种算法,对多个所述瞳孔边缘点进行拟合处理形成类椭圆曲线。具体步骤如下:
步骤S1:从N个特征点中选取任意5个点,使用LSM进行椭圆拟合,将剩余的N-5个点利用RANSAC带入椭圆方程进行局内点和局外点甄别,统计出N个点中共有M个局内点,N-M个局外点;
步骤S2:如果局内点占有率小于阈值t1,则认为步骤S1选取的5个点为非典型特征点,拟合椭圆为非典型特征椭圆,跳到步骤S1;若则认为步骤S1选取的5个点典型特征点,则跳往步骤S3;
步骤S3:将步骤S1中甄别出的M个局内特征点全部带入LSM方程,求出优化的椭圆方程,再次使用RANSAC算法,对N-M个特征点带入新的椭圆方程进行局内点的再甄别,甄别的局内点为M1,局外点为N-M1;
步骤S4:计算局内点占有率若大于阈值t2,则终止迭代,认为当前的椭圆方程为最优方程;若则认为局内点比例无法满足阈值,跳入步骤S3,再次迭代。
进一步地,在上述实施例的基础上,根据所述K个点的坐标(X,Y)和所述瞳孔中心点坐标(x,y)得到映射模型(X,Y)=F(x,y),包括:
选取所述映射模型为:
通过所述K个点的坐标(X,Y)和对应的所述瞳孔中心点坐标(x,y)确定所述映射模型的参数a、b、c、d、e、f、g、h、k、l、m及n,以完成所述映射模型的建立。
具体地,屏幕中依次出现的K个点的坐标记录为X=(X1,X2,X3…Xk),Y=(Y1,Y2,Y3…Yk),对应的瞳孔中心坐标为x=(x1,x2,x3…xk),y=(y1,y2,y3…yk),模型的建立则可以用下面的矩阵表达:
f(x,y)表示x和y的一种关系,代表着映射关系函数F绝非简单的一次线性关系,M表示瞳孔中心位置和屏幕坐标之间的映射参数。
本发明建立的模型如下:
将该模型使用矩阵形式表达为:
在本模型中,取K=6时,X,Y对应有6个屏幕坐标,瞳孔相应也有6个对应中心坐标,X=|X1,X2,X3,X4,X5,X6|,Y=|Y1,Y2,Y3,Y4,Y5,Y6|,同理,x=|x1,x2,x3,x4,x5,x6|,y=|y1,y2,y3,y4,y5,y6|,那么上面的矩阵可以进一步改写为:
通过方程组求出a、b、c、d、e、f、g、h、k、l、m及n,进而得到所述映射模型。
综上,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上,本说明书内容不应理解为对本发明的限制,本发明的保护范围应以所附的权利要求为准。

Claims (10)

1.一种基于瞳孔特征实现视线追踪的方法,其特征在于,包括:
提取用户的瞳孔边缘信息;
根据所述瞳孔边缘信息,确定所述用户的瞳孔中心点;
根据所述瞳孔中心点确定所述用户观察的目标点,以得到所述用户的视线方向。
2.如权利要求1所述的方法,其特征在于,提取用户的瞳孔边缘信息,包括:
采用红外采集设备获取所述眼部图像信息,所述红外采集设备包括至少一个红外灯源;
对所述眼部图像信息进行处理,得到所述眼部图像信息在指定方向上灰度的梯度值,并将所述灰度的梯度值达到最大值时所在的位置确定为瞳孔边缘点的位置。
3.如权利要求1所述的方法,其特征在于,根据所述瞳孔边缘信息,确定用户的瞳孔中心点,包括:
提取所述瞳孔边缘信息中的散点信息并将所述散点信息拟合,形成类椭圆曲线;
计算出所述类椭圆曲线长轴和短轴的交点,将所述交点确定为所述瞳孔中心点。
4.如权利要求1所述的方法,其特征在于,在提取用户的瞳孔边缘信息之前,还包括:
将屏幕和配备至少一个红外光源的红外采集设备放置于所述用户眼睛前方的特定位置;
控制所述屏幕的不同位置依次出现K个点以引导所述用户对所述K个点进行依次观察,其中,K为大于等于2的整数;
控制所述红外光源照射所述用户的眼部区域并控制所述红外采集设备对所述用户的眼睛进行拍摄;
记录并处理所述用户对所述K个点进行依次观察时的瞳孔边缘信息,得到所述用户的瞳孔中心点;
根据所述K个点的坐标(X,Y)和所述瞳孔中心点坐标(x,y)得到映射模型(X,Y)=F(x,y)。
5.如权利要求4所述的方法,其特征在于,将屏幕和配备至少一个红外光源的红外采集设备放置于所述用户眼睛前方的特定位置,包括:
将所述红外采集设备放置于所述用户眼睛的正前下方位置处并将所述屏幕放置于所述用户眼睛的正前方,且所述红外采集设备和所述用户眼睛之间的距离满足关系为:1/d+1/v=1/f;其中,d为所述红外采集设备和所述用户眼睛之间的距离,f为所述红外采集设备的焦距,v为所述红外采集设备的像距。
6.如权利要求4所述的方法,其特征在于,记录并处理所述用户对所述K个点进行依次观察时的瞳孔边缘信息,得到所述用户的瞳孔中心点,包括:
获取经过用户眼睛反射后的红外图像并对所述红外图像进行预处理形成修正红外图像,以增加用户的瞳孔区域图像和非瞳孔区域图像的对比度;
在所述修正红外图像上估算瞳孔中心点坐标(xmin,ymin);
以坐标(xmin,ymin)为起点沿指定射线方向在所述修正红外图像上计算灰度的梯度值,并将梯度值达到最大值时所在的位置确定为瞳孔边缘点的位置;
对多个所述瞳孔边缘点进行拟合处理形成类椭圆曲线,以所述类椭圆曲线的中心作为所述瞳孔中心点。
7.如权利要求6所述的方法,其特征在于,获取经过用户眼睛反射后的红外图像并对所述红外图像进行预处理形成修正红外图像,包括:
采用增强算子作用在所述红外图像的每个像素以使图像亮度增强进而实现灰度对比度的增大,之后对所述红外图像采用拉普拉斯法进行图像滤波处理;
其中,所述增强算子的公式为:
En=c*lg(1+double(f0));其中,En为增强算子,f0为原函数灰度值,c是常系数。
8.如权利要求6所述的方法,其特征在于,在所述修正红外图像上估算瞳孔中心点位置的坐标(xmin,ymin),包括:
采用灰度积分法在所述修正红外图像上估算瞳孔中心位置的坐标(xmin,ymin);其中,xmin和ymin的公式为:
x min = m i n ( s u m ( j ) ) = min ( Σ i = 1 n f ( i , j ) ) ;
y m i n = m i n ( s u m ( i ) ) = m i n ( Σ j = 1 m f ( i , j ) ) ;
其中,min表示取最小值运算,sum表示求和运算,f(i,j)表示在坐标(i,j)处图像的灰度值。
9.如权利要求6所述的方法,其特征在于,对多个所述瞳孔边缘点进行拟合处理形成类椭圆曲线,包括:
步骤a、从N个所述特征点中选取任意5个点,使用最小二乘法进行椭圆拟合形成第一类椭圆方程;
步骤b、对N个所述特征点利用随机采样一致性算法通过所述第一类椭圆方程进行局内点和局外点甄别,统计得到M个局内点和N-M个局外点;
步骤c、判断局内点占有率是否小于第一阈值t1;若是,则确定所述5个点为非典型特征点,拟合椭圆为非典型特征椭圆,则重新执行步骤a;若否,则确定所述5个点为典型特征点,则执行步骤d;
步骤d、根据所述M个局内点任意选取5个点,利用最小二乘法对所述第一类椭圆方程进行优化形成第二类椭圆方程,并对所述N个特征点利用随机采样一致性算法通过所述第二类椭圆方程进行局内点和局外点甄别,最终统计得到M1个局内点和N-M1局外点;
步骤e、判断局内点占有率是否大于第二阈值t2;如是,则终止迭代,认为所述第二类椭圆方程为最优方程;若否,则执行步骤d。
10.如权利要求4所述的方法,其特征在于,根据所述K个点的坐标(X,Y)和所述瞳孔中心点坐标(x,y)得到映射模型(X,Y)=F(x,y),包括:
选取所述映射模型为:
通过所述K个点的坐标(X,Y)和对应的所述瞳孔中心点坐标(x,y)确定所述映射模型的参数a、b、c、d、e、f、g、h、k、l、m及n,以完成所述映射模型的建立。
CN201611098203.4A 2016-12-03 2016-12-03 一种基于瞳孔特征实现视线追踪的方法 Active CN106774863B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611098203.4A CN106774863B (zh) 2016-12-03 2016-12-03 一种基于瞳孔特征实现视线追踪的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611098203.4A CN106774863B (zh) 2016-12-03 2016-12-03 一种基于瞳孔特征实现视线追踪的方法

Publications (2)

Publication Number Publication Date
CN106774863A true CN106774863A (zh) 2017-05-31
CN106774863B CN106774863B (zh) 2020-07-07

Family

ID=58884091

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611098203.4A Active CN106774863B (zh) 2016-12-03 2016-12-03 一种基于瞳孔特征实现视线追踪的方法

Country Status (1)

Country Link
CN (1) CN106774863B (zh)

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107506705A (zh) * 2017-08-11 2017-12-22 西安工业大学 一种瞳孔‑普尔钦斑视线跟踪与注视提取方法
CN107798316A (zh) * 2017-11-30 2018-03-13 西安科锐盛创新科技有限公司 一种基于瞳孔特征判断眼睛状态的方法
CN107862304A (zh) * 2017-11-30 2018-03-30 西安科锐盛创新科技有限公司 眼部状态的判断方法
CN107918491A (zh) * 2017-11-30 2018-04-17 西安科锐盛创新科技有限公司 基于眼睛闭合度检测技术的人机交互方法
CN107977622A (zh) * 2017-11-30 2018-05-01 西安科锐盛创新科技有限公司 基于瞳孔特征的眼睛状态检测方法
CN108509873A (zh) * 2018-03-16 2018-09-07 新智认知数据服务有限公司 瞳孔图像边缘点提取方法及装置
CN109086734A (zh) * 2018-08-16 2018-12-25 新智数字科技有限公司 一种对人眼图像中瞳孔图像进行定位的方法及装置
CN109189216A (zh) * 2018-08-16 2019-01-11 北京七鑫易维信息技术有限公司 一种视线检测的方法、装置和***
CN109213324A (zh) * 2018-09-06 2019-01-15 京东方科技集团股份有限公司 显示参数调节方法及装置、显示装置
CN109583292A (zh) * 2018-10-11 2019-04-05 杭州电子科技大学 一种视线区域检测方法
CN109739353A (zh) * 2018-12-27 2019-05-10 重庆上丞科技有限公司 一种基于手势、语音、视线追踪识别的虚拟现实交互***
CN109947253A (zh) * 2019-03-25 2019-06-28 京东方科技集团股份有限公司 眼球追踪的模型建立方法、眼球追踪方法、设备、介质
CN110189350A (zh) * 2019-06-04 2019-08-30 京东方科技集团股份有限公司 一种瞳孔边缘的确定方法、装置及存储介质
CN110263745A (zh) * 2019-06-26 2019-09-20 京东方科技集团股份有限公司 一种人眼瞳孔定位的方法及装置
CN110363555A (zh) * 2018-04-10 2019-10-22 深圳市阿西莫夫科技有限公司 基于视线跟踪视觉算法的推荐方法和装置
WO2019205937A1 (zh) * 2018-04-24 2019-10-31 京东方科技集团股份有限公司 瞳孔中心定位装置和方法、虚拟现实设备
CN110414427A (zh) * 2019-07-26 2019-11-05 Oppo广东移动通信有限公司 基于眼球追踪的测光方法及相关产品
CN110582781A (zh) * 2018-04-11 2019-12-17 视信有限责任公司 视线追踪***及方法
CN110807427A (zh) * 2019-11-05 2020-02-18 中航华东光电(上海)有限公司 一种视线追踪方法、装置、计算机设备和存储介质
CN111208904A (zh) * 2020-01-08 2020-05-29 北京未动科技有限公司 一种视线估计设备性能评估方法、***和设备
CN111632367A (zh) * 2020-05-18 2020-09-08 歌尔科技有限公司 基于视觉引导的手游***及手游响应方法
CN113342161A (zh) * 2021-05-27 2021-09-03 常州工学院 一种基于近眼相机的视线追踪方法
CN113729611A (zh) * 2017-09-08 2021-12-03 托比股份公司 使用眼球中心位置的眼睛追踪
CN114167947A (zh) * 2021-11-26 2022-03-11 深圳市思坦科技有限公司 用眼保护装置及方法,蓝光显示设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103136512A (zh) * 2013-02-04 2013-06-05 重庆市科学技术研究院 一种瞳孔定位方法及***
CN103176607A (zh) * 2013-04-16 2013-06-26 重庆市科学技术研究院 一种眼控鼠标实现方法及***
CN103218612A (zh) * 2013-05-13 2013-07-24 苏州福丰科技有限公司 一种3d人脸识别方法
CN103390152A (zh) * 2013-07-02 2013-11-13 华南理工大学 基于sopc的适合人机交互的视线跟踪***
CN103679180A (zh) * 2012-09-19 2014-03-26 武汉元宝创意科技有限公司 一种基于单摄像头单光源的视线追踪方法
CN104182720A (zh) * 2013-05-22 2014-12-03 北京三星通信技术研究有限公司 瞳孔检测方法和装置
CN105138965A (zh) * 2015-07-31 2015-12-09 东南大学 一种近眼式视线跟踪方法及其***

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103679180A (zh) * 2012-09-19 2014-03-26 武汉元宝创意科技有限公司 一种基于单摄像头单光源的视线追踪方法
CN103136512A (zh) * 2013-02-04 2013-06-05 重庆市科学技术研究院 一种瞳孔定位方法及***
CN103176607A (zh) * 2013-04-16 2013-06-26 重庆市科学技术研究院 一种眼控鼠标实现方法及***
CN103218612A (zh) * 2013-05-13 2013-07-24 苏州福丰科技有限公司 一种3d人脸识别方法
CN104182720A (zh) * 2013-05-22 2014-12-03 北京三星通信技术研究有限公司 瞳孔检测方法和装置
CN103390152A (zh) * 2013-07-02 2013-11-13 华南理工大学 基于sopc的适合人机交互的视线跟踪***
CN105138965A (zh) * 2015-07-31 2015-12-09 东南大学 一种近眼式视线跟踪方法及其***

Cited By (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107506705B (zh) * 2017-08-11 2021-12-17 西安工业大学 一种瞳孔-普尔钦斑视线跟踪与注视提取方法
CN107506705A (zh) * 2017-08-11 2017-12-22 西安工业大学 一种瞳孔‑普尔钦斑视线跟踪与注视提取方法
CN113729611B (zh) * 2017-09-08 2024-04-16 托比股份公司 使用眼球中心位置的眼睛追踪
CN113729611A (zh) * 2017-09-08 2021-12-03 托比股份公司 使用眼球中心位置的眼睛追踪
CN107798316A (zh) * 2017-11-30 2018-03-13 西安科锐盛创新科技有限公司 一种基于瞳孔特征判断眼睛状态的方法
CN107862304A (zh) * 2017-11-30 2018-03-30 西安科锐盛创新科技有限公司 眼部状态的判断方法
CN107918491A (zh) * 2017-11-30 2018-04-17 西安科锐盛创新科技有限公司 基于眼睛闭合度检测技术的人机交互方法
CN107977622A (zh) * 2017-11-30 2018-05-01 西安科锐盛创新科技有限公司 基于瞳孔特征的眼睛状态检测方法
CN107798316B (zh) * 2017-11-30 2021-05-14 永目堂股份有限公司 一种基于瞳孔特征判断眼睛状态的方法
CN107977622B (zh) * 2017-11-30 2021-10-26 西安科锐盛创新科技有限公司 基于瞳孔特征的眼睛状态检测方法
CN108509873A (zh) * 2018-03-16 2018-09-07 新智认知数据服务有限公司 瞳孔图像边缘点提取方法及装置
CN110363555B (zh) * 2018-04-10 2024-04-09 释空(上海)品牌策划有限公司 基于视线跟踪视觉算法的推荐方法和装置
CN110363555A (zh) * 2018-04-10 2019-10-22 深圳市阿西莫夫科技有限公司 基于视线跟踪视觉算法的推荐方法和装置
CN110582781A (zh) * 2018-04-11 2019-12-17 视信有限责任公司 视线追踪***及方法
WO2019205937A1 (zh) * 2018-04-24 2019-10-31 京东方科技集团股份有限公司 瞳孔中心定位装置和方法、虚拟现实设备
US11009946B2 (en) 2018-04-24 2021-05-18 Boe Technology Group Co., Ltd. Pupil center positioning apparatus and method, and virtual reality device
CN109189216A (zh) * 2018-08-16 2019-01-11 北京七鑫易维信息技术有限公司 一种视线检测的方法、装置和***
CN109086734A (zh) * 2018-08-16 2018-12-25 新智数字科技有限公司 一种对人眼图像中瞳孔图像进行定位的方法及装置
CN109189216B (zh) * 2018-08-16 2021-09-17 北京七鑫易维信息技术有限公司 一种视线检测的方法、装置和***
CN109086734B (zh) * 2018-08-16 2021-04-02 新智数字科技有限公司 一种对人眼图像中瞳孔图像进行定位的方法及装置
CN109213324A (zh) * 2018-09-06 2019-01-15 京东方科技集团股份有限公司 显示参数调节方法及装置、显示装置
CN109583292A (zh) * 2018-10-11 2019-04-05 杭州电子科技大学 一种视线区域检测方法
CN109739353A (zh) * 2018-12-27 2019-05-10 重庆上丞科技有限公司 一种基于手势、语音、视线追踪识别的虚拟现实交互***
CN109947253A (zh) * 2019-03-25 2019-06-28 京东方科技集团股份有限公司 眼球追踪的模型建立方法、眼球追踪方法、设备、介质
CN110189350B (zh) * 2019-06-04 2021-08-17 京东方科技集团股份有限公司 一种瞳孔边缘的确定方法、装置及存储介质
CN110189350A (zh) * 2019-06-04 2019-08-30 京东方科技集团股份有限公司 一种瞳孔边缘的确定方法、装置及存储介质
CN110263745B (zh) * 2019-06-26 2021-09-07 京东方科技集团股份有限公司 一种人眼瞳孔定位的方法及装置
CN110263745A (zh) * 2019-06-26 2019-09-20 京东方科技集团股份有限公司 一种人眼瞳孔定位的方法及装置
CN110414427A (zh) * 2019-07-26 2019-11-05 Oppo广东移动通信有限公司 基于眼球追踪的测光方法及相关产品
CN110807427B (zh) * 2019-11-05 2024-03-01 中航华东光电(上海)有限公司 一种视线追踪方法、装置、计算机设备和存储介质
CN110807427A (zh) * 2019-11-05 2020-02-18 中航华东光电(上海)有限公司 一种视线追踪方法、装置、计算机设备和存储介质
CN111208904A (zh) * 2020-01-08 2020-05-29 北京未动科技有限公司 一种视线估计设备性能评估方法、***和设备
CN111632367A (zh) * 2020-05-18 2020-09-08 歌尔科技有限公司 基于视觉引导的手游***及手游响应方法
CN113342161A (zh) * 2021-05-27 2021-09-03 常州工学院 一种基于近眼相机的视线追踪方法
CN113342161B (zh) * 2021-05-27 2022-10-14 常州工学院 一种基于近眼相机的视线追踪方法
CN114167947A (zh) * 2021-11-26 2022-03-11 深圳市思坦科技有限公司 用眼保护装置及方法,蓝光显示设备及存储介质

Also Published As

Publication number Publication date
CN106774863B (zh) 2020-07-07

Similar Documents

Publication Publication Date Title
CN106774863A (zh) 一种基于瞳孔特征实现视线追踪的方法
CN108427503B (zh) 人眼追踪方法及人眼追踪装置
CN111202663B (zh) 一种基于vr技术的视觉训练学习***
CN103366157B (zh) 一种人眼视线距离的判断方法
CN102596005B (zh) 自动测量人双眼的至少一个折射特性的方法和设备
CN105094300B (zh) 一种基于标准化眼睛图像的视线追踪***及方法
CN111933275B (zh) 一种基于眼动与面部表情的抑郁评估***
CN111603134B (zh) 眼球运动测试的装置及方法
CN108875485A (zh) 一种底图录入方法、装置及***
KR101471761B1 (ko) 3d 콘텐츠를 이용한 안구 능력 강화 장치
CN104809424A (zh) 一种基于虹膜特征实现视线追踪的方法
CN109684915A (zh) 瞳孔跟踪图像处理方法
CN108416793B (zh) 基于三维相干断层成像图像的脉络膜血管分割方法及***
CN108742656A (zh) 基于脸部特征点定位的疲劳状态检测方法
CN109766007A (zh) 一种显示设备的注视点补偿方法及补偿装置、显示设备
CN108209858A (zh) 一种基于裂隙灯平台的眼科功能检查装置以及图像处理方法
CN111176447A (zh) 一种融合深度网络和几何模型的增强现实眼动交互方法
CN110585592A (zh) 一种个性化电子针灸装置及其生成方法与生成装置
CN111524175A (zh) 非对称式多摄像头的深度重建及眼动追踪方法及***
EP3924710A1 (de) Verfahren und vorrichtung zum vermessen der lokalen brechkraft und/oder der brechkraftverteilung eines brillenglases
CN115019380A (zh) 基于眼部图像的斜视智能识别方法、装置、终端及介质
CN110472546B (zh) 一种婴幼儿非接触式眼动特征提取装置及方法
CN110096978A (zh) 基于机器视觉的偏心摄影验光图像处理的方法
Pizer et al. Fundamental properties of medical image perception
CN113197542B (zh) 一种在线自助视力检测***、移动终端及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant