CN109272557A - 一种单相机单光源视线追踪***眼球参数标定方法 - Google Patents
一种单相机单光源视线追踪***眼球参数标定方法 Download PDFInfo
- Publication number
- CN109272557A CN109272557A CN201811309382.0A CN201811309382A CN109272557A CN 109272557 A CN109272557 A CN 109272557A CN 201811309382 A CN201811309382 A CN 201811309382A CN 109272557 A CN109272557 A CN 109272557A
- Authority
- CN
- China
- Prior art keywords
- iris
- light source
- radius
- human eye
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Eye Examination Apparatus (AREA)
Abstract
本发明提供一种单相机单光源视线追踪***眼球参数标定方法,适用于简化的人眼参数标定***,能够提高眼球参数标定结果的精度。所述方法包括:确定光源和两个屏幕标定点在***相机坐标系下的位置;在标定位置处,***相机捕捉当前的人脸图像,提取虹膜成像椭圆特征参数和普尔钦斑中心坐标;在所述标定位置处所述***相机坐标系下,根据确定的光源和屏幕标定点在***相机坐标系下的位置和提取的虹膜成像椭圆特征参数和普尔钦斑中心坐标,初步标定人眼的虹膜半径;根据初步标定的人眼的虹膜半径,初步标定人眼的角膜曲率半径;根据眼球的几何模型,对初步标定的人眼的虹膜半径和角膜曲率半径进行迭代优化。本发明涉及视觉测量技术领域。
Description
技术领域
本发明涉及视觉测量技术领域,特别是指一种单相机单光源视线追踪***眼球参数标定方法。
背景技术
视线追踪的研究起源于有关眼睛运动规律的研究,最早可以追溯到古希腊时期,而真正采用仪器设备对眼睛运动规律进行实验和观察是从中世纪时期开始的。早期心理学家是用肉眼或借助简单的仪器来观察眼动情况,如:观察法、机械记录法、胶片记录法等,后来逐渐探索出了电流记录法、电磁线圈法、反光记录法、双普尔钦象法、角膜反射法等多种眼动分析方法。
随着眼动技术研究的不断深入和发展,其应用的领域也越来越广泛。人们不再是单纯的分析眼球的运动,而是将它用于视线的分析与跟踪。视线追踪技术融合了众多学科领域的专业知识,包括图像识别、图像处理、计算机视觉、生物结构学、解剖学以及光学等等,是一门多学科交叉性的研究课题。目前视线追踪技术已广泛应用于人机交互、虚拟现实、车辆辅助驾驶、人因分析和心理研究等多个领域,有很好的应用前景。
在视线追踪的发展过程中,提出了很多基于不同硬件配置***的视线估计方法,例如,单相机多光源***、多相机***。
在单相机多光源***中,可以利用多个光源的反射,建立多个非线性方程,标定出角膜曲率半径等人眼不变参数,但求解过程复杂,运行速度慢,且得到的结果是数值解,因此大部分单相机多光源***仍采用预先设定人眼参数这一方法。
在多相机***中,人眼的角膜曲率中心、瞳孔中心等三维空间点,甚至眼球光轴,可以根据多相机立体视觉的基本原理直接计算获得,可以使用户标定过程大大简化。但多相机***的硬件配置相对复杂,成本较高,且***标定过程复杂。例如,文献E.D.Guestrinand M.Eizenman,“Remote point-of-gazeestimation with free head movementsrequiring a single-point calibration提出了一种能实现单点标定且头部可以***的视线估计方法,需要配置三个相机和多个光源。
发明内容
本发明要解决的技术问题是提供一种单相机单光源视线追踪***眼球参数标定方法,以解决现有技术所存在的标定人眼参数方法所需的硬件***复杂、成本较高、标定过程复杂的问题。
为解决上述技术问题,本发明实施例提供一种单相机单光源视线追踪***眼球参数标定方法,包括:
确定光源和两个屏幕标定点在***相机坐标系下的位置;
在标定位置处,即用户盯视所述两个屏幕标定点时,***相机捕捉当前的人脸图像,并对捕捉到的人脸图像进行处理,提取虹膜成像椭圆特征参数和普尔钦斑中心坐标;
在所述标定位置处所述***相机坐标系下,根据确定的光源和屏幕标定点在***相机坐标系下的位置和提取的虹膜成像椭圆特征参数和普尔钦斑中心坐标,初步标定人眼的虹膜半径;
根据初步标定的人眼的虹膜半径,初步标定人眼的角膜曲率半径;
根据眼球的几何模型,对初步标定的人眼的虹膜半径和角膜曲率半径进行迭代优化,直至符合预设的迭代终止条件。
进一步地,所述对捕捉到的人脸图像进行处理,提取虹膜成像椭圆特征参数和普尔钦斑中心坐标包括:
对捕捉到的人脸图像进行处理,识别出人眼区域;
通过Hough变换分别得到人眼图像和普尔钦斑图像;
对人眼图像进行插值、边缘检测、Hough变换后拟合出虹膜椭圆,得到用户盯视所述两个屏幕标定点时图像上虹膜成像椭圆特征参数;
对普尔钦斑图像进行插值处理后,利用质心法求取用户盯视所述两个屏幕标定点时的普尔钦斑中心坐标。
进一步地,所述虹膜成像椭圆特征参数包括:椭圆长轴、短轴、中心和倾角。
进一步地,所述在所述标定位置处所述***相机坐标系下,根据确定的光源和屏幕标定点在***相机坐标系下的位置和提取的虹膜成像椭圆特征参数和普尔钦斑中心坐标,初步标定人眼的虹膜半径包括:
根据确定的虹膜成像椭圆特征参数,建立虹膜椭圆方程;
将虹膜作为一个空间圆目标,在所述标定位置处所述***相机坐标系下,根据建立的虹膜椭圆方程,确定对应的空间中三维的虹膜中心及虹膜法向量的表达式;
根据虹膜中心及其法向量的表达式,重建人眼的光轴,得到光轴的表达式;
根据确定的光源在***相机坐标系下的位置、提取的普尔钦斑中心坐标及得到的光轴的表达式,确定角膜曲率中心;
将人眼的光轴单位方向向量用虹膜法向量表示,人眼的视轴单位方向向量用屏幕标定点在***相机坐标系下的位置与确定的角膜曲率中心坐标表示,确定人眼的光轴与视轴之间的夹角Kappa角;
根据用户盯视所述两个屏幕标定点时Kappa角不变的性质,初步标定人眼的虹膜半径。
进一步地,建立的虹膜椭圆方程表示为:
au2+bv2+cuv+du+ev+f=0
其中,a、b、c、d、e、f都表示系数, amajor表示椭圆长轴,aminor表示椭圆短轴,(xe,ye)表示椭圆中心,κ表示椭圆倾角,(u,v)表示虹膜椭圆的坐标。
进一步地,所述根据确定的光源在***相机坐标系下的位置、提取的普尔钦斑中心坐标及得到的光轴的表达式,确定角膜曲率中心包括:
利用角膜曲率中心、***相机光心、确定的光源和普尔钦斑在同一个反射平面内,且光轴经过角膜曲率中心,根据光轴与反射平面相交,确定角膜曲率中心。
进一步地,角膜曲率中心表示为:
其中,C表示角膜曲率中心,L=(l1,l2,l3)表示光源在***相机坐标系下的位置,g=(g1,g2,g3)表示普尔钦斑中心坐标,D=(d1d2d3)T表示虹膜法向量,I=r*(i1i2i3)T表示虹膜中心,r为待标定的人眼的虹膜半径,T表示矩阵转置。
进一步地,用户盯视所述两个屏幕标定点时Kappa角不变的性质表示为:
其中,S1、S2分别为第一屏幕标定点、第二屏幕标定点,D1、D2分别表示用户盯视第一屏幕标定点、第二屏幕标定点时的虹膜法向量,C1、C2分别表示用户盯视第一屏幕标定点、第二屏幕标定点时的角膜曲率中心坐标。
进一步地,所述根据初步标定的人眼的虹膜半径,初步标定人眼的角膜曲率半径包括:
光源L在角膜外表面产生反射,形成反射点G,其法线的延长线交光源L与***相机光心O的连线于点M,其中,∠LGM=∠MGO=α,∠LOG=ο;
通过第一公式和第二公式初步标定人眼的角膜曲率半径;其中,
所述第一公式表示为:
其中,R为待标定的角膜曲率半径;l为光源L与***相机光心O之间的距离;CV是过角膜曲率中心C到屏幕的垂线,与屏幕相交于点V,CV与虹膜法向量D之间的夹角表示为γ;OG与屏幕法向量之间的夹角为θ;
所述第二公式表示为:
其中,g表示普尔钦斑中心坐标,i'g表示点i'与点g的连线,i'为I,的成像点,I,是过反射点G作的与***相机成像面平行的直线与人眼光轴的交点,f0表示***相机的焦距,MN表示眼睛光轴与屏幕的相交点N与点M的连线。
进一步地,所述根据眼球的几何模型,对初步标定的人眼的虹膜半径和角膜曲率半径进行迭代优化,直至符合预设的迭代终止条件包括:
根据眼球的几何模型,得到包含虹膜半径r、角膜曲率半径R的非线性方程组:
其中,C表示角膜曲率中心,CI表示角膜曲率中心C与虹膜中心I的连线;
对非线性方程组F(x)采用牛顿迭代法进行求解,将初步标定的虹膜半径r和角膜曲率半径R作为初始值代入迭代,直至相邻两次迭代得到的虹膜半径和角膜曲率半径均小于设定的精度误差时,当前的虹膜半径为最优的虹膜半径、当前的角膜曲率半径为最优的角膜曲率半径。
本发明的上述技术方案的有益效果如下:
上述方案中,确定光源和两个屏幕标定点在***相机坐标系下的位置;在标定位置处,即用户盯视所述两个屏幕标定点时,***相机捕捉当前的人脸图像,并对捕捉到的人脸图像进行处理,提取虹膜成像椭圆特征参数和普尔钦斑中心坐标;在所述标定位置处所述***相机坐标系下,根据确定的光源和屏幕标定点在***相机坐标系下的位置和提取的虹膜成像椭圆特征参数和普尔钦斑中心坐标,初步标定人眼的虹膜半径;根据初步标定的人眼的虹膜半径,初步标定人眼的角膜曲率半径;根据眼球的几何模型,对初步标定的人眼的虹膜半径和角膜曲率半径进行迭代优化,直至符合预设的迭代终止条件。这样,利用单个相机和单个光源对虹膜半径和角膜曲率半径两个人眼参数进行标定,在更简单的***下实现了人眼参数的标定,***配置简单;标定过程所需的标定点只有两个,简化了单相机***的用户标定过程;人眼参数通过用户标定过程确定,将人眼个体差异考虑在内,具有普适性;采用优化方法有效的提高了虹膜半径和角膜曲率半径这两个人眼参数标定结果的精度。
附图说明
图1为本发明实施例提供的单相机单光源视线追踪***眼球参数标定方法的流程示意图;
图2为本发明实施例提供的人眼光轴与角膜反射平面相交示意图;
图3为本发明实施例提供的人眼、***相机与屏幕的位置关系示意图。
具体实施方式
为使本发明要解决的技术问题、技术方案和优点更加清楚,下面将结合附图及具体实施例进行详细描述。
本发明针对现有的标定人眼参数方法所需的硬件***复杂、成本较高、标定过程复杂的问题,提供一种单相机单光源视线追踪***眼球参数标定方法。
如图1所示,本发明实施例提供的单相机单光源视线追踪***眼球参数标定方法,包括:
S101,确定光源和两个屏幕标定点在***相机坐标系下的位置;
S102,在标定位置处,即用户盯视所述两个屏幕标定点时,***相机捕捉当前的人脸图像,并对捕捉到的人脸图像进行处理,提取虹膜成像椭圆特征参数和普尔钦斑中心坐标;
S103,在所述标定位置处所述***相机坐标系下,根据确定的光源和屏幕标定点在***相机坐标系下的位置和提取的虹膜成像椭圆特征参数和普尔钦斑中心坐标,初步标定人眼的虹膜半径;
S104,根据初步标定的人眼的虹膜半径,初步标定人眼的角膜曲率半径;
S105,根据眼球的几何模型,对初步标定的人眼的虹膜半径和角膜曲率半径进行迭代优化,直至符合预设的迭代终止条件。
本发明实施例所述的单相机单光源视线追踪***眼球参数标定方法,确定光源和两个屏幕标定点在***相机坐标系下的位置;在标定位置处,即用户盯视所述两个屏幕标定点时,***相机捕捉当前的人脸图像,并对捕捉到的人脸图像进行处理,提取虹膜成像椭圆特征参数和普尔钦斑中心坐标;在所述标定位置处所述***相机坐标系下,根据确定的光源和屏幕标定点在***相机坐标系下的位置和提取的虹膜成像椭圆特征参数和普尔钦斑中心坐标,初步标定人眼的虹膜半径;根据初步标定的人眼的虹膜半径,初步标定人眼的角膜曲率半径;根据眼球的几何模型,对初步标定的人眼的虹膜半径和角膜曲率半径进行迭代优化,直至符合预设的迭代终止条件。这样,利用单个相机和单个光源对虹膜半径和角膜曲率半径两个人眼参数进行标定,在更简单的***下实现了人眼参数的标定,***配置简单;标定过程所需的标定点只有两个,简化了单相机***的用户标定过程;人眼参数通过用户标定过程确定,将人眼个体差异考虑在内,具有普适性;采用优化方法有效的提高了虹膜半径和角膜曲率半径这两个人眼参数标定结果的精度。
本实施例中,在确定光源和两个屏幕标定点在***相机坐标系下的位置之前,所述方法还包括:标定***相机求取***相机的内参数,所述内参数包括:相机像元尺寸、图像中心、焦距。
本实施例中,***相机的标定可以采用张正友法,从而标定出相机像元尺寸、图像中心、焦距等参数。
本实施例中,所述确定光源和两个屏幕标定点在***相机坐标系下的位置包括:
利用***相机与辅助相机之间的转换关系,确定光源和屏幕标定点在***相机坐标系下的位置,其中,辅助相机置于光源和屏幕的对面。
本实施例中,通过***标定确定光源和两个屏幕标定点在***相机坐标系下的位置,此处的***利用了辅助相机,即:实际上是用到了两个相机(***相机和辅助相机)。具体的:光源和两个屏幕标定点的位置标定首先借助一个置于光源和屏幕对面的辅助相机进行测量,然后利用***相机与辅助相机之间的转换关系,确定光源和两个屏幕标定点在***相机坐标系下的位置。
本实施例中,光源和两个屏幕标定点是需要借助辅助相机提前标定好的,然后每个用户来使用这个***时,可以通过单相机单光源等简化***来初步标定出人眼的虹膜半径,且是两点标定(只用了两个屏幕标定点),并优化出精度更高的该用户的虹膜半径和角膜曲率半径。
在前述单相机单光源视线追踪***眼球参数标定方法的具体实施方式中,进一步地,所述对捕捉到的人脸图像进行处理,提取虹膜成像椭圆特征参数和普尔钦斑中心坐标包括:
对捕捉到的人脸图像进行处理,识别出人眼区域;
通过Hough变换分别得到人眼图像和普尔钦斑图像;
对人眼图像进行插值、边缘检测、Hough变换后拟合出虹膜椭圆,得到用户盯视所述两个屏幕标定点时图像上虹膜成像椭圆特征参数;
对普尔钦斑图像进行插值处理后,利用质心法求取用户盯视所述两个屏幕标定点时的普尔钦斑中心坐标。
本实施例中,在标定位置处,即用户盯视所述两个屏幕标定点时,***相机捕捉并保存当前的人脸图像,并对捕捉到的人脸图像进行处理,提取虹膜成像椭圆特征参数和普尔钦斑中心坐标,具体的:
对捕捉到的人脸图像进行处理,识别出人眼区域,通过霍夫变换(Hough)变换分别得到人眼图像和普尔钦斑图像;
人眼图像经过插值、边缘检测、Hough变换后拟合出虹膜椭圆,得到用户盯视所述两个屏幕标定点时图像上虹膜成像椭圆特征参数,所述虹膜成像椭圆特征参数包括:椭圆长轴amajor、短轴aminor、中心(xe,ye)和倾角κ;
普尔钦斑图像先经过插值,然后利用质心法求取用户盯视所述两个屏幕标定点时的普尔钦斑中心坐标。
如图2所示,光源L在角膜外表面产生反射,形成反射点G,反射点G在***相机中成像为普尔钦斑g。
在前述单相机单光源视线追踪***眼球参数标定方法的具体实施方式中,进一步地,所述在所述标定位置处所述***相机坐标系下,根据确定的光源和屏幕标定点在***相机坐标系下的位置和提取的虹膜成像椭圆特征参数和普尔钦斑中心坐标,初步标定人眼的虹膜半径包括:
根据确定的虹膜成像椭圆特征参数,建立虹膜椭圆方程;
将虹膜作为一个空间圆目标,在所述标定位置处所述***相机坐标系下,根据建立的虹膜椭圆方程,确定对应的空间中三维的虹膜中心及虹膜法向量的表达式;
根据虹膜中心及其法向量的表达式,重建人眼的光轴,得到光轴的表达式;
根据确定的光源在***相机坐标系下的位置、提取的普尔钦斑中心坐标及得到的光轴的表达式,确定角膜曲率中心;
将人眼的光轴单位方向向量用虹膜法向量表示,人眼的视轴单位方向向量用屏幕标定点在***相机坐标系下的位置与确定的角膜曲率中心坐标表示,确定人眼的光轴与视轴之间的夹角Kappa角;
根据用户盯视所述两个屏幕标定点时Kappa角不变的性质,初步标定人眼的虹膜半径。
本实施例中,在所述标定位置处所述***相机坐标系下,基于S101得到的光源和两个屏幕标定点在***相机坐标系下的位置和S102提取的虹膜成像椭圆特征参数和普尔钦斑中心坐标,初步标定人眼的虹膜半径,具体步骤可以包括:
S1031,根据S102得到的用户盯视所述两个屏幕标定点时***相机成像面上的虹膜成像椭圆特征参数,即:椭圆长轴amajor、短轴aminor、中心(xe,ye)和倾角κ,建立虹膜椭圆方程:
au2+bv2+cuv+du+ev+f=0
其中,a、b、c、d、e、f都表示系数, amajor表示椭圆长轴,aminor表示椭圆短轴,(xe,ye)表示椭圆中心,κ表示椭圆倾角,(u,v)表示虹膜椭圆的坐标。
S1032,将虹膜作为一个空间圆目标,在所述标定位置处所述***相机坐标系下,根据建立的虹膜椭圆方程,确定对应的空间中三维的虹膜中心I及虹膜法向量D的表达式:
其中,r为待标定的虹膜半径,λ1,λ2,λ3和e1=(e1x,e1y,e1z),e3=(e3x,e3y,e3z)分别为***相机光心与虹膜椭圆方程所构成的圆锥方程系数建立的实对称矩阵的特征值和特征向量。
虹膜中心I与虹膜半径r相关且成正比,虹膜法向量D与虹膜半径r无关,将虹膜中心I及其法向量D简单表示为:
I=r*(i1 i2 i3)T (3)
D=(d1 d2 d3)T (4)
其中,T表示矩阵转置。
S1033,根据虹膜中心I及其法向量D的表达式,重建人眼的光轴,得到光轴的表达式为:
其中,(x y z)表示光轴的坐标。
S1034,根据S101确定的光源在***相机坐标系下的位置、S102提取的普尔钦斑中心坐标及S1033得到的光轴的表达式,确定角膜曲率中心;
如图2所示,光源L在角膜外表面产生反射,形成反射点G,反射点G在***相机中成像为普尔钦斑g;根据反射定律,入射光线、反射光线和法线均在同一反射平面内,则光源L、角膜曲率中心C、***相机光心O和普尔钦斑g在同一个反射平面内;同时,光轴作为人眼的对称轴,经过角膜曲率中心C,因此角膜曲率中心C可以根据人眼光轴与反射平面相交表示为:
其中,L=(l1,l2,l3)表示光源在***相机坐标系下的位置,g=(g1,g2,g3)表示普尔钦斑中心坐标,角膜曲率中心C与虹膜半径r相关且成正比,将角膜曲率中心简单表示为:
C=r*(c1 c2 c3)T (7)
S1035,将人眼的光轴单位方向向量用虹膜法向量D表示,人眼的视轴单位方向向量用S101中屏幕标定点在***相机坐标系下的位置(即用户盯视点坐标)与S1034确定的角膜曲率中心坐标C表示,确定人眼的光轴与视轴之间的夹角Kappa角。
S1036,根据用户盯视所述两个屏幕标定点时Kappa角不变的性质,初步标定人眼的虹膜半径。
本实施例中,人眼的光轴与视轴之间的夹角为Kappa角,Kappa角为人眼不变参数。所述用户盯视所述两个屏幕标定点时Kappa角不变的性质表示为:
其中,S1、S2分别为第一屏幕标定点、第二屏幕标定点,D1、D2分别表示用户盯视第一屏幕标定点、第二屏幕标定点时的虹膜法向量,C1、C2分别表示用户盯视第一屏幕标定点、第二屏幕标定点时的角膜曲率中心坐标。
本实施例中,是同一只眼睛依次盯视这两个屏幕标定点,看第一屏幕标定点S1时对应的光轴方向是D1,此时的角膜曲率中心是C1;当这只眼睛再看第二屏幕标定点S2时对应的光轴方向是D2,此时的角膜曲率中心是C2,看不同屏幕标定点时,光轴方向、角膜曲率中心都会变化。
式(8)中,未知数只有虹膜半径r,因此,可以求出虹膜半径r。
在前述单相机单光源视线追踪***眼球参数标定方法的具体实施方式中,进一步地,所述根据初步标定的人眼的虹膜半径,初步标定人眼的角膜曲率半径包括:
光源L在角膜外表面产生反射,形成反射点G,其法线的延长线交光源L与***相机光心O的连线于点M,其中,∠LGM=∠MGO=α,∠LOG=ο;
通过第一公式和第二公式初步标定人眼的角膜曲率半径;其中,
所述第一公式表示为:
其中,R为待标定的角膜曲率半径;l为光源L与***相机光心O之间的距离;CV是过角膜曲率中心C到屏幕的垂线,与屏幕相交于点V,CV与虹膜法向量D之间的夹角表示为γ;OG与屏幕法向量之间的夹角为θ;
所述第二公式表示为:
其中,g表示普尔钦斑中心坐标,i'g表示点i'与点g的连线,i'为I,的成像点,I,是过反射点G作的与***相机成像面平行的直线与人眼光轴的交点,f0表示***相机的焦距,MN表示眼睛光轴与屏幕的相交点N与点M的连线。
本实施例中,在所述标定位置处所述***相机坐标系下,基于标定的***相机内参数、光源在***相机坐标系下的位置,S102得到的虹膜成像椭圆特征参数和普尔钦斑中心坐标和S103初步标定的人眼的虹膜半径,初步标定人眼的角膜曲率半径;具体的:
如图3所示,光源L在角膜外表面产生反射,形成反射点G,其法线的延长线交光源L与***相机光心O的连线于点M;根据反射定律指出的入射光和反射光相对于法线的角度是相等的,均用α表示,则∠LGM=∠MGO=α,并令∠OLG=β,∠LOG=ο,则在△LMG和△MOG中利用正弦定理可以表示出点M的坐标为:
CV是过角膜曲率中心C到屏幕1的垂线,与屏幕1相交于点V,CV与虹膜法向量D之间的夹角表示为γ,OG与屏幕1法向量之间的夹角为θ,可以用OG和屏幕1法向量计算得到,则OG可表示为:
其中,R为待标定的角膜曲率半径;
在△LOG中运用正弦定理,得到角α的表达式为:
其中,l为光源L与***相机光心O之间的距离;
I,是过反射点G作的与***相机成像面2平行的直线与人眼光轴的交点,其成像点i'的坐标表示为:
其中,Og为普尔钦斑中心坐标g与***相机光心O的连线,f0表示***相机的焦距;
根据小孔成像原理,I'与反射点G的矢量存在如下关系:
眼睛光轴与屏幕1相交于点N,在△CI'G和△CNM中根据三角形相似可以得到:
根据上述关系,角膜曲率半径R表示为:
根据式(11)和式(15),初步求取角膜曲率半径R。
在前述单相机单光源视线追踪***眼球参数标定方法的具体实施方式中,进一步地,所述根据眼球的几何模型,对初步标定的人眼的虹膜半径和角膜曲率半径进行迭代优化,直至符合预设的迭代终止条件包括:
在所述标定位置处所述***相机坐标系下,根据眼球的几何模型,得到包含虹膜半径r、角膜曲率半径R的非线性方程组:
其中,C表示角膜曲率中心,CI表示角膜曲率中心C与虹膜中心I的连线;
对非线性方程组F(x)采用牛顿迭代法进行求解,将初步标定的虹膜半径r和角膜曲率半径R作为初始值代入迭代,直至相邻两次迭代得到的虹膜半径和角膜曲率半径均小于设定的精度误差时,当前的虹膜半径为最优的虹膜半径、当前的角膜曲率半径为最优的角膜曲率半径。
本实施例中,通过此次迭代输入的虹膜半径和角膜曲率半径计算出的新的虹膜半径和角膜曲率半径,若此次迭代计算出的新的虹膜半径与上一次迭代计算出的虹膜半径之间的偏差小于设定的第一精度误差且此次迭代计算出的新的角膜曲率半径与上一次迭代计算出的角膜曲率半径之间的偏差小于设定的第二精度误差,则迭代终止,此次迭代计算出的新的虹膜半径和角膜曲率半径分别为最优的虹膜半径和最优的角膜曲率半径。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
以上所述是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明所述原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。
Claims (10)
1.一种单相机单光源视线追踪***眼球参数标定方法,其特征在于,包括:
确定光源和两个屏幕标定点在***相机坐标系下的位置;
在标定位置处,即用户盯视所述两个屏幕标定点时,***相机捕捉当前的人脸图像,并对捕捉到的人脸图像进行处理,提取虹膜成像椭圆特征参数和普尔钦斑中心坐标;
在所述标定位置处所述***相机坐标系下,根据确定的光源和屏幕标定点在***相机坐标系下的位置和提取的虹膜成像椭圆特征参数和普尔钦斑中心坐标,初步标定人眼的虹膜半径;
根据初步标定的人眼的虹膜半径,初步标定人眼的角膜曲率半径;
根据眼球的几何模型,对初步标定的人眼的虹膜半径和角膜曲率半径进行迭代优化,直至符合预设的迭代终止条件。
2.根据权利要求1所述的单相机单光源视线追踪***眼球参数标定方法,其特征在于,所述对捕捉到的人脸图像进行处理,提取虹膜成像椭圆特征参数和普尔钦斑中心坐标包括:
对捕捉到的人脸图像进行处理,识别出人眼区域;
通过Hough变换分别得到人眼图像和普尔钦斑图像;
对人眼图像进行插值、边缘检测、Hough变换后拟合出虹膜椭圆,得到用户盯视所述两个屏幕标定点时图像上虹膜成像椭圆特征参数;
对普尔钦斑图像进行插值处理后,利用质心法求取用户盯视所述两个屏幕标定点时的普尔钦斑中心坐标。
3.根据权利要求1所述的单相机单光源视线追踪***眼球参数标定方法,其特征在于,所述虹膜成像椭圆特征参数包括:椭圆长轴、短轴、中心和倾角。
4.根据权利要求1所述的单相机单光源视线追踪***眼球参数标定方法,其特征在于,所述在所述标定位置处所述***相机坐标系下,根据确定的光源和屏幕标定点在***相机坐标系下的位置和提取的虹膜成像椭圆特征参数和普尔钦斑中心坐标,初步标定人眼的虹膜半径包括:
根据确定的虹膜成像椭圆特征参数,建立虹膜椭圆方程;
将虹膜作为一个空间圆目标,在所述标定位置处所述***相机坐标系下,根据建立的虹膜椭圆方程,确定对应的空间中三维的虹膜中心及虹膜法向量的表达式;
根据虹膜中心及其法向量的表达式,重建人眼的光轴,得到光轴的表达式;
根据确定的光源在***相机坐标系下的位置、提取的普尔钦斑中心坐标及得到的光轴的表达式,确定角膜曲率中心;
将人眼的光轴单位方向向量用虹膜法向量表示,人眼的视轴单位方向向量用屏幕标定点在***相机坐标系下的位置与确定的角膜曲率中心坐标表示,确定人眼的光轴与视轴之间的夹角Kappa角;
根据用户盯视所述两个屏幕标定点时Kappa角不变的性质,初步标定人眼的虹膜半径。
5.根据权利要求4所述的单相机单光源视线追踪***眼球参数标定方法,其特征在于,建立的虹膜椭圆方程表示为:
au2+bv2+cuv+du+ev+f=0
其中,a、b、c、d、e、f都表示系数,
amajor表示椭圆长轴,aminor表示椭圆短轴,(xe,ye)表示椭圆中心,κ表示椭圆倾角,(u,v)表示虹膜椭圆的坐标。
6.根据权利要求4所述的单相机单光源视线追踪***眼球参数标定方法,其特征在于,所述根据确定的光源在***相机坐标系下的位置、提取的普尔钦斑中心坐标及得到的光轴的表达式,确定角膜曲率中心包括:
利用角膜曲率中心、***相机光心、确定的光源和普尔钦斑在同一个反射平面内,且光轴经过角膜曲率中心,根据光轴与反射平面相交,确定角膜曲率中心。
7.根据权利要求6所述的单相机单光源视线追踪***眼球参数标定方法,其特征在于,角膜曲率中心表示为:
其中,C表示角膜曲率中心,L=(l1,l2,l3)表示光源在***相机坐标系下的位置,g=(g1,g2,g3)表示普尔钦斑中心坐标,D=(d1 d2 d3)T表示虹膜法向量,I=r*(i1 i2 i3)T表示虹膜中心,r为待标定的人眼的虹膜半径,T表示矩阵转置。
8.根据权利要求4所述的单相机单光源视线追踪***眼球参数标定方法,其特征在于,用户盯视所述两个屏幕标定点时Kappa角不变的性质表示为:
其中,S1、S2分别为第一屏幕标定点、第二屏幕标定点,D1、D2分别表示用户盯视第一屏幕标定点、第二屏幕标定点时的虹膜法向量,C1、C2分别表示用户盯视第一屏幕标定点、第二屏幕标定点时的角膜曲率中心坐标。
9.根据权利要求1所述的单相机单光源视线追踪***眼球参数标定方法,其特征在于,所述根据初步标定的人眼的虹膜半径,初步标定人眼的角膜曲率半径包括:
光源L在角膜外表面产生反射,形成反射点G,其法线的延长线交光源L与***相机光心O的连线于点M,其中,∠LGM=∠MGO=α,∠LOG=o;
通过第一公式和第二公式初步标定人眼的角膜曲率半径;其中,
所述第一公式表示为:
其中,R为待标定的角膜曲率半径;l为光源L与***相机光心O之间的距离;CV是过角膜曲率中心C到屏幕的垂线,与屏幕相交于点V,CV与虹膜法向量D之间的夹角表示为γ;OG与屏幕法向量之间的夹角为θ;
所述第二公式表示为:
其中,g表示普尔钦斑中心坐标,i'g表示点i'与点g的连线,i'为I’的成像点,I’是过反射点G作的与***相机成像面平行的直线与人眼光轴的交点,f0表示***相机的焦距,MN表示眼睛光轴与屏幕的相交点N与点M的连线。
10.根据权利要求9所述的单相机单光源视线追踪***眼球参数标定方法,其特征在于,所述根据眼球的几何模型,对初步标定的人眼的虹膜半径和角膜曲率半径进行迭代优化,直至符合预设的迭代终止条件包括:
根据眼球的几何模型,得到包含虹膜半径r、角膜曲率半径R的非线性方程组:
其中,C表示角膜曲率中心,CI表示角膜曲率中心C与虹膜中心I的连线;
对非线性方程组F(x)采用牛顿迭代法进行求解,将初步标定的虹膜半径r和角膜曲率半径R作为初始值代入迭代,直至相邻两次迭代得到的虹膜半径和角膜曲率半径均小于设定的精度误差时,当前的虹膜半径为最优的虹膜半径、当前的角膜曲率半径为最优的角膜曲率半径。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811309382.0A CN109272557B (zh) | 2018-11-05 | 2018-11-05 | 一种单相机单光源视线追踪***眼球参数标定方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811309382.0A CN109272557B (zh) | 2018-11-05 | 2018-11-05 | 一种单相机单光源视线追踪***眼球参数标定方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109272557A true CN109272557A (zh) | 2019-01-25 |
CN109272557B CN109272557B (zh) | 2019-10-22 |
Family
ID=65192883
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811309382.0A Active CN109272557B (zh) | 2018-11-05 | 2018-11-05 | 一种单相机单光源视线追踪***眼球参数标定方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109272557B (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109885169A (zh) * | 2019-02-25 | 2019-06-14 | 清华大学 | 基于三维眼球模型的眼球参数标定和视线方向跟踪方法 |
CN112099622A (zh) * | 2020-08-13 | 2020-12-18 | 中国科学院深圳先进技术研究院 | 一种视线追踪方法及装置 |
CN112449178A (zh) * | 2020-11-19 | 2021-03-05 | 湖北航天技术研究院总体设计所 | 一种屏幕观测设备机位标定方法及*** |
CN113052921A (zh) * | 2021-05-18 | 2021-06-29 | 北京科技大学 | 一种三维视线跟踪***的***标定方法 |
CN114820807A (zh) * | 2022-03-24 | 2022-07-29 | 北京的卢深视科技有限公司 | 屏幕-相机的标定方法、***、标定设备和存储介质 |
CN116664394A (zh) * | 2023-08-01 | 2023-08-29 | 博奥生物集团有限公司 | 一种三维人眼图像生成方法及装置、电子设备、存储介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20090196460A1 (en) * | 2008-01-17 | 2009-08-06 | Thomas Jakobs | Eye tracking system and method |
CN102125422A (zh) * | 2010-01-12 | 2011-07-20 | 北京科技大学 | 视线追踪***中基于瞳孔-角膜反射的视线估计方法 |
CN103366157A (zh) * | 2013-05-03 | 2013-10-23 | 马建 | 一种人眼视线距离的判断方法 |
KR20150051760A (ko) * | 2013-11-05 | 2015-05-13 | 주식회사 지투 | 각막곡률반경 측정 방법 및 장치 |
CN105205438A (zh) * | 2014-09-05 | 2015-12-30 | 北京七鑫易维信息技术有限公司 | 一种利用红外眼球追踪控制眼睛与屏幕距离的方法及*** |
WO2017190087A1 (en) * | 2016-04-30 | 2017-11-02 | Envision Diagnostics, Inc. | Medical devices, systems, and methods for performing eye exams and eye tracking |
-
2018
- 2018-11-05 CN CN201811309382.0A patent/CN109272557B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20090196460A1 (en) * | 2008-01-17 | 2009-08-06 | Thomas Jakobs | Eye tracking system and method |
CN102125422A (zh) * | 2010-01-12 | 2011-07-20 | 北京科技大学 | 视线追踪***中基于瞳孔-角膜反射的视线估计方法 |
CN103366157A (zh) * | 2013-05-03 | 2013-10-23 | 马建 | 一种人眼视线距离的判断方法 |
KR20150051760A (ko) * | 2013-11-05 | 2015-05-13 | 주식회사 지투 | 각막곡률반경 측정 방법 및 장치 |
CN105205438A (zh) * | 2014-09-05 | 2015-12-30 | 北京七鑫易维信息技术有限公司 | 一种利用红外眼球追踪控制眼睛与屏幕距离的方法及*** |
WO2017190087A1 (en) * | 2016-04-30 | 2017-11-02 | Envision Diagnostics, Inc. | Medical devices, systems, and methods for performing eye exams and eye tracking |
Non-Patent Citations (3)
Title |
---|
卢宁等: "三维视线追踪***中Kappa角标定问题研究", 《SCIENCE INNOVATION》 * |
张正正等: "一种基于最小误差法的角膜参数估计方法", 《SCIENCE INNOVATION》 * |
张闯等: "视线追踪***中视线估计方法研究", 《中国科学:信息科学》 * |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109885169A (zh) * | 2019-02-25 | 2019-06-14 | 清华大学 | 基于三维眼球模型的眼球参数标定和视线方向跟踪方法 |
CN109885169B (zh) * | 2019-02-25 | 2020-04-24 | 清华大学 | 基于三维眼球模型的眼球参数标定和视线方向跟踪方法 |
CN112099622A (zh) * | 2020-08-13 | 2020-12-18 | 中国科学院深圳先进技术研究院 | 一种视线追踪方法及装置 |
CN112099622B (zh) * | 2020-08-13 | 2022-02-01 | 中国科学院深圳先进技术研究院 | 一种视线追踪方法及装置 |
CN112449178A (zh) * | 2020-11-19 | 2021-03-05 | 湖北航天技术研究院总体设计所 | 一种屏幕观测设备机位标定方法及*** |
CN113052921A (zh) * | 2021-05-18 | 2021-06-29 | 北京科技大学 | 一种三维视线跟踪***的***标定方法 |
CN113052921B (zh) * | 2021-05-18 | 2021-10-15 | 北京科技大学 | 一种三维视线跟踪***的***标定方法 |
CN114820807A (zh) * | 2022-03-24 | 2022-07-29 | 北京的卢深视科技有限公司 | 屏幕-相机的标定方法、***、标定设备和存储介质 |
CN114820807B (zh) * | 2022-03-24 | 2023-01-31 | 合肥的卢深视科技有限公司 | 屏幕-相机的标定方法、***、标定设备和存储介质 |
CN116664394A (zh) * | 2023-08-01 | 2023-08-29 | 博奥生物集团有限公司 | 一种三维人眼图像生成方法及装置、电子设备、存储介质 |
CN116664394B (zh) * | 2023-08-01 | 2023-10-03 | 博奥生物集团有限公司 | 一种三维人眼图像生成方法及装置、电子设备、存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN109272557B (zh) | 2019-10-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109272557A (zh) | 一种单相机单光源视线追踪***眼球参数标定方法 | |
Nishino et al. | The world in an eye [eye image interpretation] | |
Nishino et al. | Corneal imaging system: Environment from eyes | |
CN101901485B (zh) | 3d自由头动式视线跟踪*** | |
CN109558012B (zh) | 一种眼球追踪方法及装置 | |
US9628697B2 (en) | Method and device for measuring an interpupillary distance | |
Shih et al. | A novel approach to 3-D gaze tracking using stereo cameras | |
CN106168853B (zh) | 一种自由空间头戴式视线跟踪*** | |
Moore et al. | A geometric basis for measurement of three-dimensional eye position using image processing | |
US6659611B2 (en) | System and method for eye gaze tracking using corneal image mapping | |
CN104809424B (zh) | 一种基于虹膜特征实现视线追踪的方法 | |
EP2898819A1 (en) | System for measuring the interpupillary distance using a device equipped with a screen and a camera | |
WO2005063114A1 (ja) | 視線検出方法および装置ならびに三次元視点計測装置 | |
US20220207919A1 (en) | Methods, devices and systems for determining eye parameters | |
WO2007113975A1 (ja) | 視点検出装置 | |
CN102125422A (zh) | 视线追踪***中基于瞳孔-角膜反射的视线估计方法 | |
WO2019010959A1 (zh) | 用于确定视线的方法、设备和计算机可读存储介质 | |
Schnieders et al. | Reconstruction of display and eyes from a single image | |
JP7168953B2 (ja) | 自動キャリブレーションを行う視線計測装置、視線計測方法および視線計測プログラム | |
CN106264468A (zh) | 基于医学人体美学和个性特征的人脸美丽度评价方法 | |
CN109106333A (zh) | 一种自动调节式自助视力筛查***及装置 | |
JP2018099174A (ja) | 瞳孔検出装置及び瞳孔検出方法 | |
Zhang et al. | Gaze estimation in a gaze tracking system | |
CN111524175A (zh) | 非对称式多摄像头的深度重建及眼动追踪方法及*** | |
JPH0351407B2 (zh) |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |