CN111429526A - 一种基于四分法逐层分割九点定位的视线追踪标定方法 - Google Patents
一种基于四分法逐层分割九点定位的视线追踪标定方法 Download PDFInfo
- Publication number
- CN111429526A CN111429526A CN202010209806.7A CN202010209806A CN111429526A CN 111429526 A CN111429526 A CN 111429526A CN 202010209806 A CN202010209806 A CN 202010209806A CN 111429526 A CN111429526 A CN 111429526A
- Authority
- CN
- China
- Prior art keywords
- layer
- vector
- pupil
- points
- screen
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 91
- 230000011218 segmentation Effects 0.000 title claims abstract description 31
- 239000013598 vector Substances 0.000 claims abstract description 109
- 210000001747 pupil Anatomy 0.000 claims abstract description 81
- 210000004087 cornea Anatomy 0.000 claims abstract description 44
- 238000004364 calculation method Methods 0.000 claims abstract description 31
- 238000000605 extraction Methods 0.000 claims abstract description 6
- 238000007781 pre-processing Methods 0.000 claims abstract description 6
- 238000001514 detection method Methods 0.000 claims description 7
- 238000001914 filtration Methods 0.000 claims description 6
- 239000011159 matrix material Substances 0.000 claims description 6
- 230000004424 eye movement Effects 0.000 claims description 5
- 238000005070 sampling Methods 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000005259 measurement Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000000556 factor analysis Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30041—Eye; Retina; Ophthalmic
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Quality & Reliability (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Eye Examination Apparatus (AREA)
Abstract
一种基于四分法逐层分割九点定位的视线追踪标定方法,包括以下步骤:S10:屏幕区域正方形四分法分割与9个基准点选取;S20:图像预处理与瞳孔角膜向量提取;S30:单个区域的八点瞳孔角膜向量解算;S40:组合平均与视线追踪位置的初步标定;S50:全部区域的标定因子向量求解;S60:各层子区域瞳孔角膜向量均值的求取;S70:观察者实时瞳孔相对各层子区域瞳孔角膜误差向量的解算;S80:采用最小区域标定因子向量实现实时定位解算与视线追踪。该视线追踪标定方法通过对屏幕区域多层分割后,采用中心围绕八点的布局选取特征九点,来解算每区域的局部对应关系,从而通过预先采样标定多点数据的方式提高最终实现追踪的精度。
Description
技术领域
本发明涉及视线跟踪领域,具体涉及一种采用四分法逐层分割的视线追踪定位的方法。
背景技术
眼动跟踪也称为视线追踪技术,是利用机械、电子、光学等各种检测手段获取受试者当前“视觉注意”的方向的技术。它广泛应用于人机交互、助老助残、车辆驾驶、人因分析、虚拟现实和军事等领域。早在40年代末,在20世纪50年代,Fitts等人开始研究飞行员着陆过程中的眼动特征,通过研究认为,眼动记录技术为评价新仪表重要度、仪表判读难易度和仪表面板布置提供了一个有价值的方法。
要实现视线追踪,主要要经过图像预处理、眼部特征获取、标定算法三大部分。其中视线标定算法是通过***标定确定摄像机的几何和光学参数,摄像机、眼局部特征图像和显示屏幕之间的相对位置关系,使摄像机组能够进行三维空间测量,实时显示视线关注屏幕区域。
目前视线追踪方法中人眼视线方向标定应用较多的是九点法与最小二乘相结合的方法,该方法实际仅需要六个点即可进行解算,多出三个点后,采用最小二乘法,可以利用冗余数据减少测量误差。但该方法的不足之处在于采用一套参数描述整个屏幕空间与眼部特征的对应关系,因此当屏幕区域复杂或者过大时,该方法的精度不高。
发明内容
本发明的目的在于提供一种基于四分法逐层分割九点定位的视线追踪标定方法,通过对屏幕区域多层分割,然后采用中心围绕八点的布局选取特征九点,来解算每区域的局部对应关系,从而可以通过预先采样标定多点数据的方式来提高最终实现追踪的精度。
本发明是通过以下方法实现的,提供一种基于四分法逐层分割九点定位的视线追踪标定方法,包括以下步骤:
步骤S10:屏幕区域正方形四分法分割与9个基准点选取;
步骤S20:图像预处理与瞳孔角膜向量提取;
步骤S30:单个区域的八点瞳孔角膜向量解算;
步骤S40:组合平均与视线追踪位置的初步标定;
步骤S50:全部区域的标定因子向量求解;
步骤S60:各层子区域瞳孔角膜向量均值的求取;
步骤S70:观察者实时瞳孔相对各层子区域瞳孔角膜误差向量的解算,获得最小区域;
步骤S80:采用S70获得的最小区域标定因子向量实现实时定位解算与视线追踪。
特别的,所述步骤S10具体实施方法如下:对屏幕S进行四分法分割与9个基准点选取,其包括将屏幕区域S进行第一层分割,分割为四部分,即上下左右均匀分割,记作S1、S2、S3、S4;依次选取其中一块区域Si(i=1,2,3,4),再次进行第二层分割,将Si分割为四部分,仍然是上下左右均匀分布,每部分为长方形;依次记作Si1、Si2、Si3、Si4;然后对依次选取其中一块区域Sij(i=1,2,3,4;j=1,2,3,4),进行第三次分割,即将Sij分割为四部分,仍然是上下左右均匀分布,每部分为长方形;依次记作Sij1、Sij2、Sij3、Sij4;之后根据需要决定是否对屏幕继续进行细化分割;分割完成之后,在每个区域Sijk选取9个点,记作Aijkm,其中i=1,2,3,4,j=1,2,3,4,k=1,2,3,4,m=1,2,3,4,5,6,7,8,9,每个点的坐标分别记为(aijkmx,aijkmy),其中aijkmx为屏幕水平方向坐标,aijkmy为屏幕垂直方向的坐标,其中第九个点为每个区域的中心位置,其余8点均匀间隔环绕在第九个点周围。
特别的,所述步骤S20具体实施方法如下:首先让受试者眼睛注视屏幕区域分割后某一区域中九个点中的一个点,采用眼动跟踪摄像***,拍摄人眼局部的高清图像,记作B1;然后对高清人眼局部图像B1进行滤波预处理,去处图像中的噪声,得到滤波后的图像,记作B2;最后通过亮斑检测与瞳孔检测方法,提取瞳孔角膜向量,记为(xe1,ye1)。
特别的,所述步骤S30具体实施方法如下:让受试者眼睛依次注视屏幕区域Sijk的Aijk2、Aijk3、Aijk4、Aijk5、Aijk6、Aijk7、Aijk8与Aijk9点;之后重复步骤S20:得到瞳孔角膜向量(xe2,ye2)、(xe3,ye3)、(xe4,ye4)、(xe5,ye5)、(xe6,ye6)、(xe7,ye7)、(xe8,ye8)、(xe9,ye9),并求取该区域的瞳孔角膜向量均值,记作(xijk,yijk),其计算方法为:
特别的,所述步骤S40具体实施方法如下:根据上述屏幕上9点的位置坐标(aijkmx,aijkmy)与瞳孔-角膜向量坐标(xem,yei),进行如下解算,得到初步的标定公式,具体解算方法如下:
首先选取9点中的八点,得到(aijk1x,aijk1y)、(aijk2x,aijk2y)、(aijk3x,aijk3y)、(aijk4x,aijk4y)、(aijk5x,aijk5y)、(aijk6x,aijk6y)、(aijk7x,aijk7y)、(aijk8x,aijk8y),根据相应的八点瞳孔角膜向量(xe1,ye1)、(xe2,ye2)、(xe3,ye3)、(xe4,ye4)、(xe5,ye5)、(xe6,ye6)、(xe7,ye7)、(xe8,ye8),构造非线性齐次瞳孔角膜矩阵G,其定义如下:
其次,根据屏幕上八点的位置坐标(aijk1x,aijk1y)、(aijk2x,aijk2y)、(aijk3x,aijk3y)、(aijk4x,aijk4y)、(aijk5x,aijk5y)、(aijk6x,aijk6y)、(aijk7x,aijk7y)、(aijk8x,aijk8y),构造屏幕坐标向量Dx与Dy,其中Dx与Dy的构成如下:
Dx=[aijk1x aijk2x aijk3x aijk4x aijk5x aijk6x aijk7x aijk8x]T,
Dy=[aijk1y aijk2y aijk3y aijk4y aijk5y aijk6y aijk7y aijk8y]T;
最后,求解非线性齐次瞳孔角膜矩阵G的逆矩阵G-1,解算出标定因子向量Eijkmx、Eijkmy,其求解方法如下式所示:
Eijkmx=G-1Dx、Eijkmy=G-1Dy;
依次采用其它组合选取9点中的八点,重复上述过程,分别解算出标定因子向量,由于9点中选取8点的组合有9种,因此最终能解算出九组标定因子向量Eijkmx、Eijkmy,选取加权平均值作为区域Sijk的标定因子向量Eijkx、Eijky。
其计算公式如下:
特别的,所述步骤S50具体实施方法如下:在每个区域Sijk均按上述方法选取9个点,重复上述步骤S10至S40:得到标定因子向量Eijkx、Eijky。
特别的,所述步骤S60具体实施方法如下:让受试者眼睛依次注视屏幕区域Sijk上的九个点;重复步骤S20:得到瞳孔角膜向量记作(xe1,ye1)、(xe2,ye2)、(xe3,ye3)、(xe4,ye4)、(xe5,ye5)、(xe6,ye6)、(xe7,ye7)、(xe8,ye8)、(xe9,ye9),并求取该区域的瞳孔角膜向量均值,记作(xijk,yijk),其计算方法为:
依次计算出所有区域Sijk瞳孔角膜向量均值;
然后求解Sij区域的四个子区域Sij1、Sij2、Sij3与Sij4,计算其平均瞳孔角膜向量为(xij,yij),其计算方式如下:
采用同样的方法,依次计算Sij区域的平均瞳孔角膜向量;
然后求解Si区域的平均瞳孔角膜向量,记为(xi,yi),其计算方法如下:
采用同样的方法,依次计算Si区域的平均瞳孔角膜向量。
特别的,所述步骤S70具体实施方法如下:采用摄像设备对观察者关注屏幕区域的实时眼局部进行拍照,经过步骤S20的滤波处理,提取出实时的瞳孔角膜,记作(x,y),首先与第一层Si的四个区域进行第一层判断,求取第一层瞳孔角膜误差向量,记作e1、e2、e3、e4,其计算方式为:
e1=(x-x1)2+(y-y1)2,
e2=(x-x2)2+(y-y2)2,
e3=(x-x3)2+(y-y3)2,
e4=(x-x4)2+(y-y4)2,
然后比较e1、e2、e3、e4的大小,选取其中的最小者,不失一般性,并对最小者区域的四个子区域对应的平均瞳孔角膜向量,进行第二层瞳孔角膜误差向量求解,分别记作e21、e22、e23、e24。其计算方式为:
e21=(x-x21)2+(y-y21)2,
e22=(x-x22)2+(y-y22)2,
e23=(x-x23)2+(y-y23)2,
e24=(x-x24)2+(y-y24)2,
然后比较e21、e22、e23、e24的大小,选取其中的最小者,不失一般性,并对最小者的四个子区域对应的平均瞳孔角膜向量,进行第三层瞳孔角膜误差向量求解,分别记作e231、e232、e233、e234,其计算方式为:
e231=(x-x231)2+(y-y231)2,
e232=(x-x232)2+(y-y232)2,
e233=(x-x233)2+(y-y233)2,
e234=(x-x234)2+(y-y234)2,
然后比较e231、e232、e233、e234的大小,选取其中的最小者,不失一般性。
特别的,所述步骤S80具体实施方法如下:选定步骤S70最终选定的最小者区域的标定因子向量Eijkx、Eijky作为当前观察者实时瞳孔角膜向量(x,y)对应的屏幕上视线注视点坐标(ax,ay)的计算公式如下:
其中Eijkx(n)与Eijky(n)分别是上述标定向量Eijkx与Eijky的第n(n=1,2,3,4,5,6,7,8)个分量。
本发明一种基于四分法逐层分割九点定位的视线追踪标定方法,特别适用于屏幕区域固定而且需要高精度视线追踪的领域,如飞行员的驾驶座舱内视线追踪等,视线追踪标定方法通过对屏幕区域多层分割后,采用中心围绕八点的布局选取特征九点,来解算每区域的局部对应关系,从而通过预先采样标定多点数据的方式来提高最终实现追踪的精度,在一定程度上克服了由于相关技术的限制和缺陷而导致的解算结果对大屏幕区域全局适应性不好与精度不高的问题。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本发明的实施例,并与说明书一起用于解释本发明的原理。显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明提供的一种基于四分法逐层分割九点定位的视线追踪标定方法流程图;
图2是本发明实施例所提供方法的屏幕区域四分法逐层分割图;
图3是本发明实施例所提供方法的子区域基本点选取示意图;
图4是本发明实施例所提供方法的人眼局部图像;
图5是本发明实施例所提供方法的人眼局部图像滤波后图像;
图6是本发明实施例所提供方法的瞳孔角膜向量坐标提取;
图7是本发明实施例所提供方法的注视点的解算与定位显示。
具体实施方式
现在将参考附图基础上更全面地描述示例实施方式。然而,示例实施方式能够以多种形式实施,且不应被理解为限于在此阐述的范例;相反,提供这些实施方式使得本发明将更加全面和完整,并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中,提供许多具体细节从而给出对本发明的实施方式的充分理解。然而,本领域技术人员将意识到,可以实践本发明的技术方案而省略所述特定细节中的一个或更多,或者可以采用其它的方法、组元、装置、步骤等。在其它情况下,不详细示出或描述公知技术方案以避免喧宾夺主而使得本发明的各方面变得模糊。
本发明提供了一种通过四分法逐层分割九点定位标定的方法确定视线跟踪的标定向量信息,给出了视线注视点在屏幕上坐标的计算方法。该方法的优点是使得整个视线追踪的解算精度不随屏幕区域的增大而精度降低,而传统方法由于采用一个区域整体解算的方式,难免会随着区域增大而精度减小。同时九点法同时解算八个参数,相对于传统九点法解算六个参数的方式,也增加了对眼睛局部特征与屏幕注视点坐标之间的描述函数的复杂度,从而提高了解算精度。
下面,将结合附图对本发明的基于四分法逐层分割九点定位的视线追踪标定方法,进行进一步的解释以及说明。请参阅图1,本发明提供的一种基于四分法逐层分割九点定位的视线追踪标定方法,包括以下步骤:
步骤S10:屏幕区域正方形四分法分割与9个基准点选取;
步骤S20:图像预处理与瞳孔角膜向量提取;
步骤S30:单个区域的八点瞳孔角膜向量解算;
步骤S40:组合平均与视线追踪位置的初步标定;
步骤S50:全部区域的标定因子向量求解;
步骤S60:各层子区域瞳孔角膜向量均值的求取;
步骤S70:观察者实时瞳孔相对各层子区域瞳孔角膜误差向量的解算,获得最小区域;
步骤S80:采用S70获得的最小区域标定因子向量实现实时定位解算与视线追踪。
实施例
一种基于四分法逐层分割九点定位的视线追踪标定方法,包括以下步骤:
步骤S10:屏幕区域四分法分割与9个基准点选取;
如图2所示,对屏幕区域进行分割,分割为64小块,分别记作S111、S112、S113、S114、L、S441、S442、S443、S444;
然后在每个区域选取9个基准点,以S444为例,选取九点,分别记作A441m(m=1,2,3,4,5,6,7,8,9),其中第九个点为中心,其它八个点均匀环绕分布其周围,如图3所示。
步骤S20:此实施例以S441区域为例,首先让受试者眼睛注视屏幕区域S441区的A4411点,采用眼动跟踪摄像***,拍摄人眼并截取局部的高清图像,记作B1,如图4所示;
然后对高清人眼局部图像B1进行滤波预处理,去处图像中的噪声,得到滤波后的图像,记作B2,如图5所示
最后通过亮斑检测与瞳孔检测方法,提取瞳孔角膜向量,记为(xe1,ye1),如图6中‘+’所示;
步骤S30:让受试者眼睛依次注视屏幕区域S441的A4412、A4413、A4414、A4415、A4416、A4417、A4418与A4419点;重复步骤S20,得到瞳孔角膜向量(xe2,ye2)、(xe3,ye3)、(xe4,ye4)、(xe5,ye5)、(xe6,ye6)、(xe7,ye7)、(xe8,ye8)、(xe9,ye9)。并求取该区域的瞳孔角膜向量均值,记作(x441,y441),其计算方法为:
步骤S40:组合平均与视线追踪位置的初步标定;
按照发明内容所述组合平均的方法,对区域S441求解标定因子向量E441x、E441y;
步骤S50:全部区域的标定因子向量求解;
按照组合平均的方法,对全部任意区域Sijk求解标定因子向量Eijkx、Eijky(i=1,2,3,4;j=1,2,3,4;k=1,2,3,4)。
步骤S60:各层子区域瞳孔角膜向量均值的求取;
按照发明内容所述方法求取各层子区域瞳孔角膜向量均值,总共有第三层瞳孔角膜向量均值(xijk,yijk)、第二层瞳孔角膜向量均值(xij,yij)与第一层瞳孔角膜向量均值(xi,yi),其中i=1,2,3,4;j=1,2,3,4;k=1,2,3,4。
步骤S70:观察者实时瞳孔相对各层子区域瞳孔角膜误差向量的解算;
按照发明内容所述方法首先求取实时瞳孔角膜向量相对第一层瞳孔角膜向量均值的误差向量,分别记作e1、e2、e3、e4,排序后选取最小值,再在最小值所在区域求取实时瞳孔角膜向量相对第二层瞳孔角膜向量均值的误差向量,排序后选取最小值,再在最小值所在区域求取实时瞳孔角膜向量相对第二层瞳孔角膜向量均值的误差向量,然后排序选取最小值,确定最终所在的第三层子区域。
步骤S80:采用最小区域标定因子向量实现实时定位解算与视线追踪;
采用最终确定的第三层子区域的标定因子向量,代入按照发明内容所述方法的标定公式,求解观察者实时瞳孔对应关注的屏幕区域坐标。如图7所示,观察者观察的是汽车后轮的中心位置,通过上述解算给出了最终观察者注视点坐标的解算位置,如图7中方块位置所示,其与真实位置相比,误差非常小。
至此,一次解算完成。后续通过获取观察者实时瞳孔局部照片,按照步骤S60、S70、S80循环重复求解,即可实现人眼视线的连续追踪。
值得说明的是,上述步骤S20中,有关图像滤波预处理与瞳孔角膜向量提取的方法,有很多专利与文献专门对这两项技术展开了研究,因此不是本发明的关注点与核心技术,在此不作过多的说明。
值得说明的是,上述三层式的屏幕分割方法可以同理类推扩展为四层、五层,或者更多。尽管扩展后会增大标定点选取与标定的工作量,但无疑会大大增大视线追踪的精度,实际使用时可以根据需要选取屏幕分割层数。
本领域技术人员在考虑说明书及实践这类的发明后,将容易想到本发明的其他实施例。本申请旨在涵盖本发明的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未指明的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本发明的真正范围和精神由权利要求指出。
Claims (9)
1.一种基于四分法逐层分割九点定位的视线追踪标定方法,其特征在于,包括以下步骤:
步骤S10:屏幕区域正方形四分法分割与9个基准点选取;
步骤S20:图像预处理与瞳孔角膜向量提取;
步骤S30:单个区域的八点瞳孔角膜向量解算;
步骤S40:组合平均与视线追踪位置的初步标定;
步骤S50:全部区域的标定因子向量求解;
步骤S60:各层子区域瞳孔角膜向量均值的求取;
步骤S70:观察者实时瞳孔相对各层子区域瞳孔角膜误差向量的解算,获得最小区域;
步骤S80:采用S70获得的最小区域标定因子向量实现实时定位解算与视线追踪。
2.根据权利要求1所述的一种基于四分法逐层分割九点定位的视线追踪标定方法,其特征在于,所述步骤S10具体实施方法如下:对屏幕S进行四分法分割与9个基准点选取,其包括将屏幕区域S进行第一层分割,分割为四部分,即上下左右均匀分割,记作S1、S2、S3、S4;依次选取其中一块区域Si(i=1,2,3,4),再次进行第二层分割,将Si分割为四部分,仍然是上下左右均匀分布,每部分为长方形;依次记作Si1、Si2、Si3、Si4;然后对依次选取其中一块区域Sij(i=1,2,3,4;j=1,2,3,4),进行第三次分割,即将Sij分割为四部分,仍然是上下左右均匀分布,每部分为长方形;依次记作Sij1、Sij2、Sij3、Sij4;之后根据需要决定是否对屏幕继续进行细化分割;分割完成之后,在每个区域Sijk选取9个点记作Aijkm,其中i=1,2,3,4,j=1,2,3,4,k=1,2,3,4,m=1,2,3,4,5,6,7,8,9,每个点的坐标分别记为(aijkmx,aijkmy),其中aijkmx为屏幕水平方向坐标,aijkmy为屏幕垂直方向的坐标,其中第九个点为每个区域的中心位置,其余8点均匀间隔环绕在第九个点周围。
3.根据权利要求2所述的一种基于四分法逐层分割九点定位的视线追踪标定方法,其特征在于,所述步骤S20具体实施方法如下:首先让受试者眼睛注视屏幕区域分割后某一区域中九个点中的一个点,采用眼动跟踪摄像***,拍摄人眼局部的高清图像,记作B1;然后对高清人眼局部图像B1进行滤波预处理,去处图像中的噪声,得到滤波后的图像,记作B2;最后通过亮斑检测与瞳孔检测方法,提取瞳孔角膜向量,记为(xe1,ye1)。
5.根据权利要求4所述的一种基于四分法逐层分割九点定位的视线追踪标定方法,其特征在于,所述步骤S40具体实施方法如下:根据上述屏幕上9点的位置坐标(aijkmx,aijkmy)与瞳孔-角膜向量坐标(xem,yei),进行如下解算,得到初步的标定公式,具体解算方法如下:
首先选取9点中的八点,得到(aijk1x,aijk1y)、(aijk2x,aijk2y)、(aijk3x,aijk3y)、(aijk4x,aijk4y)、(aijk5x,aijk5y)、(aijk6x,aijk6y)、(aijk7x,aijk7y)、(aijk8x,aijk8y),根据相应的八点瞳孔角膜向量(xe1,ye1)、(xe2,ye2)、(xe3,ye3)、(xe4,ye4)、(xe5,ye5)、(xe6,ye6)、(xe7,ye7)、(xe8,ye8),构造非线性齐次瞳孔角膜矩阵G,其定义如下:
其次,根据屏幕上八点的位置坐标(aijk1x,aijk1y)、(aijk2x,aijk2y)、(aijk3x,aijk3y)、(aijk4x,aijk4y)、(aijk5x,aijk5y)、(aijk6x,aijk6y)、(aijk7x,aijk7y)、(aijk8x,aijk8y),构造屏幕坐标向量Dx与Dy,其中Dx与Dy的构成如下:
Dx=[aijk1x aijk2x aijk3x aijk4x aijk5x aijk6x aijk7x aijk8x]T,
Dy=[aijk1y aijk2y aijk3y aijk4y aijk5y aijk6y aijk7y aijk8y]T;
最后,求解非线性齐次瞳孔角膜矩阵G的逆矩阵G-1,解算出标定因子向量Eijkmx、Eijkmy,其求解方法如下式所示:
Eijkmx=G-1Dx、Eijkmy=G-1Dy;
依次采用其它组合选取9点中的八点,重复上述过程,分别解算出标定因子向量,由于9点中选取8点的组合有9种,因此最终能解算出九组标定因子向量Eijkmx、Eijkmy,选取加权平均值作为区域Sijk的标定因子向量Eijkx、Eijky。其计算公式如下:
6.根据权利要求5所述的一种基于四分法逐层分割九点定位的视线追踪标定方法,其特征在于,所述步骤S50具体实施方法如下:在每个区域Sijk均按上述方法选取9个点,重复上述步骤S10至S40:得到标定因子向量Eijkx、Eijky。
7.根据权利要求6所述的一种基于四分法逐层分割九点定位的视线追踪标定方法,其特征在于,所述步骤S60具体实施方法如下:让受试者眼睛依次注视屏幕区域Sijk上的九个点;重复步骤S20:得到瞳孔角膜向量记作(xe1,ye1)、(xe2,ye2)、(xe3,ye3)、(xe4,ye4)、(xe5,ye5)、(xe6,ye6)、(xe7,ye7)、(xe8,ye8)、(xe9,ye9),并求取该区域的瞳孔角膜向量均值,记作(xijk,yijk),其计算方法为:
依次计算出所有区域Sijk瞳孔角膜向量均值;
然后求解Sij区域的四个子区域Sij1、Sij2、Sij3与Sij4,计算其平均瞳孔角膜向量为(xij,yij),其计算方式如下:
采用同样的方法,依次计算Sij区域的平均瞳孔角膜向量;
然后求解Si区域的平均瞳孔角膜向量,记为(xi,yi),其计算方法如下:
采用同样的方法,依次计算Si区域的平均瞳孔角膜向量。
8.根据权利要求7所述的一种基于四分法逐层分割九点定位的视线追踪标定方法,其特征在于,所述步骤S70具体实施方法如下:采用摄像设备对观察者关注屏幕区域的实时眼局部进行拍照,经过步骤S20的滤波处理,提取出实时的瞳孔角膜,记作(x,y),首先与第一层Si的四个区域进行第一层判断,求取第一层瞳孔角膜误差向量,记作e1、e2、e3、e4,其计算方式为:
e1=(x-x1)2+(y-y1)2,
e2=(x-x2)2+(y-y2)2,
e3=(x-x3)2+(y-y3)2,
e4=(x-x4)2+(y-y4)2,
然后比较e1、e2、e3、e4的大小,选取其中的最小者,不失一般性,并对最小者区域的四个子区域对应的平均瞳孔角膜向量,进行第二层瞳孔角膜误差向量求解,分别记作e21、e22、e23、e24。其计算方式为:
e21=(x-x21)2+(y-y21)2,
e22=(x-x22)2+(y-y22)2,
e23=(x-x23)2+(y-y23)2,
e24=(x-x24)2+(y-y24)2,
然后比较e21、e22、e23、e24的大小,选取其中的最小者,不失一般性,并对最小者的四个子区域对应的平均瞳孔角膜向量,进行第三层瞳孔角膜误差向量求解,分别记作e231、e232、e233、e234,其计算方式为:
e231=(x-x231)2+(y-y231)2,
e232=(x-x232)2+(y-y232)2,
e233=(x-x233)2+(y-y233)2,
e234=(x-x234)2+(y-y234)2,
然后比较e231、e232、e233、e234的大小,选取其中的最小者,不失一般性。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010209806.7A CN111429526B (zh) | 2020-03-23 | 2020-03-23 | 一种基于四分法逐层分割九点定位的视线追踪标定方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010209806.7A CN111429526B (zh) | 2020-03-23 | 2020-03-23 | 一种基于四分法逐层分割九点定位的视线追踪标定方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111429526A true CN111429526A (zh) | 2020-07-17 |
CN111429526B CN111429526B (zh) | 2023-04-14 |
Family
ID=71555361
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010209806.7A Active CN111429526B (zh) | 2020-03-23 | 2020-03-23 | 一种基于四分法逐层分割九点定位的视线追踪标定方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111429526B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113052921A (zh) * | 2021-05-18 | 2021-06-29 | 北京科技大学 | 一种三维视线跟踪***的***标定方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102125422A (zh) * | 2010-01-12 | 2011-07-20 | 北京科技大学 | 视线追踪***中基于瞳孔-角膜反射的视线估计方法 |
CN106056092A (zh) * | 2016-06-08 | 2016-10-26 | 华南理工大学 | 基于虹膜与瞳孔的用于头戴式设备的视线估计方法 |
US20170031437A1 (en) * | 2015-07-30 | 2017-02-02 | Boe Technology Group Co., Ltd. | Sight tracking method and device |
CN107808397A (zh) * | 2017-11-10 | 2018-03-16 | 京东方科技集团股份有限公司 | 瞳孔定位装置、瞳孔定位方法和视线追踪设备 |
CN108427503A (zh) * | 2018-03-26 | 2018-08-21 | 京东方科技集团股份有限公司 | 人眼追踪方法及人眼追踪装置 |
-
2020
- 2020-03-23 CN CN202010209806.7A patent/CN111429526B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102125422A (zh) * | 2010-01-12 | 2011-07-20 | 北京科技大学 | 视线追踪***中基于瞳孔-角膜反射的视线估计方法 |
US20170031437A1 (en) * | 2015-07-30 | 2017-02-02 | Boe Technology Group Co., Ltd. | Sight tracking method and device |
CN106056092A (zh) * | 2016-06-08 | 2016-10-26 | 华南理工大学 | 基于虹膜与瞳孔的用于头戴式设备的视线估计方法 |
US20190121427A1 (en) * | 2016-06-08 | 2019-04-25 | South China University Of Technology | Iris and pupil-based gaze estimation method for head-mounted device |
CN107808397A (zh) * | 2017-11-10 | 2018-03-16 | 京东方科技集团股份有限公司 | 瞳孔定位装置、瞳孔定位方法和视线追踪设备 |
CN108427503A (zh) * | 2018-03-26 | 2018-08-21 | 京东方科技集团股份有限公司 | 人眼追踪方法及人眼追踪装置 |
Non-Patent Citations (1)
Title |
---|
赵新灿;潘世豪;王雅萍;帖云;: "沉浸式三维视线追踪算法研究" * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113052921A (zh) * | 2021-05-18 | 2021-06-29 | 北京科技大学 | 一种三维视线跟踪***的***标定方法 |
CN113052921B (zh) * | 2021-05-18 | 2021-10-15 | 北京科技大学 | 一种三维视线跟踪***的***标定方法 |
Also Published As
Publication number | Publication date |
---|---|
CN111429526B (zh) | 2023-04-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108171673B (zh) | 图像处理方法、装置、车载抬头显示***及车辆 | |
Rolland et al. | Towards quantifying depth and size perception in virtual environments | |
CN106485207B (zh) | 一种基于双目视觉图像的指尖检测方法及*** | |
CN106504629B (zh) | 一种基于增强现实技术的汽车组装演示记忆*** | |
EP4383193A1 (en) | Line-of-sight direction tracking method and apparatus | |
CN103815866A (zh) | 视觉功能检查用方法和视觉功能检查用控制装置 | |
CN113421346B (zh) | 一种增强驾驶感的ar-hud抬头显示界面的设计方法 | |
CN106126786B (zh) | 座舱显示器人机界面设计人机工效定量评估方法 | |
CN107038722A (zh) | 一种设备定位方法及装置 | |
CN109634431B (zh) | 无介质浮空投影视觉追踪互动*** | |
JP2013024662A (ja) | 3次元範囲計測システム、3次元範囲計測プログラムおよび記録媒体 | |
CN108074237B (zh) | 图像清晰度检测方法、装置、存储介质及电子设备 | |
CN111427166B (zh) | 一种光场显示方法及***、存储介质和显示面板 | |
CN110456904B (zh) | 一种无需标定的增强现实眼镜眼动交互方法及*** | |
CN111145134A (zh) | 基于块效应的微透镜光场相机全聚焦图像生成算法 | |
CN111429526B (zh) | 一种基于四分法逐层分割九点定位的视线追踪标定方法 | |
CN112326206A (zh) | Ar模组双目融合检测装置及检测方法 | |
US11508187B2 (en) | Pupil detection device | |
CN111522443B (zh) | 车辆a柱显示组件的显示方法、***、设备和存储介质 | |
CN108616736A (zh) | 用于立体显示的跟踪定位方法及装置 | |
CN104349197A (zh) | 一种数据处理方法及装置 | |
CN111428634B (zh) | 一种采用六点法分块模糊加权的人眼视线追踪定位方法 | |
CN111897423B (zh) | 一种基于mr鱼缸的精确触控交互方法及*** | |
CN108629786A (zh) | 图像边缘检测方法及装置 | |
CN109766012B (zh) | 视线计算方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |