CN104751467A - 一种基于动态交比的凝视点估计方法及其*** - Google Patents

一种基于动态交比的凝视点估计方法及其*** Download PDF

Info

Publication number
CN104751467A
CN104751467A CN201510151563.5A CN201510151563A CN104751467A CN 104751467 A CN104751467 A CN 104751467A CN 201510151563 A CN201510151563 A CN 201510151563A CN 104751467 A CN104751467 A CN 104751467A
Authority
CN
China
Prior art keywords
angle
sin
double ratio
formula
lambda
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510151563.5A
Other languages
English (en)
Other versions
CN104751467B (zh
Inventor
程洪
谢道训
杨路
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN201510151563.5A priority Critical patent/CN104751467B/zh
Publication of CN104751467A publication Critical patent/CN104751467A/zh
Application granted granted Critical
Publication of CN104751467B publication Critical patent/CN104751467B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Secondary Cells (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于动态交比的凝视点估计方法及其***，方法包括以下子步骤：S1：建立动态交比模型，推导线交比和弧交比的关系； S2：根据相机采集到的图像中光斑点间的距离，对线交比和弧交比的交比比例关系进行拟合；S3：对凝视点估计计算：根据步骤S2中拟合得到的线交比和弧交比的关系式，实时计算交比值并计算凝视点。本发明无须计算四个参数，直接拟合线交比和弧交比的关系，当眼睛移动或转动时，即可直接利用该关系得到交比关系，然后直接利用四个光斑点计算凝视点，该方法省略了计算虚拟投影点的过程，即减少了计算四个点的误差，而只有计算交比这一误差，具有精确度高，实时性好的特点。

Description

一种基于动态交比的凝视点估计方法及其***
技术领域
本发明涉及一种基于动态交比的凝视点估计方法及其***。
背景技术
随着人机交互技术的发展，越来越多的人机交互产品深入了我们的日常生活，眼动跟踪也日益成为的研究热点，从传统的接触式到现在的非接触式，人机交互方式朝着更自然，舒适方便的方向发展，眼睛作为人类心灵的窗口，作为人类表达思想和情感，获取信息的重要来源，眼动跟踪技术无疑是方便的交流方式，经过长时间的发展，眼动跟踪技术也在不断完善，依靠眼睛进行操作的应用与设备也越来越多，很多时候取代了手指的行为动作，因此，对眼动跟踪***眼睛具有十分重要的意义。
基于投影空间中交比不变性的眼动跟踪技术一直是眼动跟踪研究者们的热点，通过标定建立虚拟投影平面进而进行凝视点估计是其途径之一。有研究者提出了采用建立虚拟平面的方法，通过标定来设定虚拟平面，后来又在原来参数的基础上添加了垂直分量。另外一些研究者也在此基础上进行了研究，在没有改变标定参数的情况下，对结果进行了误差修正，通过注视屏幕中已知的五个点，人为对结果进行修正。2011年，Morimoto总结了基于交比眼动跟踪方法，指出现在的基于交比不变性的眼动跟踪***对头部位置的变化较敏感，作者总结了现在的两种扩展的方法来提高头部位置的鲁棒性，第一种方法是动态补偿角膜反射模型导致的误差变化(Dynamic Displacement Vector Correction(CR-DD))，该方法侧重在结果上进行误差修正，第二种方法(Planarization of CR Features(PL-CR)method)估计真正的共面眼睛特征，通过建立虚拟平面模型，从而使得交比可以使用，该方法侧重修改参数，使得瞳孔中心和光斑中心所在的虚拟平面共面。作者还补充说明了第二种方法对头部的适应性较好。
采用动态交比进行凝视点估计的方法，用户进行凝视点估计的差异性主要由以下两种原因导致：1)人眼的视轴与光轴之间的偏差，这个每个人的可能不一样，一般小于5°；2)如何精确拟合线交比和弧交比的关系是提高凝视点精度的关键。本发明旨在拟合线交比和弧交比关系即第二个问题。
眼睛作为一个球体，利用交比不变性来估计凝视点时，需要建立虚拟投影平面。如图1所示，此方法在用户通过标定得到四个参数，计算四个虚拟投影点，以此建立一个虚拟平面，使瞳孔中心和光斑的虚拟投影点处于同一个平面，然后利用交比不变性来估计凝视点，但是该方法会产生四个虚拟点的误差，从而最终产生较大的凝视点误差。而为了消除这四个点的误差，即直接利用四个光斑点的坐标来计算。
因此需要一种无需构造虚拟平面，即省略了计算虚拟光斑投影点这一步骤，通过离线学习线交比和弧交比的比例关系,直接利用检测到的光斑点来估计凝视点。
发明内容
本发明的目的在于克服现有技术的不足，提供一种基于动态交比的凝视点估计方法及其***，获取基于近红外光图像的光斑点中心与瞳孔中心，拟合线交比和弧交比的关系，直接利用检测到的光斑点进行凝视点估计；解决现有技术为了使用交比不变性的原理来估计凝视点,需要通过构造一个虚拟平面，使瞳孔中心和光斑的虚拟投影点处于同一个平面，然后利用交比不变性来估计凝视点的方法会产生四个虚拟点的误差，从而最终产生较大的凝视点误差的问题。
本发明的目的是通过以下技术方案来实现的：一种基于动态交比的凝视点估计方法，它包括以下子步骤：
S1：建立动态交比模型，推导线交比和弧交比的关系；
S2：根据相机采集到的图像中光斑点间的距离，对线交比和弧交比的交比比例关系进行拟合；
S3：对凝视点估计计算：根据步骤S2中拟合得到的线交比和弧交比的关系式，实时计算交比值并计算凝视点。
所述的推导线交比和弧交比的关系包括以下子步骤：
S11：在四点共线的情况下得到线交比表达式CRL，其中四点分别为A、B、C和D，发射点为P，包括以下子步骤：
S1101：在△APC、△BPC、△APD、△BPD中，根据三角形正弦定理我们可以得到下面四个关系式：
AC PA = sin ∠ APC sin ∠ PCA ; PB BC = sin ∠ PCB sin ∠ BPC ; PA AD = sin ∠ PDA sin ∠ APD ; BD PB = sin ∠ BPD sin ∠ PDB ;
S1102：将步骤S1101中得到的四个公式相乘，得到四点共线的交比表达式CRL：
CR L = AC * BD BC * AD = sin ∠ APC * sin ∠ BPD sin ∠ BPC * sin ∠ APD ;
S12：在四点共圆的情况下得到弧交比表达式CRC，其中四点分别为A、B、C和D，发射点为P，圆心为O，包括以下步骤：
S1201：在△APC、△BPC、△APD、△BPD中，根据三角形正弦定理我们可以得到下面四个关系式：
AC PA = sin ∠ APC sin ∠ PCA ; PB BC = sin ∠ PCB sin ∠ BPC ; PA AD = sin ∠ PDA sin ∠ APD ; BD PB = sin ∠ BPD sin ∠ PDB ;
S1202：将步骤S1102中得到的公式相乘，得到四点共圆的交比表达式CRC：
CR C = sin ∠ PCB * sin ∠ PDA sin ∠ PCA * sin ∠ PDB * sin ∠ APC * sin ∠ BPD sin ∠ BPC * sin ∠ APD = sin ∠ PCB * sin ∠ PDA sin ∠ PCA * sin ∠ PDB * CR L ;
S1203：由于在一个圆中，等长的弧对应的圆周角相等，也等于其对应的圆心角的一半，因此可以得到：
∠ ACB = ∠ ADB = ∠ AOB 2 ;
∠ PCA = ∠ PCB + 1 2 ∠ AOB ;
∠ PDA = ∠ PDB + 1 2 ∠ AOB ;
S1204：将步骤S1203得到的公式代入步骤S1201中得到的公式，得到下式：
CR C = sin ∠ PCB * sin ∠ PDA sin ∠ PCA * sin ∠ PDB * CR L = sin ∠ PCB * sin ( ∠ PDB + ∠ AOB 2 ) sin ( ∠ PCB + ∠ AOB 2 ) * sin ∠ PDB * CR L ;
将上式通过三角和化积公式展开得到：
CR C = 1 + cot ∠ PDB * tan 1 2 ∠ AOB 1 + cot ∠ PCB * tan 1 2 ∠ AOB * CR L ;
S1205：在眼动跟踪的***中，每个人的眼球半径几乎相等，因此交比比例关系值只与眼球的位置有关，而且，眼球与相机的距离远大于眼球的半径，可以近似认为PA＝PB＝PC＝PD，因此有：
∠ PCB = π - ∠ BPC 2 ; ∠ PDB = π - ∠ BPD 2 ;
将上述两个公式代入步骤S1204中得到的公式，得到：
CR C = 1 + tan 1 2 ∠ BPD * tan 1 2 ∠ AOB 1 + tan 1 2 ∠ BPC * tan 1 2 ∠ AOB * CR L ;
S1206：眼球与相机的距离远大于眼球的半径，因此把相机到眼球上的任意点的距离均视为等于PA的长度；
由于在△BPD和△BPC中，有：
tan 1 2 ∠ BPD = BD 2 PA ; tan 1 2 ∠ BPC = BC 2 PA ;
在△AOB中，则有：
tan 1 2 ∠ AOB = AB 2 R 2 - ( AB 2 ) 2 = 1 4 R 2 AB 2 - 1 ;
其中R为眼球的半径；
将上面三个公式代入步骤S1205中得到的公式，得到：
CR C = 4 R 2 AB 2 - 1 + BD 2 PA 4 R 2 AB 2 - 1 + BC 2 PA * C R L .
步骤S2包括以下子步骤：
S21：标定采集样本点，计算公式如下：
CR x = x g W - x g ; CR y = y g H - y g ;
式中，CRx和CRy为计算得到的理论交比值，W和H分别为屏幕宽和高，xg，yg分别为标定点的横纵坐标值；
S22：通过标定程序，采集一系列注视所述的样本点的眼睛图像，经过图像处理得到每张图像对应的光斑点坐标和理论的线交比例，包括以下子步骤：
S2201：得到图像中弧交比的计算公式如下：
CR image x = ( x 1 v y 1 m - x 1 m y 1 v ) ( x 2 m y 2 v - x 2 v y 2 m ) ( x 1 v y 2 m - x 2 m y 1 v ) ( x 2 m y 2 v - x 2 v y 1 m ) ;
CR image y = ( x 2 v y 3 m - x 3 m y 2 v ) ( x 4 m y 3 v - x 3 v y 4 m ) ( x 2 v y 4 m - x 4 m y 2 v ) ( x 3 m y 3 v - x 3 v y 3 m ) ;
式中， u vi = ( x i v , y i v ) ( i = 1,2,3,4 ) , u mi = ( x i m , y i m ) ( i = 1,2,3,4 ) 是图像上的点；
S2202：根据样本点和步骤S1206得到公式，拟合线交比和弧交比关系Y：
Y = 4 R 2 AB 2 - 1 + BD 2 PA 4 R 2 AB 2 - 1 + BC 2 PA ;
式中，R是一个常数，无需拟合，PA可以再图像光斑点中反映出来，即我们可以采用光斑点的距离来代替PA进行拟合；
S2203：为了不再计算额外点的坐标，假设AB＝λAAD,BC＝λBAD,BD＝λCAD，步骤S22中的公式表示为：
Y = 4 R 2 ( λ A AD ) 2 - 1 + λ C AD 2 PA 4 R 2 ( λ A AD ) 2 - 1 + λ B AD 2 PA ;
再令：
λ 1 = 4 R 2 λ A 2 , λ 2 = λ C 2 PA , λ 3 = λ B 2 PA
步骤S2202中的公式表示为：
Y = λ 1 AD 2 - 1 + λ 2 AD λ 1 AD 2 - 1 + λ 3 AD ;
S2024：为了拟合更加准确和一般性，将步骤S2203得到的公式表示为：
Y = λ 1 AD 2 - λ 4 + λ 2 AD λ 1 AD 2 - λ 5 + λ 3 AD ;
S25：利用Matlab中非线性拟合工具来进行Y的拟合，得到线交比和弧交比的关系式。
所述的屏幕宽和高均以像素为单位。
步骤S3包括以下子步骤：
S31：当采集到一帧图像并检测出光斑点后，利用步骤S2201中的公式和步骤S2204中的公式计算出弧交比值以及线交比和弧交比的比例关系，得到线交比值；
S32：利用以下公式进行凝视点估计：
x g = C R x 1 + CR x * W ;
y g = C R y 1 + CR y * H ;
式中CRx和CRy为线交比值，W和H分别为屏幕的宽和高，xg和yg即为凝视点的估计坐标。
一种基于动态交比的凝视点估计方法的***，它包括动态交比模型建立模块、动态交比学习模块和凝视点估计模块，所述的动态交比模型建立用于推导线交比和弧交比的关系；所述的动态交比学习模块用于通过标定，拟合线交比和弧交比关系；所述的凝视点估计模块用于凝视点估计。
本发明的有益效果是：本发明无须计算传统方法需要计算的四个参数，直接拟合线交比和弧交比的关系，当眼睛移动或转动时,即可直接利用该关系得到交比关系，然后直接利用四个光斑点计算凝视点，该方法省略了计算虚拟投影点的过程，即减少了计算四个点的误差，而只有计算交比这一误差；实验结果证明，该方法具有精确度高，实时性好的特点。
附图说明
图1为虚拟投影平面示意图；
图2为本发明方法流程图；
图3为线交比推导示意图；
图4为弧交比推导示意图；
图5为利用光斑点计算交臂图；
图6为本发明***结构图。
具体实施方式
下面结合附图进一步详细描述本发明的技术方案：如图2所示，一种基于动态交比的凝视点估计方法，它包括以下子步骤：
S1：建立动态交比模型，推导线交比和弧交比的关系；
S2：根据相机采集到的图像中光斑点间的距离，对线交比和弧交比的交比比例关系进行拟合；
S3：对凝视点估计计算：根据步骤S2中拟合得到的线交比和弧交比的关系式，实时计算交比值并计算凝视点。
所述的推导线交比和弧交比的关系包括以下子步骤：
S11：在四点共线的情况下得到线交比表达式CRL，如图3所示，其中四点分别为A、B、C和D，发射点为P，包括以下子步骤：
S1101：在△APC、△BPC、△APD、△BPD中，根据三角形正弦定理我们可以得到下面四个关系式：
AC PA = sin ∠ APC sin ∠ PCA ; PB BC = sin ∠ PCB sin ∠ BPC ; PA AD = sin ∠ PDA sin ∠ APD ; BD PB = sin ∠ BPD sin ∠ PDB ;
S1102：将步骤S1101中得到的四个公式相乘，得到四点共线的交比表达式CRL：
CR L = AC * BD BC * AD = sin ∠ APC * sin ∠ BPD sin ∠ BPC * sin ∠ APD ;
由上式可知，交比只与四条直线PA、PB、PC、PD之间的夹角有关，而与直线ABCD的位置无关，因此，交比是个不变量。然而在ABCD四点共圆的情况下却不是如此。
S12：在四点共圆的情况下得到弧交比表达式CRC，如图4所示，其中四点分别为A、B、C和D，发射点为P，圆心为O，包括以下步骤：
S1201：在△APC、△BPC、△APD、△BPD中，根据三角形正弦定理我们可以得到下面四个关系式：
AC PA = sin ∠ APC sin ∠ PCA ; PB BC = sin ∠ PCB sin ∠ BPC ; PA AD = sin ∠ PDA sin ∠ APD ; BD PB = sin ∠ BPD sin ∠ PDB ;
S1202：将步骤S1102中得到的公式相乘，得到四点共圆的交比表达式CRC：
CR C = sin ∠ PCB * sin ∠ PDA sin ∠ PCA * sin ∠ PDB * sin ∠ APC * sin ∠ BPD sin ∠ BPC * sin ∠ APD = sin ∠ PCB * sin ∠ PDA sin ∠ PCA * sin ∠ PDB * CR L ;
S1203：由于在一个圆中，等长的弧对应的圆周角相等，也等于其对应的圆心角的一半，因此可以得到：
∠ ACB = ∠ ADB = ∠ AOB 2 ;
∠ PCA = ∠ PCB + 1 2 ∠ AOB ;
∠ PDA = ∠ PDB + 1 2 ∠ AOB ;
S1204：将步骤S1203得到的公式代入步骤S1201中得到的公式，得到下式：
CR C = sin ∠ PCB * sin ∠ PDA sin ∠ PCA * sin ∠ PDB * CR L = sin ∠ PCB * sin ( ∠ PDB + ∠ AOB 2 ) sin ( ∠ PCB + ∠ AOB 2 ) * sin ∠ PDB * CR L ;
将上式通过三角和化积公式展开得到：
CR C = 1 + cot ∠ PDB * tan 1 2 ∠ AOB 1 + cot ∠ PCB * tan 1 2 ∠ AOB * CR L ;
由上式可知，在四点共圆的情况下，交比比例关系与弧AB所对应的角度有关，也就是说与圆的位置和半径有关。
S1205：在眼动跟踪的***中，每个人的眼球半径几乎相等，因此交比比例关系值只与眼球的位置有关，而且，眼球与相机的距离(500mm左右)远大于眼球的半径(4mm)，可以近似认为PA＝PB＝PC＝PD，因此有：
∠ PCB = π - ∠ BPC 2 ; ∠ PDB = π - ∠ BPD 2 ;
将上述两个公式代入步骤S1204中得到的公式，得到：
CR C = 1 + tan 1 2 ∠ BPD * tan 1 2 ∠ AOB 1 + tan 1 2 ∠ BPC * tan 1 2 ∠ AOB * CR L ;
S1206：眼球与相机的距离远大于眼球的半径，因此把相机到眼球上的任意点的距离均视为等于PA的长度；
由于在△BPD和△BPC中，有：
tan 1 2 ∠ BPD = BD 2 PA ; tan 1 2 ∠ BPC = BC 2 PA ;
在△AOB中，则有：
tan 1 2 ∠ AOB = AB 2 R 2 - ( AB 2 ) 2 = 1 4 R 2 AB 2 - 1 ;
其中R为眼球的半径，每个人的半径大小约为4mm；
将上面三个公式代入步骤S1205中得到的公式，得到：
CR C = 4 R 2 AB 2 - 1 + BD 2 PA 4 R 2 AB 2 - 1 + BC 2 PA * C R L .
由以上式子可知：
四点共圆的交比值与四点共线交比的关系和眼球到相机的距离有关,即在图像中反映为与弧长AB有关。假如头动的范围不大的话，可以认为圆弧所对应的角度几乎不变，亦即两者交比是一个定的比例关系。因此，可以通过标定得到该比例关系，然后使用该比例关系计算实时的注视点坐标，省去了计算虚拟投影点，构造虚拟平面这一过程。
当人眼在不同位置的时候，交比的比例关系一直在变化，步骤S2为如何拟合这个比例关系。由上式可知，该比例关系与眼球和相机的距离有关，而眼球和相机的距离可以从相机采集到的图像中光斑点间的距离反应出来。因此，我们就是要拟合光斑点的距离和交比比例关系。
步骤S2包括以下子步骤：
S21：在屏幕上设定一些已知的标定点(标定点的个数可以自己设定)，当注视这些标定点时，我们是知道其理论的线交比值的，计算公式如下：
CR x = x g W - x g ; CR y = y g H - y g ;
式中，CRx和CRy为计算得到的理论交比值，W和H分别为屏幕宽和高，xg，yg分别为标定点的横纵坐标值；
S22：通过标定程序，采集一系列注视所述的样本点的眼睛图像，经过图像处理得到每张图像对应的光斑点坐标和理论的线交比例，包括以下子步骤：
S2201：得到图像中弧交比的计算公式如下：
CR image x = ( x 1 v y 1 m - x 1 m y 1 v ) ( x 2 m y 2 v - x 2 v y 2 m ) ( x 1 v y 2 m - x 2 m y 1 v ) ( x 2 m y 2 v - x 2 v y 1 m ) ;
CR image y = ( x 2 v y 3 m - x 3 m y 2 v ) ( x 4 m y 3 v - x 3 v y 4 m ) ( x 2 v y 4 m - x 4 m y 2 v ) ( x 3 m y 3 v - x 3 v y 3 m ) ;
如图5所示，式中， u vi = ( x i v , y i v ) ( i = 1,2,3,4 ) , u mi = ( x i m , y i m ) ( i = 1,2,3,4 ) 是图像上的点；
S2202：根据样本点和步骤S1206得到公式，拟合线交比和弧交比关系Y：
Y = 4 R 2 AB 2 - 1 + BD 2 PA 4 R 2 AB 2 - 1 + BC 2 PA ;
式中，R是一个常数，无需拟合，PA可以再图像光斑点中反映出来，即我们可以采用光斑点的距离来代替PA进行拟合；
S2203：因此，我们需要拟合的就是Y和AB、BC、BD之间的关系。但是为了简便，不再计算额外的点的坐标(B、C、D点的坐标)，可以假设，AB＝λAAD,BC＝λBAD,BD＝λCAD，步骤S22中的公式表示为：
Y = 4 R 2 ( λ A AD ) 2 - 1 + λ C AD 2 PA 4 R 2 ( λ A AD ) 2 - 1 + λ B AD 2 PA ;
再令：
λ 1 = 4 R 2 λ A 2 , λ 2 = λ C 2 PA , λ 3 = λ B 2 PA
步骤S2202中的公式表示为：
Y = λ 1 AD 2 - 1 + λ 2 AD λ 1 AD 2 - 1 + λ 3 AD ;
S2024：为了拟合更加准确和一般性，将步骤S2203得到的公式表示为：
Y = λ 1 AD 2 - λ 4 + λ 2 AD λ 1 AD 2 - λ 5 + λ 3 AD ;
S25：前面，我们已经通过标定程序获得了一系列的样本点，其中每个样本点我们都可以获得四个光斑点的坐标以及对应的理论线交比值。然后，我们可以利用Matlab中非线性拟合工具来进行Y的拟合，由此我们就得到了线交比和弧交比的关系式。
所述的屏幕宽和高均以像素为单位。
步骤S3包括以下子步骤：
S31：当采集到一帧图像并检测出光斑点后，利用步骤S2201中的公式和步骤S2204中的公式计算出弧交比值以及线交比和弧交比的比例关系，得到线交比值；
S32：利用以下公式进行凝视点估计：
x g = C R x 1 + CR x * W ;
y g = C R y 1 + CR y * H ;
式中CRx和CRy为线交比值，W和H分别为屏幕的宽和高，xg和yg即为凝视点的估计坐标。
一种基于动态交比的凝视点估计方法的***，它包括动态交比模型建立模块、动态交比学习模块和凝视点估计模块，所述的动态交比模型建立用于推导线交比和弧交比的关系；所述的动态交比学习模块用于通过标定，拟合线交比和弧交比关系；所述的凝视点估计模块用于凝视点估计。

Claims (6)

1.一种基于动态交比的凝视点估计方法，其特征在于：它包括以下子步骤：
S1：建立动态交比模型，推导线交比和弧交比的关系；
S2：根据相机采集到的图像中光斑点间的距离，对线交比和弧交比的交比比例关系进行拟合；
S3：对凝视点估计计算：根据步骤S2中拟合得到的线交比和弧交比的关系式，实时计算交比值并计算凝视点。
2.根据权利要求1所述的一种基于动态交比的凝视点估计方法，其特征在于：所述的推导线交比和弧交比的关系包括以下子步骤：
S11：在四点共线的情况下得到线交比表达式CRL，其中四点分别为A、B、C和D，发射点为P，包括以下子步骤：
S1101：在ΔAPC、ΔBPC、ΔAPD、ΔBPD中，根据三角形正弦定理我们可以得到下面四个关系式：
AC PA = sin ∠ APC sin ∠ PCA ; PB BC = sin ∠ PCB sin ∠ BPC ; PA AD = sin ∠ PDA sin ∠ APD ; BD PB = sin ∠ BPD sin ∠ PDB ;
S1102：将步骤S1101中得到的四个公式相乘，得到四点共线的交比表达式CRL：
CR L = AC * BD BC * AD = sin ∠ APC * sin ∠ BPD sin ∠ BPC * sin ∠ APD ;
S12：在四点共圆的情况下得到弧交比表达式CRC，其中四点分别为A、B、C和D，发射点为P，圆心为O，包括以下步骤：
S1201：在ΔAPC、ΔBPC、ΔAPD、ΔBPD中，根据三角形正弦定理我们可以得到下面四个关系式：
AC PA = sin ∠ APC sin ∠ PCA ; PB BC = sin ∠ PCB sin ∠ BPC ; PA AD = sin ∠ PDA sin ∠ APD ; BD PB = sin ∠ BPD sin ∠ PDB ;
S1202：将步骤S1102中得到的公式相乘，得到四点共圆的交比表达式CRC：
CR C = sin ∠ PCB * sin ∠ PDA sin ∠ PCA * sin ∠ PDB * sin ∠ APC * sin ∠ BPD sin ∠ BPC * sin ∠ APD = sin ∠ PCB * sin ∠ PDA sin ∠ PCA * sin ∠ PDB * CR L ;
S1203：由于在一个圆中，等长的弧对应的圆周角相等，也等于其对应的圆心角的一半，因此可以得到：
∠ ACB = ∠ ADB = ∠ AOB 2 ;
∠ PCA = ∠ PCB + 1 2 ∠ AOB ;
∠ PDA = ∠ PDB + 1 2 ∠ AOB ;
S1204：将步骤S1203得到的公式代入步骤S1201中得到的公式，得到下式：
CR C = sin ∠ PCB * sin ∠ PDA sin ∠ PCA * sin ∠ PDB * CR L = sin ∠ PCB * sin ( ∠ PDB + ∠ AOB 2 ) sin ( ∠ PCB + ∠ AOB 2 ) * sin ∠ PDB * CR L ;
将上式通过三角和化积公式展开得到：
CR C = 1 + cot ∠ PDB * tan 1 2 ∠ AOB 1 + cot ∠ PCB * tan 1 2 ∠ AOB ;
S1205：在眼动跟踪的***中，每个人的眼球半径几乎相等，因此交比比例关系值只与眼球的位置有关，而且，眼球与相机的距离远大于眼球的半径，可以近似认为PA＝PB＝PC＝PD，因此有：
∠ PCB = π - ∠ BPC 2 ; ∠ PDB = π - ∠ BPD 2 ;
将上述两个公式代入步骤S1204中得到的公式，得到：
CR C = 1 + tan 1 2 ∠ BPD * tan 1 2 ∠ AOB 1 + tan 1 2 ∠ BPC * tan 1 2 ∠ AOB * CR L ;
S1206：眼球与相机的距离远大于眼球的半径，因此把相机到眼球上的任意点的距离均视为等于PA的长度；
由于在ΔBPD和ΔBPC中，有：
tan 1 2 ∠ BPD = BD 2 PA ; tan 1 2 ∠ BPC = BC 2 PA ;
在ΔAOB中，则有：
tan 1 2 ∠ AOB = AB 2 R 2 - ( AB 2 ) 2 = 1 4 R 2 AB 2 - 1 ;
其中R为眼球的半径；
将上面三个公式代入步骤S1205中得到的公式，得到：
CR C = 4 R 2 AB 2 - 1 + BD 2 PA 4 R 2 AB 2 - 1 + BC 2 PA * CR L .
3.根据权利要求2所述的一种基于动态交比的凝视点估计方法，其特征在于：步骤S2包括以下子步骤：
S21：标定采集样本点，计算公式如下：
CR x = x g W - x g ; CR y = y g H - y g ;
式中，CRx和CRy为计算得到的理论交比值，W和H分别为屏幕宽和高，xg，yg分别为标定点的横纵坐标值；
S22：通过标定程序，采集一系列注视所述的样本点的眼睛图像，经过图像处理得到每张图像对应的光斑点坐标和理论的线交比例，包括以下子步骤：
S2201：得到图像中弧交比的计算公式如下：
CR image x = ( x 1 v y 1 m - x 1 m y 1 v ) ( x 2 m y 2 v - x 2 v y 2 m ) ( x 1 v y 2 m - x 2 m y 1 v ) ( x 2 m y 2 v - x 2 v y 1 m ) ;
CR image y = ( x 2 v y 3 m - x 3 m y 2 v ) ( x 4 m y 3 v - x 3 v y 4 m ) ( x 2 v y 4 m - x 4 m y 2 v ) ( x 3 m y 3 v - x 3 v y 3 m ) ;
式中， u vi = ( x i v , y i v ) ( i = 1,2,3,4 ) , u mi = ( x i m , y i m ) ( i = 1,2,3,4 ) 是图像上的点；
S2202：根据样本点和步骤S1206得到公式，拟合线交比和弧交比关系Y：
Y = 4 R 2 AB 2 - 1 + BD 2 PA 4 R 2 AB 2 - 1 + BC 2 PA ;
式中，R是一个常数，无需拟合，PA可以再图像光斑点中反映出来，即我们可以采用光斑点的距离来代替PA进行拟合；
S2203：为了不再计算额外点的坐标，假设AB＝λAAD,BC＝λBAD,BD＝λCAD，步骤S22中的公式表示为：
Y = 4 R 2 ( λ A AD ) 2 - 1 + λ C AD 2 PA 4 R 2 ( λ A AD ) 2 - 1 + λ B AD 2 PA ;
再令：
λ 1 = 4 R 2 λ A 2 , λ 2 = λ C 2 PA , λ 3 = λ B 2 PA
步骤S2202中的公式表示为：
Y = λ 1 AD 2 - 1 + λ 2 AD λ 1 AD 2 - 1 + λ 3 AD ;
S2024：为了拟合更加准确和一般性，将步骤S2203得到的公式表示为：
Y = λ 1 AD 2 - λ 4 + λ 2 AD λ 1 AD 2 - λ 5 + λ 3 AD ;
S25：利用Matlab中非线性拟合工具来进行Y的拟合，得到线交比和弧交比的关系式。
4.根据权利要求3所述的一种基于动态交比的凝视点估计方法，其特征在于：所述的屏幕宽和高均以像素为单位。
5.根据权利要求3所述的一种基于动态交比的凝视点估计方法，其特征在于：步骤S3包括以下子步骤：
S31：当采集到一帧图像并检测出光斑点后，利用步骤S2201中的公式和步骤S2204中的公式计算出弧交比值以及线交比和弧交比的比例关系，得到线交比值；
S32：利用以下公式进行凝视点估计：
x g = CR x 1 + CR x * W ;
y g = CR y 1 + CR y * H ;
式中CRx和CRy为线交比值，W和H分别为屏幕的宽和高，xg和yg即为凝视点的估计坐标。
6.如权利要求1-5中任意一项所述的一种基于动态交比的凝视点估计方法的***，其特征在于：它包括动态交比模型建立模块、动态交比学习模块和凝视点估计模块，所述的动态交比模型建立用于推导线交比和弧交比的关系；所述的动态交比学习模块用于通过标定，拟合线交比和弧交比关系；所述的凝视点估计模块用于凝视点估计。
CN201510151563.5A 2015-04-01 2015-04-01 一种基于动态交比的凝视点估计方法及其*** Active CN104751467B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510151563.5A CN104751467B (zh) 2015-04-01 2015-04-01 一种基于动态交比的凝视点估计方法及其***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510151563.5A CN104751467B (zh) 2015-04-01 2015-04-01 一种基于动态交比的凝视点估计方法及其***

Publications (2)

Publication Number Publication Date
CN104751467A true CN104751467A (zh) 2015-07-01
CN104751467B CN104751467B (zh) 2017-11-24

Family

ID=53591086

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510151563.5A Active CN104751467B (zh) 2015-04-01 2015-04-01 一种基于动态交比的凝视点估计方法及其***

Country Status (1)

Country Link
CN (1) CN104751467B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107770561A (zh) * 2017-10-30 2018-03-06 河海大学 一种利用眼动跟踪数据的多分辨率虚拟现实设备屏幕内容编码算法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103530618A (zh) * 2013-10-23 2014-01-22 哈尔滨工业大学深圳研究生院 一种基于角膜反射的非接触式视线追踪方法
CN103677270A (zh) * 2013-12-13 2014-03-26 电子科技大学 一种基于眼动跟踪的人机交互方法
CN103761519A (zh) * 2013-12-20 2014-04-30 哈尔滨工业大学深圳研究生院 一种基于自适应校准的非接触式视线追踪方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103530618A (zh) * 2013-10-23 2014-01-22 哈尔滨工业大学深圳研究生院 一种基于角膜反射的非接触式视线追踪方法
CN103677270A (zh) * 2013-12-13 2014-03-26 电子科技大学 一种基于眼动跟踪的人机交互方法
CN103761519A (zh) * 2013-12-20 2014-04-30 哈尔滨工业大学深圳研究生院 一种基于自适应校准的非接触式视线追踪方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
JEFFREY J. KANG 等: "Investigation of the Cross-Ratios Method for Point-of-Gaze Estimation", 《IEEE TRANSACTIONS ON BIOMEDICAL ENGINEERING》 *
任冬淳 等: "一种基于标准化人眼图像的视线估计算法", 《电子学报》 *
秦华标 等: "一种可克服头动影响的视线跟踪***", 《电子学报》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107770561A (zh) * 2017-10-30 2018-03-06 河海大学 一种利用眼动跟踪数据的多分辨率虚拟现实设备屏幕内容编码算法

Also Published As

Publication number Publication date
CN104751467B (zh) 2017-11-24

Similar Documents

Publication Publication Date Title
CN201307266Y (zh) 双目视线跟踪装置
CN107516326A (zh) 融合单目视觉和编码器信息的机器人定位方法和***
CN106272423A (zh) 一种针对大尺度环境的多机器人协同制图与定位的方法
WO2023273093A1 (zh) 一种人体三维模型获取方法、装置、智能终端及存储介质
CN103245335B (zh) 一种自主在轨服务航天器超近距离视觉位姿测量方法
CN103386683A (zh) 一种基于Kinect的体感控制机械臂方法
US20140313124A1 (en) Method and apparatus for tracking user's gaze point using mobile terminal
CN109048897B (zh) 一种主从机器人遥操作的方法
CN108762253B (zh) 一种应用于为人导航***的人机队形控制方法
CN104182933A (zh) 一种基于逆向除法模型的广角镜头图像畸变校正方法
TW201329791A (zh) 具調校功能之顯示方法與系統
CN103955316A (zh) 一种指尖触碰检测***及方法
WO2018188116A1 (zh) 一种手势识别方法、装置及***
CN103017689A (zh) 一种静态接触角的计算方法
CN110543013A (zh) 一种调控光分布自由曲面光学***的简化构建方法
CN110068824A (zh) 一种传感器位姿确定方法和装置
CN102903092A (zh) 一种基于四点变换的图像自适应校正方法
CN104751467A (zh) 一种基于动态交比的凝视点估计方法及其***
CN115840502A (zh) 三维视线追踪方法、装置、设备及存储介质
JP6564054B2 (ja) 非対称レンズの安息角を決定するためのシステム及び方法
CN105187812A (zh) 一种双目视觉立体匹配算法
Antonov et al. Markovian projection onto a displaced diffusion: Generic formulas with applications
Cao et al. Gesture recognition based on ConvLSTM-attention implementation of small data sEMG signals
CN105204168A (zh) 一种基于双波前校正器的无波前探测器远场激光束整形装置及方法
CN206532038U (zh) 分体式ar智能眼镜

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant