CN103677270A

CN103677270A - 一种基于眼动跟踪的人机交互方法

Info

Publication number: CN103677270A
Application number: CN201310684342.5A
Authority: CN
Inventors: 程洪; 姬艳丽; 刘雅齐; 杨路
Original assignee: University of Electronic Science and Technology of China
Current assignee: University of Electronic Science and Technology of China
Priority date: 2013-12-13
Filing date: 2013-12-13
Publication date: 2014-03-26
Anticipated expiration: 2033-12-13
Also published as: CN103677270B

Abstract

一种基于眼动跟踪的人机交互方法，包括五组朝向计算机操作者的红外光源和一台内置红外滤光片的相机，其中四组红外光源设置在计算机显示屏的四个角落，另一组红外光源设置在相机镜头周围；相机设置在计算机显示屏下方并连接到计算机，相机镜头朝向操作者面部；包括标定的步骤，捕获和检测图像的步骤，判断眨眼的步骤，判断凝视点变化的步骤和输出交互指令的步骤。本发明的有益效果在于：1.标定简单，移植性好；2.通过对暗瞳进行检测，增加了适用用户；3.通过平滑处理，克服了人眼生理颤动带来的干扰；4.操作者头部在较大范围内移动***精确度仍然较高；5.使用单个相机，成本相对较低；6.处理速度较快，能够满足实时的人机交互。

Description

一种基于眼动跟踪的人机交互方法

技术领域

本发明涉及计算机视觉控制技术领域，具体来讲是一种基于眼动跟踪的人机交互方法。

背景技术

在人机交互中，眼动跟踪扮演着一个非常重要的角色，眼动跟踪可以被当作连接人与计算设备的接口，比起鼠标与键盘，眼动跟踪交互提供给人们一种更加自然的方式来进行人机交互。估计眼动实现方向的方法也有很多种：光反射法，潜在的电子皮肤，以及隐形眼镜等，这些方法又被分类为侵入式或者非侵入式的方法，非侵入式的方法更有优势，因为非侵入式的方法使用起来更舒服。但是在眼动跟踪研究中，仍然还有许多没有解决的问题。最普遍的是它的精度问题，头部运动的限制，鲁棒性，以及标定的容易度。

发明内容

本发明的目的是提供一种基于眼动跟踪的人机交互方法，本方法使得操作者头部在较大范围移动时仍能保持较高的精确度。

实现本发明目的的技术方案如下：一种基于眼动跟踪的人机交互方法，包括五组朝向计算机操作者的红外光源和一台内置红外滤光片的相机，其中四组红外光源设置在计算机显示屏的四个角落，另一组红外光源设置在相机镜头周围；相机设置在计算机显示屏下方并连接到计算机，相机镜头朝向操作者面部；包括

标定的步骤，包括

101：计算机通过相机捕获操作者注视显示屏任一角落的红外光源时的面部图像，对图像进行眼睛检测、光斑检测和瞳孔检测，得到瞳孔中心、相机镜头周围的红外光源对应的光斑中心和该组红外光源对应的光斑中心，计算对应的标定系数；

102：依照上述操作，分别计算操作者注视显示屏其它角落的红外光源时对应的标定系数；捕获和检测图像的步骤，包括

201：计算机通过相机以帧频F持续捕获操作者观看显示屏的面部图像；

202：对每一帧图像进行眼睛检测、光斑检测、瞳孔检测和凝视点估计；

判断眨眼的步骤，包括

301：判断以任意时刻t为起始点的时间段T_L中捕获的L帧连续图像，L=T_L*F；如果L帧图像中有且仅有一个时间段T_K中捕获的K帧连续的图像未检测到光斑，T_K<T_L,设定为操作者眨眼一次；如果L帧图像中有两个时间段T_K1和T_K2中各自捕获的K1和K2帧连续的图像未检测到光斑，T_K1<T_L、T_K2<T_L且T_K1+T_K2<T_L，并且两个时间段各自捕获的连续图像之间的其它图像检测到光斑，设定为操作者眨眼两次；

判断凝视点变化的步骤：

401：设任意时刻t捕获的那一帧图像中的凝视点在屏幕上的横坐标g_x纵坐标g_y；

402：判断以时刻t为起始点的时间段T_R中的R帧连续图像，R=T_R*F，如果R帧图像中的凝视点均停留在以横坐标g_x纵坐标g_y为圆心，半径为r的圆内，设定为凝视点停留；

403：判断以时刻t为起始点的时间段T_D中的D帧连续图像，D=T_D*F，如果D帧图像中的凝视点的横坐标和纵坐标单调减小，且总的减小量分别超过横坐标变化量X和纵坐标变化量Y，设定为凝视点向左上方移动；

404：判断以时刻t为起始点的时间段T_U中的U帧连续图像，U=T_U*F，如果U帧图像中的凝视点的横坐标和纵坐标单调增加，且总的增加量分别超过横坐标变化量X和纵坐标变化量Y，设定为凝视点向右下方移动；

输出交互指令的步骤，包括

501：如操作者眨眼一次，则输出鼠标左键单击的指令；

502：如操作者眨眼两次，则输出鼠标左键双击的指令；

503：如凝视点停留，则输出鼠标右键单击的指令；

504：如凝视点向左上方移动，则输出鼠标滚轮向上滚动的指令；

505：如凝视点向右下方移动，则输出鼠标滚轮向下滚动的指令。

更进一步地，

所述眼睛检测包括：对捕获的面部图像进行二值化，得到黑白图像；对黑白图像进行轮廓查找，确定查找到的轮廓边界包裹的最小矩形框为人眼矩形框；

所述光斑检测包括：根据人眼矩形框截取面部图像，得到人眼矩形框图像；对人眼矩形框图像进行二值化，得到二值化图像；对二值化图像去除噪声；查找去除噪声后的二值化图像中面积最大的五块白色区域作为五组红外光源对应的光斑；确定五个光斑的质心为光斑中心；确定五个光斑与五组红外光源的一一对应关系；

所述瞳孔检测包括：分别以五个光斑中心的横坐标的平均值和纵坐标的平均值为瞳孔中心的初始化横坐标值和初始化纵坐标值；设定瞳孔矩形框，以瞳孔中心的初始化横坐标值和初始化纵坐标值为瞳孔矩形框的中心；对瞳孔矩形框进行垂直与水平投影积分，得到瞳孔矩形框中只包含瞳孔的小矩形框；从小矩形框中查找瞳孔边界及其中心；

所述凝视点估计包括：根据五个光斑中心以及标定系数，分别计算显示屏四个角落的红外光源对应的光斑中心在眼睛角膜上的四个虚拟投影点；根据瞳孔中心和四个虚拟投影点，以及显示屏的长度和宽度，估计凝视点。

更进一步的，所述时间段T_L，时间段T_R，时间段T_D和时间段T_U是同一个时间段。

更进一步地，所述帧频F为15帧/秒；所述时间段T_L，时间段T_R，时间段T_D和时间段T_U的时长均为2秒；所述时间段T_K，时间段T_K1和时间段T_K2均大于0.5秒；所述半径r为

所述横坐标变化量X和纵坐标变化量Y分别为

和

其中w为显示屏宽度，h为显示屏高度。

本发明的有益效果在于，1、标定简单，移植性好；2、通过对暗瞳进行检测，避开了对不同人眼，亮瞳效果不好的用户，增加了适用用户；3、通过平滑处理，克服了人眼生理颤动带来的干扰；4、操作者头部在较大范围内移动***精确度仍然较高；5、使用单个相机，与使用多个相机相比，成本相对较低；6、处理速度较快，***响应更加快速，及时，能够满足实时的人机交互。

附图说明

图1为红外光源、相机和捕获的面部图像、人眼矩形框、人眼矩形框图像的示意图；

图2为人眼矩形框图像中光斑分布的示意图；

图3、图4和图5为凝视点估计的原理示意图；

图6为凝视点停留的示意图；

图7为凝视点向左上方移动的示意图；

图8为凝视点向右下方移动的示意图。

具体实施方式

如图1所示，一种基于眼动跟踪的人机交互方法，包括五组朝向计算机操作者的红外光源和一台内置红外滤光片的相机，其中四组红外光源LED1、LED2、LED3和LED4设置在计算机显示屏的四个角落，另一组红外光源LED5设置在相机镜头3周围；相机设置在计算机显示屏下方并连接到计算机，相机镜头3朝向操作者面部。

眼睛检测的方法为：红外光源在人眼里反射产生普尔钦亮斑，在带有滤光片的相机捕获的灰色面部图像1中，位于人眼角膜上的普尔钦亮斑为最亮，查找人眼的位置可以转化成查找最亮的普尔钦亮斑的位置，查找左眼或者右眼的位置可以转化成查找横坐标值最小的或者最大的普尔钦亮斑的位置。通过二值化，获得普尔钦亮斑区域为白色，其余部位为黑色的黑白图像，对该黑白图像进行轮廓查找（查找黑白像素的边界），确定查找到的轮廓边界包裹的最小矩形框作为人眼所在的区域则为人眼矩形框2。

光斑检测的方法为：

Step1：使用人眼矩形框2截取面部图像，得到人眼矩形框图像2’；

Step2：对人眼矩形框图像通过设定阈值来进行分割，获得一个二值化图像；

Step3：处理二值化图像以及形态学操作以去除噪声；

在二值化图像中，红外灯反射产生五个亮度值为1的光斑（普尔钦亮斑），不同的光斑形成不同的白色区域。但是，由于噪声的存在，以及不同亮度的外界环境光照条件，也可能会产生亮度值为1的其他的白色区域。另外，由于选取阈值的不当，红外灯反射产生的单个光斑也可能会被分割成多个小块，形成多块白色区域，这里通过先腐蚀再膨胀形态学操作（《学习Opencv(中文版)》）来消除部分面积较小的噪声带来的干扰。

Step4：区域分组；

经过形态学操作以后，此时二值化图像中只剩下一些面积相对较大的白色区域。我们发现，噪声所在白色区域面积要小于光斑所在的白色区域面积，因此只需要在二值化图像中查找出面积最大的五块白色区域即是光斑所在的白色区域。通过开源计算机视觉库Opencv里的cvFindContours函数查找二值化图像中每块白色区域的轮廓，再利用cvContourArea函数分别计算每块白色区域包含的面积（像素点和）。对每个区域面积按照由大到小进行排序，排序后选取五个面积最大的区域即为光斑区域。

Step5：计算每块光斑区域的中心；

通过前面的计算，五个光斑都被检测到了，求出每个光斑区域的质心作为光斑中心。

Step6：确定五个光斑与五组红外光源的一一对应关系；

由五组红外光源的相对位置关系可以知道，纵坐标值最大的是LED5，横坐标值最小的是LED1和LED3，横坐标值最大的是LED2和LED4，且LED1的纵坐标值小于LED3的纵坐标值，LED2的纵坐标值小于LED4的纵坐标值。根据这个关系，比较五个光斑的光斑中心的坐标值，即可确定五个光斑与五组红外光源的一一对应关系。如图2，在人眼矩形框图像中，光斑LED1’、LED2’、LED3’、LED4’和LED5’与红外光源LED1、LED2、LED3、LED4和LED5一一对应。

瞳孔检测的方法为：

Step1：初始化瞳孔区域中心；

前面已经获得五个光斑的中心。实际上，五个光斑与瞳孔的位置相隔很近，因此我们分别使用五个光斑中心的横坐标与纵坐标平均值作为瞳孔中心的初始化坐标值，以该中心坐标作为瞳孔矩形框的中心，该矩形框大小可根据实际情况设定（一般长宽为160*120像素）。

Step2:迭代投影积分

对上述瞳孔矩形框进行垂直与水平投影积分，因为瞳孔相对眼睛周围其他区域要暗一些，通过垂直和水平投影积分，每一行每一列像素值和最小的坐标都被查找出来，通过迭代的投影积分，我们能够得到瞳孔矩形框中只包含瞳孔的小矩形框（长宽为80*60像素）。再通过Opencv二值化函数cvThreshold，轮廓查找函数cvFindContours，霍夫变换查找圆函数cvHoughCircles，即可查找到瞳孔边界及其中心。

标定的方法为：

计算机通过相机捕获操作者注视显示屏任一角落的红外光源时的面部图像，对图像进行眼睛检测、光斑检测和瞳孔检测，得到瞳孔中心、相机镜头周围的红外光源LED5对应的光斑中心和该组红外光源对应的光斑中心，计算对应的标定系数。

假设操作者注视LED1，计算机通过相机捕获其面部图像。通过眼睛检测、光斑检测和瞳孔检测，得到瞳孔中心u_p、相机镜头周围的红外光源LED5对应的光斑中心u_c和红外光源LED1对应的光斑中心u_r1。因为操作者注视的是LED1，LED1所产生的光斑所对应的虚拟投影点应该与瞳孔的中心重合，通过这个约束，我们可以用以下方程来计算这个系数：

α_{1} = \frac{d (u_{p}, u_{c})}{d (u_{r 1}, u_{c})}

上式中，α₁是操作者注视LED1时的标定系数，d(x₁,x₂)是点x₁,x₂之间的欧式距离。当用户分别注视LED2、LED3和LED4时，根据上述方法，可以计算得到相应的标定系数α₂,α₃和α₄。

凝视点估计的方法为：

通过投影过程中交比的不变性来估计眼睛凝视点的位置。在图3中，假设在角膜表面有一个与之相切的虚拟切平面X，点v₁，v₂，v₃，v₄在这个虚拟切平面上，是屏幕角落四组红外光源LED1，LED2，LED3和LED4在这个虚拟切平面的投影点，这四个点我们称之为虚拟投影点，他们的投影中心是角膜球体中心J。假设这些虚拟投影点是大致共面的，那么这四个虚拟点连成的四边形就是屏幕显示器的投影，这些虚拟投影点和瞳孔中心P在相机图像平面T上被投影成五个点u_v1,u_v2,u_v3,u_v4和u_P，Z是相机光轴中心。从而，从屏幕显示器到图像平面，这里面有两个投影转换，如果这个虚拟投影点是大致共面的，凝视点g点坐标就可以通过使用投影不变性来进行计算估计得到。

具体如下：如图4所示，u_v1,u_v2,u_v3,u_v4是角膜上的虚拟投影点，u_p是图像中瞳孔中心，c是u_v1,u_v2,u_v3,u_v4组成的四边形顶点连线的交叉点。其中，u_v1=u_c+α₁(u_r1-u_c)，u_v2=u_c+α₂(u_r2-u_c)，u_v3=u_c+α₃(u_r3-u_c)，u_v4=u_c+α₄(u_r4-u_c)，式中u_c是相机镜头周围的红外光源LED5对应的光斑中心，u_r1是红外光源LED1对应的光斑中心，u_r2是红外光源LED2对应的光斑中心，u_r3是红外光源LED3对应的光斑中心，u_r4是红外光源LED4对应的光斑中心。

u_m1为消失点a和c所在的直线和u_v1,u_v2所在直线的交点，u_m2为消失点a和u_P所在的直线和u_v1,u_v2所在直线的交点，u_m3为消失点b和u_P所在的直线和u_v2,u_v4所在直线的交点，u_m4为消失点b和c点所在的直线和u_v2,u_v4所在直线的交点。

假设

u_{vi} = (x_{i}^{v}, y_{i}^{v}) (i = 1,2,3,4), u_{mi} = (x_{i}^{m}, y_{i}^{m}) (i = 1,2,3,4),

则直线

上四个点的交比为：

{CR}_{image}^{x} = \frac{(x_{1}^{v} y_{1}^{m} - x_{1}^{m} y_{1}^{v}) (x_{2}^{m} y_{2}^{v} - x_{2}^{v} y_{2}^{m})}{(x_{1}^{v} y_{2}^{m} - x_{2}^{m} y_{1}^{v}) (x_{2}^{m} y_{2}^{v} - x_{2}^{v} y_{1}^{m})}

同样的，屏幕显示器的交比，如图5所示，采用如下的方程进行计算：

{CR}_{image}^{x} = \frac{(w - \frac{w}{2}) {\hat{x}}_{g}}{(w - {\hat{x}}_{g}) \frac{w}{2}} = \frac{{\hat{x}}_{g}}{w - {\hat{x}}_{g}}

w是屏幕显示器的宽度，

是估计点g的x坐标。

根据投影空间的交比不变性质，那些交比是相等的。所以

{\hat{x}}_{g} = \frac{w \cdot {CR}_{image}^{x}}{1 + {CR}_{image}^{x}}

g点的y坐标同样可以通过这种方式来得到估计，图像交比为：

{CR}_{image}^{y} = \frac{(x_{2}^{v} y_{3}^{m} - x_{3}^{m} y_{2}^{v}) (x_{4}^{m} y_{3}^{v} - x_{3}^{v} y_{4}^{m})}{(x_{2}^{v} y_{4}^{m} - x_{4}^{m} y_{2}^{v}) (x_{3}^{m} y_{3}^{v} - x_{3}^{v} y_{3}^{m})}

屏幕显示器的交比为：

{CR}_{image}^{y} = \frac{(h - \frac{h}{2}) {\hat{y}}_{g}}{(h - {\hat{y}}_{g}) \frac{h}{2}} = \frac{{\hat{y}}_{g}}{h - {\hat{y}}_{g}}

h是屏幕显示器的高度，

是估计点g的y坐标。且

{\hat{y}}_{g} = \frac{h \cdot {CR}_{image}^{y}}{1 + {CR}_{image}^{y}}

基于眼动跟踪的人机交互方法的实施流程为：首先执行标定的步骤，通过人眼检测，光斑检测，瞳孔检测，以及用户分别注视屏幕四个角落进行标定，获得标定系数α₁,α₂,α₃,α₄。标定完成后，执行捕获和检测，具体为：计算机通过相机以帧频F持续捕获操作者观看显示屏的面部图像；对每一帧图像进行眼睛检测、光斑检测、瞳孔检测和凝视点估计。眼睛检测、光斑检测、瞳孔检测和凝视点估计的方法如前述。根据检测和凝视点估计的结果，进行眨眼判断和凝视点变化的判断。

判断眨眼的方法是：判断以任意时刻t为起始点的时间段T_L中捕获的L帧连续图像，L=T_L*F；如果L帧图像中有且仅有一个时间段T_K中捕获的K帧连续的图像未检测到光斑，T_K<T_L,设定为操作者眨眼一次；如果L帧图像中有两个时间段T_K1和T_K2中各自捕获的K1和K2帧连续的图像未检测到光斑，T_K1<T_L、T_K2<T_L且T_K1+T_K2<T_L，并且两个时间段各自捕获的连续图像之间的其它图像检测到光斑，设定为操作者眨眼两次。

判断凝视点变化的方法是：如图6所示,设任意时刻t捕获的那一帧图像中的凝视点在屏幕上的横坐标g_x纵坐标g_y；判断以时刻t为起始点的时间段T_R中的R帧连续图像，R=T_R*F，如果R帧图像中的凝视点均停留在以横坐标g_x纵坐标g_y为圆心，半径为r的圆内，设定为凝视点停留。如图7所示,判断以时刻t为起始点的时间段T_D中的D帧连续图像，D=T_D*F，如果D帧图像中的凝视点的横坐标和纵坐标单调减小，且总的减小量分别超过横坐标变化量X和纵坐标变化量Y，设定为凝视点向左上方移动。如图8所示,判断以时刻t为起始点的时间段T_U中的U帧连续图像，U=T_U*F，如果U帧图像中的凝视点的横坐标和纵坐标单调增加，且总的增加量分别超过横坐标变化量X和纵坐标变化量Y，设定为凝视点向右下方移动。

输出交互指令的方法是：根据判断结果，如操作者眨眼一次，则输出鼠标左键单击的指令；如操作者眨眼两次，则输出鼠标左键双击的指令；如凝视点停留，则输出鼠标右键单击的指令；如凝视点向左上方移动，则输出鼠标滚轮向上滚动的指令；如凝视点向右下方移动，则输出鼠标滚轮向下滚动的指令。

在实际的判断中，为简化操作，可以从任意时刻开始取出一组连续的图像，对这一组图像依次进行眨眼判断和凝视点变化判断。也就是说，进行眨眼判断和凝视点变化判断的连续图像的帧数是相同的，即L=R=D=U，捕获这一组帧的时间段也是相同的，即时间段T_L，时间段T_R，时间段T_D和时间段T_U是同一个时间段。如果这一组图像中满足眨眼或凝视点变化判断的五种情况之一，就即时输出对应的操作指令，同时以当前帧图像的下一帧图像作为下一组连续图像的起始帧；如果均不满足，则不输出任何指令，重新取一组连续的图像进行下一次判断，以上一组连续图像的第二帧为本组连续图像的起始帧。

例如，计算机通过相机以15帧/秒的帧频连续捕获操作者的面部图像后，进行眼睛检测、光斑检测、瞳孔检测和凝视点估计，之后从任意一帧开始取一组连续的30帧图像，这30帧图像的时长为2秒。假设在这30帧图像中，第3帧到第10帧都未检测到光斑，对应操作者闭眼的时间大于0.5秒，其它图像都检测到光斑，则可以认定为操作者眨眼一次，相应地输出鼠标左键单击的指令。假设在这30帧图像中，第3帧到第10帧以及第20帧到第27帧都未检测到光斑，其它图像都检测到光斑，则可以认定为操作者眨眼两次，相应地输出鼠标左键双击的指令。假设在这30帧图像中，第一帧的凝视点为横坐标g_x纵坐标g_y，其它所有帧的凝视点在以横坐标g_x纵坐标g_y为圆心，半径为r的圆之内，则可以认定为凝视点停留，相应地输出鼠标右键单击的指令。半径r可以设定为显示屏宽度w的二十分之一。假设在这30帧图像中，凝视点的横坐标和纵坐标单调减小，且横坐标总的减小量超过

纵坐标总的减小量超过

则可以认定为凝视点向左上方移动，相应地输出鼠标滚轮向上滚动的指令。假设在这30帧图像中，凝视点的横坐标和纵坐标单调增大，且横坐标总的增大量超过纵坐标总的增大量超过

则可以认定为凝视点向右下方移动，相应地输出鼠标滚轮向下滚动的指令。这里h是显示屏的高度。根据输出的指令，就可以进行一些简单的操作，例如控制ppt、网页滚动等，从而达到人机交互的目的。

Claims

1.一种基于眼动跟踪的人机交互方法，包括五组朝向计算机操作者的红外光源和一台内置红外滤光片的相机，其中四组红外光源（LED1、LED2、LED3、LED4）设置在计算机显示屏的四个角落，另一组红外光源（LED5）设置在相机镜头周围；相机设置在计算机显示屏下方并连接到计算机，相机镜头朝向操作者面部；其特征在于，包括

标定的步骤，包括

101：计算机通过相机捕获操作者注视显示屏任一角落的红外光源时的面部图像，对图像进行眼睛检测、光斑检测和瞳孔检测，得到瞳孔中心、相机镜头周围的红外光源（LED5）对应的光斑中心和该组红外光源对应的光斑中心，计算对应的标定系数；

102：依照上述操作，分别计算操作者注视显示屏其它角落的红外光源时对应的标定系数；

捕获和检测图像的步骤，包括

判断眨眼的步骤，包括

判断凝视点变化的步骤：

输出交互指令的步骤，包括

501：如操作者眨眼一次，则输出鼠标左键单击的指令；

502：如操作者眨眼两次，则输出鼠标左键双击的指令；

503：如凝视点停留，则输出鼠标右键单击的指令；

2.如权利要求1所述的人机交互方法，其特征在于，

3.如权利要求1所述的人机交互方法，其特征在于，所述时间段T_L，时间段T_R，时间段T_D和时间段T_U是同一个时间段。

4.如权利要求2所述的人机交互方法，其特征在于，所述时间段T_L，时间段T_R，时间段T_D和时间段T_U是同一个时间段。

5.如权利要求1至4所述的任意一种人机交互方法，其特征在于，所述帧频F为15帧/秒；所述时间段T_L，时间段T_R，时间段T_D和时间段T_U的时长均为2秒；所述时间段T_K，时间段T_K1和时间段T_K2均大于0.5秒；所述半径r为

所述横坐标变化量X和纵坐标变化量Y分别为

和

其中w为显示屏宽度，h为显示屏高度。