CN111339982A - 一种基于特征的多级瞳孔中心定位技术实现方法 - Google Patents

Abstract

本发明涉及一种基于特征的多级瞳孔中心定位技术实现方法，首先使用Haar‑like特征检测子来完成瞳孔的快速粗定位，并使用积分图来提高计算效率；然后使用星射线算法在这个粗中心位置开始搜索，提取瞳孔轮廓特征点；接下来用RANSAC算法对瞳孔椭圆进行估计，得到椭圆参数；最后使用3D眼球模型评价椭圆参数，对于评价为不准确的椭圆参数改用基于3D眼球模型的椭圆匹配算法对瞳孔椭圆参数进行估计。采用本方法可以显著提高瞳孔中心定位的鲁棒性，在存在遮挡的情况下，也可以获得精确的瞳孔中心。

Description

一种基于特征的多级瞳孔中心定位技术实现方法

技术领域

本发明属于计算机视觉图像处理技术领域，涉及一种基于特征的多级瞳孔中心定位方法。

背景技术

眼动交互就是研究如何利用眼睛的视线与可交互设备进行控制与交互。由于眼动交互具有输入自然、高效且直接的优点，其可以在一些控制操作上替代手动交互。随着眼动跟踪技术和应用的发展，眼跟踪设备由复杂到简单，对使用者的约束愈发的减少，普适性和精度也越来越高。眼动跟踪技术是通过眼电图、电磁感应或者眼部光学图像处理等技术手段进行研究，并估计使用者眼睛注视的精确位置或者视线方向的技术。目前，眼动跟踪技术被广泛应用于计算机交互应用，驾驶员疲劳监测***，虹膜身份认证，AR/VR游戏，三维全息演示***，营销与广告市场分析，客户体验计划，残疾人辅助***，军事应用，神经科学与心理学研究等领域。在航空航天领域，眼动跟踪技术引入使得航天员利用眼动控制实现对舱外航天服控制面板的控制与交互，一定程度上解放了航天员的双手，实现航天服的多模态人机交互，提高航天员工作效率。

在测量技术手段比较简单的早期，研究人员为了客观的记录眼动数据，先后使用了诸如观察法、电流记录法、双普金野像法及基于图像处理的瞳孔角膜反射法等来检测和记录眼动数据。观察法仅仅用肉眼来观察，只能得到被试者一些幅度较大的眼动，其结果也不够精确。电流记录法只测量出眼睛相对于头部的与运动，且受到的干扰因素很大，而且需要在受试者脸部贴上电极，不利于长期的使用和人机交互。双普金野像法需要特殊的光学设备，价格昂贵，导致普适性不高。

随着机器视觉和数字图像处理技术的不断发展，利用摄像机记录眼动过程并采用数字图像处理方法的光学记录法得到了广泛的应用。这种方法对受试者的侵害程度较小，并且能达到较高的测量精度。基于图像处理的眼动跟踪方法不仅可用于桌面式眼动跟踪***，还可用于头戴式眼动跟踪***。一般地，通过摄像机拍摄眼部图像，经过图像处理提取出人眼能够反映视线方向的信息，然后利用标定算法或几何建模建立该信息与注视点的映射关系，达到视线估计或注视点估计的目的。采用数字图像处理的方法完成眼动跟踪过程，具有精度高、能耗低和便携性的优点。

人眼定位技术主要包括以下三方面内容：1)判断眼睛在图像中是否存在；2)精确定位眼睛的像素位置；3)跟踪视频每一帧中的眼睛的位置。人眼定位通常是从眼睛的几何结构、颜色特点以及眼睛与周围器官的位置或灰度分布特征来分析眼睛的位置。目前，头戴式眼动仪基本都是采用瞳孔角膜向量法来提取瞳孔中心，但是在存在上下眼睑、眼角或镜片遮挡的情况下，获得精确的瞳孔中心会有较大难度，算法的鲁棒性不高。

发明内容

要解决的技术问题

为了避免现有技术的不足之处，本发明提出一种基于特征的多级瞳孔中心定位技术实现方法。

技术方案

一种基于特征的多级瞳孔中心定位技术实现方法，其特征在于步骤如下：

步骤1：输入眼部图像，基于Haar-like特征的瞳孔粗定位得到瞳孔局部区域：

使用眼部图像的积分图，在线性时间内计算每个像素位置的Haar-like特征的响应，即对积分图8个角点位置的值进行采样后计算就能得到响应值，选择该特征响应值最大值的位置作为瞳孔粗中心：

其中，a、b、c、d、e、f、h、g为图像积分图的8个角点位置；SAT(·)为图像积分图中的每个点的值，即原图像中该点与图像原点构成的矩形的所有像素的和；

步骤2：星射线算法提取瞳孔轮廓特征点：

在从步骤1得到的瞳孔粗中心出发的一周射线上搜索，若当前点满足灰度差分阈值就放入瞳孔特征点集合，完成这样的一个过程以后，再反过来，以特征点为中心，反向沿和初始中心的连线方向重复求瞳孔轮廓特征点；

步骤3：RANSAC算法估计瞳孔椭圆：

利用RANSAC算法对特征点集合进行多次随机采样，每次随机取出5个作为内点，其余放入外点集；用内点集使用最小二乘法确定椭圆参数P＝{x_c,y_c,a,b,φ}，并计算外点集中的点到椭圆边界的距离d；若d<距离阈值t，则将该点放入内点集合，如果内点集的点个数占特征点总和的比重达到设定阈值的时候，输出当前椭圆参数P＝{x_c,y_c,a,b,φ}；

步骤4：给定瞳孔中心(x_c,y_c)，采用3D眼球模型计算其他三个椭圆参数：

其中，r_p为以瞳孔的轮廓为圆的半径，D为眼球中心到瞳孔中心的距离；

(x′_c,y′_c)是(x_c,y_c)在相机坐标系下的坐标，两者满足关系：

f是相机的焦距，u₀和v₀是图像中心，z_p是瞳孔轮廓平面的Z轴坐标、t_x和t_y是外参矩阵的平移变换阵参数；

步骤5：判断步骤3和步骤4得到的两组椭圆对应的参数是否在阈值内，设步骤3中3个参数为{a,b,φ}，步骤4中3个参数为{a′,b′,φ′}，如果

则认为在阈值内，否则认为步骤3中的椭圆不满足条件；如果满足选择对轮廓特征点匹配最好的椭圆参数；如果不满足，基于3D眼球模型的椭圆匹配方法，输出最优瞳孔椭圆参数：

1)查找表中选择n个与初始瞳孔中心x_c(x_c,y_c)最相似的椭圆参数P_k(k＝1,…,n)；所述的查找表为对瞳孔中心坐标均匀离散化采样后计算得到的椭圆参数，i＝1…N，N为采样点个数；

2)依据

从n组椭圆参数对瞳孔轮廓特征点拟合效果最好的一组参数

其中||edge_x_i-P_k||表示轮廓点到椭圆的距离；

3)以

中的

作为初始点，按照步长step_length，0°开始间隔45°8个方向确定该点的8个待搜索点；

4)对初始点及其8个待搜索点，利用3D眼球模型求解对应的椭圆参数P_k，依据损失函数

计算各点的损失，其中R(P_k)表示椭圆及其内部区域；

5)比较9个点的损失，若初始点的损失最小，则转到6)；否则将损失最小的搜索点作为初始点，重复3)4)5)；

6)若步长step_length不为1，则步长除以2，转到3)；否则，输出此时的初始点的椭圆参数，终止。

有益效果

本发明提出的一种基于特征的多级瞳孔中心定位技术实现方法，采用多级瞳孔中心定位算法，在存在上下眼睑、眼角或镜片遮挡的情况下，相比于瞳孔角膜向量法提取瞳孔中心，可以获得较为精确的瞳孔中心。本算法的鲁棒性较高，速度也较快。

本发明使用了Haar-like特征来获取瞳孔粗中心，并以此中心作为初始点进行星射线算法，这样做可以减少干扰点的产生，因为眼摄像头拍摄人眼时并不能保证瞳孔在图像中心，而原本的星射线算法是从图像中心开始计算。同时，该方法加上了一个3D眼球模型来对最后的结果进行验证，若评价有较大误差时，需要基于3D眼球模型的椭圆匹配算法得到最优的瞳孔中心，这样可以保证得到精确的瞳孔中心，可以提升眼动交互的稳定性和准确性。

本发明经过与目前先进的同类算法(如ELSE算法、Swirski算法和starburst算法)相比，取得了较好的效果。在实际使用过程中，包含眼睑遮挡、眼角遮挡、镜片遮挡以及杂斑干扰的情况下，能够较准确检测到瞳孔中心，并且使用粗中心定位的方法提取局部区域，大大提高了算法的处理速度，多线程优化后实际运行最终能够达到100fps。

附图说明

图1：瞳孔中心定位算法流程图

图2：Haar-like特征算子

图3：利用Haar-like特征的瞳孔粗定位

图4：求瞳孔轮廓特征点算法流程图

图5：RANSAC椭圆参数拟合算法流程图

图6：3D眼球模型

图7：椭圆一般形式

图8：基于3D眼球模型的椭圆匹配算法流程图

具体实施方式

现结合实施例、附图对本发明作进一步描述：

本方法首先用基于Haar-like特征的瞳孔粗定位算法得到瞳孔的局部区域，然后用星射线算法提取瞳孔轮廓特征点，接下来用RANSAC算法对瞳孔椭圆进行估计并用3D眼球模型评价椭圆参数，对于评价为不准确的椭圆参数改用基于3D眼球模型的椭圆匹配算法对瞳孔椭圆参数进行估计。瞳孔中心定位算法流程图如附图1所示。

步骤1：使用Haar-like特征检测子来完成瞳孔的快速粗定位，并使用积分图来提高计算效率。

图像是由一系列的离散像素点组成的，积分图就是对图像像素的求和。图像积分图中的每个点的值是原图像中该点与图像原点构成的矩形的所有像素的和，即

积分图可以采用以下增量的方式计算：

SAT(x,y)＝SAT(x,y-1)+SAT(x-1,y)-SAT(x-1,y-1)+I(x,y)

定义初始边界值：SAT(-1,y)＝SAT(x,-1)＝SAT(-1,-1)＝0。

使用眼部图像的积分图，能够在线性时间内计算每个像素位置的Haar-like特征的响应,只需要对积分图8个角点位置的值进行采样后计算就能得到响应值。如附图2所示，计算该位置的Haar-like特征的响应：

选择该特征响应值最大值的位置为瞳孔中心粗定位结果，Haar-like特征响应的结果图如附图3所示。

步骤2：提取瞳孔轮廓特征点可以利用“暗瞳孔”原则，只用在从上一步得到的瞳孔粗中心出发的一周射线上搜索，若当前点满足灰度差分阈值就放入瞳孔特征点集合，完成这样的一个过程以后，再反过来，以特征点为中心，重复求瞳孔轮廓特征点。这样两个过程可以精确的找到瞳孔轮廓特征点集合edge_x。其算法流程如附图4所示。

具体步骤如下：

第一步：

1)输入估计的瞳孔中心center；

2)沿着当前倾角为θ的射线寻找瞳孔轮廓特征点；

3)若当前点与中心点的灰度差分大于threshold，则转4，否则转2；

4)将获得的点放入特征点集合中，θ＝θ+angle_step；

5)假如已经找完了一周，即θ＝θ+2π，则转6，否则转2；

6)输出特征点集合；

第二步：

7)输入特征点集合；

8)以每一个特征点为中心，反向沿center的连线寻找瞳孔轮廓特征点；

9)假如当前点与瞳孔中心点的灰度差分大于threshold，则转10，否则转8；

10)将点放入特征点集合中，θ＝θ+angle_step；

11)假如所有的特征点都完成了搜索，则转12，否则转8；

12)输出特征点集合。

步骤3：在获得了瞳孔轮廓特征点集合以后，通过椭圆拟合算法可以求出椭圆参数，利用RANSAC算法对特征点集合进行多次随机采样，每次随机取出5个特征点来确定椭圆参数模型，根据椭圆参数模型将瞳孔轮廓特征点集合划分为内点集inliner和外点集outlier两部分。内点为距离椭圆边界在算法给定的误差范围内的点，而外点是超出误差限的点。RANSAC算法椭圆参数拟合算法流程如附图5所示。

算法具体步骤如下：

1)从瞳孔轮廓特征点集合中随机选取5个作为内点，其余放入外点集；

2)用内点集使用最小二乘法确定椭圆参数P＝{x_c,y_c,a,b,φ}，并计算外点集中的点到椭圆边界的距离d；

3)若d<距离阈值t，则将该点放入内点集合，如果内点集的点个数占特征点总和的比重达到设定阈值的时候，输出当前椭圆参数P＝{x_c,y_c,a,b,φ}，终止；

4)重复执行1-3步R次，输出最终的椭圆参数。

步骤4：在3D眼球模型的构建中，把人眼抽象为一个球体如附图6所示，由于是头戴式眼动仪，我们假设眼部摄像机与头部是相对固定的，这时眼部相机获得的眼部图像瞳孔的形状和位置与3D眼球模型的投影是一一对应的。

在此模型中，眼球坐标系用X、Y和Z表示，而相机坐标系用x、y和z表示。眼球是一个以r_e为半径的球体，瞳孔的轮廓是一个以r_p为半径的圆，从眼球中心到瞳孔所在平面的距离定义为D，三者满足

当瞳孔中心在Z轴时，其轮廓点的坐标可以表示为X_i＝(X_i,Y_i,D)^T，瞳孔轮廓上的点满足

眼部图像中瞳孔投影的轮廓点坐标表示为x＝(x,y)^T。两个坐标系的变换关系为：

其中，

和

代表了齐次坐标，K，P和M分别代表了相机内参矩阵、投影矩阵和外参矩阵。

其中，f是相机的焦距，u₀和v₀是图像中心。在实际使用时，我们用简单的透视投影矩阵P可以获得很好的结果。R₀和T₀是相机坐标系和眼球坐标系的旋转矩阵和平移矩阵，T₀＝(t_x,t_y,t_z)^T且0代表零向量。

R₀＝[v_x v_x×v_z v_z]

由于X轴平行于相机坐标系的x-z平面，故v_x＝(sinτ 0 -cosτ)^T，τ＝arctan(t_z/t_x)；由于Z轴穿过相机中心，故v_z＝-(T₀/|T₀|)；v_y可以定义为v_x与v_z的叉积。

其中θ_α和θ_β分别表示眼球的偏转角和俯仰角。

因为瞳孔的轮廓是一个圆环，根据从相机透视成像原理，其在相机成像平面的投影是一个椭圆，我们将这个椭圆用5参数P＝{x_c,y_c,a,b,φ}表示。(x_c,y_c)为瞳孔椭圆中心x_c的图像坐标，a和b为椭圆的长轴和短轴，φ为椭圆的偏转角。

先将标准椭圆旋转φ，后将椭圆中心平移至(x_c,y_c)，如附图7所示，得到椭圆的一般形式，此时椭圆方程可以表示为：

当相机参数和瞳孔中心x_c(x_c,y_c)给定时，椭圆其他的三个参数{a,b,φ}可以表示为：

其中

(x′_c,y′_c)是x_c在相机坐标系下的坐标，两者满足关系：

由附图6可以看出，实际的瞳孔中心坐标与成像面瞳孔中心坐标的连线穿过相机中心，得到(x_p,y_p,z_p)^T＝s(x′_c,y′_c,f)^T即z_p＝sf。已知眼球中心到瞳孔中心的距离是D，可以得到：

(x_p-t_x)²+(y_p-t_y)²+(z_p-t_z)²＝D²

即

(sx′_c-t_x)²+(sy′_c-t_y)²+(sf-t_z)²＝D²

当3D眼球模型建立后，给定眼球半径r_e、瞳孔半径r_p及相机参数，只需要获得瞳孔的中心(x_c,y_c)就可以结算出相应椭圆的其他三个参数{a,b,φ}，经过实验得到D约为10.5mm。

在上述步骤得到的瞳孔椭圆参数在经过3D眼球模型评价有较大误差时，需要基于3D眼球模型的椭圆匹配算法得到最优的瞳孔中心，算法流程图如附图8所示。初始的瞳孔中心并不准确，需要在局部区域搜索椭圆，为了加快搜索步骤，利用3D眼球模型事先建立一张椭圆参数查找表，该表是对瞳孔中心坐标均匀离散化采样后计算得到的椭圆参数(i＝1…N,N为采样点个数)。

该椭圆匹配算法就是利用椭圆对瞳孔边缘和形状进行最佳的匹配。算法步骤如下：

1)从查找表中选择n个与初始瞳孔中心x_c(x_c,y_c)最相似的椭圆参数P_k(k＝1,…,n)；

2)依据

从n组椭圆参数对瞳孔轮廓特征点拟合效果最好的一组参数

其中||edge_x_i-P_k||表示轮廓点到椭圆的距离；

3)以

中的

作为初始点，按照步长step_length，0°开始间隔45°8个方向确定该点的8个待搜索点；

4)对初始点及其8个待搜索点，利用3D眼球模型求解对应的椭圆参数P_k，依据损失函数

计算各点的损失，其中R(P_k)表示椭圆及其内部区域；

5)比较9个点的损失，若初始点的损失最小，则转到6)；否则将损失最小的搜索点作为初始点，重复3)4)5)；

6)若步长step_length不为1，则步长除以2，转到3)；否则，输出此时的初始点的椭圆参数，终止。

Claims (1)

1.一种基于特征的多级瞳孔中心定位技术实现方法，其特征在于步骤如下：

步骤1：输入眼部图像，基于Haar-like特征的瞳孔粗定位得到瞳孔局部区域：

使用眼部图像的积分图，在线性时间内计算每个像素位置的Haar-like特征的响应，即对积分图8个角点位置的值进行采样后计算就能得到响应值，选择该特征响应值最大值的位置作为瞳孔粗中心：

其中，a、b、c、d、e、f、h、g为图像积分图的8个角点位置；SAT(·)为图像积分图中的每个点的值，即原图像中该点与图像原点构成的矩形的所有像素的和；

步骤2：星射线算法提取瞳孔轮廓特征点：

在从步骤1得到的瞳孔粗中心出发的一周射线上搜索，若当前点满足灰度差分阈值就放入瞳孔特征点集合，完成这样的一个过程以后，再反过来，以特征点为中心，反向沿和初始中心的连线方向重复求瞳孔轮廓特征点；

步骤3：RANSAC算法估计瞳孔椭圆：

利用RANSAC算法对特征点集合进行多次随机采样，每次随机取出5个作为内点，其余放入外点集；用内点集使用最小二乘法确定椭圆参数P＝{x_c,y_c,a,b,φ}，并计算外点集中的点到椭圆边界的距离d；若d<距离阈值t，则将该点放入内点集合，如果内点集的点个数占特征点总和的比重达到设定阈值的时候，输出当前椭圆参数P＝{x_c,y_c,a,b,φ}；

步骤4：给定瞳孔中心(x_c,y_c)，采用3D眼球模型计算其他三个椭圆参数：

其中，r_p为以瞳孔的轮廓为圆的半径，D为眼球中心到瞳孔中心的距离；

(x′_c,y′_c)是(x_c,y_c)在相机坐标系下的坐标，两者满足关系：

f是相机的焦距，u₀和v₀是图像中心，z_p是瞳孔轮廓平面的Z轴坐标、t_x和t_y是外参矩阵的平移变换阵参数；

步骤5：判断步骤3和步骤4得到的两组椭圆对应的参数是否在阈值内，设步骤3中3个参数为{a,b,φ}，步骤4中3个参数为{a′,b′,φ′}，如果

则认为在阈值内，否则认为步骤3中的椭圆不满足条件；如果满足选择对轮廓特征点匹配最好的椭圆参数；如果不满足，基于3D眼球模型的椭圆匹配方法，输出最优瞳孔椭圆参数：

1)查找表中选择n个与初始瞳孔中心x_c(x_c,y_c)最相似的椭圆参数P_k(k＝1,…,n)；所述的查找表为对瞳孔中心坐标均匀离散化采样后计算得到的椭圆参数，i＝1…N，N为采样点个数；

2)依据

从n组椭圆参数对瞳孔轮廓特征点拟合效果最好的一组参数

其中||edge_x_i-P_k||表示轮廓点到椭圆的距离；

3)以

中的

作为初始点，按照步长step_length，0°开始间隔45°8个方向确定该点的8个待搜索点；

4)对初始点及其8个待搜索点，利用3D眼球模型求解对应的椭圆参数P_k，依据损失函数

计算各点的损失，其中R(P_k)表示椭圆及其内部区域；

5)比较9个点的损失，若初始点的损失最小，则转到6)；否则将损失最小的搜索点作为初始点，重复3)4)5)；

6)若步长step_length不为1，则步长除以2，转到3)；否则，输出此时的初始点的椭圆参数，终止。

Images