CN103366157B - 一种人眼视线距离的判断方法 - Google Patents

Abstract

本发明提供了一种人眼视线距离的判断方法，解决目前的二维平面视线追踪技术只能追踪人的视线角度而无法对人眼视线距离进行追踪判定的问题。其特征在于：其根据在环境光线一致的情况下人眼观察距离的远近与人眼瞳孔变化大小的之间的对应关系来建立瞳虹比与目标距离的关系模型，再采集当前人眼的瞳虹比、并通过瞳虹比与目标距离的关系模型来判断当前人眼的视线纵深距离，瞳虹比为人眼瞳孔面积与人眼虹膜面积的比值。

Description

一种人眼视线距离的判断方法

技术领域

本发明涉及移动情景感知和人机交互技术领域，具体为一种人眼视线距离的判断方法。

背景技术

二维平面视线追踪技术最早在20世纪70年代提出，其基本工作原理是利用图象处理技术,使用能锁定眼睛的特殊摄像机。通过摄入从人的眼角膜和瞳孔反射的红外线连续地记录视线变化,从而实现在目标二维平面上记录分析视线追踪过程。视线追踪技术的出现是为了解决残疾人与机器交互的需要，然而其取代鼠标键盘成为新一代通用人机交互方式的潜力正逐步被认可。

经过30余年的发展，二维平面视线追踪技术正逐渐由理论转向工业级产品：TobbiTechnology于2010年和2012年分别和日本法人拓比电子技术与联想合作，推出具有视线追踪技术的眼镜和笔记本电脑；最大的社交网站，Facebook公司也于2012年3月9日收购视线追踪公司GazeHawk。同时，随着新一代智能随身终端（如Google眼镜）的出现和情景感知技术的发展，与周围环境三维图像的交互需求正逐渐替代和显示器二维屏幕的交互。

在室内环境中，通过在三维空间中准确测量视线所注视物体，可以实现便捷准确的远程家居控制；在驾驶时，通过在三维空间中捕获所注视的物体和与本车的距离，可以有效的对司机行驶速度提出建议，避免交通事故；在城市环境中，通过在三维空间中判断人眼所观察的物体，可以满足增强现实应用、户外广告精准营销等多种需求，因此三维视线追踪技术在很多领域都有广泛的应用前景，然而目前的二维平面视线追踪技术只能追踪人的视线角度，其无法对人的视线距离进行追踪判定，故制约了三维视线追踪的实际应用。

发明内容

针对上述问题，本发明提供了一种人眼视线距离的判断方法，解决目前的二维平面视线追踪技术只能追踪人的视线角度而无法对人眼视线距离进行追踪判定的问题。

其技术方案是这样的，其特征在于：其根据在环境光线一致的情况下人眼观察距离的远近与人眼瞳孔变化大小的之间的对应关系来建立瞳虹比与目标距离的关系模型，再采集当前人眼的所述瞳虹比、并通过所述瞳虹比与目标距离的关系模型来判断当前人眼的视线纵深距离，所述瞳虹比为人眼瞳孔面积与人眼虹膜面积的比值。

其进一步特征在于：

所述瞳虹比与目标距离的关系模型的建立包括以下步骤：人眼观察不同定距的定物体，记录并计算每次观察时的所述瞳虹比，将上述不同定距下观察定物体得到的各瞳虹比数值进行统计分析，得到该用户的瞳虹比与观察目标距离之间的对应比例关系，最后通过参数校准模块校准个体参数；

所述瞳虹比的采集，其包括以下步骤：所述用户观察所述定距定物体时，

首先，采用红外成像***采集人眼瞳孔图像；

然后，对所述人眼瞳孔图像进行去噪、图像归一化处理，再对已经进行去噪、图像归一化处理后的人眼瞳孔图像中虹膜与瞳孔进行边界定位，得到眼图；

接着，对所述眼图中所述已边界定位的虹模与瞳孔采用最小二乘法进行椭圆拟合，得到完整的虹膜、瞳孔位置关系图；

最后，根据所述完整的虹膜、瞳孔位置关系图计算瞳虹比。

其更进一步特征在于：

所述红外成像***包括红外发射和接收器、***机以及半反半透镜片，所述红外发射和接收器发出的红外光的波长为700 nm～1050nm，所述***机对准眼球的反射光路；所述半反半透镜片设置于人眼的前方，其起到反射红外光、透视可见光的作用；

所述对人眼瞳孔图像进行去噪、图像归一化处理，采用中值滤波法对所述人眼瞳孔图像进行去噪处理，再利用灰度直方图对已去噪处理的所述人眼瞳孔图像进行归一化处理，再采用基于瞳孔灰度特征的快速定位方法、或者轮廓跟踪方法、或者模板匹配算法中的任一种方法在所述归一化处理后的人眼瞳孔图像中对人眼虹膜、瞳孔进行边界定位；

所述计算瞳虹比，通过图像遍历计算所述完整的虹膜、瞳孔位置关系图内虹膜像素点个数与瞳孔像素点个数，将计算得到的所述瞳孔像素点个数比所述虹膜像素点个数即得到所述瞳虹比。

其更进一步特征还在于：

所述红外成像***的***机还包括一个面向视场的场景摄像机，其用于当前三维立体场景的建立。

本发明的有益效果在于：其根据在环境光线一致的情况下人眼观察距离的远近与人眼瞳孔变化大小的之间的对应关系，来建立瞳虹比与目标距离的关系模型，再采集当前人眼的所述瞳虹比、并通过瞳虹比与目标距离的关系模型来判断当前人眼的视线纵深距离，其中瞳虹比为人眼瞳孔面积与人眼虹膜面积的比值，且其瞳虹比的采集、瞳虹比与目标距离的关系模型的建立方法简单，人眼视线距离判断准确，能够有效应用于三维视线追踪应用中。

附图说明

图1为人眼成像示意图；

图2为本发明方法中瞳虹比与目标距离的关系模型的建立流程示意图；

图3为本发明中红外成像***示意图；

图4为本发明实施例中人眼瞳孔图像的灰度直方图；

图5为本发明实施例中人眼瞳孔图像的虹膜、瞳孔特征点提取示意图；

图6为本发明实施例中人眼瞳孔图像的虹膜、瞳孔特征点选取区域示意图；

图7为本发明实施例中人眼虹膜、瞳孔的椭圆拟合图；

图8为本发明实施例中瞳虹比与距离远近的坐标关系图。

具体实施方式

本发明是一种新的人眼视线距离的判断方法，其根据在环境光线一致的情况下，利用人眼观察距离的远近与人眼瞳孔变化大小的之间的对应关系来建立瞳虹比与目标距离的关系模型，再采集当前人眼的瞳虹比、并通过瞳虹比与目标距离的关系模型来判断当前人眼的视线纵深距离，瞳虹比为人眼瞳孔面积与人眼虹膜面积的比值。

人的眼睛是十分完美的光学***，如果将人眼比做照相机，晶状体相当于镜头，视网膜相当于感光底片，瞳孔近似于光圈。相机通过镜头和光圈的调节，来拍摄远处与近处物体。而人的眼睛，主要是通过晶状体与瞳孔的变化来看清远近，见图1，当人眼观察远处物体时，睫状体放松，晶状体变薄，瞳孔扩大，让更多光线进入眼球，远处光线恰好会聚在视网膜上，此时看到远处物体。当人眼观察近处，睫状体收缩，晶状体变厚，瞳孔缩小，进入眼球的光线减少，近处来的光线恰好会聚在视网膜上，就能看清近处物体，瞳孔大小可以反映出人观察距离的远近，因此可以用来推断人的视觉深度。图1中，1为人眼眼球，2为晶状体，3为人眼观察的物体，4为视网膜上的物体3的成像。

本发明中瞳虹比与目标距离的关系模型的建立，见图2，其包括以下步骤：人眼观察不同定距的定物体，记录并计算每次观察时的瞳虹比，将上述不同定距下观察定物体得到的各瞳虹比数值进行统计分析，得到该用户的瞳虹比与观察目标距离之间的对应比例关系，见图8，从图中我们可以看出，当目标距离较近时，瞳虹比稍稍有所增加，但是增加幅度不是很明显，但是当距离扩大到5m时，瞳孔有较大增加，在10m-200m之间，随着距离的增加，瞳虹比的变化较为明显，当距离到达200m以上时，由于人眼视力的限制已经看不清目标，瞳孔的变化不大。

从多次试验后,统计发现:在白天日照情况下,以观察1m的距离为基准点,当瞳虹比增加4%以内的,观察距离在5m以内。当瞳虹比增加30%以上,观察距离已经超过看清距离,一般在200m以上。由于人眼形状、大小、直径、结构存在个体差异，因此需要对***模型进行校正，在用户使用之前，先让用户观察固定点，测出用户瞳虹比与距离之间的关系，将参数上传到云端，与***里面已有的用户资料进行比对，判断出用户视力，年龄，人种对模型的影响，再将数据传回本地，与获得数据结合，判断当前的视线深度，提高准确度。

其中瞳虹比的采集，包括以下步骤：用户观察定距定物体时，（1）采用红外成像***采集人眼瞳孔图像，红外成像***包括红外发射和接收器5、***机6以及半反半透镜片7，见图3，红外发射和接收器5发出的红外光的波长为700 nm～1050nm，***机6对准眼球的反射光路；半反半透镜片7设置于人眼的前方，其起到反射红外光、透视可见光的作用；（2）对所采集的人眼瞳孔图像进行去噪、图像归一化处理，其中去噪处理采用中值滤波法，中值滤波的基本原理是使一个M×N窗口在图像上滑动，窗口中心位置的灰度值用窗口内各点灰度值的中值代替，所以只有中值灰度点对最后的处理结果有贡献，其他点贡献为零，从而消除孤立的噪声点。二维中值滤波输出为：

其中，f(x,y),g(x,y)分别为原始图像和处理后图像。W为二维模板，通常为2*2，3*3区域，也可以是不同的形状，如线状，圆形，十字形，圆环形等；再利用灰度直方图对已去噪处理的人眼瞳孔图像进行归一化处理，灰度直方图是图像灰度值的函数，它统计一幅图像中各个灰度级出现的次数，其横坐标表示图像中各个像素点的灰度级，纵坐标为各个灰度级上图像各个像素点出现的次数；再对已经进行去噪、图像归一化处理后的人眼瞳孔图像中的虹膜与瞳孔进行边界定位，本实施例中采用基于瞳孔灰度特征的快速定位方法进行虹膜与瞳孔的边界定位，其从灰度直方图中找到瞳孔阀值，本发明中图像经过低通滤波后得到的图像灰度直方图（Histogram）如图4所示，在直方图中左边的波峰对应瞳孔，右边的波峰代表虹膜，两个波峰间的波谷处的灰度值为要提取的瞳孔阀值；获取阀值后，对图像进行分割，即可定位到虹膜和瞳孔的图像位置，见图5。（3）对已边界定位的虹模与瞳孔采用最小二乘法进行椭圆拟合，瞳孔与虹膜的轮廓实际上是一个椭圆，用椭圆一般方程来表示瞳孔轮廓曲线Ax²+Bxy+cy²+Dx+Ey+F=0及约束条件B2-4AC＜0 ，

依据最小二乘原理：

通过极值定理：

求出所需参数。在本发明实施例中，首先从不同区域内的特征点中随机抽取6点，区域的分布应该在虹膜和瞳孔的特征点上，避免眼睑上的特征点，区域划分见图6，图6中9为眼睑，10为虹膜，利用最小二乘法求解椭圆参数，得到虹膜和瞳孔较为完整的拟合图像，得到完整的虹膜、瞳孔位置关系图见图7；（4）计算瞳虹比，通过图像遍历计算所述完整的虹膜、瞳孔位置关系图内虹膜像素点个数与瞳孔像素点个数，将计算得到的所述瞳孔像素点个数比所述虹膜像素点个数即得到瞳虹比；红外成像***的***机还包括一个面向视场的场景摄像机8，其用于当前三维立体场景的建立。

下面具体对本实施例中基于瞳孔灰度特征的快速定位方法进行描述：

1.瞳孔圆心粗定位

利用瞳孔区域和其他区域之间有灰度值突变的特性，采用分块统计灰度均值的方法可以快速粗定位瞳孔区域，设人眼图像灰度函数为I(x _i ,y _i )， 选取行列均不相交的N*N小块作为统计分块单元，计算出每个分块的灰度均值

按行（列）扫描整幅图像，得到一组均值数列M={m _i }，其中i=1,2,…,K(K与图像大小和分块大小有关)；

遍历数列M，找到满足式(1)的第一个i₀值和最后一个i_t值，i₀和i_t作为返回原始图像坐标的参数依据。由i₀和i_t反算出分块所在的图像坐标，即可粗定位瞳孔区域，内边界的定位过程即可在粗定位的瞳孔区域里进行，大大减小了运算数据量，

(1)

由i₀和i_t所对应的分块粗定位瞳孔区域仅有瞳孔圆边界，选取适当阀值即可得到边界非常明显的瞳孔外圆二值化图，但由于是点操作，得到的边缘点参差不齐，还需要进行平滑处理，

对粗定位瞳孔区域进行多次开运算，消除噪音杂点的影响，得到光滑的瞳孔外圆边界的二值化图。设二值图分布函数为A(x,y)，其x方向和y方向二值投影可定义如下： (2)

由式(2)可分别得到x方向和y方向最大投影值的坐标值：(max P(x _i ),max P(y _j ))，令x₀ = max P(x _i )， y ₀ = max P(y _i )，即瞳孔粗定位圆心坐标为(x₀,y₀)；

2.瞳孔圆心精确定位

由于瞳孔区域几乎没有噪音和杂点的影响，故选取合适的阀值所得到的Canny边缘非常接近实际瞳孔圆边界。以(x₀,y₀)为起点，按照一定的搜索路径即可得到边界上的N个点，则这N个点都在瞳孔真实边界附近，如图7所示。由平面几何学知识可知，求解方程(x,y,r)参数仅需要A,B,C三点即可。所以任取,可得到组圆方程解(x_i,y_i,r_i)，由误差分析理论可知，(x_i,y_i,r_i)总是在真实圆参数附近浮动，为了使求得的圆参数更好的接近真实值，采用算术平均值方法可以很好的满足要求。算术平均值的误差随测量次数的增加而减小，即N值越大，平均值越趋近于真值；

3.虹膜外边界定位

医学研究证明，瞳孔中心与虹膜中心存在一定偏差，但通过大量的验证试验发现，二者偏差较小。许多研究者在假设虹膜中心坐标就是瞳孔中心坐标的情况下，计算虹膜外边界所得的误差也较小，即可认为两圆圆心坐标非常接近，因此虹膜外边界定位方法如下：以已确定的瞳孔边缘的圆心和半径(x_p,y_p,r_p)作为基准，约束虹膜外边界圆心坐标的搜索范围，即外边界圆心坐标可看作为已知条件，则微分积分算法复杂的三参数搜索问题可转变为简单的一维参数空间搜索过程，且外圆半径的取值也在一定的范围内。本实施例限定搜索范围后的微分积分算子为

其中：是尺度为的高斯平滑滤波器，*表示卷积，其实质是求在可能半径周围上下点的灰度平均值，并对相邻圆的灰度差进行平滑滤波，相应灰度差值最大的参数就被确定为虹膜外圆的圆心和半径，，，,、是以瞳孔坐标为基准的取值范围，是以瞳孔半径为基准的半径范围。

本发明中对已经进行去噪、图像归一化处理后的人眼瞳孔图像中的虹膜与瞳孔进行边界定位，除了采用本实施例中的基于瞳孔灰度特征的快速定位方法以外，还可以采用轮廓跟踪方法、或者模板匹配算法进行。

Claims (6)

1.一种人眼视线距离的判断方法，其特征在于：其根据在环境光线一致的情况下人眼观察距离的远近与人眼瞳孔变化大小的之间的对应关系来建立瞳虹比与目标距离的关系模型，再采集当前人眼的所述瞳虹比、并通过所述瞳虹比与目标距离的关系模型来判断当前人眼的视线距离，所述瞳虹比为人眼瞳孔面积与人眼虹膜面积的比值；所述瞳虹比与目标距离的关系模型的建立包括以下步骤：人眼观察不同定距的定物体，记录并计算每次观察时的所述瞳虹比，将上述不同定距下观察定物体得到的各瞳虹比数值进行统计分析，得到用户的瞳虹比与观察目标距离之间的对应比例关系，最后通过参数校准模块校准个体参数。

2.根据权利要求1所述的一种人眼视线距离的判断方法，其特征在于：所述瞳虹比的采集，其包括以下步骤：所述用户观察所述定距定物体时，首先，采用红外成像***采集人眼瞳孔图像；然后，对所述人眼瞳孔图像进行去噪、图像归一化处理，再对已经进行去噪、图像归一化处理后的人眼瞳孔图像中虹膜与瞳孔进行边界定位，得到眼图；接着，对已边界定位的虹模与瞳孔采用最小二乘法进行椭圆拟合，得到完整的虹膜、瞳孔位置关系图；最后，计算瞳虹比。

3.根据权利要求2所述的一种人眼视线距离的判断方法，其特征在于：所述红外成像***包括红外发射和接收器、***机以及半反半透镜片，所述红外发射和接收器发出的红外光的波长为700 nm～1050nm，所述***机对准眼球的反射光路；所述半反半透镜片设置于人眼的前方，其起到反射红外光、透视可见光的作用。

4.根据权利要求2所述的一种人眼视线距离的判断方法，其特征在于：所述对人眼瞳孔图像进行去噪、图像归一化处理中，采用中值滤波法对所述人眼瞳孔图像进行去噪处理，再利用灰度直方图对已去噪处理的所述人眼瞳孔图像进行归一化处理，所述灰度直方图是图像灰度值的函数，它统计一幅图像中各个灰度级出现的次数，其横坐标表示图像中各个像素点的灰度级，纵坐标为各个灰度级上图像各个像素点出现的次数。

5.根据权利要求2所述的一种人眼视线距离的判断方法，其特征在于：所述瞳虹比的采集，其包括以下步骤：所述瞳虹比的计算，通过图像遍历计算所述完整的虹膜、瞳孔位置关系图内虹膜像素点个数与瞳孔像素点个数，将计算得到的所述瞳孔像素点个数比所述虹膜像素点个数即得到所述瞳虹比。

6.根据权利要求3所述的一种人眼视线距离的判断方法，其特征在于：所述红外成像***的***机还包括一个面向视场的场景摄像机，其用于当前三维立体场景的建立。