CN101807110A

CN101807110A - 瞳孔定位方法及***

Info

Publication number: CN101807110A
Application number: CN200910006769A
Authority: CN
Inventors: 赵新民
Original assignee: Utechzone Co Ltd
Current assignee: Utechzone Co Ltd
Priority date: 2009-02-17
Filing date: 2009-02-17
Publication date: 2010-08-18
Anticipated expiration: 2029-02-17
Also published as: CN101807110B

Abstract

一种瞳孔定位方法及***，所述方法包含下述步骤：撷取使用者的眼部影像，并利用眼部影像定位出一瞳孔中心及一反光点；以瞳孔中心至反光点的距离界定出一距离值，并以瞳孔中心位置界定一基准线配合反光点相对于瞳孔中心的一向量界定出一角度值；利用观看不同位置的距离值及角度值得到的一角度-距离分布图，借此换算观看屏幕任一点时对应于屏幕的位置。本发明无须在人体佩带额外装备且无须复杂计算，能对计算机指针的定位功能更为准确且有效的控制。

Description

瞳孔定位方法及***

技术领域

本发明涉及一种瞳孔定位方法及***，特别是涉及一种可用眼睛控制计算机的瞳孔定位方法及***。

背景技术

目前人眼追踪(Eye tracking)技术以是否与人眼接触区分为接触式及非接触式，接触式人眼追踪技术可区分为搜寻线圈法及眼电图法，非接触式人眼追踪技术主要是以视觉辨识为基础(Vision based)，可区分为头戴式(Head-mount)或免头戴式(Free-head)。

在接触式人眼追踪技术方面，搜寻线圈法(Search coil)是让使用者配戴具有感应线圈的软式镜片，当使用者转动眼球进而带动镜片时，感应线圈会因为磁通量变化产生感应电动势，此电动势大小即代表眼球偏转的角度，但是此方法的缺点在于容易受到使用者眼球状况的影响，如眼部的分泌物等，且软式镜片是双层结构，会影响使用者的视力；至于眼电图(EOG)法，则是在眼部周围贴附多数电极，并利用所述电极侦测眼球转动所产生的电压差来判断其上下左右的角度，缺点是脸部贴附电极的皮肤电阻容易因为角质分泌使得取得的电讯号不稳定，且仅能记录眼球的巨转向而无法记录较微小的角度变化。

在头戴式人眼追踪技术方面，使用者必须配戴一附有小型摄影机的眼镜，由于眼部及摄影机的相对距离固定，如此就不会因为脸部偏移或眼部的相对距离变化导致判断不准确，因而在使用者使用时就必须将眼镜固定于头部借此固定小型摄影机与眼睛的相对位置，对使用者而言不但不方便也不舒适。

免头戴式人眼追踪技术方面，国外有配合屏幕及双CCD摄影机的眼部追踪器(Eye trackers)，台湾较有名的则有林宸生等人使用屏幕及单CCD摄影机的相关研究。然而，前述的免头戴式人眼追踪技术采用较复杂的运算，另外，双CCD摄影机的眼部追踪器虽然可以对指标精确定位，但是造价十分昂贵，且需要采用两个CCD摄影机。

以往眼控技术的缺失是：无论接触式或非接触式在实施时，由于需要精准的定位，而精准定位需搭配昂贵的软硬件设备，如此一来，使眼控技术无法普及化让一般大众也能使用。

发明内容

为了克服现有的眼控技术需昂贵设备才有高精确度的问题，本发明提供一种能只需程序判断就能准确定位的瞳孔定位方法。

于是，本发明瞳孔定位方法解决其技术问题所采用的技术方案是利用一种可由程序软件实现的瞳孔定位方法，所述方法是在一使用者注视一屏幕时，撷取使用者的眼部影像，并利用眼部影像定位出一瞳孔中心及一反光点；以瞳孔中心至反光点的距离界定出一距离值，并以瞳孔中心位置界定一基准线配合反光点相对于瞳孔中心的一向量界定出一角度值；利用观看不同位置的距离值及角度值得到的一角度-距离分布图后，以观看任一位置的距离值及角度值依据一预定方式在角度-距离分布图对应得到一坐标点，借此换算观看屏幕任一点时对应于屏幕的位置，最后定位出使用者观看屏幕的位置。使用者只需安装本发明方法的计算机程序软件进行判别，就能达到高精确度的目的。

为了克服现有的眼控技术需昂贵设备的问题，本发明提供一种能只需简单设备就能准确定位的瞳孔定位***。

于是，本发明瞳孔定位***解决其技术问题所采用的技术方案是包括一发射一光束照射一使用者眼部的光源、一撷取使用者的眼部影像的摄影机及一运算模块；运算模块具有一特征定位单元、一距离-角度处理单元及一坐标换算单元。

特征定位单元取得眼部影像并定位出一瞳孔中心及一反光点；距离-角度处理单元以瞳孔中心至反光点的距离界定出一距离值，并以瞳孔中心位置界定一基准线配合反光点相对于瞳孔中心的一向量界定出一角度值；坐标换算单元利用观看不同位置的距离值及角度值得到的一角度-距离分布图后，以观看任一位置的距离值及角度值依据一预定方式在角度-距离分布图对应得到一坐标点，借此换算观看屏幕任一点时对应于屏幕的位置。

借此，使用者只需具备前述的光源、摄影机及运算模块，无须其它昂贵的设备，因此能达到降低硬件成本的目的。

本发明整体的有益效果在于：无须在人体佩带额外装备而能降低成本，并利用观看不同位置的得到的角度-距离分布图来换算观看屏幕任一点时对应于屏幕的位置，因此无须复杂计算而能对定位功能更为准确且有效的控制。

附图说明

图1是一示意图，说明本发明瞳孔定位***的较佳实施例；

图2是一示意图，说明以瞳孔中心配合反光点界定出一距离值及一角度值；

图3是一流程图，说明本发明的瞳孔定位方法的较佳实施例；

图4是一流程图，说明本发明的瞳孔定位***使用的分组对应法的实施例中训练阶段的流程；

图5是一示意图，说明屏幕划分为多组区域，但每次只显示其中一组区域；

图6是一示意图，说明瞳孔中心及反光点的定位方法；

图7是一示意图，说明距离值及角度值与屏幕各组区域的距离-角度差异；

图8是一示意图，说明区域“1”至“16”的距离-角度分布图，且以距离值Li及角度值θi可对应在角度-距离分布图中得到一坐标点；

图9是一流程图，说明本发明的瞳孔定位***使用的分组对应法的实施例中应用阶段的流程；

图10是一示意图，说明对应各区域得到的距离-角度的点集合会得到一不规则的扇形分布；

图11是一示意图，说明以少数距离-角度点所画出的一扇形，利用一扭正运算可转换成一较为规则的矩形，然后再将矩形的位置对应至屏幕的坐标；

图12是一流程图，说明本发明的瞳孔定位***使用的内插对应法的实施例中应用阶段的流程；

图13是一流程图，说明本发明的瞳孔定位***使用的内插对应法的实施例中应用阶段的流程。

具体实施方式

下面结合附图及实施例对本发明进行详细说明：

在本发明被详细描述之前，要注意的是，在以下的说明内容中，类似的组件是以相同的编号来表示。

一、***架构及方法概念

参阅图1，本发明瞳孔定位***1的较佳实施例包括一光源11、一摄影机12、一运算模块13及一屏幕14；运算模块13包括一训练单元130、一特征定位单元131、一距离-角度处理单元132及一坐标换算单元133。

本较佳实施例中，运算模块13是一储存媒体记录的计算机程序，用以令计算机执行本发明的瞳孔定位方法，所述方法依照下列步骤实施：

参阅图1至图3，训练单元130是每次在屏幕14显示一目标区域供使用者观看，接续执行步骤301及步骤302后再显示另一目标区域供使用者观看，直到一预定数量的目标区域都显示完毕；特征定位单元131取得一使用者4的眼部影像401，并定位出一瞳孔中心41及一反光点42(步骤301)，且眼部影像401由摄影机12拍摄，反光点42是利用光源11发射一光束照射人眼反射而得。

接着，距离-角度处理单元132以瞳孔中心41至反光点42的距离界定出一距离值L，并以瞳孔中心41位置界定一基准线(即水平轴)配合反光点42相对于瞳孔中心41的一向量43界定出一角度值θ(步骤302)。

然后，坐标换算单元133利用观看不同位置的距离值L及角度值θ得到的一角度-距离分布图(步骤303)，前述训练阶段的步骤301至步骤303完毕后，即进入应用阶段，让使用者观看屏幕14的任一位置时，令所述位置的距离值及角度值依据一预定方式在角度-距离分布图对应得到一坐标点(步骤304)，如此就可以得到观看屏幕14任一点时对应于屏幕14的位置。

需说明的是，本发明定义角度值θ为负数时，依据下述公式将其转换为0度至180度之间的角度：

ifAngle＜0then

Angle＝180+Angle；

以下介绍距离值L及角度值θ如何换算对应于屏幕14的指针101位置的二个较佳实施例，其中一种预定方式是分组对应法，另一种则是内插对应法。

二、分组对应法的实施例

本发明的瞳孔定位方法可区分为一训练阶段(如图4)及一应用阶段(如图9)，各阶段的流程详述如下：

参阅图4，训练阶段的流程包括下述步骤：

配合图1，训练单元130将屏幕14预先划分多组区域，每次只显示其中一组区域，每次显示一组区域供使用者观看时，控制特征定位单元131执行定位及控制距离-角度处理单元132取得各组区域的距离-角度；及若判断所有区域已显示完毕时，取得各组区域的距离-角度分布图。

如图5所示，屏幕14划分为4x4＝16组区域，但每次只显示其中一组区域；然后，训练阶段的流程开始时，先设定计数值I＝1(步骤201)，每次显示一区域I供使用者观看(步骤202)。

接着，撷取一使用者的眼部影像401(步骤203)，并利用眼部影像401定位出一瞳孔中心41及一反光点42(步骤204)；如图6所示，瞳孔中心41的定位方法是将眼部影像401经由动态二值化(Adaptive threshold)及型态学(Morphology)的封闭(Close)运算处理后，即可计算出瞳孔中心41的位置。

然后，利用瞳孔中心及反光点界定出一距离值L及一角度值θ(步骤205)；将计数值I+1(步骤206)；再判断I＝16(步骤207)？若否，则继续重复步骤202至207，直到判断I＝16时，表示已经取得各组区域的距离-角度分布图(步骤208)。

关于距离值L及角度值θ如何界定可参考前述图2的说明文字，至于距离值L及角度值θ与屏幕14各组区域的距离-角度差异说明如下：

参阅图7(a)，屏幕14先显示“1”区域，此时得到距离值L1及角度值θ1；参阅图7(b)，屏幕14显示“2”区域，此时得到距离值L2及角度值θ2；参阅图7(c)，屏幕14显示“3”区域，此时得到距离值L3及角度值θ3；参阅图7(d)，屏幕14显示“4”区域，此时得到距离值L4及角度值θ4；值得注意的是，由于眼睛视线是水平移动，因此距离值L1、L2、L3及L4不会差距太大，但是角度值θ1、θ2、θ3及θ4则会有较大变化。

但是当眼睛视线下移至“1”、“2”、“3”及“4”的下一排数字“5”、“6”、“7”及“8”时，因为瞳孔下移一小段距离，使得注视“5”、“6”、“7”及“8”时得到的距离值将会变小，角度值则各自对应与θ1、θ2、θ3及θ4不会有太大差距。

参阅图8，依据前述的原理，再加上因为眼球为球面而非平面，得到如区域“1”至“16”的距离-角度分布图。

参阅图9，并配合图6，分组对应法于实际应用阶段的流程包括下述步骤：

撷取一使用者的眼部影像401(步骤211)，并利用眼部影像401定位出一瞳孔中心41及一反光点42(步骤212)；利用瞳孔中心及反光点界定出一距离值Li及一角度值θi(步骤213)；以上步骤请参考图2的说明，不再赘述。

再参阅图8，以距离值Li及角度值θi可对应在角度-距离分布图中得到一坐标点5，利用最小目标函式找出距离坐标点5最近的区域(步骤214)，如此即完成屏幕指针的定位功能(步骤215)。

最小目标函式的公式如下：

Min Obj.＝W1|Dist_t-Dis_i|+W2|Angle_t-Angle_i|

(i＝1～16)

/Dist_i及Angle_i是目标距离值及角度值，Dis_t及Angle_t是目前距离值及角度值；W1及W2为分配权重，此是为了使二者贡献均衡/

Dist = 0 \sqrt{[{(x_{1} - x_{2})}^{2} + {(y_{1} - y_{2})}^{2}]};

/距离/ 公式1

Angle = \tan^{- 1} [\frac{y_{1} - y_{2}}{x_{1} - x_{2}}];

/角度/ 公式2

由本较佳实施例可知，本方法是利用多组区域得到的瞳孔中心及反光点的距离及角度，来与与屏幕的多组区域的空间，彼此建立起一对应的关系，进而得到定位功能效果；然而，分组对应法需要看越多组区域，其定位效果才会越好，因而有下面介绍的内插对应法来改善此缺点。

三、内插对应法的实施例

参阅图10，若将屏幕划分为8x8＝64组区域，则对应各区域得到的距离-角度的点集合会得到一不规则的扇形分布；如此一来，想利用内插法得到屏幕对应的坐标就遇到了困难。

参阅图11，以少数距离-角度点所画出的一扇形51，利用一扭正(Un-warping)运算可转换成一较为规则的矩形52，然后再将矩形52的位置对应至屏幕14的坐标，如此可得到相当近似且良好的对应效果。

本实施例的瞳孔定位方法也是区分为一训练阶段及一应用阶段，各阶段的流程详述如下：

参阅图12，训练阶段的流程类似图2，也包括下述步骤：

首先，设定计数值I＝1(步骤601)，然后，每次显示区域I供使用者观看(步骤602)；接着，撷取一使用者的眼部影像401(步骤603)，并利用眼部影像401定位出一瞳孔中心41及一反光点42(步骤204)；然后，利用瞳孔中心及反光点界定出一距离值L及一角度值θ(步骤605)；将计数值I+1(步骤606)；再判断I＝16(步骤607)？若否，则继续重复步骤02至07，直到判断I＝16时，表示已经取得各组区域的距离-角度分布图(步骤608)。

不同的是，本方法还要将前述的距离-角度分布图经过一扭正运算以得到一正规化分布图(步骤609)，利用仿射转换技术校正正规化分布图(步骤610)。

步骤609求得的正规化的距离-角度分布图，其公式如下：

\{\begin{matrix} u = a_{0} + a_{1} x + a_{2} y + a_{3} x^{2} + a_{4} xy + a_{5} y^{2} \\ v = b_{0} + b_{1} x + b_{2} y + b_{3} x^{2} + b_{4} xy + b_{5} y^{2} \end{matrix};

公式3

[\begin{matrix} u \\ v \end{matrix}] = [\begin{matrix} a_{0} & a_{1} & a_{2} & a_{3} & a_{4} & a_{5} \\ b_{0} & b_{1} & b_{2} & b_{3} & b_{4} & b_{5} \end{matrix}] [\begin{matrix} 1 \\ x \\ y \\ x^{2} \\ xy \\ y^{2} \end{matrix}]

公式4

扭正运算是将未扭正前的取样点(X，Y)＝{(x₁，y₁)，..(x_n，y_n)}转正为目标点(X_T，Y_T)＝{(x_T1，y_T1)，...(x_Tn，y_Yn)}，如：输入至少6组未扭正前的样本点(x₁，y₁)，(x₂，y₂)，(x₃，y₃)，(x₄，y₄)，(x₅，y₅)(x₆，y₆)转正为相对应的6组目标点(u₁，v₁)，(u₂，v₂)，(u₃，v₃)，(u₄，v₄)，(u₅，v₅)(u₆，v₆)；其中X，Y表示距离值Li，角度值θi，n＝取样数目。

为了得到二阶导函数的最佳参数，步骤609的扭正运算可借由反矩阵的运算求得a₀～a₅，b₀～b₅共12组系数的最佳解；求得a0～a5，b0～b5共12组系数的解之后，将目前的未知点(X，Y)带入公式4，就可以求得新坐标点(u，v)的值。

步骤610是利用仿射转换(Affine transform)技术对瞳孔位置进行移动校正(Moving calibration)，移动校正主要是将坐标排除其影像缩放、影像平移及影像旋转影响，进而得到一正规化的坐标。

[\begin{matrix} x^{'} \\ y^{'} \end{matrix}] = [\begin{matrix} a & b \\ c & d \end{matrix}] [\begin{matrix} x \\ y \end{matrix}] + [\begin{matrix} e \\ f \end{matrix}];

公式5

其中(x’，y’)是新坐标，a，b，c，d，e，f是仿射转换的系数。仿射转换的计算方式，是输入未校正前的屏幕的任三个角落的三对坐标点如：(x₁，y₁)，(x₂，y₂)，(x₃，y₃)及校正后的屏幕的任三个角落的三对坐标点(x′₁，y′₁)，(x′₂，y′₂)(x′₃，y′₃)，如此即可解出a～f共6个仿射转换系数，再将目前的未知点(X，Y)带入公式5，就可以求得新坐标点(x’，y’)的值。

参阅图13，内插对应法于实际应用阶段的流程包括下述步骤：

撷取一使用者的眼部影像401(步骤611)，并利用眼部影像401定位出一瞳孔中心41及一反光点42(步骤612)；利用瞳孔中心及反光点界定出一距离值Li及一角度值θi(步骤613)；以上步骤请参考图2的说明，不再赘述。

接着，将距离值Li及角度值θi(即X与Y)对应在校正后的正规化分布图中得到一坐标点，再将坐标点以内插法换算对应于屏幕的位置(步骤614)，如此即完成屏幕定位功能(步骤615)。

四、结论

由以上说明可知，本发明瞳孔定位方法及***采用非接触式技术而具有以下的优点：

1.无须在人体佩带额外装备，使用者无须花费昂贵的费用。

2.分组对应法是利用多组区域得到的瞳孔中心及反光点的距离及角度来与与屏幕的多组区域的空间彼此建立起一对应的关系，因此无须复杂计算而能对定位功能准确且有效的控制。

3.内插对应法以少数距离-角度点所画出的一扇形利用一扭正运算转换成一较为规则的矩形，然后再将矩形对应至屏幕，如此可得到相当近似且良好的对应效果，且让使用者在训练阶段只要观看少数位置就能达到良好的定位效果，不但精确也能更为省力。

Claims

1.一种瞳孔定位方法，用以在一使用者注视一屏幕时定位出使用者观看屏幕的位置，其特征在于：所述方法包含下述步骤：

(1)撷取使用者的眼部影像，并利用眼部影像定位出一瞳孔中心及一反光点；

(2)以瞳孔中心至反光点的距离界定出一距离值，并以瞳孔中心位置界定一基准线配合反光点相对于瞳孔中心的一向量界定出一角度值；及

(3)利用观看不同位置的距离值及角度值得到的一角度-距离分布图；及

(4)以观看任一位置的距离值及角度值依据一预定方式在角度-距离分布图对应得到一坐标点，借此得到观看屏幕任一点时对应于屏幕的位置。

2.如权利要求1所述的瞳孔定位方法其特征在于：所述步骤(3)是将屏幕预先划分多组区域，每次只显示其中一组区域，并执行包括下述步骤：

(a1)每次显示一组区域供使用者观看时，执行步骤(1)及步骤(2)；及

(a2)若判断所有区域已显示完毕时，取得对应各组区域的距离-角度分布图。

3.如权利要求2所述的瞳孔定位方法，其特征在于：所述步骤(4)的预定方式是一分组对应法，所述分组对应法包括下述步骤：

(a3)使用者观看屏幕的任一位置时，执行步骤(1)及步骤(2)以得到位置的一距离值及一角度值；

(a4)以距离值及角度值在角度-距离分布图中得到一坐标点；及

(a5)利用一最小目标函式找出距离坐标点最近的区域，借所述区域换算对应于屏幕的位置。

4.如权利要求3所述的瞳孔定位方法，其特征在于：所述最小目标函式的公式如下：Min Obj＝W1|Dist_t-Dis_i|+W2|Ang1e_t-Angle_i|；Dist_i及Angle_i是目标距离值及角度值，Dis_t及Angle_t是目前距离值及角度值，W1及W2为分配权重。

5.如权利要求1所述的瞳孔定位方法，其特征在于：所述步骤(3)是将屏幕预先划分多组区域，每次只显示其中一组区域，并执行包括下述步骤：

(b1)每次显示一组区域供使用者观看时，执行步骤(1)及步骤(2)；

(b2)若判断所有区域已显示完毕时，取得一包括各组区域的距离-角度分布图；

(b3)将距离-角度分布图经过一扭正运算以得到一正规化分布图；及

(b4)利用仿射转换技术校正正规化分布图。

6.如权利要求5所述的瞳孔定位方法，其特征在于：所述步骤(4)的预定方式是一内插对应法，包括下述步骤：

(b5)使用者观看屏幕的任一位置时，执行步骤(1)及步骤(2)以得到位置的一距离值及一角度值；

(b6)以距离值及角度值对应在校正后的正规化分布图中得到一坐标点；及

(b7)将坐标点以内插法换算对应于屏幕的位置。

7.一种瞳孔定位***，其特征在于：瞳孔定位***包括：

一光源，发射一光束照射一使用者的眼部；

一摄影机，撷取使用者的眼部影像；及

一运算模块，具有：

一特征定位单元，取得眼部影像并定位出一瞳孔中心及一反光点，

一距离-角度处理单元，以瞳孔中心至反光点的距离界定出一距离值，并以瞳孔中心位置界定一基准线配合反光点相对于瞳孔中心的一向量界定出一角度值，及

一坐标换算单元，利用观看不同位置的距离值及角度值得到的一角度-距离分布图后，以观看任一位置的距离值及角度值依据一预定方式在角度-距离分布图对应得到一坐标点，借此得到观看屏幕任一点时对应于屏幕的位置。

8.如权利要求7所述的瞳孔定位***，其特征在于：所述运算模块还具有一训练单元，用以将屏幕预先划分多组区域，每次只显示其中一组区域，训练单元并执行包括下述步骤：

每次显示一组区域供使用者观看时，控制特征定位单元执行定位及控制距离-角度处理单元取得各组区域的距离-角度。

9.如权利要求8所述的瞳孔定位***，其特征在于：所述坐标换算单元执行的预定方式是一分组对应法，其包括下述步骤：

使用者观看屏幕的任一位置时，控制特征定位单元执行定位及控制距离-角度处理单元取得一距离值及一角度值；

以距离值及角度值对应在角度-距离分布图中得到一坐标点；及

利用一最小目标函式找出距离坐标点最近的区域，借所述区域换算对应于屏幕的位置。

10.如权利要求9所述的瞳孔定位***，其特征在于：所述最小目标函式的公式如下：

Min Obj＝W1|Dist_t-Dis_i|+W2|Angle_t-Angle_i|；Dist_i及Angle_i是目标距离值及角度值，Dis_t及Angle_t是目前距离值及角度值，W1及W2为分配权重。

11.如权利要求7所述的瞳孔定位***，其特征在于：所述运算模块还具有一训练单元，用以将屏幕预先划分多组区域，每次只显示其中一组区域，训练单元并执行包括下述步骤：

每次显示一组区域供使用者观看时，控制特征定位单元执行定位及控制距离-角度处理单元取得各组区域的距离-角度；

若判断所有区域已显示完毕时，取得一包括各组区域的距离-角度分布图；将距离-角度分布图经过一扭正运算以得到一正规化分布图；及

利用仿射转换技术校正正规化分布图。

12.如权利要求11所述的瞳孔定位***，其特征在于：所述坐标换算单元的预定方式是一内插对应法，其包括下述步骤：

以距离值及角度值对应在校正后的正规化分布图中得到一坐标点；及

将坐标点以内插法换算对应于屏幕的位置。