CN111638799B - 一种视线追踪方法、视线追踪装置、计算机设备和介质 - Google Patents

Abstract

本发明公开了一种视线追踪方法、视线追踪装置、计算机设备和介质，所述视线追踪方法包括：获取多张人眼图像并确定所述多张人眼图像中的瞳孔坐标，所述多张人眼图像为人眼扫视屏幕的轨迹图像；根据所述多个瞳孔坐标，判断是否能够确定球心坐标，若无法确定所述球心坐标则重新获取多张人眼图像，所述球心坐标为所述瞳孔坐标所在球面的球心的坐标；根据所述球心坐标和所述瞳孔坐标确定注视点坐标。本发明提供的实施例通过获取人眼扫视屏幕的人眼图像确定瞳孔坐标、球心坐标，进而确定注视点坐标，能够有效简化视线追踪流程、提高视线追踪的稳定性和计算精度，增强用户体验，具有广泛的应用前景。

Description

一种视线追踪方法、视线追踪装置、计算机设备和介质

技术领域

本发明涉及视线追踪技术领域，特别是涉及一种视线追踪方法、视线追踪装置、计算机设备和介质。

背景技术

随着虚拟现实(Virtual Reality，VR)人工智能技术的迅速发展，用户迫切需要一种方便、准确、鲁棒性好的交互***，因此，非侵入式视线追踪技术成为了这一领域的研究热点。

目前，在视线追踪***中普遍采用的是多项式映射模型，该方法主要采用高阶多项式表示瞳孔到屏幕注视点的映射关系，一般使用9个标定点进行标定，从而得出瞳孔到屏幕的映射关系，这种视线追踪方法存在较大的缺陷：

第一，标定过程较为繁琐，每次使用前都需要用户进行标定，标定过程中需要用户依次注视屏幕上出现的标定点，每次需要注视1-2s，标定时间一般为15-25s。

第二，标定过程容易出错，用户在标定过程中要求准确注视标定点，若有一个标定点出现错误注视，例如人眼没有很好的注视标定点中心，就会导致映射模型出错，从而导致注视点计算出现较大误差，需要进行重新标定。

发明内容

为了解决上述问题至少之一，本发明第一个实施例提供一种视线追踪方法，包括：

获取多张人眼图像并分别确定所述多张人眼图像中的瞳孔坐标，所述多张人眼图像为人眼扫视屏幕的轨迹图像；

根据所述多个瞳孔坐标，判断是否能够确定球心坐标，若无法确定所述球心坐标则重新获取多张人眼图像，所述球心坐标为所述瞳孔坐标所在球面的球心的坐标；

根据所述球心坐标和所述瞳孔坐标确定注视点坐标。

进一步的，所述获取多张人眼图像并分别确定所述多张人眼图像中的瞳孔坐标进一步包括：

控制采集单元采集多张人眼图像，所述采集单元包括图像采集器和光源；

分别对所述多张人眼图像进行图像处理，确定各人眼图像的图像坐标系下的瞳孔坐标；

根据所述图像采集器预标定的内参矩阵和外参矩阵将所述图像坐标系下的瞳孔坐标转换为世界坐标系下的瞳孔坐标。

进一步的，在所述获取多张人眼图像并分别确定所述多张人眼图像中的瞳孔坐标之前，所述视线追踪方法还包括：

分别使用内参标定板和外参标定板标定所述图像采集器的内参矩阵和外参矩阵。

进一步的，所述分别使用内参标定板和外参标定板标定所述图像采集器的内参矩阵和外参矩阵进一步包括：

根据外参标定板上设置的标定点的数量，将外参标定板相对于屏幕分别设置在位置数量的不同位置上，并获取各位置对应的位置图像，其中所述位置数量与所述标定点的数量相对应；

根据所述屏幕上世界坐标系下的标定点坐标、以及对应的各所述位置图像中图像坐标系下的标定点坐标获取所述图像采集器的外参矩阵。

进一步的，所述根据所述球心坐标和所述瞳孔坐标确定注视点坐标进一步包括：

根据所述瞳孔坐标和所述球心坐标获取视线方程，并根据所述视线方程获取世界坐标系下的注视点坐标；

将所述世界坐标系下的注视点坐标转换为图像坐标系下的注视点坐标。

进一步的，所述人眼扫视屏幕的轨迹图像为：

按照所述屏幕的对角线进行扫视获取的轨迹图像；

或者

分别按照所述屏幕的第一方向和第二方向进行扫视获取的轨迹图像，其中第一方向和第二方向垂直；

或者

环绕所述屏幕进行扫视获取的轨迹图像。

本发明第二个实施例提供一种视线追踪装置，包括

采集单元，包括图像采集器和光源，所述图像采集器根据所述光源采集多张人眼图像；

瞳孔定位单元，用于确定所述人眼图像中的瞳孔坐标；

球心定位单元，用于确定球心坐标，所述球心坐标为所述瞳孔坐标所在球面的球心的坐标；

注视点定位单元，用于根据所述球心坐标和所述瞳孔坐标确定注视点坐标。

进一步的，还包括标定单元，用于分别使用内参标定板和外参标定板标定所述图像采集器的内参矩阵和外参矩阵。

本发明第三个实施例提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如第一个实施例所述的方法。

本发明第四个实施例提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如第一个实施例所述的方法。

本发明的有益效果如下：

本发明针对目前现有的问题，制定一种视线追踪方法、视线追踪装置、计算机设备和介质，通过获取人眼扫视屏幕的人眼图像确定瞳孔坐标、球心坐标，进而确定注视点坐标，能够有效简化视线追踪流程、提高视线追踪的稳定性和计算精度，增强用户体验，从而弥补了现有技术中存在的问题，具有广泛的应用前景。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出本发明的一个实施例所述视线追踪方法的流程图；

图2示出本发明的一个实施例所述虚拟现实设备的结构示意图；

图3示出本发明的一个实施例所述内参标定板的示意图；

图4示出本发明的一个实施例所述外参标定板的示意图；

图5示出本发明的一个实施例所述图像采集器的外参矩阵的标定示意图；

图6示出本发明的一个实施例所述视线追踪的示意图；

图7示出本发明的一个实施例所述坐标系转换的示意图；

图8示出本发明的一个实施例所述视线追踪装置的结构示意图；

图9示出本发明的一个实施例所述的一种计算机设备的结构示意图。

具体实施方式

为了更清楚地说明本发明，下面结合优选实施例和附图对本发明做进一步的说明。附图中相似的部件以相同的附图标记进行表示。本领域技术人员应当理解，下面所具体描述的内容是说明性的而非限制性的，不应以此限制本发明的保护范围。

如图1所示，本发明的一个实施例提供了一种视线追踪方法，包括：获取多张人眼图像并分别确定所述多张人眼图像中的瞳孔坐标，所述多张人眼图像为人眼扫视屏幕的轨迹图像；根据所述多个瞳孔坐标，判断是否能够确定球心坐标，若无法确定所述球心坐标则重新获取多张人眼图像，所述球心坐标为所述瞳孔坐标所在球面的球心的坐标；根据所述球心坐标和所述瞳孔坐标确定注视点坐标。

在本实施例中，通过使用人眼扫视屏幕获取的具有扫视轨迹的多张人眼图像确定各人眼图像的瞳孔坐标，根据所述瞳孔在眼球球面上运动的特点，进而通过多个瞳孔坐标确定其运动轨迹的球面的球心坐标，再根据所述瞳孔坐标和球心坐标确定出注视点坐标，从而实现对人眼的视线追踪。

在本实施例的视线追踪过程中，利用人眼扫视屏幕获取具有扫视轨迹的瞳孔坐标，进而简化了现有技术中使用多个(通常为9个)标定点依次标定的步骤，有效避免采用多项式映射方法进行标定的繁琐流程，加快对用户的视线追踪，提高视线追踪的稳定性和计算精度，能够有效提升用户的使用体验，具有广泛的应用前景。

在一个具体的实施例中，如图2所示，虚拟现实VR设备100包括第一镜头11和第二镜头12，考虑到两眼视线一致，本实施例采用单目视线追踪进行说明，所述虚拟现实VR设备还包括设置在第一镜头11正下方的图像采集器13和设置在第一镜头11周围的光源14。具体的视线追踪步骤如下：

S10：获取多张人眼图像并分别确定所述多张人眼图像中的瞳孔坐标，所述多张人眼图像为人眼扫视屏幕的轨迹图像。具体包括：

S100：控制采集单元采集多张人眼图像，所述采集单元包括图像采集器和光源。

在本实施例中，所述采集单元包括图像采集器和光源，所述图像采集器为相机，所述相机的中心轴线指向人眼区域的中心位置，使得所述相机在光源的提供的环境下采集人眼图像。考虑到在夜晚或黑暗环境中采集人眼图像，所述光源为红外光源，所述相机为红外相机。为快速准确采集人眼图像，所述相机为高速红外相机，同时考虑到光源的功率和均匀补光的问题使用多个红外光源。具体的，本实施例使用的高速红外相机的分辨率为640*480，帧速为100fps，视场角(FOV)为60°，在所述第一镜头11的周围按照正六边形的顶点位置设置六个红外光源，各红外光源的波长为850nm，所述六个红外光源能够提供均匀的环境光以便于高速红外相机采集人眼图像，并且有利于将瞳孔从虹膜区域分割以获取清晰的瞳孔图像。

在一个可选的实施例中，所述人眼扫视屏幕的轨迹图像为：分别按照所述屏幕的第一方向和第二方向进行扫视获取的轨迹图像，其中第一方向和第二方向垂直。具体的，例如在视线追踪过程中，提示用户在水平方向从左到右扫视屏幕，然后提示用户在竖直方向从上到下扫视屏幕以完成屏幕扫视，即在该过程中，人眼的瞳孔从屏幕左端移动到右端，再从屏幕的上端移动到下端，高速红外相机在红外光源提供的红外光下采集N帧具有瞳孔运动轨迹的人眼图像以用于视线追踪。本实施例中用户扫视屏幕预计耗时2s，相比于现有技术中通过9个标定点进行标定所需的15-25s的时间，大幅降低了标定时间，有效提高用户体验。

在一个可选的实施例中，按照所述屏幕的对角线进行扫视获取的轨迹图像。例如在视线追踪过程中，提示用户从屏幕的一角开始扫视至相对于屏幕中心的另一角以完成屏幕扫视，例如从屏幕的左上角开始扫视至屏幕的右下角，即通过人眼扫视屏幕的对角线获取具有扫视轨迹的多个人眼图像，图像采集器在人眼扫视屏幕的过程中采集多个人眼图像用于视线追踪。

在一个可选的实施例中，环绕所述屏幕进行扫视获取的轨迹图像。例如在视线追踪过程中，提示用户从屏幕周边的一点开始，环绕屏幕扫视一周以完成屏幕扫视，图像采集器在人眼扫视屏幕的过程中采集多个人眼图像用于视线追踪。

综上，本实施例能够通过不同的人眼扫视方式采集多个人眼图像，从而有效简化现有技术中依次使用9个标定点的标定步骤。

S102：分别对所述多张人眼图像进行图像处理，确定各人眼图像的图像坐标系下的瞳孔坐标。

在本实施例中，通过多张人眼图像获取图像坐标系下的瞳孔坐标，具体包括：

首先，分别对所述多张人眼图像进行预处理。具体的，将人眼图像转化为灰度图像，再对灰度图像进行高斯滤波，滤除图像中的噪声。

其次，分别对各滤波后的图像进行二值化处理。具体的，对图像中的各像素进行二值化处理，将获得的二值化图像中瞳孔部分灰度值设置为0，并对二值化图像采取开运算以去除瞳孔中的白色空洞。

最后，分别计算各二值化后图像的瞳孔区域的轮廓，并根据轮廓大小和形状剔除非瞳孔轮廓，再使用质心法确定各图像的图像坐标系下的瞳孔坐标，其中，所述图像坐标系的原点位于屏幕左上角。

S104：根据所述图像采集器预标定的内参矩阵和外参矩阵将所述图像坐标系下的瞳孔坐标转换为世界坐标系下的瞳孔坐标。

在本实施例中，根据各图像的图像坐标系下的瞳孔坐标，利用高速红外相机预先标定的内参矩阵将图像坐标系下的瞳孔坐标转换为相机坐标系下的瞳孔坐标，然后再利用高速红外相机预先标定的外参矩阵将相机坐标系下的瞳孔坐标转换为世界坐标系下的瞳孔坐标。

在本实施例中，所述图像采集器预标定的内参矩阵和外参矩阵可以是高速红外相机出厂前标定的，也可以在使用前进行标定，本申请对此不做限定。

考虑到高速红外相机未在出厂前标定或者没有该高速红外相机的内参矩阵和外参矩阵数据，在一个可选的实施例中，在所述S10之前，所述视线追踪方法还包括：S01：分别使用内参标定板和外参标定板标定所述图像采集器的内参矩阵和外参矩阵。

首先，获取图像采集器的内参矩阵。

具体的，图像坐标系和相机坐标系的转换关系为：

其中，(u，v)为图像坐标系下的坐标，M为相机内参矩阵，为相机坐标系下的坐标。

如图3所示为内参标定板，在本实施例中使用内参标定板和OpenCV开源的相机标定程序获取图像采集器的内参矩阵，通过该内参矩阵能够实现在图像坐标系和相机坐标系之间进行转换。

其次，获取图像采集器的外参矩阵。

在一个可选的实施例中，包括：

第一步，根据外参标定板上设置的标定点的数量，将外参标定板相对于屏幕分别设置在位置数量的不同位置上，并获取各位置对应的位置图像，其中所述位置数量与所述标定点的数量相对应。

在本实施例中，如图2所示，设定VR右屏幕中心为世界坐标原点Ow，相机镜头中心为相机坐标系原点，两坐标系的建立都符合右手定则。如图4所示为外参标定板20，设置有5个标定点21；如图5所示为利用外参标定板获取高速红外相机的外参矩阵的示意图。具体的，世界坐标系原点以Ow表示，三个轴分别为Xw、Yw、Zw，相机坐标系原点以Oc表示，三个轴分别为Xc、Yc、Zc；高速红外相机的镜头设置在距离屏幕为d的位置。

首先，如图5所示，将外参标定板平行于屏幕设置在距屏幕d+d1处，所述外参标定板的中心在世界坐标系的Zw轴上，使用高速红外相机拍照并获取具有W1-W5的5个相机坐标系的点坐标。

其次，如图5所示，将外参标定板平行于屏幕设置在距屏幕d+d1+d2处，所述外参标定板的中心在世界坐标系的Zw轴上，使用高速红外相机拍照并获取具有W6-W10的5个相机坐标系的点坐标。

在上述过程中，根据设置有5个标定点的外参标定板，以及分别将外参标定板设置在不同的两个位置上采集位置图像，一共获得图像坐标系下的10个点坐标。同时，根据原点位于屏幕中心的世界坐标系，从屏幕上能够确定世界坐标系下的W1-W10对应的点W1’-W10’的坐标，分别为：W1’(s，s，d+d1)，W2’(-s，s，d+d1)，W3’(0，0，d+d1)，W4’(s，-s，d+d1)，W5’(-s，-s，d+d1)，W6’(s，s，d+d1+d2)，W7’(-s，s，d+d1+d2)，W8’(0，0，d+d1+d2)，W9’(s，-s，d+d1+d2)和W10’(-s，-s，d+d1+d2)。

第二步，根据所述屏幕上世界坐标系下的标定点坐标、以及对应的各所述位置图像中图像坐标系下的标定点坐标获取所述图像采集器的外参矩阵。

具体的，世界坐标系和相机坐标系的转换关系为：

其中，为世界坐标系下的坐标，包括旋转矩阵Rc和平移矩阵Pc，其中，Rc为3*3的旋转矩阵，平移矩阵Pc为两坐标系原点的差值；/>为相机坐标系下的坐标。

在本实施例中，将获取的图像坐标系下的10个点坐标带入上述转换关系式(2)求解旋转矩阵Rc矩阵中的9个未知参数，从而获取用于转换相机坐标系和世界坐标系的外参矩阵。

值得说明的是，本申请对外参标定板上标定点的数量、以及将外参标定板设置在不同位置的位置数量不作限定，以能够获取外参矩阵的旋转矩阵为设定准则，根据外参标定板上标定点的数量确定位置数量，在此不再赘述。

在本实施例中，通过预先对图像采集器进行一次标定获取内参矩阵和外参矩阵，以便于在视线追踪过程中通过所述内参矩阵和外参矩阵实现不同坐标系之间的转换，相比于现有技术中通过多项式映射方式标定容易出错的问题，有效提高了视线追踪的稳定性和计算精度，并且提升了用户的使用体验。

S12：根据所述多个瞳孔坐标，判断是否能够确定球心坐标，若确定所述球心坐标则跳转至S14，否则跳转至S10，所述球心坐标为所述瞳孔坐标所在球面的球心的坐标。

在本实施例中，根据人眼在扫视屏幕时，瞳孔围绕眼球中心在眼球球面上进行转动，即瞳孔的运动轨迹位于球面上，则根据世界坐标系下的瞳孔坐标(x，y，z)，可以确定以下方程：

(x-x₀)²+(y-y₀)²+(z-z₀)²＝R² (3)

其中，(x₀，y₀，z₀)为世界坐标系下的球心坐标，R为眼球半径。

具体的，对于球心坐标，拟合后的估计值与实际值的误差平方和为：

其中，E(x₀，y₀，z₀，R)是x₀，y₀，z₀，R的函数，因此，E(x₀，y₀，z₀，R)关于x₀，y₀，z₀，R的偏导数为0，即：

根据方程8可得：

因此三个方程可以简化为：

令：

并带入化简后的方程中，可得：

在方程(13)、(14)和(15)中减去方程(16)并化简成矩阵形式，可得：

对方程(17)进行求解，若所述人眼扫视获得的瞳孔坐标能够解出矩阵17则获得世界坐标系下的球心坐标(x₀，y₀，z₀)，否则跳转至S10重新采集人眼扫视屏幕的人眼图像。

S14：根据所述球心坐标和所述瞳孔坐标确定注视点坐标。

在本实施例中，如图6所示，根据世界坐标系下的球心坐标和瞳孔坐标继续计算以确定注视点坐标，即瞳孔52以球心51为中心在眼球50上运动，注视点41为视线经过球心51和瞳孔52相交于屏幕40上的点，具体包括：

S140：根据所述瞳孔坐标和所述球心坐标获取视线方程，并根据所述视线方程获取世界坐标系下的注视点坐标。

在本实施例中，根据世界坐标系下的球心坐标和瞳孔坐标确定以下视线方程：

转化为一般方程为：

在本实施例中，设定所述屏幕所在平面方程为：z＝0；将其代入模块方程(19)，能够确定世界坐标系下的注视点坐标K(x_k，y_k，z_k)：

S142：将所述世界坐标系下的注视点坐标转换为图像坐标系下的注视点坐标。

在本实施例中，上述计算得到的注视点坐标为世界坐标系的坐标，为了便于计算屏幕上的注视点位置，需要将该注视点坐标转换为图像坐标系下，具体的：

如图7所示，以屏幕为参照物，世界坐标系原点位于屏幕中心，图像坐标系原点位于屏幕左上角，并且两坐标系的X轴和Y轴相互平行，转换关系如下：

第一，注视点在屏幕上的世界坐标系的坐标为(x_k，y_k)。

第二，考虑到人单眼的横向视场角和纵向视场角大致相同，因此虚拟现实VR中的单个屏幕形状一般为正方形，即横向分辨率和纵向分辨率相等，因此设定屏幕的物理尺寸为n*n，分辨率为m*m，则屏幕的像素间距为：n/m。

则转换后的图像坐标为：

则(x_t，y_t)即为图像坐标系下的注视点坐标。

至此，通过人眼扫视屏幕采集的多张人眼图像确定各人眼图像中的具有瞳孔轨迹的瞳孔坐标，再利用多个瞳孔坐标获取眼球中心的球心坐标，再根据瞳孔坐标和球心坐标确定注视点坐标，从而实现根据人眼扫视屏幕进行视线追踪。相比于现有技术中通过9个标定点采用多项式映射模型实现视线追踪，有效简化视线追踪流程、提高视线追踪的稳定性和计算精度，增强用户体验，具有广泛的应用前景。

值得说明的是，本申请对采用单目视线追踪和双目视线追踪不作具体限定，采用双目视线追踪能够进一步提高视线追踪的准确度，本领域技术人员应当根据实际应用需求选择适当的方式进行视线追踪，以能够获取具有人眼扫视屏幕轨迹的瞳孔坐标、能够确定球心坐标、进而确定注视点为设计准则，在此不再赘述。

与上述实施例提供的视线追踪方法相对应，本申请的一个实施例还提供一种使用上述视线追踪方法的视线追踪装置，由于本申请实施例提供的视线追踪装置与上述几种实施例提供的视线追踪方法相对应，因此在前实施方式也适用于本实施例提供的视线追踪装置，在本实施例中不再详细描述。

如图8所示，本申请的一个实施例还提供一种视线追踪装置，包括采集单元，包括图像采集器和光源，所述图像采集器根据所述光源采集多张人眼图像；瞳孔定位单元，用于确定所述人眼图像中的瞳孔坐标；球心定位单元，用于确定球心坐标，所述球心坐标为所述瞳孔坐标所在球面的球心的坐标；注视点定位单元，用于根据所述球心坐标和所述瞳孔坐标确定注视点坐标。

在本实施例中，通过使用人眼扫视屏幕获取的具有扫视轨迹的多张人眼图像确定各人眼图像的瞳孔坐标，根据所述瞳孔在眼球球面上运动的特征，进而通过多个瞳孔坐标确定其运动轨迹的球面的球心坐标，再根据所述瞳孔坐标和球心坐标确定出注视点坐标，从而实现对人眼的视线追踪。本实施例的具体实施方式同前述实施例，在此不再赘述。

在一个可选的实施例中，所述视线追踪装置还包括标定单元，用于分别使用内参标定板和外参标定板标定所述图像采集器的内参矩阵和外参矩阵。

在本实施例中，通过预先对图像采集器进行标定获取内参矩阵和外参矩阵，以便于在视线追踪过程中通过所述内参矩阵和外参矩阵实现不同坐标系之间的转换，相比于现有技术中通过多项式映射方式标定容易出错的问题，有效提高了视线追踪的稳定性和计算精度，并且提升了用户的使用体验。本实施例的具体实施方式同前述实施例，在此不再赘述。

本发明的另一个实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现：S10：获取多张人眼图像并分别确定所述多张人眼图像中的瞳孔坐标，所述多张人眼图像为人眼扫视屏幕的轨迹图像；S12：根据所述多个瞳孔坐标，判断是否能够确定球心坐标，若确定所述球心坐标则跳转至S14，否则跳转至S10，所述球心坐标为所述瞳孔坐标所在球面的球心的坐标；S14：根据所述球心坐标和所述瞳孔坐标确定注视点坐标。

在实际应用中，所述计算机可读存储介质可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本实施例中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行***、装置或者器件使用或者与其结合使用。

计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。

计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

如图9所示，本发明的另一个实施例提供的一种计算机设备的结构示意图。图9显示的计算机设备12仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图9所示，计算机设备12以通用计算设备的形式表现。计算机设备12的组件可以包括但不限于：一个或者多个处理器或者处理单元16，***存储器28，连接不同***组件(包括***存储器28和处理单元16)的总线18。

总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，***总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及***组件互连(PCI)总线。

计算机设备12典型地包括多种计算机***可读介质。这些介质可以是任何能够被计算机设备12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。

***存储器28可以包括易失性存储器形式的计算机***可读介质，例如随机存取存储器(RAM)30和/或高速缓存存储器32。计算机设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机***存储介质。仅作为举例，存储***34可以用于读写不可移动的、非易失性磁介质(图9未显示，通常称为“硬盘驱动器”)。尽管图9中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM，DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储器28可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。

具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如存储器28中，这样的程序模块42包括但不限于操作***、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本发明所描述的实施例中的功能和/或方法。

计算机设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信，还可与一个或者多个使得用户能与该计算机设备12交互的设备通信，和/或与使得该计算机设备12能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且，计算机设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图9所示，网络适配器20通过总线18与计算机设备12的其它模块通信。应当明白，尽管图9中未示出，可以结合计算机设备12使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID***、磁带驱动器以及数据备份存储***等。

处理器单元16通过运行存储在***存储器28中的程序，从而执行各种功能应用以及数据处理，例如实现本发明实施例所提供的一种视线追踪方法。

本发明针对目前现有的问题，制定一种视线追踪方法、视线追踪装置、计算机设备和介质，通过获取人眼扫视屏幕的人眼图像确定瞳孔坐标、球心坐标，进而确定注视点坐标，能够有效简化视线追踪流程、提高视线追踪的稳定性和计算精度，增强用户体验，从而弥补了现有技术中存在的问题，具有广泛的应用前景。

显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定，对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动，这里无法对所有的实施方式予以穷举，凡是属于本发明的技术方案所引伸出的显而易见的变化或变动仍处于本发明的保护范围之列。

Claims (9)

1.一种视线追踪方法，其特征在于，包括：

获取多张人眼图像并分别确定所述多张人眼图像中的瞳孔坐标，所述多张人眼图像为人眼扫视屏幕的轨迹图像，

所述人眼扫视屏幕的轨迹图像为：

按照所述屏幕的对角线进行扫视获取的轨迹图像；或者分别按照所述屏幕的第一方向和第二方向进行扫视获取的轨迹图像，其中第一方向和第二方向垂直；或者环绕所述屏幕进行扫视获取的轨迹图像；

根据所述多个瞳孔坐标，判断是否能够确定球心坐标，若无法确定所述球心坐标则重新获取多张人眼图像，所述球心坐标为所述瞳孔坐标所在球面的球心的坐标；

根据所述球心坐标和所述瞳孔坐标确定注视点坐标。

2.根据权利要求1所述的视线追踪方法，其特征在于，所述获取多张人眼图像并分别确定所述多张人眼图像中的瞳孔坐标进一步包括：

控制采集单元采集多张人眼图像，所述采集单元包括图像采集器和光源；

分别对所述多张人眼图像进行图像处理，确定各人眼图像的图像坐标系下的瞳孔坐标；

根据所述图像采集器预标定的内参矩阵和外参矩阵将所述图像坐标系下的瞳孔坐标转换为世界坐标系下的瞳孔坐标。

3.根据权利要求2所述的视线追踪方法，其特征在于，在所述获取多张人眼图像并分别确定所述多张人眼图像中的瞳孔坐标之前，所述视线追踪方法还包括：

分别使用内参标定板和外参标定板标定所述图像采集器的内参矩阵和外参矩阵。

4.根据权利要求3所述的视线追踪方法，其特征在于，所述分别使用内参标定板和外参标定板标定所述图像采集器的内参矩阵和外参矩阵进一步包括：

根据外参标定板上设置的标定点的数量，将外参标定板相对于屏幕分别设置在位置数量的不同位置上，并获取各位置对应的位置图像，其中所述位置数量与所述标定点的数量相对应；

根据所述屏幕上世界坐标系下的标定点坐标、以及对应的各所述位置图像中图像坐标系下的标定点坐标获取所述图像采集器的外参矩阵。

5.根据权利要求1所述的视线追踪方法，其特征在于，所述根据所述球心坐标和所述瞳孔坐标确定注视点坐标进一步包括：

根据所述瞳孔坐标和所述球心坐标获取视线方程，并根据所述视线方程获取世界坐标系下的注视点坐标；

将所述世界坐标系下的注视点坐标转换为图像坐标系下的注视点坐标。

6.一种视线追踪装置，其特征在于，包括

采集单元，包括图像采集器和光源，所述图像采集器根据所述光源采集多张人眼图像，

其中，采集多张人眼图像时人眼扫视屏幕的轨迹图像为：

按照所述屏幕的对角线进行扫视获取的轨迹图像；或者分别按照所述屏幕的第一方向和第二方向进行扫视获取的轨迹图像，其中第一方向和第二方向垂直；或者环绕所述屏幕进行扫视获取的轨迹图像；

瞳孔定位单元，用于确定所述人眼图像中的瞳孔坐标；

球心定位单元，用于确定球心坐标，所述球心坐标为所述瞳孔坐标所在球面的球心的坐标；

注视点定位单元，用于根据所述球心坐标和所述瞳孔坐标确定注视点坐标。

7.根据权利要求6所述的视线追踪装置，其特征在于，还包括标定单元，用于分别使用内参标定板和外参标定板标定所述图像采集器的内参矩阵和外参矩阵。

8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-5中任一项所述的方法。

9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-5中任一项所述的方法。