CN112099615B - 注视信息确定方法、装置、眼球追踪设备及存储介质 - Google Patents

Abstract

本发明公开了注视信息确定方法、装置、眼球追踪设备及存储介质。方法应用于眼球追踪设备，眼球追踪设备包括组合光源、图像采集装置和处理器，组合光源包括第一光源，第一光源与图像采集装置位于同一光学路径上；组合光源还包括第二光源和第三光源，第二光源和第三光源位于第一光源的不同侧面上，且与图像采集装置位于不同光学路径上，方法由处理器执行，方法包括：控制第一光源、第二光源、第三光源和图像采集装置的工作状态，获取亮瞳图像和暗瞳图像；根据亮瞳图像、暗瞳图像和光源空间位置关系，确定第一模型估计参数；将第一模型估计参数输入估计模型，获取用户的注视信息。利用该方法能够提升大视场角范围内进行注视信息估计的准确率。

Description

注视信息确定方法、装置、眼球追踪设备及存储介质

技术领域

本发明实施例涉及眼球追踪技术领域，尤其涉及注视信息确定方法、装置、眼球追踪设备及存储介质。

背景技术

随着计算机视觉、人工智能技术和数字化技术的迅速发展，眼球追踪技术已成为当前热点研究领域，在人机交互领域有着广泛的应用。眼球追踪，也称为视线追踪，是通过测量眼睛运动情况来估计眼睛的注视信息的技术，注视信息包括视线和/或注视点。

当用户要在大视场角范围内进行注视信息估计时，由于用户头部姿态或者眼球运动幅度过大，导致角膜反射后的红外光不能在相机成像面上成像，或者成像质量非常差，从而导致通过现有注视信息估计方法进行注视信息估计时，估计结果不准确，降低了用户使用眼球追踪设备进行注视信息估计的体验。

发明内容

本发明实施例提供了注视信息确定方法、装置、眼球追踪设备及存储介质，以提升大视场角范围内进行注视信息估计的准确率。

第一方面，本发明实施例提供了一种注视信息确定方法，应用于眼球追踪设备，所述眼球追踪设备包括组合光源、图像采集装置和处理器，所述组合光源包含第一光源，所述第一光源与所述图像采集装置位于同一光学路径上；所述组合光源还包括第二光源和第三光源，所述第二光源和所述第三光源位于所述第一光源的不同侧面上，且与所述图像采集装置位于不同光学路径上，所述方法由所述处理器执行，所述方法包括：

控制所述第一光源、所述第二光源、所述第三光源、所述图像采集装置的工作状态，获取亮瞳图像和暗瞳图像；

根据所述亮瞳图像、所述暗瞳图像和光源空间位置关系，确定第一模型估计参数；

将所述第一模型估计参数输入估计模型，获取用户的注视信息。

可选的，控制所述第一光源、所述第二光源、所述第三光源和所述图像采集装置的工作状态，获取亮瞳图像和暗瞳图像，包括：

控制所述第一光源启动，并控制所述图像采集装置获取亮瞳图像；

关断所述第一光源后，控制所述第二光源和所述第三光源启动，并控制所述图像采集装置获取暗瞳图像。

可选的，所述第一模型估计参数包括：瞳孔位置信息、所述亮瞳图像中光斑的第一光斑位置信息、对应所述第一光斑位置信息的光源的第一空间位置信息、所述暗瞳图像中光斑的第二光斑位置信息和对应所述第二光斑位置信息的光源的第二空间位置信息；

相应的，根据所述亮瞳图像和所述暗瞳图像，确定第一模型估计参数，包括：

根据所述亮瞳图像和所述暗瞳图像，确定瞳孔位置信息；

分别确定所述亮瞳图像所包括光斑的第一光斑位置信息和所述暗瞳图像所包括光斑的第二光斑位置信息；

将所述第一光源的位置信息作为第一空间位置信息；

基于所述第一光斑位置信息、所述第二光斑位置信息和预先确定的光源空间位置关系，确定对应所述第二光斑位置信息的光源的第二空间位置信息。

可选的，确定所述暗瞳图像所包括光斑的第二光斑位置信息包括：

若所述暗瞳图像中包括两个光斑，则将满足质量条件的光斑的位置信息作为第二光斑位置信息，所述质量条件根据光斑特征确定；

若所述暗瞳图像中包括一个光斑，则将所述暗瞳图像所包括光斑的位置信息作为第二光斑位置信息。

可选的，确定估计模型的操作包括：

显示校准点；

控制所述第一光源、所述第二光源、所述第三光源、所述图像采集装置的工作状态，获取用户注视所述校准点时的第一校准图像和第二校准图像；

根据所述第一校准图像和所述第二校准图像，确定第二模型估计参数；

将所述第二模型估计参数和所述校准点的位置信息输入待求解的估计模型，确定校准参数的数值；

将确定出的校准参数的数值代入待求解的估计模型，得到求解后的估计模型。

可选的，控制所述第一光源、所述第二光源、所述第三光源、所述图像采集装置的工作状态，获取用户注视所述校准点时的第一校准图像和第二校准图像，包括：

控制所述第一光源启动，并控制所述图像采集装置获取第一校准图像；

关断所述第一光源后，控制所述第二光源和所述第三光源启动，并控制所述图像采集装置获取第二校准图像。

可选的，所述第二模型估计参数包括：校准瞳孔位置信息、所述第一校准图像中光斑的第三光斑位置信息、对应所述第三光斑位置信息的光源的第三空间位置信息、所述第二校准图像中光斑的第四光斑位置信息和对应所述第四光斑位置信息的光源的第四空间位置信息；

相应的，根据所述第一校准图像和所述第二校准图像，确定第二模型估计参数，包括：

根据所述第一校准图像和所述第二校准图像，确定校准瞳孔位置信息；

分别确定所述第一校准图像所包括光斑的第三光斑位置信息和所述第二校准图像所包括光斑的第四光斑位置信息；

将所述第一光源的位置信息作为第三空间位置信息；

基于所述第三光斑位置信息、所述第四光斑位置信息和预先确定的光源空间位置关系，确定对应所述第四光斑位置信息的光源的第四空间位置信息。

第二方面，本发明实施例还提供了一种注视信息确定装置，包括：

图像获取模块，用于控制第一光源、第二光源、第三光源和图像采集装置的工作状态，获取亮瞳图像和暗瞳图像；

确定模块，用于根据所述亮瞳图像、所述暗瞳图像和光源空间位置关系，确定第一模型估计参数；

信息获取模块，用于将所述第一模型估计参数输入估计模型，获取用户的注视信息。

第三方面，本发明实施例还提供了一种眼球追踪设备，包括：组合光源和图像采集装置；所述组合光源包含第一光源，所述第一光源与所述图像采集装置位于同一光学路径上；所述组合光源还包括第二光源和第三光源，所述第二光源和所述第三光源位于所述第一光源的不同侧面上，且与所述图像采集装置位于不同光学路径上；

一个或多个处理器；

存储装置，用于存储一个或多个程序；

所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明实施例提供的注视信息确定方法。

第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明实施例提供的注视信息确定方法。

本发明实施例提供了注视信息确定方法、装置、眼球追踪设备及存储介质，利用上述技术方案，能够通过控制第一光源、第二光源、第三光源和图像采集装置的工作状态，获取亮瞳图像和暗瞳图像；然后分析亮瞳图像和暗瞳图像，得到第一模型估计参数；将第一模型估计参数输入估计模型，得到用户的注视信息。通过亮瞳图像和不同位置光源产生的暗瞳图像，有效确定出第一模型估计参数，以便于确定用户的注视信息。该注视信息确定方法成本较低，由于各光源之间具有一定的距离，因此图像采集装置所能捕捉到光斑的范围也更大，可以满足用户头部姿态或者眼球运动幅度过大的需求，通过亮瞳图像、暗瞳图像和光源空间位置关系，实现对注视信息的动态计算，大视场角环境下准确的获得视线方向和注视点。

附图说明

图1a为本发明实施例一提供的一种注视信息确定方法的流程示意图；

图1b为本发明实施例提供的亮瞳原理示意图；

图1c为本发明实施提供的亮瞳图像示意图；

图1d为本发明实施例提供的暗瞳原理示意图；

图1e为本发明实施例提供的暗瞳图像示意图；

图1f为本发明实施例提供的图像采集装置采集的亮瞳图像的示意图；

图1g为本发明实施例提供的图像采集装置采集的暗瞳图像的示意图；

图1h为本发明实施例提供的用户头部朝左旋转一定角度后的亮瞳图像的示意图；

图1i为本发明实施例提供的用户头部朝左旋转一定角度后的暗瞳图像的示意图；

图2a为本发明实施例二提供的一种注视信息确定方法的流程示意图；

图2b为本发明提供的眼球追踪设备的结构示意图；

图3为本发明实施例三提供的一种注视信息确定装置的结构示意图；

图4为本发明实施例四提供的一种眼球追踪设备的结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。此外，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

实施例一

图1a为本发明实施例一提供的一种注视信息确定方法的流程示意图，该方法可适用于确定注视信息的情况，具体的，该方法可适用于在大视场角范围内确定注视信息的情况。其中，注视信息可以理解为用户进行注视时的信息，包括但不限于注视点和/或视线。该方法可以由注视信息确定装置来执行，其中该装置可由软件和/或硬件实现，并一般集成在眼球追踪设备上，在本实施例中眼球追踪设备包括但不限于：眼动仪。眼球追踪设备可以单独使用，也可以集成在头戴式显示设备中，头戴式显示设备包括虚拟现实(VirtualReality，VR)设备和增强现实(Augmented Reality，AR)设备。

当前商用眼球追踪设备主要是基于瞳孔-角膜反射的原理进行视线估计。眼球追踪设备一般包括几个红外灯和相机，红外灯发出主动红外光源，在眼球角膜表面会反射，进而相机成像面上瞳孔以及红外灯在角膜表面反射形成的亮斑(即光斑)位置。有了瞳孔中心与光斑中心后，或者通过建立瞳孔到光斑的矢量到注视点的函数拟合或者基于三维眼球模型的参数估计求解视轴方向以及角膜曲率中心空间位置。

随着大尺寸屏幕的普及，用户的使用视场角需要更大或者在某些场景下，用户需要眼球追踪设备支持更大的视场角。如，在大尺寸曲面屏显示器中需要使用的视场角较大，用户使用时头部的水平视场范围超过100°。再如，在由车内前挡风玻璃构成的交互环境中，水平视场角范围也是大角度的，即需要较大视场角。

为了满足用户对大视场角的需求，一种可能的解决思路是使用多台眼球追踪设备来满足用户对大视场角的需求。但该方案存在一些不足。首先，多台眼球追踪设备同时工作会造成红外串扰，需要一套复杂机制来对多台眼球追踪设备协调。其次，多台眼球追踪设备的校准对用户也是额外的负担。

本实施例为了满足用户大视场角的需求，使用亮暗瞳技术有效的提取了瞳孔及亮斑中心。图1b为本发明实施例提供的亮瞳原理示意图。图1c为本发明实施提供的亮瞳图像示意图。图1d为本发明实施例提供的暗瞳原理示意图。图1e为本发明实施例提供的暗瞳图像示意图。参见图1b、图1c、图1d和图1e，瞳孔角膜反射追踪可使用两种不同的光源配置：明瞳追踪(即亮瞳追踪)，即第一光源11与第一成像设备12在同一条光学路径上，使瞳孔出现发亮的效果(这与相片中出现的红眼现象相同)。其中，第一成像设备12获取的亮瞳图像13如图1c所示。暗瞳追踪，即第二光源14放置在第二成像设备15较远的位置(不在同一条光学路径上)，产生瞳孔比虹膜暗的效果(明显的对比)。其中，第二成像设备15获取的暗瞳图像16如图1e所示。

如图1a所示，本发明实施例一提供的一种注视信息确定方法，该注视信息确定方法应用于眼球追踪设备，所述眼球追踪设备包括组合光源、图像采集装置和处理器，所述组合光源包含第一光源，所述第一光源与所述图像采集装置位于同一光学路径上；所述组合光源还包括第二光源和第三光源，所述第二光源和所述第三光源位于所述第一光源的不同侧面上，且与所述图像采集装置位于不同光学路径上，所述方法由所述处理器执行，其中，组合光源至少包括第一光源、第二光源和第三光源。第二光源和第三光源所包括的光源个数为至少一个。若第二光源和第三光源包括至少两个光源，则可以进一步细化光源空间位置关系，以确定各光源与暗瞳图像中光斑的对应关系。此外，组合光源还可以包括第四光源、第五光源……第n光源，n为正整数。第四光源、第五光源……第n光源可以位于第一光源的不同侧面上，以用于形成暗瞳图像。本发明实施例以第二光源和第三光源包括一个光源为例进行说明。所述方法包括如下步骤：

S101、控制第一光源、第二光源、第三光源和图像采集装置的工作状态，获取亮瞳图像和暗瞳图像。

在本实施例中，各光源，即第一光源、第二光源和第三光源可以为红外光源，因为红外光线不会影响眼睛的视觉。图像采集装置包括但不限于：红外摄像设备、红外图像传感器、照相机或摄像机。

其中，第一光源和图像采集装置位于同一光学路径上，故本步骤可以通过控制第一光源和图像采集装置的工作状态，获取亮瞳图像。工作状态可以包括启动和关闭。如本步骤先控制第一光源启动，然后控制图像采集装置启动拍照，从而获取亮瞳图像。亮瞳图像可以理解为包括用户眼睛的图像，该图像中用户的瞳孔的亮度大于一定值，使瞳孔出现发亮的效果。一定值可以根据实际情况设定，此处不作限定。

第二光源和第三光源位于与所述图像采集装置不同的光学路径上，确保通过第一光源和第二光源获取的图像为暗瞳图像。暗瞳图像可以理解为包括用户眼睛的图像，该图像中用户的瞳孔的亮度低于虹膜的亮度。

本步骤获取暗瞳图像的过程可以为：控制第二光源和第三光源开启，然后控制图像采集装置拍照，从而得到暗瞳图像；或，控制第二光源开启，然后启动图像采集装置拍照，得到一幅暗瞳图像。关闭第二光源，开启第三光源，然后启动图像采集装置拍照，得到另一幅暗瞳图像。

本步骤不限定获取亮瞳图像和暗瞳图像的顺序，只要能够在不同时机分别获取到亮瞳图像和暗瞳图像即可。

第二光源和第三光源位于所述第一光源的不同侧面上，能够有效确定在大视场角下获取的眼部图像的注视信息。眼部图像包括亮瞳图像和暗瞳图像。

图1f为本发明实施例提供的图像采集装置采集的亮瞳图像的示意图。图1g为本发明实施例提供的图像采集装置采集的暗瞳图像的示意图。参见图1f和图1g，以一只眼睛为例说明，亮瞳图像包括一个亮斑，即第一亮斑17，由第一光源产生。暗瞳图像中包括两个亮斑，即第二亮斑181和第三亮斑182，分别位于亮瞳图像中的第一亮斑17的两侧，可以分别由第二光源和第三光源产生。

需要注意的是，在大视场角的使用场景下，头部旋转角度和眼球旋转角度具有很大的动态范围。由于用户头部姿态的变化，在亮瞳图像和暗瞳图像上形成的亮斑个数都是动态的。当用户注视大视角场景中的右侧边缘位置时，头部向右旋转角度或眼球向右旋转角度比较大，很有可能在左侧的光源在角膜表面的反射光无法在图像采集装置中成像形成亮斑，因此暗瞳图片上只有一个对应于右侧光源的亮斑。

当用户注视大视角场景中的左侧边缘位置时，头部向左旋转角度或眼球向左旋转角度比较大，很有可能在右侧的光源在角膜表面的反射光无法在图像采集装置中成像形成亮斑，因此暗瞳图片上只有一个对应于左侧光源的亮斑。

图1h为本发明实施例提供的用户头部朝左旋转一定角度后的亮瞳图像的示意图。图1i为本发明实施例提供的用户头部朝左旋转一定角度后的暗瞳图像的示意图。参见图1h和图1i，其中，旋转后获得的亮瞳图像中包括了第一光源产生的亮斑，即第四亮斑19。旋转后获得的暗瞳图像中的角膜位置上只存在对应于眼球跟踪设备左侧光源的亮斑，即第五亮斑20。故，将第二光源和第三光源设置在第一光源的不同侧面上，能够确保暗瞳图像中始终存在亮斑，从而提升确定注视信息的准确度。眼部图像包括亮瞳图像和暗瞳图像。

S102、根据所述亮瞳图像、所述暗瞳图像和光源空间位置关系，确定第一模型估计参数。

光源空间位置关系可以理解为眼球追踪设备中各光源的相对位置。光源用于形成光斑，故基于光源间的相对位置和光斑间的相对位置，能够确定出产生光斑的光源。

第一模型估计参数可以理解为估计模型中的自变量，基于第一模型估计参数能够确定出对应的注视信息。第一模型估计参数所包括的具体内容此处不作限定，可以根据估计模型的具体形式确定。如，第一模型估计参数可以包括瞳孔位置信息、光斑位置信息和对应光源的空间位置信息。第一模型估计参数还可以包括虹膜位置信息、光斑位置信息和对应的光源的空间位置信息。

根据亮瞳图像、所述暗瞳图像和光源空间位置关系确定第一模型估计参数时，可以根据第一模型估计参数所包括的具体内容确定具体确定的手段。如提取亮瞳图像和暗瞳图像中相应的眼部特征，以确定第一模型估计参数。眼部特征包括但不限于：瞳孔位置、瞳孔形状、虹膜位置、虹膜形状、眼皮位置、眼角位置和光斑(也称为普尔钦斑)位置等。

示例性的，当第一模型估计参数包括瞳孔位置信息时，本步骤可以根据亮瞳图像和暗瞳图像的灰度值，确定瞳孔位置信息，如将亮瞳图像和暗瞳图像的灰度值进行差分运算，得到瞳孔位置信息；当第一模型估计参数包括暗瞳图像所包括光斑的第二光斑位置信息时，分别提取亮瞳图像和暗瞳图像所包括光斑的第一光斑位置和第二光斑位置，然后根据第一光斑位置信息、第二光斑位置信息和光源空间位置关系，确定对应第二光斑位置信息的光源的第二空间位置信息。即基于第二光斑位置信息与第一光斑位置信息的相对位置关系和光源空间位置关系，确定第二空间位置信息。

当第二光源和第三光源同时开启时，暗瞳图像中可以包括两个光斑。若暗瞳图像中包括了两个光斑，本步骤可以任取一个光斑，将对应该光斑的光源的空间位置信息作为第二空间位置信息；或从两个光斑中选取满足质量条件的光斑，然后将该光斑对应的光源的空间位置信息作为第二空间位置信息；若暗瞳图像中仅包括一个光斑，则直接将对应该光斑的光源的空间位置信息作为第二空间位置信息。

当第二光源和第三光源间隔开启时，获取的暗瞳图像中可以各包括一个光斑。本步骤可以分别分析亮瞳图像和暗瞳图像中的光斑和光源空间位置信息，确定第二空间位置信息。若包括两幅暗瞳图像，且暗瞳图像中均存在光斑，则任选一幅暗瞳图像中的光斑，将对应该光斑的光源的空间位置信息作为第二空间位置信息；或从两幅暗瞳图像中选取光斑满足质量条件的光斑，然后将该光斑对应的光源的空间位置信息作为第二空间位置信息；若两幅暗瞳图像中仅存在一幅暗瞳图像中存在光斑，则直接将该光斑对应光源的空间位置信息确定为第二空间位置信息。

S103、将所述第一模型估计参数输入估计模型，获取用户的注视信息。

估计模型可以理解为用于注视信息估计的模型。其中，估计模型可以以第一模型估计参数为自变量，以注视信息为因变量。本步骤可以向估计模型输入第一模型估计参数，得到对应的注视信息。确定出用户的注视信息后，可以通过对注视信息进行分析，实现眼球追踪的效果。

本发明实施例一提供的一种注视信息确定方法，利用上述方法，能够通过控制第一光源、第二光源、第三光源和图像采集装置的工作状态，获取亮瞳图像和暗瞳图像；然后分析亮瞳图像和暗瞳图像，得到第一模型估计参数；将第一模型估计参数输入估计模型，得到用户的注视信息。通过亮瞳图像和不同位置光源产生的暗瞳图像，有效确定出第一模型估计参数，以便于确定用户的注视信息。该注视信息确定方法成本较低，由于各光源之间具有一定的距离，因此图像采集装置所能捕捉到光斑的范围也更大，可以满足用户头部姿态或者眼球运动幅度过大的需求，通过亮瞳图像、暗瞳图像和光源空间位置关系，实现对注视信息的动态计算，大视场角环境下准确的获得视线方向和注视点。

实施例二

图2a为本发明实施例二提供的一种注视信息确定方法的流程示意图，本实施例二在实施例一的基础上进行优化。在本实施例中，将控制第一光源、第二光源、第三光源和图像采集装置的工作状态，获取亮瞳图像和暗瞳图像，进一步具体化为：控制第一光源启动，并控制图像采集装置获取亮瞳图像；

关断所述第一光源后，控制第二光源和第三光源启动，并控制所述图像采集装置获取暗瞳图像。

进一步地，本实施例还将第一模型估计参数，进一步优化为：瞳孔位置信息、所述亮瞳图像中光斑的第一光斑位置信息、对应所述第一光斑位置信息的光源的第一空间位置信息、所述暗瞳图像中光斑的第二光斑位置信息和对应所述第二光斑位置信息的光源的第二空间位置信息。相应的，根据所述亮瞳图像、所述暗瞳图像和光源空间位置关系，确定第一模型估计参数，优化包括：

根据所述亮瞳图像和所述暗瞳图像，确定瞳孔位置信息；

分别确定所述亮瞳图像所包括光斑的第一光斑位置信息和所述暗瞳图像所包括光斑的第二光斑位置信息；

将第一光源的位置信息作为第一空间位置信息；

基于所述第一光斑位置信息、所述第二光斑位置信息和预先确定的光源空间位置关系，确定对应所述第二光斑位置信息的光源的第二空间位置信息。

在上述优化的基础上，注视信息确定方法优化包括确定估计模型的操作：

显示校准点；

控制第一光源、第二光源、第三光源、图像采集装置的工作状态，获取用户注视所述校准点时的第一校准图像和第二校准图像；

根据所述第一校准图像和所述第二校准图像，确定第二模型估计参数；

将所述第二模型估计参数和所述校准点的位置信息输入待求解的估计模型，确定校准参数的数值；

将确定出的校准参数的数值代入待求解的估计模型，得到求解后的估计模型。本实施例尚未详尽的内容请参考实施例一。

如图2a所示，本发明实施例二提供的一种注视信息确定方法，包括如下步骤：

S201、显示校准点。

由于个体眼球生理差异，使用估计模型前，本实施例可以首先对估计模型进行用户校准。用户校准又称用户标定，在视线/注视点估计过程中，为了测定用于视线/注视点估计的估计模型中的某些待定参数(也称为校准参数，一般对应于用户眼球的某些内在参数，例如眼球半径等)，常用的方法是：让用户注视一个或多个目标点位，假定所述目标点位的信息为已知的视线(因为目标点位是预先设定的)，由此可以反解出上述校准参数。其中，目标点位为校准点。

校准点的显示位置、个数及形状不作限定，本领域技术人员可以根据实际情况设定，如校准点的位置均匀分布至显示器上、校准点可以分布于显示器中心位置和边界位置处或校准点呈九宫格的形式显示在显示器上。校准点的形状可以为圆形。通过获取用户注视校准点的图像和校准点的位置信息，确定校准参数。

在反解校准参数时，根据用户眼部特征确定注视信息，眼部特征还可以包括角膜位置或中央窝位置。

S202、控制第一光源、第二光源、第三光源、图像采集装置的工作状态，获取用户注视所述校准点时的第一校准图像和第二校准图像。

本步骤控制第一光源、第二光源、第三光源、图像采集装置的工作状态的手段，可以参见获取亮瞳图像和暗瞳图像时控制工作状态的技术手段，此处不作赘述。其中，第一校准图像可以为校准阶段获取的亮瞳图像。第二校准图像可以为校准阶段获取的暗瞳图像。

第一校准图像和第二校准图像为用户注视校准点时获取的，获取时机不作限定，如可以在显示校准点的设定时间后直接获取；也可以为接收到用户的确定指令后获取。用户的确定指令可以通过语音的形式获取，也可以通过按键的形式获取，此处不作限定。

S203、根据所述第一校准图像、所述第二校准图像和光源空间位置关系，确定第二模型估计参数。

第二模型估计参数所包括的内容可以与第一模型估计参数所包括的内容相同，第一模型估计参数和第二模型估计参数的不同之处在于，第一模型估计参数应用在估计模型的应用阶段，第二模型估计参数应用在估计模型的校准阶段。

根据第一校准图像、第二校准图像和光源空间位置信息，确定第二模型估计参数的手段，可以参见确定第一模型估计参数的手段，此处不作赘述。

S204、将所述第二模型估计参数和所述校准点的位置信息输入待求解的估计模型，确定校准参数的数值。

在估计模型的校准阶段，需要确定校准参数，故本步骤将第二模型估计参数和校准点的位置信息输入待求解的估计模型，以反解出校准参数的数值。

其中，校准点为预先设定的待用户注视的点，故校准点的位置信息为已知参数。

S205、将确定出的校准参数的数值代入待求解的估计模型，得到求解后的估计模型。

确定出校准参数后，本步骤可以直接将校准参数的数值代入待求解的估计模型，以得到求解后的估计模型，从而基于该估计模型进行注视信息的确定。

S206、控制第一光源启动，并控制图像采集装置获取亮瞳图像。

本步骤在获取亮瞳图像和暗瞳图像时，可以先获取亮瞳图像，然后再获取暗瞳图像。

具体的，本步骤可以先控制第一光源启动，第一光源照向眼睛，然后控制图像采集装置对用户眼部进行拍照，相应拍摄第一光源在角膜上的反射点即光斑，由此得到亮瞳图像。

S207、关断所述第一光源后，控制第二光源和第三光源启动，并控制所述图像采集装置获取暗瞳图像。

获取亮瞳图像后，本步骤可以先关断第一光源，以防止第一光源影响暗瞳图像的获取。然后控制第二光源和第三光源同时启动，第二光源和第三光源照向眼睛，然后控制图像采集装置对用户眼部进行拍照，相应拍摄第二光源和第三光源在角膜上的反射点即光斑，由此得到暗瞳图像。

S208、根据所述亮瞳图像和所述暗瞳图像，确定瞳孔位置信息。

本实施例中的第一模型估计参数包括：瞳孔位置信息、所述亮瞳图像中光斑的第一光斑位置信息、对应所述第一光斑位置信息的光源的第一空间位置信息、所述暗瞳图像中光斑的第二光斑位置信息和对应所述第二光斑位置信息的光源的第二空间位置信息；

瞳孔位置信息可以为表示瞳孔位置的参数，如瞳孔中心。第一光斑位置信息可以为亮瞳图像中光斑的位置，如通过亮瞳图像中光斑的光斑中心表征第一光斑位置信息。第一空间位置信息可以理解为形成亮瞳图像中光斑的光源的空间位置信息。第二光斑位置信息可以理解为暗瞳图像中光斑的位置，如通过暗瞳图像中光斑的光斑中心表征第二光斑位置信息。第二空间位置信息可以理解为形成暗瞳图像中光斑的光源的空间位置信息。空间位置信息可以通过眼球追踪设备中各光源的位置确定。

本步骤在确定瞳孔位置信息时，可以对亮瞳图像和暗瞳图像进行分析。可以理解的是，亮瞳图像和暗瞳图像中的眼部具有不同的灰度值，本步骤可以对亮瞳图像和暗瞳图像的灰度值进行差分操作，得到瞳孔位置信息。

S209、分别确定所述亮瞳图像所包括光斑的第一光斑位置信息和所述暗瞳图像所包括光斑的第二光斑位置信息。

本步骤可以分别对亮瞳图像和暗瞳图像进行分析，确定第一光斑位置信息和第二光斑位置信息，此处不对确定第一光斑位置信息和第二光斑位置信息的手段进行限定。

以确定第一光斑位置信息为例进行说明，对亮瞳图像进行阈值处理，并提取光斑的轮廓信息，然后对轮廓信息进行拟合，如圆拟合。然后计算拟合后图形的中心，并将该中心作为第一光斑位置信息。

本步骤可以从暗瞳图像中选取一个光斑确定第二光斑位置信息。

S210、将第一光源的位置信息作为第一空间位置信息。

可以理解的是，对应第一光斑位置信息的光源为第一光源，故本步骤直接将第一光源的位置信息作为第一空间位置信息。

需要注意的是，确定瞳孔位置信息、第一光斑位置信息、第二光斑位置信息和第一空间位置信息的顺序不作限定。

S211、基于所述第一光斑位置信息、所述第二光斑位置信息和预先确定的光源空间位置关系，确定对应所述第二光斑位置信息的光源的第二空间位置信息。

本步骤确定第二空间位置信息时，基于第一光斑位置信息和第二光斑位置信息的相对位置关系和预先确定的光源空间位置关系，选取对应第二光斑位置信息的光源，然后将选出的光源的空间位置信息确定为第二空间位置信息。

示例性的，若第二光斑位置信息位于第一光斑位置信息的左侧，则从光源空间位置关系中选取位于第一光源左侧的光源，并将该光源的空间位置信息确定为第二空间位置信息。若第二光源位于第一光源的左侧，则将第二光源的空间位置信息确定为第二空间位置信息。

S212、将所述第一模型估计参数输入估计模型，获取用户的注视信息。

本发明实施例二提供的一种注视信息确定方法，具体化了获取亮瞳图像和暗瞳图像的操作、第一模型估计参数、第一模型估计参数的确定操作，还优化包括了估计模型的确定操作。利用该方法，能够通过第二模型估计参数和校准点的位置信息确定估计模型。然后依次获取亮瞳图像和暗瞳图像，基于亮瞳图像和暗瞳图像确定对应的第一光斑位置信息和第二光斑位置信息。基于第一光斑位置信息、第二光斑位置信息和光源空间位置关系，确定第二空间位置信息，以得到第一模型估计参数，从而确定出用户的注视信息。通过定位出光斑和光源的对应关系，实现注视信息的动态计算，提高了眼球追踪的准确率，提升了用户使用眼球追踪设备的使用体验。

本实施例进一步提供了可选实施例，在该可选实施例中，确定所述暗瞳图像所包括光斑的第二光斑位置信息，包括：

若所述暗瞳图像中包括两个光斑，则将满足质量条件的光斑的位置信息作为第二光斑位置信息，所述质量条件根据光斑特征确定；

若所述暗瞳图像中包括一个光斑，则将所述暗瞳图像所包括光斑的位置信息作为第二光斑位置信息。

本实施例中的注视信息的确定方法应用至大视场角的场景下，若同时启动第二光源和第三光源，可以在暗瞳图像中呈现最多两个光斑。如果暗瞳图像中光斑的个数为两个，则选取满足质量条件的光斑确定第二光斑位置信息，以提升注视信息确定的准确率。

光斑的质量可以通过光斑特征表征，光斑特征包括以下至少之一：光斑的像素面积和光斑的边缘信息，边缘信息可以包括边缘位置信息和边缘亮度信息。相应的，质量条件可以根据光斑特征确定，即质量条件包括以下至少之一：像素面积大于设定面积阈值和光斑边缘信息满足边缘条件。

设定面积阈值的设定不作限定，本领域技术人员可以根据实际场景设定，如根据光源的尺寸、光源距离用户的距离和/或光源的设置位置确定。边缘条件可以根据边缘信息所包括的具体内容确定，此处不作限定。如边缘条件可以为边缘完整度大于设定完整度阈值，边缘完整度可以通过边缘位置信息确定。

若暗瞳图像中仅包括一个光斑，则直接基于该光斑确定第二光斑位置信息。

本实施例进一步提供了可选实施例，在该可选实施例中，控制第一光源、第二光源、第三光源、图像采集装置的工作状态，获取用户注视所述校准点时的第一校准图像和第二校准图像，包括：

控制第一光源启动，并控制图像采集装置获取第一校准图像；

关断所述第一光源后，控制第二光源和第三光源启动，并控制所述图像采集装置获取第二校准图像。

在获取第一校准图像和第二校准图像时，可以先获取第一校准图像，再获取第二校准图像，相应的，先启动第一光源，再启动第二光源和第三光源。第一校准图像和第二校准图像的获取手段可以参见暗瞳图像和亮瞳图像的获取手段，此处不作赘述。

本实施例进一步提供了可选实施例，在该可选实施例中，所述第二模型估计参数包括：校准瞳孔位置信息、所述第一校准图像中光斑的第三光斑位置信息、对应所述第三光斑位置信息的光源的第三空间位置信息、所述第二校准图像中光斑的第四光斑位置信息和对应所述第四光斑位置信息的光源的第四空间位置信息；

相应的，根据所述第一校准图像和所述第二校准图像，确定第二模型估计参数，包括：

根据所述第一校准图像和所述第二校准图像，确定校准瞳孔位置信息；

分别确定所述第一校准图像所包括光斑的第三光斑位置信息和所述第二校准图像所包括光斑的第四光斑位置信息；

将第一光源的位置信息作为第三空间位置信息；

基于所述第三光斑位置信息、所述第四光斑位置信息和预先确定的光源空间位置关系，确定对应所述第四光斑位置信息的光源的第四空间位置信息。

第二模型估计参数与第一模型估计参数所包括的内容可以相同，不同之处在于，两者获取时机不同。即校准瞳孔位置信息为校准阶段获取的瞳孔位置信息。第三光斑位置信息可以理解为校准阶段明瞳图像中所包括光斑的位置信息。第三空间位置信息为校准阶段对应第三光斑位置信息的光源的空间位置信息。第四光斑位置信息可以理解为校准阶段暗瞳图像中光斑的位置信息。第四空间位置信息可以理解为校准阶段对应第四光斑位置信息的光源的空间位置信息。

确定第二模型估计参数的具体手段可以参见确定第一模型估计参数的手段，此处不作赘述。

以下对本实施例进行示例性的描述，图2b为本发明提供的眼球追踪设备的结构示意图。参见图2b，眼球追踪设备包括图像采集装置21，如相机。眼球追踪装置还包括第一光源22、第二光源23和第三光源24。各光源可以为红外灯。第一光源22与图像采集装置21共轴。眼球追踪设备还包括处理器，处理器用于控制各光源和图像采集装置21工作，以确定用户的注视信息。

处理器的功能之一为，以一定时序开启和关闭各光源，并存储亮瞳图像和暗瞳图像。具体的，处理器启动第一光源22，在第一光源22开启的时候，控制图像采集装置21拍照，并保存获取的亮瞳图像。然后关闭第一光源22再同时开启第二光源23和第三光源24，在第二光源23和第三光源24开启的时候，控制图像采集装置21拍照并保存暗瞳图像。

需要注意的是，处理器控制各光源和图像采集装置21的工作状态时，可以在每次启动一个器件后，均延时一定时间，以确定获取准确的亮瞳图像和暗瞳图像。

示例性的，启动第一光源22后，同步等待第一时长，然后启动图像采集装置21拍照，并存储亮瞳图像。再次延迟等待第二时长，启动第二光源23和第三光源24，再延迟等待第三时长，启动图像采集装置21，获取暗瞳图像。其中，第一时长、第二时长和第三时长的数值不限定。

在对用户进行注视信息的追踪的过程中，获取亮瞳图像和暗瞳图像的过程不断重复，供追踪使用。

眼球追踪设备基于光斑与光源的对应关系确定注视信息。暗瞳图像中光斑与眼球追踪设备中光源空间关系相对应。如果暗瞳图像中存在两个光斑，分别在亮瞳图像中光斑的两侧，则亮瞳图像中光斑左侧对应的是第二光源23产生的光斑，右侧是第三光源24产生的亮斑。

由于相邻两帧图像的采集时间很短(毫秒级)，在此时间间隔内，头部姿态和眼睛瞳孔姿态基本保持一致或变化程度很小，在此前提下，根据亮瞳图像和暗瞳图像所呈现的明显特征差异，可以计算出图像中亮暗瞳的瞳孔区域，从而获取瞳孔中心的坐标。

在确定光源空间位置关系时，首先定位亮瞳图像和暗瞳图像中光斑的位置，结合亮瞳图像和暗瞳图像中光斑与瞳孔的相对位置关系和眼球追踪设备的结构信息，确定光斑和光源的对应关系，并将该对应关系确定为光源空间位置关系。

以图1f和图1g为例说明，处理亮瞳图像，确定第一光斑位置信息；处理暗瞳图像，确定第二光斑位置信息，第二光斑位置信息包括第二亮斑181的第一位置和第三亮斑182的第二位置，无亮斑记为空。判断第一位置和第二位置相对于第一光斑位置信息的空间关系。若第一位置位于第一光斑位置信息的左侧且不为空，则该第一位置对应的第二亮斑181为第二光源23产生；否则记为空。若第二位置位于第一光斑位置信息的右侧且不为空，则第二位置对应的第三亮斑182为第三光源24产生；否则记为空。

需要注意的是，若亮瞳图像中不包括亮斑，则重新获取亮瞳图像和暗瞳图像。

在进行注视信息确定时，使用第一光源22和第二光源23的光斑或第一光源22与第三光源24的光斑以及瞳孔位置信息进行注视信息的确定。当第二光源23和第三光源24的光斑同时出现时，根据检测的光斑质量进行排序，选择光斑质量更高的光斑参与注视信息的计算。排序的一种可能标准是光斑的有效像素面积，有效像素面积多的光斑在提取光斑中心的精度更高。

本实施例在确定校准参数时，需要获取第二模型估计参数，然后基于第二模型估计参数和校准点的位置信息确定校准参数。确定校准参数后，可以直接基于估计模型确定注视信息。确定注视信息时，获取第一模型估计参数，将第一模型估计参数输入估计模型，得到注视信息。

本实施例提供的注视信息确定方法，以低成本方法解决了大视场角下眼球追踪的难题，通过光斑与光源的对应关系实现注视信息的准确确定。

实施例三

图3为本发明实施例三提供的一种注视信息确定装置的结构示意图，该装置可适用于确定注视信息的情况，具体的，该方法可适用于在大视场角范围内确定注视信息的情况。其中，该装置可由软件和/或硬件实现，并一般集成在眼球追踪设备上。

如图3所示，该装置包括：图像获取模块31、确定模块32和信息获取模块33；

其中，图像获取模块31，用于控制第一光源、第二光源、第三光源和图像采集装置的工作状态，获取亮瞳图像和暗瞳图像；

确定模块32，用于根据所述亮瞳图像、所述暗瞳图像和光源空间位置关系，确定第一模型估计参数；

信息获取模块33，用于将所述第一模型估计参数输入估计模型，获取用户的注视信息。

在本实施例中，该装置首先通过图像获取模块31控制第一光源、第二光源、第三光源和图像采集装置的工作状态，获取亮瞳图像和暗瞳图像；然后通过确定模块32根据所述亮瞳图像、所述暗瞳图像和光源空间位置关系，确定第一模型估计参数；最后通过信息获取模块33将所述第一模型估计参数输入估计模型，获取用户的注视信息。

本实施例提供了一种注视信息确定装置，能够通过控制第一光源、第二光源、第三光源和图像采集装置的工作状态，获取亮瞳图像和暗瞳图像；然后分析亮瞳图像和暗瞳图像，得到第一模型估计参数；将第一模型估计参数输入估计模型，得到用户的注视信息。通过亮瞳图像和不同位置光源产生的暗瞳图像，有效确定出第一模型估计参数，以便于确定用户的注视信息。该注视信息确定方法成本较低，由于各光源之间具有一定的距离，因此图像采集装置所能捕捉到光斑的范围也更大，可以满足用户头部姿态或者眼球运动幅度过大的需求，通过亮瞳图像、暗瞳图像和光源空间位置关系，实现对注视信息的动态计算，大视场角环境下的准确的获得视线方向和注视点。

进一步地，图像获取模块31，具体用于：控制第一光源启动，并控制图像采集装置获取亮瞳图像；

关断所述第一光源后，控制第二光源和第三光源启动，并控制所述图像采集装置获取暗瞳图像。

在上述优化的基础上，所述第一模型估计参数包括：瞳孔位置信息、所述亮瞳图像中光斑的第一光斑位置信息、对应所述第一光斑位置信息的光源的第一空间位置信息、所述暗瞳图像中光斑的第二光斑位置信息和对应所述第二光斑位置信息的光源的第二空间位置信息；确定模块32，具体用于：根据所述亮瞳图像和所述暗瞳图像，确定瞳孔位置信息；

分别确定所述亮瞳图像所包括光斑的第一光斑位置信息和所述暗瞳图像所包括光斑的第二光斑位置信息；

将第一光源的位置信息作为第一空间位置信息；

基于所述第一光斑位置信息、所述第二光斑位置信息和预先确定的光源空间位置关系，确定对应所述第二光斑位置信息的光源的第二空间位置信息。

基于上述技术方案，确定模块32，确定所述暗瞳图像所包括光斑的第二光斑位置信息时，具体用于：

若所述暗瞳图像中包括两个光斑，则将满足质量条件的光斑的位置信息作为第二光斑位置信息，所述质量条件根据光斑特征确定；

若所述暗瞳图像中包括一个光斑，则将所述暗瞳图像所包括光斑的位置信息作为第二光斑位置信息。

进一步地，该装置还包括模型确定模块，用于：显示校准点；

控制第一光源、第二光源、第三光源、图像采集装置的工作状态，获取用户注视所述校准点时的第一校准图像和第二校准图像；

根据所述第一校准图像、所述第二校准图像和光源空间位置关系，确定第二模型估计参数；

将所述第二模型估计参数和所述校准点的位置信息输入待求解的估计模型，确定校准参数的数值；

将确定出的校准参数的数值代入待求解的估计模型，得到求解后的估计模型。

进一步地，模型确定模块，控制第一光源、第二光源、第三光源、图像采集装置的工作状态，获取用户注视所述校准点时的第一校准图像和第二校准图像时，具体用于：

控制第一光源启动，并控制图像采集装置获取第一校准图像；

关断所述第一光源后，控制第二光源和第三光源启动，并控制所述图像采集装置获取第二校准图像。

进一步地，所述第二模型估计参数包括：校准瞳孔位置信息、所述第一校准图像中光斑的第三光斑位置信息、对应所述第三光斑位置信息的光源的第三空间位置信息、所述第二校准图像中光斑的第四光斑位置信息和对应所述第四光斑位置信息的光源的第四空间位置信息；

相应的，模型确定模块，根据所述第一校准图像和所述第二校准图像，确定第二模型估计参数时，具体用于：

根据所述第一校准图像和所述第二校准图像，确定校准瞳孔位置信息；

分别确定所述第一校准图像所包括光斑的第三光斑位置信息和所述第二校准图像所包括光斑的第四光斑位置信息；

将第一光源的位置信息作为第三空间位置信息；

基于所述第三光斑位置信息、所述第四光斑位置信息和预先确定的光源空间位置关系，确定对应所述第四光斑位置信息的光源的第四空间位置信息。

上述注视信息确定装置可执行本发明任意实施例所提供的注视信息确定方法，具备执行方法相应的功能模块和有益效果。

实施例四

图4为本发明实施例四提供的一种眼球追踪设备的结构示意图。如图4所示，本发明实施例四提供的眼球追踪设备包括：一个或多个处理器41和存储装置42；该设备中的处理器41可以是一个或多个，图4中以一个处理器41为例；存储装置42用于存储一个或多个程序；所述一个或多个程序被所述一个或多个处理器41执行，使得所述一个或多个处理器41实现如本发明实施例中任一项所述的注视信息确定方法。

所述眼球追踪设备还可以包括：输入装置43和输出装置44。

眼球追踪设备中的处理器41、存储装置42、输入装置43和输出装置44可以通过总线或其他方式连接，图4中以通过总线连接为例。

该眼球追踪设备中的存储装置42作为一种计算机可读存储介质，可用于存储一个或多个程序，所述程序可以是软件程序、计算机可执行程序以及模块，如本发明实施例一或二所提供注视信息确定方法对应的程序指令/模块(例如，附图3所示的注视信息确定装置中的模块，包括：图像获取模块31、确定模块32和信息获取模块33)。处理器41通过运行存储在存储装置42中的软件程序、指令以及模块，从而执行眼球追踪设备的各种功能应用以及数据处理，即实现上述方法实施例中注视信息确定方法。

存储装置42可包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需的应用程序；存储数据区可存储根据眼球追踪设备的使用所创建的数据等。此外，存储装置42可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储装置42可进一步包括相对于处理器41远程设置的存储器，这些远程存储器可以通过网络连接至眼球追踪设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

输入装置43可用于接收输入的数字或字符信息，以及产生与眼球追踪设备的用户设置以及功能控制有关的按键信号输入。输出装置44可包括显示屏等显示设备。

眼球追踪设备，还包括组合光源45和图像采集装置46；组合光源45包含第一光源，第一光源与图像采集装置46位于同一光学路径上；组合光源45还包括第二光源和第三光源，第二光源和第三光源位于第一光源的不同侧面上，且与图像采集装置46位于不同光学路径上。

并且，当上述眼球追踪设备所包括一个或者多个程序被所述一个或者多个处理器41执行时，程序进行如下操作：

控制第一光源、第二光源、第三光源和图像采集装置的工作状态，获取亮瞳图像和暗瞳图像；

根据所述亮瞳图像、所述暗瞳图像和光源空间位置关系，确定第一模型估计参数；

将所述第一模型估计参数输入估计模型，获取用户的注视信息。

实施例五

本发明实施例五提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时用于执行注视信息确定方法，该方法包括：控制第一光源、第二光源、第三光源和图像采集装置的工作状态，获取亮瞳图像和暗瞳图像；

根据所述亮瞳图像、所述暗瞳图像和光源空间位置关系，确定第一模型估计参数；

将所述第一模型估计参数输入估计模型，获取用户的注视信息。

可选的，该程序被处理器执行时还可以用于执行本发明任意实施例所提供的注视信息确定方法。

本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(Random AccessMemory，RAM)、只读存储器(Read Only Memory，ROM)、可擦式可编程只读存储器(ErasableProgrammable Read Only Memory，EPROM)、闪存、光纤、便携式CD-ROM、光存储器件、磁存储器件、或者上述的任意合适的组合。计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行***、装置或者器件使用或者与其结合使用。

计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于：电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。

计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、无线电频率(Radio Frequency，RF)等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)——连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (8)

1.一种注视信息确定方法，其特征在于，应用于眼球追踪设备，所述眼球追踪设备包括组合光源、图像采集装置和处理器，所述组合光源包含第一光源，所述第一光源与所述图像采集装置位于同一光学路径上；所述组合光源还包括第二光源和第三光源，所述第二光源和所述第三光源位于所述第一光源的不同侧面上，且与所述图像采集装置位于不同光学路径上，所述方法由所述处理器执行，所述方法包括：

控制所述第一光源、所述第二光源、所述第三光源和所述图像采集装置的工作状态，获取亮瞳图像和暗瞳图像；

根据所述亮瞳图像、所述暗瞳图像和光源空间位置关系，确定第一模型估计参数，其中，所述光源空间位置关系为所述眼球追踪设备中各光源的相对位置；

将所述第一模型估计参数输入估计模型，获取用户的注视信息；

其中，所述第一模型估计参数包括：瞳孔位置信息、所述亮瞳图像中光斑的第一光斑位置信息、对应所述第一光斑位置信息的光源的第一空间位置信息、所述暗瞳图像中光斑的第二光斑位置信息和对应所述第二光斑位置信息的光源的第二空间位置信息；

相应的，根据所述亮瞳图像、所述暗瞳图像和光源空间位置关系，确定第一模型估计参数，包括：

根据所述亮瞳图像和所述暗瞳图像，确定瞳孔位置信息；

分别确定所述亮瞳图像所包括光斑的第一光斑位置信息和所述暗瞳图像所包括光斑的第二光斑位置信息；

将所述第一光源的位置信息作为第一空间位置信息；

基于所述第一光斑位置信息、所述第二光斑位置信息和预先确定的光源空间位置关系，确定对应所述第二光斑位置信息的光源的第二空间位置信息；

其中，所述确定所述暗瞳图像所包括光斑的第二光斑位置信息，包括：

若所述暗瞳图像中包括两个光斑，则将满足质量条件的光斑的位置信息作为第二光斑位置信息，所述质量条件根据光斑特征确定，其中，所述质量条件包括以下至少之一：像素面积大于设定面积阈值和光斑边缘信息满足边缘条件；

若所述暗瞳图像中包括一个光斑，则将所述暗瞳图像所包括光斑的位置信息作为第二光斑位置信息。

2.根据权利要求1所述的方法，其特征在于，控制所述第一光源、所述第二光源、所述第三光源和所述图像采集装置的工作状态，获取亮瞳图像和暗瞳图像，包括：

控制所述第一光源启动，并控制所述图像采集装置获取亮瞳图像；

关断所述第一光源后，控制所述第二光源和所述第三光源启动，并控制所述图像采集装置获取暗瞳图像。

3.根据权利要求1所述的方法，其特征在于，确定估计模型的操作包括：

显示校准点；

控制所述第一光源、所述第二光源、所述第三光源、所述图像采集装置的工作状态，获取用户注视所述校准点时的第一校准图像和第二校准图像；

根据所述第一校准图像、所述第二校准图像和光源空间位置关系，确定第二模型估计参数；

将所述第二模型估计参数和所述校准点的位置信息输入待求解的估计模型，确定校准参数的数值；

将确定出的校准参数的数值代入待求解的估计模型，得到求解后的估计模型。

4.根据权利要求3所述的方法，其特征在于，控制所述第一光源、所述第二光源、所述第三光源、所述图像采集装置的工作状态，获取用户注视所述校准点时的第一校准图像和第二校准图像，包括：

控制所述第一光源启动，并控制所述图像采集装置获取第一校准图像；

关断所述第一光源后，控制所述第二光源和所述第三光源启动，并控制所述图像采集装置获取第二校准图像。

5.根据权利要求3所述的方法，其特征在于，所述第二模型估计参数包括：校准瞳孔位置信息、所述第一校准图像中光斑的第三光斑位置信息、对应所述第三光斑位置信息的光源的第三空间位置信息、所述第二校准图像中光斑的第四光斑位置信息和对应所述第四光斑位置信息的光源的第四空间位置信息；

相应的，根据所述第一校准图像和所述第二校准图像，确定第二模型估计参数，包括：

根据所述第一校准图像和所述第二校准图像，确定校准瞳孔位置信息；

分别确定所述第一校准图像所包括光斑的第三光斑位置信息和所述第二校准图像所包括光斑的第四光斑位置信息；

将所述第一光源的位置信息作为第三空间位置信息；

基于所述第三光斑位置信息、所述第四光斑位置信息和预先确定的光源空间位置关系，确定对应所述第四光斑位置信息的光源的第四空间位置信息。

6.一种注视信息确定装置，其特征在于，部署于眼球追踪设备，所述眼球追踪设备包括组合光源、图像采集装置和处理器，所述组合光源包含第一光源，所述第一光源与所述图像采集装置位于同一光学路径上；所述组合光源还包括第二光源和第三光源，所述第二光源和所述第三光源位于所述第一光源的不同侧面上，且与所述图像采集装置位于不同光学路径上，所述装置包括：

图像获取模块，用于控制第一光源、第二光源、第三光源和图像采集装置的工作状态，获取亮瞳图像和暗瞳图像；

确定模块，用于根据所述亮瞳图像、所述暗瞳图像和光源空间位置关系，确定第一模型估计参数，其中，所述光源空间位置关系为所述眼球追踪设备中各光源的相对位置，所述第一模型估计参数包括：瞳孔位置信息、所述亮瞳图像中光斑的第一光斑位置信息、对应所述第一光斑位置信息的光源的第一空间位置信息、所述暗瞳图像中光斑的第二光斑位置信息和对应所述第二光斑位置信息的光源的第二空间位置信息；

信息获取模块，用于将所述第一模型估计参数输入估计模型，获取用户的注视信息；

其中，所述确定模块，具体用于：

根据所述亮瞳图像和所述暗瞳图像，确定瞳孔位置信息；

分别确定所述亮瞳图像所包括光斑的第一光斑位置信息和所述暗瞳图像所包括光斑的第二光斑位置信息；

将第一光源的位置信息作为第一空间位置信息；

基于所述第一光斑位置信息、所述第二光斑位置信息和预先确定的光源空间位置关系，确定对应所述第二光斑位置信息的光源的第二空间位置信息；

其中，所述确定所述暗瞳图像所包括光斑的第二光斑位置信息，包括：

若所述暗瞳图像中包括两个光斑，则将满足质量条件的光斑的位置信息作为第二光斑位置信息，所述质量条件根据光斑特征确定，其中，所述质量条件包括以下至少之一：像素面积大于设定面积阈值和光斑边缘信息满足边缘条件；

若所述暗瞳图像中包括一个光斑，则将所述暗瞳图像所包括光斑的位置信息作为第二光斑位置信息。

7.一种眼球追踪设备，其特征在于，包括：组合光源和图像采集装置；所述组合光源包含第一光源，所述第一光源与所述图像采集装置位于同一光学路径上；所述组合光源还包括第二光源和第三光源，所述第二光源和所述第三光源位于所述第一光源的不同侧面上，且与所述图像采集装置位于不同光学路径上；

一个或多个处理器；

存储装置，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-5中任一所述的注视信息确定方法。

8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-5中任一所述的注视信息确定方法。