CN113208558B - 眼球追踪方法、装置、电子设备及存储介质 - Google Patents

Abstract

本申请公开了一种眼球追踪方法、装置、电子设备及存储介质，涉及虚拟现实领域，包括：在显示屏处于当前背景光信息下，获取待追踪眼球的当前瞳孔中心位置和当前瞳孔半径；在显示屏上确定当前瞳孔中心位置对应的第一注视位置；基于偏移映射关系，获得与当前瞳孔半径和所述第一注视位置对应的当前偏移量，其中，偏移映射关系包括多个偏移量、多个瞳孔半径和多个注视位置之间的对应关系；根据当前瞳孔中心位置和当前偏移量，获得目标瞳孔中心位置；在显示屏上确定目标瞳孔中心位置对应的第二注视位置，作为待追踪眼球在当前背景光信息下的眼球注视位置，可以获得当前背景光信息下准确的眼球注视位置。

Description

眼球追踪方法、装置、电子设备及存储介质

技术领域

本申请涉及虚拟现实技术领域，更具体地，涉及一种眼球追踪方法、装置、电子设备及存储介质。

背景技术

眼球追踪技术是一项科学应用技术，通常是根据眼球和眼球周边的特征变化，或者是虹膜、瞳孔的变化进行追踪。通常采用一个或多个相机来捕获用户的眼部图像，再根据眼部图像来估算用户正看向何处。然而场景中的不同的背景光会导致眼部的变化，从而降低眼球追踪的准确度。

发明内容

鉴于上述问题，本申请提出了一种眼球追踪方法、装置、电子设备及存储介质，能够解决上述技术问题。

第一方面，本申请实施例提供了一种眼球追踪方法，应用于电子设备，所述电子设备包括显示屏，所述方法包括：在所述显示屏处于当前背景光信息下，获取待追踪眼球的当前瞳孔中心位置和当前瞳孔半径；在所述显示屏上确定所述当前瞳孔中心位置对应的第一注视位置；基于偏移映射关系，获得与所述当前瞳孔半径和所述第一注视位置对应的当前偏移量，其中，所述偏移映射关系包括多个偏移量、多个瞳孔半径和多个注视位置之间的对应关系；根据所述当前瞳孔中心位置和所述当前偏移量，获得目标瞳孔中心位置；在所述显示屏上确定所述目标瞳孔中心位置对应的第二注视位置，作为所述待追踪眼球在所述当前背景光信息下的眼球注视位置。

第二方面，本申请实施例提供了一种眼球追踪装置，应用于电子设备，所述电子设备包括显示屏，所述装置包括：当前瞳孔中心位置获取模块，用于在所述显示屏处于当前背景光信息下，获取待追踪眼球的当前瞳孔中心位置和当前瞳孔半径；第一注视位置确定模块，用于在所述显示屏上确定所述当前瞳孔中心位置对应的第一注视位置；偏移模块，用于基于偏移映射关系，获得与所述当前瞳孔半径和所述第一注视位置对应的当前偏移量，其中，所述偏移映射关系包括多个偏移量、多个瞳孔半径和多个注视位置之间的对应关系；目标瞳孔中心位置获取模块，用于根据所述当前瞳孔中心位置和所述当前偏移量，获得目标瞳孔中心位置；第二注视位置确定模块，用于在所述显示屏上确定所述目标瞳孔中心位置对应的第二注视位置，作为所述待追踪眼球在所述当前背景光信息下的眼球注视位置。

第三方面，本申请实施例提供了一种电子设备，包括：一个或多个处理器；存储器；一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于执行上述方法。

第四方面，本申请实施例提供了一种计算机可读取存储介质，所述计算机可读取存储介质中存储有程序代码，所述程序代码可被处理器调用执行上述方法。

本申请提供的眼球追踪方法、装置、电子设备及存储介质，在显示屏处于当前背景光信息下，用户注视显示屏，获取待追踪眼球的当前瞳孔中心位置和当前瞳孔半径，可以理解的是，在当前背景光信息的照射下得到当前瞳孔半径，相当于将当前背景光信息通过当前瞳孔半径表征；在显示屏上确定当前瞳孔中心位置对应的第一注视位置；由于获取的第一注视位置并未考虑当前背景光信息对瞳孔的影响，需要继续基于偏移映射关系，获得与当前瞳孔半径和第一注视位置对应的当前偏移量，其中，偏移映射关系包括多个偏移量、多个瞳孔半径和多个注视位置之间的对应关系；根据当前瞳孔中心位置和当前偏移量，获得目标瞳孔中心位置，可以理解的是，通过当前偏移量对当前瞳孔中心进行偏移，获得偏移后的目标瞳孔中心位置；最后在显示屏上确定目标瞳孔中心位置对应的第二注视位置，即第二注视位置相对于第一注视位置发生偏移，以偏移后的第二注视位置作为待追踪眼球在当前背景光信息下的眼球注视位置，可以提高眼球追踪的准确度。

本申请的这些方面或其他方面在以下实施例的描述中会更加简明易懂。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了在不同背景光下的瞳孔示意图。

图2示出了本申请一个实施例提供的电子设备示意图；

图3示出了本申请一个实施例提供的眼球追踪方法的流程示意图；

图4示出了本申请另一个实施例提供的眼球追踪方法的流程示意图；

图5示出了本申请的图4所示的眼球追踪方法的步骤S2050的一种流程示意图；

图6示出了本申请又一个实施例提供的眼球追踪方法的流程示意图；

图7示出了本申请再一个实施例提供的眼球追踪方法的流程示意图；

图8示出了本申请一实施例提供的眼球追踪装置的框图；

图9是本申请实施例的用于执行根据本申请实施例的眼球追踪方法的电子设备的框图；

图10示出了本申请实施例的用于保存或者携带实现根据本申请实施例的眼球追踪方法的程序代码的存储单元。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。

眼球追踪技术是一项科学应用技术，通常是根据眼球和眼球周边的特征变化，或者是虹膜、瞳孔的变化进行追踪。通常采用一个或多个相机来捕获用户的眼部图像，再根据眼部图像来估算用户正看向何处。由于瞳孔中心位置容易确定，可以通过瞳孔中心位置的追踪来追踪眼球，瞳孔中心位置的变化体现了眼球注视方向的变化，可以通过获取瞳孔的变化来追踪眼球。

然而，发明人研究发现，场景中不同的背景光照射眼部会导致瞳孔缩放，即在不同的背景光下瞳孔的半径不同，并且这种缩放在几何上是不均匀的。请参阅图1，视轴L1是一条起始于视网膜中央凹，经过瞳孔上一点c₀的固定直线，其中，视轴是用户真实的视线方向。光轴是一条经过瞳孔中心位置的直线，如图a所示，用户注视某一位置时，采用第一光照照射用户的眼部，采集第一光照下的第一眼部图像，通过第一眼部图像获得瞳孔中心位置c和瞳孔半径r，确定第一眼部图像中经过瞳孔中心位置c的直线为光轴L2；如图b所示，用户注视相同的位置，将光照强度从第一光照增大至第二光照，再用第二光照照射用户的眼部，采集第二光照下的第二眼部图像，通过第二眼部图像获得瞳孔中心位置c和瞳孔半径r，确定第二眼部图像中经过瞳孔中心位置c的直线为光轴L3。可见，在两种不同光照强度下，用户注视同一位置其视轴始终未发生变化，而不同的强度的光照使得瞳孔缩放导致瞳孔中心位置变化，瞳孔位置变化引起的光轴变化，使得光轴和视轴之间的夹角发生变化。由于视轴是不可测量的，所以在实际的眼球追踪时通过光轴追踪瞳孔，然而场景中的不同的背景光会导致瞳孔缩放、瞳孔中心位置发生变化，从而降低眼球追踪的准确度。

针对上述问题，发明人经过长期的研究发现，并提出了本申请实施例提供的眼球追踪方法、装置、电子设备以及存储介质，在当前背光信息下，对瞳孔中心位置进行偏移，偏移后的瞳孔中心位置对应的位置为准确度较高的眼球注视位置。其中，具体的眼球追踪方法在后续的实施例中进行详细的说明。

本实施例提供一种电子设备，请参阅图2，电子设备100包括处理器110、显示屏120、补光灯130和相机140，显示屏120、补光灯130和相机140均与处理器110连接。

处理器110控制显示屏120显示不同背景光信息供用户观看。并且处理器110控制补光灯130照明，用于光线较暗的场合给被拍摄的眼部补光，可选地，补光灯130可以为2个。相机140用于拍摄用户的眼部图像，并将眼部图像发送至处理器，可选地，相机140可以为红外相机。

图3示出了本申请一个实施例提供的眼球追踪方法的流程示意图，在当前背光信息下，对瞳孔中心位置进行偏移，偏移后的瞳孔中心位置对应的位置为准确度较高的眼球注视位置。在具体的实施例中，所述眼球追踪方法应用于如图8所示的眼球追踪装置200以及配置有眼球追踪装置200的电子设备100(图2和图9)。本实施例将以眼球追踪方法应用于电子设备100为例说明本实施例的具体流程，当然，可以理解的，本实施例所应用的电子设备可以为移动终端、智能手机、平板电脑、穿戴式电子设备、虚拟现实(VirtualReality，简称VR)体验中的头戴式设备等，在此不做限定。下面将针对图3所示的流程进行详细的阐述，所述眼球追踪方法具体可以包括如下步骤：

步骤S1010、在所述显示屏处于当前背景光信息下，获取待追踪眼球的当前瞳孔中心位置和当前瞳孔半径。

在显示屏处于当前背景光信息下，用户眼睛注视显示屏时，相机拍摄用户的当前眼部图像并发送至处理器；处理器采用预设图像处理算法，从当前眼部图像中获取待追踪眼球的当前瞳孔中心位置和当前瞳孔半径；其中，预设图像处理算法可以为阈值法、轮廓法，当前背景光信息包括当前灰度信息和/或当前亮度信息。

步骤S1020、在所述显示屏上确定所述当前瞳孔中心位置对应的第一注视位置。

在一些实施方式中，电子设备可以预先存储多个瞳孔中心位置和多个注视位置，再将多个瞳孔中心位置和多个注视位置关联，即建立多个瞳孔中心位置和多个注视位置之间的对应关系(位置映射关系)，可选地，位置映射关系可以为关系映射表。当电子设备获得当前瞳孔中心位置时，从电子设备本地读取该位置映射关系，基于位置映射关系，获得当前瞳孔中心位置对应的第一注视位置，可以理解的是，该第一注视位置可以认为是用户在显示屏上注视的位置。由于位置映射关系存储于电子设备本地，当获得当前瞳孔中心位置时，可以快速得到当前瞳孔中心位置对应的第一注视位置。

在另一些实施方式中，位置映射关系可以存储于与电子设备连接的服务器，电子设备将获得的当前瞳孔中心位置发送至服务器，服务器基于位置映射关系，在显示屏上确定当前瞳孔中心位置对应的第一注视位置，再将第一注视位置发送至电子设备。将位置映射关系存储于服务器，可以减少位置映射关系对电子设备本地内存的占用。

步骤S1030、基于偏移映射关系，获得与所述当前瞳孔半径和所述第一注视位置对应的当前偏移量，其中，所述偏移映射关系包括多个偏移量、多个瞳孔半径和多个注视位置之间的对应关系。

在一些实施方式中，电子设备预先存储多个偏移量、多个瞳孔半径和多个注视位置，再建立多个偏移量、多个瞳孔半径和多个注视位置之间的对应关系(即偏移映射关系)，可选地，偏移映射关系可以为关系映射表。当电子设备获得当前瞳孔半径和第一注视位置时，从电子设备本地读取该偏移映射关系，基于偏移映射关系，获得与当前瞳孔半径和第一注视位置对应的当前偏移量。由于位置映射关系存储于电子设备本地，当获得当前瞳孔半径和第一注视位置时，可以快速得到当前偏移量。

在另一些实施方式中，偏移映射关系可以存储于与电子设备连接的服务器，电子设备将获得的当前瞳孔半径和第一注视位置发送至服务器，服务器基于偏移映射关系，在显示屏上确定与当前瞳孔半径和第一注视位置对应的当前偏移量，再将当前偏移量发送至电子设备。将偏移映射关系存储于服务器，可以减少偏移映射关系对电子设备本地内存的占用。

可选地，照射用户眼部的光照可以为多种，除了显示屏的背景光信息外，可能还包括环境光源，如环境中的灯光、太阳光等，在多种光照共同作用下得到当前瞳孔半径。因此，结合当前瞳孔半径获得的当前偏移量，考虑到了多种光照，使得获得的当前偏移量更准确。

可选地，当电子设备为VR体验中的头戴式设备时，照射用户眼部的光照比较单一，仅为显示屏的背景光信息，即仅通过背景光信息影响用户瞳孔半径，因此，还可以结合背景光信息建立偏移映射关系，即建立的偏移映射关系还可以包括多个偏移量、多个背景光信息和多个注视位置之间的对应关系。基于偏移映射关系，获得与当前背景光信息和第一注视位置对应的当前偏移量。

步骤S1040、根据所述当前瞳孔中心位置和所述当前偏移量，获得目标瞳孔中心位置。

可选地，当前瞳孔中心位置的坐标为(x,y)，相应的当前偏移量包括横轴上的偏移量Δx和纵轴上的偏移量Δy，获得的目标瞳孔中心位置为(x+Δx,y+Δy)。

步骤S1050、在所述显示屏上确定所述目标瞳孔中心位置对应的第二注视位置，作为所述待追踪眼球在所述当前背景光信息下的眼球注视位置。

基于上述位置映射关系，在显示屏上确定目标瞳孔中心位置对应的第二注视位置，并且以第二注视位置作为待追踪眼球在所述当前背景光信息下的眼球注视位置。

在本实施例提供的眼球追踪方法中，在显示屏处于当前背景光信息下，用户注视显示屏，获取待追踪眼球的当前瞳孔中心位置和当前瞳孔半径，可以理解的是，在当前背景光信息的照射下得到当前瞳孔半径，相当于将当前背景光信息通过当前瞳孔半径表征；在显示屏上确定当前瞳孔中心位置对应的第一注视位置；由于获取的第一注视位置并未考虑当前背景光信息对瞳孔的影响，需要继续基于偏移映射关系，获得与当前瞳孔半径和第一注视位置对应的当前偏移量，其中，偏移映射关系包括多个偏移量、多个瞳孔半径和多个注视位置之间的对应关系；根据当前瞳孔中心位置和当前偏移量，获得目标瞳孔中心位置，可以理解的是，通过当前偏移量对当前瞳孔中心进行偏移，获得偏移后的目标瞳孔中心位置；最后在显示屏上确定目标瞳孔中心位置对应的第二注视位置，即第二注视位置相对于第一注视位置发生偏移，以偏移后的第二注视位置作为待追踪眼球在当前背景光信息下的眼球注视位置，可以提高眼球追踪的准确度。

本实施例在上述实施例的基础上，提供了一种眼球追踪方法，用于建立偏移映射关系，图4示出了本申请另一个实施例提供的眼球追踪方法的流程示意图，请参阅图4，所述眼球追踪方法具体可以包括如下步骤：

步骤S2010、在所述显示屏处于当前背景光信息下，获取待追踪眼球的当前瞳孔中心位置和当前瞳孔半径。

步骤S2020、在所述显示屏上确定所述当前瞳孔中心位置对应的第一注视位置。

其中，步骤S1010-步骤S1020的具体描述请参阅步骤S2010-步骤S2020，在此不再赘述。

步骤S2030、在所述显示屏上确定n个注视位置。

在显示屏上均匀选取n个注视位置，其中，n个注视位置可以为，但不限于40个、50个等。

步骤S2040、在所述显示屏分别处于m种背景光信息显示所述n个注视位置中的每个注视位置时，采集所述每个注视位置对应的m张眼部图像。

在显示屏分别处于m种背景光信息显示n个注视位置中的每个注视位置时，在m种背景光信息的每种背景光信息照射下采集一张眼部图像，采集每个注视位置对应的m张眼部图像，对于n个注视位置，总共采集n*m张眼部图像。

例如背景光信息包括32种，注视位置包括2个分别为第一注视位置和第二注视位置，在第一注视位置时，在32种背景光信息的每种背景光信息照射下采集一张眼部图像，共采集32张眼部图像；在第二注视位置时，在32种背景光信息的每一种背景光照射下采集一张眼部图像，共采集32张眼部图像。第一注视位置和第二注视位置总共采集2*32＝64张眼部图像。需要说明的是，背景光信息不限于上述的32种，还可以是更多或更少的种数，例如还可为16种、60种等。

其中，m种背景光信息包括m种灰度信息和/或m种亮度信息，可选地，m种灰度信息的亮度依次增强或者依次减弱，使得采集到的瞳孔半径依次变化，避免采集到瞳孔半径相同的眼部图像；m种亮度信息的亮度依次增强或依次减弱，使得采集到的瞳孔半径依次变化，避免采集到瞳孔半径相同的眼部图像。

步骤S2050、根据所述每个注视位置对应的m张眼部图像，获得m个偏移量和m个瞳孔半径。

请参阅图5，步骤S2050包括如下子步骤：

步骤S2051、根据所述每个注视位置对应的m张眼部图像，获得m个瞳孔中心位置和所述m个瞳孔半径。

根据预设图像处理算法，从每个注视位置对应的m张眼部图像中获得m个瞳孔中心位置和m个瞳孔半径，其中，预设图像处理算法可以为阈值法、轮廓法。

步骤S2052、在所述每个注视位置对应的m张眼部图像中确定一张眼部图像作为基准图像。

可选地，在每个注视位置对应的m张眼部图像中确定任意一张眼部图像作为基准图像。还可以选择m张眼部图像中第一张眼部图像作为基准图像，其中，第一张眼部图像为最大灰度信息和/或最大亮度信息对应的眼部图像，或者最小灰度信息和/或最小亮度信息对应的眼部图像。

步骤S2053、计算所述每个注视位置对应的m个瞳孔中心位置与基准图像对应的瞳孔中心位置之间的差值，获得所述每个注视位置对应的m个偏移量。

每个注视位置对应的m张眼部图像是在m种不同的背景光信息下采集的，即m张眼部图像是注视同一位置时采集，m张眼部图像中确定的基准图像，该基准图像中的瞳孔中心位置对应该注视位置，即该注视位置对应的基准图像中的瞳孔中心位置，而其余的m-1张眼部图像中的瞳孔中心位置与基准图像中的瞳孔中心不同，因此，需要计算m张眼部图像(包括其余的m-1张眼部图像和基准图像)与基准图像之间的差值，得到m个偏移量，通过偏移量来对其余的眼部图像中的瞳孔中心位置进行偏移，使得其余的眼部图像中的瞳孔中心位置偏移至基准图像对应的瞳孔中心位置，在显示屏上获得其余的眼部图像中的偏移后的瞳孔中心位置(已偏移至基准图像对应的瞳孔中心位置)对应的该注视位置。

需要说明的是，每个注视位置对应的m个瞳孔中心位置包括基准图像对应的瞳孔中心位置。

示例性的，基准图像对应的瞳孔中心位置(x1,y1)，瞳孔中心位置(x2,y2)，横轴上的偏移量为(x1-x2)，纵轴上的偏移量为(y1-y2)。

步骤S2060、根据所述n个注视位置以及每个注视位置对应的m个偏移量和m个瞳孔半径，获得n*m个偏移量和n*m个瞳孔半径。

每个注视位置对应m个偏移量和m个瞳孔半径，则n个注视位置对应n*m个偏移量和n*m个瞳孔半径。

步骤S2070、根据所述n*m个偏移量、所述n*m个瞳孔半径和所述n个注视位置，建立所述偏移映射关系。

建立n*m个偏移量、n*m个瞳孔半径和所述n个注视位置之间的对应关系，即偏移映射关系。可选地，可以将偏移映射关系存储于电子设备本地，便于电子设备调用，还可以将偏移映射关系发送至与电子设备连接的服务器，以减少偏移映射关系对电子设备存储空间的占用。

步骤S2080、基于偏移映射关系，获得与所述当前瞳孔半径和所述第一注视位置对应的当前偏移量，其中，所述偏移映射关系包括多个偏移量、多个瞳孔半径和多个注视位置之间的对应关系。

步骤S2090、根据所述当前瞳孔中心位置和所述当前偏移量，获得目标瞳孔中心位置。

步骤S2100、在所述显示屏上确定所述目标瞳孔中心位置对应的第二注视位置，作为所述待追踪眼球在所述当前背景光信息下的眼球注视位置。

其中，步骤S1030-步骤S1050的具体描述请参阅步骤S2080-步骤S2100，在此不再赘述。

在本实施例中，建立并存储多个偏移量、多个瞳孔半径和多个注视位置之间的对应关系，便于电子设备调用。

可选地，背景光信息包括灰度信息，图6示出了本申请又一个实施例提供的眼球追踪方法的流程示意图，请参阅图6，所述眼球追踪方法具体可以包括如下步骤：

步骤S3010、在所述显示屏处于当前背景光信息下，获取待追踪眼球的当前瞳孔中心位置和当前瞳孔半径。

步骤S3020、在所述显示屏上确定所述当前瞳孔中心位置对应的第一注视位置。

步骤S3030、在所述显示屏上确定n个注视位置。

其中，S3010-步骤S3030的具体描述请参阅步骤S2010-步骤S2030，在此不再赘述。

步骤S3040、获取所述显示屏对应的灰度范围，并在所述灰度范围内确定m种灰度信息。

例如，显示屏的灰度范围为0～255，在灰度范围内确定m种灰度信息，例如，可以为256种灰度信息。通过调节显示屏的屏幕背景光亮或电子设备的发光二极管(LightEmitting Diode，简称LED)分别调节出256种灰度信息。

可选地，背景光信息还包括亮度信息，获取所述显示屏对应的亮度范围，并在所述亮度范围内确定m种亮度信息。

例如，显示屏的亮度范围为0～100，在亮度范围内确定m种亮度信息，例如，可以为100种亮度信息。通过调节显示屏的屏幕背景光亮或电子设备的发LED分别调节出100种亮度信息。需要说明的是，显示屏的亮度范围由电子设备的LED灯、显示屏的材质等因素决定，因此，显示屏的亮度范围不限于0～100，还可以为0～120、0～60等。

可选地，m种背景光信息包括m种灰度信息和m种亮度信息，其中，m种灰度信息的亮度逐渐增大或者减小，m种亮度信息逐渐增大或者减小，m种灰度信息和m种亮度信息一一对应，如表1所示，其中m可以为8、16、32、255。

表1

步骤S3050、在所述显示屏分别处于m种背景光信息显示所述n个注视位置中的每个注视位置时，采集所述每个注视位置对应的m张眼部图像。

步骤S3060、根据所述每个注视位置对应的m张眼部图像，获得m个偏移量和m个瞳孔半径。

步骤S3070、根据所述n个注视位置以及每个注视位置对应的m个偏移量和m个瞳孔半径，获得n*m个偏移量和n*m个瞳孔半径。

步骤S3080、根据所述n*m个偏移量、所述n*m个瞳孔半径和所述n个注视位置，建立所述偏移映射关系。

步骤S3090、基于偏移映射关系，获得与所述当前瞳孔半径和所述第一注视位置对应的当前偏移量，其中，所述偏移映射关系包括多个偏移量、多个瞳孔半径和多个注视位置之间的对应关系。

步骤S3100、根据所述当前瞳孔中心位置和所述当前偏移量，获得目标瞳孔中心位置。

步骤S3110、在所述显示屏上确定所述目标瞳孔中心位置对应的第二注视位置，作为所述待追踪眼球在所述当前背景光信息下的眼球注视位置。

其中，步骤S3050-步骤S3110的具体描述请参阅步骤S2050-步骤S2100，在此不再赘述。

可选地，图7示出了本申请再一个实施例提供的眼球追踪方法的流程示意图，请参阅图7，所述眼球追踪方法具体可以包括如下步骤：

步骤S4010、在所述显示屏处于当前背景光信息下，获取待追踪眼球的当前瞳孔中心位置和当前瞳孔半径。

步骤S4020、在所述显示屏上确定所述当前瞳孔中心位置对应的第一注视位置。

步骤S4030、基于偏移映射关系，获得与所述当前瞳孔半径和所述第一注视位置对应的当前偏移量，其中，所述偏移映射关系包括多个偏移量、多个瞳孔半径和多个注视位置之间的对应关系。

步骤S4040、根据所述当前瞳孔中心位置和所述当前偏移量，获得目标瞳孔中心位置。

步骤S4050、在所述显示屏上确定所述目标瞳孔中心位置对应的第二注视位置，作为所述待追踪眼球在所述当前背景光信息下的眼球注视位置。

其中，步骤S4010-步骤S4050的具体描述请参阅步骤S1010-步骤S1050，在此不再赘述。

步骤S4060、当所述显示屏的背景光信息发生变化时，获取所述待追踪眼球的变化后的瞳孔中心位置和变化后的瞳孔半径。

步骤S4070、在所述显示屏上确定与所述变化后的瞳孔中心位置对应的第三注视位置。

步骤S4080、基于所述偏移映射关系，获得与所述变化后的瞳孔半径和所述第三注视位置对应的变化后的偏移量。

步骤S4090、根据所述变化后的瞳孔中心位置和所述变化后的偏移量，获得变化后的目标瞳孔中心位置。

步骤S4100、在所述显示屏上确定所述变化后的目标瞳孔中心位置对应的第四注视位置，作为所述待追踪眼球在所述变化后的背景光信息下的眼球注视位置。

其中，步骤S4060-步骤S4100的具体描述请参阅步骤S1010-步骤S1050，在此不再赘述。

在本实施例中，当背景光变化时，可以继续追踪眼球注视位置。

为实现上述方法类实施例，本实施例提供一种眼球追踪装置，应用于电子设备，电子设备包括显示屏，图8示出了本申请一实施例提供的眼球追踪装置的框图，请参阅图8，眼球追踪装置300包括：当前瞳孔中心位置获取模块310、第一注视位置确定模块320、偏移模块330、目标瞳孔中心位置获取模块340和第二注视位置确定模块350。

当前瞳孔中心位置获取模块310，用于在所述显示屏处于当前背景光信息下，获取待追踪眼球的当前瞳孔中心位置和当前瞳孔半径；

第一注视位置确定模块320，用于在所述显示屏上确定所述当前瞳孔中心位置对应的第一注视位置；

偏移模块330，用于基于偏移映射关系，获得与所述当前瞳孔半径和所述第一注视位置对应的当前偏移量，其中，所述偏移映射关系包括多个偏移量、多个瞳孔半径和多个注视位置之间的对应关系；

目标瞳孔中心位置获取模块340，用于根据所述当前瞳孔中心位置和所述当前偏移量，获得目标瞳孔中心位置；

第二注视位置确定模块350，用于在所述显示屏上确定所述目标瞳孔中心位置对应的第二注视位置，作为所述待追踪眼球在所述当前背景光信息下的眼球注视位置。

可选地，眼球追踪装置300还包括：注视位置确定模块、张眼部图像采集模块、第一偏移量获得模块、第二偏移量获得模块和映射建立模块。

注视位置确定模块，用于在所述显示屏上确定n个注视位置；

张眼部图像采集模块，用于在所述显示屏分别处于m种背景光信息显示所述n个注视位置中的每个注视位置时，采集所述每个注视位置对应的m张眼部图像；

第一偏移量获得模块，用于根据所述每个注视位置对应的m张眼部图像，获得m个偏移量和m个瞳孔半径；

第二偏移量获得模块，用于根据所述n个注视位置以及每个注视位置对应的m个偏移量和m个瞳孔半径，获得n*m个偏移量和n*m个瞳孔半径；

映射建立模块，用于根据所述n*m个偏移量、所述n*m个瞳孔半径和所述n个注视位置，建立所述偏移映射关系。

可选地，背景光信息包括灰度信息，眼球追踪装置300还包括：灰度信息确定模块。

灰度信息确定模块，用于获取所述显示屏对应的灰度范围，并在所述灰度范围内确定m种灰度信息。

可选地，背景光信息包括亮度信息，眼球追踪装置300还包括：亮度信息确定模块。

亮度信息确定模块，用于获取所述显示屏对应的亮度范围，并在所述亮度范围内确定m种亮度信息。

可选地，第一偏移量获得模块包括：瞳孔中心位置获取子模块、基准图像确定子模块和偏移量计算子模块。

瞳孔中心位置获取子模块，用于根据所述每个注视位置对应的m张眼部图像，获得m个瞳孔中心位置和所述m个瞳孔半径；

基准图像确定子模块，用于在所述每个注视位置对应的m张眼部图像中确定一张眼部图像作为基准图像；

偏移量计算子模块，用于计算所述每个注视位置对应的m个瞳孔中心位置与基准图像对应的瞳孔中心位置之间的差值，获得所述每个注视位置对应的m个偏移量。

可选地，眼球追踪装置300还包括：变化后的瞳孔中心位置获取模块、第三注视位置获取模块、变化后的偏移量获取模块、变化后的目标瞳孔中心位置获取模块和第四注视位置获取模块。

变化后的瞳孔中心位置获取模块，用于当所述显示屏的背景光信息发生变化时，获取所述待追踪眼球的变化后的瞳孔中心位置和变化后的瞳孔半径；

第三注视位置获取模块，用于在所述显示屏上确定与所述变化后的瞳孔中心位置对应的第三注视位置；

变化后的偏移量获取模块，用于基于所述偏移映射关系，获得与所述变化后的瞳孔半径和所述第三注视位置对应的变化后的偏移量；

变化后的目标瞳孔中心位置获取模块，用于根据所述变化后的瞳孔中心位置和所述变化后的偏移量，获得变化后的目标瞳孔中心位置；

第四注视位置获取模块，用于在所述显示屏上确定所述变化后的目标瞳孔中心位置对应的第四注视位置，作为所述待追踪眼球在所述变化后的背景光信息下的眼球注视位置。

可选地，第一注视位置确定模块包括：第一注视位置确定子模块。

第一注视位置确定子模块，用于基于位置映射关系，在所述显示屏上确定所述当前瞳孔中心位置对应的所述第一注视位置，其中，所述位置映射关系包括多个瞳孔中心位置和多个注视位置之间的对应关系。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述装置和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，模块相互之间的耦合可以是电性，机械或其它形式的耦合。

另外，在本申请各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。

图9是本申请实施例的用于执行根据本申请实施例的眼球追踪方法的电子设备的框图，请参阅图9，其示出了本申请实施例提供的一种电子设备100的结构框图。该电子设备100可以是智能手机、平板电脑、电子书等能够运行应用程序的电子设备。本申请中的电子设备100可以包括一个或多个如下部件：处理器110、存储器150以及一个或多个应用程序，其中一个或多个应用程序可以被存储在存储器150中并被配置为由一个或多个处理器110执行，一个或多个程序配置用于执行如前述方法实施例所描述的方法。

其中，处理器110可以包括一个或者多个处理核。处理器110利用各种接口和线路连接整个电子设备100内的各个部分，通过运行或执行存储在存储器150内的指令、程序、代码集或指令集，以及调用存储在存储器150内的数据，执行电子设备100的各种功能和处理数据。可选地，处理器110可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)、可编程逻辑阵列(ProgrammableLogic Array，PLA)中的至少一种硬件形式来实现。处理器110可集成中央处理器(CentralProcessing Unit，CPU)、图形处理器(Graphics Processing Unit，GPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作***、用户界面和应用程序等；GPU用于负责待显示组件的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器110中，单独通过一块通信芯片进行实现。

存储器150可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory)。存储器150可用于存储指令、程序、代码、代码集或指令集。存储器150可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作***的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现下述各个方法实施例的指令等。存储数据区还可以存储电子设备100在使用中所创建的数据(比如历史配置文件)等。

图10示出了本申请实施例的用于保存或者携带实现根据本申请实施例的眼球追踪方法的程序代码的存储单元，请参阅10，其示出了本申请实施例提供的一种计算机可读存储介质的结构框图。该计算机可读介质400中存储有程序代码，所述程序代码可被处理器调用执行上述方法实施例中所描述的方法。

计算机可读存储介质400可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。可选地，计算机可读存储介质400包括非易失性计算机可读介质(non-transitory computer-readable storage medium)。计算机可读存储介质400具有执行上述方法中的任何方法步骤的程序代码410的存储空间。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。程序代码410可以例如以适当形式进行压缩。

综上所述，本申请提供的眼球追踪方法、装置、电子设备及存储介质，在显示屏处于当前背景光信息下，用户注视显示屏，获取待追踪眼球的当前瞳孔中心位置和当前瞳孔半径，可以理解的是，在当前背景光信息的照射下得到当前瞳孔半径，相当于将当前背景光信息通过当前瞳孔半径表征；在显示屏上确定当前瞳孔中心位置对应的第一注视位置；由于获取的第一注视位置并未考虑当前背景光信息对瞳孔的影响，需要继续基于偏移映射关系，获得与当前瞳孔半径和第一注视位置对应的当前偏移量，其中，偏移映射关系包括多个偏移量、多个瞳孔半径和多个注视位置之间的对应关系；根据当前瞳孔中心位置和当前偏移量，获得目标瞳孔中心位置，可以理解的是，通过当前偏移量对当前瞳孔中心进行偏移，获得偏移后的目标瞳孔中心位置；最后在显示屏上确定目标瞳孔中心位置对应的第二注视位置，即第二注视位置相对于第一注视位置发生偏移，以偏移后的第二注视位置作为待追踪眼球在当前背景光信息下的眼球注视位置，可以提高眼球追踪的准确度。

最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不驱使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (9)

1.一种眼球追踪方法，其特征在于，应用于电子设备，所述电子设备包括显示屏，所述方法包括：

在所述显示屏处于当前背景光信息下，获取待追踪眼球的当前瞳孔中心位置和当前瞳孔半径；

在所述显示屏上确定所述当前瞳孔中心位置对应的第一注视位置；

在所述显示屏上确定n个注视位置；

在所述显示屏分别处于m种背景光信息显示所述n个注视位置中的每个注视位置时，采集所述每个注视位置对应的m张眼部图像；

根据所述每个注视位置对应的m张眼部图像，获得m个偏移量和m个瞳孔半径；

根据所述n个注视位置以及每个注视位置对应的m个偏移量和m个瞳孔半径，获得n*m个偏移量和n*m个瞳孔半径；

根据所述n*m个偏移量、所述n*m个瞳孔半径和所述n个注视位置，建立偏移映射关系；

基于所述偏移映射关系，获得与所述当前瞳孔半径和所述第一注视位置对应的当前偏移量，其中，所述偏移映射关系包括多个偏移量、多个瞳孔半径和多个注视位置之间的对应关系；

根据所述当前瞳孔中心位置和所述当前偏移量，获得目标瞳孔中心位置；

在所述显示屏上确定所述目标瞳孔中心位置对应的第二注视位置，作为所述待追踪眼球在所述当前背景光信息下的眼球注视位置。

2.根据权利要求1所述的方法，其特征在于，背景光信息包括灰度信息，所述在所述显示屏分别处于m种背景光信息显示所述n个注视位置中的每个注视位置时，采集所述每个注视位置对应的m张眼部图像之前，还包括：

获取所述显示屏对应的灰度范围，并在所述灰度范围内确定m种灰度信息。

3.根据权利要求1所述的方法，其特征在于，背景光信息包括亮度信息，所述在所述显示屏分别处于m种背景光信息显示所述n个注视位置中的每个注视位置时，采集所述每个注视位置对应的m张眼部图像之前，还包括：

获取所述显示屏对应的亮度范围，并在所述亮度范围内确定m种亮度信息。

4.根据权利要求1所述的方法，其特征在于，所述根据所述每个注视位置对应的m张眼部图像，获得m个偏移量和m个瞳孔半径，包括：

根据所述每个注视位置对应的m张眼部图像，获得m个瞳孔中心位置和所述m个瞳孔半径；

在所述每个注视位置对应的m张眼部图像中确定一张眼部图像作为基准图像；

计算所述每个注视位置对应的m个瞳孔中心位置与基准图像对应的瞳孔中心位置之间的差值，获得所述每个注视位置对应的m个偏移量。

5.根据权利要求1-4任意一项所述的方法，其特征在于，所述在所述显示屏上确定所述目标瞳孔中心位置对应的第二注视位置，作为所述待追踪眼球在所述当前背景光信息下的眼球注视位置之后，还包括：

当所述显示屏的背景光信息发生变化时，获取所述待追踪眼球的变化后的瞳孔中心位置和变化后的瞳孔半径；

在所述显示屏上确定与所述变化后的瞳孔中心位置对应的第三注视位置；

基于所述偏移映射关系，获得与所述变化后的瞳孔半径和所述第三注视位置对应的变化后的偏移量；

根据所述变化后的瞳孔中心位置和所述变化后的偏移量，获得变化后的目标瞳孔中心位置；

在所述显示屏上确定所述变化后的目标瞳孔中心位置对应的第四注视位置，作为所述待追踪眼球在所述变化后的背景光信息下的眼球注视位置。

6.根据权利要求1-4任意一项所述的方法，其特征在于，所述在所述显示屏上确定所述当前瞳孔中心位置对应的第一注视位置，包括：

基于位置映射关系，在所述显示屏上确定所述当前瞳孔中心位置对应的所述第一注视位置，其中，所述位置映射关系包括多个瞳孔中心位置和多个注视位置之间的对应关系。

7.一种眼球追踪装置，其特征在于，应用于电子设备，所述电子设备包括显示屏，所述装置包括：

当前瞳孔中心位置获取模块，用于在所述显示屏处于当前背景光信息下，获取待追踪眼球的当前瞳孔中心位置和当前瞳孔半径；

第一注视位置确定模块，用于在所述显示屏上确定所述当前瞳孔中心位置对应的第一注视位置；

注视位置确定模块，用于在所述显示屏上确定n个注视位置；

眼部图像采集模块，用于在所述显示屏分别处于m种背景光信息显示所述n个注视位置中的每个注视位置时，采集所述每个注视位置对应的m张眼部图像；

第一偏移量获得模块，用于根据所述每个注视位置对应的m张眼部图像，获得m个偏移量和m个瞳孔半径；

第二偏移量获得模块，用于根据所述n个注视位置以及每个注视位置对应的m个偏移量和m个瞳孔半径，获得n*m个偏移量和n*m个瞳孔半径；

映射建立模块，用于根据所述n*m个偏移量、所述n*m个瞳孔半径和所述n个注视位置，建立偏移映射关系；

偏移模块，用于基于所述偏移映射关系，获得与所述当前瞳孔半径和所述第一注视位置对应的当前偏移量，其中，所述偏移映射关系包括多个偏移量、多个瞳孔半径和多个注视位置之间的对应关系；

目标瞳孔中心位置获取模块，用于根据所述当前瞳孔中心位置和所述当前偏移量，获得目标瞳孔中心位置；

第二注视位置确定模块，用于在所述显示屏上确定所述目标瞳孔中心位置对应的第二注视位置，作为所述待追踪眼球在所述当前背景光信息下的眼球注视位置。

8.一种电子设备，其特征在于，包括：

一个或多个处理器；

存储器；

一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于执行如权利要求1-6任一项所述的方法。

9.一种计算机可读取存储介质，其特征在于，所述计算机可读取存储介质中存储有程序代码，所述程序代码可被处理器调用执行如权利要求1-6任一项所述的方法。

Images