CN113253829B - 眼球跟踪校准方法及相关产品 - Google Patents

Abstract

本申请实施例公开了一种眼球跟踪校准方法及相关产品，应用于电子设备，电子设备包括眼球跟踪应用、眼球跟踪服务、眼球跟踪算法模块和眼球跟踪校准模块，其中方法包括：眼球跟踪应用在显示页面中展示目标校准点，控制目标校准点按照预设轨迹进行移动；眼球跟踪服务向摄像头发送请求数据，并接收由摄像头发送的图像数据；眼球跟踪算法模块根据图像数据确定眼球对应显示页面中的关注位置以及目标校准点的校准点位置，得到校准数据集，校准数据集包括多组位置关系对，每一位置关系对对应一个关注位置和一个校准点位置；眼球跟踪校准模块依据多组位置关系对预设眼球跟踪算法进行校准，得到目标校准参数集。采用本申请实施例，能够提升眼球跟踪精度。

Description

眼球跟踪校准方法及相关产品

技术领域

本申请涉及电子技术领域，具体涉及一种眼球跟踪校准方法及相关产品。

背景技术

随着电子设备(如手机、平板电脑等等)的大量普及应用，电子设备能够支持的应用越来越多，功能越来越强大，电子设备向着多样化、个性化的方向发展，成为用户生活中不可缺少的电子用品。

眼球跟踪技术也将成为电子设备的标配技术，在眼球追踪***中，为了保证在使用过程中对眼球追踪的精确性，需要先进行校准，通用的校准方法是在屏幕中预先设定几个点，让用户注视这几个点，然后采集图像进行校准。由于校准过程中仅让用户注视几个预先设定的点，缺乏连贯性，对校准精度有很大影响，并且单个独立的点无法更好的吸引用户的注意，用户可能在校准过程中分神，从而影响校准精度。

发明内容

本申请实施例提供了一种眼球跟踪校准方法及相关产品，能够提升眼球跟踪技术的校准精度，有助于提升眼球跟踪精度。

第一方面，本申请实施例提供一种眼球跟踪校准方法，应用于电子设备，所述电子设备包括眼球跟踪应用、眼球跟踪服务、眼球跟踪算法模块和眼球跟踪校准模块，所述方法包括：

所述眼球跟踪应用在显示页面中展示目标校准点，所述目标校准点用于引导目标对象的眼球关注所述目标校准点；

所述眼球跟踪应用控制所述目标校准点按照预设轨迹进行移动，并向所述眼球跟踪服务请求所述眼球的关注位置；

所述眼球跟踪服务向摄像头发送请求数据，并接收由所述摄像头发送的图像数据；

所述眼球跟踪算法模块根据所述图像数据确定所述眼球对应所述显示页面中的关注位置以及所述目标校准点的校准点位置，得到校准数据集，所述校准数据集包括多组位置关系对，每一位置关系对对应一个关注位置和一个校准点位置；

所述眼球跟踪校准模块依据所述多组位置关系对预设眼球跟踪算法进行校准，得到目标校准参数集，所述目标校准参数集用于实现所述预设眼球跟踪算法的下一次眼球跟踪操作。

第二方面，本申请实施例提供了一种眼球跟踪校准装置，应用于电子设备，所述电子设备包括眼球跟踪应用、眼球跟踪服务、眼球跟踪算法模块和眼球跟踪校准模块，所述眼球跟踪校准装置包括：

所述眼球跟踪应用，用于在显示页面中展示目标校准点，所述目标校准点用于引导目标对象的眼球关注所述目标校准点；

所述眼球跟踪应用，用于控制所述目标校准点按照预设轨迹进行移动，并向所述眼球跟踪服务请求所述眼球的关注位置；

所述眼球跟踪服务，用于向摄像头发送请求数据，并接收由所述摄像头发送的图像数据；

所述眼球跟踪算法模块，用于根据所述图像数据确定所述眼球对应所述显示页面中的关注位置以及所述目标校准点的校准点位置，得到校准数据集，所述校准数据集包括多组位置关系对，每一位置关系对对应一个关注位置和一个校准点位置；

所述眼球跟踪校准模块，用于依据所述多组位置关系对预设眼球跟踪校准算法进行校准，得到目标校准参数集，所述目标校准参数集用于实现所述预设眼球跟踪校准算法的下一次校准操作。

第三方面，本申请实施例提供一种电子设备，包括处理器、存储器、通信接口以及一个或多个程序，其中，上述一个或多个程序被存储在上述存储器中，并且被配置由上述处理器执行，上述程序包括用于执行本申请实施例第一方面中的步骤的指令。

第四方面，本申请实施例提供了一种计算机可读存储介质，其中，上述计算机可读存储介质存储用于电子数据交换的计算机程序，其中，上述计算机程序使得计算机执行如本申请实施例第一方面中所描述的部分或全部步骤。

第五方面，本申请实施例提供了一种计算机程序产品，其中，上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，上述计算机程序可操作来使计算机执行如本申请实施例第一方面中所描述的部分或全部步骤。该计算机程序产品可以为一个软件安装包。

实施本申请实施例，具备如下有益效果：

可以看出，本申请实施例中所描述的眼球跟踪校准方法及相关产品，应用于电子设备，电子设备包括眼球跟踪应用、眼球跟踪服务、眼球跟踪算法模块和眼球跟踪校准模块，眼球跟踪应用在显示页面中展示目标校准点，目标校准点用于引导目标对象的眼球关注目标校准点，眼球跟踪应用控制目标校准点按照预设轨迹进行移动，并向眼球跟踪服务请求眼球注视位置，眼球跟踪服务向摄像头发送请求数据，并接收由摄像头发送的图像数据，眼球跟踪算法模块根据图像数据确定眼球对应显示页面中的关注位置以及目标校准点的校准点位置，得到校准数据集，校准数据集包括多组位置关系对，每一位置关系对对应一个关注位置和一个校准点位置，眼球跟踪校准模块依据多组位置关系对预设眼球跟踪算法进行校准，得到目标校准参数集，目标校准参数集用于实现预设眼球跟踪算法的下一次眼球跟踪操作，如此，能够通过校准点引导用户的眼球跟随目标校准点一起移动，且在移动过程中，采集校准点位置以及关注数据，将其作为校准数据，并通过校准数据对眼球跟踪算法进行校准，能够提升眼球跟踪技术的校准精度，有助于提升眼球跟踪精度。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1A是本申请实施例提供的一种电子设备的结构示意图；

图1B是本申请实施例提供的图1A所示的电子设备的眼球跟踪***的结构示意图；

图1C是本申请实施例提供的一种眼球跟踪校准方法的流程示意图；

图1D是本申请实施例提供的预设轨迹的演示示意图；

图1E是本申请实施例提供的另一预设轨迹的演示示意图；

图1F是本申请实施例提供的另一种眼球跟踪校准方法的流程示意图；

图2是本申请实施例提供的另一种眼球跟踪校准方法的流程示意图；

图3是本申请实施例提供的另一种电子设备的结构示意图；

图4是本申请实施例提供的一种眼球跟踪校准装置的功能单元组成框图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、***、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

本申请实施例所涉及到的电子设备可以包括各种具有无线通信功能的手持设备(智能手机、平板电脑等)、车载设备(导航仪、车载冰箱、车载吸尘器等等)、可穿戴设备(智能手表、智能手环、无线耳机、增强现实/虚拟现实设备、智能眼镜)、计算设备或连接到无线调制解调器的其他处理设备，以及各种形式的用户设备(user equipment，UE)，移动台(mobile station，MS)，终端设备(terminal device)等等。为方便描述，上面提到的设备统称为电子设备。

下面对本申请实施例进行详细介绍。

如图1A所示，图1A是本申请实施例提供的一种电子设备的结构示意图。该电子设备包括处理器、存储器、信号处理器、通信接口、显示屏、扬声器、麦克风、随机存取存储器(Random Access Memory，RAM)、触摸屏(Touch Panel，TP)、摄像模组和传感器等等。其中，存储器、信号处理器、显示屏、扬声器、麦克风、RAM、摄像模组、传感器、TP与处理器连接，通信接口与信号处理器连接。

其中，显示屏可以是液晶显示器(Liquid Crystal Display，LCD)、有机或无机发光二极管(Organic Light-Emitting Diode，OLED)、有源矩阵有机发光二极体面板(ActiveMatrix/Organic Light Emitting Diode，AMOLED)等。

其中，该摄像模组可以包括普通摄像头、也可以包括红外摄像头，在此不作限定。该摄像头可以是前置摄像头或后置摄像头，在此不作限定。

其中，传感器包括以下至少一种：光感传感器、陀螺仪、红外光(Infrared lightsource，IR)传感器、指纹传感器、压力传感器等等。其中，光感传感器，也称为环境光传感器，用于检测环境光亮度。光线传感器可以包括光敏元件和模数转换器。其中，光敏元件用于将采集的光信号转换为电信号，模数转换器用于将上述电信号转换为数字信号。可选的，光线传感器还可以包括信号放大器，信号放大器可以将光敏元件转换的电信号进行放大后输出至模数转换器。上述光敏元件可以包括光电二极管、光电三极管、光敏电阻、硅光电池中的至少一种。

其中，处理器是电子设备的控制中心，利用各种接口和线路连接整个电子设备的各个部分，通过运行或执行存储在存储器内的软体程序和/或模块，以及调用存储在存储器内的数据，执行电子设备的各种功能和处理数据，从而对电子设备进行整体监控。

其中，处理器可集成应用处理器(application processor，AP)和调制解调处理器，其中，应用处理器主要处理操作***、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器中。

其中，处理器包括中央处理器(Central Processing Unit，CPU)和图形处理器(Graphics Processing Unit，GPU)。CPU是电子计算机的主要设备之一，电脑中的核心配件。其功能主要是解释计算机指令以及处理计算机软件中的数据。CPU是计算机中负责读取指令，对指令译码并执行指令的核心部件。中央处理器主要包括两个部分，即控制器、运算器，其中还包括高速缓冲存储器及实现它们之间联系的数据、控制的总线。电子计算机三大核心部件就是CPU、内部存储器、输入/输出设备。中央处理器的功效主要为处理指令、执行操作、控制时间、处理数据。而GPU又称显示核心、视觉处理器、显示芯片，是一种专门在个人电脑、工作站、游戏机和一些移动设备(如平板电脑、智能手机等)上做图像和图形相关运算工作的微处理器。GPU使显卡减少了对CPU的依赖，并进行部分原本CPU的工作，尤其是在3D图形处理时GPU所采用的核心技术有硬件T&L(几何转换和光照处理)、立方环境材质贴图和顶点混合、纹理压缩和凹凸映射贴图、双重纹理四像素256位渲染引擎等，而硬件T&L技术可以说是GPU的标志。

其中，存储器用于存储软体程序和/或模块，处理器通过运行存储在存储器的软件程序和/或模块，从而执行电子设备的各种功能应用以及数据处理。存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需的软体程序等；存储数据区可存储根据电子设备的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

进一步地，如图1B所示，图1A所描述的电子设备还可以包括：眼球跟踪应用、眼球跟踪服务、眼球跟踪算法模块和眼球跟踪校准模块。

其中，眼球跟踪应用可以设置于操作***的应用层，眼球跟踪服务、眼球跟踪算法模块和眼球跟踪校准模块均可以设置于操作***的框架层。

眼球跟踪应用可以包括OEyeTrackerSDK，OEyeTrackerSDK是为应用提供的SDK接口。负责为普通应用提供获取注视点以及输入的api，形式为jar/aar包。

眼球跟踪服务(OEyeTrackerService)，其主要负责管理注视点算法、注视点后处理、输入处理以及鉴权和参数设置。

眼球跟踪算法模块(EyeTrackerAlgo)是眼球追踪的核心算法，核心算法可以会由第三方提供，或者，也可以预先配置。核心算法包含两部分：一是标定算法，二是估计注视点算法；

眼球跟踪校准模块(OEyeCali校准模块)，第一次采集图像生成校准产生，后续在使用过程中通过回传的坐标信息强化校准参数。

请参阅图1C，图1C是本申请实施例提供的一种眼球跟踪校准方法的流程示意图，如图所示，应用于图1A或图1B所示的电子设备，所述电子设备包括眼球跟踪应用、眼球跟踪服务、眼球跟踪算法模块和眼球跟踪校准模块，本眼球跟踪校准方法包括：

101、所述眼球跟踪应用在显示页面中展示目标校准点，所述目标校准点用于引导目标对象的眼球关注所述目标校准点。

其中，眼球跟踪应用可以理解为任一具备实现眼球跟踪功能的应用，上述目标对象可以为用户或者注视该电子设备的其他人。目标对象可以为一个或者多个人。

具体实现中，眼球跟踪应用可以在显示页面中展示目标校准点，目标校准点可以为一个点或者一个区域，目标校准点可以为任一形状、任一颜色、空心或者实心的点或者区域，该目标校准点内部范围内可以显示预设内容，预设内容可以由用户自行设置或者***默认，预设内容可以为文字、字符、图案等等，在此不做限定，该目标校准点用于引导目标对象的眼球关注目标校准点。

在一个可能的示例中，上述步骤101，在显示页面中展示目标校准点，可以包括如下步骤：

11、所述眼球跟踪应用在启动所述眼球跟踪应用时，在所述眼球跟踪应用的所述显示页面的预设位置以第一预设尺寸展示所述目标校准点，所述目标校准点的内部区域以倒计时形式进行显示；

12、在所述倒计时结束时，将所述目标校准点的尺寸由所述第一预设尺寸缩放到第二预设尺寸。

其中，第一预设尺寸、第二预设尺寸均可以由用户自行设置或者***默认，第一预设尺寸与第二预设尺寸不相等。

具体实现中，眼球跟踪应用可以在启动眼球跟踪应用时，在眼球跟踪应用的显示页面的预设位置以第一预设尺寸展示目标校准点，该目标校准点的内部区域以倒计时形式进行显示，例如，5s倒计时，并可以在倒计时结束时，将目标校准点的尺寸由第一预设尺寸缩放到第二预设尺寸，如此，给用户足够时间，以让其关注到屏幕，有助于实现精准校准。

102、所述眼球跟踪应用控制所述目标校准点按照预设轨迹进行移动，并向所述眼球跟踪服务请求所述眼球的关注位置。

其中，预设轨迹可以由用户自行设置或者***默认。具体实现中，在目标校准点移动过程中，可以保留预设轨迹，即用户会在屏幕上看到一条线，当然，也可以不保留预设轨迹，即只是在屏幕上见到一个点在移动。

在一个可能的示例中，上述步骤102，控制所述目标校准点按照预设轨迹进行移动，可以包括如下步骤：

21、所述眼球跟踪应用获取目标环境光亮度；

22、按照预设的环境光亮度与轨迹之间的映射关系，确定所述目标环境光对应的所述预设轨迹；

23、控制所述目标校准点按照所述预设轨迹进行移动。

其中，电子设备可以包括环境光传感器，通过环境光传感器可以实现环境光采集，进而，眼球跟踪应用可以与环境光传感器进行交互，以获取目标环境光亮度，电子设备中还可以预先存储预设的环境光亮度与轨迹之间的映射关系，进而，可以按照该映射关系确定目标环境光亮度对应的预设轨迹，并控制目标校准点按照该预设轨迹进行移动，如此，针对不同环境光设置不同轨迹，如图1D和图1E，图1D和图1E提供了不同的轨迹，有助于提升用户关注校准点的关注度。

103、所述眼球跟踪服务向摄像头发送请求数据，并接收由所述摄像头发送的图像数据。

其中，具体实现中，眼球跟踪服务可以向摄像头发送数据请求，该请求数据用于请求摄像头对目标对象的眼球进行拍摄，并接收由摄像头发送的图像数据，该图像数据中包括目标对象的眼球位置。

104、所述眼球跟踪算法模块根据所述图像数据确定所述眼球对应所述显示页面中的关注位置以及所述目标校准点的校准点位置，得到校准数据集，所述校准数据集包括多组位置关系对，每一位置关系对对应一个关注位置和一个校准点位置。

具体实现中，由于眼球注视的位置为显示页面的某个位置，而且目标校准点一直在移动，移动过程中，用户的眼球也会一直盯着目标校准点在移动，因此，眼球跟踪算法模块可以根据图像数据确定眼球对应显示页面中的关注位置以及目标校准点的校准点位置，得到校准数据集，该校准数据集包括多组位置关系对，每一位置关系对对应一个关注位置和一个校准点位置。

在一个可能的示例中，上述步骤104，根据所述图像数据确定所述眼球对应所述显示页面中的关注位置以及所述目标校准点的校准点位置，得到校准数据集，可以包括如下步骤：

41、所述眼球跟踪算法模块获取所述图像数据中的拍摄时刻，得到多个拍摄时刻，每一拍摄时刻对应一个所述目标校准点的校准点位置；

42、通过所述预设眼球跟踪算法确定所述多个拍摄时刻中每一拍摄时刻对应的所述眼球对应所述显示页面中的关注位置，得到多个关注位置，每一拍摄时刻对应一个关注位置；

43、依据所述多个关注位置，以及所述多个拍摄时刻中每一拍摄时刻中的所述目标校准点的校准点位置，生成所述多组位置关系对，将所述多组位置关系对作为所述校准数据集。

其中，电子设备中可以预先存储眼球跟踪算法模块预设眼球跟踪算法，预设眼球跟踪算法可以理解为实现眼球跟踪功能的算法，可以获取图像数据中的拍摄时刻，得到多个拍摄时刻，每一拍摄时刻对应一个目标校准点的校准点位置，并可以通过预设眼球跟踪算法确定多个拍摄时刻中每一拍摄时刻对应的眼球对应显示页面中的关注位置，即眼球中的瞳孔位置，得到多个关注位置，每一拍摄时刻对应一个关注位置，依据多个关注位置，以及多个拍摄时刻中每一拍摄时刻中的目标校准点的校准点位置，生成多组位置关系对，将多组位置关系对作为校准数据集。

105、所述眼球跟踪校准模块依据所述多组位置关系对预设眼球跟踪算法进行校准，得到目标校准参数集，所述目标校准参数集用于实现所述预设眼球跟踪算法的下一次眼球跟踪操作。

其中，本申请实施例中，电子设备中可以预先存储预设眼球跟踪算法，关注位置有可能与对应的目标校准点的位置不一致，因此，需要对预设眼球跟踪算法进行校准，以提升预设眼球跟踪算法的眼球跟踪精度。

具体地，眼球跟踪校准模块可以依据多组位置关系对预设眼球跟踪算法进行校准，具体地，可以对预设眼球跟踪算法的控制参数进行调节，得到目标校准参数集，该目标校准参数集可以用于实现预设眼球跟踪算法的下一次眼球跟踪操作。

在一个可能的示例中，上述步骤105，依据所述多组位置关系对预设眼球跟踪算法进行校准，得到目标校准参数集，可以包括如下步骤：

51、所述眼球跟踪校准模块确定所述多组位置关系对中每一组位置关系对中的关注位置与校准点位置之间的距离，得到多个距离；

52、确定所述多个距离的均值，得到目标均值；

53、确定所述多个距离的均方差，得到目标均方差；

54、按照预设的均值与调节系数之间的映射关系，确定所述目标均值对应的目标调节系数；

55、按照预设的均方差与微调系数之间的映射关系，确定所述目标均方差对应的目标微调系数；

56、获取所述预设眼球跟踪算法的初始校准参数集；

57、依据所述目标调节系数、所述目标微调系数对所述初始校准参数集进行调节，得到所述目标校准参数集。

具体地，眼球跟踪校准模块可以确定多组位置关系对中每一组位置关系对中的关注位置与校准点位置之间的距离，具体地，可以将每一组位置关系对中的关注位置与校准点位置对应的坐标进行距离运算，得到多个距离，并且可以确定多个距离的均值，得到目标均值，以及确定多个距离的均方差，得到目标均方差，电子设备中还可以预先存储预设的均值与调节系数之间的映射关系，以及预设的均方差与微调系数之间的映射关系，调节系数的取值范围可以为-1～1之间，微调系数的取值范围可以为-0.1～0.1，进而，可以按照预设的均值与调节系数之间的映射关系，确定目标均值对应的目标调节系数，并且按照预设的均方差与微调系数之间的映射关系，确定目标均方差对应的目标微调系数。

进一步地，电子设备可以获取预设眼球跟踪算法的初始校准参数集，针对不同的眼球跟踪算法，其对应不同的初始校准参数集，初始校准参数集可以理解为眼球跟踪算法的控制参数，每一眼球跟踪算法的初始校准参数集可以包括至少一个校准参数。进而，可以依据目标调节系数、目标微调系数对初始校准参数集进行调节，得到目标校准参数集，如此，可以实现对预设眼球跟踪算法进行校准，以提升预设眼球跟踪算法的眼球跟踪精度。

在一个可能的示例中，上述步骤56，依据所述目标调节系数、所述目标微调系数对所述初始校准参数集进行调节，得到所述目标校准参数集，可以包括如下步骤：

A561、所述眼球跟踪校准模块按照预设的调节系数与校准参数之间的映射关系，确定所述初始校准参数集中的第一校准参数集；

A562、依据所述目标微调系数对所述第一校准参数集进行调节，得到所述目标校准参数集。

其中，电子设备中可以预先存储预设的调节系数与校准参数之间的映射关系，在初始校准参数集包含多个校准参数时，不同的调节系数可以对应不同的校准参数，进而，眼球跟踪校准模块可以按照预设的调节系数与校准参数之间的映射关系，确定初始校准参数集中的第一校准参数集，并且可以依据目标微调系数对第一校准参数集进行调节，得到目标校准参数集，针对第一校准参数集中的任一校准参数i而言，校准后的校准参数i＝(1+目标微调系数)*校准参数i，如此，可以实现眼球跟踪算法的校准操作。

在一个可能的示例中，上述步骤56，依据所述目标调节系数、所述目标微调系数对所述初始校准参数集进行调节，得到所述目标校准参数集，可以包括如下步骤：

B561、所述眼球跟踪校准模块依据所述目标微调系数对所述目标调节系数进行调节，得到最终调节系数；

B562、依据所述最终调节系数对所述初始校准参数集中的每一校准参数进行调节，得到所述目标校准参数集。

具体实现中，眼球跟踪校准模块可以依据目标微调系数对目标调节系数进行调节，得到最终调节系数，具体地，最终调节系数＝目标调节系数*(1+目标微调系数)，进而，可以依据最终调节系数对初始校准参数集中的每一校准参数进行调节，得到目标校准参数集，针对目标校准参数集中的任一校准参数i而言，校准后的校准参数j＝最终调节系数*校准参数j，如此，可以实现眼球跟踪算法的校准操作。

举例说明下，如图1F所示，在用户启动眼球跟踪应用时，则可以展示校准点，眼球跟踪应用在显示页面中展示目标校准点，目标校准点可以用于引导目标对象的眼球关注目标校准点，眼球跟踪应用控制目标校准点按照预设轨迹进行移动，并向眼球跟踪服务请求眼球注视位置，眼球跟踪服务向摄像头发送请求数据，并接收由摄像头发送的图像数据，眼球跟踪算法模块根据图像数据确定眼球对应显示页面中的关注位置以及目标校准点的校准点位置，得到校准数据集，校准数据集包括多组位置关系对，每一位置关系对对应一个关注位置和一个校准点位置，眼球跟踪校准模块依据多组位置关系对预设眼球跟踪算法进行校准，得到目标校准参数集，目标校准参数集用于实现预设眼球跟踪算法的下一次眼球跟踪操作，进而能够通过校准点引导用户的眼球跟随目标校准点一起移动，且在移动过程中，采集校准点位置以及关注数据，将其作为校准数据，并通过校准数据对眼球跟踪算法进行校准，能够提升眼球跟踪技术的校准精度，有助于提升眼球跟踪精度。

可以看出，本申请实施例中所描述的眼球跟踪校准方法，应用于电子设备，电子设备包括眼球跟踪应用、眼球跟踪服务、眼球跟踪算法模块和眼球跟踪校准模块，眼球跟踪应用在显示页面中展示目标校准点，目标校准点用于引导目标对象的眼球关注目标校准点，眼球跟踪应用控制目标校准点按照预设轨迹进行移动，并向眼球跟踪服务请求眼球注视位置，眼球跟踪服务向摄像头发送请求数据，并接收由摄像头发送的图像数据，眼球跟踪算法模块根据图像数据确定眼球对应显示页面中的关注位置以及目标校准点的校准点位置，得到校准数据集，校准数据集包括多组位置关系对，每一位置关系对对应一个关注位置和一个校准点位置，眼球跟踪校准模块依据多组位置关系对预设眼球跟踪算法进行校准，得到目标校准参数集，目标校准参数集用于实现预设眼球跟踪算法的下一次眼球跟踪操作，如此，能够通过校准点引导用户的眼球跟随目标校准点一起移动，且在移动过程中，采集校准点位置以及关注数据，将其作为校准数据，并通过校准数据对眼球跟踪算法进行校准，能够提升眼球跟踪技术的校准精度，有助于提升眼球跟踪精度。

与上述图1C所示的实施例一致地，请参阅图2，图2是本申请实施例提供的一种眼球跟踪校准方法的流程示意图，如图所示，应用于如图1A或图1B所示的电子设备，所述电子设备包括眼球跟踪应用、眼球跟踪服务、眼球跟踪算法模块和眼球跟踪校准模块，本眼球跟踪校准方法包括：

201、所述眼球跟踪应用在启动所述眼球跟踪应用时，在所述眼球跟踪应用的所述显示页面的预设位置以第一预设尺寸展示所述目标校准点，所述目标校准点的内部区域以倒计时形式进行显示。

202、在所述倒计时结束时，将所述目标校准点的尺寸由所述第一预设尺寸缩放到第二预设尺寸，所述目标校准点用于引导目标对象的眼球关注所述目标校准点。

203、所述眼球跟踪应用控制所述目标校准点按照预设轨迹进行移动，并向所述眼球跟踪服务请求所述眼球的关注位置。

204、所述眼球跟踪服务向摄像头发送请求数据，并接收由所述摄像头发送的图像数据。

205、所述眼球跟踪算法模块根据所述图像数据确定所述眼球对应所述显示页面中的关注位置以及所述目标校准点的校准点位置，得到校准数据集，所述校准数据集包括多组位置关系对，每一位置关系对对应一个关注位置和一个校准点位置。

206、所述眼球跟踪校准模块依据所述多组位置关系对预设眼球跟踪算法进行校准，得到目标校准参数集，所述目标校准参数集用于实现所述预设眼球跟踪算法的下一次眼球跟踪操作。

其中，上述步骤201-步骤206的具体描述可以参照如图1C所描述的眼球跟踪校准方法的相应步骤，在此不再赘述。

可以看出，本申请实施例中所描述的眼球跟踪校准方法，能够通过校准点引导用户的眼球跟随目标校准点一起移动，且以倒计时方式引起用户注意，在移动过程中，采集校准点位置以及关注数据，将其作为校准数据，并通过校准数据对眼球跟踪算法进行校准，能够提升眼球跟踪技术的校准精度，有助于提升眼球跟踪精度。

与上述实施例一致地，请参阅图3，图3是本申请实施例提供的一种电子设备的结构示意图，如图所示，该电子设备包括处理器、存储器、通信接口以及一个或多个程序，电子设备包括眼球跟踪应用、眼球跟踪服务、眼球跟踪算法模块和眼球跟踪校准模块，上述一个或多个程序被存储在上述存储器中，并且被配置由上述处理器执行，本申请实施例中，上述程序包括用于执行以下步骤的指令：

所述眼球跟踪应用在显示页面中展示目标校准点，所述目标校准点用于引导目标对象的眼球关注所述目标校准点；

所述眼球跟踪应用控制所述目标校准点按照预设轨迹进行移动，并向所述眼球跟踪服务请求所述眼球的关注位置；

所述眼球跟踪服务向摄像头发送请求数据，并接收由所述摄像头发送的图像数据；

所述眼球跟踪算法模块根据所述图像数据确定所述眼球对应所述显示页面中的关注位置以及所述目标校准点的校准点位置，得到校准数据集，所述校准数据集包括多组位置关系对，每一位置关系对对应一个关注位置和一个校准点位置；

所述眼球跟踪校准模块依据所述多组位置关系对预设眼球跟踪算法进行校准，得到目标校准参数集，所述目标校准参数集用于实现所述预设眼球跟踪算法的下一次眼球跟踪操作。

在一个可能的示例中，所述依据所述多组位置关系对预设眼球跟踪算法进行校准，得到目标校准参数集，包括：

所述眼球跟踪校准模块确定所述多组位置关系对中每一组位置关系对中的关注位置与校准点位置之间的距离，得到多个距离；

确定所述多个距离的均值，得到目标均值；

确定所述多个距离的均方差，得到目标均方差；

按照预设的均值与调节系数之间的映射关系，确定所述目标均值对应的目标调节系数；

按照预设的均方差与微调系数之间的映射关系，确定所述目标均方差对应的目标微调系数；

获取所述预设眼球跟踪算法的初始校准参数集；

依据所述目标调节系数、所述目标微调系数对所述初始校准参数集进行调节，得到所述目标校准参数集。

在一个可能的示例中，所述依据所述目标调节系数、所述目标微调系数对所述初始校准参数集进行调节，得到所述目标校准参数集，包括：

所述眼球跟踪校准模块按照预设的调节系数与校准参数之间的映射关系，确定所述初始校准参数集中的第一校准参数集；

依据所述目标微调系数对所述第一校准参数集进行调节，得到所述目标校准参数集。

在一个可能的示例中，所述依据所述目标调节系数、所述目标微调系数对所述初始校准参数集进行调节，得到所述目标校准参数集，包括：

所述眼球跟踪校准模块依据所述目标微调系数对所述目标调节系数进行调节，得到最终调节系数；

依据所述最终调节系数对所述初始校准参数集中的每一校准参数进行调节，得到所述目标校准参数集。

在一个可能的示例中，所述在显示页面中展示目标校准点，包括：

所述眼球跟踪应用在启动所述眼球跟踪应用时，在所述眼球跟踪应用的所述显示页面的预设位置以第一预设尺寸展示所述目标校准点，所述目标校准点的内部区域以倒计时形式进行显示；

在所述倒计时结束时，将所述目标校准点的尺寸由所述第一预设尺寸缩放到第二预设尺寸。

在一个可能的示例中，所述控制所述目标校准点按照预设轨迹进行移动，包括：

所述眼球跟踪应用获取目标环境光亮度；

按照预设的环境光亮度与轨迹之间的映射关系，确定所述目标环境光亮度对应的所述预设轨迹；

控制所述目标校准点按照所述预设轨迹进行移动。

在一个可能的示例中，所述根据所述图像数据确定所述眼球对应所述显示页面中的关注位置以及所述目标校准点的校准点位置，得到校准数据集，包括：

所述眼球跟踪算法模块获取所述图像数据中的拍摄时刻，得到多个拍摄时刻，每一拍摄时刻对应一个所述目标校准点的校准点位置；

通过所述预设眼球跟踪算法确定所述多个拍摄时刻中每一拍摄时刻对应的所述眼球对应所述显示页面中的关注位置，得到多个关注位置，每一拍摄时刻对应一个关注位置；

依据所述多个关注位置，以及所述多个拍摄时刻中每一拍摄时刻中的所述目标校准点的校准点位置，生成所述多组位置关系对，将所述多组位置关系对作为所述校准数据集。

上述主要从方法侧执行过程的角度对本申请实施例的方案进行了介绍。可以理解的是，电子设备为了实现上述功能，其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到，结合本文中所提供的实施例描述的各示例的单元及算法步骤，本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

本申请实施例可以根据上述方法示例对电子设备进行功能单元的划分，例如，可以对应各个功能划分各个功能单元，也可以将两个或两个以上的功能集成在一个处理单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。需要说明的是，本申请实施例中对单元的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。

图4是本申请实施例中所涉及的眼球跟踪校准装置400的功能单元组成框图。该眼球跟踪校准装置400，应用于电子设备，所述电子设备包括眼球跟踪应用401、眼球跟踪服务402、眼球跟踪算法模块403和眼球跟踪校准模块404，所述装置400包括：

所述眼球跟踪应用401，用于在显示页面中展示目标校准点，所述目标校准点用于引导目标对象的眼球关注所述目标校准点；

所述眼球跟踪应用401，用于控制所述目标校准点按照预设轨迹进行移动，并向所述眼球跟踪服务402请求所述眼球的关注位置；

所述眼球跟踪服务402，用于向摄像头发送请求数据，并接收由所述摄像头发送的图像数据；

所述眼球跟踪算法模块403，用于根据所述图像数据确定所述眼球对应所述显示页面中的关注位置以及所述目标校准点的校准点位置，得到校准数据集，所述校准数据集包括多组位置关系对，每一位置关系对对应一个关注位置和一个校准点位置；

所述眼球跟踪校准模块404，用于依据所述多组位置关系对预设眼球跟踪校准算法进行校准，得到目标校准参数集，所述目标校准参数集用于实现所述预设眼球跟踪校准算法的下一次校准操作。

在一个可能的示例中，在所述依据所述多组位置关系对预设眼球跟踪算法进行校准，得到目标校准参数集方面，所述眼球跟踪校准模块404具体为：

确定所述多组位置关系对中每一组位置关系对中的关注位置与校准点位置之间的距离，得到多个距离；

确定所述多个距离的均值，得到目标均值；

确定所述多个距离的均方差，得到目标均方差；

按照预设的均值与调节系数之间的映射关系，确定所述目标均值对应的目标调节系数；

按照预设的均方差与微调系数之间的映射关系，确定所述目标均方差对应的目标微调系数；

获取所述预设眼球跟踪算法的初始校准参数集；

依据所述目标调节系数、所述目标微调系数对所述初始校准参数集进行调节，得到所述目标校准参数集。

在一个可能的示例中，在所述依据所述目标调节系数、所述目标微调系数对所述初始校准参数集进行调节，得到所述目标校准参数集方面，所述眼球跟踪校准模块404具体为：

按照预设的调节系数与校准参数之间的映射关系，确定所述初始校准参数集中的第一校准参数集；

依据所述目标微调系数对所述第一校准参数集进行调节，得到所述目标校准参数集。

在一个可能的示例中，在所述依据所述目标调节系数、所述目标微调系数对所述初始校准参数集进行调节，得到所述目标校准参数集方面，所述眼球跟踪校准模块404具体为：

依据所述目标微调系数对所述目标调节系数进行调节，得到最终调节系数；

依据所述最终调节系数对所述初始校准参数集中的每一校准参数进行调节，得到所述目标校准参数集。

在一个可能的示例中，在所述在显示页面中展示目标校准点方面，所述眼球跟踪应用401具体为：

在启动所述眼球跟踪应用时，在所述眼球跟踪应用的所述显示页面的预设位置以第一预设尺寸展示所述目标校准点，所述目标校准点的内部区域以倒计时形式进行显示；

在所述倒计时结束时，将所述目标校准点的尺寸由所述第一预设尺寸缩放到第二预设尺寸。

在一个可能的示例中，在所述控制所述目标校准点按照预设轨迹进行移动方面，所述眼球跟踪应用401具体为：

获取目标环境光亮度；

按照预设的环境光亮度与轨迹之间的映射关系，确定所述目标环境光亮度对应的所述预设轨迹；

控制所述目标校准点按照所述预设轨迹进行移动。

在一个可能的示例中，在所述根据所述图像数据确定所述眼球对应所述显示页面中的关注位置以及所述目标校准点的校准点位置，得到校准数据集方面，所述眼球跟踪算法模块403具体为：

获取所述图像数据中的拍摄时刻，得到多个拍摄时刻，每一拍摄时刻对应一个所述目标校准点的校准点位置；

通过所述预设眼球跟踪算法确定所述多个拍摄时刻中每一拍摄时刻对应的所述眼球对应所述显示页面中的关注位置，得到多个关注位置，每一拍摄时刻对应一个关注位置；

依据所述多个关注位置，以及所述多个拍摄时刻中每一拍摄时刻中的所述目标校准点的校准点位置，生成所述多组位置关系对，将所述多组位置关系对作为所述校准数据集。

可以理解的是，本实施例的眼球跟踪校准装置的各程序模块的功能可根据上述方法实施例中的方法具体实现，其具体实现过程可以参照上述方法实施例的相关描述，此处不再赘述。

本申请实施例还提供一种计算机存储介质，其中，该计算机存储介质存储用于电子数据交换的计算机程序，该计算机程序使得计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤，上述计算机包括电子设备。

本申请实施例还提供一种计算机程序产品，上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，上述计算机程序可操作来使计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤。该计算机程序产品可以为一个软件安装包，上述计算机包括电子设备。

需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置，可通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如上述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性或其它的形式。

上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储器中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例上述方法的全部或部分步骤。而前述的存储器包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储器中，存储器可以包括：闪存盘、只读存储器(英文：Read-Only Memory，简称：ROM)、随机存取器(英文：Random Access Memory，简称：RAM)、磁盘或光盘等。

以上对本申请实施例进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (9)

1.一种眼球跟踪校准方法，其特征在于，应用于电子设备，所述电子设备包括眼球跟踪应用、眼球跟踪服务、眼球跟踪算法模块和眼球跟踪校准模块，所述方法包括：

所述眼球跟踪应用在显示页面中展示目标校准点，所述目标校准点用于引导目标对象的眼球关注所述目标校准点；

所述眼球跟踪应用控制所述目标校准点按照预设轨迹进行移动，并向所述眼球跟踪服务请求所述眼球的关注位置；

所述眼球跟踪服务向摄像头发送请求数据，并接收由所述摄像头发送的图像数据；

所述眼球跟踪算法模块根据所述图像数据确定所述眼球对应所述显示页面中的关注位置以及所述目标校准点的校准点位置，得到校准数据集，所述校准数据集包括多组位置关系对，每一位置关系对对应一个关注位置和一个校准点位置；

所述眼球跟踪校准模块依据所述多组位置关系对预设眼球跟踪算法进行校准，得到目标校准参数集，所述目标校准参数集用于实现所述预设眼球跟踪算法的下一次眼球跟踪操作；

其中，所述依据所述多组位置关系对预设眼球跟踪算法进行校准，得到目标校准参数集，包括：

所述眼球跟踪校准模块确定所述多组位置关系对中每一组位置关系对中的关注位置与校准点位置之间的距离，得到多个距离；

确定所述多个距离的均值，得到目标均值；

确定所述多个距离的均方差，得到目标均方差；

按照预设的均值与调节系数之间的映射关系，确定所述目标均值对应的目标调节系数；

按照预设的均方差与微调系数之间的映射关系，确定所述目标均方差对应的目标微调系数；

获取所述预设眼球跟踪算法的初始校准参数集；

依据所述目标调节系数、所述目标微调系数对所述初始校准参数集进行调节，得到所述目标校准参数集。

2.根据权利要求1所述的方法，其特征在于，所述依据所述目标调节系数、所述目标微调系数对所述初始校准参数集进行调节，得到所述目标校准参数集，包括：

所述眼球跟踪校准模块按照预设的调节系数与校准参数之间的映射关系，确定所述初始校准参数集中的第一校准参数集；

依据所述目标微调系数对所述第一校准参数集进行调节，得到所述目标校准参数集。

3.根据权利要求1所述的方法，其特征在于，所述依据所述目标调节系数、所述目标微调系数对所述初始校准参数集进行调节，得到所述目标校准参数集，包括：

所述眼球跟踪校准模块依据所述目标微调系数对所述目标调节系数进行调节，得到最终调节系数；

依据所述最终调节系数对所述初始校准参数集中的每一校准参数进行调节，得到所述目标校准参数集。

4.根据权利要求1-3任一项所述的方法，其特征在于，所述在显示页面中展示目标校准点，包括：

所述眼球跟踪应用在启动所述眼球跟踪应用时，在所述眼球跟踪应用的所述显示页面的预设位置以第一预设尺寸展示所述目标校准点，所述目标校准点的内部区域以倒计时形式进行显示；

在所述倒计时结束时，将所述目标校准点的尺寸由所述第一预设尺寸缩放到第二预设尺寸。

5.根据权利要求1-3任一项所述的方法，其特征在于，所述控制所述目标校准点按照预设轨迹进行移动，包括：

所述眼球跟踪应用获取目标环境光亮度；

按照预设的环境光亮度与轨迹之间的映射关系，确定所述目标环境光亮度对应的所述预设轨迹；

控制所述目标校准点按照所述预设轨迹进行移动。

6.根据权利要求1-3任一项所述的方法，其特征在于，所述根据所述图像数据确定所述眼球对应所述显示页面中的关注位置以及所述目标校准点的校准点位置，得到校准数据集，包括：

所述眼球跟踪算法模块获取所述图像数据中的拍摄时刻，得到多个拍摄时刻，每一拍摄时刻对应一个所述目标校准点的校准点位置；

通过所述预设眼球跟踪算法确定所述多个拍摄时刻中每一拍摄时刻对应的所述眼球对应所述显示页面中的关注位置，得到多个关注位置，每一拍摄时刻对应一个关注位置；

依据所述多个关注位置，以及所述多个拍摄时刻中每一拍摄时刻中的所述目标校准点的校准点位置，生成所述多组位置关系对，将所述多组位置关系对作为所述校准数据集。

7.一种眼球跟踪校准装置，其特征在于，应用于电子设备，所述电子设备包括眼球跟踪应用、眼球跟踪服务、眼球跟踪算法模块和眼球跟踪校准模块，所述眼球跟踪校准装置包括：

所述眼球跟踪应用，用于在显示页面中展示目标校准点，所述目标校准点用于引导目标对象的眼球关注所述目标校准点；

所述眼球跟踪应用，用于控制所述目标校准点按照预设轨迹进行移动，并向所述眼球跟踪服务请求所述眼球的关注位置；

所述眼球跟踪服务，用于向摄像头发送请求数据，并接收由所述摄像头发送的图像数据；

所述眼球跟踪算法模块，用于根据所述图像数据确定所述眼球对应所述显示页面中的关注位置以及所述目标校准点的校准点位置，得到校准数据集，所述校准数据集包括多组位置关系对，每一位置关系对对应一个关注位置和一个校准点位置；

所述眼球跟踪校准模块，用于依据所述多组位置关系对预设眼球跟踪校准算法进行校准，得到目标校准参数集，所述目标校准参数集用于实现所述预设眼球跟踪校准算法的下一次校准操作；

其中，所述依据所述多组位置关系对预设眼球跟踪算法进行校准，得到目标校准参数集，包括：

所述眼球跟踪校准模块确定所述多组位置关系对中每一组位置关系对中的关注位置与校准点位置之间的距离，得到多个距离；

确定所述多个距离的均值，得到目标均值；

确定所述多个距离的均方差，得到目标均方差；

按照预设的均值与调节系数之间的映射关系，确定所述目标均值对应的目标调节系数；

按照预设的均方差与微调系数之间的映射关系，确定所述目标均方差对应的目标微调系数；

获取所述预设眼球跟踪算法的初始校准参数集；

依据所述目标调节系数、所述目标微调系数对所述初始校准参数集进行调节，得到所述目标校准参数集。

8.一种电子设备，其特征在于，包括处理器、存储器，所述存储器用于存储一个或多个程序，并且被配置由所述处理器执行，所述程序包括用于执行如权利要求1-6任一项所述的方法中的步骤的指令。

9.一种计算机可读存储介质，其特征在于，存储用于电子数据交换的计算机程序，其中，所述计算机程序使得计算机执行如权利要求1-6任一项所述的方法。

Images