CN104750232A - 一种眼动跟踪方法及装置 - Google Patents

Abstract

本发明实施例公开了一种眼动跟踪方法及装置，所述方法包括：获取眼动信息和终端状态信息；用获取到的眼动信息和终端状态信息匹配预设的眼动跟踪场景；在匹配的预设眼动跟踪场景中执行眼动信息对应的操作。通过本发明实施例，可根据眼动信息和终端状态信息进行眼动跟踪，增加了眼动跟踪维度，提高了眼动追踪的精准度和眼动交互的效率。

Description

一种眼动跟踪方法及装置

技术领域

本发明涉及计算机领域，尤其涉及一种眼动跟踪方法及装置。

背景技术

眼动追踪（eye tracking）指通过测量眼睛的注视点的位置或者眼球相对头部的运动而实现对眼球运动的追踪。对于智能手机、智能手表、平板电脑等移动终端，主要通过用户对移动终端进行的如触控、拖动、晃动等物理操作来实现对移动终端的控制操作，例如，用户可以通过输入密码、输入解锁图案进行解锁，进入登陆页面等。

现有技术中，可以获取到用户的眼动数据进而进行眼动跟踪，通过眼动跟踪确定关键点执行对应的移动终端操作。在进行眼动跟踪校准时，可通过用户在预设的界面中用视线定位至少一个关键点来实现，例如，通过获取用户的眼动输入，可以确定解锁界面中用户选择的数字或图案等解锁信息，从而进行解锁，当需对眼动跟踪进行校准时，可在显示界面中用视线定位多个关键点来校准。但是，现有技术中，无论用户和移动终端处于任何状态，仅根据获取到用户的眼动数据进行眼动跟踪，且都采用同一种眼动跟踪校准模型，而用户对移动终端的操作和移动终端所处的环境实时在发生变化，使得眼动跟踪校准不精确，且眼动跟踪维度单一，降低了眼动追踪的精准度，降低了眼动交互的效率。

发明内容

本发明实施例提供一种眼动跟踪方法及装置，用于解决现有技术中眼动跟踪维度单一和不精确的技术问题。

本发明实施例第一方面提供了一种眼动跟踪方法，包括：

获取眼动信息和终端状态信息；

用所述获取到的眼动信息和终端状态信息匹配预设的眼动跟踪场景；

在所述匹配的预设眼动跟踪场景中执行所述眼动信息对应的操作。

在第一方面的第一种可能的实现方式中，所述终端状态信息包括：环境状态信息和终端使用状态信息；

所述环境状态信息包括：光信息、角加速度信息、位置信息或加速度信息；

所述终端使用状态信息包括：手持状态信息、通讯信息、用户操作信息或应用进程信息。

结合第一方面或第一方面的第一种可能实现方式，在第一方面的第二种可能的实现方式中，所述获取眼动信息和终端状态信息包括：

当显示登录解锁界面时，获取眼动跟踪校准数据，并根据所述眼动跟踪校准数据获取眼动信息；

所述在所述匹配的预设眼动跟踪场景中执行所述眼动信息对应的操作包括：

根据所述匹配的预设眼动跟踪场景和所述眼动信息生成解锁信息；

若检测到所述生成的解锁信息与预设解锁信息一致，确定解锁成功。

结合第一方面的第二种可能实现方式，在第一方面的第三种可能的实现方式中，所述在所述匹配的预设眼动跟踪场景中执行所述眼动信息对应的操作之后，还包括：

根据所述获取到的眼动信息和终端状态信息更新所述眼动跟踪校准数据。

结合第一方面的第三种可能实现方式，在第一方面的第四种可能的实现方式中，所述根据所述获取到的眼动信息和终端状态信息更新所述眼动跟踪校准数据包括：

获取与所述显示登录解锁界面的时间间隔最短的历史登录数据，所述历史登录数据包括：历史眼动信息和历史终端状态信息；

判断所述获取到的眼动信息和终端状态信息是否满足所述历史登录数据的变化阈值；

若所述获取到的眼动信息和终端状态信息满足所述历史登录数据的变化阈值，则根据所述获取到的眼动信息和终端状态信息更新所述眼动跟踪校准数据；

若所述获取到的眼动信息和终端状态信息不满足所述历史登录数据的变化阈值，则从所有历史登录数据对应的眼动跟踪校准数据中获取与所述眼动信息和终端状态信息匹配的眼动跟踪校准数据。

结合第一方面、第一方面的第一种～第四种可能的实现方式中任一种，在第一方面的第五种可能的实现方式中，所述在所述匹配的预设眼动跟踪场景中执行的所述眼动信息对应的操作包括：输入解锁信息、选中显示页面中的元素、或操作应用程序。

本发明实施例第二方面提供了一种眼动跟踪装置，包括：

获取模块，用于获取眼动信息和终端状态信息；

匹配模块，用于用所述获取模块获取到的眼动信息和终端状态信息匹配预设的眼动跟踪场景；

执行模块，用于在所述匹配的预设眼动跟踪场景中执行所述眼动信息对应的操作。

在第二方面的第一种可能的实现方式中，所述终端状态信息包括：环境状态信息和终端使用状态信息；

所述环境状态信息包括：光信息、角加速度信息、位置信息或加速度信息；

所述终端使用状态信息包括：手持状态信息、通讯信息、用户操作信息或应用进程信息。

结合第二方面或第二方面的第一种可能的实现方式，在第二方面的第二种可能的实现方式中，所述获取模块具体用于：

当显示登录解锁界面时，获取眼动跟踪校准数据，并根据所述眼动跟踪校准数据获取眼动信息；

所述执行模块包括：

生成单元，用于根据所述匹配的预设眼动跟踪场景和所述眼动信息生成解锁信息；

解锁单元，用于当检测到所述生成的解锁信息与预设解锁信息一致时，确定解锁成功。

结合第二方面的第二种可能实现方式，在第二方面的第三种可能的实现方式中，所述装置还包括：

更新模块，用于根据所述获取到的眼动信息和终端状态信息更新所述眼动跟踪校准数据。

结合第二方面的第三种可能实现方式，在第二方面的第四种可能的实现方式中，所述更新模块包括：

历史数据获取单元，用于获取与所述显示登录解锁界面的时间间隔最短的历史登录数据，所述历史登录数据包括：历史眼动信息和历史终端状态信息；

判断单元，用于判断所述获取到的眼动信息和终端状态信息是否满足所述历史登录数据的变化阈值；

第一更新单元，用于当判断单元的判断结果为是时，根据所述获取到的眼动信息和终端状态信息更新眼动跟踪校准数据；

第二更新单元，用于当判断单元的判断结果为否时，从所有历史登录数据对应的眼动跟踪校准数据中获取与所述眼动信息和终端状态信息匹配的眼动跟踪校准数据。

结合第二方面、第二方面的第一种～第四种可能的实现方式中任一种，在第二方面的第五种可能的实现方式中，所述在所述匹配的预设眼动跟踪场景中执行的所述眼动信息对应的操作包括：输入解锁信息、选中显示页面中的元素、或操作应用程序。

本发明实施例第三方面提供了一种移动终端，包括：

接收机、发射机、存储器和分别与接收机、发射机、存储器连接的处理器，其中，存储器中存储一组程序代码，且处理器用于调用存储器中存储的程序代码，执行以下操作：

获取眼动信息和终端状态信息；

用所述获取到的眼动信息和终端状态信息匹配预设的眼动跟踪场景；

在所述匹配的预设眼动跟踪场景中执行所述眼动信息对应的操作。

实施本发明实施例，可获取到眼动信息和终端状态信息，并用获取到的眼动信息和终端状态信息匹配预设的眼动跟踪场景，在匹配的预设眼动跟踪场景中执行眼动信息对应的操作。从而实现根据眼动信息和终端状态信息进行眼动跟踪，增加了眼动跟踪维度，提高了眼动追踪的精准度和眼动交互的效率。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种眼动跟踪方法的流程图；

图2为本发明实施例提供的一种眼动跟踪装置的结构示意图；

图3为本发明实施例提供的一种移动终端的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例提供一种眼动跟踪方法及装置。本发明实施中的装置可以包括：如智能手机、平板电脑、智能手表等携带摄像头的移动终端，也可以通过携带摄像头的移动终端中的客户端模块实现，例如：眼动跟踪客户端等。本发明实施例提供的一种眼动跟踪方案，可以应用于移动终端解锁、如即时通讯应用、游戏应用、音视频应用、网页浏览器等应用程序使用场景中，例如：通过眼动跟踪进行网页浏览、通过眼动跟踪输入解锁信息、通过眼动跟踪阅读电子书、通过眼动跟踪玩游戏等等。

现有技术中，无论用户和移动终端处于任何状态，仅根据获取到用户的眼动数据进行眼动跟踪，且都采用同一种眼动跟踪校准模型，眼动跟踪精准度低，而本发明实施例中，可根据眼动信息和终端状态信息进行眼动跟踪，且根据实时的终端状态信息进行实时眼动跟踪校准，提高了眼动追踪的精准度。下面通过具体实施例进行说明。

图1为本发明实施例提供的一种眼动跟踪方法的流程图，图1所示的眼动跟踪方法是以移动终端作为执行主体进行描述的，如图所示本实施例中的流程包括步骤S101～S103。

S101，获取眼动信息和终端状态信息。

S102，用获取到的眼动信息和终端状态信息匹配预设的眼动跟踪场景。

S103，在匹配的预设眼动跟踪场景中执行眼动信息对应的操作。

作为一种可选的实施方式，步骤S101中，获取眼动信息和终端状态信息。具体的，可获取眼动跟踪校准数据，根据眼动跟踪校准数据获取眼动信息。其中，眼动跟踪校准数据为预设的眼动校准模型中的数据，本发明实施例中的眼动跟踪校准数据可以实时根据终端状态信息和眼动信息进行校准。终端状态信息可以通过移动终端内置传感器或者移动终端的应用软件进行检测得到。

进一步可选的，眼动信息包括但不局限于：注视点，注视时间、注视次数、眼跳距离或瞳孔大小。具体的，眼动有三种基本方式：注视（fixation）、眼跳（saccades）和追随运动（pursuit movement），可通过移动终端的摄像头实时获取人脸图像，通过人脸图像识别模型检测到眼睛图像，再对眼睛图像进行灰度值、边缘化等处理，从而得到眼动信息。

进一步可选的，终端状态信息包括但不局限于：环境状态信息和终端使用状态信息，其中，环境状态信息包括但不局限于：光信息、角加速度信息、位置信息或加速度信息，终端使用状态信息包括但不局限于：手持状态信息、通讯信息、用户操作信息或应用进程信息。具体的，环境状态信息可以通过移动终端中的传感器进行检测获得，例如，通过光传感器可以检测到终端周边光的亮度和强度、通过加速度传感器可检测到终端的加速度数据、通过角加速度传感器可检测到终端的角加速度数据、通过GPS（Global Positioning System，全球定位***）模块可以检测到移动终端的位置信息等。终端使用状态信息可以通过终端中的各种应用程序来检测，手持状态信息可以通过检测用户在操作界面上的单手/双手操作确定单手持/双手持，通讯信息例如短信、电话、用户打开的联系人列表等，用户操作信息例如用户的触控、滑动操作等，应用进程信息例如打开的各种应用程序、后台运行的应用程序、前台运行用户正在操作的应用程序等等。

作为一种可选的实施方式，步骤S102中，用获取到的眼动信息和终端状态信息匹配预设的眼动跟踪场景。具体实现中，用获取到的眼动信息和终端状态信息匹配预设的眼动跟踪场景，每个预设的眼动跟踪场景对应一个眼动跟踪校准模型，每个眼动跟踪校准模型中的眼动校准数据不同，将获取到的当前的眼动信息和终端状态信息匹配到预设的眼动跟踪场景，从而可以采用更为精确的眼动跟踪校准模型。其中，预设的眼动跟踪场景如下一种或多种的组合：昏暗场景、光亮场景、双手持场景、单手持场景、游戏场景、导航场景、运动场景或静止场景等等，具体的，例如通过光传感器检测到终端周边光的亮度低于a1（a1大于0cd/m²），光强度低于b1（b1大于0cd）时，匹配为昏暗场景；通过光传感器检测到终端周边光的亮度大于a2，光强度大于b2时，匹配为光亮场景；检测到正在运行游戏应用且在游戏界面接收到用户的操作时，匹配为游戏场景；检测到移动终端的速度大于90km/h，匹配为车上场景；检测到移动终端的速度大于5km/h且小于15km/h，匹配为运动场景；检测到移动终端的速度为0，匹配为静止场景；当检测到开启了地图应用和GPS时，匹配定为导航场景等等。

作为一种可选的实施方式，步骤S103中，在匹配的预设眼动跟踪场景中执行眼动信息对应的操作。具体的，在匹配的预设眼动跟踪场景中执行眼动信息对应的操作，可将眼动信息转换为更加符合当前终端的状态和当前的眼动信息的操作，从而更为精确地执行该眼动信息对应的操作。其中，眼动信息对应的操作包括但不局限于：输入解锁信息、选中显示页面中的元素或操作应用程序，选中显示页面中的元素例如：选中网页页面中的一个图片、选中手机设置页面的一个选项等。在匹配的预设眼动跟踪场景中执行眼动信息对应的操作例如，移动终端正在运行游戏应用，匹配到的预设眼动跟踪场景为：游戏场景+车上场景，根据该匹配到的预设眼动跟踪场景获取对应的眼动跟踪校准模型，进而根据该眼动跟踪校准模型进行眼动跟踪玩游戏，具体的，根据该眼动跟踪校准模型获取眼动信息，在将眼动信息转换为对应的游戏操作，游戏操作例如向左/右、向上/下等，从而实现用户无需用手操作界面，直接通过用眼动玩游戏。

作为一种可选的实施方式，用户开启移动终端后，移动终端显示登录解锁界面，此时，移动终端获取眼动校准数据，并根据眼动校准数据获取眼动信息，还获取终端状态信息，根据获取到的眼动信息和终端状态信息匹配预设的眼动跟踪场景，根据匹配的预设眼动跟踪场景和眼动信息生成解锁信息，若检测到生成的解锁信息与预设解锁信息一致，确定解锁成功，若检测到生成的解锁信息与预设解锁信息不一致，返回登录解锁界面，提示用户重新输入。

进一步可选的，对于每一次显示登录解锁界面，都可以通过眼动输入解锁信息。

作为一种可选的实施方式，在步骤S103之后，还可以包括：根据获取到的眼动信息和终端状态信息更新眼动跟踪校准数据。具体实现中，根据获取到的眼动信息和终端状态信息更新眼动跟踪校准数据包括：

获取与显示登录解锁界面的时间间隔最短的历史登录数据，历史登录数据包括：历史眼动信息和历史终端状态信息；

判断获取到的眼动信息和终端状态信息是否满足历史登录数据的变化阈值；

若获取到的眼动信息和终端状态信息满足历史登录数据的变化阈值，则根据获取到的眼动信息和终端状态信息更新眼动跟踪校准数据；

若获取到的眼动信息和终端状态信息不满足历史登录数据的变化阈值，则从所有历史登录数据对应的眼动跟踪校准数据中获取与眼动信息和终端状态信息匹配的眼动跟踪校准数据。

具体的，历史登录数据可以包括：历史眼动信息和历史终端状态信息，历史终端状态信息包括：历史环境状态信息和历史终端使用状态信息，其中，历史环境状态信息包括但不局限于：光信息、角加速度信息、位置信息或加速度信息，历史终端使用状态信息包括但不局限于：手持状态信息、通讯信息、用户操作信息或应用进程信息。历史登录数据的变化阈值，例如光的亮度的变化阈值:±a0（例如a0=10cd/m²），光强度的变化阈值:±b0（例如b0=5cd），移动终端的速度的变化阈值:±c0（移动终端的速度大于0,例如c0=0.05km/h），注视次数的变化阈值：±d0（例如d0=3次），注视时间的变化阈值：±f0（例如f0=30ms）等等。

当确定解锁成功后，可获取上一次登录是的历史登录数据，再对比本次获取到的眼动信息和终端状态信息与历史登录数据，判断本次获取到的眼动信息和终端状态信息是否满足历史登录数据的变化阈值，若本次获取到的眼动信息和终端状态信息满足历史登录数据的变化阈值，则根据本次获取到眼动信息和终端状态信息更新眼动跟踪校准数据，若本次获取到的眼动信息和终端状态信息不满足历史登录数据的变化阈值，则从所有历史登录数据对应的眼动跟踪校准数据中获取与眼动信息和终端状态信息匹配的眼动跟踪校准数据，以该从历史登录数据对应的眼动跟踪校准数据中获取到眼动跟踪校准数据作更新。例如，上一次登录解锁界面并解锁成功为10分钟前，对应的预设的眼动跟踪场景为：昏暗场景+双手持场景，本次登录解锁界面时对应的预设的眼动跟踪场景为：昏暗场景+单手持场景，每个预设的眼动跟踪场景对应一个眼动跟踪校准模型，每个眼动跟踪校准模型中的眼动校准数据不同，则上一次登录与本次登录的数据不同，为不满足历史登录数据的变化阈值，则从所有历史登录数据对应的眼动跟踪校准模型中，查找到与本次登录解锁界面的预设的眼动跟踪场景对应的眼动跟踪校准模型，相一致的眼动跟踪校准模型，确定为此次目标更新校准模型，将该目标更新校准模型作为下一次登录操作的眼动跟踪校准。

进一步可选的，在用户使用移动终端的过程中，可实时获取眼动信息和终端状态信息，再根据获取到的眼动信息和终端状态信息实时更新眼动跟踪校准数据，从而使预设的眼动跟踪场景对应的眼动跟踪校准数据更为精确，为下一次的操作场景提供更为精确的校准模型，使得能更精确地执行眼动信息对应的操作。

作为一种可选的实施方式，例如，用户在登录解锁界面上通过视线在移动终端显示屏幕显示的3x3的数字/字母键盘上依次点选预设的9个字符长的密码（如“914728653”），同时获取到视线在9个区域上的定位，并获取到终端状态信息，用户当前站立在运动中的公交车上，显示屏幕垂直方向倾斜45度，根据获取到的眼动信息和终端状态信息匹配到预设的眼动跟踪场景：车上场景。检测到用户开启了浏览器应用，此时用户可用眼动控制浏览网页。若用户在空的座位上坐下，可检测到显示屏幕垂直倾斜角度为20度，则继续根据终端状态信息调整预设的眼动跟踪场景，以保证用户眼动点击链接的位置准确性。

作为一种可选的实施方式，例如，用户当前静坐于充足室内灯光下，手置于桌上，屏幕与视线基本持平，则移动终端可通过光传感器检测到终端周边光的亮度大于a2，光强度大于b2，匹配为光亮场景。移动终端显示解锁界面，解锁界面包括9个预设区域，获取眼动信息，眼动信息包括：用户视线的轨迹，具体的，用户视线在该9个预设区域中移动，用户视线的轨迹可以组成一个图案例如锯齿，该图案即为解锁信息，根据眼动信息和终端状态信息进行眼动跟踪校准，设当前眼动跟踪校准为模型1。解锁成功后，用户进入移动终端主界面，开启游戏应用程序，用户可用眼动玩游戏，若用户开启了室内的台灯，则移动终端检测到终端周边的光的亮度和光的强度发生变化，根据当前的终端状态信息进行眼动跟踪校准，设眼动跟踪校准为模型2，比较模型1与模型2，若模型2满足模型1的参数变化阈值，则继续使用模型1进行校准，若模型2不满足模型1的参数变化阈值，则使用模型2进行校准。

作为一种可选的实施方式，例如，用户在较昏暗的室外行走，视线几乎与双手握的屏幕垂直，则移动终端可通过光传感器检测到终端周边光的亮度小于a1，光强度小于b1，匹配为昏暗场景。移动终端显示解锁界面，解锁界面包括12个图案，获取眼动信息，眼动信息包括：用户视线的轨迹或用户视线的定位，具体的，用户需在12个图案中用视线定位9个预设物体，用视线定位9个预设图案的顺序或用视线定位的9个预设图案作为解锁信息，根据眼动信息和终端状态信息进行眼动跟踪校准，设当前眼动跟踪校准为模型3。解锁成功后，用户进入移动终端主界面，开启地图导航应用程序，用户可用眼动在地图上进行定位导航，用户在长廊行走，匹配为：运动场景+昏暗场景，到长廊分支路口，用户停下查找方向，此时匹配为：静止场景+昏暗场景，眼动跟踪所需的位移补偿变小。

本发明实施例提供一种眼动跟踪方法，可获取到眼动信息和终端状态信息，并用获取到的眼动信息和终端状态信息匹配预设的眼动跟踪场景，在匹配的预设眼动跟踪场景中执行眼动信息对应的操作，实现根据眼动信息和终端状态信息进行眼动跟踪，从而可实时获取眼动信息和终端状态信息，根据获取到的眼动信息和终端状态信息实时更新眼动跟踪校准数据，使预设的眼动跟踪场景对应的眼动跟踪校准数据更为精确，为下一次的操作场景提供更为精确的校准模型，使得能更精确地执行眼动信息对应的操作，增加了眼动跟踪维度，提高了眼动追踪的精准度和眼动交互的效率。

下面将结合附图2，分别对本发明实施例提供的眼动跟踪装置进行详细介绍。

需要说明的是，附图2所示的眼动跟踪装置，用于执行本发明图1所示实施例的方法，为基于图1所述的眼动跟踪方法的执行主体。为了便于说明，仅示出了与本发明实施例相关的部分，具体技术细节未揭示的，请参照本发明图1所示的实施例。

如图2所示，为本发明实施例提供的一种眼动跟踪装置的结构示意图，本发明实施例提供的眼动跟踪装置可以包括：获取模块201、匹配模块202和执行模块203。

获取模块201，用于获取眼动信息和终端状态信息。

匹配模块202，用于用获取模块获取到的眼动信息和终端状态信息匹配预设的眼动跟踪场景。

执行模块203，用于在匹配的预设眼动跟踪场景中执行眼动信息对应的操作。

作为一种可选的实施方式，获取模块201获取眼动信息和终端状态信息。具体的，可获取眼动跟踪校准数据，根据眼动跟踪校准数据获取眼动信息。其中，眼动跟踪校准数据为预设的眼动校准模型中的数据，本发明实施例中的眼动跟踪校准数据可以实时根据终端状态信息和眼动信息进行校准。终端状态信息可以通过移动终端内置传感器或者移动终端的应用软件进行检测得到。

进一步可选的，眼动信息包括但不局限于：注视点，注视时间、注视次数、眼跳距离或瞳孔大小。具体的，眼动有三种基本方式：注视、眼跳和追随运动，可通过移动终端的摄像头实时获取人脸图像，通过人脸图像识别模型检测到眼睛图像，再对眼睛图像进行灰度值、边缘化等处理，从而得到眼动信息。

进一步可选的，终端状态信息包括但不局限于：环境状态信息和终端使用状态信息，其中，环境状态信息包括但不局限于：光信息、角加速度信息、位置信息或加速度信息，终端使用状态信息包括但不局限于：手持状态信息、通讯信息、用户操作信息或应用进程信息。具体的，环境状态信息可以通过移动终端中的传感器进行检测获得，例如，通过光传感器可以检测到终端周边光的亮度和强度、通过加速度传感器可检测到终端的加速度数据、通过角加速度传感器可检测到终端的角加速度数据、通过GPS模块可以检测到移动终端的位置信息等。终端使用状态信息可以通过终端中的各种应用程序来检测，手持状态信息可以通过检测用户在操作界面上的单手/双手操作确定单手持/双手持，通讯信息例如短信、电话、用户打开的联系人列表等，用户操作信息例如用户的触控、滑动操作等，应用进程信息例如打开的各种应用程序、后台运行的应用程序、前台运行用户正在操作的应用程序等等。

作为一种可选的实施方式，匹配模块202用获取到的眼动信息和终端状态信息匹配预设的眼动跟踪场景。具体实现中，用获取到的眼动信息和终端状态信息匹配预设的眼动跟踪场景，每个预设的眼动跟踪场景对应一个眼动跟踪校准模型，每个眼动跟踪校准模型中的眼动校准数据不同，将获取到的当前的眼动信息和终端状态信息匹配到预设的眼动跟踪场景，从而可以采用更为精确的眼动跟踪校准模型。其中，预设的眼动跟踪场景如下一种或多种的组合：昏暗场景、光亮场景、双手持场景、单手持场景、游戏场景、导航场景、运动场景或静止场景等等，具体的，例如通过光传感器检测到终端周边光的亮度低于a1（a1大于0cd/m²），光强度低于b1（b1大于0cd）时，匹配为昏暗场景；通过光传感器检测到终端周边光的亮度大于a2，光强度大于b2时，匹配为光亮场景；检测到正在运行游戏应用且在游戏界面接收到用户的操作时，匹配为游戏场景；检测到移动终端的速度大于90km/h，匹配为车上场景；检测到移动终端的速度大于5km/h且小于15km/h，匹配为运动场景；检测到移动终端的速度为0，匹配为静止场景；当检测到开启了地图应用和GPS时，匹配定为导航场景等等。

作为一种可选的实施方式，执行模块203在匹配的预设眼动跟踪场景中执行眼动信息对应的操作。具体的，在匹配的预设眼动跟踪场景中执行眼动信息对应的操作，可将眼动信息转换为更加符合当前终端的状态和当前的眼动信息的操作，从而更为精确地执行该眼动信息对应的操作。其中，眼动信息对应的操作包括但不局限于：输入解锁信息、选中显示页面中的元素或操作应用程序，选中显示页面中的元素例如：选中网页页面中的一个图片、选中手机设置页面的一个选项等。根据匹配的预设眼动跟踪场景执行眼动信息对应的操作例如，移动终端正在运行游戏应用，匹配到的预设眼动跟踪场景为：游戏场景+车上场景，根据该匹配到的预设眼动跟踪场景获取对应的眼动跟踪校准模型，进而根据该眼动跟踪校准模型进行眼动跟踪玩游戏，具体的，根据该眼动跟踪校准模型获取眼动信息，在将眼动信息转换为对应的游戏操作，游戏操作例如向左/右、向上/下等，从而实现用户无需用手操作界面，直接通过用眼动玩游戏。

作为一种可选的实施方式，获取模块201还具体用于：

当显示登录解锁界面时，获取眼动校准数据，并根据眼动跟踪校准数据获取眼动信息。

进一步可选的，执行模块202可以包括：生成单元和解锁单元，其中：

生成单元，用于根据匹配的预设眼动跟踪场景和眼动信息生成解锁信息；

解锁单元，用于当检测到生成的解锁信息与预设解锁信息一致时，确定解锁成功。

具体的，用户开启移动终端后，移动终端显示登录解锁界面，此时，移动终端获取眼动校准数据，并根据眼动校准数据获取眼动信息，还获取终端状态信息，根据获取到的眼动信息和终端状态信息匹配预设的眼动跟踪场景，生成单元根据匹配的预设眼动跟踪场景和眼动信息生成解锁信息，若检测到生成的解锁信息与预设解锁信息一致，解锁单元确定解锁成功，若检测到生成的解锁信息与预设解锁信息不一致，返回登录解锁界面，提示用户重新输入。

进一步可选的，对于每一次显示登录解锁界面，都可以通过眼动输入解锁信息。

进一步可选的，本发明实施例提供的眼动跟踪装置还包括：更新模块204。

更新模块204，用于根据获取到的眼动信息和终端状态信息更新眼动跟踪校准数据。其中，更新模块204可以包括：历史数据获取单元、判断单元、第一更新单元和第二更新单元。其中：

历史数据获取单元，用于获取与显示登录解锁界面的时间间隔最短的历史登录数据，历史登录数据包括：历史眼动信息和历史终端状态信息；

判断单元，用于判断获取到的眼动信息和终端状态信息是否满足历史登录数据的变化阈值；

第一更新单元，用于当判断单元的判断结果为是时，根据获取到的眼动信息和终端状态信息更新眼动跟踪校准数据；

第二更新单元，用于当判断单元的判断结果为否时，从所有历史登录数据对应的眼动跟踪校准数据中获取与眼动信息和终端状态信息匹配的眼动跟踪校准数据。

具体的，历史登录数据可以包括：历史眼动信息和历史终端状态信息，历史终端状态信息包括：历史环境状态信息和历史终端使用状态信息，其中，历史环境状态信息包括但不局限于：光信息、角加速度信息、位置信息或加速度信息，历史终端使用状态信息包括但不局限于：手持状态信息、通讯信息、用户操作信息或应用进程信息。历史登录数据的变化阈值，例如光的亮度的变化阈值:±a0（例如a0=10cd/m²），光强度的变化阈值:±b0（例如b0=5cd），移动终端的速度的变化阈值:±c0（移动终端的速度大于0,例如c0=0.05km/h），注视次数的变化阈值：±d0（例如d0=3次），注视时间的变化阈值：±f0（例如f0=30ms）等等。

当确定解锁成功后，可获取上一次登录是的历史登录数据，再对比本次获取到的眼动信息和终端状态信息与历史登录数据，判断本次获取到的眼动信息和终端状态信息是否满足历史登录数据的变化阈值，若本次获取到的眼动信息和终端状态信息满足历史登录数据的变化阈值，则根据本次获取到眼动信息和终端状态信息更新眼动跟踪校准数据，若本次获取到的眼动信息和终端状态信息不满足历史登录数据的变化阈值，则从所有历史登录数据对应的眼动跟踪校准数据中获取与眼动信息和终端状态信息匹配的眼动跟踪校准数据，以该从历史登录数据对应的眼动跟踪校准数据中获取到眼动跟踪校准数据作更新。例如，上一次登录解锁界面并解锁成功为10分钟前，对应的预设的眼动跟踪场景为：昏暗场景+双手持场景，本次登录解锁界面时对应的预设的眼动跟踪场景为：昏暗场景+单手持场景，每个预设的眼动跟踪场景对应一个眼动跟踪校准模型，每个眼动跟踪校准模型中的眼动校准数据不同，则上一次登录与本次登录的数据不同，为不满足历史登录数据的变化阈值，则从所有历史登录数据对应的眼动跟踪校准模型中，查找到与本次登录解锁界面的预设的眼动跟踪场景对应的眼动跟踪校准模型，相一致的眼动跟踪校准模型，确定为此次目标更新校准模型，将该目标更新校准模型作为下一次登录操作的眼动跟踪校准。

进一步可选的，在用户使用移动终端的过程中，可实时获取眼动信息和终端状态信息，再根据获取到的眼动信息和终端状态信息实时更新眼动跟踪校准数据，从而使预设的眼动跟踪场景对应的眼动跟踪校准数据更为精确，为下一次的操作场景提供更为精确的校准模型，使得能更精确地执行眼动信息对应的操作。

作为一种可选的实施方式，例如，用户在登录解锁界面上通过视线在移动终端显示屏幕显示的3x3的数字/字母键盘上依次点选预设的9个字符长的密码（如“914728653”），同时获取到视线在9个区域上的定位，并获取到终端状态信息，用户当前站立在运动中的公交车上，显示屏幕垂直方向倾斜45度，根据获取到的眼动信息和终端状态信息匹配到预设的眼动跟踪场景：车上场景。检测到用户开启了浏览器应用，此时用户可用眼动控制浏览网页。若用户在空的座位上坐下，可检测到显示屏幕垂直倾斜角度为20度，则继续根据终端状态信息调整预设的眼动跟踪场景，以保证用户眼动点击链接的位置准确性。

作为一种可选的实施方式，例如，用户当前静坐于充足室内灯光下，手置于桌上，屏幕与视线基本持平，则移动终端可通过光传感器检测到终端周边光的亮度大于a2，光强度大于b2，匹配为光亮场景。移动终端显示解锁界面，解锁界面包括9个预设区域，获取眼动信息，眼动信息包括：用户视线的轨迹，具体的，用户视线在该9个预设区域中移动，用户视线的轨迹可以组成一个图案例如锯齿，该图案即为解锁信息，根据眼动信息和终端状态信息进行眼动跟踪校准，设当前眼动跟踪校准为模型1。解锁成功后，用户进入移动终端主界面，开启游戏应用程序，用户可用眼动玩游戏，若用户开启了室内的台灯，则移动终端检测到终端周边的光的亮度和光的强度发生变化，根据当前的终端状态信息进行眼动跟踪校准，设眼动跟踪校准为模型2，比较模型1与模型2，若模型2满足模型1的参数变化阈值，则继续使用模型1进行校准，若模型2不满足模型1的参数变化阈值，则使用模型2进行校准。

作为一种可选的实施方式，例如，用户在较昏暗的室外行走，视线几乎与双手握的屏幕垂直，则移动终端可通过光传感器检测到终端周边光的亮度小于a1，光强度小于b1，匹配为昏暗场景。移动终端显示解锁界面，解锁界面包括12个图案，获取眼动信息，眼动信息包括：用户视线的轨迹或用户视线的定位，具体的，用户需在12个图案中用视线定位9个预设物体，用视线定位9个预设图案的顺序或用视线定位的9个预设图案作为解锁信息，根据眼动信息和终端状态信息进行眼动跟踪校准，设当前眼动跟踪校准为模型3。解锁成功后，用户进入移动终端主界面，开启地图导航应用程序，用户可用眼动在地图上进行定位导航，用户在长廊行走，匹配为：运动场景+昏暗场景，到长廊分支路口，用户停下查找方向，此时匹配为：静止场景+昏暗场景，眼动跟踪所需的位移补偿变小。

本发明实施例提供一种眼动跟踪装置，获取模块可获取到眼动信息和终端状态信息，匹配模块可用获取到的眼动信息和终端状态信息匹配预设的眼动跟踪场景，执行模块可在匹配的预设眼动跟踪场景中执行眼动信息对应的操作，实现根据眼动信息和终端状态信息进行眼动跟踪，从而可实时获取眼动信息和终端状态信息，根据获取到的眼动信息和终端状态信息实时更新眼动跟踪校准数据，使预设的眼动跟踪场景对应的眼动跟踪校准数据更为精确，为下一次的操作场景提供更为精确的校准模型，使得能更精确地执行眼动信息对应的操作，增加了眼动跟踪维度，提高了眼动追踪的精准度和眼动交互的效率。

需要说明的是，本实施例中的获取模块、匹配模块、执行模块可以为单独设立的处理器，也可以集成在移动终端的某一个处理器中实现，此外，也可以以程序代码的形式存储于移动终端的存储器中，由移动终端的某一个处理器调用并执行以上状态信息获取模块的功能。更新模块的实现同获取模块、匹配模块、执行模块，且可以与获取模块、匹配模块、执行模块集成在一起，也可以独立实现。这里所述的处理器可以是一个中央处理器（Central Processing Unit，CPU），或者是特定集成电路（Application Specific Integrated Circuit，ASIC），或者是被配置成实施本发明实施例的一个或多个集成电路。

请参见图3，为本发明实施例提供的一种移动终端的结构示意图，其中，本实施例提供的移动终端与图1所示的方法相对应，为基于图1所示的眼动跟踪方法的执行主体。具体的实现形式如图3所示，本发明实施例的移动终端包括：接收机301、发射机302、存储器303和处理器304，其中，接收机301、发射机302、存储器303均和处理器304连接，例如，可以通过总线连接。当然，网元设备还可以包括天线、基带处理部件、中射频处理部件、输入输出装置等通用部件，具体不受本发明实施例的限制。

接收机301和发射机302可以集成在一起，构成收发机。

存储器303用于存储可执行程序代码，该程序代码包括计算机操作指令。存储器303可能包含高速RAM存储器，也可能还包括非易失性存储器（non-volatile memory），例如至少一个磁盘存储器。

处理器304可以是一个中央处理器，或者是特定集成电路，或者是被配置成实施本发明实施例的一个或多个集成电路。

其中，存储器303中存储一组程序代码，且处理器304用于调用存储器303中存储的程序代码，执行以下操作：

获取眼动信息和终端状态信息；

用所述获取到的眼动信息和终端状态信息匹配预设的眼动跟踪场景；

在所述匹配的预设眼动跟踪场景中执行所述眼动信息对应的操作。

作为一种可选的实施方式，所述终端状态信息包括：环境状态信息和终端使用状态信息；

所述环境状态信息包括：光信息、角加速度信息、位置信息或加速度信息；

所述终端使用状态信息包括：手持状态信息、通讯信息、用户操作信息或应用进程信息。

作为一种可选的实施方式，处理器304获取眼动信息和终端状态信息包括：

当显示登录解锁界面时，获取眼动跟踪校准数据，并根据所述眼动跟踪校准数据获取眼动信息；

所述在所述匹配的预设眼动跟踪场景中执行所述眼动信息对应的操作包括：

根据所述匹配的预设眼动跟踪场景和所述眼动信息生成解锁信息；

若检测到所述生成的解锁信息与预设解锁信息一致，确定解锁成功。

作为一种可选的实施方式，处理器304在所述匹配的预设眼动跟踪场景中执行所述眼动信息对应的操作之后，还用于：

根据所述获取到的眼动信息和终端状态信息更新所述眼动跟踪校准数据。

作为一种可选的实施方式，处理器304根据所述获取到的眼动信息和终端状态信息更新所述眼动跟踪校准数据包括：

获取与所述显示登录解锁界面的时间间隔最短的历史登录数据，所述历史登录数据包括：历史眼动信息和历史终端状态信息；

判断所述获取到的眼动信息和终端状态信息是否满足所述历史登录数据的变化阈值；

若所述获取到的眼动信息和终端状态信息满足所述历史登录数据的变化阈值，则根据所述获取到的眼动信息和终端状态信息更新所述眼动跟踪校准数据；

若所述获取到的眼动信息和终端状态信息不满足所述历史登录数据的变化阈值，则从所有历史登录数据对应的眼动跟踪校准数据中获取与所述眼动信息和终端状态信息匹配的眼动跟踪校准数据。

作为一种可选的实施方式，处理器304在所述匹配的预设眼动跟踪场景中执行的所述眼动信息对应的操作包括：输入解锁信息、选中显示页面中的元素、或操作应用程序。

上述技术方案中，提供一种移动终端，包括接收机、发射机、存储器和处理器，处理器可获取到眼动信息和终端状态信息，并用获取到的眼动信息和终端状态信息匹配预设的眼动跟踪场景，在匹配的预设眼动跟踪场景中执行眼动信息对应的操作，实现根据眼动信息和终端状态信息进行眼动跟踪，从而可实时获取眼动信息和终端状态信息，根据获取到的眼动信息和终端状态信息实时更新眼动跟踪校准数据，使预设的眼动跟踪场景对应的眼动跟踪校准数据更为精确，为下一次的操作场景提供更为精确的校准模型，使得能更精确地执行眼动信息对应的操作，增加了眼动跟踪维度，提高了眼动追踪的精准度和眼动交互的效率。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或模块可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置、模块或单元的间接耦合或通信连接，也可以是电的，机械的或其它的形式连接。

作为分离部件说明的模块或单元可以是或者也可以不是物理上分开的，作为模块或单元显示的部件可以是或者也可以不是物理模块或单元，即可以位于一个地方，或者也可以分布到多个网络模块或单元上。可以根据实际的需要选择其中的部分或者全部模块或单元来实现本申请实施例方案的目的。

另外，在本申请各个实施例中的各功能模块或单元可以集成在一个处理模块或单元中，也可以是各个模块或单元单独物理存在，也可以是两个或两个以上模块或单元集成在一个模块或单元中。上述集成的模块或单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

集成的模块或单元如果以软件功能模块或单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。

以上，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (12)

1.一种眼动跟踪方法，其特征在于，所述方法包括：

获取眼动信息和终端状态信息；

用所述获取到的眼动信息和终端状态信息匹配预设的眼动跟踪场景；

在所述匹配的预设眼动跟踪场景中执行所述眼动信息对应的操作。

2.如权利要求1所述的方法，其特征在于，所述终端状态信息包括：环境状态信息和终端使用状态信息；

所述环境状态信息包括：光信息、角加速度信息、位置信息或加速度信息；

所述终端使用状态信息包括：手持状态信息、通讯信息、用户操作信息或应用进程信息。

3.如权利要求1或2所述的方法，其特征在于，所述获取眼动信息和终端状态信息包括：

当显示登录解锁界面时，获取眼动跟踪校准数据，并根据所述眼动跟踪校准数据获取眼动信息；

所述在所述匹配的预设眼动跟踪场景中执行所述眼动信息对应的操作包括：

根据所述匹配的预设眼动跟踪场景和所述眼动信息生成解锁信息；

若检测到所述生成的解锁信息与预设解锁信息一致，确定解锁成功。

4.如权利要求3所述的方法，其特征在于，所述在所述匹配的预设眼动跟踪场景中执行所述眼动信息对应的操作之后，还包括：

根据所述获取到的眼动信息和终端状态信息更新所述眼动跟踪校准数据。

5.如权利要求4所述的方法，其特征在于，所述根据所述获取到的眼动信息和终端状态信息更新所述眼动跟踪校准数据包括：

获取与所述显示登录解锁界面的时间间隔最短的历史登录数据，所述历史登录数据包括：历史眼动信息和历史终端状态信息；

判断所述获取到的眼动信息和终端状态信息是否满足所述历史登录数据的变化阈值；

若所述获取到的眼动信息和终端状态信息满足所述历史登录数据的变化阈值，则根据所述获取到的眼动信息和终端状态信息更新所述眼动跟踪校准数据；

若所述获取到的眼动信息和终端状态信息不满足所述历史登录数据的变化阈值，则从所有历史登录数据对应的眼动跟踪校准数据中获取与所述眼动信息和终端状态信息匹配的眼动跟踪校准数据。

6.如权利要求1～5任一所述的方法，其特征在于，所述在所述匹配的预设眼动跟踪场景中执行的所述眼动信息对应的操作包括：输入解锁信息、选中显示页面中的元素、或操作应用程序。

7.一种眼动跟踪装置，其特征在于，所述装置包括：

获取模块，用于获取眼动信息和终端状态信息；

匹配模块，用于用所述获取模块获取到的眼动信息和终端状态信息匹配预设的眼动跟踪场景；

执行模块，用于在所述匹配的预设眼动跟踪场景中执行所述眼动信息对应的操作。

8.如权利要求7所述的装置，其特征在于，所述终端状态信息包括：环境状态信息和终端使用状态信息；

所述环境状态信息包括：光信息、角加速度信息、位置信息或加速度信息；

所述终端使用状态信息包括：手持状态信息、通讯信息、用户操作信息或应用进程信息。

9.如权利要求7或8所述的装置，其特征在于，所述获取模块具体用于：

当显示登录解锁界面时，获取眼动跟踪校准数据，并根据所述眼动跟踪校准数据获取眼动信息；

所述执行模块包括：

生成单元，用于根据所述匹配的预设眼动跟踪场景和所述眼动信息生成解锁信息；

解锁单元，用于当检测到所述生成的解锁信息与预设解锁信息一致时，确定解锁成功。

10.如权利要求9所述的装置，其特征在于，所述装置还包括：

更新模块，用于根据所述获取到的眼动信息和终端状态信息更新所述眼动跟踪校准数据。

11.如权利要求10所述的装置，其特征在于，所述更新模块包括：

历史数据获取单元，用于获取与所述显示登录解锁界面的时间间隔最短的历史登录数据，所述历史登录数据包括：历史眼动信息和历史终端状态信息；

判断单元，用于判断所述获取到的眼动信息和终端状态信息是否满足所述历史登录数据的变化阈值；

第一更新单元，用于当判断单元的判断结果为是时，根据所述获取到的眼动信息和终端状态信息更新眼动跟踪校准数据；

第二更新单元，用于当判断单元的判断结果为否时，从所有历史登录数据对应的眼动跟踪校准数据中获取与所述眼动信息和终端状态信息匹配的眼动跟踪校准数据。

12.如权利要求7～11任一所述的装置，其特征在于，所述在所述匹配的预设眼动跟踪场景中执行的所述眼动信息对应的操作包括：输入解锁信息、选中显示页面中的元素、或操作应用程序。