CN105045374B

CN105045374B - 自动视线校准

Info

Publication number: CN105045374B
Application number: CN201510165853.5A
Authority: CN
Inventors: 拉塞尔·斯佩格特·范布恩; 阿诺德·S·韦克斯勒; 纳林·J·彼得森
Original assignee: Lenovo Singapore Pte Ltd
Current assignee: Lenovo Singapore Pte Ltd
Priority date: 2014-04-22
Filing date: 2015-04-09
Publication date: 2019-10-29
Anticipated expiration: 2035-04-09
Also published as: US20150302585A1; CN105045374A; EP2940555A1; JP2015207290A; EP2940555B1

Abstract

实施方式提供了一种自动视线校准的方法，包括：使用装置的处理器来确定装置处的触摸输入事件的发生；使用装置的传感器来捕获用户的图像数据；使用处理器来识别与触摸输入事件关联的屏幕位置；以及使用处理器利用触摸输入事件的发生、图像数据以及屏幕位置来校准装置的视线跟踪***。本发明描述并要求保护了其它方面。

Description

自动视线校准

技术领域

本发明涉及信息技术领域，具体地涉及自动视线校准。

背景技术

视线跟踪或眼睛跟踪技术越来越多地用于其它电子装置(例如平板电脑、便携式电脑、智能电视、游戏机等)或者结合上述电子装置使用。视线跟踪***可以用作例如如在输入方法中跟踪用户的眼睛焦点或视线焦点的输入装置，该输入方法用于执行特定动作，例如滚动屏幕上的内容、突出/选择屏幕上的元素等。

按照惯例，视线跟踪***必须被校准以供使用。因此，用户通常经过初始化过程或练习，由此来获得样品或训练数据以便校准***。这个过程基本上相当于使用对用户的眼睛的图像捕获来校准***，该用户的眼睛看着被放置在屏幕上的预定目标。这允许***确定在计算相对于屏幕的用户的视线中要使用什么参数。当参数改变时，例如，用户朝向屏幕移动或者远离屏幕移动，或者以其它方式改变他或她相对于装置的定位，可能需要重新运行校准过程以便保持视线跟踪***的准确度和精度。

发明内容

总之，一方面提供了一种方法，包括：使用装置的处理器来确定装置处的触摸输入事件的发生；使用装置的传感器来捕获用户的图像数据；使用处理器来识别与触摸输入事件关联的屏幕位置；以及使用处理器利用触摸输入事件的发生、图像数据及屏幕位置来校准装置的视线跟踪***。

另一方面提供了一种设备，包括：触摸输入装置；屏幕，其显示信息；传感器，其捕获装置的用户的图像数据；处理器，其可操作地耦接到触摸输入装置、屏幕及传感器；以及存储器，其用于存储指令，该指令可由处理器执行以：确定触摸输入装置处的触摸输入事件的发生；使用传感器来捕获用户的图像数据；识别与触摸输入事件关联的屏幕位置；以及利用触摸输入事件的发生、图像数据及屏幕位置来校准设备的视线跟踪***。

进一步的方面提供了一种计算机程序产品，包括：存储有可由处理器执行的代码的存储装置，所述代码包括：用于使用装置的处理器来确定装置处的触摸输入事件的发生的代码；用于使用装置的传感器来捕获用户的图像数据的代码；用于使用处理器来识别与触摸输入事件关联的屏幕位置的代码；以及用于使用处理器利用触摸输入事件的发生、图像数据及屏幕位置来校准装置的视线跟踪***的代码。

前述是概要，并且因此可以包含细节的简化、概括和省略；因此，本领域的技术人员将理解的是，该概要仅仅是说明性的且不意在以任何方式进行限制。

为了更好地理解实施方式连同实施方式的其它的和进一步的特征以及优点，参照以下的结合附图的描述。本发明的范围将在所附权利要求中指出。

附图说明

图1示出了信息处理装置线路的示例。

图2示出了信息处理装置线路的另一示例。

图3示出了用于自动视线校准的示例方法。

具体实施方式

将容易地理解的是，可以以除所描述的示例实施方式以外的多种不同的配置来布置和设计如在本文附图中概括地描述并示出的实施方式的部件。因此，以下如在附图中示出的、示例实施方式的更详细的描述，不意在限制所要求保护的实施方式的范围，而仅代表示例实施方式。

本说明书全文中，对“一个(one)实施方式”或“一种(an)实施方式”(等)的引用意味着结合实施方式所描述的特定特征、结构或特性包含在至少一个实施方式中。因此，在本说明书全文的各处所出现的短语“在一个实施方式中”或“在一种实施方式中”等未必都指同一实施方式。

此外，在一个或更多个实施方式中，所描述的特征、结构或特性可以以任何适当的方式进行组合。在下面的描述中，提供了许多具体的细节以给出对实施方式的透彻的理解。然而，相关领域的技术人员将认识到，可以在没有一个或更多个具体细节或者有其它的方法、部件、材料等的情况下，对各种实施方式进行实践。在其它示例中，不再详细地示出或描述公知的结构、材料或操作以避免混淆。

如本文所述，眼睛跟踪(本文中也称为视线跟踪)需要初始校准。例如，当用户的头部移动时，眼睛跟踪还需要重新校准。校准通常涉及用户跟随在屏幕上的各种位置之间移动的对象。现有解决方案允许用户校准眼睛跟踪以使得用户能够跟随在屏幕上的各种位置之间移动的对象，但是这对用户而言不方便。此外，在用户移动他或她的头部的情况下，如果***要保持准确度和精度，则现有解决方案需要重新校准。

实施方式使用借助于以下而得知用户正在看着屏幕上的位置来校准眼睛跟踪：使用来自视线跟踪***之外的一个或多个部件的可用***知识来推断用户正在看着什么。下面是***信息的一些非限制性示例，该***信息允许实施方式确定用户正在看着特定的屏幕位置。

实施方式可以利用以下事实来推断用户已经看了该位置:用户已经触摸了装置的屏幕(例如提供到触摸屏的输入，如果有的话，包括悬停或接近感测)。实施方式可以利用以下事实来推断用户已经看了该位置：用户已经点击鼠标按钮或使用另一非光学输入装置选择了一些事物。例如，用户可以键入或输入文本，这允许实施方式推断用户正在看着或聚焦于在屏幕上显示的光标位置或字位置。实施方式可以利用以下事实来推断用户已经看了该位置：在点击可选择的元素例如网页链接之前，用户已经将经由非光学输入装置发生的鼠标位置或光标位置移动到屏幕位置。实施方式可以利用以下事实来推断用户已经看了该位置:用户按压鼠标或光标定位按钮(例如控制键)。实施方式可以使用以下事实来推断用户已经看了该位置:用户已经通过进行动作(例如打开菜单、下拉列表等)的控制而悬停光标或其它选择元件(例如笔或触针、指尖等)。同样地，实施方式可以推断用户用他或她的眼睛跟随光标位置和移动。针对上述中的每个，根据实施方式，眼睛跟踪或视线跟踪***可以通过对用户正在看着的已知屏幕位置进行匹配来自我校准。当用户正常地利用装置并且没有必要运行校准练习时，这些都会发生。

在实施方式中，在以下给定的情况下可以考虑定时信息：例如特定非光学输入以及用户的眼睛正在或者曾经聚焦于该位置的可能性。在一些实施方式中，定时信息可以包括提供偏移以适当地适应特定使用案例场景。例如，如由于用户在进行选择之前可能向下看键盘/鼠标，可能需要将眼睛位置(图像数据)倒回到在进行鼠标选择之前的时刻。同样地，由于用户在提供这种输入之后会看着光标位置，所以实施方式可能需要使用在动作例如光标位置输入之后捕获的、关于用户的视线焦点的图像数据。

眼睛跟踪可以例如基于眼睛跟踪记录的先前历史、用户特定的历史或使用模式等来确定关于下述的置信水平：给定位置数据点为准确或者应当被抛弃/不用于校准。当收集了足够的屏幕位置时，在不需要初始校准的情况下可以自动地启用眼睛跟踪特征。因此，实施方式可以完全跳过视线跟踪***初始化/校准步骤，并且简单地提醒用户该***在使用例如运行校准作为后台任务期间已被校准。

正如例如通过比较未来事件来保持眼睛跟踪的准确度那样，可以通过策略来保持并更新校准。如果未识别出足够的屏幕位置以跳过初始校准，则可以使用收集的数据点来至少减少常规眼睛跟踪校准。通过这种方式，实施方式简化了视线跟踪***的必要校准，并且提供了更具用户友好性的体验。

通过参考附图将最好地理解所示出的示例实施方式。下面的描述仅意在通过示例的方式，并且简单示出了某些示例实施方式。

虽然在信息处理装置(本文中也称为设备、电子装置或仅装置)中可以利用各种其它电路、线路或部件，但是对于智能电话和/或平板电脑线路100来说，图1中示出的示例包括在例如平板电脑或其它移动计算平台中发现的电路设计上的***。软件和(一个或多个)处理器被组合在单电路110中。如本领域公知的，处理器包括内部运算单元、寄存器、高速缓存存储器、总线、I/O端口等。内部总线等取决于不同的供应商，但基本上所有***装置(120)可以附接到单电路110。线路100将处理器、存储器控制器以及I/O控制器集线器全部组合到单电路110中。此外，这种类型的***100通常不使用SATA或PCI或LPC。公共接口例如包括SDIO和I2C。

存在有(一个或多个)电力管理芯片130，例如电池管理单元BMU，该电池管理单元BMU对例如经由可充电电池140供应的电力进行管理，可以通过连接到电源(未示出)来给可充电电池140充电。在至少一个设计中，单电路例如110用于提供类似BIOS的功能和DRAM存储器。

***100通常包括以下中的一个或更多个：用于连接到各种网络例如电信网络和无线因特网装置(例如，接入点)的WWAN收发器150和WLAN收发器160。附加的装置120通常包括在例如相机中，该相机捕获可能被传送至视线跟踪***的图像数据。***100通常包括用于数据输入和显示/呈现的触摸屏170。***100通常还包括各种存储器装置，例如快闪存储器180和SDRAM 190。

图2描绘了信息处理装置电路、线路或部件的另一示例的框图。图2中描绘的示例可以对应于计算***，例如由北卡罗来纳州莫里斯维尔的联想(美国)公司销售的THINKPAD系列个人电脑或其它装置。根据本文的描述明显的是，实施方式可以包括图2中示出的示例的仅一些特征或其它特征。

图2的示例包括所谓的芯片组210(芯片组，一组一起工作的集成电路或芯片)，芯片组210具有可以取决于制造商(例如INTEL、AMD、ARM等)而变化的架构。INTEL是英特尔公司在美国和其它国家的注册商标。AMD是超微半导体有限公司在美国和其它国家的注册商标。ARM是安谋股份有限公司在美国和其它国家的未注册商标。芯片组210的架构包括核和存储器控制组220以及I/O控制器集线器250，I/O控制器集线器250经由直接管理接口(DMI)242或链路控制器244来交换信息(例如数据、信号、命令等)。在图2中，DMI 242是芯片到芯片的接口(有时被称为是“北桥”和“南桥”之间的链路)。核和存储器控制组220包括经由前端总线(FSB)224交换信息的一个或更多个处理器222(例如单核或多核)和存储器控制器集线器226；注意，组220的部件可以被集成到代替常规的“北桥”式架构的芯片中。如本领域公知的，一个或更多个处理器222包括内部运算单元、寄存器、高速缓存存储器、总线、I/O端口等。

在图2中，存储器控制器集线器226与存储器240对接(例如为可以被称为“***存储器”或“存储器”的一类RAM提供支持)。存储器控制器集线器226进一步包括用于显示装置292(例如CRT、平板、触摸屏等)的LVDS接口232。块238包括可以经由LVDS接口232来支持的一些技术(例如串行数字视频、HDMI/DVI、显示端口)。存储器控制器集线器226还包括可以支持独立显卡236的PCI-快速接口(PCI-E)234。

在图2中，I/O控制器集线器250包括SATA接口251(例如用于HDD、SDD等280)、PCI-E接口252(例如用于无线连接282)、USB接口253(例如用于装置284如数字转换器、键盘、鼠标、相机、电话、麦克风、存储器、其它连接装置等)、网络接口254(例如LAN)、GPIO接口255、LPC接口270(用于ASIC 271、TPM 272、超级I/O 273、固件集线器274、BIOS支持275以及各种类型的存储器276如ROM 277、闪存278和NVRAM 279)、电力管理接口261、时钟发生器接口262、音频接口263(例如用于扬声器294)、TCO接口264、***管理总线接口265以及SPI闪存266(其可以包括BIOS 268和启动代码290)。I/O控制器集线器250可以包括千兆以太网支持。

***在通电时可以被配置成执行在SPI闪存266内存储的、用于BIOS 268的启动代码290，此后，在一个或更多个操作***和应用程序软件(例如存储在***存储器240中)的控制下处理数据。操作***可以存储在多种位置中的任何位置处，并且例如根据BIOS 268的指令来访问。如本文所述，装置可以包括比在图2的***中示出的特征更少或者更多的特征。

可以结合实现视线跟踪的装置来使用例如如图1或图2所概述的线路。因此，图1和/或图2中概述的线路(或其一些组合)可以用于包括视线跟踪***或子***的***中。

参考图3，示出了自动视线校准的示例方法。如本文所述，在301处，实施方式通过以某种方式与特定屏幕位置关联的用户来确定装置处的例如使用触摸屏或鼠标等的非光学输入事件的发生。在302处，实施方式还可以使用传感器例如集成相机来捕获用户的图像数据。如下所述，可以结合在301处确定的非光学输入事件的发生来使用该图像数据。

然后，在303处，实施方式可以识别与非光学输入事件关联的屏幕位置，例如触摸输入事件的特定位置、屏幕上的光标的特定位置、可选择项如网页链接或下拉菜单等的特定位置。给定该信息，实施方式可以利用非光学输入事件的发生、图像数据及与其关联的屏幕位置来校准装置的视线跟踪***。使用其它***事件的对屏幕上位置的推断允许实施方式在以下情况下进行标准校准过程：不强迫用户参加旨在收集这种数据的专用练习。换言之，如本文所述，实施方式使用非光学输入事件来推断屏幕上位置，而不是强迫用户参加其中使用特定屏幕上动画来确定屏幕位置的校准练习。

然后，给定所收集的校准信息，在304处，实施方式确定是否需要校准(一个或多个)视线跟踪设定。如果需要，则在305处更新(一个或多个)视线跟踪设定。否则，在306处保持(一个或多个视线)跟踪设定。

此外，实施方式可以在以下不同时间进行该处理：例如在启动装置或视线跟踪***自身时(在这种情况下，将需要校准)；或者周期地在使用该装置和/或视线跟踪***自身期间(在这种情况下，可能需要也可能不需要校准一个或多个视线跟踪设定，其例如取决于给定当前可用信息的情况下在304处确定的视线跟踪***的准确度)。

校准可以根据策略发生。例如，策略可以响应于选自由以下构成的组中的触发来发起校准：装置的启动、视线跟踪***的启动、视线跟踪错误事件以及用户发起的触发。用户发起的触发可以包括相对于装置的头部移动超过预定阈值和/或用户提供的输入请求校准。在使用装置期间该策略可以反复发起校准作为后台任务，以使得对于装置的用户而言实施方式透明地进行校准。

校准包括确定用户视线相对于屏幕的焦点，以使得实施方式利用所推断的屏幕位置信息可以适应特定事件例如用户相对于屏幕而重新定位他或她自己。非光学输入事件(其允许方便地确定用户焦点的屏幕上位置)可以包括具有与屏幕上位置的逻辑关联的任何输入事件，所述屏幕上位置例如使用输入装置输入的屏幕位置，该输入装置选自由触摸屏、鼠标、触摸板、触针以及物理键盘构成的组。

如本文所述，识别与非光学输入事件关联的屏幕位置可以包括：对例如非光学输入事件的发生的定时信息以及捕获用户的图像数据的定时信息进行调整。因此，调整定时信息可以包括对用户的图像数据与非光学输入事件的发生进行时间偏移，以说明某些共同用例例如在提供识别位置的关键输入之后寻找光标等。

因此，实施方式提供了视线跟踪***的更具用户友好性的校准，并且可以完全或部分地消除在视线校准***的开始处进行校准练习的需要。此外，实施方式允许容易获得的***信息用于改善视线跟踪***技术(亦即在校准方面)，以使得即使视线跟踪***的准确度或精度例如由于用户重新定位而丧失，也可以使用视线跟踪***自身之外可用的***输入来快速恢复视线跟踪***的准确度或精度(亦即不进行特定校准练习)。

本领域的普通技术人员将理解的是，本发明的各个方面可以实施为***、方法或装置程序产品。因此，本发明的各个方面可以采用完全硬件实施方式的形式或采用包括软件的实施方式的形式，所述软件在本文中可以全部统称为“电路”、“模块”或“***”。此外，本发明的各个方面可以采用在一个或多个装置可读介质中实施的装置程序产品的形式，所述一个或多个装置可读介质具有与之实施的装置可读程序代码。

应注意的是，可以使用被存储在装置可读存储介质例如非信号存储装置上的可由处理器执行的指令来实现本文中描述的各种功能。存储装置可以是例如电子的、磁的、光学的、电磁的、红外线的或半导体的***、设备或装置，或前述的任何适当的组合。存储介质的更多的具体示例将包括如下：便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或闪存)、光纤、便携式光盘只读存储器(CD-ROM)、光学存储装置、磁存储装置，或前述的任何适当的组合。在本文件的上下文中，存储装置不是信号，并且“非暂时的”包括除信号介质之外的全部介质。

可以使用任何适当的介质，包括但不限于无线、有线、光缆、RF等或前述的任何适当的组合，来传输在存储介质上所包含的程序代码。

可以以一种或多种编程语言中的任何组合来编写用于执行操作的程序代码。程序代码可以完全在单个装置上执行、部分地在单个装置上执行、作为独立软件包部分地在单个装置上且部分地在另一装置上执行或完全在其它装置上执行。在某些情况下，可以通过任何类型的连接或网络(包括局域网(LAN)或广域网(WAN))来连接装置，或可以通过其它装置(例如通过使用因特网服务提供商的因特网)、通过无线连接例如近场通信或通过硬线连接(例如通过USB连接)来进行连接。

本文参考示出了根据各种示例实施方式的示例方法、装置和程序产品的附图来描述示例实施方式。要理解的是，动作和功能可以至少部分地由程序指令来实现。可以将这些程序指令提供给通用信息处理装置、专用信息处理装置或其它可编程数据处理装置的处理器以产生机制，使得指令实现指定的功能/动作，所述指令经由装置的处理器执行。

值得注意的是，虽然在附图中使用了特定的块，并且已经示出了块的特定顺序，但这些都是非限制性的示例。由于明确说明的示例仅用于描述的目的，而不应被视为限制，所以在某些情况下，可以组合两个或更多个块，可以将块分成两个或更多个块，或者可以按需要将某些块进行重新排序或重新组织。

如本文所用的那样，除另行指明，否则单数“一个(a)”和“一个(an)”可以被解释为包括“一个或更多个”。

给出本公开是为了说明和描述的目的，而非意在是穷举或限制。对本领域普通技术人员来说，许多修改和变化将是明显的。选择并描述示例实施方式是为了说明原理和实际应用，并且使本领域其他普通技术人员能够理解本公开，本公开针对与预期的特定使用相称的、具有多种修改的多种实施方式。

因此，尽管本文参考附图已经描述了说明性的示例实施方式，但要理解的是，这个描述不是限制性的，并且在不偏离本公开的范围或精神的情况下，本领域技术人员可以作出各种其它变化和修改。

Claims

1.一种方法，包括：

使用装置的处理器来确定所述装置处的触摸输入事件的发生，所述触摸输入事件包括具有与屏幕上位置的逻辑关联的任何输入事件；

使用所述装置的传感器来捕获用户的图像数据；

使用处理器来识别与所述触摸输入事件关联的屏幕位置；以及

使用处理器利用所述触摸输入事件的发生、所述图像数据以及所述屏幕位置来校准所述装置的视线跟踪***；

其中，视线跟踪基于眼睛跟踪记录的先前历史、用户特定的历史或使用模式来确定下述的置信水平：给定位置数据点为准确或者应当被抛弃。

2.根据权利要求1所述的方法，其中，所述校准包括：确定用户视线相对于屏幕的焦点。

3.根据权利要求1所述的方法，其中，所述触摸输入事件包括：与使用输入装置输入的屏幕位置关联的输入事件，其中所述输入装置选自由触摸屏、鼠标、触摸板、触针以及物理键盘构成的组。

4.根据权利要求1所述的方法，其中，识别与所述触摸输入事件关联的屏幕位置包括：对确定所述触摸输入事件的发生的定时信息以及捕获所述用户的图像数据的定时信息进行调整。

5.根据权利要求4所述的方法，其中，对定时信息进行调整包括：对所述用户的图像数据与所述触摸输入事件的发生进行时间偏移。

6.根据权利要求1所述的方法，其中，所述校准根据策略发生。

7.根据权利要求6所述的方法，其中，所述策略响应于选自由以下构成的组中的触发来发起所述校准：所述装置的启动、所述视线跟踪***的启动、视线跟踪错误事件以及用户发起的触发。

8.根据权利要求1所述的方法，其中，用户发起的触发包括相对于所述装置的头部移动超过预定阈值。

9.根据权利要求6所述的方法，其中，在使用所述装置期间，所述策略反复发起所述校准作为后台任务。

10.根据权利要求6所述的方法，其中，所述策略对于所述装置的用户透明地进行所述校准。

11.一种设备，包括：

触摸输入装置；

屏幕，其显示信息；

传感器，其捕获所述装置的用户的图像数据；

处理器，其可操作地耦接到所述触摸输入装置、所述屏幕及所述传感器；以及

存储器，其用于存储指令，所述指令可由所述处理器执行以：

确定所述触摸输入装置处的触摸输入事件的发生，所述触摸输入事件包括具有与屏幕上位置的逻辑关联的任何输入事件；

使用所述传感器来捕获用户的图像数据；

识别与所述触摸输入事件关联的屏幕位置；以及

利用所述触摸输入事件的发生、所述图像数据以及所述屏幕位置来校准所述设备的视线跟踪***；

12.根据权利要求11所述的设备，其中，校准包括：确定用户视线相对于所述屏幕的焦点。

13.根据权利要求11所述的设备，其中，所述触摸输入事件包括：与使用触摸输入装置输入的屏幕位置关联的输入事件，其中触摸输入装置选自由触摸屏、鼠标、触摸板、触针以及物理键盘构成的组。

14.根据权利要求11所述的设备，其中，识别与所述触摸输入事件关联的屏幕位置包括：对确定所述触摸输入事件的发生的定时信息以及捕获所述用户的图像数据的定时信息进行调整。

15.根据权利要求14所述的设备，其中，对定时信息进行调整包括对所述用户的图像数据与所述触摸输入事件的发生进行时间偏移。

16.根据权利要求11所述的设备，其中，所述校准根据策略发生。

17.根据权利要求16所述的设备，其中，所述策略响应于选自由以下构成的组中的触发来发起所述校准：所述设备的启动、所述视线跟踪***的启动、视线跟踪错误事件以及用户发起的触发。

18.根据权利要求11所述的设备，其中，用户发起的触发包括相对于所述装置的头部移动超过预定阈值。

19.根据权利要求16所述的设备，其中，在使用所述设备期间，所述策略反复发起所述校准作为后台任务。

20.一种计算机可读存储介质，包括：

存储有可由处理器执行的代码，所述代码包括：

用于使用装置的处理器来确定所述装置处的触摸输入事件的发生的代码，所述触摸输入事件包括具有与屏幕上位置的逻辑关联的任何输入事件；

用于使用所述装置的传感器来捕获用户的图像数据的代码；

用于使用处理器来识别与所述触摸输入事件关联的屏幕位置的代码；以及

用于使用处理器利用所述触摸输入事件的发生、所述图像数据以及所述屏幕位置来校准所述装置的视线跟踪***的代码；

其中，视线跟踪基于眼睛跟踪记录的先前历史、用户特定的历史或使用模式来确定下述的置信水平的代码：给定位置数据点为准确或者应当被抛弃。