CN105378595A - 通过触摸输入校准眼睛跟踪*** - Google Patents

通过触摸输入校准眼睛跟踪*** Download PDF

Info

Publication number
CN105378595A
CN105378595A CN201480032101.5A CN201480032101A CN105378595A CN 105378595 A CN105378595 A CN 105378595A CN 201480032101 A CN201480032101 A CN 201480032101A CN 105378595 A CN105378595 A CN 105378595A
Authority
CN
China
Prior art keywords
touch
eye tracking
tracking system
place
touch input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201480032101.5A
Other languages
English (en)
Other versions
CN105378595B (zh
Inventor
I.埃登
R.巴加瓦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN105378595A publication Critical patent/CN105378595A/zh
Application granted granted Critical
Publication of CN105378595B publication Critical patent/CN105378595B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

公开了涉及经由触摸输入来校准眼睛跟踪***的实施例。例如，一个所公开的实施例提供了包括触敏显示器和眼睛跟踪***的计算***上的一种方法，所述方法包括：在触敏显示器上显示用户界面，经由眼睛跟踪***确定凝视地点，接收触敏显示器上的触摸地点处的触摸输入，以及基于凝视地点与触摸地点之间的偏移来校准眼睛跟踪***。

Description

通过触摸输入校准眼睛跟踪***
背景技术
眼睛跟踪可以用在计算***中以检测通过与所显示的用户界面对象的凝视交互而做出的用户输入。眼睛跟踪***可以利用来自闪烁光源的角膜反射和用户瞳孔的图像来确定用户眼睛的视线。然而，不同用户可能具有解剖学差异，所述解剖学差异可能影响这样的确定。例如，视网膜上的中央凹的地点可能因人而异。这样，眼睛的视轴（即，从用户的中央凹上所成像的物理对象向中央凹延伸的轴）可能与眼睛的光轴（即，通过瞳孔的中心向眼球的后极延伸的轴）偏移。由于使用图像数据来确定眼睛的光轴的估计，所以这样的偏移可能使用户所凝视的实际地点的准确估计复杂化。
发明内容
公开了涉及经由触摸输入来校准眼睛跟踪***的实施例。例如，一个所公开的实施例提供了包括触敏显示器和眼睛跟踪***的计算***上的一种方法，所述方法包括：在触敏显示器上显示用户界面，经由眼睛跟踪***确定凝视地点，接收触敏显示器上的触摸地点处的触摸输入，以及基于凝视地点与触摸地点之间的偏移来校准眼睛跟踪***。
提供本发明内容来以简化形式引入以下在具体实施方式中进一步描述的概念的选择。本发明内容不意图标识所要求保护的主题的关键特征或必要特征，也不意图用于限制所要求保护的主题的范围。此外，所要求保护的主题不限于解决本公开内容的任何部分中所指出的任何或全部缺点的实现方式。
附图说明
图1示出了包括眼睛跟踪***和触敏显示器的计算***的实施例。
图2示出了图示出人眼的光轴和视轴之间的偏移的示意图。
图3示出了在眼睛跟踪***的校准之后的图1的计算***。
图4示出了包括眼睛跟踪***和触敏显示器的计算***的实施例的框图。
图5示出了描绘出用于校准眼睛跟踪***的方法的示例实施例的流程图。
图6示出了图片口令登录过程的示例实施例，并且图示了所接收的触摸路径和所确定的凝视路径。
图7示出了描绘出用于校准眼睛跟踪***的另一方法的示例实施例的流程图。
图8示出了计算***的实施例的框图。
具体实施方式
如上面提到的，眼睛跟踪可以用作针对计算***的用户输入机制。各种类型的计算***可以利用眼睛跟踪来接收用户输入。图1将计算***100的示例实施例描绘为包括触敏显示器102和眼睛跟踪***104，所述眼睛跟踪***104被配置成确定用户的凝视与显示器102相交的地点。所描绘的眼睛跟踪***104包括图像传感器106、108的立体对，并且还有闪烁光源110，所述闪烁光源110包括被配置成朝向用户眼睛定向光的一个或多个光源。图像传感器106可以在闪烁灯点亮时捕获用户眼睛的图像，并且如从图像数据所检测的来自用户角膜的闪烁反射和用户瞳孔的位置可以用来确定凝视的方向。另外，来自图像传感器106、108的立体对的图像可以用来确定从用户眼睛到显示器102的距离。从该信息，计算***100可以确定用户的凝视与显示器102相交的地点。然后可以将该地点作为针对图形用户界面的用户输入而提供给计算设备112。
尽管所描绘的触敏显示器102和眼睛跟踪***104被示为相对于用户处于固定的环境地点，但是将理解的是，计算***可以具有任何其他适当的配置。例如，计算***可以采取移动计算***的形式，比如智能电话、平板计算机、膝上型计算机和/或可穿戴计算***。
如上面提到的，用户之间的解剖学差异，包括但不限于视网膜上的中央凹的地点，可能对于准确地估计用户凝视的实际地点造成困难。图2图示了眼睛204的光轴202与眼睛204的视轴206之间的示例偏移200。光轴202通过瞳孔的中心向眼球的后极延伸，而视轴206从所观看的对象向眼睛204的中央凹208上的对象的图像延伸。在一些个体中，这样的偏移可以是大约5度或更大。
可以从捕获瞳孔的图像和角膜闪烁反射的图像数据检测光轴202的估计。然而，依赖于用户的视轴和光轴之间的偏移程度，用户可能在经由凝视与图形用户界面交互时有困难，因为用户的实际凝视地点可能与由眼睛跟踪***生成的位置信号不匹配。
这样，为了帮助更准确地估计凝视地点，可以校准眼睛跟踪***来确定要应用的校正以校正用户的视轴和光轴之间的差异。当前的校准过程可以利用在每个***使用会话的开始处并且还有只要用户的头部移动超过与***被校准所在的原始地点的阈值距离时执行的专门过程。因此，由于需要保持头部稳定或重新校准，所以当前的眼睛跟踪***可能难以用在消费者装置中。
计算设备越来越多地利用触敏显示器作为输入设备。已经在移动设备上普遍存在，触敏显示器还更多地用在台式、膝上型和大型显示装置中。在包括触敏显示器的计算***上，用户可以相对频繁地与触敏显示器交互。另外，许多触摸交互可以指示用户的凝视与触摸输入相交的地点。因此，所公开的实施例利用经由触敏显示器所接收的输入来通过以下方式校准眼睛跟踪***：将触摸的地点与凝视跟踪***所确定的地点相比较，并且基于地点之间的偏移来校准眼睛跟踪***。注意到，这样的校准可以在包括触敏显示器和眼睛跟踪***的计算***的常规使用期间作为后台过程而执行。这可以允许在不干扰用户体验的情况下连续执行和更新校准。
如以下更详细描述的，并不是所有类型的触摸输入都可以对应于用户的凝视与触摸输入相交的地点。例如，如果触摸输入是滚动手势，则可能的情况是用户实际上并未凝视触摸的地点，而是凝视正滚动的内容。同样地，诸如捏合（pinch）/拉伸（stretch）手势这样的多触摸手势也可能不对应于凝视地点。
相比之下，其他触摸输入，比如选择静止用户界面元素的单触摸输入，可以提供与用户凝视的地点有关的更可靠信息。例如，图1示出了用户在触敏显示器102上所显示的图标120之上做出触摸输入。如可以看出的，触摸输入是单触摸，并且是在与其他用户界面元素良好间隔的静止用户界面元素（例如，图标120）之上。另外，用户的所确定的凝视地点122靠近图标120，但是不在图标120处。这样，计算***可以从该信息确定触摸输入和实际凝视地点（与所检测的凝视地点相对）在该实例中有可能在显示器处相交，并且因而基于凝视地点与触摸地点的偏移来确定要对眼睛跟踪确定应用的校正。图3示出了在基于触摸输入执行校准之后的所确定的凝视地点。如可以看出的，所施加的校正导致显示器102上的触摸输入与所确定的凝视地点的相交。
在一些实施例中，计算设备可以利用所有接收的触摸输入来执行校准，其中假定足够高百分比的触摸输入与实际凝视地点相交以达成合理地准确的校准。这样的实施例有时可能在触摸输入实际上没有对应于凝视地点时执行不准确的校准，但是这样的误差可以在后续的触摸输入期间校正。另外，在这样的实施例中，可以在某个时间帧之上对凝视输入偏移求平均以减小任何不准确的数据点的影响。
在其他实施例中，计算设备可以在基于触摸输入执行校准之前首先确定触摸输入是否可以是凝视地点的可靠指示物。例如，在一些实施例中，计算设备可以基于以下假定来利用所确定的凝视地点的阈值距离内的触摸：阈值距离之外的触摸可以对应于不是凝视地点的可靠指示物的用户输入（例如，滚动手势）。这样的阈值距离可以是依赖于上下文的（例如，在用户界面元素较紧密地在一起的上下文中，阈值距离可以较小）。可以类似地应用其他上下文过滤器。
另外，在一些实施例中，计算设备可以使用经训练的分类算法来对触摸输入分类。可以利用在已知上下文条件的潜在各种各样的组合之下执行的凝视跟踪和触摸输入来训练这样的分类算法。这样的分类功能的使用相比其他方法可以帮助更可靠地标识潜在相关的触摸输入，并且因此可以帮助在更新校准时随时间而减小噪声。
任何适当的信息可以用于训练分类功能。同样地，在对触摸输入分类时，任何适当的信息可以作为输入而用到这样的分类功能中。作为一个示例，可以确定和利用当前任务的上下文。例如，用户在报纸阅读应用中滚动时所做出的触摸对于凝视跟踪校准可能不是有用的，而从绘画应用所获得的数据可能是有用的。同样地，用户在触敏显示器上所显示的软件键盘上打字时所做出的触摸可能对于校准是有用的，因为物理反馈的缺乏迫使大多数用户看着正在选择的按键。另外，还可以利用数个触摸点作为用于触摸分类的信息，因为单触摸输入可能是比多触摸输入更可靠的凝视地点指示物。
此外，可以利用触摸模式作为用于分类的上下文信息。作为更具体的示例，诸如滚动手势这样的周期性触摸模式可以指示用户并没有在注意所触摸的地点，而是取而代之地有可能在注意所滚动的内容。同样地，可以利用触摸输入/移动与相对凝视地点/移动之间的相关性，因为甚至在没有正确地建立校准的情况下，这样的相对移动也可以提供触摸输入的可靠性的良好指示以用于使凝视跟踪***相关。另外，可以针对特定用户跟踪历史触摸和凝视数据，并且然后可以使用这样的历史触摸数据来对该用户的未来触摸输入分类。这可以有助于标识用户特定类型的输入，因为不同用户可能具有不同和/或独特的触摸输入行为。将理解的是，可以用在分类中的信息的这些示例是出于说明的目的而呈现的，并且不意图以任何方式进行限制，因为可以使用任何其他适当的信息。
触摸输入可以用来在任何适当的硬件环境中校准眼睛跟踪***。图4示出了描绘出包括触敏显示器402和眼睛跟踪***408的计算***400的示例实施例的框图。触敏显示器包括显示器404和触摸传感器406。可以使用任何适当的触摸传感器来检测触摸。示例包括但不限于光学、电容性和电阻性传感器。同样地，计算***400可以采取任何适当的形式。示例包括但不限于台式、膝上型、移动和可穿戴计算***、家用娱乐控制台、电视等等。
眼睛跟踪***408被配置成确定用户的凝视与显示器404相交的地点，并且基于所述确定来输出位置信号。眼睛跟踪***408可以以任何适当的方式跟踪用户的凝视。例如，在一些实施例中，眼睛跟踪***408可以利用被配置成创建来自眼睛角膜的闪烁反射的一个或多个闪烁光源410以及被配置成获取眼睛的图像的一个或多个图像传感器。可以从来自光源的闪烁和眼睛瞳孔的相对地点来确定凝视方向。可以使用凝视方向连同与从用户眼睛到显示器的距离有关的信息一起来确定凝视与显示器相交的地点。这样的距离信息可以基于预先确定的估计或校准，或者基于实时深度信息（例如，来自立体相机配置），或者用于测量用户的眼睛与显示器设备之间的距离的任何其他方法。将认识到，所公开的校准眼睛跟踪***的实施例可以与任何其他适当的眼睛跟踪***一起使用，所述任何其他适当的眼睛跟踪***包括并非基于闪烁的眼睛跟踪***。
计算***400还包括逻辑子***414和存储子***416。存储子***416可以包括所存储的指令，其由逻辑子***414可执行以施行涉及呈现图形用户界面和接收并处理眼睛跟踪信息和触摸输入信息的各种任务，例如以校准眼睛跟踪***。以下更详细描述示例计算***。
图5示出了描绘出用于基于触摸输入校准眼睛跟踪***的方法的实施例的流程图。方法500包括：在502处，在触敏显示器上显示用户界面。用户界面可以包括用户可以经由触摸和/或凝视与之交互的任何适当的信息。示例包括但不限于通过触摸和/或凝视可选择的图标以及用户可以在其中经由触摸或凝视做出动作的应用窗口（例如，绘画程序、办公生产力程序、桌面显示等等）。这样，所显示的用户界面可能与眼睛跟踪***的校准无关。然而将理解的是，在一些示例中，用户界面还可以包括专门的眼睛跟踪***校准用户界面。
方法500还包括：在504处，接收触敏显示器上的地点处的触摸输入，以及在506处，确定凝视地点（例如，用户的视线与触敏显示器相交的地点）。将理解的是，可以以预先选择的更新频率周期性地确定凝视地点，并且只要经由触摸传感器检测到触摸输入就可以确定触摸输入地点。
方法500还包括：在508处，确定触摸输入是否可用于眼睛跟踪***校准。例如，如上所述并且如在510处指示，在一些实施例中，可以通过分类功能对每个所接收的触摸输入分类，所述分类功能利用各种上下文信息来确定触摸输入是否可能指示凝视地点。任何适当的上下文信息可以用来经由这样的功能对触摸输入分类。示例包括但不限于任务限定512（例如，用户与之交互的服务或应用的身份、触摸地点处的用户界面元素的身份等等）、触摸历史514（例如，触摸是手势还是静止触摸、触摸是单触摸还是多触摸输入的一部分、触摸输入是否与特定用户的独特或历史触摸输入模式匹配）、以及凝视历史516（例如，在时间间隔之上的凝视地点的改变是否与该时间间隔之上的触摸地点的改变相关）。
在其他实施例中，除分类功能以外的任何其他适当的方法可以用来确定是否将所检测的触摸输入用于校准。例如，可以应用一个或多个上下文过滤器来标识可以与凝视地点相对应的触摸输入。附加地，在另外的其他实施例中，可以将所有检测到的触摸输入用于校准，并且可以使用其他方法（例如，求平均）来缓解来自不与凝视地点相关的触摸输入的任何影响。
如果确定触摸输入不可用于校准，则方法500返回到504以等待另一触摸输入。另一方面，如果确定触摸输入可用于校准，则方法500包括：在518处，确定是否用触摸输入更新眼睛跟踪***校准。可以使用任何适当的方法来确定是否基于已经确定为有可能指示凝视地点的触摸输入来执行校准。例如，如在520处指示的，可以确定与凝视***校准当前如何良好地表示触摸信号和凝视地点之间的关系有关的置信度分数，并且在522处，可以将置信度分数与阈值条件相比较。在这样的实施例中，如果满足阈值条件（例如，置信度分数在阈值分数以上或以下，这依赖于该分数是如何确定的），则可以执行校准。置信度分数可以基于任何适当的信息来确定，包括但不限于所确定的凝视地点与触摸地点之间的偏移以及上下文信息，比如以上关于过程510所描述的上下文信息。例如，置信度分数可以依赖于其中检测到触摸输入和/或凝视的区域中的用户界面元素的密度而变化。
相比于用每个所确定的适当触摸输入来更新校准而言，在标识适合于校准的触摸之后确定是否更新校准可以帮助保留计算资源。然而在其他实施例中，可以用每个适当的触摸输入来执行校准更新。
如果在518处确定不执行校准，则方法500包括在526处不校准眼睛跟踪***。方法500然后返回到504以等待另外的触摸输入。另一方面，如果在518处确定执行校准，则方法500包括在524处基于凝视地点与触摸地点的比较来更新眼睛跟踪***的校准。校准可以以任何适当的方式来执行。例如，在一些实施例中，可以通过针对眼睛跟踪***确定将使向触摸表面的所投影的凝视射线与对应的触摸地点之间的距离（基于预限定的度量）最小化的校准参数来执行校准。
如上面提到的，在一些上下文下接收到的触摸输入可能比在其他上下文下接收到的触摸输入更多地指示凝视地点。例如，在登录过程期间接收到的触摸输入潜在地可能高度指示凝视地点，因为成功登录牵涉到触摸地点的仔细选择。计算设备可以利用与触敏显示器组合的各种类型登录过程。例如，一些计算设备可以利用触敏显示器上所显示的虚拟键盘来录入字母数字口令。另外，一些计算设备可以利用由所显示的图片之上所做出的一系列触摸输入表示的图片口令。
图6示出了以所显示的图片之上所做出的一系列触摸和触摸手势的形式的图片口令的示例实施例，并且还图示了在录入图片口令期间检测到的凝视路径。触摸输入由圆形600表示，并且触摸手势由在圆形600之间延伸的实箭头602表示。另外，检测到的凝视路径604由虚线表示。
如可以看出的，检测到的凝视路径604与检测到的触摸输入高度相关。然而，检测到的凝视路径604在空间上与每个对应的触摸输入偏移。这样，可以从这种空间偏移确定要对眼睛跟踪***应用的校准。尽管描述为图片口令，但是将理解的是，也可以经由通过触敏显示器上所显示的软件键盘执行的文本录入来确定这样的偏移。
图7示出了描绘出经由登录过程期间所检测的触摸输入和凝视地点来校准眼睛跟踪***的方法700的实施例的流程图。方法700包括：在702处，在触敏显示器上显示登录用户界面。如上面提到的，登录用户界面可以显示软件键盘、图片登录用户界面和/或其中用户的触摸与她/他的凝视相交的任何其他适当的登录用户界面。方法700还包括：在704处，接收包括一个或多个触摸输入的登录口令的触摸输入，以及在706处，经由眼睛跟踪***确定一个或多个凝视地点。接下来，在708处，方法700包括确定登录口令是否与相对于预期口令的预先确定的条件相匹配。作为示例，可以确定是否录入正确的字母数字序列，和/或在图片口令登录过程中录入的触摸手势序列是否与预期的一系列手势（例如，在所选择的容限内）相匹配。如果登录口令与相对于预期口令的预先确定的条件相匹配，则方法700包括：在710处，基于将检测到的触摸输入与检测到的凝视地点相比较来校准眼睛跟踪***以减小所确定的凝视地点与触摸输入之间的偏移。另一方面，如果登录口令与相对于预期口令的预先确定的条件不匹配，则方法700包括：在712处，不校准眼睛跟踪***，并且还可以包括不使用户登录。
在登录过程期间校准眼睛跟踪***可以允许一旦用户登录就校准眼睛跟踪***并且使其准备好使用。另外，在登录之后，可以基于作为后台过程而执行的适当触摸输入与凝视地点之间的比较来维持校准，如上所述。这样，用户可以在不执行传统耗时的校准过程的情况下利用眼睛跟踪***。
在一些实施例中，本文描述的方法和过程可以依靠一个或多个计算设备的计算***。具体地，这样的方法和过程可以实现为计算机应用程序或服务、应用编程接口（API）、库和/或其他计算机程序产品。
图8示意性地示出了可以展现以上描述的一个或多个方法和过程的计算***800的非限制性实施例。以简化形式示出计算***800。计算***800可以采取一个或多个个人计算机、服务器计算机、平板计算机、家用娱乐计算机、网络计算设备、游戏设备、移动计算设备、移动通信设备（例如智能电话）和/或其它计算设备的形式。
计算***800包括逻辑子***802和存储子***804。计算***800还包括显示子***806、输入子***808、通信子***810和/或未在图8中示出的其它组件。
逻辑子***802包括被配置成执行指令的一个或多个物理设备。例如，逻辑子***可以被配置成执行作为一个或多个应用、服务、程序、例程、库、对象、组件、数据结构或其它逻辑构造的部分的指令。这样的指令可以实现为执行任务、实现数据类型、转换一个或多个组件的状态、达成技术效果或者以其它方式达到期望结果。
逻辑子***可以包括被配置成执行软件指令的一个或多个处理器。可替换地或附加地，逻辑子***可以包括一个或多个硬件或固件逻辑子***，其被配置成执行硬件或固件指令。逻辑子***的处理器可以是单核或多核的，并且在其上执行的指令可以被配置用于串行、并行和/或分布式处理。逻辑子***的各个组件可选地可以分布在两个或更多的分离设备之中，所述两个或更多的分离设备可以远程地定位和/或配置用于协调式处理。逻辑子***的方面可以通过配置在云计算配置中的远程可访问的联网计算设备而虚拟化和执行。
存储子***804包括一个或多个物理设备，其被配置成保持由逻辑子***可执行以实现本文描述的方法和过程的指令。当实现这样的方法和过程时，存储子***804的状态可以转换——例如转换成保持不同数据。
存储子***804可以包括可移除和/或内置的设备。存储子***804可以包括光学存储器（例如CD、DVD、HD-DVD、蓝光盘等）、半导体存储器（例如RAM、EPROM、EEPROM等）和/或磁存储器（例如硬盘驱动器、软盘驱动器、带驱动器、MRAM等）以及其它。存储子***804可以包括易失性、非易失性、动态、静态、读/写、只读、随机存取、顺序存取、地点可寻址、文件可寻址和/或内容可寻址的设备。
将认识到，存储子***804包括一个或多个物理设备并且排除信号本身。然而，本文描述的指令的方面可替换地可以通过没有由物理设备存储的通信介质（例如电磁信号、光学信号等）传播。
逻辑子***802和存储子***804的方面可以一起集成到一个或多个硬件逻辑组件中。这样的硬件逻辑组件可以包括例如现场可编程门阵列（FPGA）、程序和应用特定的集成电路（PASIC/ASIC）、程序和应用特定的标准产品（PSSP/ASSP）、片上***（SOC）和复杂可编程逻辑器件（CPLD）。
术语“程序”可以用于描述实现为执行特定功能的计算***800的方面。在一些情况下，可以经由执行由存储子***804保持的指令的逻辑子***802来实例化程序。将理解的是，不同的程序可以从相同的应用、服务、代码块、对象、库、例程、API、功能等实例化。同样地，相同的程序可以由不同的应用、服务、代码块、对象、例程、API、功能等实例化。术语“程序”可以包涵可执行文件、数据文件、库、驱动器、脚本、数据库记录等的个体或组。
将认识到，如本文中使用的“服务”是跨多个用户会话可执行的应用程序。服务可以可用于一个或多个***组件、程序和/或其他服务。在一些实现中，服务可以在一个或多个服务器计算设备上运行。
显示子***806可以用于呈现由存储子***804保持的数据的视觉表示。该视觉表示可以采取用户可以经由各种输入***与之交互的图形用户界面（GUI）的形式，所述各种输入***包括但不限于眼睛跟踪***和触摸感测***。当本文描述的方法和过程改变由存储机器保持的数据并且因而转换存储机器的状态时，显示子***806的状态可以同样地转换成在视觉上表示底层数据中的改变。显示子***806可以包括在视觉上利用任何类型技术的一个或多个显示设备。这样的显示设备可以与逻辑子***802和/或存储子***804组合在共享的外壳中，或者这样的显示设备可以是***显示设备。
输入子***808可以包括诸如键盘、鼠标、触摸屏或游戏控制器之类的一个或多个用户输入设备或者与其对接。输入子***还可以包括所选自然用户输入（NUI）元件部分或者与其对接。这样的元件部分可以是集成的或***的，并且输入动作的换能和/或处理可以在板上或板外处置。示例NUI元件部分可以包括用于语音和/或话音识别的麦克风；用于机器视觉和/或手势识别的红外、彩色、立体和/或深度相机；用于运动检测和/或意图识别的头部***、眼睛***、加速度计和/或陀螺仪；以及用于评估脑部活动的电场感测元件部分。
通信子***810可以被配置成将计算***800与一个或多个其它计算设备通信耦合。通信子***810可以包括与一个或多个不同通信协议兼容的有线和/或无线通信设备。作为非限制性示例，通信子***可以被配置用于经由无线电话网络或有线或无线局域网或广域网进行通信。在一些实施例中，通信子***可以允许计算***800经由诸如互联网之类的网络向其它设备发送消息和/或自其它设备接收消息。
将理解的是，本文描述的配置和/或方案在本性上是示例性的，并且这些具体实施例或示例不应以限制性意义考虑，因为众多变化是可能的。本文描述的具体例程或方法可以表示任何数目的处理策略中的一个或多个。这样，所图示和/或描述的各种动作可以以所图示和/或描述的顺序执行、以其它顺序执行、并行地执行或者被省略。同样地，可以改变以上描述的过程的次序。
将理解的是，本文描述的配置和/或方案在本性上是示例性的，并且这些具体实施例或示例不应以限制性意义考虑，因为众多变化是可能的。本文描述的具体例程或方法可以表示任何数目的处理策略中的一个或多个。这样，所图示和/或描述的各种动作可以以所图示和/或描述的顺序执行、以其它顺序执行、并行地执行或者被省略。同样地，可以改变以上描述的过程的次序。
本公开内容的主题包括各种过程、***和配置与本文公开的其它特征、功能、动作和/或属性以及其任何和全部等同物的所有新颖且非显而易见的组合和子组合。

Claims (10)

1.在包括触敏显示器和眼睛跟踪***的计算***上的一种校准眼睛跟踪***的方法，所述方法包括：
在触敏显示器上显示用户界面；
接收触敏显示器上的触摸地点处的触摸输入；
经由眼睛跟踪***确定凝视地点；以及
基于凝视地点与触摸地点之间的偏移来校准眼睛跟踪***。
2.根据权利要求1所述的方法，还包括：在校准眼睛跟踪***之前，确定触摸输入是否为可用于眼睛跟踪***校准的触摸输入，
如果确定触摸输入是可用于眼睛跟踪***校准的触摸输入，则将凝视地点和触摸地点相比较以校准眼睛跟踪***；以及
如果确定触摸***不是可用于眼睛跟踪***校准的触摸输入，则不将凝视地点和触摸地点相比较以校准眼睛跟踪***。
3.根据权利要求2所述的方法，其中确定触摸输入是否为可用于眼睛跟踪***校准的触摸输入包括：利用分类功能对触摸输入分类。
4.根据权利要求3所述的方法，其中利用分类功能包括：利用关于触摸输入的上下文信息来对触摸输入分类。
5.根据权利要求2所述的方法，其中确定触摸输入是否为可用于眼睛跟踪***校准的触摸输入包括：应用上下文过滤器。
6.根据权利要求2所述的方法，其中确定触摸输入是否为可用于眼睛跟踪***校准的触摸输入包括：如果触摸输入是滚动手势，则不校准眼睛跟踪***。
7.根据权利要求2所述的方法，其中确定触摸输入是否为可用于眼睛跟踪***校准的触摸输入包括：如果触摸输入是多触摸输入的一部分，则不校准眼睛跟踪***。
8.根据权利要求2所述的方法，其中确定触摸输入是否为可用于眼睛跟踪***校准的触摸输入包括：如果触摸输入是登录过程的一部分，则校准眼睛跟踪***。
9.根据权利要求1所述的方法，其中校准眼睛跟踪***是作为后台过程而执行的。
10.根据权利要求1所述的方法，还包括：将凝视地点和触摸地点相比较以确定置信度分数，将置信度分数与阈值条件相比较，并且如果置信度分数满足阈值条件，则校准眼睛跟踪***。
CN201480032101.5A 2013-06-06 2014-06-03 通过触摸输入校准眼睛跟踪***的方法 Active CN105378595B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/911966 2013-06-06
US13/911,966 US9189095B2 (en) 2013-06-06 2013-06-06 Calibrating eye tracking system by touch input
PCT/US2014/040583 WO2014197408A1 (en) 2013-06-06 2014-06-03 Calibrating eye tracking system by touch input

Publications (2)

Publication Number Publication Date
CN105378595A true CN105378595A (zh) 2016-03-02
CN105378595B CN105378595B (zh) 2018-12-07

Family

ID=51014662

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480032101.5A Active CN105378595B (zh) 2013-06-06 2014-06-03 通过触摸输入校准眼睛跟踪***的方法

Country Status (4)

Country Link
US (1) US9189095B2 (zh)
EP (1) EP3005030B1 (zh)
CN (1) CN105378595B (zh)
WO (1) WO2014197408A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106990843A (zh) * 2017-04-01 2017-07-28 维沃移动通信有限公司 一种眼睛跟踪***的参数校准方法及电子设备
CN109313501A (zh) * 2016-06-10 2019-02-05 大众汽车有限公司 具有眼动跟踪单元的操作装置和用于校准操作装置的眼动跟踪单元的方法
CN109923499A (zh) * 2016-09-27 2019-06-21 托比股份公司 便携式眼睛追踪装置
CN110266881A (zh) * 2019-06-18 2019-09-20 Oppo广东移动通信有限公司 应用控制方法及相关产品

Families Citing this family (57)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9298007B2 (en) 2014-01-21 2016-03-29 Osterhout Group, Inc. Eye imaging in head worn computing
US9965681B2 (en) 2008-12-16 2018-05-08 Osterhout Group, Inc. Eye imaging in head worn computing
US9952664B2 (en) 2014-01-21 2018-04-24 Osterhout Group, Inc. Eye imaging in head worn computing
US8885882B1 (en) * 2011-07-14 2014-11-11 The Research Foundation For The State University Of New York Real time eye tracking for human computer interaction
US10073518B2 (en) * 2013-08-19 2018-09-11 Qualcomm Incorporated Automatic calibration of eye tracking for optical see-through head mounted display
CN103475893B (zh) * 2013-09-13 2016-03-23 北京智谷睿拓技术服务有限公司 三维显示中对象的拾取装置及三维显示中对象的拾取方法
KR101503159B1 (ko) * 2013-10-15 2015-03-16 (주)이스트소프트 시선의 위치를 감지하여 터치스크린을 제어하는 방법
CN104750401B (zh) * 2013-12-30 2018-03-13 华为技术有限公司 一种触控方法、相关装置以及终端设备
US10684687B2 (en) 2014-12-03 2020-06-16 Mentor Acquisition One, Llc See-through computer display systems
US10191279B2 (en) 2014-03-17 2019-01-29 Osterhout Group, Inc. Eye imaging in head worn computing
US11227294B2 (en) 2014-04-03 2022-01-18 Mentor Acquisition One, Llc Sight information collection in head worn computing
US11737666B2 (en) 2014-01-21 2023-08-29 Mentor Acquisition One, Llc Eye imaging in head worn computing
US9766463B2 (en) 2014-01-21 2017-09-19 Osterhout Group, Inc. See-through computer display systems
US9811152B2 (en) 2014-01-21 2017-11-07 Osterhout Group, Inc. Eye imaging in head worn computing
US9836122B2 (en) * 2014-01-21 2017-12-05 Osterhout Group, Inc. Eye glint imaging in see-through computer display systems
US9532715B2 (en) 2014-01-21 2017-01-03 Osterhout Group, Inc. Eye imaging in head worn computing
US9740280B2 (en) 2014-01-21 2017-08-22 Osterhout Group, Inc. Eye imaging in head worn computing
US11669163B2 (en) 2014-01-21 2023-06-06 Mentor Acquisition One, Llc Eye glint imaging in see-through computer display systems
US11487110B2 (en) 2014-01-21 2022-11-01 Mentor Acquisition One, Llc Eye imaging in head worn computing
US9753288B2 (en) 2014-01-21 2017-09-05 Osterhout Group, Inc. See-through computer display systems
US9494800B2 (en) 2014-01-21 2016-11-15 Osterhout Group, Inc. See-through computer display systems
JP6123694B2 (ja) * 2014-02-10 2017-05-10 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
US9401540B2 (en) 2014-02-11 2016-07-26 Osterhout Group, Inc. Spatial location presentation in head worn computing
JP2015153302A (ja) * 2014-02-18 2015-08-24 ソニー株式会社 表示制御装置、表示制御方法および記録媒体
US20160187651A1 (en) 2014-03-28 2016-06-30 Osterhout Group, Inc. Safety for a vehicle operator with an hmd
US20150302422A1 (en) * 2014-04-16 2015-10-22 2020 Ip Llc Systems and methods for multi-user behavioral research
US20170228128A1 (en) * 2014-08-04 2017-08-10 Telefonaktiebolaget Lm Ericsson Device comprising touchscreen and camera
KR20160071139A (ko) * 2014-12-11 2016-06-21 삼성전자주식회사 시선 캘리브레이션 방법 및 그 전자 장치
US10048749B2 (en) * 2015-01-09 2018-08-14 Microsoft Technology Licensing, Llc Gaze detection offset for gaze tracking models
US9864430B2 (en) 2015-01-09 2018-01-09 Microsoft Technology Licensing, Llc Gaze tracking via eye gaze model
US20160239985A1 (en) 2015-02-17 2016-08-18 Osterhout Group, Inc. See-through computer display systems
EP3267295B1 (en) * 2015-03-05 2021-12-29 Sony Group Corporation Information processing device, control method, and program
US9829976B2 (en) * 2015-08-07 2017-11-28 Tobii Ab Gaze direction mapping
US9870051B2 (en) 2015-08-07 2018-01-16 Tobii Ab Gaze direction mapping
US9746920B2 (en) 2015-08-25 2017-08-29 International Business Machines Corporation Determining errors in forms using eye movement
US20170169653A1 (en) * 2015-12-11 2017-06-15 Igt Canada Solutions Ulc Enhanced electronic gaming machine with x-ray vision display
JP6583113B2 (ja) * 2016-04-15 2019-10-02 株式会社デンソー 情報処理装置及び表示システム
US10063560B2 (en) * 2016-04-29 2018-08-28 Microsoft Technology Licensing, Llc Gaze-based authentication
EP3552077B1 (en) * 2016-12-06 2021-04-28 Vuelosophy Inc. Systems and methods for tracking motion and gesture of heads and eyes
US10452138B1 (en) * 2017-01-30 2019-10-22 Facebook Technologies, Llc Scanning retinal imaging system for characterization of eye trackers
US10761602B1 (en) 2017-03-14 2020-09-01 Facebook Technologies, Llc Full field retinal imaging system for characterization of eye trackers
US11853469B2 (en) * 2017-06-21 2023-12-26 SMR Patents S.à.r.l. Optimize power consumption of display and projection devices by tracing passenger's trajectory in car cabin
WO2019154511A1 (en) 2018-02-09 2019-08-15 Pupil Labs Gmbh Devices, systems and methods for predicting gaze-related parameters using a neural network
US11194161B2 (en) 2018-02-09 2021-12-07 Pupil Labs Gmbh Devices, systems and methods for predicting gaze-related parameters
US11393251B2 (en) 2018-02-09 2022-07-19 Pupil Labs Gmbh Devices, systems and methods for predicting gaze-related parameters
US10528131B2 (en) 2018-05-16 2020-01-07 Tobii Ab Method to reliably detect correlations between gaze and stimuli
WO2019221724A1 (en) * 2018-05-16 2019-11-21 Tobii Ab Method to reliably detect correlations between gaze and stimuli
TWI734024B (zh) 2018-08-28 2021-07-21 財團法人工業技術研究院 指向判斷系統以及指向判斷方法
EP3912013A1 (en) 2019-01-16 2021-11-24 Pupil Labs GmbH Methods for generating calibration data for head-wearable devices and eye tracking system
EP3979896A1 (en) 2019-06-05 2022-04-13 Pupil Labs GmbH Devices, systems and methods for predicting gaze-related parameters
RU2746201C2 (ru) * 2019-06-28 2021-04-08 Акционерное общество "Лаборатория Касперского" Система и способ невербальной активации сервиса на мобильном устройстве
US11347308B2 (en) * 2019-07-26 2022-05-31 Samsung Electronics Co., Ltd. Method and apparatus with gaze tracking
US11227103B2 (en) 2019-11-05 2022-01-18 International Business Machines Corporation Identification of problematic webform input fields
CN113495613B (zh) * 2020-03-18 2023-11-21 北京七鑫易维信息技术有限公司 眼球追踪校准方法及装置
JP7367637B2 (ja) * 2020-08-26 2023-10-24 トヨタ自動車株式会社 顔情報取得装置および顔情報取得方法
US11474598B2 (en) 2021-01-26 2022-10-18 Huawei Technologies Co., Ltd. Systems and methods for gaze prediction on touch-enabled devices using touch interactions
US11816262B1 (en) * 2023-03-14 2023-11-14 Illuscio, Inc. Systems and methods for modifying a user interface based on eye focus

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101872237A (zh) * 2009-04-23 2010-10-27 由田新技股份有限公司 瞳孔追踪方法与***及用于瞳孔追踪的校正方法与模组
CN102012742A (zh) * 2010-11-24 2011-04-13 广东威创视讯科技股份有限公司 一种眼睛鼠标的校正方法及其装置
US20120050493A1 (en) * 2010-08-24 2012-03-01 Siemens Corporation Geometric calibration of head-worn multi-camera eye tracking system
WO2012052061A1 (en) * 2010-10-22 2012-04-26 Institut für Rundfunktechnik GmbH Method and system for calibrating a gaze detector system
CN102591525A (zh) * 2012-01-13 2012-07-18 广州视源电子科技有限公司 一种触摸屏的校准方法、触摸屏***及校准装置
CN102662476A (zh) * 2012-04-20 2012-09-12 天津大学 一种视线估计方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2412431B (en) 2004-03-25 2007-11-07 Hewlett Packard Development Co Self-calibration for an eye tracker
NZ560457A (en) 2007-08-15 2010-02-26 William Bryan Woodard Image generation system
CN102144201A (zh) 2008-09-03 2011-08-03 皇家飞利浦电子股份有限公司 在用户与交互式显示***之间执行基于目光的交互的方法
WO2010071928A1 (en) 2008-12-22 2010-07-01 Seeing Machines Limited Automatic calibration of a gaze direction algorithm from user behaviour
WO2011114567A1 (ja) 2010-03-18 2011-09-22 富士フイルム株式会社 立体表示装置及び立体撮影装置、並びに利き目判定方法及びこれに用いる利き目判定プログラム並びに記録媒体
US8982160B2 (en) 2010-04-16 2015-03-17 Qualcomm, Incorporated Apparatus and methods for dynamically correlating virtual keyboard dimensions to user finger size
US20130154913A1 (en) 2010-12-16 2013-06-20 Siemens Corporation Systems and methods for a gaze and gesture interface
US8510166B2 (en) 2011-05-11 2013-08-13 Google Inc. Gaze tracking system
WO2013059940A1 (en) 2011-10-27 2013-05-02 Tandemlaunch Technologies Inc. System and method for calibrating eye gaze data
US20130145304A1 (en) * 2011-12-02 2013-06-06 International Business Machines Corporation Confirming input intent using eye tracking
FR2989874B1 (fr) 2012-04-25 2015-07-31 Thales Sa Procede de calibrage d'un oculometre et dispositif associe
JP5942586B2 (ja) * 2012-05-18 2016-06-29 富士通株式会社 タブレット端末および操作受付プログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101872237A (zh) * 2009-04-23 2010-10-27 由田新技股份有限公司 瞳孔追踪方法与***及用于瞳孔追踪的校正方法与模组
US20120050493A1 (en) * 2010-08-24 2012-03-01 Siemens Corporation Geometric calibration of head-worn multi-camera eye tracking system
WO2012052061A1 (en) * 2010-10-22 2012-04-26 Institut für Rundfunktechnik GmbH Method and system for calibrating a gaze detector system
CN102012742A (zh) * 2010-11-24 2011-04-13 广东威创视讯科技股份有限公司 一种眼睛鼠标的校正方法及其装置
CN102591525A (zh) * 2012-01-13 2012-07-18 广州视源电子科技有限公司 一种触摸屏的校准方法、触摸屏***及校准装置
CN102662476A (zh) * 2012-04-20 2012-09-12 天津大学 一种视线估计方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109313501A (zh) * 2016-06-10 2019-02-05 大众汽车有限公司 具有眼动跟踪单元的操作装置和用于校准操作装置的眼动跟踪单元的方法
CN109923499A (zh) * 2016-09-27 2019-06-21 托比股份公司 便携式眼睛追踪装置
CN109923499B (zh) * 2016-09-27 2022-07-29 托比股份公司 便携式眼睛追踪装置
CN106990843A (zh) * 2017-04-01 2017-07-28 维沃移动通信有限公司 一种眼睛跟踪***的参数校准方法及电子设备
CN106990843B (zh) * 2017-04-01 2021-01-08 维沃移动通信有限公司 一种眼睛跟踪***的参数校准方法及电子设备
CN110266881A (zh) * 2019-06-18 2019-09-20 Oppo广东移动通信有限公司 应用控制方法及相关产品
CN110266881B (zh) * 2019-06-18 2021-03-12 Oppo广东移动通信有限公司 应用控制方法及相关产品

Also Published As

Publication number Publication date
CN105378595B (zh) 2018-12-07
WO2014197408A1 (en) 2014-12-11
EP3005030A1 (en) 2016-04-13
EP3005030B1 (en) 2017-09-06
US9189095B2 (en) 2015-11-17
US20140361996A1 (en) 2014-12-11

Similar Documents

Publication Publication Date Title
CN105378595A (zh) 通过触摸输入校准眼睛跟踪***
US9459694B2 (en) Cursor movement device
US8878749B1 (en) Systems and methods for position estimation
US20170346817A1 (en) Authentication based on gaze and physiological response to stimuli
KR102334271B1 (ko) 제스처 파라미터 튜닝
CA2853709C (en) System and method for calibrating eye gaze data
US8917238B2 (en) Eye-typing term recognition
WO2014030017A1 (en) Calibration of eye tracking system
RU2683171C2 (ru) Вероятностное обнаружение касания
US20150185835A1 (en) Eye tracking method and apparatus
US10741175B2 (en) Systems and methods for natural language understanding using sensor input
US20180095528A1 (en) Apparatus, system and method for dynamic modification of a graphical user interface
JP2012065781A (ja) 視線検出装置および補正係数算出プログラム
US9495098B2 (en) Detecting input based on multiple gestures
US10909224B2 (en) Information processing device, information processing method, and program for tampering detection
CN103761460A (zh) 显示设备上的用户认证
JP2023516108A (ja) アイトラッキングを用いたなりすまし防止のための方法、システム、および媒体
KR102312900B1 (ko) 디스플레이 장치 상의 사용자 인증
JP2015118577A (ja) 表示デバイスでのユーザー認証
US20150301598A1 (en) Method, electronic device, and computer program product
KR102193636B1 (ko) 디스플레이 장치 상의 사용자 인증
US20240103613A1 (en) User Interface Response Based on Gaze-Holding Event Assessment
Tangnimitchok et al. Finding an efficient threshold for fixation detection in eye gaze tracking
CN118349102A (zh) 扩展现实设备的控制方法、装置、电子设备及相关设备
Abate et al. Integrating Gaze Tracking with Augmented Reality on Mobile Devices: A Framework for Enhanced User Interaction

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant