CN1694043A - 用眼睛凝视和按键按压组合选择和激活对象的***和方法 - Google Patents

用眼睛凝视和按键按压组合选择和激活对象的***和方法 Download PDF

Info

Publication number
CN1694043A
CN1694043A CNA2005100672033A CN200510067203A CN1694043A CN 1694043 A CN1694043 A CN 1694043A CN A2005100672033 A CNA2005100672033 A CN A2005100672033A CN 200510067203 A CN200510067203 A CN 200510067203A CN 1694043 A CN1694043 A CN 1694043A
Authority
CN
China
Prior art keywords
user
key
destination object
display
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2005100672033A
Other languages
English (en)
Other versions
CN1300663C (zh
Inventor
戴维·贝伊梅尔
斯蒂芬·P·法雷尔
翟树民
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
International Business Machines Corp
Original Assignee
International Business Machines Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by International Business Machines Corp filed Critical International Business Machines Corp
Publication of CN1694043A publication Critical patent/CN1694043A/zh
Application granted granted Critical
Publication of CN1300663C publication Critical patent/CN1300663C/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016—Operational features thereof
    • A61B3/0033—Operational features thereof characterised by user input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Ophthalmology & Optometry (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

一种指示方法使用眼睛凝视作为隐含的控制通道。用户以自然方式观看作为图形用户界面上的按钮的目标对象，随后按下手工选择键。一旦按下选择键，则本方法使用概率分析来确定最可能的目标对象并将其高亮显示。如果所高亮显示的对象是目标对象，则用户可以通过再次按下诸如选择键等按键来选择它。如果所高亮显示的对象不是目标对象，则用户可以使用附加按键选择另一个目标对象以导航到预期的目标对象。

Description

用眼睛凝视和按键按压组合 选择和激活对象的***和方法
技术领域
本发明一般地涉及凝视跟踪***和交互式图形用户界面。具体而言，本发明涉及一种根据眼睛凝视与使用一个或多个导航键在候选目标之中进行选择键导航间的一致性，从一部分视频屏幕中选择图形对象，并使用激活键激活目标的***。更具体地说，本发明提供用于在凝视信息不特定且预期的目标不明确的情况下的多种交互技术。通过使用可能包括几何图形、应用状态、对象高亮显示之后的眼睛移动或对象历史的概率模型，也能够降低不准确性。
背景技术
在人与计算机的交互中，最基本的因素之一涉及使用指示设备(pointing device)选择和激活目标对象。在使用鼠标“单击”打开文件、跟踪万维网链接、选择菜单项、重新定义打字或绘图***位置和其它诸如此类的操作中涉及目标对象的激活和选择。选择和激活是交互的两个阶段。选择是指选定对象的阶段，而激活是指调用该对象的功能。工程师和科学家已经开发了多种不同的方法来以对象交互为目标。最常用的目标对象交互设备之一是计算机鼠标。尽管计算机鼠标实际上是当今计算机必不可少的，过度使用也可能导致疲劳和耗费时间。此外，对于残疾用户或由于例如腕骨通道综合症或关节炎等导致手活动性受限的用户来说，使用鼠标也很困难。
尽管这些限制，基于鼠标的目标对象选择和激活***的进一步改进已经非常困难。一种可用于进一步改进的有趣想法是使用眼睛凝视跟踪来替代鼠标输入。存在用于监视眼睛凝视的多种公知技术。一种方法检测眼睛肌肉的电脉冲以确定眼睛凝视。另一种方法磁性地检测专用的用户佩戴的带有微小磁性线圈的隐形眼睛的位置。还有另一种称作“角膜反射”的技术通过向眼睛投影一束不可见光，并监视瞳孔位置和光束反射之间的角度差来计算出眼睛的凝视。
使用这些类型的凝视跟踪***，根据所计算出的计算机操作者的凝视在视频屏幕上定位光标。已经研发出多种不同的技术在这些***中选择和激活目标对象。在一种例子中，该***在当其检测到操作员已经在确定的时间内凝视目标对象时激活该目标对象。另一种激活目标对象的方法是当操作员眨眼睛时。
这些***的一个问题是人们作为有感觉的而非操作性的人体部件自然地使用他们的眼睛。眼睛运动通常是不由自主的，小心地根据需要控制眼睛运动以精确地使用这些目标对象激活***可能很紧张。对于许多操作员来说，控制眨眼或凝视可能很困难，并可能导致疏忽和错误的目标对象选择。因而，尽管眼睛凝视在理论上快于任何其它的身体部件，使用非自然激活的需要(例如通过眨眼或凝视)限制了凝视受控指示与手工指示相比在速度上的优势。
上述***的另一个限制在于在形成精确和可靠的眼睛跟踪***时的困难。因为在精确地监视眼睛凝视时眼睛跳动和其它固有的困难，通过凝视控制指示技术仅能够激活较大的目标对象。一种解决这些问题的方法是使用凝视的当前位置来为光标设置初始显示位置(例如参见美国专利6,204,828)。
就在操作员开始移动指示设备时将光标设置在这个初始位置上。这一操作的效果在于当操作员开始移动鼠标时鼠标指针总是出现在操作员正在观看的位置上。因为操作员需要在指向目标对象之前先看着该目标对象，这种方法有效地降低了光标移动的距离。然而，对象的激活需要使用诸如鼠标的指示设备，需要用户将手从键盘移动到鼠标，或者以别的方式打乱使用键盘的自然处理。
另一种使用眼睛凝视激活图形对象的方法在整个控制处理中不使用手工输入设备的情况下使用眼睛凝视作为输入通道。参见Salvucci，D.D.和Anderson，J.R.(2000)的Intelligent Gaze-AddedInterfaces.Proc.CHI 2000：ACM Conference on Human Factors inComputing Systems，第273至280页。使用诸如“输入”键的专用键来执行目标对象的激活。光标总是跟随着用户的凝视。然而，这个移动的光标可能会分散用户的注意力。此外，眼睛跟踪的精确度可能会不足以精确地定位一些小的GUI对象。
具体而言，常规的眼睛凝视***作为用于在图形用户界面(GUI)上激活对象的设备是受限的。凝视检测不足以精确到可靠地激活在GUI上诸如小按钮的目标对象(或窗口小部件(widget))。此外，眼睛凝视同时具有自主和不自主的两个方面，使得难以使用眼睛凝视作为指示或激活设备。
需要一种能够仅使用凝视和键盘进行计算机交互的技术。已经存在多种这样的方法，但是它们依赖于用户有意识地将凝视视为指示设备，这实际上是不自然和分散注意力的。因此，需要能够在使用用户自然地做出的凝视或自然观看目标的同时支持键盘交互。在将交互通常视为选择和随后的激活，并通过在两者之间***导航阶段的同时，本发明使用户能够调整凝视跟踪设备中的不精确性。
发明内容
本发明满足了这个需要，并介绍了一种用于使用眼睛凝视和按键按压的组合来选择和激活目标对象的***、计算机程序产品和相关的方法(在此通称为“***”或“本***”)。根据本发明，凝视是例如当与显示器交互时用户通常使用的自然观看。本发明不需要在凝视或眨眼的长度上不自然地使用眼睛。
本***是使用眼睛凝视作为暗示控制通道的指示方法(pointingmethod)。用户以自然的方式观看在图形用户界面上作为按钮的目标对象，随后按下选择键。一旦按下选择键，则本***使用概率推理来确定最可能的目标对象，并将其高亮显示。如果高亮显示的对象是目标对象，则用户可以通过再次按下诸如选择键的按键来选择它。如果高亮显示的对象不是目标对象，则用户可以使用附加键选择另一个目标对象以导航到预期的目标对象。
本***通过使用凝视检测和键盘上的用户输入在不使用模拟指示设备的情况下支持目标对象的选择和激活。为了解决例如当两个窗口小部件彼此靠近时可能会出现的不确定性，本***包括用户界面机制以在多种可能性之间导航。本***可以进一步包括概率模型以确定哪一个窗口小部件更可能是目标。
此外，本***可以应用于诸如个人数字助理等带有小键盘的手持式设备，降低了对使用指示笔(stylus)进行数据输入的依赖性。对于带有小型虚拟屏幕或键盘的设备来说当前的数据输入单调乏味并耗费时间。使用带有小型虚拟屏幕或键盘的本***加快了数据输入，向这些设备提供了更有效和令人愉快的用户接口。类似地，本***也可以应用于任一带有交互式输入的设备，例如膝上型计算机、蜂窝电话机、电子白板、电视机、自适应广告板、家用设备/娱乐、计算机游戏和其它的类似设备。本方法也可以应用于“智能环境”，其中可以通过相同的方法选择和激活多个显示器、用具和设备。类似地，它可以应用于可以选择多个虚拟标识的三维虚拟环境。
最典型地，本***工作在带有凝视跟踪设备的计算机图形用户界面(GUI)上。本发明操作在GUI上的对象空间内而非几何空间内。例如，将计算机屏幕上的每个空间分配给诸如按钮、菜单项、文本窗口和超链接等GUI对象(在此也称作目标或窗口小部件)。包括诸如一个或多个照相机的凝视测量设备测量用户的凝视位置即用户正在自然观看的点。根据概率推理模型将凝视位置分配给目标。作为一个优点，通过本***，对象空间内的操作消除了不必要的控制分辨率。本***并不必需确定用户正在自然观看的精确点。而是，本***简单地确定如由所实施的模型执行的最可能目标。
本***的凝视跟踪设备连续地确定用户的凝视位置。当用户希望选择目标对象时，用户按下选择键。目标对象包括可以由用户通过交互操作的交互按钮、文本、下拉菜单、网页上的超链接或GUI上的任何其它目标。选择键可以是键盘上的任一按键，例如输入键。可选择地，选择键可以是添加给键盘的专用于本***使用的按键。
在许多环境下，可以使用凝视和键盘按压的一致性来明确地识别诸如按钮或超链接的目标对象。然而，在其它情况下，存在不确定性。本发明提供了依赖于进一步的键盘交互、计算机应用状态和瞬时眼睛凝视改变来解决不确定性的多种技术。可以使用后两个条件来馈送概率模型以通过似然性排列可能的目标。可以使用这个排列来选择目标，或者简单地最小化键盘交互，例如通过概率排列给目标排序。
当按下选择键时，本***高亮显示通过概率模型确定的在GUI上的对象。如果多个对象位于凝视位置附近，则本***高亮显示根据凝视位置确定的最可能的对象。高亮显示最可能的对象包括暗化/增亮对象的颜色、在对象上放置光标、围绕最可能的对象放置界限框或者强调最可能的对象的任何其它方法。
在一种实施例中，该模型可以是可***的模型。存在三种概率模型的可能结果：它识别出0个候选、它准确地识别出1个候选和它识别出多个候选。如果它识别出零个候选，则它应当(可能)取消选择当前的选择；如果它识别出1个，则它将加亮显示该候选，并让用户通过按下激活键来激活它；如果它识别出多个，则它将高亮显示最可能的候选，并允许交互以可能使用通过概率、几何图形或两者之组合排序的结果来选择正确的一个。
如果最可能的对象并非期望的目标对象，则用户可以使用导航键来高亮显示另一个对象，例如通过将光标(可以是限制框或其它图形手段)移动到另一个对象。通过所按下的导航键的位置可以确定光标的移动。例如，如果按下向左的导航键，则光标(高亮显示)移动到在初始高亮显示对象左侧上的可能对象。可选择地，通过概率(N最佳列表)可以排序移动的顺序，每次按下导航键时在N最佳列表上将高亮显示向下移动。
用户可以重复这一处理直到选定目标对象。用户随后可以按下激活键以激活目标对象。本质上，本***暗中使用眼睛凝视信息将用户的需要或意图的不确定性降低到几种可能性，这些可能性的数量或信息比特小到足以通过按键按压来解决。在一种实施例中，如果用户在预先确定的时间周期内并未按下激活键，则从可能的目标上消除高亮显示。
导航键可以是在键盘上任意一组按键，例如箭头键。此外，导航键可以是键盘上的任意一组按键或按键组合。导航键可以组合在一起，或者是分离的。此外，可以将一些导航键分配给键盘的右侧，而将激活键分配给键盘的左侧。
另一种实施例允许用户保持“home”打字位置。具体而言，可以使用在“home”位置右侧附近的按键，“U”、“O”、“H”、“J”、“K”、“L”、“M”和“.”(在“QWERTY”键盘上)来导航。这个实施例可能最适合于数据输入人员，或者需要在不将他们的手从home位置上移走的情况下快速工作的其它人员。这也可以降低手移动的紧张压力。
在一种实施例中，通过眼睛凝视技术来加亮显示下一个最可能的对象。当用户按下选择键时，本***高亮显示最可能的对象。然而，眼睛凝视***不是完全准确的，所以最可能的对象可能并非真正的目标。典型地，在这些情况下，用户将不由自主地将他们的凝视从期望的目标移动到最可能的目标。本***注意到凝视时的移动，并自动地高亮显示期望的目标对象。
附图说明
将参考下面的描述、权利要求书和附图更详细地描述本发明的各种特征和实现它们的方式，其中在适当的时候重复使用参考数字以表示所指项目之间的对应关系，在附图中：
图1是在其中可以使用本发明的目标对象选择***的示例性操作环境的示意图；
图2图示示例性的计算机***，说明用于图1的目标对象选择***的用于捕获凝视位置的眼睛凝视设备的放置；
图3图示示例性的个人数字助理，说明用于图1的目标对象选择***的用于捕获凝视位置的眼睛凝视设备的放置；
图4图示显示器，说明可以由图1的目标对象选择***选择的图形用户界面对象；
图5是高层流程图，说明图1的目标对象选择***的图形用户界面对象的选择；
图6是概率图，说明用于在显示器上的图形用户界面对象的通过图1的目标对象选择***确定的概率；
图7图示申请表格，说明图1的目标对象选择***的执行；
图8是处理流程图，说明在显示器上选择目标时图1的目标对象选择***的方法；
图9是处理流程图，说明涉及在文本块内移动***符号位置的图1的目标对象选择***的使用方法；
图10是说明图9的方法的示例性键盘的图；
图11是说明在已经选择初始目标之后通过用户眼睛不由自主的移动选择目标的图；和
图12是说明图1的目标对象选择***的实施例的图，其中通过移动手指来执行选择和导航功能。
具体实施方式
下面的定义和解释提供涉及本发明技术领域的背景信息，并将在不限制本发明保护范围的情况下便于理解本发明。
注视：用户的眼睛自然观看在视频屏幕上的特定对象。
凝视位置：计算出的用户将自然观看的点。
GUI(图形用户界面)：在显示器上带有图片和文字并结合有可移动窗口、图标和鼠标的基于图形的用户界面。
交互式对象(也称作窗口小部件)：通过键入的命令、语音命令、鼠标单击或其它接口装置接收用户输入并作为输入结果执行动作或功能的对象或单元。
因特网：由路由器通过一组标准协议链接在一起以构成全球分布式网络的互连公用和私用计算机网络的集合。
自然观看：用户在给定方向或在给定对象上使用视线的动作。
扫视：在注视之间不由自主地快速断续的眼睛移动。
目标：用户希望通过自然观看识别的诸如按钮或滚动条超链接的交互式图形单元或GUI单元或者诸如文本的非交互式对象。
高亮显示：可视地强调一个或多个交互式对象。
选择：正确地选择一个对象以激活。它可以包括高亮显示的不同形式。
激活：调用交互式对象的功能，例如当释放按钮时。
选择键：与眼睛凝视组合使用以选择对象的任一按键。
导航键：用于将选择从对象改变成另一个对象的任一按键。
激活键：用于触发对象功能的任一按键。
网页浏览器：允许用户请求和读取超文本文档的软件程序。该浏览器提供观看网页文档内容和从一个文件导航到另一个文件的某些方法。
万维网(WWW，也称作Web)：因特网客户机-服务器超文本分布式信息检索***。
图1图示包括目标对象选择***10的集成凝视/手工控制***100的示例性高层结构。***100包括通常内嵌在计算机内或者安装在计算机上的软件编程代码或计算机程序产品。可选择地，***10可以存储在合适的存储介质上，例如磁盘、CD、硬盘驱动器或类似设备。
通常，集成凝视/手工控制***100包括计算机15、凝视跟踪设备20、用户输入设备25和显示器30。***100例如可以由“用户”，也称作“操作员”使用。
凝视跟踪设备20是用于监视计算机操作员自然观看的设备。根据应用的具体需要，凝视跟踪设备20可以使用多种不同的已知或可用的技术来监视用户的自然观看。举一个例子，凝视跟踪设备20可以使用一种或多种下述技术：
1.眼电描记术，它围绕眼睛放置皮肤电极，并记录代表眼睛位置的电势差。
2.角膜反射，它将红外光束射向操作员的眼睛，并测量操作员的移动瞳孔和固定光束发射之间的角度差。
3.Lumbus、瞳孔和眼睑跟踪。这种技术包括使用电视照相机或其它扫描器等设备扫描眼部区域，并分析最终图像。
4.隐形眼镜。这种技术使用带有特殊制造的隐形眼镜的接触眼睛的某种设备。例如使用“光学杠杆”，在隐形眼镜上的一个或多个平面镜表面将来自光源的光反射到照相底板、光单元或象限检测器阵列。另一种方法使用与带有植入磁线圈的隐形眼睛相结合的磁传感器。
在下述参考文献中描述了多种不同的凝视跟踪方法：Young等人的“Method & Designs：Survey of Eye Movement RecordingMethods”，Behavior Research Methods & Instrumentation，1975年，第7(5)卷，第397至429页。已经阅读该文献的普通技术人员还将认识到多种不同的设备适合于用作凝视跟踪设备20。
作为在***100中使用的一种凝视跟踪方法的具体例子，参见在此引用作为参考的下述专利：美国专利US 4,836,670、US 4,950,069和US 4,595,990。尽管凝视跟踪设备20可以是定制产品，但是也可以使用购买的产品。
与凝视跟踪设备20相关的软件编程可以包括在凝视跟踪设备20自身内。图1的具体例子图示了在下文中描述的凝视跟踪模块35内实现的相关软件。根据具体应用，凝视跟踪模块35可以单独地包括在计算机15、凝视跟踪设备20或两者之组合内。
有利地，本发明能够以不同的眼睛跟踪精确度来操作。如果是高精确度***，则将不需要或需要很少的导航键按压来抵达目标。如果是廉价的较低分辨率的凝视跟踪设备20，则导航键按压的平均次数可能较高，但是***依然将工作。例如，使用大约+/-0.3至0.5度的凝视跟踪精确度能够获得显著的益处，该凝视跟踪精确度是对凝视跟踪***较低的误差要求。使用这一等级的可允许误差，凝视跟踪设备20可以包括廉价的视频照相机，许多这样的廉价照相机是公知的，并且在计算机***内变得越来越普遍使用。
用户输入设备25包括对于压力、物理接触或操作员的其它手工控制灵敏的单元的操作员输入设备。“手工”输入是指“机械地”激活用户输入设备25，与来自凝视跟踪设备20的自然观看输入不同。举一个例子，用户输入设备25可以包括一个或多个下述设备：计算机键盘、鼠标、“跟踪球”、足开关或触发器、诸如IBM TRACKPOINT产品的压敏传感棒、舌形指示器、指示笔/输入板、触摸屏和/或任何其它的机械控制设备。
在图1所示的具体实施例中，图示了键盘40、组合激活和选择键45和导航键50。导航键例如包括向上键55、向下键60、向右键65和向左键70。可以提供其它导航键用于诸如对角线方向的其它方向。
尽管与用户输入设备25相关的软件编程可以包括在用户输入设备25内，图1的具体例子图示在下文中描述的用户输入模块50内实现的必需的输入设备软件。根据具体的应用，用户输入模块50可以单独地包括在计算机15、用户输入设备25或者两者之组合内。
显示器30提供用于向操作员光学地显示文本和图形的电子介质。显示器30可以通过具有显示包括指示符的图形图像或其它高亮显示对象方法的足够能力的任一合适的计算机显示器来实现。例如，显示器30可以使用阴极射线管、液晶二极管屏幕、发光二极管屏幕或任何其它合适的视频设备。显示器30还可以覆盖有用手指或指示笔操作的触摸表面。显示器30的图像通过来自下面描述的视频模块55的信号来确定。显示器30也可以用其它的名称来表示，例如视频显示器、视频屏幕、显示屏、视频监视器和显示监视器等。所显示的指示符可以包括箭头、括号、短线、点、十字线、方框或适合于选择或高亮显示目标和为文本或图形等定位***点(***符号)的任何其它图形。
计算机15包括一个或多个应用程序60、用户输入模块50、凝视跟踪模块35、***10和视频模块55。计算机15可以是新机器，或者从诸如已知的个人计算机、计算机工作站、主机计算机或其它合适的数字数据处理设备等任意数量的不同产品中选择出的一个产品。举一个例子，计算机15可以是IBM THINKPAD计算机。尽管这样一个计算机显然包括除了图1的部件之外的多个其它部件，为了便于说明从图1中删除了这些部件。
视频模块55包括生成表示图像的视频信号的产品。这些信号与显示器30兼容，并使显示器30显示对应的图像。视频模块55可以通过硬件、软件或其组合来提供。作为更具体的一个例子，视频模决55可以是诸如SVGA卡的视频显示卡。
应用程序60包括在计算机15上运行的各种程序，并时常要求操作员输入。这个输入可以包括文本(通过键盘40输入)以及位置和目标选择信息(使用在这个实施例中同时是激活和选择键的45以及导航键55、60、65和70输入)。位置信息相对地定位指示符，或者高亮显示由应用程序提供的图像。目标选择信息在操作员执行诸如按下激活键45等操作时选择在所显示的屏幕图像上用凝视位置识别出的一个或多个目标。应用程序60的例子包括可购买的程序，例如数据库程序、字处理、财务软件和计算机辅助设计等。
用户输入模块50包括配置以接收和解释来自用户输入设备25的信号的软件模块。举一个具体的例子，用户输入模块50可以包括接收来自导航键75的电信号并提供用于在显示器30上移动指示符的x-y输出的键盘驱动器。类似地，凝视跟踪模块35包括配置以接收和解释来自凝视跟踪设备20的信号的软件模块。举一个具体的例子，凝视跟踪模块35可以包括接收来自凝视跟踪设备20的电信号，并提供表示计算出的称作“凝视位置”的操作员正在凝视的点的x-y输出的程序。
***10用于综合手工操作员输入(来自用户输入模块50和用户输入设备25)和眼睛凝视输入(来自凝视跟踪设备20和凝视跟踪模块35)。***10将某一标准应用于来自凝视跟踪设备20和用户输入设备25的输入以确定如何在显示器30上显示对象。
图2图示可以使用集成凝视/手工控制***100的示例性计算机***200。小照相机205用作凝视跟踪设备20。监视器210用作显示器30。键盘215用作输入设备25。在一个实施例中，照相机205放置在位置220上。在其它实施例中，照相机205可以放置在位置225、230、235或者在监视器210上可以从其确定用户凝视位置的任何其它位置上。在又一个实施例中，诸如照相机205的其它照相机可以放置在位置225、230、235或在监视器210上通过其可以确定用户凝视位置的任何其它位置上。
在又一种实施例中，照相机205可以放置在键盘215上的位置240内或者在键盘215上通过其可以确定用户凝视位置的任何位置上。此外，在位置240内的照相机205可以是由凝视跟踪模块使用的唯一设备，或者位置240内的照相机205可以与其它照相机结合使用，所述其它照相机例如是在监视器210上的位置225、230和235等其它位置内的照相机205。
图3图示在其中可以使用集成凝视/手工控制***100的诸如个人数字助理300的示例性设备。小照相机305用作凝视跟踪设备20。虚拟键盘310用作输入设备25。屏幕315用作显示器30。在一种实施例中，照相机305放置在位置320内。在其它实施例中，照相机305可以放置在个人数字助理上的位置325或任何其它位置内，通过它可以确定用户的凝视位置。
在另一种实施例中，照相机305可以在单独的外壳内并由用户放置在最佳确定用户凝视位置的位置内提供作为个人数字助理300的附件330。在又一实施例中，激活键45和导航键75可以在单独的外壳内提供作为个人数字助理300的附件，如通过用户输入设备335图示的。以类似的方式，用户输入设备340可以提供作为任一***的附件，其中用户选择图形用户界面上的对象。在又一实施例中，用户输入设备340包括在例如位置340等位置内的照相机305。
与目标的交互并不限制于使用激活键45和导航键50。在一种实施例中，集成凝视/手工控制***100捕获来自用户的手势，例如移动手指。捕获用户手势的设备用作用户输入设备25。这样一个设备例如可以是红外设备。不同的手势可以由***10解释为激活、选择或导航。在又一实施例中，用户输入设备25是用户可以提供用于激活和导航的语音命令的话筒。用户可以向集成凝视/手工控制***100传送激活、选择和导航等简单命令的任一方法可以由***10用于选择和激活在图形用户界面上的目标。
***10操作在对象空间内而非几何空间内。例如，将显示器30定义为一组对象，显示器30上的每个点属于一个目标。图4图示带有若干目标的显示器30的示例性屏幕截图，所述目标是：按钮405、文本块410、***点415(在此也称作***符号415)、菜单项420和桌面430，通称为目标435。
用户以自然的方式观看(自然观看)诸如按钮405的对象，并按下诸如激活键45的按键。使用凝视跟踪模块35的输入，***10确定哪一个目标435是最希望的目标，并高亮显示所希望的目标，按钮405。可以通过多种方法中的任一种方法来选择或高亮显示按钮405，例如在按钮405上放置指示符，围绕按钮405放置方框，改变按钮405的颜色，围绕按钮405放置颜色，等等。
如果多个目标435是可能的目标，则***10高亮显示最可能的一个或多个目标。如果另一个目标是所希望的目标对象，通过使用导航键75将指示符移动到其它目标435之一上，则用户可以选择其它被高亮显示的目标435之一。用户通过再次按下按键45激活该对象。
图5是高层流程图，图示一种用于由图1的目标对象选择***10选择图形用户界面对象的方法500。在步骤505，用户观看而非凝视屏幕上的目标图标，并按下选择键。由于眼睛跟踪误差，选择(例如高亮显示)另一个相邻的图标，例如在目标图标下方的图标。在步骤510，用户使用向上箭头键(或另一按键)调整到目标图标的选择(在这个例子中高亮显示)。在步骤515，一旦选定目标图标，则用户再次按下按键以完成交互处理。
在一种实施例中，当用户保持按下例如控制键时，用户瞬时按下诸如制表符键的按键。进一步高亮显示最可能的目标。用户释放控制键以激活目标。如果已经高亮显示多个目标，则***10例如通过下拉列表向用户提供选择多个目标之一的选项。用户例如可以保持按下控制键并按下制表符键以循环通过各个目标。当循环时，以不同于其它多个目标的方式高亮显示当前有效的目标。当释放控制键时，激活当前高亮显示的目标。
在一种实施例中，***10显示表示目标的菜单而非目标的实际图形表示。用户随后可以循环通过菜单上的目标列表以选择所希望的目标对象。在一种实施例中，***10在菜单上提供选项(即“退出”选项)，通过该选项用户可以选择不选择在菜单上显示的任一目标。
根据***10的概率模型，将凝视位置分配给目标430之一。***10可以使用任意数量的概率模型。简单的凝视分配算法将凝视位置与凝视位置之下的对象相联系。较复杂的方法使用凝视位置之下每个对象的似然模型。似然性例如可以是二维高斯模型：
1 2 π σ 2 exp { - ( x g - x o ) 2 + ( y g - y o ) 2 2 σ 2 }
其中(xg，yg)是凝视位置的坐标和(xo，yo)是对象O的坐标。通过对象大小、对象到其相邻对象的距离、对象类型和定位对象的情形来确定标准偏差σ。例如，桌面430具有比诸如按钮405等按钮组合阵列更大的标准偏差的分布模型。
图6在二维中图示对象A 605或对象B 610是凝视位置615的预期目标的概率。根据这个例子，对象A 605作为预期目标的概率620小于对象B 610的概率625。然而，***10操作在对象空间内，并具有与对象A 605和对象B 610的功能和当前状态相关的知识。例如，对象A 610可以是在文本块410的文本区域末尾带有***点415的文本块410。
对象B 610可以是桌面430的一部分。***10意识到尽管对象B610具有比对象A 605更大的概率，但是用户当前在输入文本。因此，由***10选择表示文本块410的对象A 605作为目标，并高亮显示。***10使用与图形用户界面上的每个对象的功能和当前状态相关的知识来智能地工作，并向用户提供灵活性。
***10对对象状态的使用用图7的简单例子即在因特网的网页上用户完成的典型申请表格700来说明。***10使用将要完成的项目的自然顺序以及申请表格700在其被完成时的当前状态来改进由***10使用的概率模型的可靠性。
诸如申请表格700的应用程序通常具有能够在概率模型内起调节作用的某些属性。例如，表格通常具有将要完成表格内字段的自然顺序。自然顺序通常与制表符键结合使用以在该表格内导航。有时，这个顺序直接由表格内项目的放置和可以由表格开发者编码的其它项目来确定。如果表格内的单元标号为1至n和用户当前正在修改表格内的字段k，则概率模型倾向于k+1上的表格单元。例如，用户正在完成城市字段705。在申请表700上的下一个可能字段随后是州字段710。在完成城市字段705之后，用户可能会自然观看州字段710，并按下激活键45。
***10选择州字段710作为最可能的字段，即使在多个按钮组围绕州字段710的情况下。表格通常具有“自然顺序”，其中许多GUI工具允许表格单元按照它们应当按制表符键(tab)循环通过的顺序实际地编号。举一个例子，如果存在10个表格单元，则填完表格单元1至5，理想上偏向于6。如果可以使用附加信息，例如该表格字段是可选的还是必需的，则可以将这个信息馈送到更普遍的模型内。类似地，也可以将历史馈送到这个模型内。例如，如果一个人总是以与自然顺序不同的顺序填充表格，则这个行为可以是可学习的。
可以以类似的方式将其它信息编码到可以由***10使用的表格内。例如，表格通常具有选择和必填单元。一旦完成所有的必填单元，则视为完成该表格(即等待处理)。***10使用这个信息进一步通知概率模型，例如通过比可选的表格单元更偏向于必填的表格单元。
***10使用状态信息以增强可用于概率模型的信息，从而提高***10在选择最可能目标时的精确度。例如，如果网页正在装载在网页浏览器内，则如果网页正在自然地观看“停止”按钮和“重新装载按钮”区域，则“停止”按钮可能是期望的目标。如果网页当前不在装载，则“重新装载”按钮更可能是期望的目标，而非“停止”按钮。
在图8中图示处理流程图，它图示***10的方法800。在整个方法800中，***10持续地跟踪用户的凝视位置。然而，当用户按下键盘上的选择键时，仅使用这个凝视位置。方法800描述了使用选择和导航键以控制如何将眼睛凝视用于高亮显示和选择GUI对象的处理。在高层上，图8中的基本流程包括下述步骤：(1)观看GUI对象；(2)压下选择键以将其高亮显示；(3)可选地使用导航键以调整高亮显示；和(4)压下导航键以激活所高亮显示的对象。现在将更详细地研究这些步骤。
在步骤805，用户观看目标对象，随后在步骤810按下按键。在步骤815，方法800询问已经按下的按键是否是预先分配的选择键。如果不是，则方法800返回步骤805，并跟随用户的观看和凝视。
反之，如果已经按下的按键是选择键，则方法800在步骤820从眼睛凝视***查询用户最后凝视的位置。在步骤825，由***10使用这个眼睛凝视位置以高亮显示最可能是用户已经选择的GUI对象。***10使用它在可选择GUI对象上的概率模型以帮助选择最可能的对象。
在用户在步骤830按下另一按键之后，***10在步骤835从***获得最后的凝视位置，并在步骤840查询眼睛凝视是否靠近所高亮显示的对象。如果不是，则方法800返回步骤825，并如先前所述地继续处理。如果用户在第二键按压时已不再看着高亮显示的对象，则他们可能希望继续选择不同的GUI对象。
然而，如果方法800在步骤840确定眼睛凝视足够靠近所高亮显示的对象，在它在步骤845查询在步骤830按下的按键是否是激活键。如果是，则***10在步骤850激活所高亮显示的对象，并消除高亮显示。方法800随后返回步骤805，并如前所述地继续。
如果方法800在判决步骤845中确定所按下的键并非激活键，则方法800在判决步骤855查询所按下的键是否是导航键。如果不是，则***10为该键执行常规操作***功能，并如前所述地返回步骤805。
如果方法800在判决步骤855确定所按下的键是导航键，则***10在步骤860根据导航键指令移动选择高亮显示，并如前所述地返回步骤830。
在一种实施例中，***10允许用户使用键盘上的任一组五个键或更多的键导航到下一最可能的目标。在又一实施例中，将诸如箭头的指示符放置在最可能的目标上。可选择地，可以通过多种方法中的任一种方法指示最可能的目标，例如通过围绕最可能的目标对象放置方框、高亮显示最可能的目标对象、等等。随后，可以使用该组五个或更多的按键来将指示符移动到期望的目标上，或者以其他方式调整指示符的放置。该组五个或更多的按键提供除了导航和选择键45以及导航键55、60、65和70之外的功能。还可以使用一组9个按键(包括四个箭头键：上、下、左和右)，所以用户可以在对角线上移动高亮显示。
在图9中图示的***10的方法900是当选定对象是文本字段时的基本方法的优化。在步骤905，用户观看目标对象，随后在步骤910按下按键。在步骤915，方法900查询已经按下的按键是否是预先分配的选择键。如果不是，则方法900返回步骤905，并跟随用户的观看和凝视。
反之，如果已经按下的按键是选择键，则方法900在步骤920从眼睛凝视***查询用户最后凝视的位置，并根据***10的概率模型计算最可能的GUI对象。随后，方法900在判决步骤925查询最可能的对象是否是文本字段。如果不是，则***10根据用户的眼睛凝视高亮显示最可能的GUI对象，如先前结合图8描述的，开始于步骤830。
然而，如果方法900在判决步骤925确定最可能的目标是文本字段，则方法900在判决步骤930确定当按下键盘1000上的按键时最可能的对象是否是***符号(caret)415。如果***符号415是最可能的目标，则用户正在在文本框410内输入文本的处理中，***10在步骤935继续文本输入，并将用户按下的字符添加给在***点即***符号415上的文本串。
如果方法900在判决步骤930确定***符号415不是最可能的对象，则***10在步骤940将***符号415移动到凝视点。当用户在步骤945上按下另一按键时，则方法900在步骤950从***获得最后的位置，并前进到判决步骤955。
在判决步骤955，方法900查询眼睛凝视是否临近***符号415。如果不是，则方法900返回步骤940，并如前所述地继续。反之，如果方法900在判决步骤955确定眼睛凝视靠近***符号415，则方法900在判决步骤960查询在步骤945已经按下的按键是否是激活键。如果是，则***10将***符号415交给其当前位置。
反之，方法900在判决步骤970查询所按下的按键是否是导航键。如果是，则***10在步骤975根据导航键移动***符号415，随后前进到如前所述的步骤945。
然而，如果方法900在判决步骤970确定所按下的键并非导航键，则它前进到步骤980，在此***10继续在步骤980的文本输入，并前进到如前所述的步骤905。
图10图示***10使用在典型键盘1000上的任一组五个或更多按键以识别和激活目标。例如，用户可以按下“K”键1005以选择在显示器30上的目标。K键1005变成锚键(anchor key)。在一种实施例中，符号或者其它指示符出现在最可能的目标上。可选择地，以先前讨论的某种其它形式高亮显示最可能的目标。围绕“K”键1005的按键在从“K”键1005到这些按键的方向的对应方向内移动指示符。
用户现在可以按下“L”键1010以将指示符移动到右侧，高亮显示在当前所高亮显示的对象右侧的目标。按下“，”，按键1015向下移动指示符。按下“J”键1020向左移动指示符。按下“I”键1025向上移动指示符。此外，按下“O”键1030沿对角线向右上方移动指示符。按下“.”键向右下方移动指示符。按下“M”键1040向左下方移动指示符。按下“U”键向右上方移动指示符。用户第二次按下“K”键1005(锚键)激活高亮显示的对象，导致所高亮显示的对象执行其分配的功能。
在又一种实施例中，***10允许左手和右手使用的按键用于选择、激活和导航。例如，左手可以按下控制键或“Alt”键以选择目标。右手可以使用其它键导航到候选目标，并例如使用输入键激活该目标。
在图11(图11A、11B)图示的实施例中，***10使用眼睛凝视反馈而非导航键50来选择除了高亮显示的目标之外的目标。例如，用户在按下选择和激活键45时观看目标A，1105。由于当前可用的凝视跟踪设备的自然不准确性，***10可以选择对象B 1110而非对象A 1105作为最可能的目标。***10随后高亮显示对象B 1110。用户在观看对象A 1105，期望***10高亮显示对象A 1105。当用户注意到高亮显示了项目B 1110时，用户表现出从项目A 1105到项目B 1110的不自主的扫视。这个扫视可能是短暂的，但是它是可以由凝视跟踪模块35检测出的。
***10检测到扫视，并使用它快速地高亮显示所期望的目标。可以将扫视表示为从所期望的选择(项目A，1105)到初始选择(项目B，1110)的二维扫视矢量1115。***10确定项目A 1105是所期望的目标，从项目B 1110消除高亮显示，并高亮显示项目A 1105。
在又一实施例中，***10如图11B所示使用显示器30的二维构图建立在不同情况下扫视的概率模型900。就在高亮显示项目B1110之前，如图11B所示，***10围绕项目B 1110在二维(x，y)“扫视”空间900内建立概率模型。***10把将要高亮显示的项目即项目B1110放在“扫视”空间1100的中心。围绕将要高亮显示的项目放置在预定凝视直径内的所有其它的可能目标。在这个例子中，其它可能目标是项目A 1105、项目C 1120、项目D 1125和项目E 1130，通称作可能目标1135。
在“扫视”空间1100内，将每个可能目标1130放在从所期望的目标到所高亮显示的目标的不由自主的扫视中用户眼睛经历的位置内。例如，如果项目E 1115在显示器30上在项目B 1105的右下方，则表示项目E 1115是所期望的目标的扫视是从项目E 1115到项目B 1105或者在到右上角的对角线上的矢量1140。因此，在图11B中，将扫视E 1145放在扫视B 1150的右上方。扫视E 1145在扫视矢量1140的尾部，而非扫视矢量1140的起点。为其它的每个可能目标1135使用类似的放置：扫视D 1155放在扫视B 1150的上方；扫视C 1160放在扫视B 1150的右方；和扫视A 1165放在扫视B 1150的下方。扫视矢量1170和1175保持相同，但是初始目标(项目B 1105)和其它可能目标1135的相对位置是相反的。
***10仅使用在***10高亮显示最可能的目标之后由凝视跟踪模块35在规定扫视时间窗口内捕获的扫视。在一种实施例中，扫视时间窗口大约为200毫秒。由符合预先确定的概率分布的***10使用所捕获的扫视。当所捕获的扫视在扫视时间窗口内出现并表示出在由该扫视表示的区域内的最大概率时，***10从初始目标消除高亮显示，并高亮显示该扫视表示的目标。
因为***10并不需要来自指示设备的输入，可以在捕获来自用户的信号的多种应用中实现***10。例如，用户可以如图12所示通过在手指上佩戴一组移动监视设备来执行激活键45的功能和导航键50的功能。图12图示将移动监视设备图示为指环，例如指环1205、1210、1215、1220和1225，通称为指环1230。在一种实施例中，可以通过手套提供指环1230的功能。例如，指环1250用作激活键45，指环1210、1215、1220和1225用作导航键。
应当理解已经描述的本发明的具体实施例仅仅说明了本发明原理的某些应用。在不脱离本发明的精神和范围的情况下，可以对在此描述的用于使用眼睛凝视和选择键选择目标对象的***和方法进行多种修改。

Claims (39)

1.一种用于从多个对象中选择目标对象的指示方法，包括：
在显示器上显示多个对象；
跟踪用户在观看显示器时自然观看的位置；
同时监视手工选择键的按压；
根据手工选择键的按压和检测到的用户对目标对象附近区域的自然观看的一致性，选择显示器上的目标对象；
如果需要，使用导航键改变选定的对象；和
使用激活键激活选定的目标对象。
2.权利要求1的方法，其中显示器包括计算机监视器或电视显示器中任何一个。
3.权利要求1的方法，还包括使用概率分析在多个对象中确定最可能的目标对象。
4.权利要求3的方法，其中概率分析包括图形用户界面对象的历史。
5.权利要求1的方法，其中目标对象是图形用户界面对象。
6.权利要求1的方法，其中选择目标对象包括一旦用户按下手工选择键则捕获自然观看的位置。
7.权利要求1的方法，其中选择目标对象包括高亮显示目标对象。
8.权利要求7的方法，其中利用限制框实现高亮显示目标对象。
9.权利要求7的方法，其中通过改变目标对象的颜色实现高亮显示目标对象。
10.权利要求7的方法，其中通过与目标对象相邻地放置光标实现高亮显示目标对象。
11.权利要求7的方法，其中通过将箭头指向目标对象实现高亮显示目标对象。
12.权利要求1的方法，其中选择目标对象包括选择候选对象，随后手工地调整从候选对象到目标对象的选择。
13.权利要求12的方法，还包括用户按压导航键以将指示符移向另一个可能的目标对象。
14.权利要求13的方法，还包括一旦用户选择，就高亮显示所述另一个可能目标。
15.权利要求1的方法，其中手工选择键和激活键是同一按键。
16.权利要求1的方法，其中利用两个按键的组合按压来实现选择目标对象。
17.权利要求16的方法，其中两个按键是控制键和制表符键。
18.权利要求17的方法，其中改变所选择的对象包括使用制表符键导航多个对象。
19.权利要求18的方法，其中激活目标对象包括释放控制键。
20.权利要求1的方法，还包括确定最可能的目标对象是否包括文本字段。
21.权利要求19的方法，还包括如果自然观看的位置在文本字段中的***符号处或者附近，则继续文本输入；和
如果自然观看的位置不在文本字段中的***符号附近，则将***符号移动到自然观看的位置。
22.权利要求1的方法，其中手工选择键是键盘上的专用键。
23.权利要求1的方法，其中手工选择键是键盘上的用户定义键。
24.权利要求1的方法，其中手工选择键是键盘上的任意键。
25.权利要求1的方法，其中激活键是键盘上的专用键。
26.权利要求1的方法，其中激活键是键盘上的用户定义键。
27.权利要求1的方法，其中激活键是键盘上的任意键。
28.一种用于从多个对象中选择目标对象的指示设备，包括：
显示器，用于显示多个对象；
凝视跟踪模块，跟踪用户在观看显示器时自然观看的位置；
用户输入模块，同时监视手工选择键的按压；
用户输入模块，根据手工选择键的按压和检测到的用户对目标对象邻近区域的自然观看的一致性，进一步选择显示器上的目标对象；
导航键，用于改变选择的对象，如果需要的话；和
激活键，用于激活所选择的目标对象。
29.权利要求28的指示设备，其中显示器包括计算机监视器或电视显示器中的任何一个。
30.权利要求28的指示设备，其中用户输入模块使用概率分析来确定多个对象之中最可能的目标对象。
31.权利要求30的指示设备，其中概率分析包括图形用户界面对象的历史。
32.权利要求28的指示设备，其中目标对象是图形用户界面对象。
33.权利要求28的指示设备，其中用户输入模块通过一旦用户按下手工选择键即捕获自然观看的位置来选择目标对象。
34.一种计算机程序产品，包括一组指令代码，用于从多个对象中选择目标对象，包括：
第一组指令代码，用于在用户观看多个对象时跟踪自然观看的位置；
第二组指令代码，用于同时监视手工选择键的按压；
第三组指令代码，用于根据手工选择键的按压和所检测的用户对目标对象邻近区域的自然观看的一致性来选择目标对象；和
激活键，用于激活选定的目标对象。
35.权利要求34的计算机程序产品，其中第三组指令代码通过一旦用户按下手工选择键即捕获自然观看的位置来选择目标对象。
36.权利要求34的计算机程序产品，其中第三组指令代码使用概率分析来确定多个对象之中最可能的目标对象。
37.权利要求36的计算机程序产品，其中概率分析包括图形用户界面对象的历史。
38.权利要求34的计算机程序产品，其中目标对象是图形用户界面对象。
39.权利要求34的计算机程序产品，还包括第四组指令代码，用于改变所选择的对象，如果需要的话。
CNB2005100672033A 2004-04-29 2005-04-19 用眼睛凝视和按键按压组合选择和激活对象的***和方法 Active CN1300663C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US10/835,483 2004-04-29
US10/835,483 US9274598B2 (en) 2003-08-25 2004-04-29 System and method for selecting and activating a target object using a combination of eye gaze and key presses

Publications (2)

Publication Number Publication Date
CN1694043A true CN1694043A (zh) 2005-11-09
CN1300663C CN1300663C (zh) 2007-02-14

Family

ID=35186576

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB2005100672033A Active CN1300663C (zh) 2004-04-29 2005-04-19 用眼睛凝视和按键按压组合选择和激活对象的***和方法

Country Status (3)

Country Link
US (1) US9274598B2 (zh)
CN (1) CN1300663C (zh)
TW (1) TWI343015B (zh)

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102176191A (zh) * 2011-03-23 2011-09-07 山东大学 一种基于视线跟踪的电视机操控方法
CN102402390A (zh) * 2010-09-16 2012-04-04 Lg电子株式会社 透明显示设备和使用透明显示设备提供信息的方法
CN102402287A (zh) * 2010-09-16 2012-04-04 Lg电子株式会社 透明显示设备和提供对象信息的方法
CN101690165B (zh) * 2007-02-02 2012-09-05 百诺克公司 尤其用于拍照的基于无意识的眼睛信号的控制方法
CN102822771A (zh) * 2010-01-21 2012-12-12 托比技术股份公司 基于眼球***的上下文动作
CN102915190A (zh) * 2011-08-03 2013-02-06 联想(北京)有限公司 一种显示处理方法、装置及电子设备
CN103518172A (zh) * 2011-04-21 2014-01-15 索尼计算机娱乐公司 凝视辅助的计算机界面
CN103853329A (zh) * 2012-12-06 2014-06-11 Lg电子株式会社 移动终端及其控制方法
CN103999032A (zh) * 2011-12-12 2014-08-20 英特尔公司 显示元素中所包括的感兴趣的区域的兴趣度分数
CN104145232A (zh) * 2012-01-04 2014-11-12 托比技术股份公司 用于注视交互的***
CN104536556A (zh) * 2014-09-15 2015-04-22 联想(北京)有限公司 一种信息处理方法及电子设备
CN104820669A (zh) * 2014-01-31 2015-08-05 大众汽车有限公司 用于使用全景成像的增强时间推移视频生成的***和方法
CN105359076A (zh) * 2013-06-18 2016-02-24 微软技术许可有限责任公司 多步骤虚拟对象选择
CN103999018B (zh) * 2011-12-06 2016-12-28 汤姆逊许可公司 响应三维显示对象的用户选择姿势的方法和***
CN106943743A (zh) * 2011-02-11 2017-07-14 漳州市爵晟电子科技有限公司 一种人机互动控制***
WO2018209902A1 (zh) * 2017-05-19 2018-11-22 京东方科技集团股份有限公司 操作动作在显示屏上的执行方法和操作动作执行装置
CN109739361A (zh) * 2013-06-11 2019-05-10 三星电子株式会社 基于眼睛跟踪的可见度提高方法和电子装置
CN110083202A (zh) * 2012-07-27 2019-08-02 诺基亚技术有限公司 与近眼显示器的多模交互
CN111045519A (zh) * 2019-12-11 2020-04-21 支付宝(杭州)信息技术有限公司 一种基于眼动追踪的人机交互方法、装置和设备
CN111984125A (zh) * 2020-09-02 2020-11-24 广州彩熠灯光股份有限公司 一种舞台灯光控台操作方法、介质及舞台灯光控台
CN111984124A (zh) * 2020-09-02 2020-11-24 广州彩熠灯光股份有限公司 一种舞台灯光控台的操作方法、介质及舞台灯光控台

Families Citing this family (124)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
PT1607840E (pt) * 2004-06-18 2015-05-20 Tobii Ab Controlo ocular de um computador
US7567828B1 (en) * 2005-07-01 2009-07-28 Plantronics, Inc. Look and tune mobile communication device
US7697827B2 (en) 2005-10-17 2010-04-13 Konicek Jeffrey C User-friendlier interfaces for a camera
EP1943583B1 (en) * 2005-10-28 2019-04-10 Tobii AB Eye tracker with visual feedback
EP1979802A4 (en) 2006-02-01 2013-01-09 Tobii Technology Ab CREATING GRAPHIC FEEDBACK IN A COMPUTER SYSTEM
DE102006037156A1 (de) * 2006-03-22 2007-09-27 Volkswagen Ag Interaktive Bedienvorrichtung und Verfahren zum Betreiben der interaktiven Bedienvorrichtung
WO2008030542A2 (en) * 2006-09-07 2008-03-13 The Procter & Gamble Company Methods for measuring emotive response and selection preference
GB0618978D0 (en) * 2006-09-27 2006-11-08 Malvern Scient Solutions Ltd Method of employing gaze direction tracking for cursor control in a computer
US10437459B2 (en) 2007-01-07 2019-10-08 Apple Inc. Multitouch data fusion
US8977255B2 (en) 2007-04-03 2015-03-10 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
US7802883B2 (en) 2007-12-20 2010-09-28 Johnson & Johnson Vision Care, Inc. Cosmetic contact lenses having a sparkle effect
JP5501581B2 (ja) * 2008-07-25 2014-05-21 シャープ株式会社 情報処理装置および情報処理方法
US20100045596A1 (en) * 2008-08-21 2010-02-25 Sony Ericsson Mobile Communications Ab Discreet feature highlighting
EP2324409A2 (en) * 2008-09-03 2011-05-25 Koninklijke Philips Electronics N.V. Method of performing a gaze-based interaction between a user and an interactive display system
US20100054526A1 (en) * 2008-09-03 2010-03-04 Dean Eckles Method, apparatus and computer program product for providing gaze information
JP2010063616A (ja) * 2008-09-10 2010-03-25 Konami Digital Entertainment Co Ltd ゲーム装置、オブジェクト選択方法、および、プログラム
US8676904B2 (en) 2008-10-02 2014-03-18 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US20100283722A1 (en) * 2009-05-08 2010-11-11 Sony Ericsson Mobile Communications Ab Electronic apparatus including a coordinate input surface and method for controlling such an electronic apparatus
US8350726B2 (en) * 2009-05-19 2013-01-08 Honeywell International Inc. Gaze-based touchdown point selection system and method
US20100302212A1 (en) * 2009-06-02 2010-12-02 Microsoft Corporation Touch personalization for a display device
TWI423096B (zh) * 2010-04-01 2014-01-11 Compal Communication Inc 具可觸控投影畫面之投影系統
US8982160B2 (en) * 2010-04-16 2015-03-17 Qualcomm, Incorporated Apparatus and methods for dynamically correlating virtual keyboard dimensions to user finger size
US20110273369A1 (en) * 2010-05-10 2011-11-10 Canon Kabushiki Kaisha Adjustment of imaging property in view-dependent rendering
CN102087582B (zh) * 2011-01-27 2012-08-29 广东威创视讯科技股份有限公司 一种自动滚屏的方法及装置
US9013264B2 (en) * 2011-03-12 2015-04-21 Perceptive Devices, Llc Multipurpose controller for electronic devices, facial expressions management and drowsiness detection
US20120244935A1 (en) * 2011-03-24 2012-09-27 International Business Machines Corporation Synchronizing game character display with game player viewing detection
US8766936B2 (en) 2011-03-25 2014-07-01 Honeywell International Inc. Touch screen and method for providing stable touches
US20120257035A1 (en) * 2011-04-08 2012-10-11 Sony Computer Entertainment Inc. Systems and methods for providing feedback by tracking user gaze and gestures
US9146654B2 (en) * 2011-05-25 2015-09-29 International Business Machines Corporation Movement reduction when scrolling for item selection during direct manipulation
US20130033524A1 (en) * 2011-08-02 2013-02-07 Chin-Han Wang Method for performing display control in response to eye activities of a user, and associated apparatus
DE102011112617A1 (de) * 2011-09-08 2013-03-14 Eads Deutschland Gmbh Kooperativer 3D-Arbeitsplatz
US20130145304A1 (en) * 2011-12-02 2013-06-06 International Business Machines Corporation Confirming input intent using eye tracking
WO2013089693A1 (en) * 2011-12-14 2013-06-20 Intel Corporation Gaze activated content transfer system
US10025381B2 (en) 2012-01-04 2018-07-17 Tobii Ab System for gaze interaction
US10540008B2 (en) 2012-01-04 2020-01-21 Tobii Ab System for gaze interaction
US10488919B2 (en) 2012-01-04 2019-11-26 Tobii Ab System for gaze interaction
US10394320B2 (en) 2012-01-04 2019-08-27 Tobii Ab System for gaze interaction
US9746918B2 (en) 2012-01-26 2017-08-29 Umoove Services Ltd. Eye tracking
US9733707B2 (en) 2012-03-22 2017-08-15 Honeywell International Inc. Touch screen display user interface and method for improving touch interface utility on the same employing a rules-based masking system
US9423870B2 (en) * 2012-05-08 2016-08-23 Google Inc. Input determination method
WO2013168171A1 (en) * 2012-05-10 2013-11-14 Umoove Services Ltd. Method for gesture-based operation control
US9030505B2 (en) * 2012-05-17 2015-05-12 Nokia Technologies Oy Method and apparatus for attracting a user's gaze to information in a non-intrusive manner
US9046917B2 (en) 2012-05-17 2015-06-02 Sri International Device, method and system for monitoring, predicting, and accelerating interactions with a computing device
JP5942586B2 (ja) * 2012-05-18 2016-06-29 富士通株式会社 タブレット端末および操作受付プログラム
US20130342672A1 (en) * 2012-06-25 2013-12-26 Amazon Technologies, Inc. Using gaze determination with device input
US9423871B2 (en) 2012-08-07 2016-08-23 Honeywell International Inc. System and method for reducing the effects of inadvertent touch on a touch screen controller
US20140049462A1 (en) * 2012-08-20 2014-02-20 Google Inc. User interface element focus based on user's gaze
DE102012215407A1 (de) * 2012-08-30 2014-05-28 Bayerische Motoren Werke Aktiengesellschaft Bereitstellen einer Eingabe für ein Bedienelement
US9589538B2 (en) * 2012-10-17 2017-03-07 Perceptive Pixel, Inc. Controlling virtual objects
US20140108979A1 (en) * 2012-10-17 2014-04-17 Perceptive Pixel, Inc. Controlling Virtual Objects
US9626072B2 (en) 2012-11-07 2017-04-18 Honda Motor Co., Ltd. Eye gaze control system
KR101984590B1 (ko) 2012-11-14 2019-05-31 엘지전자 주식회사 디스플레이 디바이스 및 그 제어 방법
US9612656B2 (en) 2012-11-27 2017-04-04 Facebook, Inc. Systems and methods of eye tracking control on mobile device
US9265458B2 (en) 2012-12-04 2016-02-23 Sync-Think, Inc. Application of smooth pursuit cognitive testing paradigms to clinical drug development
CN103853419B (zh) * 2012-12-04 2017-08-29 联想(北京)有限公司 信息处理的方法及电子设备
EP2929413B1 (en) 2012-12-06 2020-06-03 Google LLC Eye tracking wearable devices and methods for use
US9128580B2 (en) 2012-12-07 2015-09-08 Honeywell International Inc. System and method for interacting with a touch screen interface utilizing an intelligent stencil mask
DE102013000744A1 (de) * 2013-01-17 2014-07-17 Audi Ag Verfahren und System zum Steuern wenigstens einer Funktionseinheit sowie Kraftwagen und mobiles Endgerät mit einem solchen System
DE102013001382A1 (de) * 2013-01-26 2014-07-31 Audi Ag Anzeigesystem und Verfahren zum blickrichtungsabhängigen Betreiben eines Anzeigesystems
US10365874B2 (en) * 2013-01-28 2019-07-30 Sony Corporation Information processing for band control of a communication stream
KR20230137475A (ko) 2013-02-07 2023-10-04 애플 인크. 디지털 어시스턴트를 위한 음성 트리거
US9380976B2 (en) 2013-03-11 2016-07-05 Sync-Think, Inc. Optical neuroinformatics
TWI509463B (zh) * 2013-06-03 2015-11-21 Utechzone Co Ltd 一種使螢幕中的游標移至可按物件的方法及用於實現該方法的電腦系統與電腦程式產品
US10089786B2 (en) * 2013-08-19 2018-10-02 Qualcomm Incorporated Automatic customization of graphical user interface for optical see-through head mounted display with user interaction tracking
US9483143B2 (en) * 2013-09-27 2016-11-01 International Business Machines Corporation Method and system providing viewing-angle sensitive graphics interface selection compensation
US9678928B1 (en) 2013-10-01 2017-06-13 Michael Tung Webpage partial rendering engine
TWI489320B (zh) * 2013-10-25 2015-06-21 Utechzone Co Ltd 電子文件標記方法及裝置
DE102013019200A1 (de) * 2013-11-15 2015-05-21 Audi Ag Verfahren zum Betreiben eines Bediensystems, Bediensystem und Vorrichtung mit einem Bediensystem
US20150169048A1 (en) * 2013-12-18 2015-06-18 Lenovo (Singapore) Pte. Ltd. Systems and methods to present information on device based on eye tracking
US10180716B2 (en) 2013-12-20 2019-01-15 Lenovo (Singapore) Pte Ltd Providing last known browsing location cue using movement-oriented biometric data
US9633252B2 (en) 2013-12-20 2017-04-25 Lenovo (Singapore) Pte. Ltd. Real-time detection of user intention based on kinematics analysis of movement-oriented biometric data
GB201322873D0 (en) * 2013-12-23 2014-02-12 Tobii Technology Ab Eye gaze determination
US9244539B2 (en) 2014-01-07 2016-01-26 Microsoft Technology Licensing, Llc Target positioning with gaze tracking
JP2015170175A (ja) * 2014-03-07 2015-09-28 ソニー株式会社 情報処理装置、および情報処理方法
US9804753B2 (en) * 2014-03-20 2017-10-31 Microsoft Technology Licensing, Llc Selection using eye gaze evaluation over time
EP3140779A4 (en) 2014-05-09 2017-11-29 Google LLC Systems and methods for using eye signals with secure mobile communications
US10564714B2 (en) 2014-05-09 2020-02-18 Google Llc Systems and methods for biomechanically-based eye signals for interacting with real and virtual objects
US9730582B1 (en) * 2014-05-16 2017-08-15 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Comprehensive oculomotor behavioral response assessment (COBRA)
US10170123B2 (en) 2014-05-30 2019-01-01 Apple Inc. Intelligent assistant for home automation
US9619519B1 (en) * 2014-06-23 2017-04-11 Amazon Technologies, Inc. Determining user interest from non-explicit cues
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
KR102337682B1 (ko) 2014-10-01 2021-12-09 삼성전자주식회사 디스플레이 장치 및 그의 제어 방법
US9535497B2 (en) 2014-11-20 2017-01-03 Lenovo (Singapore) Pte. Ltd. Presentation of data on an at least partially transparent display based on user focus
US10460227B2 (en) 2015-05-15 2019-10-29 Apple Inc. Virtual assistant in a communication session
JP6553418B2 (ja) * 2015-06-12 2019-07-31 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 表示制御方法、表示制御装置及び制御プログラム
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
CN108700932B (zh) 2015-09-24 2021-05-28 托比股份公司 能够进行眼睛追踪的可穿戴设备
US10565446B2 (en) 2015-09-24 2020-02-18 Tobii Ab Eye-tracking enabled wearable devices
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
US10372289B2 (en) * 2015-12-31 2019-08-06 Beijing Pico Technology Co., Ltd. Wraparound interface layout method, content switching method under three-dimensional immersive environment, and list switching method
EP3187976A3 (en) 2015-12-31 2017-09-13 Tobii AB System for gaze interaction
CN109416572A (zh) 2016-04-29 2019-03-01 托比股份公司 启用眼睛跟踪的可穿戴设备
US10552961B2 (en) * 2016-12-19 2020-02-04 Htc Corporation Method, device, and non-transitory computer readable storage medium for object tracking
WO2018156912A1 (en) 2017-02-27 2018-08-30 Tobii Ab System for gaze interaction
DK180048B1 (en) 2017-05-11 2020-02-04 Apple Inc. MAINTAINING THE DATA PROTECTION OF PERSONAL INFORMATION
DK201770427A1 (en) 2017-05-12 2018-12-20 Apple Inc. LOW-LATENCY INTELLIGENT AUTOMATED ASSISTANT
DK179496B1 (en) 2017-05-12 2019-01-15 Apple Inc. USER-SPECIFIC Acoustic Models
DK201770411A1 (en) 2017-05-15 2018-12-20 Apple Inc. MULTI-MODAL INTERFACES
US10303715B2 (en) 2017-05-16 2019-05-28 Apple Inc. Intelligent automated assistant for media exploration
US10390063B2 (en) 2017-12-22 2019-08-20 Comcast Cable Communications, Llc Predictive content delivery for video streaming services
US10798455B2 (en) 2017-12-22 2020-10-06 Comcast Cable Communications, Llc Video delivery
CN108090463B (zh) * 2017-12-29 2021-10-26 腾讯科技（深圳）有限公司 对象控制方法、装置、存储介质和计算机设备
US10831265B2 (en) 2018-04-20 2020-11-10 Microsoft Technology Licensing, Llc Systems and methods for gaze-informed target manipulation
US10928918B2 (en) 2018-05-07 2021-02-23 Apple Inc. Raise to speak
US10871874B2 (en) 2018-05-09 2020-12-22 Mirametrix Inc. System and methods for device interaction using a pointing device and attention sensing device
US20190354189A1 (en) * 2018-05-18 2019-11-21 High Fidelity, Inc. Use of gestures to generate reputation scores within virtual reality environments
US10924566B2 (en) 2018-05-18 2021-02-16 High Fidelity, Inc. Use of corroboration to generate reputation scores within virtual reality environments
US20190354170A1 (en) * 2018-05-18 2019-11-21 High Fidelity, Inc. Generation of relative reputation scores within virtual reality environments
US20190361521A1 (en) * 2018-05-22 2019-11-28 Microsoft Technology Licensing, Llc Accelerated gaze-supported manual cursor control
DK180639B1 (en) 2018-06-01 2021-11-04 Apple Inc DISABILITY OF ATTENTION-ATTENTIVE VIRTUAL ASSISTANT
US11462215B2 (en) 2018-09-28 2022-10-04 Apple Inc. Multi-modal inputs for voice commands
US11353952B2 (en) 2018-11-26 2022-06-07 Tobii Ab Controlling illuminators for optimal glints
US11348573B2 (en) 2019-03-18 2022-05-31 Apple Inc. Multimodality in digital assistant systems
US11307752B2 (en) 2019-05-06 2022-04-19 Apple Inc. User configurable task triggers
DK201970509A1 (en) 2019-05-06 2021-01-15 Apple Inc Spoken notifications
US11227599B2 (en) 2019-06-01 2022-01-18 Apple Inc. Methods and user interfaces for voice-based control of electronic devices
US10943388B1 (en) * 2019-09-06 2021-03-09 Zspace, Inc. Intelligent stylus beam and assisted probabilistic input to element mapping in 2D and 3D graphical user interfaces
EP3851939A1 (en) * 2020-01-14 2021-07-21 Apple Inc. Positioning a user-controlled spatial selector based on extremity tracking information and eye tracking information
US11061543B1 (en) 2020-05-11 2021-07-13 Apple Inc. Providing relevant data items based on context
US11490204B2 (en) 2020-07-20 2022-11-01 Apple Inc. Multi-device audio adjustment coordination
US11438683B2 (en) 2020-07-21 2022-09-06 Apple Inc. User identification using headphones
KR20220086873A (ko) * 2020-12-17 2022-06-24 한국전자통신연구원 숙련도 조절이 가능한 npc 생성 장치 및 방법
US11474598B2 (en) * 2021-01-26 2022-10-18 Huawei Technologies Co., Ltd. Systems and methods for gaze prediction on touch-enabled devices using touch interactions
US20220397975A1 (en) * 2021-06-09 2022-12-15 Bayerische Motoren Werke Aktiengesellschaft Method, apparatus, and computer program for touch stabilization

Family Cites Families (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4595990A (en) * 1980-12-31 1986-06-17 International Business Machines Corporation Eye controlled information transfer
GB2190268B (en) 1986-04-25 1990-03-28 Toshiba Machine Co Ltd Interactive graphic input system
US4836670A (en) 1987-08-19 1989-06-06 Center For Innovative Technology Eye movement detector
US4950069A (en) 1988-11-04 1990-08-21 University Of Virginia Eye movement detector with improved calibration and speed
US5546472A (en) 1992-08-07 1996-08-13 Arch Development Corp. Feature guided method and apparatus for obtaining an image of an object
US5471542A (en) 1993-09-27 1995-11-28 Ragland; Richard R. Point-of-gaze tracker
US5808601A (en) 1995-09-12 1998-09-15 International Business Machines Corporation Interactive object selection pointer method and apparatus
US5912721A (en) 1996-03-13 1999-06-15 Kabushiki Kaisha Toshiba Gaze detection apparatus and its method as well as information display apparatus
US5835083A (en) 1996-05-30 1998-11-10 Sun Microsystems, Inc. Eyetrack-driven illumination and information display
US5786815A (en) 1996-05-31 1998-07-28 Sun Microsystems, Inc. Configurable runtime graphical user interface widget management
US6067079A (en) * 1996-06-13 2000-05-23 International Business Machines Corporation Virtual pointing device for touchscreens
US5898423A (en) 1996-06-25 1999-04-27 Sun Microsystems, Inc. Method and apparatus for eyetrack-driven captioning
US5731805A (en) 1996-06-25 1998-03-24 Sun Microsystems, Inc. Method and apparatus for eyetrack-driven text enlargement
US5638176A (en) 1996-06-25 1997-06-10 International Business Machines Corporation Inexpensive interferometric eye tracking system
US5886683A (en) * 1996-06-25 1999-03-23 Sun Microsystems, Inc. Method and apparatus for eyetrack-driven information retrieval
US5850211A (en) 1996-06-26 1998-12-15 Sun Microsystems, Inc. Eyetrack-driven scrolling
US5822599A (en) 1996-12-17 1998-10-13 Intel Corporation Method and apparatus for selectively activating a computer display for power management
US6067069A (en) 1997-03-14 2000-05-23 Krause; Philip R. User interface for dynamic presentation of text with a variable speed based on a cursor location in relation to a neutral, deceleration, and acceleration zone
JPH1173290A (ja) 1997-07-03 1999-03-16 Funai Electric Co Ltd メニュー表示装置
US5839000A (en) 1997-11-10 1998-11-17 Sharp Laboratories Of America, Inc. Automatic zoom magnification control using detection of eyelid condition
US6182114B1 (en) 1998-01-09 2001-01-30 New York University Apparatus and method for realtime visualization using user-defined dynamic, multi-foveated images
US6152563A (en) * 1998-02-20 2000-11-28 Hutchinson; Thomas E. Eye gaze direction tracker
US6204828B1 (en) * 1998-03-31 2001-03-20 International Business Machines Corporation Integrated gaze/manual cursor positioning system
US6182098B1 (en) * 1998-07-22 2001-01-30 International Business Machines Corporation Next/current/last ticker graphical presentation method
US6243076B1 (en) 1998-09-01 2001-06-05 Synthetic Environments, Inc. System and method for controlling host system interface with point-of-interest data
TW372301B (en) 1998-09-04 1999-10-21 Zhi-Hong Chen The system of an eye-movement controlled man-machine interface for disables: optical eye-mouse
US6256021B1 (en) * 1998-09-15 2001-07-03 Ericsson Inc. Apparatus and method of configuring target areas within a touchable item of a touchscreen
US6282553B1 (en) * 1998-11-04 2001-08-28 International Business Machines Corporation Gaze-based secure keypad entry system
US6377284B1 (en) 1998-12-10 2002-04-23 International Business Machines Corporation Method of geometrically expanding vertically compressed lists of data
US6393136B1 (en) * 1999-01-04 2002-05-21 International Business Machines Corporation Method and apparatus for determining eye contact
US7120880B1 (en) * 1999-02-25 2006-10-10 International Business Machines Corporation Method and system for real-time determination of a subject's interest level to media content
US6577329B1 (en) * 1999-02-25 2003-06-10 International Business Machines Corporation Method and system for relevance feedback through gaze tracking and ticker interfaces
GB2348520B (en) * 1999-03-31 2003-11-12 Ibm Assisting user selection of graphical user interface elements
US6299308B1 (en) * 1999-04-02 2001-10-09 Cybernet Systems Corporation Low-cost non-imaging eye tracker system for computer control
US6438752B1 (en) * 1999-06-22 2002-08-20 Mediaone Group, Inc. Method and system for selecting television programs based on the past selection history of an identified user
US6466250B1 (en) * 1999-08-09 2002-10-15 Hughes Electronics Corporation System for electronically-mediated collaboration including eye-contact collaboratory
US6456262B1 (en) * 2000-05-09 2002-09-24 Intel Corporation Microdisplay with eye gaze detection
US6603491B2 (en) 2000-05-26 2003-08-05 Jerome H. Lemelson System and methods for controlling automatic scrolling of information on a display or screen
US6873314B1 (en) * 2000-08-29 2005-03-29 International Business Machines Corporation Method and system for the recognition of reading skimming and scanning from eye-gaze patterns
US6608615B1 (en) * 2000-09-19 2003-08-19 Intel Corporation Passive gaze-driven browsing
US6478425B2 (en) 2000-12-29 2002-11-12 Koninlijke Phillip Electronics N. V. System and method for automatically adjusting a lens power through gaze tracking
US7013258B1 (en) * 2001-03-07 2006-03-14 Lenovo (Singapore) Pte. Ltd. System and method for accelerating Chinese text input
US7027655B2 (en) * 2001-03-29 2006-04-11 Electronics For Imaging, Inc. Digital image compression with spatially varying quality levels determined by identifying areas of interest
US6918092B2 (en) 2001-04-20 2005-07-12 Sun Microsystems, Inc. Graphical list grouping widget and methods of use thereof
US6956979B2 (en) 2001-10-04 2005-10-18 International Business Machines Corporation Magnification of information with user controlled look ahead and look behind contextual information
US6712468B1 (en) * 2001-12-12 2004-03-30 Gregory T. Edwards Techniques for facilitating use of eye tracking data
GB2388209C (en) * 2001-12-20 2005-08-23 Canon Kk Control apparatus
FI115254B (fi) * 2001-12-20 2005-03-31 Nokia Corp Kosketusnäytön käyttäminen osoitinvälineellä
US6659611B2 (en) * 2001-12-28 2003-12-09 International Business Machines Corporation System and method for eye gaze tracking using corneal image mapping
JP4073215B2 (ja) * 2002-01-28 2008-04-09 富士通株式会社 文字入力装置
US6637883B1 (en) * 2003-01-23 2003-10-28 Vishwas V. Tengshe Gaze tracking system and method
GB2402507A (en) * 2003-06-03 2004-12-08 Canon Kk A user input interpreter and a method of interpreting user input

Cited By (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101690165B (zh) * 2007-02-02 2012-09-05 百诺克公司 尤其用于拍照的基于无意识的眼睛信号的控制方法
CN102822771A (zh) * 2010-01-21 2012-12-12 托比技术股份公司 基于眼球***的上下文动作
CN102822771B (zh) * 2010-01-21 2016-04-13 托比股份公司 基于眼球***的上下文动作
CN102402390A (zh) * 2010-09-16 2012-04-04 Lg电子株式会社 透明显示设备和使用透明显示设备提供信息的方法
CN102402287A (zh) * 2010-09-16 2012-04-04 Lg电子株式会社 透明显示设备和提供对象信息的方法
CN102402390B (zh) * 2010-09-16 2016-04-20 Lg电子株式会社 透明显示设备和使用透明显示设备提供信息的方法
CN106943743A (zh) * 2011-02-11 2017-07-14 漳州市爵晟电子科技有限公司 一种人机互动控制***
CN106943743B (zh) * 2011-02-11 2024-04-26 漳州市阿思星谷电子科技有限公司 一种人机互动控制方法
CN102176191A (zh) * 2011-03-23 2011-09-07 山东大学 一种基于视线跟踪的电视机操控方法
CN103518172A (zh) * 2011-04-21 2014-01-15 索尼计算机娱乐公司 凝视辅助的计算机界面
US9971401B2 (en) 2011-04-21 2018-05-15 Sony Interactive Entertainment Inc. Gaze-assisted computer interface
CN103518172B (zh) * 2011-04-21 2016-04-20 索尼计算机娱乐公司 凝视辅助的计算机界面
CN102915190B (zh) * 2011-08-03 2016-03-30 联想(北京)有限公司 一种显示处理方法、装置及电子设备
CN102915190A (zh) * 2011-08-03 2013-02-06 联想(北京)有限公司 一种显示处理方法、装置及电子设备
CN103999018B (zh) * 2011-12-06 2016-12-28 汤姆逊许可公司 响应三维显示对象的用户选择姿势的方法和***
CN103999032A (zh) * 2011-12-12 2014-08-20 英特尔公司 显示元素中所包括的感兴趣的区域的兴趣度分数
CN103999032B (zh) * 2011-12-12 2018-01-26 英特尔公司 显示元素中所包括的感兴趣的区域的兴趣度分数
CN104145232B (zh) * 2012-01-04 2017-09-22 托比股份公司 用于注视交互的***
CN104145232A (zh) * 2012-01-04 2014-11-12 托比技术股份公司 用于注视交互的***
CN110083202A (zh) * 2012-07-27 2019-08-02 诺基亚技术有限公司 与近眼显示器的多模交互
CN110083202B (zh) * 2012-07-27 2023-09-19 诺基亚技术有限公司 与近眼显示器的多模交互
CN103853329A (zh) * 2012-12-06 2014-06-11 Lg电子株式会社 移动终端及其控制方法
CN103853329B (zh) * 2012-12-06 2018-05-15 Lg电子株式会社 移动终端及其控制方法
CN109739361A (zh) * 2013-06-11 2019-05-10 三星电子株式会社 基于眼睛跟踪的可见度提高方法和电子装置
CN109739361B (zh) * 2013-06-11 2022-04-26 三星电子株式会社 基于眼睛跟踪的可见度提高方法和电子装置
CN105359076A (zh) * 2013-06-18 2016-02-24 微软技术许可有限责任公司 多步骤虚拟对象选择
CN105359076B (zh) * 2013-06-18 2019-06-18 微软技术许可有限责任公司 多步骤虚拟对象选择方法和装置
CN104820669A (zh) * 2014-01-31 2015-08-05 大众汽车有限公司 用于使用全景成像的增强时间推移视频生成的***和方法
CN104536556B (zh) * 2014-09-15 2021-01-15 联想(北京)有限公司 一种信息处理方法及电子设备
CN104536556A (zh) * 2014-09-15 2015-04-22 联想(北京)有限公司 一种信息处理方法及电子设备
WO2018209902A1 (zh) * 2017-05-19 2018-11-22 京东方科技集团股份有限公司 操作动作在显示屏上的执行方法和操作动作执行装置
US11231774B2 (en) 2017-05-19 2022-01-25 Boe Technology Group Co., Ltd. Method for executing operation action on display screen and device for executing operation action
CN111045519A (zh) * 2019-12-11 2020-04-21 支付宝(杭州)信息技术有限公司 一种基于眼动追踪的人机交互方法、装置和设备
CN111984125A (zh) * 2020-09-02 2020-11-24 广州彩熠灯光股份有限公司 一种舞台灯光控台操作方法、介质及舞台灯光控台
CN111984124A (zh) * 2020-09-02 2020-11-24 广州彩熠灯光股份有限公司 一种舞台灯光控台的操作方法、介质及舞台灯光控台

Also Published As

Publication number Publication date
US20050243054A1 (en) 2005-11-03
US9274598B2 (en) 2016-03-01
TW200617744A (en) 2006-06-01
TWI343015B (en) 2011-06-01
CN1300663C (zh) 2007-02-14

Similar Documents

Publication Publication Date Title
CN1300663C (zh) 用眼睛凝视和按键按压组合选择和激活对象的***和方法
US11416087B2 (en) Input system for controlling electronic device
CN106249909B (zh) 语言输入校正
Guiard et al. Object pointing: a complement to bitmap pointing in GUIs
US10162483B1 (en) User interface systems and methods
US6204828B1 (en) Integrated gaze/manual cursor positioning system
CN102067079B (zh) 在用户界面显示上呈现教导动画
Kin et al. Proton++ a customizable declarative multitouch framework
Wang et al. Camera phone based motion sensing: interaction techniques, applications and performance study
TWI290690B (en) Selective input system based on tracking of motion parameters of an input device
JP2986047B2 (ja) ディジタル入力用表示装置並びに入力処理装置および方法
US7013258B1 (en) System and method for accelerating Chinese text input
US20090073136A1 (en) Inputting commands using relative coordinate-based touch input
US20050047629A1 (en) System and method for selectively expanding or contracting a portion of a display using eye-gaze tracking
Kolsch et al. Multimodal interaction with a wearable augmented reality system
Henrikson et al. Head-coupled kinematic template matching: A prediction model for ray pointing in vr
Uddin Improving Multi-Touch Interactions Using Hands as Landmarks
US20040239618A1 (en) Method of inputing letters using mouse and its system
Kim et al. Tapboard 2: Simple and effective touchpad-like interaction on a multi-touch surface keyboard
CN114047872A (zh) 一种文本输入方法和***
WO2017116878A1 (en) Multimodal interaction using a state machine and hand gestures discrete values
Ni A framework of freehand gesture interaction: techniques, guidelines, and applications
Alan Scott et al. First Impressions: A Visual Catalogue for Understanding Interactions with Novel Interfaces in Augmented Reality
JP4438351B2 (ja) 指示入力装置、指示入力システム、指示入力方法、及びプログラム
Zhang et al. The Study of Two Novel Speech-Based Selection Techniques in Voice-User Interfaces

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant