CN102292690B - 电子数据输入*** - Google Patents
电子数据输入*** Download PDFInfo
- Publication number
- CN102292690B CN102292690B CN201080005298.5A CN201080005298A CN102292690B CN 102292690 B CN102292690 B CN 102292690B CN 201080005298 A CN201080005298 A CN 201080005298A CN 102292690 B CN102292690 B CN 102292690B
- Authority
- CN
- China
- Prior art keywords
- cursor
- mouse
- gesture
- display devices
- visual display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/0482—Interaction with lists of selectable items, e.g. menus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/0486—Drag-and-drop
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0489—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using dedicated keyboard keys or combinations thereof
- G06F3/04892—Arrangements for controlling cursor position based on codes indicative of cursor displacements from one discrete location to another, e.g. using cursor control keys associated to different directions or using the tab key
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
- Position Input By Displaying (AREA)
- Eye Examination Apparatus (AREA)
Abstract
***包括可视化显示装置、眼动追踪装置和处理器。眼动追踪装置能够检测眼球朝向所述可视化显示装置的方向。处理器与可视化显示装置及眼球跟踪装置进行通信。处理器能够使得光标显示于可视化显示装置。处理器能够从多个光标指令中执行光标指令,以响应所检测到的眼球朝向所显示光标的部分的方向。方法包括提供可视化显示装置、眼动追踪装置和与可视化显示装置及眼动追踪装置进行通信的处理器。该方法还包括使得光标显示于可视化显示装置。进一步地,该方法还包括检测眼球朝向所显示光标的部分的方向。此外,该方法还包括使得多个光标指令中的光标指令被执行,以响应所检测到的眼球方向。本发明还包括一种计算机可读介质。
Description
技术领域
本发明涉及用于输入电子数据的***和方法。
背景技术
该部分介绍了有助于更好的理解本发明的内容。因此,该部分的内容应在此种意义上被阅读,并且不应理解为对什么是现有技术或什么不是现有技术的承认。
现有多种类型的电子数据输入***。采用打字键盘、计算机鼠标硬件设备、声音识别***、触摸感应屏幕、光学字符识别设备、光学扫描设备、以太网、USB或其他电路连接装置、无线接收机,或者诸如硬盘、闪存盘或磁带等存储设备的计算机数据输入***均已出现。尽管有了这些发展,对于电子数据输入***的性能提升仍有持续性需求。
发明内容
根据本发明的一个实施例,提供了一种***。该***包括可视化显示装置(visualdisplay)、眼动追踪装置(eye-tracking arrangement)和处理器。所述眼动追踪装置能够检测眼球朝向所述可视化显示装置的方向。所述处理器与所述可视化显示装置及所述眼动追踪装置进行通信。所述处理器能够使得光标显示于所述可视化显示装置。所述处理器能够从多个光标指令中执行一个光标指令,以响应所检测到的眼球朝向所显示光标的部分的方向。
根据本发明的另一个实施例,提供了一种方法。该方法包括提供可视化显示装置、眼动追踪装置和与所述可视化显示装置及所述眼动追踪装置进行通信的处理器。该方法还包括使得光标显示于所述可视化显示装置。进一步地,该方法包括使得眼球朝向所显示光标的部分的方向被检测。此外,该方法包括使得多个光标指令中的一个光标指令被执行,以响应所检测到的眼球的方向。
根据本发明的再一个实施例,提供一种计算机可读介质。该计算机可读介质包括由***执行的计算机代码,其中,该***包括可视化显示装置、眼动追踪装置和与所述可视化显示装置及所述眼动追踪装置进行通信的处理器。所述计算机代码是可执行的,使得该***执行步骤,包括:使得光标显示于所述可视化显示装置;使得眼球朝向所显示光标的部分的方向被检测;以及使得多个光标指令中的一个光标指令被执行,以响应所检测到的眼球的方向。
对本领域技术人员来说,在阅读下述附图和具体实施例后,本发明的其他***、方法、特征和优点将是或将成为显而易见的。所有该等其他的***、方法、特征和优点均应包括在本发明的实施例中,均应属于本发明的范围,均应受本发明权利要求的保护。
附图说明
通过参照以下附图,本发明可以更容易理解。附图中的组成部件未必按比例,实际重点在于说明本发明的原理。此外,附图中相似的标记代表不同附图中对应的部件。
图1示出***的一个实施例的示意图;
图2示出***的另一个实施例的示意图;
图3示出***的再一个实施例的示意图;
图4示出***的又一个实施例的示意图;
图5示出方法的一个实施例的流程图。
具体实施方式
图1示出***100的一个实施例的示意图。该***100包括可视化显示装置102、眼动追踪装置104和处理器106。眼动追踪装置104能够检测眼球E朝向该可视化显示装置102的方向。如虚线108所示,处理器106与可视化显示装置102进行通信。如虚线110所示,处理器106也与眼动追踪装置104进行通信。处理器106能够使得光标112显示于可视化显示装置102。例如,光标112可以是一个屏幕计算机鼠标光标(on-screen computer mousecursor)。例如,该屏幕计算机鼠标光标112可以实现多个功能,该多个功能可包括代替传统的计算机鼠标硬件设备。处理器106能够从多个光标指令(未示出)中,执行一个光标指令,以响应所检测到的一只眼球E朝向所显示光标112的部分的方向。例如,一个所显示光标,如光标112,其“部分”可以是该光标的一个设定区域,该设定区域可以包括该光标的部分***边界,或该光标的部分内部区域,或这两者的组合。又如,一个所显示光标,如光标112,其“部分”可以是该光标内的一个点,该点可以位于该光标的***边界,或位于该光标的内部区域。该多个光标指令的示例可以包括:鼠标光标采集指令(a mouse cursor pickupcommand)、鼠标光标指向指令(a point the mouse cursor command)、向左拖拽光标指令(a drag cursor left command)、双击鼠标左键指令(a double mouse left clickcommand)、单击鼠标左键指令(a single mouse left click command)、显示鼠标光标菜单指令(a show mouse cursor menu command)、向上拖拽光标指令(a drag cursor upcommand)、向下拖拽光标指令(a drag cursor down command)、隐藏鼠标光标菜单指令(ahide mouse cursor menu command)、单击鼠标右键指令(a single mouse right clickcommand)、双击鼠标右键指令(a double mouse right click command)、向右拖拽光标指令(a drag cursor right command)、鼠标光标停留指令(a mouse cursor dropcommand)、鼠标光标拖放指令(a mouse cursor drag-drop command)、巡航控制开启指令(a cruise-control-on command)和巡航控制关闭指令(a cruise-control-offcommand)。例如,巡航控制开启指令可以使得光标112以预设的或用户设置的速度在可视化显示装置102上移动,或者使得数据输入区域(未示出),诸如同样被显示于可视化显示装置102的Word、Excel、PowerPoint或PDF文档等,,以预设的或用户设置的速度在该可视化显示装置102上垂直或水平地滚动。光标112以及本文中涉及的其他光标,可以具有任何选定的形状与外观。例如,光标112可以是箭头形、竖线、十字形、几何图形,或者真实或抽象的图像或符号。
在***100的一个实施例中,一个作为***100的操作员的人(未示出)可以处于看到可视化显示装置102的合适位置。例如,***操作员的眼球E的方向可以如图中虚线箭头114所示。例如,眼球E的瞳孔P可以凝视于可视化显示装置102所显示的光标112内的第一点116。例如,可对处理器106进行配置,使其为可视化显示装置102的整个像素矩阵(未示出)分配沿两轴向的二维像素坐标,该两轴由箭头x、y表示。例如,第一点116可具有沿着该x轴的水平像素坐标H和沿着该y轴的垂直像素坐标V。眼动追踪装置104能够检测眼球E朝向可视化显示装置102的方向。例如,***100可以能够根据眼动追踪装置104采集的数据生成凝视点信息,该凝视点信息由像素坐标(H,V)表示,并代表与眼球E的方向114相对应的可视化显示装置102上第一点116。
在另一个实施例中,***100可使得光标112的箭尖最初位于可视化显示装置102的一个点118。例如,光标112可以是一个如前述的屏幕计算机鼠标光标。进一步地,又如,***100起初将光标112显示于可视化显示装置102上“鼠标光标停留”静止(stationary)位置。如果***操作员保持眼球E的方向114,如朝向光标112的一部分或朝向光标112内的第一点116,超过预设时间区间(a predetermined elapsed time period),处理器106将可执行“鼠标光标采集”指令。进一步地,例如,***100随后可将眼球E转向朝向第二点122的另一方向的运动,解释为“鼠标光标指向”指令,该另一方向如虚线箭头120所示。接着,例如,***100可使得光标112的箭尖沿着虚线箭头123的方向被移动至第二点122。然后,如果***操作员在预设时间区间内保持眼球E朝向光标112内第二点122的方向120,处理器106将可执行“鼠标光标停留”指令。在另一实施例中,一个预设的眨眼动作可以代替该预设时间区间。例如,***100可以被配置为检测慢速眨眼动作、快速重复眨眼动作,或其他由***100预设的或***操作员设定的眨眼动作。例如,预设眨眼动作可以是一个预定义的眨眼动作,该预定义的眨眼动作不仅与***操作员的正常眨眼动作基本不同,而且可被***100与该正常眨眼动作相区分。接着,如果***操作员通过预设眨眼动作,保持眼球E朝向光标112的一部分或朝向光标112内第一点116的方向114,处理器106将可执行“鼠标光标采集”指令。进一步地,例如,***100随后可将眼球E转向朝向第二点122的另一方向的运动,解释为“鼠标光标指向”指令,该另一方向如虚线箭头120所示。例如,***100可接着使得光标112的箭尖沿着虚线箭头123的方向被移动至第二点122。如果***操作员然后通过预设眨眼动作,保持眼球E朝向光标112内第二点122的方向120,处理器106将可执行“鼠标光标停留”指令。
在又一个实施例中,如果***操作员在预设时间区间内或通过预设眨眼动作,保持眼球E朝向光标112的一部分的方向114,如朝向光标112内第一点116,处理器106从多个光标指令(未示出)中,在一个光标指令上执行“鼠标点击”,以响应所检测到的眼球E的方向。作为示例,处理器106可以执行向左拖拽光标指令、双击鼠标左键指令、单击鼠标左键指令、显示鼠标光标菜单指令、向上拖拽光标指令、向下拖拽光标指令、隐藏鼠标光标菜单指令、单击鼠标右键指令、双击鼠标右键指令、向右拖拽光标指令、巡航控制开启指令或巡航控制关闭指令。例如,***操作员可以使得处理器106相继执行多个该等光标指令。作为示例,不同光标指令的执行可通过一个或多个语音、视觉或震动信号进行确认。例如,光标112可以包括一个部分,如点118,该部分专用于根据眼球E朝向该点118的方向如前述方式执行“鼠标光标指向”指令。进一步地,例如,光标112中的其他点或部分(未示出)可分别专用于该多个其他光标指令中的每一个光标指令,根据眼球E朝向这些点或部分的方向如前述方式执行相应的光标指令。
在一个实施例中,***操作员可以利用***100在数据输入区域的部分区域126执行文本扫选操作(a text sweeping and selecting operation),该数据输入区域如可视化显示装置102上所显示的Word、Excel、PDF或PowerPoint文档(未示出)等。例如,***操作员可以使得处理器106如前述方式相继执行“鼠标光标采集”和“鼠标光标指向”光标指令,将光标112的箭尖置于点118,作为数据输入区域的部分区域126中开始文本扫选操作的选定位置。接着,例如,***操作员可以使得处理器106利用屏幕计算机鼠标光标112相继执行“单击鼠标左键”和“向左拖拽光标”光标指令。随后,例如,***操作员可以转动眼球E至朝向第二点122的方向120。接着,例如,***操作员可以执行“鼠标光标拖放”或“鼠标光标停留”光标指令。此时,例如,该数据输入区域的部分区域126中,点118和122之间的文本可被处理器106指定为“被选中”。
接着,***管理员可以使得处理器106生成被选中文本的副本,以用于随后的文本粘贴操作。例如,***操作员可以根据眼球E朝向光标112内一个点或部分的方向,执行“单击鼠标右键指令”。例如,该单击鼠标右键指令可以使得鼠标右键指令菜单128显示于可视化显示装置102。接着,例如,***操作员可以将眼球E移动至朝向该鼠标右键指令菜单128中“复制”指令(未示出)的方向,然后如前述方式执行“单击鼠标左键”指令。此时,例如,该数据输入区域的部分区域126中,点118和122之间的文本可被处理器106指定为“被复制”。
在另一个实施例中,***操作员可以操控***100,使得处理器106在可视化显示装置102的带有滚动按钮(未示出)的滚动条上执行拖拽操作。首先,例如,***操作员可以操控***100执行“鼠标光标指向”指令,移动光标112至该滚动按钮。然后,例如,***操作员可以操控***100,使得处理器106执行相应的指令:“向下拖拽光标”、“向上拖拽光标”、“向左拖拽光标”或“向右拖拽光标”光标指令。又如,***操作员可以操控***100,使得处理器106对可视化显示装置102所显示的数据输入区域(未示出),诸如Word、Excel、PDF或PowerPoint文档等,进行滚动操作。首先,例如,***操作员可以操控***100执行“鼠标光标指向”指令,移动光标112至该数据输入区域的选定位置。接着,例如,***操作员可以操控***100,使得处理器106执行“向下拖拽光标”、“向上拖拽光标”、“向左拖拽光标”或“向右拖拽光标”光标指令,以使得该数据输入区域向相应的方向滚动。随后,例如,***操作员可以执行“鼠标光标拖放”或“鼠标光标停留”光标指令。
在又一实施例中,***100可以被配置为根据眼球E相对于可视化显示装置102的方向,激活或休眠该***100,也即,“开启”或“关闭”该***100。例如,眼动追踪装置104可以能够检测眼球E未朝向可视化显示装置102的方向。例如,如果***操作员将他或她的双眼视线E从可视化显示装置102移开,经过预设时间区间,***100可以使得处理器106休眠或“关闭”该***100。随后,例如,如果***操作员保持眼球E朝向可视化显示装置102的方向,经过预设时间区间,***100可以使得处理器106激活或“开启”该***100。例如,当***100的其他部分休眠时,眼动追踪装置104可以保持工作状态,以便于再次如此激活该***100。例如,用于“关闭”***100的预设时间区间可以是一个相对长的时间区间,以便***操作员可以在正常情况下暂时将他或她的视线从可视化显示装置102移开,而不会导致过早“关闭”该***100。在进一步的实施例中,***100可以被配置为根据眼球E朝向可视化显示装置102的其他方向,以类似方式激活或休眠该***100。例如,***100可以被配置为根据预设的朝向可视化显示装置102的眨眼动作,以类似方式激活或休眠该***100。
图2示出***200的另一实施例的示意图。该***200包括可视化显示装置202、眼动追踪装置204和处理器206。眼动追踪装置204能够检测眼球E朝向可视化显示装置202的方向。如虚线208所示,处理器206与可视化显示装置202进行通信。如虚线210所示,处理器206也与眼动追踪装置204进行通信。处理器206能够使得光标212显示于可视化显示装置202。例如,光标212可以包括一个部分,如点218,该部分专用于根据眼球E朝向该点218的方向执行“鼠标光标指向”指令,其执行方式与前述***100中相关指令执行方式相同。例如,处理器206可以被配置为使得所显示光标212包括多个光标指令执行单元226、228、230、232、234、236、238、240、242、244、246、248、250、252、254,每个光标指令执行单元显示于可视化显示装置202的不同部分,其中,该等光标指令执行单元226-254中的每一个对应于多个光标指令(未示出)中之一。例如,光标指令执行单元226、228、230、232、234、236、238、240、242、244、246、248、250、252、254可以分别对应于以下光标指令:鼠标光标采集指令、鼠标光标指向指令、向左拖拽光标指令、双击鼠标左键指令、单击鼠标左键指令、显示鼠标光标菜单指令、向上拖拽光标指令、向下拖拽光标指令、隐藏鼠标光标菜单指令、单击鼠标右键指令、双击鼠标右键指令、向右拖拽光标指令、鼠标光标停留指令、鼠标光标拖放指令和巡航控制开启/关闭切换指令。例如,光标指令执行单元226-254中的每一个,可以包括一个标识其对应光标指令的标签(未示出)。例如,该等标签(未示出)中的每一个可以在光标212上总是可见的;或可被隐藏,除非当检测到眼球E朝向光标212中一部分内第一点216的方向为214时,其中,该一部分包括对应的该等光标指令执行单元226-254中之一。处理器206能够从多个光标指令(未示出)中,执行一个光标指令,以响应所检测到的眼球E朝向光标212内一个点或部分的方向,该点或部分如所显示光标212内该等光标指令执行单元226-254之一。
在***200的一个实施例中,一个作为***200的操作员的人(未示出)可以处于看到可视化显示装置202的合适位置。例如,***操作员的眼球E的方向可以如图中虚线箭头214所示。例如,眼球E的瞳孔P可以凝视于可视化显示装置202所显示的光标212内的第一点216。例如,可对处理器206进行配置,使其为可视化显示装置202的整个像素矩阵(未示出)分配沿两轴向的二维像素坐标,该两轴由箭头x、y表示。例如,第一点216可具有沿着该x轴的水平像素坐标H和沿着该y轴的垂直像素坐标V。眼动追踪装置204能够检测眼球E朝向可视化显示装置202的方向。例如,***200能够根据眼动追踪装置204采集的数据生成凝视点信息,该凝视点信息由像素坐标(H,V)表示,并代表与眼球E的方向214相对应的可视化显示装置202上光标212内的第一点216。例如,可视化显示装置202上的第一点216可以位于该等光标指令执行单元226-254中之一,每个光标指令执行单元显示于该光标212的不同部分,其中,该等光标指令执行单元226-254中的每一个对应于多个光标指令(未示出)中之一。例如,处理器206能够从多个光标指令(未示出)中,选择执行与该等光标指令执行单元226-254中之一相对应的光标指令。如图2所示的实施例中,所显示光标212中包括光标指令执行单元236,该光标指令执行单元对应“显示鼠标光标菜单”指令,当检测到眼球E朝向光标指令执行单元236上的第一点216的方向214时,处理器206可执行“显示鼠标光标菜单”指令。例如,处理器206可随后使得可视化显示装置202显示鼠标光标菜单256,该鼠标光标菜单256包括多个标识光标指令的标签(未示出),这些光标指令分别对应于光标指令执行单元226-254。又如,光标指令执行单元226-254中的每一个包括一个标识其相应光标指令的标签(未示出)。在另一实施例中,该等标签(未示出)中的每一个可被隐藏,除非当检测到眼球E朝向第一点216的方向为214时,其中,该第一点216位于该等光标指令执行单元226-254中之一内。又如,光标指令执行单元226-254中的每一个可以不同颜色编码,以标识其对应的光标指令。
图3示出***300的再一实施例的示意图。该***300包括可视化显示装置302、眼动追踪装置304和处理器306。眼动追踪装置304能够检测眼球E朝向可视化显示装置302的方向。如虚线308所示,处理器306与可视化显示装置302进行通信。如虚线310所示,处理器306也与眼动追踪装置304进行通信。处理器306能够使得光标312显示于可视化显示装置302。例如,光标312可以包括一个***边界313。例如,光标312可以包括一个部分,如点318,该部分专用于根据眼球E朝向该点318的方向执行“鼠标光标指向”指令,其执行方式与前述***100中相关指令执行方式相同。例如,光标312可以包括多个光标指令执行单元326、328、330、332、334、336、338、340、342、344、346、348、350、352、354,每个光标指令执行单元显示于可视化显示装置302上光标312的***边界313的不同部分,其中,光标指令执行单元326-354中的每一个对应于多个光标指令(未示出)中之一。例如,光标指令执行单元326、328、330、332、334、336、338、340、342、344、346、348、350、352、354可以分别对应于以下光标指令:鼠标光标采集指令、向左拖拽光标指令、双击鼠标左键指令、单击鼠标左键指令、显示鼠标光标菜单指令、向上拖拽光标指令、向下拖拽光标指令、隐藏鼠标光标菜单指令、单击鼠标右键指令、双击鼠标右键指令、向右拖拽光标指令、鼠标光标停留指令、鼠标光标拖放指令、巡航控制开启指令和巡航控制关闭指令。处理器306能够从多个光标指令(未示出)中,执行一个光标指令,以响应所检测到的眼球朝向光标312中的一个点或部分的方向,该点或部分如所显示光标312的***边界313周围的该等光标指令执行单元326-354中之一。
例如,光标指令执行单元326-354中的每一个,可以包括一个标识其对应光标指令的标签(未示出)。例如,该等标签(未示出)中的每一个可被隐藏,除非当检测到眼球E朝向沿着光标312的***边界313中一部分的第一点316的方向为314时,其中,该一部分包括对应的该等光标指令执行单元326-354中之一。又如,“显示鼠标光标菜单”指令的执行可以使得处理器306显示鼠标光标菜单356。例如,光标指令执行单元326-354中的每一个可以不同颜色编码,以标识其对应的光标指令。在一个进一步的实施例中,该多个光标指令执行单元326-354中的每一个可以位于光标312的***边界313的被选定部分,以使该位置适合指明该光标指令执行单元所对应的光标指令。例如,多个光标指令执行单元326-354中的每一个可以位于光标312的***边界313的一部分,其分布方式与传统计算机鼠标硬件设备中手动光标指令执行单元的布局相一致。例如,“左侧”和“右侧”指令执行单元可以分别位于***边界313的左侧315和右侧317。又如,“双击”指令可以与其相应的“单击”指令毗邻。此外,例如,“向上”和“向下”指令可以分别位于***边界313的顶端319和底端321。
在***300的一个实施例中,一个作为***300的操作员的人(未示出)可以处于看到可视化显示装置302的合适位置。例如,***操作员的眼球E的方向可以如图中虚线箭头314所示。例如,眼球E的瞳孔P可以凝视于可视化显示装置302所显示的光标312的***边界313内第一点316。例如,对处理器306进行配置,使其为可视化显示装置302的整个像素矩阵(未示出)分配沿两轴向的二维像素坐标,该两轴由箭头x、y表示。例如,第一点316可具有沿着该x轴的水平像素坐标H和沿着该y轴的垂直像素坐标V。眼动追踪装置304能够检测眼球E朝向可视化显示装置302的方向。例如,***300能够根据眼动追踪装置304采集的数据生成凝视点信息,该凝视点信息由像素坐标(H,V)表示,并代表与眼球E的方向314相对应的可视化显示装置302上光标312的***边界313内第一点316。例如,可视化显示装置302上的第一点316可以位于该等光标指令执行单元326-354中之一内,每个光标指令执行单元显示于光标312的***边界313的不同部分,其中,光标指令执行单元326-354中的每一个对应于多个光标指令(未示出)中之一。例如,处理器306能够从多个光标指令(未示出)中,选择执行与该等光标指令执行单元326-354中之一相对应的光标指令。如图3所示的实施例中,所显示光标312的***边界313上的光标指令执行单元342表示“单击鼠标右键”指令,当检测到眼球E朝向光标指令执行单元342上第一点316的方向314时,处理器306执行“单击鼠标右键”指令。
图4示出***400的又一实施例的示意图。该***400包括可视化显示装置402、眼动追踪装置404和处理器406。眼动追踪装置404能够检测眼球E朝向可视化显示装置402的方向。如虚线408所示,处理器406与可视化显示装置402进行通信。如虚线410所示,处理器406也与眼动追踪装置404进行通信。处理器406能够使得光标412显示于可视化显示装置402。例如,处理器406能够响应于所检测到的眼球E朝向光标412的一个点或部分的方向,使得可视化显示装置402显示包括光标412和鼠标光标菜单415的扩展光标413,该鼠标光标菜单415包括多个光标指令执行单元426、428、430、432、434、436、438、440、442、444、446、448、450、452,每个光标指令执行单元对应于多个光标指令中之一。例如,光标指令执行单元426、428、430、432、434、436、438、440、442、444、446、448、450、452可以分别对应于以下光标指令:鼠标光标采集指令、向左拖拽光标指令、双击鼠标左键指令、单击鼠标左键指令、向上拖拽光标指令、向下拖拽光标指令、隐藏鼠标光标菜单指令、单击鼠标右键指令、双击鼠标右键指令、向右拖拽光标指令、鼠标光标停留指令、鼠标光标拖放指令、巡航控制开启指令和巡航控制关闭指令。例如,光标指令执行单元426-452的菜单415可以隐藏于可视化显示装置402,除非当检测到眼球E朝向光标412的方向为414时。又如,光标指令执行单元426-452的菜单415可以隐藏于可视化显示装置402,除非当检测到眼球E朝向光标412的第一部分416的方向为414时。作为示例,光标412的第一部分416可通过与光标412的其他部分不同的外观进行标记,如指定颜色或做阴影处理。进一步地,例如,光标指令执行单元426-452的菜单415可以在可视化显示装置402上毗邻光标412进行显示,或者在可视化显示装置402的其他位置(未示出)进行显示。当***400检测到眼球E朝向光标412的部分的方向,或朝向扩展光标413的部分的方向时,处理器406能够从多个光标指令(未示出)中,执行一个光标指令,以响应所检测到的眼球E朝向可视化显示装置402所显示的多个光标指令执行单元426-452中之一的方向。
在***400的一个实施例中,一个作为***400的操作员的人(未示出)可以处于看到可视化显示装置402的合适位置。例如,***操作员的眼球E的方向可以如图中虚线箭头414所示。例如,眼球E的瞳孔P可以凝视于可视化显示装置402所显示的光标412内第一部分416。例如,对处理器406进行配置,使其为可视化显示装置402的整个像素矩阵(未示出)分配沿两轴向的二维像素坐标,该两轴由箭头x、y表示。例如,第一部分416沿着该x轴的水平像素坐标区域为H至I,沿着该y轴的垂直像素坐标区域为V至W。眼动追踪装置404能够检测眼球E朝向可视化显示装置402的方向。例如,***400能够根据眼动追踪装置404采集的数据生成凝视点信息,该凝视点信息由像素坐标(H,V)至(I,W)表示的矩阵区域,并代表与眼球E的方向414相对应的可视化显示装置402上光标412内第一部分416。例如,当***400检测眼球E朝向光标412内第一部分416的方向414时,处理器406可以使得扩展光标413显示于可视化显示装置402,该扩展光标413包括光标指令执行单元426-452的菜单415,并且该菜单415毗邻光标412或显示于可视化显示装置402的其他位置。例如,***操作员(未示出)可以使得眼球E移动至朝向扩展光标413的第二部分419的方向417,该第二部分419包括被显示菜单415中光标指令执行单元426-452之一。随后,例如,处理器406从多个光标指令(未示出)选择执行一个光标指令,该光标指令与该等光标指令执行单元426-452中之一相对应。如图4所示的实施例中,处理器406可以执行与检测到的眼球E朝向菜单415的第二部分419的方向417相对应的“鼠标光标拖放”指令,该第二部分419包括代表“鼠标光标拖放”指令的光标指令执行单元448。
例如,***100、200、300、400能够检测眼球E保持朝向可视化显示装置102、202、302、402上光标112、212、312、412内点或部分116、216、316、416、419的方向114、214、314、414、417的持续时间。例如,眼动追踪装置104、204、304、404持续采样关于眼球E朝向可视化显示装置102、202、302、402的方向的凝视点数据,该方向可以朝向光标112、212、312、412,或者朝向可视化显示装置102、202、302、402的其他部分,或者偏离可视化显示装置102、202、302、402。进一步地,例如,处理器106、206、306、406能够对预设时间区间值与所检测到的眼球E朝向可视化显示装置102、202、302、402内点或部分116、216、316、416、419的方向114、214、314、414、417的持续时间进行比较。例如,当所检测到的持续时间达到预设时间区间值,处理器106、206、306、406能够执行光标指令。例如,该预设时间区间值可以由***操作员设定,并编程写入***100、200、300、400。例如,***100、200、300、400可以存储多个不同的预设时间区间值,分别对应不同的功能。例如,处理器106、206、306、406可以设定和存储一个最短的预设时间区间值,以对应于每一个“鼠标光标采集”和“鼠标光标停留”指令。又如,***100、200、300、400存储一个用于“开启”***100、200、300、400的预设时间区间值,和一个用于“关闭”***100、200、300、400的预设时间区间值。
进一步地,在另一实施例中,***100、200、300、400能够检测眼球E朝向可视化显示装置102、202、302、402上第一点或部分116、216、316、416的方向114、214、314、414的初始位置。在该另一实施例中,***100、200、300、400还能够检测眼球E转向朝向可视化显示装置102、202、302、402上第二点或部分122、222、322、422的另一方向的后续位置的运动,该另一方向如虚线箭头120、220、320、420所示。又如,处理器106、206、306、406能够根据所检测到的眼球E从朝向可视化显示装置102、202、302、402的第一点或部分116、216、316、416的一个方向114、214、314、414转至朝向可视化显示装置102、202、302、402的第二点或部分122、222、322、422的另一方向120、220、320、420的运动,使得光标112、212、312、412在可视化显示装置102、202、302、402上被移动。进一步地,例如,处理器106、206、306、406能够使得可视化显示装置102、202、302、402显示数据区域输入光标(data filed input cursor)124、224、324、424,并能够使得数据区域输入光标124、224、324、424沿着虚线箭头123、223、323、423的方向,被移动至可视化显示装置102、202、302、402的第二点或部分122、222、322、422。此外,例如,***100、200、300、400还能够检测眼球E在方向114、214、314、414上大于角度阈值theta(θ)的变化。例如,一旦检测到眼球E在方向114、214、314、414的变化大于角度阈值θ,***100、200、300、400使得处理器106、206、306、406根据眼球E相对于可视化显示装置102、202、302、402在方向114、214、314、414的方向和幅度的变化,在可视化显示装置102、202、302、402上将光标112、212、312、412沿一定方向移动一定比例的距离。
图5示出方法500的一个实施例的流程图。该方法开始于步骤505,随后步骤510包括提供可视化显示装置102、202、302、402,眼动追踪装置104、204、304、404和与可视化显示装置102、202、302、402及眼动追踪装置104、204、304、404进行通信的处理器106、206、306、406。例如,步骤510可以包括配置处理器106、206、306、406,使其为可视化显示装置102、202、302、402的整个像素矩阵(未示出)分配沿两轴向的二维像素坐标,该两轴由箭头x、y表示。步骤515包括使得光标112、212、312、412显示于可视化显示装置102、202、302、402。
在一个实施例中,***操作员(未示出)可以处于看到可视化显示装置102、202、302、402的合适位置。例如,***操作员的眼球E的方向可以如图中虚线箭头114、214、314、414所示。例如,眼球E的瞳孔P可以凝视于可视化显示装置102、202、302、402所显示的光标112、212、312、412内第一点或部分116、216、316、416。例如,第一点或部分116、216、316、416可以包括凝视点,该凝视点沿着该x轴的水平像素坐标为H,沿着该y轴的垂直像素坐标为V。在步骤520中,可检测眼球E朝向可视化显示装置102、202、302、402所显示的光标112、212、312、412内第一点或部分116、216、316、416的方向。例如,可使眼动追踪装置104、204、304、404检测眼球E的方向。在步骤520中,进一步地,例如,眼动追踪装置104、204、304、404可采集数据;该数据可用于生成凝视点信息,该凝视点信息由像素坐标(H,V)表示,并代表与眼球E的方向114、214、314、414相对应的可视化显示装置102、202、302、402上第一点或部分116、216、316、416。
在步骤530中,从多个光标指令(未示出)中,执行一个光标指令,以响应所检测到的眼球E朝向所显示光标112、212、312、412的一个点或部分的方向。例如,处理器106、206、306、406可以执行该光标指令。作为示例,该多个光标指令可以包括:鼠标光标采集指令、鼠标光标指向指令、向左拖拽光标指令、双击鼠标左键指令、单击鼠标左键指令、显示鼠标光标菜单指令、向上拖拽光标指令、向下拖拽光标指令、隐藏鼠标光标菜单指令、单击鼠标右键指令、双击鼠标右键指令、向右拖拽光标指令、鼠标光标停留指令、鼠标光标拖放指令、巡航控制开启指令和巡航控制关闭指令。随后,例如,方法500结束于步骤540。
在另一实施例中,步骤515可以包括使得光标212显示于可视化显示装置202,光标212包括多个光标指令执行单元226、228、230、232、234、236、238、240、242、244、246、248、250、252、254,每个光标指令执行单元显示于可视化显示装置202的不同部分,其中,光标指令执行单元226-254中的每一个对应于多个光标指令(未示出)中之一。进一步地,在该另一实施例中,步骤515可以包括对处理器206进行编程,以使得光标指令执行单元226、228、230、232、234、236、238、240、242、244、246、248、250、252、254可以分别对应于以下光标指令:鼠标光标采集指令、鼠标光标指向指令、向左拖拽光标指令、双击鼠标左键指令、单击鼠标左键指令、显示鼠标光标菜单指令、向上拖拽光标指令、向下拖拽光标指令、隐藏鼠标光标菜单指令、单击鼠标右键指令、双击鼠标右键指令、向右拖拽光标指令、鼠标光标停留指令、鼠标光标拖放指令、巡航控制开启指令和巡航控制关闭指令。例如,步骤515还可以包括对处理器206进行编程,以使得可视化显示装置202以适合标识对应光标指令的方式,显示光标指令执行单元226-254中的每一个。例如,步骤515可以包括对处理器206进行编程,以使得可视化显示装置202显示用于标识光标指令的标签,该光标指令与光标指令执行单元226-254中的每一个相对应。例如,步骤515可以包括对处理器206进行编程,以使得该等标签总是显示于光标212。又如,步骤515可以包括对处理器206进行编程,以隐藏该等标签,除非当检测到眼球E朝向光标212内第一点或部分216的方向为214时,其中,该第一点或部分216包括对应的光标指令执行单元226-254中之一。进一步地,例如,步骤530可以包括使处理器206从多个光标指令(未示出)中,执行一个光标指令,以响应所检测到的眼球E朝向所显示光标212的多个光标指令执行单元226-254之一的方向。
在又一实施例中,步骤515可以包括使得带有光标***边界313的光标312显示于可视化显示装置302,该光标312包括多个光标指令执行单元326、328、330、332、334、336、338、340、342、344、346、348、350、352、354,每个光标指令执行单元显示于可视化显示装置302的光标312的***边界313的不同部分,其中,光标指令执行单元326-354中的每一个对应于多个光标指令(未示出)中之一。在该又一实施例中,步骤515可以包括对处理器306进行编程,使得光标指令执行单元326、328、330、332、334、336、338、340、342、344、346、348、350、352、354可以分别对应于以下光标指令:鼠标光标采集指令、向左拖拽光标指令、双击鼠标左键指令、单击鼠标左键指令、显示鼠标光标菜单指令、向上拖拽光标指令、向下拖拽光标指令、隐藏鼠标光标菜单指令、单击鼠标右键指令、双击鼠标右键指令、向右拖拽光标指令、鼠标光标停留指令、鼠标光标拖放指令、巡航控制开启指令和巡航控制关闭指令。进一步地,例如,步骤515可以包括对处理器306进行编程,使得可视化显示装置302以适合标识对应光标指令的方式,显示光标指令执行单元326-354中的每一个。例如,步骤515可以包括对处理器306进行编程,使得可视化显示装置302显示用于标识光标指令的标签,该光标指令与光标指令执行单元326-354中的每一个相对应。在另一实施例中,步骤515可以包括对处理器306进行编程,以隐藏该等标签,除非当检测到眼球E朝向光标312的***边界313中一部分内第一点316的方向为314时,其中,该一部分包括对应的光标指令执行单元326-354之一。又如,步骤515可以包括对处理器306进行编程,使得光标指令执行单元326-354中的每一个以不同颜色编码显示于可视化显示装置302,以标识其对应的光标指令。在一个进一步的实施例中,步骤515可以包括对处理器306进行编程,使得多个光标指令执行单元326-354中的每一个显示于可视化显示装置302中光标312的***边界313的被选定位置或部分,以使该位置适合指明与该光标指令执行单元相对应的光标指令。例如,“左侧”和“右侧”光标指令执行单元可以分别位于***边界313的左侧315和右侧317。又如,“双击”指令可以与其相应的“单击”指令毗邻。此外,例如,“向上”和“向下”指令可以分别位于***边界313的顶端319和底端321。进一步地,步骤530可以包括使处理器306从多个光标指令(未示出)中,执行一个光标指令,以响应所检测到的眼球E朝向所显示光标312的***边界313周围的多个光标指令执行单元326-354之一的方向。
在又一实施例中,步骤515可以包括对处理器406进行编程,使得处理器406能够显示光标412和额外显示菜单415,以响应所检测到的眼球E朝向光标412的部分的方向,该菜单415包括多个光标指令执行单元426、428、430、432、434、436、438、440、442、444、446、448、450、452,每个光标指令执行单元分别对应多个光标指令中之一。在该又一实施例中,进一步地,步骤515可以包括使得可视化显示装置402显示光标412,以使菜单415最初未显示并被隐藏。例如,步骤515还可以进一步包括当检测到眼球E朝向光标412的方向为414时,在可视化显示装置402显示菜单415,该菜单415包括多个光标指令执行单元426-452。又如,步骤515可以包括当检测到眼球E朝向光标412内第一部分416的方向为414时,在可视化显示装置402显示菜单415,该菜单415包括多个光标指令执行单元426-452。作为示例,步骤515可以包括显示光标412的第一部分416,该第一部分416以与光标412的其他部分不同的展现方式进行标记,如标记为指定颜色或做阴影处理。进一步地,例如,步骤515可以包括在可视化显示装置402上毗邻光标412显示光标指令执行单元426-452的菜单415,或者在可视化显示装置402的其他位置(未示出)显示。例如,步骤515可以包括对处理器406进行编程,使得光标指令执行单元426、428、430、432、434、436、438、440、442、444、446、448、450、452可以分别对应于以下光标指令:鼠标光标采集指令、向左拖拽光标指令、双击鼠标左键指令、单击鼠标左键指令、显示鼠标光标菜单指令、向上拖拽光标指令、向下拖拽光标指令、隐藏鼠标光标菜单指令、单击鼠标右键指令、双击鼠标右键指令、向右拖拽光标指令、鼠标光标停留指令、鼠标光标拖放指令、巡航控制开启指令和巡航控制关闭指令。在步骤520,眼动追踪装置404可以检测眼球E朝向可视化显示装置402所显示光标412内第一点或部分416的方向。在步骤525,眼动追踪装置404可以检测眼球E朝向可视化显示装置402所显示的第二点或部分419的方向,该第二点或部分419位于光标菜单415中多个光标指令执行单元426-452之一。进一步地,例如,步骤530可以包括使得处理器406从多个光标指令(未示出)中,执行一个光标指令,以响应所检测到的眼球E朝向所显示光标412中多个光标指令执行单元426-452之一的方向。
在一个实施例中,步骤520、525可以包括检测眼球E保持朝向可视化显示装置102、202、302、402所显示的光标112、212、312、412内第一点或部分116、216、316、416的方向114、214、314、414的持续时间。进一步地,例如,步骤520、525可以包括对预设时间区间值与所检测到的眼球E朝向可视化显示装置102、202、302、402上第一点或部分116、216、316、416的方向114、214、314、414、417的持续时间进行比较。作为对该实施例的补充,步骤530可以包括当检测到的持续时间达到预设时间区间值时,使得处理器106、206、306、406执行光标指令。例如,步骤510还可以包括将预设时间区间值编程写入处理器106、206、306、406,作为***操作员设定的时间区间。
在另一实施例中,步骤520、525可以包括检测眼球E朝向如虚线箭头114、214、314、414所指的可视化显示装置102、202、302、402上第一点或部分116、216、316、416的一个方向的初始位置。进一步地,在该另一实施例中,步骤520、525可以包括检测眼球E转向如虚线箭头120、220、320、420所指的可视化显示装置102、202、302、402上第二点或部分122、222、322、422的另一方向的后续位置的运动。作为对该另一实施例的补充,方法500在步骤530可以包括根据所检测到的眼球E从朝向可视化显示装置102、202、302、402上第一点或部分116、216、316、416的一个方向转至朝向可视化显示装置102、202、302、402上第二点或部分122、222、322、422的另一方向的运动,使得光标112、212、312、412在可视化显示装置102、202、302、402上被移动。例如,光标112、212、312、412的箭尖可以在可视化显示装置102、202、302、402上从第一点118、218、318、418被移动至第二点122、222、322、422。进一步地,方法500在步骤515可以包括显示数据区域输入光标124、224、324、424;并在步骤535通过处理器106、206、306、406使得数据区域输入光标124、224、324、424被重定位,从位于第一点118、218、318、418,到位于第二点122、222、322、422。
在再一个实施例中,步骤520、525可以包括根据角度阈值theta(θ),检测眼球E朝向可视化显示装置102、202、302、402的方向114、214、314、414上的变化。进一步地,在该再一实施例中,随后,方法500在步骤530可以包括:使得处理器106、206、306、406根据眼球E的方向114、214、314、414相对于可视化显示装置102、202、302、402的方向变化与幅度变化比例,在可视化显示装置102、202、302、402上将光标112、212、312、412沿一定方向移动一定距离。
在此,被选择用于***100、200、300、400中的可视化显示装置102、202、302、402可以是,例如,任何适应于图形用户界面的显示设备,诸如液晶显示器(“LCD”)、等离子显示器、光投影设备、或阴极射线管等。***100、200、300、400可以包括一个或多个可视化显示装置102、202、302、402。
在此,被选择用于***100、200、300、400中的眼动追踪装置104、204、304、404包括,例如,任何一种能够检测眼球朝向可视化显示装置102、202、302、402的方向114、214、314、414的眼动追踪装置。例如,眼动追踪装置104、204、304、404可以包括一个或多个摄像头(未示出)。进一步地,例如,这些摄像头(未示出)可以安装于可视化显示装置102、202、302、402。例如,眼动追踪装置104、204、304、404可以生成由坐标(H,V)表示的凝视点信息,该凝视点信息用于定位朝向可视化显示装置102、202、302、402的眼球E的瞳孔P。例如,***100、200、300、400可以利用坐标(H,V)数据设定光标112、212、312、412在可视化显示装置102、202、302、402上的显示位置。例如,眼动追踪装置104、204、304、404可以通过以下方式进行校准:将摄像头对准眼球E的瞳孔P,并且当盯着可视化显示装置102、202、302、402上位于不同的空间分离的一系列已知坐标(H,V)的点时,人需保持不动。通过对处理器106、206、306、406进行编程,眼动追踪装置104、204、304、404可以按照如前述预设时间区间或预设眨眼动作的方式***控。例如,该时间区间用于将眼球E朝向可视化显示装置102、202、302、402中一个点或一部分的方向转化为“鼠标点击”指令,以使得处理器106、206、306、406在***100、200、300、400中执行一个操作;可通过提示用户使眼球E在方向114、214、314、414上保持用户定义的时长,设置该时间区间,然后,该用户定义的时长可由处理器106、206、306、406存储,以作为预设时间区间。又如,该预设眨眼动作用于将眼球E朝向可视化显示装置102、202、302、402的一个点或一部分的方向转化为“鼠标点击”指令,或用于控制处理器106、206、306、406在***100、200、300、400中执行另一个操作;可通过提示用户在进行用户设定的眨眼动作的过程中保持眼球E方向114、214、314、414,设置该预设眨眼动作,然后,该用户设定的眨眼动作可由处理器106、206、306、406存储,以作为预设眨眼动作,用于使得***100、200、300、400的一个预设操作被执行。
在另一实施例中,眼动追踪装置104、204、304、404可以包括(未示出):头戴式光学装置、摄像头、反光单片镜和控制器。例如,包括电荷耦合器件的摄像头可以被采用。眼动追踪装置104、204、304、404的控制器可由处理器106、206、306、406充当,或者可为一个分离的控制器(未示出)。例如,头戴式光学装置可以包括一个头带,该头带与可在足球或自行车头盔里发现的内部支撑结构相仿。例如,摄像头可以带有近距离红外照明灯。例如,选择一个小型摄像头并安装于头带上的合适位置,使得该头带被戴上时,该摄像头位于佩戴者的眼球上方。该单片镜的尺寸约3英寸*2英寸,可以置于头带佩戴者的眼球下方。在一个实施例中,眼动追踪装置104、204、304、404还可以包括一个磁式头部追踪单元(未示出)。例如,该磁式头部追踪单元可以包括一个磁发射器、一个万向指向装置和一个传感器。例如,该磁发射器和该万向指向装置可以置于固定支架上,该固定支架位于眼动追踪装置104、204、304、404使用状态下头带佩戴者头部的正后方;该头带上可以装有一个小型传感器。在眼动追踪装置104、204、304、404的操作过程中,佩戴者的眼球E可以由头带上的近距离红外照明灯照亮。随后,该眼球E的图像可以反射至反光单片镜。接着,例如,摄像头可以接收该反射的图像,并将该图像发送至处理器106、206、306、406。进一步地,例如,该磁式头部追踪单元还可以将头部位置数据坐标(x,y)发送至处理器106、206、306、406。随后,处理器106、206、306、406根据从摄像头和磁式头部追踪单元接收的数据生成凝视点数据坐标(H,V)。作为示例,对于人的凝视点的精确标定,可能取决于人的眼球E与可视化显示装置102、202、302、402的距离,以及磁式头部追踪单元与可视化显示装置102、202、302、402的距离。上述眼动追踪装置104、204、304、404可以通过商业购买获得,例如,根据贸易名录(the tradedesignation)CU4000或SU4000,从美国马萨诸塞州贝德福德的应用科学实验室购买。
在又一实施例中,眼动追踪装置104、204、304、404可以包括(未示出)一个装有一个或多个摄像头的头带。例如,在头带上安装两个摄像头,使得佩戴者佩戴头带时,这两个摄像头位于佩戴者眼球E的下方。在本实施例中,左眼和右眼的两个眼球E的眼球追踪数据坐标(x,y)均被记录。例如,这两个摄像头可以以60赫兹(“Hz”)至250赫兹之间的采样率采集眼球追踪数据。例如,该头带还可以安装第三个摄像头,使得佩戴者佩戴头带时,该第三个摄像头靠近佩戴者前额的中部。例如,该第三个摄像头的方向可以由安装于可视化显示装置102、202、302、402上的红外传感器进行检测。进一步地,例如,该第三个摄像头还可以记录佩戴者的头部相对于可视化显示装置102、202、302、402的运动。例如,眼动追踪装置104、204、304、404可以通过以下方式进行校准:将每个摄像头对准眼球E的瞳孔P,并且当盯着可视化显示装置102、202、302、402上位于不同的分隔空间的一系列已知坐标(H,V)的点时,人需保持不动。上述眼动追踪装置104、204、304、404可以通过商业购买获得,例如,从德国的肌肉运动传感仪器公司(SensoriMotorics Instrumentation,简称SMI)购买,商品名称为“眼球连接***(EyeLink System)”。
应能理解,其他眼动追踪装置104、204、304、404也可以适用于本发明。例如,眼动追踪装置104、204、304、404可以通过测量靠近人眼球E的皮肤表面的生理电极,推断眼球E的方向。此外,眼动追踪装置104、204、304、404还可以通过商业购买获得,例如,从眼动追踪公司(EyeTracking,Inc.)购买,其地址为美国92120加利福尼亚的圣地亚哥阿尔瓦拉多路6475号132室。***100、200、300、400可以包括一个或多个眼动追踪装置104、204、304、404。关于眼动追踪装置104、204、304、404的进一步背景信息,包括在下述文档中:美国专利6090051,发明人Marshall,公告日2000年7月18日;美国专利6102870,发明人Edwards,公告日2000年8月15日;美国专利公开号2007/0291232A1,发明人Marshall,公开日2007年12月20日,其中,这些文档中的全部内容均应通过援引方式,包括在本发明的***100、200、300、400中的每一个和本发明的方法500中。
被选择用于***100、200、300、400中的处理器106、206、306、406可以是,例如,任何适用于从眼动追踪装置104、204、304、404接收数据和控制可视化显示装置102、202、302、402的电子处理器。例如,处理器106、206、306、406还可以选择适用于控制眼动追踪装置104、204、304、404的操作的电子处理器。应能理解,***100、200、300、400和方法500中描述的一个或多个功能或方法步骤可以由处理器106、206、306、406执行,处理器106、206、306、406由硬件和/或软件组成。此外,方法500的全部步骤可以由在处理器106、206、306、406内执行的软件实现。进一步地,例如,处理器106、206、306、406还可以执行适用于配置***100、200、300、400或方法500的算法。处理器106、206、306、406的示例包括:微处理器、通用处理器、数字信号处理器,或特定应用的数字集成电路。例如,处理器106、206、306、406还可以包括额外的部件,诸如有源存储设备(active memory device)、硬盘、总线,和输入/输出接口等。例如,用于***100、200、300、400的可视化显示装置102、202、302、402和处理器106、206、306、406可以集中为个人计算机。如果方法500由软件实现,该软件可以存储于软件内存(未示出)和/或用于执行该软件的处理器106、206、306、406。在软件内存中的软件可以包括实现逻辑功能的可执行指令的有序列表,并且可以包括在任何数字的机器可读和/或计算机可读的介质中,以供如包括处理器的***的指令执行***使用,或与指令执行***相连接。***100、200、300、400可以包括一个或多个处理器106、206、306、406。
在本发明的再一个实施例中,提供一种计算机可读介质(未示出)。该计算机可读介质包括用于***100、200、300、400执行的计算机代码,***100、200、300、400包括可视化显示装置102、202、302、402,眼动追踪装置104、204、304、404和与可视化显示装置102、202、302、402及眼动追踪装置104、204、304、404进行通信的处理器106、206、306、406。该计算机代码是可执行的,使得***100、200、300、400执行方法500的步骤,包括:使得光标112、212、312、412显示于可视化显示装置102、202、302、402;使得眼球朝向所显示光标112、212、312、412的部分的方向被检测;从多个光标指令中执行一个光标指令,以响应所被检测到的眼球的方向。进一步地,该计算机可读介质还包括计算机代码,当由***100、200、300、400执行时,可以实现前述方法500的其他变形方法。计算机可读介质的示例包括如下:有一个或多个电线的电气连接(电子介质)、便携式计算机软盘(磁性介质)、随机存取存储器(RAM,电子介质)、只读存储器“ROM”(电子介质)、可擦除可编程只读存储器(EPROM或闪存)(电子介质)、光纤(光介质)和便携式光盘只读存储器“CDROM”“DVD”(光介质)。进一步地,该计算机可读介质还可以是其上打印有计算机程序的纸或其他合适介质,该计算机程序可通过电子捕获,如通过光学扫描该纸或其他合适介质,并在必要的情况下以合适的方式对该计算机程序进行编译、解释或其他处理,然后存储于计算机存储设备。
在一个实施例中,***100、200、300、400可以用于代替传统的计算机鼠标硬件设备。例如,***100、200、300、400在可视化显示装置102、202、302、402上产生一个屏幕计算机鼠标光标112、212、312、412。例如,***100、200、300、400还可以采用与传统的计算机鼠标硬件设备相同的硬件接口和软件接口。例如,***100、200、300、400还使得在可视化显示装置102、202、302、402上对屏幕计算机鼠标光标112、212、312、412的免手持控制更为方便。屏幕计算机鼠标光标112、212、312、412的该等免手持控制对于有些人是很有用的,例如,残疾人士、希望避免其手和胳膊因重复动作造成劳损的人,或者进行某项活动且对屏幕计算机鼠标光标112、212、312、412的免手持控制有利于该活动。进一步地,例如,屏幕计算机鼠标光标112、212、312、412的该等免手持控制,与传统的计算机鼠标硬件设备相比,更快或更有效率。例如,***100、200、300、400还可以和免手持键盘或传统的计算机鼠标硬件设备一起使用。进一步地,***100、200、300、400可以部分或选择性的代替传统的计算机鼠标硬件设备的功能。例如,***100、200、300、400能够执行传统的计算机鼠标硬件设备或键盘执行的部分操作,而其他操作仍由传统的计算机鼠标硬件设备或键盘执行。例如,方法500和计算机可读介质的实现方式,可与***100、200、300、400中所讨论的相关部分相似。应能理解,***100、200、300、400的各种示例中的每一个特征,均可以被选择用于既定最终应用的特定***100、200、300、400所包括或排除,其与本文中关于每一个和所有***100、200、300、400的教导是一致的。还应能理解,***100、200、300、400的各种示例说明了方法500的类似变形示例,因此,***100、200、300、400的全部内容应认为被方法500和前述计算机可读介质所包括。同样地,还应能理解,方法500的各种示例说明了***100、200、300、400的类似变形示例,因此,方法500的全部内容应认为被***100、200、300、400和前述计算机可读介质所包括。
进一步地,应能理解,前述数量示例的描述仅用于阐述和说明本发明的目的。该等描述不是穷尽的,也不能构成对要求保护的发明内容的精确公开形式的限制。根据上述描述或使用该发明的实践,其他修改和变化都是可能的。本发明的范围由权利要求和他们的等同方式确定。
Claims (15)
1.一种***,包括:
可视化显示装置;
眼动追踪装置,被配置来检测眼球朝向所述可视化显示装置的方向;
处理器,被配置来与所述可视化显示装置及所述眼动追踪装置进行通信;
其中,所述处理器被配置来使得屏幕鼠标光标显示于所述可视化显示装置,所述屏幕鼠标光标具有包括多个部分的边界,所述边界内所述屏幕鼠标光标的一部分专用于执行一光标指令,所述边界内所述屏幕鼠标光标的另一部分专用于执行不同于所述一光标指令的另一光标指令;以及
其中,所述处理器被配置来执行一个光标指令,以响应所检测到的眼球朝向所述可视化显示装置上所述屏幕鼠标光标的一个部分的方向。
2.根据权利要求1所述的***,其中,所述处理器被配置来对预定时间区间值与所检测到的眼球朝向所述可视化显示装置上所述屏幕鼠标光标的所述一个部分的方向的持续时间进行比较,并且,在所检测到的持续时间达到所述预定时间区间值时,所述处理器被配置来执行所述一个光标指令。
3.根据权利要求1或2所述的***,其中,所述处理器被配置来使得所述屏幕鼠标光标在所述可视化显示装置上被移动,以响应对眼球从朝向所述可视化显示装置上所述屏幕鼠标光标的所述一个部分的一方向到该眼球朝向所述可视化显示装置的一不同部分的另一方向的运动的检测。
4.根据权利要求3所述的***,其中,所述处理器被配置来使得所述可视化显示装置显示数据区域输入光标,并且,所述处理器被配置来使得所述数据区域输入光标被移动至所述可视化显示装置的所述不同部分。
5.根据权利要求1所述的***,其中,所述处理器被配置来使得所述屏幕鼠标光标的所述一个部分被显示为专用于执行所述一个光标指令的光标指令执行单元,所述一个光标指令为:鼠标光标采集指令、鼠标光标指向指令、向左拖拽光标指令、双击鼠标左键指令、单击鼠标左键指令、显示鼠标光标菜单指令、向上拖拽光标指令、向下拖拽光标指令、隐藏鼠标光标菜单指令、单击鼠标右键指令、双击鼠标右键指令、向右拖拽光标指令、鼠标光标停留指令、鼠标光标拖放指令、巡航控制开启指令或巡航控制关闭指令。
6.根据权利要求1所述的***,其中,所述处理器被配置来确定所检测到的眼球朝向所述可视化显示装置上所述屏幕鼠标光标的所述一个部分的方向,所述确定为:眼球朝向所述可视化显示装置上所述屏幕鼠标光标的所述一个部分的方向保持一预定的时间区间;眼球朝向所述可视化显示装置上所述屏幕鼠标光标的所述一个部分的方向的变化大于角度阈值;眼球从朝向所述可视化显示装置上所述屏幕鼠标光标的所述一个部分的一方向转向朝向所述可视化显示装置的一不同部分的另一方向;或一预定眨眼动作。
7.根据权利要求1所述的***,其中,所述处理器被配置来使得所述屏幕鼠标光标的所述另一部分被显示为专用于执行所述另一光标指令的光标指令执行单元,所述另一光标指令为:鼠标光标采集指令、鼠标光标指向指令、向左拖拽光标指令、双击鼠标左键指令、单击鼠标左键指令、显示鼠标光标菜单指令、向上拖拽光标指令、向下拖拽光标指令、隐藏鼠标光标菜单指令、单击鼠标右键指令、双击鼠标右键指令、向右拖拽光标指令、鼠标光标停留指令、鼠标光标拖放指令、巡航控制开启指令或巡航控制关闭指令。
8.根据权利要求7所述的***,其中,所述处理器被配置来使得所述专用于执行所述一个光标指令的光标指令执行单元与所述专用于执行所述另一光标指令的光标指令执行单元各被显示在所述屏幕鼠标光标的所述边界的不同部分。
9.一种方法,包括:
提供可视化显示装置、眼动追踪装置,和与所述可视化显示装置及所述眼动追踪装置进行通信的处理器;
使得屏幕鼠标光标显示于所述可视化显示装置,所述屏幕鼠标光标具有包括多个部分的边界,所述边界内所述屏幕鼠标光标的一部分专用于执行一光标指令,所述边界内所述屏幕鼠标光标的另一部分专用于执行不同于所述一光标指令的另一光标指令;
使得眼球朝向所述可视化显示装置上所述屏幕鼠标光标的一个部分的方向被检测;以及
使得一个光标指令被执行,以响应所检测到的眼球朝向所述屏幕鼠标光标的一个部分的方向。
10.根据权利要求9所述的方法,其中,该方法包括使得所述屏幕鼠标光标在所述可视化显示装置上被移动,以响应对眼球从朝向所述可视化显示装置上所述屏幕鼠标光标的所述一个部分的一方向到该眼球朝向所述可视化显示装置的一不同部分的另一方向的运动的检测。
11.根据权利要求9所述的方法,其中,所述使得所述屏幕鼠标光标被显示包括使得所述屏幕鼠标光标的所述一个部分被显示为专用于执行所述一个光标指令的光标指令执行单元,所述一个光标指令为:鼠标光标采集指令、鼠标光标指向指令、向左拖拽光标指令、双击鼠标左键指令、单击鼠标左键指令、显示鼠标光标菜单指令、向上拖拽光标指令、向下拖拽光标指令、隐藏鼠标光标菜单指令、单击鼠标右键指令、双击鼠标右键指令、向右拖拽光标指令、鼠标光标停留指令、鼠标光标拖放指令、巡航控制开启指令或巡航控制关闭指令。
12.根据权利要求9所述的方法,其中,所述使得眼球朝向所述可视化显示装置上所述屏幕鼠标光标的所述一个部分的方向被检测包括对所述眼球方向的确定为:眼球朝向所述可视化显示装置上所述屏幕鼠标光标的所述一个部分的方向保持一预定的时间区间;眼球朝向所述可视化显示装置上所述屏幕鼠标光标的所述一个部分的方向的变化大于角度阈值;眼球从朝向所述可视化显示装置上所述屏幕鼠标光标的所述一个部分的一方向转向朝向所述可视化显示装置的一不同部分的另一方向;或一预定眨眼动作。
13.根据权利要求9所述的方法,其中,所述使得所述屏幕鼠标光标被显示包括使得所述屏幕鼠标光标的所述另一部分被显示为专用于执行所述另一光标指令的光标指令执行单元,所述另一光标指令为:鼠标光标采集指令、鼠标光标指向指令、向左拖拽光标指令、双击鼠标左键指令、单击鼠标左键指令、显示鼠标光标菜单指令、向上拖拽光标指令、向下拖拽光标指令、隐藏鼠标光标菜单指令、单击鼠标右键指令、双击鼠标右键指令、向右拖拽光标指令、鼠标光标停留指令、鼠标光标拖放指令、巡航控制开启指令或巡航控制关闭指令。
14.根据权利要求13所述的方法,其中,所述使得所述屏幕鼠标光标被显示包括使得所述专用于执行所述一个光标指令的光标指令执行单元与所述专用于执行所述另一光标指令的光标指令执行单元各被显示在所述屏幕鼠标光标的所述边界的不同部分。
15.根据权利要求10所述的方法,其中,所述方法使得所述可视化显示装置显示数据区域输入光标,并且,使得所述数据区域输入光标被移动至所述可视化显示装置的所述不同部分。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US12/321,545 US20100182232A1 (en) | 2009-01-22 | 2009-01-22 | Electronic Data Input System |
US12/321,545 | 2009-01-22 | ||
PCT/US2010/021585 WO2010085527A2 (en) | 2009-01-22 | 2010-01-21 | Electronic data input system |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102292690A CN102292690A (zh) | 2011-12-21 |
CN102292690B true CN102292690B (zh) | 2017-07-14 |
Family
ID=42336540
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201080005298.5A Expired - Fee Related CN102292690B (zh) | 2009-01-22 | 2010-01-21 | 电子数据输入*** |
Country Status (6)
Country | Link |
---|---|
US (1) | US20100182232A1 (zh) |
EP (1) | EP2389619A4 (zh) |
JP (1) | JP5528476B2 (zh) |
KR (1) | KR101331655B1 (zh) |
CN (1) | CN102292690B (zh) |
WO (1) | WO2010085527A2 (zh) |
Families Citing this family (57)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
IT1399456B1 (it) * | 2009-09-11 | 2013-04-19 | Sr Labs S R L | Metodo e apparato per l'utilizzo di generiche applicazioni software attraverso controllo oculare e opportune metodologie di interazione. |
US8922493B2 (en) * | 2010-09-19 | 2014-12-30 | Christine Hana Kim | Apparatus and method for automatic enablement of a rear-face entry in a mobile device |
JP5278461B2 (ja) * | 2011-02-03 | 2013-09-04 | 株式会社デンソー | 視線検出装置および視線検出方法 |
US8643680B2 (en) * | 2011-04-08 | 2014-02-04 | Amazon Technologies, Inc. | Gaze-based content display |
KR101773845B1 (ko) * | 2011-05-16 | 2017-09-01 | 삼성전자주식회사 | 휴대용 단말기에서 입력 처리 방법 및 장치 |
US10120438B2 (en) * | 2011-05-25 | 2018-11-06 | Sony Interactive Entertainment Inc. | Eye gaze to alter device behavior |
KR20140041570A (ko) | 2011-06-24 | 2014-04-04 | 톰슨 라이센싱 | 사용자의 눈 이동으로 동작가능한 컴퓨터 장치 및 컴퓨터 장치를 동작하는 방법 |
JP2013069211A (ja) * | 2011-09-26 | 2013-04-18 | Nec Casio Mobile Communications Ltd | 表示装置、表示方法およびプログラム |
EP2791790B1 (en) * | 2011-12-14 | 2019-08-14 | Intel Corporation | Gaze activated content transfer system |
KR101919010B1 (ko) * | 2012-03-08 | 2018-11-16 | 삼성전자주식회사 | 안구 동작에 기초한 디바이스의 제어 방법 및 이를 위한 디바이스 |
HK1160574A2 (en) * | 2012-04-13 | 2012-07-13 | King Hei Francis Kwong | Secure electronic payment system and process |
JP2013225226A (ja) * | 2012-04-23 | 2013-10-31 | Kyocera Corp | 情報端末、表示制御プログラムおよび表示制御方法 |
KR101850035B1 (ko) * | 2012-05-02 | 2018-04-20 | 엘지전자 주식회사 | 이동 단말기 및 그 제어방법 |
US9317113B1 (en) | 2012-05-31 | 2016-04-19 | Amazon Technologies, Inc. | Gaze assisted object recognition |
US20140009395A1 (en) * | 2012-07-05 | 2014-01-09 | Asustek Computer Inc. | Method and system for controlling eye tracking |
TW201403454A (zh) * | 2012-07-05 | 2014-01-16 | Asustek Comp Inc | 顯示畫面旋轉的方法及系統 |
CN102842301B (zh) * | 2012-08-21 | 2015-05-20 | 京东方科技集团股份有限公司 | 显示画面调节装置、显示装置及显示方法 |
FR2995120B1 (fr) * | 2012-09-05 | 2015-09-18 | Dassault Aviat | Systeme et procede de commande de la position d'un objet deplacable sur un dispositif de visualisation |
CN103699210A (zh) * | 2012-09-27 | 2014-04-02 | 北京三星通信技术研究有限公司 | 移动终端及其操控方法 |
US9746915B1 (en) * | 2012-10-22 | 2017-08-29 | Google Inc. | Methods and systems for calibrating a device |
US9265458B2 (en) | 2012-12-04 | 2016-02-23 | Sync-Think, Inc. | Application of smooth pursuit cognitive testing paradigms to clinical drug development |
TWI488070B (zh) * | 2012-12-07 | 2015-06-11 | Pixart Imaging Inc | 電子裝置控制方法以及使用此電子裝置控制方法的電子裝置 |
DE102013003047A1 (de) | 2013-02-22 | 2014-08-28 | Audi Ag | Verfahren und System zum blickrichtungsabhängigen Steuern einer Funktionseinheit |
US20140247208A1 (en) * | 2013-03-01 | 2014-09-04 | Tobii Technology Ab | Invoking and waking a computing device from stand-by mode based on gaze detection |
US9864498B2 (en) | 2013-03-13 | 2018-01-09 | Tobii Ab | Automatic scrolling based on gaze detection |
CN105339866B (zh) | 2013-03-01 | 2018-09-07 | 托比股份公司 | 延迟扭曲凝视交互 |
US9380976B2 (en) | 2013-03-11 | 2016-07-05 | Sync-Think, Inc. | Optical neuroinformatics |
CN103257707B (zh) * | 2013-04-12 | 2016-01-20 | 中国科学院电子学研究所 | 利用视线跟踪技术和常规鼠标控制设备的三维漫游方法 |
KR101540358B1 (ko) * | 2013-06-27 | 2015-07-29 | 정인애 | 안구마우스 구현을 위한 키보드 유저 인터페이스 화면 제공 방법 및 제공 시스템 |
US9251333B2 (en) * | 2013-08-29 | 2016-02-02 | Paypal, Inc. | Wearable user device authentication system |
US10055016B2 (en) | 2013-09-16 | 2018-08-21 | Lg Electronics Inc. | Image display apparatus and method for operating the same |
US20150127505A1 (en) * | 2013-10-11 | 2015-05-07 | Capital One Financial Corporation | System and method for generating and transforming data presentation |
TWI489320B (zh) * | 2013-10-25 | 2015-06-21 | Utechzone Co Ltd | 電子文件標記方法及裝置 |
US10558262B2 (en) | 2013-11-18 | 2020-02-11 | Tobii Ab | Component determination and gaze provoked interaction |
US10317995B2 (en) | 2013-11-18 | 2019-06-11 | Tobii Ab | Component determination and gaze provoked interaction |
EP3077867B1 (en) * | 2013-12-06 | 2018-02-14 | Telefonaktiebolaget LM Ericsson (publ) | Optical head mounted display, television portal module and methods for controlling graphical user interface |
JP6260255B2 (ja) * | 2013-12-18 | 2018-01-17 | 株式会社デンソー | 表示制御装置およびプログラム |
CN103885592B (zh) * | 2014-03-13 | 2017-05-17 | 宇龙计算机通信科技(深圳)有限公司 | 一种在屏幕上显示信息的方法及装置 |
WO2016003100A1 (en) * | 2014-06-30 | 2016-01-07 | Alticast Corporation | Method for displaying information and displaying device thereof |
US9952883B2 (en) | 2014-08-05 | 2018-04-24 | Tobii Ab | Dynamic determination of hardware |
JP6367673B2 (ja) * | 2014-09-29 | 2018-08-01 | 京セラ株式会社 | 電子機器 |
CN104391567B (zh) * | 2014-09-30 | 2017-10-31 | 深圳市魔眼科技有限公司 | 一种基于人眼跟踪的三维全息虚拟物体显示控制方法 |
CN104391572B (zh) * | 2014-11-10 | 2017-08-22 | 苏州佳世达电通有限公司 | 具有眼球追踪功能的电子装置及其控制方法 |
US20180239442A1 (en) * | 2015-03-17 | 2018-08-23 | Sony Corporation | Information processing apparatus, information processing method, and program |
US20160331592A1 (en) * | 2015-05-11 | 2016-11-17 | Lincoln Global, Inc. | Interactive helmet with display of welding parameters |
CN105630148A (zh) * | 2015-08-07 | 2016-06-01 | 宇龙计算机通信科技(深圳)有限公司 | 终端的显示方法、终端的显示装置和终端 |
CN105078404B (zh) * | 2015-09-02 | 2017-05-10 | 北京津发科技股份有限公司 | 基于激光算法的全自动眼动追踪测距定标仪及其使用方法 |
CN106095111A (zh) * | 2016-06-24 | 2016-11-09 | 北京奇思信息技术有限公司 | 根据用户眼部动作控制虚拟现实交互的方法 |
SK289010B6 (sk) | 2016-10-17 | 2022-11-24 | Ústav experimentálnej fyziky SAV, v. v. i. | Spôsob interaktívnej kvantifikácie digitalizovaných 3D objektov pomocou kamery snímajúcej pohľad |
CN107066085B (zh) * | 2017-01-12 | 2020-07-10 | 惠州Tcl移动通信有限公司 | 一种基于眼球追踪控制终端的方法及装置 |
KR102518404B1 (ko) | 2017-09-29 | 2023-04-06 | 삼성전자주식회사 | 전자 장치 및 그의 시선 정보를 이용한 컨텐트 실행 방법 |
TWI644260B (zh) * | 2017-11-07 | 2018-12-11 | 佳世達科技股份有限公司 | 顯示裝置 |
CN109646784A (zh) * | 2018-12-21 | 2019-04-19 | 华东计算技术研究所(中国电子科技集团公司第三十二研究所) | 基于沉浸式vr的失眠障碍心理治疗***和方法 |
CN110489026A (zh) * | 2019-07-05 | 2019-11-22 | 深圳市格上格创新科技有限公司 | 一种手持输入设备及其指示图标的消隐控制方法和装置 |
US20210132689A1 (en) * | 2019-11-05 | 2021-05-06 | Micron Technology, Inc. | User interface based in part on eye movement |
US20230015224A1 (en) * | 2020-01-14 | 2023-01-19 | Hewlett-Packard Development Company, L.P. | Face orientation-based cursor positioning on display screens |
CN113326849B (zh) * | 2021-07-20 | 2022-01-11 | 广东魅视科技股份有限公司 | 一种可视化数据采集方法及*** |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO1993020499A1 (en) * | 1992-03-31 | 1993-10-14 | The Research Foundation Of State University Of New York | Apparatus and method for eye tracking interface |
EP0816982A2 (en) * | 1996-06-25 | 1998-01-07 | Sun Microsystems, Inc. | Method and apparatus for eyetrack-mediated downloading |
US5844544A (en) * | 1994-06-17 | 1998-12-01 | H. K. Eyecan Ltd. | Visual communications apparatus employing eye-position monitoring |
US6456262B1 (en) * | 2000-05-09 | 2002-09-24 | Intel Corporation | Microdisplay with eye gaze detection |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO1999018842A1 (en) * | 1997-10-16 | 1999-04-22 | The Board Of Trustees Of The Leland Stanford Junior University | Method for inferring mental states from eye movements |
US6090051A (en) * | 1999-03-03 | 2000-07-18 | Marshall; Sandra P. | Method and apparatus for eye tracking and monitoring pupil dilation to evaluate cognitive activity |
JP2001100903A (ja) * | 1999-09-28 | 2001-04-13 | Sanyo Electric Co Ltd | 視線検出機能搭載装置 |
US6637883B1 (en) * | 2003-01-23 | 2003-10-28 | Vishwas V. Tengshe | Gaze tracking system and method |
JP3810012B2 (ja) * | 2003-08-11 | 2006-08-16 | 株式会社日立ケーイーシステムズ | 障害者用パソコン入力装置 |
JP3673834B2 (ja) * | 2003-08-18 | 2005-07-20 | 国立大学法人山口大学 | 眼球運動を用いた視線入力コミュニケーション方法 |
US7438418B2 (en) * | 2005-02-23 | 2008-10-21 | Eyetracking, Inc. | Mental alertness and mental proficiency level determination |
WO2007050029A2 (en) * | 2005-10-28 | 2007-05-03 | Tobii Technology Ab | Eye tracker with visual feedback |
GB0618979D0 (en) * | 2006-09-27 | 2006-11-08 | Malvern Scient Solutions Ltd | Cursor control method |
US8245156B2 (en) * | 2008-06-28 | 2012-08-14 | Apple Inc. | Radial menu selection |
-
2009
- 2009-01-22 US US12/321,545 patent/US20100182232A1/en not_active Abandoned
-
2010
- 2010-01-21 WO PCT/US2010/021585 patent/WO2010085527A2/en active Application Filing
- 2010-01-21 EP EP10733834.5A patent/EP2389619A4/en not_active Withdrawn
- 2010-01-21 JP JP2011548087A patent/JP5528476B2/ja not_active Expired - Fee Related
- 2010-01-21 KR KR1020117017284A patent/KR101331655B1/ko active IP Right Grant
- 2010-01-21 CN CN201080005298.5A patent/CN102292690B/zh not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO1993020499A1 (en) * | 1992-03-31 | 1993-10-14 | The Research Foundation Of State University Of New York | Apparatus and method for eye tracking interface |
US5844544A (en) * | 1994-06-17 | 1998-12-01 | H. K. Eyecan Ltd. | Visual communications apparatus employing eye-position monitoring |
EP0816982A2 (en) * | 1996-06-25 | 1998-01-07 | Sun Microsystems, Inc. | Method and apparatus for eyetrack-mediated downloading |
US6456262B1 (en) * | 2000-05-09 | 2002-09-24 | Intel Corporation | Microdisplay with eye gaze detection |
Also Published As
Publication number | Publication date |
---|---|
EP2389619A4 (en) | 2014-07-16 |
WO2010085527A3 (en) | 2010-11-04 |
JP5528476B2 (ja) | 2014-06-25 |
CN102292690A (zh) | 2011-12-21 |
KR101331655B1 (ko) | 2013-11-20 |
EP2389619A2 (en) | 2011-11-30 |
US20100182232A1 (en) | 2010-07-22 |
KR20110098966A (ko) | 2011-09-02 |
JP2012515986A (ja) | 2012-07-12 |
WO2010085527A2 (en) | 2010-07-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102292690B (zh) | 电子数据输入*** | |
US20220091722A1 (en) | Devices, methods, and graphical user interfaces for interacting with three-dimensional environments | |
US10456072B2 (en) | Image interpretation support apparatus and method | |
US10268339B2 (en) | Enhanced camera-based input | |
CN107003716B (zh) | 投射型影像显示装置以及影像显示方法 | |
ES2657948T3 (es) | Acción contextual basada en oculómetro | |
EP3511803B1 (en) | Method and apparatus to determine trigger intent of user | |
US9039419B2 (en) | Method and system for controlling skill acquisition interfaces | |
CN105706028B (zh) | 投影型影像显示装置 | |
US20130055150A1 (en) | Visual feedback for tactile and non-tactile user interfaces | |
CN105308536A (zh) | 用于显示器控制和定制姿势解释的动态用户交互 | |
CN110221699A (zh) | 一种前置摄像头视频源的眼动行为识别方法 | |
KR20160109443A (ko) | 시선 추적을 이용한 디스플레이 장치 및 방법 | |
CN109062490A (zh) | 笔记删除方法、电子设备及计算机存储介质 | |
CN115598842A (zh) | 提升用户体验和注视互动准确度的光学***和相关方法 | |
US9612683B2 (en) | Operation method of touch screen with zooming-in function and touch screen device | |
JP4088282B2 (ja) | コンピュータ入力方法と装置 | |
Strumiłło et al. | A vision-based head movement tracking system for human-computer interfacing | |
Kao et al. | The integrated gaze, web and object tracking techniques for the web-based e-learning platform | |
NL1020440C2 (nl) | Werkwijze en stelsel voor het visueel terugkoppelen van interacties tussen een invoerorgaan en een dataverzameling. | |
EP4339756A1 (en) | Intelligent drawing method and system for human machine interaction hmi design prototype | |
CN118377373A (zh) | 一种基于mr设备的手眼协调计算机操控***及方法 | |
JP2003005915A (ja) | マウスポインタの誘導方法、マウスポインタの誘導プログラム、および同プログラムを記録した記録媒体 | |
CN106095088A (zh) | 一种电子设备及其图像处理方法 | |
KR20230031518A (ko) | Hmd 기반 ar 시스템을 위한 사물 터치 장치 및 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20170714 Termination date: 20200121 |
|
CF01 | Termination of patent right due to non-payment of annual fee |