CN104246682B - 增强的虚拟触摸板和触摸屏 - Google Patents

增强的虚拟触摸板和触摸屏 Download PDF

Info

Publication number
CN104246682B
CN104246682B CN201380016670.6A CN201380016670A CN104246682B CN 104246682 B CN104246682 B CN 104246682B CN 201380016670 A CN201380016670 A CN 201380016670A CN 104246682 B CN104246682 B CN 104246682B
Authority
CN
China
Prior art keywords
gesture
computer
user
display
physical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201380016670.6A
Other languages
English (en)
Other versions
CN104246682A (zh
Inventor
E·贝奇克夫
O·伯瑞兹恩
M·盖尔奥尔
O·奥尔
J·珀克帕斯
A·艾施尔
E·谷恩德尔曼
A·伯恩森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Apple Computer Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apple Computer Inc filed Critical Apple Computer Inc
Priority to CN201710928464.2A priority Critical patent/CN107665042B/zh
Publication of CN104246682A publication Critical patent/CN104246682A/zh
Application granted granted Critical
Publication of CN104246682B publication Critical patent/CN104246682B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485—Scrolling or panning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0486—Drag-and-drop
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

本发明提供了一种方法，该方法包括由计算机(26)在耦接至该计算机的显示器(28)上呈现多个交互项(36)、接收指示计算机的用户(22)的凝视方向的输入。响应于该凝视方向，选择多个交互项中的一个，并且继选择交互项中的一个之后，接收至少包含用户的手(31)的三维(3D)图的序列。分析3D图以检测由该用户所执行的手势，并且响应于该手势来对所选择的交互项执行操作。

Description

增强的虚拟触摸板和触摸屏
技术领域
本发明整体涉及用于计算机化***的用户界面，并且具体地，涉及基于三维感测的用户界面。
背景技术
当前可使用许多不同类型的用户界面设备和方法。常见的触觉界面设备包括计算机键盘、鼠标和操纵杆。触摸屏检测由手指或在显示区域内的其他对象所进行的触摸的存在及位置。红外远程控制被广泛使用，并且还出于远程控制的目的已经开发出了“可穿戴的”硬件设备。
还已提出了基于对用户身体的部分进行三维(3D)感测的计算机接口。例如，PCT国际公开WO 03/071410，其公开内容以引用方式并入本文，描述了使用深度感知传感器的手势识别***。3D传感器通常定位在用户附近的房间中，提供用于识别由感兴趣的身体部分所创建的手势的位置信息。基于身体部分的形状以及其在间隔内的位置和取向来识别手势。对手势进行分类以用于确定进入相关电子设备中的输入。
在本专利申请中以引用方式并入的文档被认为是除了在这些并入的文档中以与在本说明书中明确地或隐含地作出的定义相冲突的方式被定义的任何术语之外的本申请的不可分割的部分，应仅考虑本说明书中的定义。
又如，美国专利7,348,963，其公开内容以引用方式并入本文，描述了一种交互式视频显示***，在该交互式视频显示***中，显示屏显示视觉图像，并且照相机捕捉有关显示屏前方的交互区域中的对象的3D信息。计算机***指导显示屏以响应于对象中的改变来改变视觉图像。
三维人机界面***不仅可识别用户的手，还可识别身体的其他部分，包括头部、躯干及肢体。例如，美国专利申请公开2010/0034457，其公开内容以引用方式并入本文，描述了用于通过深度图来对类人形态进行建模的方法。对深度图进行分割以便找到身体的轮廓。对轮廓进行处理以便识别受试者的躯干和一个或多个肢体。通过分析深度图中的所识别的肢体中的至少一者的部署来生成输入以控制在计算机上运行的应用程序。
一些用户界面***跟踪用户凝视的方向。例如，美国专利7,762,665，其公开内容以引用方式并入本文，描述了一种对设备的操作进行调制的方法，包括：提供用于获取关于用户的注视状态的信息的注视用户界面；以及基于所获取的信息对设备的操作进行调制，其中经调制的操作由设备发起。优选地，关于用户的注视状态的信息为由注视用户界面所感测的用户与设备的眼神接触。
发明内容
根据本发明的实施例，提供一种方法，该方法包括由计算机：在耦接至计算机的显示器上呈现多个交互项；接收指示计算机的用户的凝视方向的输入；响应于该凝视方向，选择所述多个交互项中的一个；继选择交互项中的一者之后接收至少包含用户的手的三维(3D)图的序列；分析3D图以检测由用户所执行的手势；以及响应于该手势来对所选择的交互项执行操作。
根据本发明的实施例，还提供一种包括感测设备、显示器、以及耦接至感测设备和显示器的计算机的装置。所述感测设备被配置为接收至少包含用户的头部和手的三维(3D)图并且接收至少包含用户的眼睛的二维(2D)图像；所述计算机被配置为：在显示器上呈现多个交互项；接收指示由计算机的用户所执行的凝视方向的输入；响应于凝视方向，选择所述多个交互项中的一个；继选择交互项中的一者之后接收至少包含用户的手的3D图的序列；分析3D图以检测由用户所执行的手势；并且响应于所述手势来对所选择的交互项中的一者执行操作。
根据本发明的实施例，进一步提供一种包括非暂态计算机可读介质的计算机软件产品，在该非暂态计算机可读介质中存储有程序指令，所述指令在由计算机读取时，使得计算机：在耦接至计算机的显示器上呈现多个交互项；接收指示由计算机的用户所执行的凝视方向的输入；响应于该凝视方向，选择所述多个交互项中的一个；继选择交互项中的一者之后接收至少包含用户的手的三维(3D)图的序列；分析3D图以检测由用户所执行的手势；并且响应于所述手势来对所选择的交互项中的一者执行操作。
根据本发明的实施例，另外提供一种方法，该方法包括：由计算机接收至少包含物理表面的二维图像(2D)；将物理表面分割成一个或多个物理区域；向所述一个或多个物理区域中的每一个物理区域分配功能，所述功能中的每一项功能对应于触觉输入设备；接收至少包含计算机的用户的手的三维(3D)图的序列，所述手定位在物理区域中的一者上；分析3D图以检测由用户所执行的手势；并且基于所述手势来模拟与物理区域中的一者对应的触觉输入设备的输入。
根据本发明的实施例，还提供一种包括感测设备、显示器和耦接至感测设备与显示器的计算机的装置。所述感测设备被配置为接收至少包含物理表面的二维(2D)图像，并且接收至少包含用户的手(所述手定位在物理表面上)的三维(3D)图的序列；所述计算机被配置为：将物理表面分割成一个或多个物理区域；向所述一个或多个物理区域中的每一个物理区域分配功能，所述功能中的每一项功能对应于触觉输入设备；分析3D图以检测由用户所执行的手势；并且基于所述手势来模拟与物理区域中的一者对应的触觉输入设备的输入。
根据本发明的实施例，进一步提供一种包括非暂态计算机可读介质的计算机软件产品，在该非暂态计算机可读介质中存储有程序指令，所述指令在由计算机读取时，使得计算机：接收至少包含物理表面的二维图像(2D)；将物理表面分割成一个或多个物理区域；向所述一个或多个物理区域中的每一个物理区域分配功能，所述功能中的每一项功能对应于触觉输入设备；接收至少包含计算机的用户的手的三维(3D)图的序列，所述手定位在物理区域中的一者上；分析3D图以检测由用户所执行的手势；并且基于所述手势来模拟与物理区域中的一者对应的触觉输入设备的输入。
根据本发明的实施例，另外提供一种方法，该方法包括：接收三维(3D)图的序列，所述三维(3D)图的序列至少包含物理表面、定位在物理表面上的一个或多个物理对象、以及计算机的用户的手，所述手定位在物理表面附近；分析3D图以检测由用户所执行的手势；响应于所述手势来将动画投射到物理表面上；以及将所述一个或多个物理对象结合到动画中。
根据本发明的实施例，还提供一种包括感测设备、投影仪和耦接至感测设备与投影仪的计算机的装置。所述感测设备被配置为接收三维(3D)图的序列，所述三维(3D)图的序列至少包含物理表面、定位在物理表面上的一个或多个物理对象、以及用户的手(所述手定位在物理表面附近)；所述计算机被配置为：分析3D图以检测由用户所执行的手势；响应于所述手势使用投影仪来将动画呈现到物理表面上；以及将所述一个或多个物理对象结合到动画中。
根据本发明的实施例，进一步提供一种包括非暂态计算机可读介质的计算机软件产品，在该非暂态计算机可读介质中存储有程序指令，所述指令在由计算机读取时，使得计算机：接收三维(3D)图的序列，所述三维(3D)图的序列至少包含物理表面、定位在物理表面上的一个或多个物理对象、以及计算机的用户的手，所述手定位在物理表面附近；分析3D图以检测由用户所执行的手势；响应于所述手势来将动画投射到物理表面上；以及将所述一个或多个物理对象结合到动画中。
根据本发明的实施例，另外提供一种方法，该方法包括：由计算机接收至少包含物理表面的二维图像(2D)；将物理表面分割成一个或多个物理区域；向所述一个或多个物理区域中的每一个物理区域分配功能，所述功能中的每一项功能对应于触觉输入设备；接收至少包含由计算机的用户的手所抓握的对象的三维(3D)图的序列，所述对象定位在物理区域中的一者上；分析3D图以检测由对象所执行的手势；并且基于所述手势来模拟与物理区域中的一者对应的触觉输入设备的输入。
根据本发明的实施例，还提供一种包括感测设备、显示器和耦接至感测设备与显示器的计算机的装置。所述感测设备被配置为接收至少包含物理表面的二维(2D)图像，并且接收至少包含由用户的手所抓握的对象(所述对象定位在物理表面上)的三维(3D)图的序列；所述计算机被配置为：将物理表面分割成一个或多个物理区域；向所述一个或多个物理区域中的每一个物理区域分配功能，所述功能中的每一项功能对应于触觉输入设备；分析3D图以检测由对象所执行的手势；并且基于所述手势来模拟与物理区域中的一者对应的触觉输入设备的输入。
根据本发明的实施例，进一步提供一种包括非暂态计算机可读介质的计算机软件产品，在该非暂态计算机可读介质中存储有程序指令，所述指令在由计算机读取时，使得计算机：接收至少包含物理表面的二维图像(2D)；将物理表面分割成一个或多个物理区域；向所述一个或多个物理区域中的每一个物理区域分配功能，所述功能中的每一项功能对应于触觉输入设备；接收至少包含由计算机的用户的手所抓握的对象的三维(3D)图的序列，所述对象定位在物理区域中的一者上；分析3D图以检测由对象所执行的手势；并且基于所述手势来模拟与物理区域中的一者对应的触觉输入设备的输入。
附图说明
本文仅以举例的方式参考附图来描述公开内容，其中：
图1为根据本发明的实施例的实施非触觉式三维(3D)用户界面的计算机***的示意性立体说明图；
图2为根据本发明的实施例的示意性地示出实施非触觉式3D用户界面的计算机***的功能组件的框图；
图3为根据本发明的实施例的示意性地示出检测凝视和手势的方法的流程图；
图4A-4G统称为图4，为根据本发明的实施例的可用于与计算机***进行交互的手势的示意性立体说明图；
图5为根据本发明的实施例的在计算机上执行且在显示器上呈现的图片库应用程序的示意性立体说明图；
图6A和6B为根据本发明的实施例的在计算机上执行且在显示器上呈现的日历应用程序的示意性立体说明图；
图7A和7B为根据本发明的实施例的在显示器上呈现的虚拟键盘的示意性立体说明图；
图8A-8D统称为图8，为根据本发明的实施例的物理表面上的物理区域的示意性立体说明图；
图9A-9C统称为图9，为示出用户的手在物理表面上或靠近物理表面的移动如何可提供“惯性”输入至计算机的示意性立体说明图；
图10A-10C统称为图10，为根据本发明的实施例的被配置为用于绘图应用程序的输入设备的物理表面的示意性立体说明图；
图11为示出可如何将“转盘菜单”结合到绘图应用程序中的示意性立体说明图；
图12A和12B统称为图12，为根据本发明的实施例的由投影仪所照亮的物理表面的示意性立体说明图；以及
图13A-13D统称为图13，为将定位在物理表面上的一个或多个物理对象结合到投射到物理表面上的动画中的计算机***的示意性立体说明图。
具体实施方式
概述
在使用物理触觉输入设备诸如按钮、滚轮或触摸屏时，用户通常通过触摸和/或操控物理设备来接合和脱离对用户界面的控制。本发明的实施例描述了可由用户执行以便接合在显示器上所呈现的交互项的手势，所述显示器耦接至执行包括三维(3D)感测的用户界面的计算机。
如下文所述，用户可通过凝视给定的交互项来选择交互项中的给定的一个交互项，并通过在触觉输入设备诸如触摸屏或触摸板上执行二维(2D)手势来操控给定的交互项。在一些实施例中，计算机可定义模仿触摸板或触摸屏的虚拟表面。可在物理表面诸如书册或桌面上实施虚拟表面，并且用户可通过在物理表面上执行2D手势来与用户界面进行交互。在另选的实施例中，可在用户附近的空间中实施虚拟表面，并且用户可通过执行3D手势来与计算机进行交互，如下文所述。
在另一个实施例中，在将物理表面配置作为虚拟表面时，可将物理表面配置作为单个输入设备，诸如触摸板。作为另外一种选择，可将物理表面划分为物理区域，并且可为物理区域中的每一个物理区域分配相应的功能。例如，可将第一物理区域配置作为键盘，可将第二物理区域配置作为鼠标，并且可将第三物理区域配置作为触摸板。
在另外的实施例中，如下文所述，投影仪可被配置为将图形图像投射到物理表面上，从而使得物理表面能够用作交互触摸屏，在该交互触摸屏上，可响应于由用户所执行的手势来绘制和操控视觉元素。
***描述
图1为根据本发明的实施例的用于由计算机26的用户22所进行的操作的非触觉式3D用户界面20的示意性立体说明图。(尽管为简便起见，图中仅示出了单个用户和用户界面，在实施过程中界面20可与多个用户同时进行交互。本发明的另选实施例可使用不同的用户界面和/或支持横跨不同设备的多个用户界面)。以举例的方式，图示实施例中的用户界面20基于3D感测设备24，该3D感测设备24捕捉3D场景信息，该3D场景信息包括身体、或身体的至少部分，诸如手指30、手31、头部32或眼睛34。设备24或单独的照相机(图中未示出)还可捕捉场景的彩***图像。由计算机26来处理由设备24所捕捉的信息，计算机26相应地驱动显示屏28以呈现和操控屏幕上交互项36(在本文中还称为交互项)。作为另外一种选择，可将用户界面与任何类型的计算机化设备，诸如膝上型电脑、平板电脑、电视机等一起使用。
虽然图1以塔式构造示出了计算机26，但计算机的其他构造也被视为在本发明的实质和范围内。例如，计算机26可被配置为台式计算机、便携式计算机(例如，膝上型电脑)或一体式计算机。
计算机26处理由设备24生成的数据以便重建用户22的3D图。术语“3D图”(或换句话讲，“深度图”)是指表示给定对象的表面的一组3D坐标，在该情况下给定对象为用户的身体。在一个实施例中，设备24将点的图案投射到对象上并捕捉所投射的图案的图像。计算机26然后基于成像图案中的点的横向移动通过三角测量来计算用户的身体表面上的点的3D坐标。以举例的方式，所述3D坐标基于设备24参考大体水平的X轴40、大体垂直的Y轴42以及深度Z轴44来进行测量。在例如PCT国际公开WO 2007/043036、WO 2007/105205和WO 2008/120217中描述了使用所投射的图案的这种基于三角测量的3D制图的方法和设备，其公开内容以引用方式并入本文。作为另外一种选择，***20可使用3D制图的其他方法，如本领域已知的，使用单个或多个照相机或其他类型的传感器。
在一些实施例中，设备24通常通过处理并分析包括从一只或两只眼睛34反射的光(通常为红外光和/或由红绿蓝加色模型所产生的颜色)的图像来检测用户22的眼睛34的位置和方向，以便找到用户凝视的方向。在另选的实施例中，计算机26(通过自身或与设备24结合)检测用户的眼睛34的位置和方向。反射光可源自设备24的光投射源，或任何其他自然(例如，太阳光)或人造(例如，灯)源。使用本领域已知的技术诸如检测瞳孔中心和角膜反射(PCCR)，设备24可处理并分析包括从眼睛34的元素所反射的光的图像，以便找到用户凝视的方向，所述元素诸如瞳孔38、虹膜39或角膜41。另外，设备24可将从角膜反射的光作为闪光效果来传送(至计算机26)。
由计算机26从3D图中所提取的用户头部的位置和特征(例如，眼睛的边缘、鼻或鼻孔)可用于找到用户的眼睛的粗略位置坐标，从而简化了对精确眼睛位置和凝视方向的确定，并使凝视测量更加可靠和稳定。此外，计算机26可容易地将由3D图所提供的头部32的部分(例如，眼睛34)的3D位置与经由眼睛部分图像分析所获取的凝视角度信息相组合，以便识别用户在任何给定时间正看着的给定屏幕上对象36。3D制图与凝视跟踪一起使用允许用户22自由移动头部32，同时减轻使用头部上的传感器或发射器来主动跟踪头部的需要，如在本领域已知的一些眼睛跟踪***中那样。
通过跟踪眼睛34，本发明的实施例可降低在用户移动头部32之后重新调整用户22的需要。在一些实施例中，计算机26可针对头部32、眼睛34和瞳孔38使用深度信息以便跟踪头部的移动，从而使得基于用户22的单次调整来计算可靠的凝视角度。利用本领域已知的技术诸如PCCR、瞳孔跟踪及瞳孔形状，计算机26可从头部32的固定点计算眼睛34的凝视角度，并使用头部的位置信息以便重新计算凝视角度并提高前述技术的准确度。除减少的重新调整之外，跟踪头部的其他有益效果可包括减少光投射源的数量以及减少用于跟踪眼睛34的照相机的数量。
除处理由设备24所生成的数据之外，计算机26还可处理来自位于物理表面47(例如，桌面)上的触觉输入设备的信号，所述触觉输入设备诸如键盘45和触摸板46。触摸板46(还称为手势板)包括可将手指30的运动和位置解释为显示器28上的相对位置的专用表面。在一些实施例中，在用户22沿触摸板移动给定的手指30时，计算机可作为应答在对应于手指运动的位置处呈现光标(未示出)。例如，在用户22沿触摸板46从右向左移动给定的手指30时，计算机26可在显示器28上从右向左移动光标。
在一些实施例中，显示器28可被配置为包括电子视觉显示器的触摸屏，该电子视觉显示器可通常通过显示区域内的一个或多个手指30或触笔(未示出)来检测触摸的存在和位置。在与触摸屏进行交互时，用户22可与呈现在触摸屏上的交互项36直接进行交互，而不是通过由触摸板46所控制的光标间接地进行交互。
在另外的实施例中，投影仪48可耦接至计算机26并且定位在物理表面47上方。如下文所述，投影仪48可被配置为将图像投射在物理表面47上。
计算机26通常包括在软件中编程以执行下文所述的功能的通用计算机处理器。软件可通过例如网络以电子形式下载到处理器，或者作为另外一种选择，其可在非暂态有形计算机可读介质诸如光学的、磁性的或电子存储介质上被提供。作为另外一种选择或除此之外，可在专用硬件中实施计算机处理器的一些或所有功能，所述专用硬件诸如定制或半定制集成电路或可编程的数字信号处理器(DSP)。尽管在图1中以举例的方式将计算机26示出为来自感测设备24的单独单元，但可由感测设备的外壳内的或以其他方式与感测设备相关联的合适专用电路***来执行计算机的一些或所有处理功能。
作为另外一种选择，可由与显示器28(例如，电视机中的显示器)或与任何其他合适种类的计算机化设备诸如游戏机或媒体播放器集成在一起的合适的处理器来执行这些处理功能。设备24的感测功能可同样地集成到计算机或由传感器输出所控制的计算机化装置中。
可使用各种技术来重建用户22的身体的3D图。在一个实施例中，计算机26从由设备24所产生的深度数据中提取对应于身体的部分的3D连接组件。在例如于2010年8月11日提交的美国专利申请12/854,187中描述了可用于该目的的技术，所述专利的公开内容以引用方式并入本文。计算机分析这些所提取的组件以便重建用户身体的“骨架”，如在上述美国专利申请公开2010/0034457中或在其公开内容也以引用方式并入本文的于2010年8月11日提交的美国专利申请12/854,188中所述。在另选的实施例中，可使用其他技术来识别用户身体的某些部分，并且不需要整个身体对于设备24为可见的或不需要全部或甚至部分地重建骨架。
使用经重建的骨架，计算机26可假设诸如手指30的尖端的身体部分的位置，即使由于诸如最小对象大小和在距设备24更大距离处的降低的分辨率的问题，深度图可能未检测到身体部分(例如，指尖)。在一些实施例中，计算机26可基于人体部分的预期形状通过身体部分的更早检测或者通过沿若干(先前)所接收的深度图跟踪身体部分来自动完成身体部分。在一些实施例中，计算机26可使用由可选彩***照相机(未示出)捕捉的2D彩色图像来定位未被深度图检测到的身体部分。
在一些实施例中，由计算机26因这种骨架重建而产生的信息包括用户头部的位置和方向，以及手臂、躯干以及可能腿部、手和其他特征的位置和方向。这些特征在帧之间(即深度图)的改变或者用户姿势的改变可提供手势以及由用户所进行的其他运动的指示。用户姿势、手势及其他运动可为与界面20进行交互的用户提供控制输入。这些身体运动可与由设备24所感测的其他交互模态相结合，包括如上所述的用户眼睛移动，以及语音命令和其他声音。界面20因此使得用户22能够执行各种远程控制功能并与应用程序、界面、视频程序、图像、游戏以及出现在显示器28上的其他多媒体内容进行交互。
图2为根据本发明的实施例的示意性地示出用户界面20的功能组件的方框图。感测设备24包括将图案投射到感兴趣的场景上的照明子组件50。深度成像子组件52诸如经适当配置的视频照相机捕捉场景上的图案的图像。通常，照明子组件50和成像子组件52在红外范围中工作，但也可使用其他光谱范围。任选地，设备24中的彩***照相机(未示出)捕捉场景的2D彩色图像，并且麦克风54还可捕捉声音。
处理器56接收来自子组件52的图像并将每个图像中的图案与存储在存储器58中的参考图案进行比较。通常通过将图案投射到与设备24相距已知距离的参考平面上来事先捕捉参考图案。处理器56计算3D图的区域上方的图案的一部分的局部移动，并将这些移动解释为深度坐标。例如在其公开内容以引用方式并入本文的PCT国际公开WO 2010/004542中描述了该过程的细节。作为另外一种选择，如先前所指出，设备24可被配置为通过本领域已知的其他手段，诸如立体成像、声呐类设备(基于声音/声音的)、可穿戴的器具、激光器或飞行时间测量来生成3D图。
处理器56通常包括在软件(或固件)中编程以执行下文所述的处理功能的嵌入的微处理器。软件可通过例如网络以电子形式提供至处理器；作为另外一种选择或除此之外，可将软件存储在非暂态有形计算机可读介质上，所述非暂态有形计算机可读介质诸如光学的、磁性的或电子存储介质。处理器56还包括合适的输入和输出接口并且可包括用于执行其一些或所有功能的专用和/或可编程的硬件逻辑电路。在上述公开WO 2010/004542中呈现了这些处理功能中的一些的细节以及可用于执行这些处理功能的电路。
在一些实施例中，凝视传感器60通过捕捉和处理用户22的二维图像来检测用户22眼睛34的凝视方向。在另选的实施例中，计算机26通过处理由设备24所传送的3D图的序列来检测凝视方向。传感器60可使用本领域已知的任何合适的眼睛跟踪方法，诸如在上述美国专利7,762,665中或在其公开内容以引用方式并入本文的美国专利7,809,160中所述的方法，或者在这些专利所引用的参考文献中所述的另选方法。例如，传感器60可捕捉从用户眼睛的眼底和/或角膜所反射的光(通常为红外光)的图像。可由照明子组件50或与传感器60相关联的另一投射元件(未示出)来朝着眼睛投射这种光。传感器60可以高分辨率在用户界面20的整个相关区域上方捕捉其图像，并且可然后将来自眼睛的反射定位在该感兴趣的区域内。作为另外一种选择，除了捕捉用于3D制图的图案图像之外，成像子组件52还可捕捉来自用户的眼睛的反射(环境光、来自监视器的反射)。
作为另一种选择，处理器56可驱动扫描控件62以将凝视传感器60的视场朝着用户的面部或眼睛34的位置引导。可由处理器60或由计算机26基于深度图或如上所述，基于由3D图重建的骨架，或者使用本领域已知的基于图像的面部识别的方法来确定该位置。扫描控件62可包括例如机电平衡环，或扫描光学或光电元件，或本领域已知的任何其他合适类型的扫描仪，诸如被配置为将场景反射至凝视传感器60的基于微机电***(MEMS)的镜片。
在一些实施例中，扫描控件62还可包括光学或电子变焦，该光学或电子变焦根据如由3D图所提供的从设备24到用户头部的距离来调节传感器60的放大率。由扫描控件62实施的上述技术使得仅中等分辨率的凝视传感器60能够以高精度捕捉用户眼睛的图像，并因此给出精确的凝视方向信息。
在另选的实施例中，计算机26可使用扫描控件的角度(即，相对于Z轴44)来计算凝视角度。在另外的实施例中，计算机26可将由凝视传感器60所捕捉的情景与3D深度图中所识别的情景进行比较。在另一个实施例中，计算机26可将由凝视传感器60所捕捉的情景与由2D照相机所捕捉的情景进行比较，该2D照相机具有包括整个感兴趣的场景的广视场。除此之外或作为另外一种选择，扫描控件62可包括被配置为验证眼睛移动的角度的传感器(通常为光学的或电的)。
处理器56处理由凝视传感器60捕捉的图像以便提取用户的凝视角度。通过将由传感器60所进行的角度测量与由深度成像子组件52所提供的用户头部的3D位置相组合，处理器能够准确地得到在3D空间中的用户的真正视线。3D制图与凝视方向感测的组合降低或消除了精确调整以及比较多个反射信号以便提取真正凝视方向的需要。由处理器56提取的视线信息使得计算机26能够可靠地识别用户正看着的交互项。
由于不需要检测闪光点(如例如在PCCR方法中所用)，因此这两种模态的组合可允许凝视检测，而不使用主动投射设备(即，照明子组件50)。使用这种组合可解决本领域已知的其他凝视方法的玻璃反射问题。使用从自然光反射所得到的信息、2D图像(即，以检测瞳孔位置)以及3D深度图(即，以通过检测头部的特征来识别头部的位置)，计算机26可计算凝视角度并识别用户正看着的给定的交互项36。
如先前所指出的，凝视传感器60和处理器56可跟踪用户眼睛中的一者或两者。如果以足够的准确度跟踪两只眼睛34，则处理器可能够为每只眼睛提供独立的凝视角度测量。在眼睛正看着远处对象时，两只眼睛的凝视角度将是平行的；但对于近处对象，凝视角度将通常交汇于感兴趣的对象附近的一点上。这个点可与深度信息一起用于提取在任何给定时刻用户的凝视所固定在的点的3D坐标。
如上所述，设备24可创建同时处于其视场中的多个用户的3D图。凝视传感器60可类似地通过提供整个视场的单个高分辨率图像或通过扫描控件62对每个用户的头部的位置进行扫描来找到这些用户中的每一个用户的凝视方向。
处理器56经由通信链路64诸如通用串行总线(USB)连接来将3D图和凝视信息输出至计算机26的合适接口66。计算机包括具有存储器70和用户界面72的中央处理单元(CPU)68，该中央处理单元(CPU)68驱动显示器28并还可包括其他组件。如上所指出的，设备24可替代地仅输出原始图像，并且可由CPU 68在软件中执行上文所述的3D图和凝视计算。用于从3D图和凝视信息中提取更高级别信息的中间件可在处理器56、CPU 68或两者上运行。CPU68运行一个或多个应用程序，所述应用程序基于由中间件所提供的信息通常经由应用程序接口(API)来驱动用户界面72。此类应用程序可包括例如游戏、娱乐、网页冲浪和/或办公应用程序。
尽管在图2中将处理器56和CPU 68示出为其间具有某种处理任务划分的单独功能元件，但处理器和CPU的功能可替代地由单个处理单元来执行，或者这些功能可在三个或更多个处理单元之间被划分。此外，尽管设备24被示出为以特定布置包含组件的某种组合，但其他设备配置也可用于本文所述的目的，并且被视为在本发明的范围内。
与屏幕上对象的交互
图3为根据本发明的实施例的示意性地示出一种检测凝视和手势以便选择给定的交互项36并对其执行操作的方法的流程图。在展示步骤80中，计算机26在显示器28上呈现多个交互项36，并且在第一接收步骤82中，处理器从指示由用户执行的凝视方向的感测设备24接收输入。
在一些实施例中，接收该输入可包括从深度成像子组件52接收至少包含头部32的3D图，以及从凝视传感器60接收至少包含眼睛34的2D图像。计算机26然后分析所接收的3D深度图和2D图像以便识别用户22的凝视方向。在于2012年2月9日提交的其公开内容以引用方式并入本文的PCT专利申请PCT/IB2012/050577中描述了凝视检测。
如前面所述，照明子组件50可将光朝着用户22投射，并且所接收的2D图像可包括经反射离开一个或多个眼睛34的眼底和/或角膜的光。在一些实施例中，计算机26可通过从3D图识别头部沿X轴40、Y轴42和Z轴44的位置来提取头部32的3D坐标。在另选的实施例中，计算机26通过从2D图像识别头部沿X轴40和Y轴42的第一位置并且从3D图识别头部沿Z轴44的第二位置来提取头部32的3D坐标。
在选择步骤84中，计算机26识别并选择计算机在显示器28上在凝视方向上呈现的给定的交互项36。继选择给定的交互项之后，在第二接收步骤86中，计算机26从深度成像子组件52接收至少包含手31的3D图的序列。
在分析步骤88中，计算机26分析3D图以识别由用户22所执行的手势。如下文所述，手势的例子包括但不限于按压和保持手势、轻击手势、滑动以保持手势、轻扫手势、选择手势、捏合手势、从边缘划入手势、选择手势、抓取手势和旋转手势。为识别手势，计算机26可分析3D图的序列以识别手31(和/或手指30)在执行手势时的初始和后续位置。
在执行步骤90中，计算机响应于所述手势来对所选择的交互项执行操作，并且该方法结束。在选择单个项目时响应于给定的手势来执行的操作的例子包括但不限于：
·在显示器28上呈现有关所选择的交互项的上下文信息。
·执行与所选择的交互项相关联的应用程序。
·切换至与所选择的交互项相关联的应用程序(即，任务切换)。
·在显示器28上改变所选择的交互项的大小。
在一些实施例中，用户22可使用凝视相关的指示手势来选择给定的交互项。凝视相关的指示手势通常包括用户22将手指30指向显示器28以选择给定的交互项36。在用户将手指30指向显示器28时，计算机26可在用户眼睛34中的一者(或眼睛34之间的一点)与手指之间定义一个线段，并且识别线段与显示器相交的目标点。然后计算机26可选择在目标点附近呈现的给定的交互项36。在于2012年2月9日提交的其公开内容以引用方式并入本文的PCT专利申请PCT/IB2012/050577中描述了凝视相关的指示手势。
在另外的实施例中，计算机26可响应于第一输入使用凝视检测来选择给定的交互项36(如前面在步骤82中所述)，从触摸板46接收指示在触摸板上执行的(触觉)手势的第二输入，并响应于从触摸板所接收的第二输入来执行操作。
在另一个实施例中，用户22可在手指30与物理表面47(例如，图1所示的桌面)接触时执行给定的手势，从而将物理表面“转换成”虚拟触摸板。在补充实施例中，如下文所述，投影仪48可将图像投射在物理表面47上，从而将物理表面转换成虚拟触摸屏。
如前面所述，本发明的实施例使计算机26能够通过在显示器28上呈现交互项36并识别由用户22所执行的三维非触觉手势来模仿触摸板或触摸屏。例如，计算机26可配置由Microsoft Corporation(Redmond，Washington)所生产的Windows 8TM操作***，以响应于由用户22所执行的三维手势。
图4A-4G为根据本发明的实施例的手势的示意性立体说明图，所述手势对应于在与执行Windows 8TM操作***的计算机进行交互时所使用的触觉手势。在一些实施例中，用户22可将图4所述的手势作为触摸板46上的二维手势来执行。除此之外或作为另外一种选择，计算机26可使用从感测设备24所接收的输入而在物理表面47上或在用户22附近的空间中定义虚拟表面(例如，虚拟触摸板、虚拟触摸屏、虚拟键盘或虚拟鼠标)。在操作中，计算机26可将在虚拟表面上执行的三维手势解释为在触摸板46或触摸屏28上所执行的对应二维手势。在与虚拟表面进行交互时，手31通常“悬停”在虚拟表面上方，直至用户22执行下文所述的手势中的一者。
图4A为根据本发明的实施例的执行按压和保持手势的手31的示意性立体说明图。按压和保持手势类似于在上文所参考的PCT/IB2012/050577中所述的点触手势，并包括用户22朝着给定的交互项36凝视，朝着显示器28推动手指30(“按压”)，并保持手指相对稳定地持续至少指定的时间段(“保持”)。在识别凝视方向以及按压和保持手势时，计算机26可呈现有关所选择的交互项36的上下文信息。
如前面所述，用户22可使用凝视相关的指示手势来选择给定的交互项36，或在手势板46上执行触觉手势。为使用凝视相关的指示手势以及按压和保持手势来与计算机26进行交互，用户22可朝着给定的交互项36推动手指30(“按压”)，并保持手指相对稳定地持续至少指定的时间段(“保持”)。为使用凝视和手势板46来与计算机26进行交互，用户22可朝着给定的交互项36凝视，用手指30触摸手势板46，并将手指保持在手势板上持续至少指定的时间段。
图4B为根据本发明的实施例的执行轻击手势的手31的示意性立体说明图。轻击手势类似于在上文所参考的PCT/IB2012/050577中所述的点选手势，并包括用户22朝着给定的交互项36凝视，朝着显示器28推动手指30(“按压”)，并回拉手指(“释放”)。在识别凝视方向和轻击手势时，计算机26可执行与给定的交互项相关联的操作。例如，如果给定的交互项包括应用程序图标，则计算机可响应于轻击手势来执行与该应用程序图标相关联的应用程序。
为使用凝视相关的指示手势以及轻击手势来与计算机26进行交互，用户22可朝着给定的交互项36推动手指30(“按压”)，并回拉手指(“释放”)。为使用凝视和手势板46来与计算机26进行交互，用户22可朝着给定的交互项36凝视，用手指30触摸手势板46，并将手指抬离手势板。
图4C为根据本发明的实施例的执行滑动以拖动手势的手31的示意性立体说明图。滑动以拖动手势使得用户22能够滚动交互项36从而平移显示器28。为执行滑动以拖动手势，用户22朝着显示器28的任何部分凝视，朝着显示器推动手指30(“按压”)，在所请求的滚动方向的方向上从一侧向另一侧移动手指(“拖动”)，并回拉手指(“释放”)。在识别滑动以拖动手势时，计算机26可通过在手势的方向上在显示屏28上滚动交互项来“移动屏幕”。因此，在凝视显示器28并执行滑动以拖动手势时，用户22实际上正在选择呈现在显示器上的所有交互项并对其执行操作。
在一些实施例中，用户22可通过凝视左边或右边来控制滚动的方向，其中由手指30执行的手势仅指示滚动动作，并不指示滚动方向。在另外的实施例中，计算机26可使用现实世界坐标来控制滚动，其中计算机以距离单位，诸如厘米，而不是像素来测量手指的运动。在使用现实世界坐标时，计算机可将一常数或变量因数施加于所检测到的移动。例如，计算机可将一厘米的手指运动解释为显示器上10个像素的滚动。
作为另外一种选择，计算机可应用含有一常数或变量因数的公式，该公式补偿用户与显示器之间的距离。例如，为补偿该距离，计算机26可计算公式P＝D*F，其中P＝在显示器28上滚动的像素的数量，D＝用户22距显示器28的距离(以厘米计)，且F＝一个因数。
可能存在计算机26识别到用户22正沿第一方向凝视并且在第二方向上移动手指30的情况。例如，用户22可能正将其凝视从左边引导至右边，但将手指30从右边移动至左边。在这些情况下，计算机26可由于矛盾的手势而停止任何滚动。然而，如果凝视以及由手指执行的滑动以拖动手势指示的是相同方向但却是不同滚动速度(例如，用户将其眼睛快速地移动到侧部，而更缓慢地移动手指30)，则计算机可在滚动交互项时将插值施加于所指示的滚动速度。
为使用凝视相关的指示手势以及滑动以拖动手势来与计算机26进行交互，用户22可朝着显示器28推动手指30(“按压”)，从一侧向另一侧移动手指(“拖动”)，并回拉手指(“释放”)。为使用凝视和手势板46来与计算机26进行交互，用户22可朝着显示器28凝视，用手指30触摸手势板46，从一侧向另一侧移动手指，并将手指抬离手势板。
图4D为根据本发明的实施例的执行轻扫手势的手31的示意性立体说明图。轻扫手势可用于多种操作，诸如选择在显示器28上正滑动的交互项36，或切换至在计算机上执行的另一应用程序(类似于Microsoft WindowsTM中的Alt-Tab键盘组合)。为执行轻扫手势，用户22朝着正在显示器28上正滑动的给定的交互项36凝视，朝着显示器推动手指30(“按压”)，以与给定的交互项正滑动的方向成90°的角度移动手指(“拖动”)，并回拉手指(“释放”)。
为使用凝视相关的指示手势以及轻扫手势来与计算机26进行交互，用户22可朝着给定的交互项36推动手指30(“按压”)，以与给定的交互项正滑动的方向成90°的角度移动手指(“拖动”)，并回拉手指(“释放”)。为使用凝视和手势板46来与计算机26进行交互，用户22可朝着给定的交互项36凝视，用手指30触摸手势板46，以与给定的交互项正滑动的方向成90°的角度移动手指(例如，如果交互项正向左或向右滑动，则向上或向下移动)，并将手指抬离手势板。
在另选的实施例中，用户22可通过执行选择手势来选择在显示器28上正滑动的交互项。为执行选择手势，用户22朝着在显示器28上正滑动的交互项36凝视并使手指30以向下的运动轻扫(即，在虚拟表面上)。为使用凝视相关的指示手势以及选择手势来与计算机26进行交互，用户22可朝着在显示器28上正滑动的给定的交互项36推动手指30，并使手指以向下的运动轻扫。
图5为在计算机26上执行并且在显示器28上呈现的图片库应用程序100以及在计算机上执行且横跨显示器水平地“滑动”的图应用程序102的示意性立体说明图。用户22可通过执行前面所述的轻扫或选择手势来选择滑动图应用程序102。
图4E为根据本发明的实施例的执行捏合(以缩放)手势的手31的示意性立体说明图。捏合手势类似于在于2012年3月19日提交的其公开内容以引用方式并入本文的美国专利申请13/423,314中所述的抓取手势。为执行捏合手势，用户22朝着给定的交互项36凝视，朝着显示器推动两个或更多个手指30(“按压”)，将手指朝着彼此移动，例如，如图4E中所示将食指和/或中指与拇指捏合在一起(“捏合”)，并回拉手指(“释放”)。响应于捏合手势，计算机26可改变在显示器上呈现的给定的交互项的大小(即，缩放)。
为使用凝视相关的指示手势以及捏合手势来与计算机26进行交互，用户22可朝着给定的交互项36推动两个手指30(“按压”)，将手指朝着彼此移动(“捏合”)，并回拉手指(“释放”)。为使用凝视和手势板46来与计算机26进行交互，用户22可朝着给定的交互项36凝视，用两个或更多个手指30触摸手势板46，将手指朝着或远离彼此移动，并将手指抬离手势板。
抓取手势具有与轻扫手势相同的功能。为执行抓取手势，用户22朝着给定的交互项36凝视，朝着手掌合拢一个或多个手指30，朝着显示器28推动手31或将手拉离显示器，并执行释放手势。为使用凝视相关的指示手势以及抓取手势来与计算机26进行交互，用户22可朝着给定的交互项36执行抓取手势，朝着显示器28推动手31或将手拉离显示器，并且然后执行释放手势。在上文所引用的美国专利申请13/423,314中描述了释放手势。
图4F为根据本发明的实施例的从边缘划入手势的示意性立体说明图。在操作中，从边缘划入手势使得用户22能够查看隐藏菜单或者在于计算机26上执行的应用程序之间切换。为执行从边缘划入手势，用户22朝着显示器28的(外)边缘(即，从上往下，向左或向右)凝视，朝着显示器推动手指30，并将手指移动到显示器中(即，远离边缘)。作为另外一种选择，用户22可将目光朝着显示器28的边缘引导，并通过以水平轻扫运动将手31移动至显示器的相对侧来执行轻扫手势。在本文所述的实施例中，可将显示器的“靠近边缘”设置为与显示器的边缘相距的最大距离(例如，与边缘的外部或与边缘的两侧相距6英寸)。
为使用凝视相关的指示手势以及从边缘划入手势来与计算机26进行交互，用户22可朝着显示器28的边缘推动手指30，并将手指移动到显示器中。作为另外一种选择，用户22可执行远离显示器28的边缘的轻扫手势。为使用凝视和手势板46来与计算机26进行交互，用户22可朝着显示器28的边缘凝视，触摸手势板46，在对应于移动到显示器中的方向上移动手指，并将手指抬离手势板。
在识别从边缘划入手势时，计算机26可执行操作，诸如在“所触摸的”边缘上呈现“隐藏”菜单。
图6A和6B为根据本发明的实施例的日历应用程序110的示意性立体说明图。首先，计算机26呈现日历应用程序110，如图6A所示。在检测到用户22从日历的右边缘执行从边缘划入手势时，计算机26在日历的右侧呈现隐藏菜单112(还称为“超级按钮”菜单)(以及在定位在显示器左下角的黑框114中所呈现的时间和日期信息)，如图7B所示。在一些配置中，可存在针对屏幕的每一侧(即，左、右、上、下)的隐藏菜单112。
在另外的实施例中，计算机26可仅在识别在特定边缘(在图6A和6B所示的例子中为右边缘)处所引导的用户目光时才呈现隐藏菜单，并且不需要手指30执行任何手势。
图4F为根据本发明的实施例的旋转手势的示意性立体说明图。旋转手势使得用户22能够旋转并从而控制给定的交互项36。例如，所选择的交互项36可包括音量旋钮，用户22可通过顺时针或逆时针旋转该旋钮来控制该旋钮。在上文所引用的美国专利申请13/423,314中描述了旋转手势。
为执行旋转手势，用户22朝着呈现在显示器28上的给定的交互项36凝视，朝着显示器推动两个或更多个手指30(“按压”)，以圆形(即，顺时针/逆时针方向)运动来旋转手指(“旋转”)，并回拉手指(“释放”)。在一些实施例中，计算机26可允许用户在执行旋转手势时将来自不同手31的两个或更多个手指30捏合在一起。
为使用凝视相关的指示手势以及旋转手势来与计算机26进行交互，用户22可朝着给定的交互项36来推动两个或更多个手指30(“按压”)，旋转手指(“旋转”)，并回拉手指(“释放”)。为使用凝视和手势板46来与计算机26进行交互，用户22可朝着给定的交互项36凝视，用两个或更多个手指30触摸手势板46，在手势板上以圆形运动来移动手指，并将手指抬离手势板。
除经由虚拟表面操控交互项36之外，用户22还可与呈现在显示器28上的其他类型的项目进行交互，所述其他类型的项目诸如如下文所述的屏幕上虚拟键盘。
图7A为根据本发明的实施例的虚拟键盘120的第一示意性立体说明图。在图7A中所示的例子中，用户22经由计算机26响应于手31和/或手指30的运动而定位在显示器28上的光标122来与虚拟键盘120进行交互。在于2011年9月25日提交的其公开内容以引用方式并入本文的美国专利申请13/244,490中描述了虚拟键盘120。
在一些实施例中，计算机62可在显示器28上同时呈现交互项36(即，虚拟表面)和键盘120。计算机26可如下所示区分朝着虚拟表面和键盘定向的手势：
·定向在键盘120外部的轻击手势可与虚拟表面(即，虚拟触摸板或虚拟触摸屏)相关联。
·由两个或更多个连接的手指30所进行的定向在键盘120内的任何手势可被解释为虚拟触摸板手势。
·定向在键盘120内的单指手势可被解释为在虚拟键盘上按压按键。
除用单个手指按压单个按键之外，计算机还可通过使用语言模型来识别用户可通过使单个手指在虚拟键盘上的适当按键上方轻扫而输入的单词。
图7B为根据本发明的实施例的虚拟键盘120的第二示意性立体说明图。在图7B中所示的例子中，用户22首先移动手指30以将光标122定位在位置124处，并沿所示的路径段移动手指30使得光标在位置126(通过字母“N”)、位置128(“O”)和位置130(“T”)处改变方向。在上文所引用的美国专利申请13/244,490中描述了经由虚拟键盘上的路径段来解释字母输入。
可使用由设备24所提供的深度图和/或彩色图像来使另外的特征包括在虚拟表面中，例如包括：
·手指检测。计算机26可识别哪只手31上的哪个或哪些手指30正与虚拟表面进行交互。可针对不同的手指和/或手来定义不同的手势。
·颜色感知触摸屏。计算机26可识别由手31抓握的对象的颜色，并在应用程序中使用所识别的颜色。例如，如果计算机26正执行绘画程序，并且用户22拿起一个彩笔(未示出)，则计算机可识别笔的颜色并在呈现由用户在虚拟表面上所“绘制”的内容时使用该颜色。
·手感知虚拟表面。计算机26可确定哪只手(左/右)30正触摸虚拟表面。
·用户感知虚拟表面。计算机26可确定正在触摸并正与虚拟表面进行交互的给定用户22的身份。
·头部取向感知用户界面。在凝视相关的指示手势用于控制虚拟表面时，计算机26可根据头部移动来改变用户界面。
·用户位置感知用户界面。计算机26可根据用户位置、距离和/或姿势来改变用户界面。例如，在用户移动得更靠近感测设备24时，计算机26可使用更小的尺寸来呈现交互项36。同样，在用户移动得更远离感测设备24时，计算机26可使用更大的尺寸来呈现交互项36。如果用户22水平地移动，则计算机26可重新布置在显示器26上呈现的交互项以实现更好的交互性。
虽然本文所述的实施例使计算机26处理指示由用户22的肢体(例如，手指30或手31)所执行的手势的一系列3D图，但手势识别的其他方法也被视为在本发明的实质和范围内。例如，用户22可使用包括运动传感器的输入设备诸如激光器，所述运动传感器诸如手套控制器或诸如Nintendo的Wii RemoteTM(还称为Wiimote)的游戏控制器，其由NintendoCo.，Ltd(KYOTO-SHI，KYT 601-8501，Japan)生产。除此之外或作为另外一种选择，计算机26可接收并处理来自其他类型的感测设备的指示由用户所执行的手势的信号，所述其他类型的感测设备诸如超声波传感器和/或激光器。
基于凝视的触摸屏增强
如前面所述，本发明的实施例可用于在执行用户界面20的计算机26上实施虚拟触摸屏。在一些实施例中，也可在虚拟触摸屏上实施上文所述的触摸板手势(以及指示手势和凝视检测)。在操作中，用户的手“悬停在”虚拟触摸屏上方，直至用户执行本文所述的手势中的一者。
例如，用户可执行从边缘划入手势以便查看隐藏菜单(还称为“超级按钮菜单”)，或者可使用捏合手势以“抓取”在虚拟触摸屏上呈现的给定的交互项36。
物理表面增强
除检测由用户22在空间中所执行的三维手势之外，计算机26可被配置为检测用户22在物理表面47上执行二维手势，从而将物理表面转换成虚拟触觉输入设备诸如虚拟键盘、虚拟鼠标、虚拟触摸板或虚拟触摸屏。
在一些实施例中，从感测设备24所接收的2D图像至少包含物理表面47，并且计算机26可被配置为将物理表面分割成一个或多个物理区域。在操作中，计算机26可向所述一个或多个物理区域中的每一个物理区域分配功能，所述功能中的每一项功能对应于触觉输入设备，并且在接收至少包含定位在物理区域中的一者上的手31的三维图的序列时，计算机可分析3D图以检测由用户所执行的手势，并且基于所述手势来模拟与物理区域中的一者对应的触觉输入设备的输入。
图8A-8D统称为图8，为根据本发明的实施例的物理表面47上的物理区域142和144的示意性立体说明图。在图8中所示的例子中，计算机26将区域142配置作为虚拟触摸屏并且将区域144配置作为虚拟鼠标。
在图8A中，计算机26使用由3D感测设备24所提供的信息来检测正触摸区域142的用户的手及任何手指30的位置。区域142(及物理表面47)内的每个点可映射至显示器28上的对应点。尽管图8A中的例子示出了与区域142接触的单个手指30，但3D感测设备和计算机26可被配置为检测任意数量的手指30，从而使用户22能够执行复杂的多指控制手势，包括滚动、缩放、平移等。在一些实施例中，计算机26可将区域142配置作为能够接受来自所有手指30的“输入”的虚拟键盘。
图8B示出了将键盘右侧的区域144用作鼠标区域。这里，用户的手被假设为握住鼠标(实际的或不存在的)。在操作中，计算机26可响应于用户的手在区域144中的移动来重新定位显示器28上的光标。用户手指的运动(诸如轻击运动)，如由3D感测设备所检测到的，可被计算机解释为点击鼠标按钮，其中每个手指30被分配为对应于不同的按钮。
图8C示出了使用左手来选择键盘左侧区域中的“超级按钮”，并且图8D示出了针对不一定涉及与物理表面47的接触的3D手势来将键盘上方的空间用作交互区域。
图9A-9C统称为图9，为根据本发明的实施例的示出手31在物理表面上或靠近物理表面的移动如何可提供“惯性”输入至计算机的示意性立体说明图。基于来自3D感测设备的输入(即，3D图的序列)，计算机可确定用户手指中的每一个手指的位置和速度两者，如通过叠加在图9B和图9C左侧中的物理表面47上的线150和点152所示。计算机可将位置和速度信息结合到模拟输入中以用于控制呈现在显示器上的一个或多个交互项36的移动的方向和速度。
图10A-10C统称为图10，为根据本发明的实施例的被配置为用于绘图应用程序的输入设备的物理表面47的示意性立体说明图。在操作中，计算机26可通过将用户的交互转换成离屏缓冲区中的绘图命令，使用物理表面上的触摸坐标与绘图缓冲区中的像素坐标之间定义的坐标转换而在离屏缓冲区中形成绘图。
在图10中所示的例子中，线160包括在用户22“描绘”图片时手指30的历史位置。如图10A所示，计算机26可将物理表面47配置作为多触摸输入设备，该多触摸输入设备被配置为接收来自一个或多个手指30的输入。
图10B示出了所绘制的线的粗细可由用户如何将手指30按压在物理表面47来进行控制。计算机26可执行算法以使用3D图的序列来检测用户在哪里触摸物理表面并计算手指的多少像素是靠近物理表面的(例如，多少像素在与该表面相距1cm的接近度内)。通过改变手指与物理表面的接近度，或者手指被保持的角度，用户可生成针对物理表面的虚拟“压力”，计算机26可将该虚拟“压力”结合到模拟输入中以用于确定线的粗细。在图10B所示的例子中，由于在绘制线160B时手指30所施加的更大的压力，因此线160B比线160A更粗。
图10C示出了可结合到该绘图应用程序中的颜色感知。用户在手31中保持对象诸如笔162(或盖帽闭合的标记笔)，并且从设备24中的彩***照相机所接收的2D图像可检测笔的颜色，并且计算机26可将该相同颜色结合到模拟输入中以在呈现当前所绘制的线时使用。
因此，用户22可拿起一个对象(例如，彩笔，如前面所述)，并在保持该对象时执行手势。在一些实施例中，所接收的3D图的序列至少包含该对象，因为手31可能不在感测设备24的视场内。作为另外一种选择，手31可在感测设备24的视场内，但手可能被挡住，使得3D图的序列不包括手。换句话讲，3D图的序列可指示由手31所抓握的对象执行的手势。上文所述实施例的所有特征可基于这种手持式对象而不是手自身的感测移动，可同样以必要的变更而被实施。
图10D示出了可能的橡皮擦模式，通过该橡皮擦模式用户22擦掉物理表面上的手31，并且该手势使得计算机26擦除绘图缓冲区中的绘图的相关区域。进入“橡皮擦”模式的一种可能性是检测到用户已将其手掌而不是独立的手指(其将指示“绘图”模式)放置在物理表面上。另一个选项是允许用户使用单独的手势来明确地进入“橡皮擦”模式。
为丰富在该绘画应用程序中用户22可用的该组交互，还可将菜单和其他用户界面元素添加作为应用程序使用的一部分。
图11为示出可如何将“转盘菜单”170结合到应用程序中的示意性立体说明图。所示的转盘菜单具有4个分区172，每个分区对应于不同的选项。通常，分区的数量是可变化的。用户22可通过将手指30按压在物理表面47上并保持手指静止持续短的超时周期，来激活转盘菜单170。这种超时使得***能够区分绘图交互(在该情况下，用户将在将手指放置在物理表面上之后非常快地开始移动手指)与用户界面交互(在该情况下，用户保持手指静止持续该超时)。用户22可以两种方式中的一者从转盘菜单中选择给定的分区172：执行选择的一种方式是将手指30拖动到所需分区172中(在此时间期间，将以黄色突出显示该分区)，并将手指从物理表面上抬起以确认选择。另一种方式是使手指30横跨所需分区172轻扫(从转盘菜单的中心，向外超过转盘菜单的外半径)。在所述的后一情况下，手指一退出转盘菜单的外半径就执行选择，而不需要将手指从桌上抬起。
图12A和12B统称为图12，为根据本发明的实施例的由投影仪48照亮的物理表面47的示意性立体说明图。为丰富用户体验，可将投影仪48添加到该配置中，通常在物理表面上方，将绘图物理地投射在物理表面上，从而在物理表面47上模拟触摸屏。图12A示出了在物理表面上绘图的手31，同时投影仪48将该虚拟绘图180投射到物理表面上。这种投射给予用户更具沉浸感的体验，因为他们不需要看着计算机监视器以查看他们绘图的中间结果。投影仪48还可将转盘菜单170投射到物理表面47上，如在图12B中所见。
在一些实施例中，一个或多个物理对象可定位在物理表面47上，并且在计算机26从感测设备24接收至少包含物理表面、一个或多个物理对象以及定位在物理表面47附近(或上)的手31的三维图的序列时，计算机可分析3D图以检测由用户所执行的手势，响应于所述手势来将动画投射到物理表面上，并将所述一个或多个物理对象结合到动画中。
在操作中，从深度成像子组件52捕捉的3D图可用于识别每个物理对象的位置和形状，而从传感器60捕捉的2D图像可包含物理对象中的每一个物理对象的另外的外观数据。所捕捉的3D图和2D图像可用于从物理对象的预编组中识别物理对象中的每一个物理对象。下文图13所述的例子将物理对象结合到游戏应用程序中，在该游戏应用程序中响应于用户22在物理表面上轻扫手指30来将动画球投射到物理表面47上。在操作中，动画球可通过检测物理对象的位置并示例与物理对象协同定位的虚拟碰撞对象来与物理对象“碰撞”。
图13A-13D统称为图13，为根据本发明的实施例的示出在用户22执行手势时定位在物理表面47上的一个或多个物理对象190的示意性立体说明图。在一些实施例中，投影仪48可将包含所述一个或多个物理对象中的每一个物理对象的相应轮廓图像192投射到物理表面47上，从而指示所述一个或多个物理对象中的每一个物理对象的位置。
在图13A中，用户22正将手31搁置在物理表面47上，并且在图13B中，用户22通过将手朝着物理对象190中的给定一者移动来开始执行手势。响应于用户的手势，计算机26可将包括具有相应拖尾路径196的多个球194的动画投射到手31和/或表面47上，所述相应拖尾路径指示球的最近历史位置。
在图13B和13C中，在用户22完成手势时，计算机26投射包括球194及其相应拖尾路径196的动画，从而将相应轮廓图像结合到动画中，所述相应拖尾路径与给定物理对象的轮廓图像碰撞并反射离开所述轮廓图像。虽然图13中的例子示出了投射到物理表面47上的动画，但在显示器28上呈现动画也被视为在本发明的实质和范围内。
应当理解，上文所描述的实施例以举例的方式引用，并且本发明不限于上文已特别示出或描述的内容。相反地，本发明的范围包括上文所述的各种特征的组合和子组合两者，以及本领域的技术人员在阅读前述描述时将想到的并且在现有技术中未公开的所述特征的变型和修改。

Claims (31)

1.一种方法，包括：
由计算机在耦接至所述计算机的显示器上呈现多个交互项；
接收指示所述计算机的用户的凝视方向的输入，
其中接收所述输入包括：接收至少包含所述用户的头部的初始3D图；接收至少包含所述用户的眼睛的二维2D图像；从所述初始3D图和所述2D图像提取所述头部的3D坐标；以及基于所述头部的所述3D坐标和所述眼睛的所述2D图像来识别所述凝视方向；
响应于所述凝视方向，选择所述多个交互项中的一个；
继选择所述交互项中的所述一个之后，接收至少包含所述用户的手的三维3D图的序列；
分析所述3D图以检测由所述用户所执行的手势；以及
响应于所述手势来对所选择的交互项执行操作。
2.根据权利要求1所述的方法，其中所检测到的手势包括当所述手与物理表面接触时由所述手所执行的二维手势。
3.根据权利要求2所述的方法，其中所述物理表面被配置为选自包括触摸板、触摸屏、键盘和鼠标的列表的虚拟表面。
4.根据权利要求2所述的方法，进一步包括响应于所述二维手势来将图像投射在所述表面上。
5.根据权利要求1-4中任一项所述的方法，进一步包括响应于包括按压和保持手势的所检测到的手势而在显示器上呈现针对所选择的交互项的上下文信息。
6.根据权利要求1-4中任一项所述的方法，进一步包括响应于包括轻击手势的所检测到的手势来执行与所选择的交互项相关联的操作。
7.根据权利要求1-4中任一项所述的方法，进一步包括响应于包括滑动以拖动手势的所检测到的手势而在显示器上滚动所选择的交互项。
8.根据权利要求1-4中任一项所述的方法，进一步包括响应于选自包括轻扫手势和选择手势的列表的所检测到的手势来将任务切换至与所选择的交互项相关联的应用程序。
9.根据权利要求1-4中任一项所述的方法，进一步包括响应于选自包括捏合手势和抓取手势的列表的所检测到的手势而在显示器上改变所选择的交互项的大小。
10.根据权利要求1-4中任一项所述的方法，进一步包括响应于包括从边缘轻扫手势的所检测到的手势而在执行中的应用程序之间进行切换。
11.根据权利要求1-4中任一项所述的方法，进一步包括响应于包括从边缘轻扫手势的所检测到的手势而在显示器上呈现隐藏菜单。
12.根据权利要求1-4中任一项所述的方法，进一步包括响应于包括旋转手势的所检测到的手势而在显示器上呈现所选择的交互项的旋转。
13.根据权利要求1-4中任一项所述的方法，进一步包括识别由所述用户的所述手所保持的对象的颜色，并且使用所述颜色以用于在显示器上呈现内容。
14.根据权利要求1-4中任一项所述的方法，其中三维图的所述序列至少包含物理表面、定位在所述物理表面上的一个或多个物理对象、以及定位在所述物理表面附近的所述手，并且所述方法还包括响应于所述手势来将动画投射到所述物理表面上，以及将所述一个或多个物理对象结合到所述动画中。
15.根据权利要求14所述的方法，进一步包括投射包含所述一个或多个物理对象中的每一个物理对象的相应轮廓图像，并将所述相应轮廓图像结合到所述动画中。
16.一种装置，包括：
感测设备，所述感测设备被配置为接收至少包含用户的头部和手的三维3D图，并且接收至少包含所述用户的眼睛的二维2D图像；
显示器；和
计算机，所述计算机耦接至所述感测设备和所述显示器，并且被配置为：在所述显示器上呈现多个交互项；接收指示由所述计算机的用户所执行的凝视方向的输入；响应于所述凝视方向，选择所述多个交互项中的一个；继选择所述交互项中的所述一个之后接收至少包含所述用户的所述手的所述三维3D图的序列；分析所述3D图以检测由所述用户所执行的手势；并且响应于所述手势来对所述交互项中的所选择的一个执行操作，其中所述计算机被配置为通过以下方式来接收所述输入：接收至少包含所述用户的所述头部的所述3D图的初始3D图；接收至少包含所述用户的所述眼睛的所述二维2D图像；从所述初始3D图和所述2D图像提取所述头部的3D坐标；以及基于所述头部的所述3D坐标和所述眼睛的所述2D图像来识别所述凝视方向。
17.根据权利要求16所述的装置，其中所检测到的手势包括当所述手与物理表面接触时由所述手所执行的二维手势。
18.根据权利要求17所述的装置，其中所述物理表面被配置为选自包括触摸板、触摸屏、键盘和鼠标的列表的虚拟表面。
19.根据权利要求17所述的装置，进一步包括投影仪，所述投影仪耦接至所述计算机并且被配置为响应于所述二维手势来将图像投射在所述表面上。
20.根据权利要求16-19中任一项所述的装置，其中所述计算机被配置为响应于包括按压和保持手势的所检测到的手势而在所述显示器上呈现针对所选择的交互项的上下文信息。
21.根据权利要求16-19中任一项所述的装置，其中所述计算机被配置为响应于包括轻击手势的所检测到的手势来执行与所选择的交互项相关联的操作。
22.根据权利要求16-19中任一项所述的装置，其中所述计算机被配置为响应于包括滑动以拖动手势的所检测到的手势而在所述显示器上滚动所选择的交互项。
23.根据权利要求16-19中任一项所述的装置，其中所述计算机被配置为响应于选自包括轻扫手势和选择手势的列表的所检测到的手势而将任务切换至与所选择的交互项相关联的应用程序。
24.根据权利要求16-19中任一项所述的装置，其中所述计算机被配置为响应于选自包括捏合手势和抓取手势的列表的所检测到的手势而在所述显示器上改变所选择的交互项的大小。
25.根据权利要求16-19中任一项所述的装置，其中所述计算机被配置为响应于包括从边缘轻扫手势的所检测到的手势而在执行中的应用程序之间进行切换。
26.根据权利要求16-19中任一项所述的装置，其中所述计算机被配置为响应于包括从边缘轻扫手势的所检测到的手势而在所述显示器上呈现隐藏菜单。
27.根据权利要求16-19中任一项所述的装置，其中所述计算机被配置为响应于包括旋转手势的所检测到的手势而在所述显示器上呈现所选择的交互项的旋转。
28.根据权利要求16-19中任一项所述的装置，其中所述计算机被配置为识别由所述用户的所述手所保持的对象的颜色，并且使用所述颜色以用于在显示器上呈现内容。
29.根据权利要求16-19中任一项所述的装置，包括耦接至所述计算机的投影仪，并且其中三维图的所述序列至少包含物理表面、定位在所述物理表面上的一个或多个物理对象、以及定位在所述物理表面附近的所述手，并且其中所述计算机被配置为响应于所述手势使用所述投影仪来将动画投射到所述物理表面上，以及将所述一个或多个物理对象结合到所述动画中。
30.根据权利要求29所述的装置，其中所述计算机被配置为使用所述投影仪来将包含所述一个或多个物理对象中的每一个物理对象的相应轮廓图像投射在所述物理表面上，并且将所述相应轮廓图像结合到所述动画中。
31.一种非暂态计算机可读介质，在所述非暂态计算机可读介质中存储有程序指令，所述指令在由计算机读取时，使得所述计算机：在耦接至所述计算机的显示器上呈现多个交互项；接收指示由所述计算机的用户所执行的凝视方向的输入；响应于所述凝视方向，选择所述多个交互项中的一个；继选择所述交互项中的所述一个之后接收至少包含所述用户的手的三维3D图的序列；分析所述3D图以检测由所述用户所执行的手势；并且响应于所述手势来对所述交互项中的所选择的一个执行操作，
其中，所述指令使得所述计算机通过以下方式来接收所述输入：接收至少包含所述用户的头部的3D图中的一个初始3D图；接收至少包含所述用户的眼睛的二维2D图像；从初始3D图和所述2D图像来提取所述头部的3D坐标；以及基于所述头部的所述3D坐标和所述眼睛的所述2D图像来识别所述凝视方向。
CN201380016670.6A 2012-03-26 2013-03-24 增强的虚拟触摸板和触摸屏 Active CN104246682B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710928464.2A CN107665042B (zh) 2012-03-26 2013-03-24 增强的虚拟触摸板和触摸屏

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201261615403P 2012-03-26 2012-03-26
US61/615,403 2012-03-26
US201261663638P 2012-06-25 2012-06-25
US61/663,638 2012-06-25
PCT/IB2013/052332 WO2013144807A1 (en) 2012-03-26 2013-03-24 Enhanced virtual touchpad and touchscreen

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201710928464.2A Division CN107665042B (zh) 2012-03-26 2013-03-24 增强的虚拟触摸板和触摸屏

Publications (2)

Publication Number Publication Date
CN104246682A CN104246682A (zh) 2014-12-24
CN104246682B true CN104246682B (zh) 2017-08-25

Family

ID=49258337

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201380016670.6A Active CN104246682B (zh) 2012-03-26 2013-03-24 增强的虚拟触摸板和触摸屏
CN201710928464.2A Active CN107665042B (zh) 2012-03-26 2013-03-24 增强的虚拟触摸板和触摸屏

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201710928464.2A Active CN107665042B (zh) 2012-03-26 2013-03-24 增强的虚拟触摸板和触摸屏

Country Status (6)

Country Link
US (3) US9377863B2 (zh)
KR (2) KR101620777B1 (zh)
CN (2) CN104246682B (zh)
AU (1) AU2013239179B2 (zh)
IL (2) IL234665A (zh)
WO (1) WO2013144807A1 (zh)

Families Citing this family (183)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10922870B2 (en) 2010-06-01 2021-02-16 Vladimir Vaganov 3D digital painting
US9734622B2 (en) 2010-06-01 2017-08-15 Vladimir Vaganov 3D digital painting
US10217264B2 (en) 2010-06-01 2019-02-26 Vladimir Vaganov 3D digital painting
US9440484B2 (en) 2010-06-01 2016-09-13 Vladimir Vaganov 3D digital painting
US9201501B2 (en) 2010-07-20 2015-12-01 Apple Inc. Adaptive projector
CN102959616B (zh) 2010-07-20 2015-06-10 苹果公司 自然交互的交互真实性增强
EP3527121B1 (en) 2011-02-09 2023-08-23 Apple Inc. Gesture detection in a 3d mapping environment
US20120257035A1 (en) * 2011-04-08 2012-10-11 Sony Computer Entertainment Inc. Systems and methods for providing feedback by tracking user gaze and gestures
US8826190B2 (en) 2011-05-27 2014-09-02 Google Inc. Moving a graphical selector
US9459758B2 (en) 2011-07-05 2016-10-04 Apple Inc. Gesture-based interface with enhanced features
US9377865B2 (en) 2011-07-05 2016-06-28 Apple Inc. Zoom-based gesture user interface
US9377852B1 (en) * 2013-08-29 2016-06-28 Rockwell Collins, Inc. Eye tracking as a method to improve the user interface
WO2013059488A1 (en) 2011-10-18 2013-04-25 Carnegie Mellon University Method and apparatus for classifying touch events on a touch sensitive surface
US10013053B2 (en) 2012-01-04 2018-07-03 Tobii Ab System for gaze interaction
US10394320B2 (en) 2012-01-04 2019-08-27 Tobii Ab System for gaze interaction
US10025381B2 (en) * 2012-01-04 2018-07-17 Tobii Ab System for gaze interaction
US10540008B2 (en) 2012-01-04 2020-01-21 Tobii Ab System for gaze interaction
US10488919B2 (en) 2012-01-04 2019-11-26 Tobii Ab System for gaze interaction
US9501152B2 (en) 2013-01-15 2016-11-22 Leap Motion, Inc. Free-space user interface and control using virtual constructs
US11493998B2 (en) 2012-01-17 2022-11-08 Ultrahaptics IP Two Limited Systems and methods for machine control
US9229534B2 (en) 2012-02-28 2016-01-05 Apple Inc. Asymmetric mapping for tactile and non-tactile user interfaces
TWI626591B (zh) * 2012-03-01 2018-06-11 群邁通訊股份有限公司 應用程式切換系統及方法
CN104246682B (zh) * 2012-03-26 2017-08-25 苹果公司 增强的虚拟触摸板和触摸屏
US20130342672A1 (en) * 2012-06-25 2013-12-26 Amazon Technologies, Inc. Using gaze determination with device input
TW201405443A (zh) * 2012-07-17 2014-02-01 Wistron Corp 手勢輸入系統及方法
US9275302B1 (en) * 2012-08-24 2016-03-01 Amazon Technologies, Inc. Object detection and identification
KR102035134B1 (ko) * 2012-09-24 2019-10-22 엘지전자 주식회사 영상표시장치, 및 그 동작방법
US9310895B2 (en) * 2012-10-12 2016-04-12 Microsoft Technology Licensing, Llc Touchless input
US9804777B1 (en) * 2012-10-23 2017-10-31 Google Inc. Gesture-based text selection
US9294547B2 (en) * 2012-12-12 2016-03-22 Clearslide, Inc. Mobile device application for accessing a presentation uploaded to a presentation server and presenting a presentation offline
TWI454968B (zh) * 2012-12-24 2014-10-01 Ind Tech Res Inst 三維互動裝置及其操控方法
US9459697B2 (en) 2013-01-15 2016-10-04 Leap Motion, Inc. Dynamic, free-space user interactions for machine control
EP2926225A4 (en) 2013-02-14 2016-07-27 Apple Inc FLEXIBLE ROOM CONTROLS
US9864498B2 (en) 2013-03-13 2018-01-09 Tobii Ab Automatic scrolling based on gaze detection
US20140247210A1 (en) 2013-03-01 2014-09-04 Tobii Technology Ab Zonal gaze driven interaction
KR20140114766A (ko) 2013-03-19 2014-09-29 퀵소 코 터치 입력을 감지하기 위한 방법 및 장치
US9013452B2 (en) 2013-03-25 2015-04-21 Qeexo, Co. Method and system for activating different interactive functions using different types of finger contacts
US9612689B2 (en) 2015-02-02 2017-04-04 Qeexo, Co. Method and apparatus for classifying a touch event on a touchscreen as related to one of multiple function generating interaction layers and activating a function in the selected interaction layer
KR102138512B1 (ko) * 2013-03-26 2020-07-28 엘지전자 주식회사 디스플레이 디바이스 및 그의 제어 방법
US10082935B2 (en) * 2013-04-15 2018-09-25 Carnegie Mellon University Virtual tools for use with touch-sensitive surfaces
US9916009B2 (en) 2013-04-26 2018-03-13 Leap Motion, Inc. Non-tactile interface systems and methods
US10295338B2 (en) 2013-07-12 2019-05-21 Magic Leap, Inc. Method and system for generating map data from an image
US9798388B1 (en) * 2013-07-31 2017-10-24 Aquifi, Inc. Vibrotactile system to augment 3D input systems
US10281987B1 (en) * 2013-08-09 2019-05-07 Leap Motion, Inc. Systems and methods of free-space gestural interaction
US9720559B2 (en) 2013-10-14 2017-08-01 Microsoft Technology Licensing, Llc Command authentication
JP6165979B2 (ja) * 2013-11-01 2017-07-19 インテル コーポレイション 注視補助型タッチスクリーン入力
US10558262B2 (en) 2013-11-18 2020-02-11 Tobii Ab Component determination and gaze provoked interaction
US10317995B2 (en) 2013-11-18 2019-06-11 Tobii Ab Component determination and gaze provoked interaction
TWI506483B (zh) * 2013-12-13 2015-11-01 Ind Tech Res Inst 可調適色彩萃取之互動式書寫裝置及其操作方法
US20150169153A1 (en) * 2013-12-17 2015-06-18 Lenovo (Singapore) Pte, Ltd. Enhancing a viewing area around a cursor
KR20150073378A (ko) * 2013-12-23 2015-07-01 삼성전자주식회사 동작인식을 기반으로 하는 가상 입력장치의 사용자 인터페이스(ui)를 표시하는 장치 및 방법
AU2013409739B2 (en) * 2013-12-30 2017-10-12 Huawei Technologies Co., Ltd. Side menu displaying method and apparatus and terminal
US9740923B2 (en) * 2014-01-15 2017-08-22 Lenovo (Singapore) Pte. Ltd. Image gestures for edge input
US20150212676A1 (en) * 2014-01-27 2015-07-30 Amit Khare Multi-Touch Gesture Sensing and Speech Activated Radiological Device and methods of use
GB2522622A (en) * 2014-01-29 2015-08-05 Ibm Time segment user interface
US11010042B2 (en) * 2014-02-13 2021-05-18 Lenovo (Singapore) Pte. Ltd. Display of different versions of user interface element
US9986225B2 (en) * 2014-02-14 2018-05-29 Autodesk, Inc. Techniques for cut-away stereo content in a stereoscopic display
CN106537290B (zh) 2014-05-09 2019-08-27 谷歌有限责任公司 与真实和虚拟对象交互的基于生物力学的眼球信号的***和方法
US10564714B2 (en) 2014-05-09 2020-02-18 Google Llc Systems and methods for biomechanically-based eye signals for interacting with real and virtual objects
US9740338B2 (en) * 2014-05-22 2017-08-22 Ubi interactive inc. System and methods for providing a three-dimensional touch screen
US9639167B2 (en) * 2014-05-30 2017-05-02 Eminent Electronic Technology Corp. Ltd. Control method of electronic apparatus having non-contact gesture sensitive region
WO2015195549A1 (en) * 2014-06-16 2015-12-23 Vladimir Vaganov 3d digital painting
CN104090663B (zh) * 2014-07-14 2016-03-23 济南大学 一种基于视觉关注模型的手势交互方法
WO2016018355A1 (en) * 2014-07-31 2016-02-04 Hewlett-Packard Development Company, L.P. Virtual reality clamshell computing device
EP3486815A1 (en) * 2014-07-31 2019-05-22 Hewlett-Packard Development Company, L.P. Model data of an object disposed on a movable surface
US10664090B2 (en) 2014-07-31 2020-05-26 Hewlett-Packard Development Company, L.P. Touch region projection onto touch-sensitive surface
WO2016022049A1 (en) * 2014-08-04 2016-02-11 Telefonaktiebolaget L M Ericsson (Publ) Device comprising touchscreen and camera
US9952883B2 (en) 2014-08-05 2018-04-24 Tobii Ab Dynamic determination of hardware
US9329715B2 (en) 2014-09-11 2016-05-03 Qeexo, Co. Method and apparatus for differentiating touch screen users based on touch event analysis
US11619983B2 (en) 2014-09-15 2023-04-04 Qeexo, Co. Method and apparatus for resolving touch screen ambiguities
WO2016048279A1 (en) * 2014-09-23 2016-03-31 Hewlett-Packard Development Company, Lp Determining location using time difference of arrival
US10635296B2 (en) 2014-09-24 2020-04-28 Microsoft Technology Licensing, Llc Partitioned application presentation across devices
US10025684B2 (en) 2014-09-24 2018-07-17 Microsoft Technology Licensing, Llc Lending target device resources to host device computing environment
US10448111B2 (en) 2014-09-24 2019-10-15 Microsoft Technology Licensing, Llc Content projection
US9769227B2 (en) 2014-09-24 2017-09-19 Microsoft Technology Licensing, Llc Presentation of computing environment on multiple devices
WO2016048313A1 (en) 2014-09-24 2016-03-31 Hewlett-Packard Development Company, L.P. Transforming received touch input
US20160088060A1 (en) * 2014-09-24 2016-03-24 Microsoft Technology Licensing, Llc Gesture navigation for secondary user interface
US10606417B2 (en) 2014-09-24 2020-03-31 Qeexo, Co. Method for improving accuracy of touch screen event analysis by use of spatiotemporal touch patterns
US10282024B2 (en) 2014-09-25 2019-05-07 Qeexo, Co. Classifying contacts or associations with a touch sensitive device
JP6367673B2 (ja) * 2014-09-29 2018-08-01 京セラ株式会社 電子機器
WO2016053269A1 (en) 2014-09-30 2016-04-07 Hewlett-Packard Development Company, L. P. Displaying an object indicator
US11107091B2 (en) 2014-10-15 2021-08-31 Toshiba Global Commerce Solutions Gesture based in-store product feedback system
BR112017007976B1 (pt) 2014-10-22 2023-01-17 Telefonaktiebolaget Lm Ericsson (Publ) Método e dispositivo para fornecer uma interface de usuário baseada em toque
JP2016136351A (ja) * 2015-01-23 2016-07-28 京セラ株式会社 電子機器及び制御方法
KR20160113491A (ko) * 2015-03-20 2016-09-29 한국전자통신연구원 모션 플랫폼 시스템
US9858719B2 (en) * 2015-03-30 2018-01-02 Amazon Technologies, Inc. Blended reality systems and methods
US9442575B1 (en) * 2015-05-15 2016-09-13 Atheer, Inc. Method and apparatus for applying free space input for surface constrained control
DE102015210657B4 (de) * 2015-06-11 2017-05-24 Volkswagen Aktiengesellschaft Verfahren zur Erkennung einer Stellbewegung eines auf einer Anzeigefläche befindlichen Stellelementes in einem Kraftfahrzeug und Vorrichtung zur Durchführung des Verfahrens
KR20160147326A (ko) 2015-06-15 2016-12-23 동의대학교 산학협력단 깊이 영상 처리 기반의 가상 키보드 조작 방법
US9529454B1 (en) 2015-06-19 2016-12-27 Microsoft Technology Licensing, Llc Three-dimensional user input
US9898865B2 (en) 2015-06-22 2018-02-20 Microsoft Technology Licensing, Llc System and method for spawning drawing surfaces
CN106293444B (zh) * 2015-06-25 2020-07-03 小米科技有限责任公司 移动终端、显示控制方法及装置
DE102015212849A1 (de) * 2015-07-09 2017-01-12 Volkswagen Aktiengesellschaft Anwenderschnittstelle und Verfahren zum Bedienen einer Anwenderschnittstelle
WO2017015580A1 (en) 2015-07-23 2017-01-26 Artilux Corporation High efficiency wide spectrum sensor
US10707260B2 (en) 2015-08-04 2020-07-07 Artilux, Inc. Circuit for operating a multi-gate VIS/IR photodiode
TW202335281A (zh) 2015-08-04 2023-09-01 光程研創股份有限公司 光感測系統
US10761599B2 (en) 2015-08-04 2020-09-01 Artilux, Inc. Eye gesture tracking
US10861888B2 (en) 2015-08-04 2020-12-08 Artilux, Inc. Silicon germanium imager with photodiode in trench
US10642404B2 (en) 2015-08-24 2020-05-05 Qeexo, Co. Touch sensitive device with multi-sensor stream synchronized data
US10101803B2 (en) * 2015-08-26 2018-10-16 Google Llc Dynamic switching and merging of head, gesture and touch input in virtual reality
CN114754864B (zh) 2015-08-27 2023-03-24 光程研创股份有限公司 宽频谱光学传感器
US9549101B1 (en) * 2015-09-01 2017-01-17 International Business Machines Corporation Image capture enhancement using dynamic control image
US11194398B2 (en) * 2015-09-26 2021-12-07 Intel Corporation Technologies for adaptive rendering using 3D sensors
CN105302437B (zh) * 2015-10-13 2019-10-29 联想(北京)有限公司 一种橡皮擦尺寸切换方法和电子设备
US10254389B2 (en) 2015-11-06 2019-04-09 Artilux Corporation High-speed light sensing apparatus
US10886309B2 (en) 2015-11-06 2021-01-05 Artilux, Inc. High-speed light sensing apparatus II
US10739443B2 (en) 2015-11-06 2020-08-11 Artilux, Inc. High-speed light sensing apparatus II
US10741598B2 (en) 2015-11-06 2020-08-11 Atrilux, Inc. High-speed light sensing apparatus II
US10418407B2 (en) 2015-11-06 2019-09-17 Artilux, Inc. High-speed light sensing apparatus III
WO2017095966A1 (en) * 2015-11-30 2017-06-08 uZoom, Inc. Platform for enabling remote services
CN114371785A (zh) * 2015-12-28 2022-04-19 光程研创股份有限公司 眼动追踪***
US20190139642A1 (en) * 2016-04-26 2019-05-09 Ascend Hit Llc System and methods for medical image analysis and reporting
US10990169B2 (en) 2016-06-28 2021-04-27 Rec Room Inc. Systems and methods for assisting virtual gestures based on viewing frustum
US10613734B2 (en) * 2016-07-07 2020-04-07 Facebook, Inc. Systems and methods for concurrent graphical user interface transitions
US9681096B1 (en) 2016-07-18 2017-06-13 Apple Inc. Light field capture
US10627993B2 (en) * 2016-08-08 2020-04-21 Microsoft Technology Licensing, Llc Interacting with a clipboard store
US10234935B2 (en) * 2016-08-11 2019-03-19 Microsoft Technology Licensing, Llc Mediation of interaction methodologies in immersive environments
WO2018033137A1 (zh) * 2016-08-19 2018-02-22 北京市商汤科技开发有限公司 在视频图像中展示业务对象的方法、装置和电子设备
CN109890474B (zh) * 2016-09-01 2023-04-04 雷蛇(亚太)私人有限公司 用于仿真虚拟控制器装置的方法、仿真器及计算机可读介质
WO2018048000A1 (ko) 2016-09-12 2018-03-15 주식회사 딥픽셀 단일 카메라 기반의 3차원 영상 해석 장치 및 방법, 3차원 영상 해석을 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 매체
CN106527689A (zh) * 2016-10-13 2017-03-22 广州视源电子科技股份有限公司 虚拟现实***的用户界面交互方法和***
US9983684B2 (en) 2016-11-02 2018-05-29 Microsoft Technology Licensing, Llc Virtual affordance display at virtual target
CN108073267B (zh) * 2016-11-10 2020-06-16 腾讯科技（深圳）有限公司 基于运动轨迹的三维控制方法及装置
DE102017219385A1 (de) * 2016-11-13 2018-05-17 Honda Motor Co., Ltd. System und Verfahren zum Bereitstellen von Absolut- und Zonenkoordinatenabbildung mit Grafikanimationen
CN106845335B (zh) * 2016-11-29 2020-03-17 歌尔科技有限公司 用于虚拟现实设备的手势识别方法、装置及虚拟现实设备
KR20190099207A (ko) * 2016-12-27 2019-08-26 소니 주식회사 정보 처리 장치, 정보 처리 방법 및 컴퓨터 프로그램
US10499090B2 (en) * 2016-12-30 2019-12-03 Facebook, Inc. Systems and methods to transition between media content items
US10444908B2 (en) 2016-12-31 2019-10-15 Innoventions, Inc. Virtual touchpads for wearable and portable devices
KR20180104224A (ko) * 2017-03-09 2018-09-20 삼성전자주식회사 화면 제어 방법 및 이를 지원하는 전자 장치
CN108693954A (zh) * 2017-04-05 2018-10-23 北京暴风魔镜科技有限公司 场景编辑方法及装置、手势信息生成装置及场景编辑***
CN107368184B (zh) 2017-05-12 2020-04-14 阿里巴巴集团控股有限公司 一种虚拟现实场景中的密码输入方法和装置
US10261595B1 (en) * 2017-05-19 2019-04-16 Facebook Technologies, Llc High resolution tracking and response to hand gestures through three dimensions
US10782793B2 (en) * 2017-08-10 2020-09-22 Google Llc Context-sensitive hand interaction
EP4235263A3 (en) 2017-09-29 2023-11-29 Apple Inc. Gaze-based user interactions
US20190220185A1 (en) * 2018-01-12 2019-07-18 Mitutoyo Corporation Image measurement apparatus and computer readable medium
CN111868929B (zh) 2018-02-23 2021-08-03 奥特逻科公司 光检测装置及其光检测方法
US11105928B2 (en) 2018-02-23 2021-08-31 Artilux, Inc. Light-sensing apparatus and light-sensing method thereof
TWI780007B (zh) 2018-04-08 2022-10-01 美商光程研創股份有限公司 光偵測裝置及其系統
CN108717324A (zh) * 2018-04-11 2018-10-30 努比亚技术有限公司 智能可穿戴设备及其控制方法、计算机可读存储介质
TWI795562B (zh) 2018-05-07 2023-03-11 美商光程研創股份有限公司 雪崩式之光電晶體
US10969877B2 (en) 2018-05-08 2021-04-06 Artilux, Inc. Display apparatus
WO2019217081A1 (en) 2018-05-09 2019-11-14 Apple Inc. Selecting a text input field using eye gaze
CN108874127A (zh) * 2018-05-30 2018-11-23 北京小度信息科技有限公司 信息交互方法、装置、电子设备及计算机可读存储介质
US10635895B2 (en) 2018-06-27 2020-04-28 Facebook Technologies, Llc Gesture-based casting and manipulation of virtual content in artificial-reality environments
CN109407823B (zh) * 2018-08-16 2020-10-20 上海飞智电子科技有限公司 电子装置以及触控***
US11009989B2 (en) 2018-08-21 2021-05-18 Qeexo, Co. Recognizing and rejecting unintentional touch events associated with a touch sensitive device
US10833945B2 (en) * 2018-11-13 2020-11-10 International Business Machines Corporation Managing downloading of content
KR20200066962A (ko) * 2018-12-03 2020-06-11 삼성전자주식회사 사용자의 움직임에 기반하여 콘텐트를 제공하기 위한 전자 장치 및 방법
KR20210096306A (ko) * 2018-12-26 2021-08-04 스냅 인코포레이티드 컴퓨팅 디바이스들 상에서 3-차원 월페이퍼의 생성 및 사용자 상호작용들
CN109688346B (zh) * 2018-12-28 2021-04-27 广州方硅信息技术有限公司 一种拖尾特效渲染方法、装置、设备及存储介质
JP2022515608A (ja) * 2018-12-31 2022-02-21 ガーディアン・グラス・エルエルシー 大面積透明タッチインターフェースにおける視差補正のためのシステム及び／又は方法
DE102019200632B4 (de) * 2019-01-18 2021-11-25 Audi Ag Bediensystem mit portabler Schnittstelleneinheit sowie Kraftfahrzeug mit dem Bediensystem
US11630569B2 (en) * 2019-02-20 2023-04-18 Carnegie Mellon University System, method and devices for touch, user and object sensing for IoT experiences
CN110045819B (zh) * 2019-03-01 2021-07-09 华为技术有限公司 一种手势处理方法及设备
US11554322B2 (en) * 2019-04-26 2023-01-17 Sony Interactive Entertainment LLC Game controller with touchpad input
US10942603B2 (en) 2019-05-06 2021-03-09 Qeexo, Co. Managing activity states of an application processor in relation to touch or hover interactions with a touch sensitive device
US11379016B2 (en) 2019-05-23 2022-07-05 Intel Corporation Methods and apparatus to operate closed-lid portable computers
US11231815B2 (en) 2019-06-28 2022-01-25 Qeexo, Co. Detecting object proximity using touch sensitive surface sensing and ultrasonic sensing
US11150800B1 (en) * 2019-09-16 2021-10-19 Facebook Technologies, Llc Pinch-based input systems and methods
WO2021054589A1 (en) 2019-09-18 2021-03-25 Samsung Electronics Co., Ltd. Electronic apparatus and controlling method thereof
US11216065B2 (en) * 2019-09-26 2022-01-04 Lenovo (Singapore) Pte. Ltd. Input control display based on eye gaze
US11543873B2 (en) 2019-09-27 2023-01-03 Intel Corporation Wake-on-touch display screen devices and related methods
US11733761B2 (en) 2019-11-11 2023-08-22 Intel Corporation Methods and apparatus to manage power and performance of computing devices based on user presence
KR102216804B1 (ko) * 2019-11-15 2021-02-17 (주)이즈커뮤니케이션즈 정보 기기에 정보를 입력하는 정보 입력 장치
US11809535B2 (en) 2019-12-23 2023-11-07 Intel Corporation Systems and methods for multi-modal user device authentication
KR102533465B1 (ko) * 2019-12-24 2023-05-19 주식회사 브이알애드 시각에 따른 가상현실내의 도구패널 위치 지정방법
US11360528B2 (en) 2019-12-27 2022-06-14 Intel Corporation Apparatus and methods for thermal management of electronic user devices based on user activity
EP3859491A1 (en) * 2020-01-29 2021-08-04 Irisbond Crowdbonding, S.L. Eye-tracker, system comprising eye-tracker and computer device and method for connection between eye-tracker and computer device
US11592423B2 (en) 2020-01-29 2023-02-28 Qeexo, Co. Adaptive ultrasonic sensing techniques and systems to mitigate interference
US20230138244A1 (en) * 2020-04-07 2023-05-04 Hewlett-Packard Development Company, L.P. Sensor input detection
EP4162766A4 (en) * 2020-06-03 2023-11-15 Lucomm Technologies, Inc. PHYSICAL-VIRTUAL ENVIRONMENT FUSION SYSTEM
CN112565450A (zh) * 2020-06-21 2021-03-26 张伟 基于人工智能和物联网交互的数据处理方法、***及平台
CN114578952B (zh) * 2020-11-17 2024-03-15 京东方科技集团股份有限公司 人机交互方法、***、处理设备和计算机可读存储介质
JP2022087700A (ja) * 2020-12-01 2022-06-13 京セラドキュメントソリューションズ株式会社 電子機器および画像形成装置
EP4295314A1 (en) 2021-02-08 2023-12-27 Sightful Computers Ltd Content sharing in extended reality
EP4288950A1 (en) 2021-02-08 2023-12-13 Sightful Computers Ltd User interactions in extended reality
EP4288856A1 (en) 2021-02-08 2023-12-13 Sightful Computers Ltd Extended reality for productivity
WO2023009580A2 (en) 2021-07-28 2023-02-02 Multinarity Ltd Using an extended reality appliance for productivity
US20230334795A1 (en) 2022-01-25 2023-10-19 Multinarity Ltd Dual mode presentation of user interface elements
US11948263B1 (en) 2023-03-14 2024-04-02 Sightful Computers Ltd Recording the complete physical and extended reality environments of a user
WO2023192413A1 (en) * 2022-03-31 2023-10-05 New York University Text entry with finger tapping and gaze-directed word selection
CN116225209A (zh) * 2022-11-03 2023-06-06 溥畅(杭州)智能科技有限公司 一种基于眼动追踪的人机交互方法及***
CN116225236B (zh) * 2023-05-06 2023-08-04 深圳市博视***集成有限公司 基于声光控制智能家居情景交互方法

Family Cites Families (250)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4550250A (en) 1983-11-14 1985-10-29 Hei, Inc. Cordless digital graphics input device
US4789921A (en) 1987-02-20 1988-12-06 Minnesota Mining And Manufacturing Company Cone shaped Fresnel reflector
US4988981B1 (en) 1987-03-17 1999-05-18 Vpl Newco Inc Computer data entry and manipulation apparatus and method
US4836670A (en) 1987-08-19 1989-06-06 Center For Innovative Technology Eye movement detector
US5588139A (en) 1990-06-07 1996-12-24 Vpl Research, Inc. Method and system for generating objects for a multi-person virtual world using data flow networks
US5973700A (en) 1992-09-16 1999-10-26 Eastman Kodak Company Method and apparatus for optimizing the resolution of images which have an apparent depth
US5495576A (en) 1993-01-11 1996-02-27 Ritchey; Kurtis J. Panoramic image based virtual reality/telepresence audio-visual system and method
US5454043A (en) 1993-07-30 1995-09-26 Mitsubishi Electric Research Laboratories, Inc. Dynamic and static hand gesture recognition through low-level image analysis
US5434370A (en) * 1993-11-05 1995-07-18 Microfield Graphics, Inc. Marking system with pen-up/pen-down tracking
WO1996009579A1 (en) 1994-09-22 1996-03-28 Izak Van Cruyningen Popup menus with directional gestures
US5594469A (en) 1995-02-21 1997-01-14 Mitsubishi Electric Information Technology Center America Inc. Hand gesture machine control system
US6535210B1 (en) 1995-06-07 2003-03-18 Geovector Corp. Vision system computer modeling apparatus including interaction with real scenes with respect to perspective and spatial relationship as measured in real-time
US5852672A (en) 1995-07-10 1998-12-22 The Regents Of The University Of California Image system for three dimensional, 360 DEGREE, time sequence surface mapping of moving objects
RU2109336C1 (ru) 1995-07-14 1998-04-20 Нурахмед Нурисламович Латыпов Способ погружения пользователя в виртуальную реальность и устройство для его реализации
EP0768511A1 (en) 1995-10-16 1997-04-16 European Community Optical three-dimensional profilometry method based on processing speckle images in partially coherent light, and interferometer implementing such a method
US5862256A (en) 1996-06-14 1999-01-19 International Business Machines Corporation Distinguishing gestures from handwriting in a pen based computer by size discrimination
US5864635A (en) 1996-06-14 1999-01-26 International Business Machines Corporation Distinguishing gestures from handwriting in a pen based computer by stroke analysis
US6084979A (en) 1996-06-20 2000-07-04 Carnegie Mellon University Method for creating virtual reality
US6002808A (en) 1996-07-26 1999-12-14 Mitsubishi Electric Information Technology Center America, Inc. Hand gesture control system
US6118888A (en) 1997-02-28 2000-09-12 Kabushiki Kaisha Toshiba Multi-modal interface apparatus and method
US5917937A (en) 1997-04-15 1999-06-29 Microsoft Corporation Method for performing stereo matching to recover depths, colors and opacities of surface elements
US6049327A (en) 1997-04-23 2000-04-11 Modern Cartoons, Ltd System for data management based onhand gestures
US6008813A (en) 1997-08-01 1999-12-28 Mitsubishi Electric Information Technology Center America, Inc. (Ita) Real-time PC based volume rendering system
US6720949B1 (en) 1997-08-22 2004-04-13 Timothy R. Pryor Man machine interfaces and applications
US6072494A (en) 1997-10-15 2000-06-06 Electric Planet, Inc. Method and apparatus for real-time gesture recognition
JP3361980B2 (ja) 1997-12-12 2003-01-07 株式会社東芝 視線検出装置及びその方法
WO1999035633A2 (en) 1998-01-06 1999-07-15 The Video Mouse Group Human motion following computer mouse and game controller
US7844914B2 (en) 2004-07-30 2010-11-30 Apple Inc. Activating virtual keys of a touch-screen virtual keyboard
US6211848B1 (en) * 1998-05-15 2001-04-03 Massachusetts Institute Of Technology Dynamic holographic video with haptic interaction
US6076928A (en) 1998-06-15 2000-06-20 Fateh; Sina Ideal visual ergonomic system for computer users
US6064354A (en) 1998-07-01 2000-05-16 Deluca; Michael Joseph Stereoscopic user interface method and apparatus
US6252988B1 (en) 1998-07-09 2001-06-26 Lucent Technologies Inc. Method and apparatus for character recognition using stop words
US6681031B2 (en) 1998-08-10 2004-01-20 Cybernet Systems Corporation Gesture-controlled interfaces for self-service machines and other applications
US6501515B1 (en) 1998-10-13 2002-12-31 Sony Corporation Remote control system
CN1145872C (zh) 1999-01-13 2004-04-14 国际商业机器公司 手写汉字自动分割和识别方法以及使用该方法的***
US6200139B1 (en) 1999-02-26 2001-03-13 Intel Corporation Operator training system
US7003134B1 (en) 1999-03-08 2006-02-21 Vulcan Patents Llc Three dimensional object pose estimation which employs dense depth information
US6614422B1 (en) 1999-11-04 2003-09-02 Canesta, Inc. Method and apparatus for entering data using a virtual input device
GB9913687D0 (en) 1999-06-11 1999-08-11 Canon Kk Image processing apparatus
US6512385B1 (en) 1999-07-26 2003-01-28 Paul Pfaff Method for testing a device under test including the interference of two beams
US6512838B1 (en) 1999-09-22 2003-01-28 Canesta, Inc. Methods for enhancing performance and data acquired from three-dimensional image systems
US7548874B2 (en) 1999-10-21 2009-06-16 International Business Machines Corporation System and method for group advertisement optimization
US6507353B1 (en) 1999-12-10 2003-01-14 Godot Huard Influencing virtual actors in an interactive environment
US6758563B2 (en) * 1999-12-30 2004-07-06 Nokia Corporation Eye-gaze tracking
US6900779B1 (en) 2000-01-28 2005-05-31 Zheng Jason Geng Method and apparatus for an interactive volumetric three dimensional display
US6757068B2 (en) 2000-01-28 2004-06-29 Intersense, Inc. Self-referenced tracking
JP2001307134A (ja) 2000-04-19 2001-11-02 Sony Corp 三次元モデル処理装置および三次元モデル処理方法、並びにプログラム提供媒体
US6483499B1 (en) 2000-04-21 2002-11-19 Hong Kong Productivity Council 3D sculpturing input device
US20070078552A1 (en) 2006-01-13 2007-04-05 Outland Research, Llc Gaze-based power conservation for portable media players
US6456262B1 (en) 2000-05-09 2002-09-24 Intel Corporation Microdisplay with eye gaze detection
GB0012275D0 (en) * 2000-05-22 2000-07-12 Secr Defence Brit Three dimensional human computer interface
EP1373967A2 (en) 2000-06-06 2004-01-02 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. The extended virtual table: an optical extension for table-like projection systems
US7042442B1 (en) 2000-06-27 2006-05-09 International Business Machines Corporation Virtual invisible keyboard
US7227526B2 (en) 2000-07-24 2007-06-05 Gesturetek, Inc. Video-based image control system
US6686921B1 (en) 2000-08-01 2004-02-03 International Business Machines Corporation Method and apparatus for acquiring a set of consistent image maps to represent the color of the surface of an object
JP3974359B2 (ja) 2000-10-31 2007-09-12 株式会社東芝 オンライン文字認識装置及び方法並びにコンピュータ読み取り可能な記憶媒体及びオンライン文字認識プログラム
US6816615B2 (en) 2000-11-10 2004-11-09 Microsoft Corporation Implicit page breaks for digitally represented handwriting
JP3631151B2 (ja) 2000-11-30 2005-03-23 キヤノン株式会社 情報処理装置、複合現実感提示装置及びその方法並びに記憶媒体
US20020158873A1 (en) 2001-01-26 2002-10-31 Todd Williamson Real-time virtual viewpoint in simulated reality environment
US20040104935A1 (en) 2001-01-26 2004-06-03 Todd Williamson Virtual reality immersion system
DE10103922A1 (de) * 2001-01-30 2002-08-01 Physoptics Opto Electronic Gmb Interaktives Datensicht- und Bediensystem
US6831632B2 (en) 2001-04-09 2004-12-14 I. C. + Technologies Ltd. Apparatus and methods for hand motion tracking and handwriting recognition
US8300042B2 (en) 2001-06-05 2012-10-30 Microsoft Corporation Interactive video display system using strobed light
US7259747B2 (en) 2001-06-05 2007-08-21 Reactrix Systems, Inc. Interactive video display system
US8035612B2 (en) 2002-05-28 2011-10-11 Intellectual Ventures Holding 67 Llc Self-contained interactive video display system
US20040135744A1 (en) 2001-08-10 2004-07-15 Oliver Bimber Virtual showcases
US6741251B2 (en) 2001-08-16 2004-05-25 Hewlett-Packard Development Company, L.P. Method and apparatus for varying focus in a scene
US6822570B2 (en) 2001-12-20 2004-11-23 Calypso Medical Technologies, Inc. System for spatially adjustable excitation of leadless miniature marker
JP4050055B2 (ja) 2002-01-10 2008-02-20 株式会社リコー 手書き文字一括変換装置、手書き文字一括変換方法およびプログラム
US7197165B2 (en) 2002-02-04 2007-03-27 Canon Kabushiki Kaisha Eye tracking using image data
US10242255B2 (en) 2002-02-15 2019-03-26 Microsoft Technology Licensing, Llc Gesture recognition system using depth perceptive sensors
AU2003217587A1 (en) 2002-02-15 2003-09-09 Canesta, Inc. Gesture recognition system using depth perceptive sensors
US9959463B2 (en) 2002-02-15 2018-05-01 Microsoft Technology Licensing, Llc Gesture recognition system using depth perceptive sensors
US7821541B2 (en) 2002-04-05 2010-10-26 Bruno Delean Remote control apparatus using gesture recognition
US7203356B2 (en) 2002-04-11 2007-04-10 Canesta, Inc. Subject segmentation and tracking using 3D sensing technology for video compression in multimedia applications
US7348963B2 (en) 2002-05-28 2008-03-25 Reactrix Systems, Inc. Interactive video display system
US7710391B2 (en) 2002-05-28 2010-05-04 Matthew Bell Processing an image utilizing a spatially varying pattern
US20050122308A1 (en) 2002-05-28 2005-06-09 Matthew Bell Self-contained interactive video display system
US7170492B2 (en) 2002-05-28 2007-01-30 Reactrix Systems, Inc. Interactive video display system
US7370883B2 (en) 2002-06-03 2008-05-13 Intelligent Mechatronic Systems, Inc. Three dimensional occupant position sensor
US20030234346A1 (en) * 2002-06-21 2003-12-25 Chi-Lei Kao Touch panel apparatus with optical detection for location
US6857746B2 (en) 2002-07-01 2005-02-22 Io2 Technology, Llc Method and system for free-space imaging display and interface
US7646372B2 (en) 2003-09-15 2010-01-12 Sony Computer Entertainment Inc. Methods and systems for enabling direction detection when interfacing with a computer program
US7151530B2 (en) 2002-08-20 2006-12-19 Canesta, Inc. System and method for determining an input selected by a user through a virtual interface
SE521470C2 (sv) 2002-09-09 2003-11-04 Zenterio Ab Grafiskt användargränssnitt för navigering och selektion från olika valbara alternativ presenterade på en bildskärm
US7526120B2 (en) 2002-09-11 2009-04-28 Canesta, Inc. System and method for providing intelligent airbag deployment
CN100377043C (zh) 2002-09-28 2008-03-26 皇家飞利浦电子股份有限公司 三维手写识别的方法及其***
US7427996B2 (en) 2002-10-16 2008-09-23 Canon Kabushiki Kaisha Image processing apparatus and image processing method
US6977654B2 (en) 2002-10-30 2005-12-20 Iviz, Inc. Data visualization with animated speedometer dial charts
US20040174770A1 (en) 2002-11-27 2004-09-09 Rees Frank L. Gauss-Rees parametric ultrawideband system
US7576727B2 (en) 2002-12-13 2009-08-18 Matthew Bell Interactive directed light/sound system
JP2004199496A (ja) 2002-12-19 2004-07-15 Sony Corp 情報処理装置および方法、並びにプログラム
CN1512298A (zh) 2002-12-26 2004-07-14 �ʼҷ����ֵ��ӹɷ����޹�˾ 三维手写识别的方法及其***
US7298414B2 (en) 2003-01-29 2007-11-20 Hewlett-Packard Development Company, L.P. Digital camera autofocus using eye focus measurement
US7333113B2 (en) 2003-03-13 2008-02-19 Sony Corporation Mobile motion capture cameras
US7573480B2 (en) 2003-05-01 2009-08-11 Sony Corporation System and method for capturing facial and body motion
KR100465241B1 (ko) 2003-03-17 2005-01-13 삼성전자주식회사 가상 필기 평면을 이용한 모션 인식 시스템 및 그 인식방법
KR100518824B1 (ko) 2003-03-17 2005-10-05 삼성전자주식회사 필기 모션 획 구분 인식 시스템 및 그 인식방법
US7762665B2 (en) 2003-03-21 2010-07-27 Queen's University At Kingston Method and apparatus for communication between humans and devices
US8745541B2 (en) 2003-03-25 2014-06-03 Microsoft Corporation Architecture for controlling a computer using hand gestures
US7358972B2 (en) 2003-05-01 2008-04-15 Sony Corporation System and method for capturing facial and body motion
US7372977B2 (en) 2003-05-29 2008-05-13 Honda Motor Co., Ltd. Visual tracking using depth data
US8072470B2 (en) 2003-05-29 2011-12-06 Sony Computer Entertainment Inc. System and method for providing a real-time three-dimensional interactive environment
US7515756B2 (en) 2003-06-23 2009-04-07 Shoestring Research, Llc. Region segmentation and characterization systems and methods for augmented reality
JP4723799B2 (ja) 2003-07-08 2011-07-13 株式会社ソニー・コンピュータエンタテインメント 制御システムおよび制御方法
JP3977303B2 (ja) 2003-08-21 2007-09-19 シャープ株式会社 位置検出システム、位置検出システムにおける発信装置および受信装置
US7874917B2 (en) 2003-09-15 2011-01-25 Sony Computer Entertainment Inc. Methods and systems for enabling depth and direction detection when interfacing with a computer program
US7317450B2 (en) 2003-09-26 2008-01-08 Khomo Malome T Spatial chirographic sign reader
US7590941B2 (en) 2003-10-09 2009-09-15 Hewlett-Packard Development Company, L.P. Communication and collaboration system using rich media environments
WO2005041579A2 (en) 2003-10-24 2005-05-06 Reactrix Systems, Inc. Method and system for processing captured image information in an interactive video display system
WO2005041578A2 (en) 2003-10-24 2005-05-06 Reactrix Systems, Inc. Method and system for managing an interactive video display system
US7302099B2 (en) 2003-11-10 2007-11-27 Microsoft Corporation Stroke segmentation for template-based cursive handwriting recognition
US7963652B2 (en) 2003-11-14 2011-06-21 Queen's University At Kingston Method and apparatus for calibration-free eye tracking
EP1691670B1 (en) 2003-11-14 2014-07-16 Queen's University At Kingston Method and apparatus for calibration-free eye tracking
EP1563799B2 (de) 2004-02-11 2012-11-28 BrainLAB AG Verstellbare Markeranordnung
GB2411532B (en) 2004-02-11 2010-04-28 British Broadcasting Corp Position determination
US7182465B2 (en) 2004-02-25 2007-02-27 The University Of North Carolina Methods, systems, and computer program products for imperceptibly embedding structured light patterns in projected color images for display on planar and non-planar surfaces
US20050215319A1 (en) 2004-03-23 2005-09-29 Harmonix Music Systems, Inc. Method and apparatus for controlling a three-dimensional character in a three-dimensional gaming environment
US7519223B2 (en) 2004-06-28 2009-04-14 Microsoft Corporation Recognizing gestures and using gestures for interacting with software applications
WO2006029681A2 (en) 2004-09-17 2006-03-23 Accenture Global Services Gmbh Personalized marketing architecture
US7289227B2 (en) 2004-10-01 2007-10-30 Nomos Corporation System and tracker for tracking an object, and related methods
US8487879B2 (en) 2004-10-29 2013-07-16 Microsoft Corporation Systems and methods for interacting with a computer through handwriting to a screen
US8104892B2 (en) * 2004-12-03 2012-01-31 The Invention Science Fund I, Llc Vision modification with reflected image
US7350919B2 (en) * 2004-12-03 2008-04-01 Searete Llc Vision modification with reflected image
WO2006069445A1 (en) 2004-12-29 2006-07-06 Bernard Trest Dynamic information system
WO2006081395A2 (en) 2005-01-26 2006-08-03 Bentley Kinetics, Inc. Method and system for athletic motion analysis and instruction
CN101536494B (zh) 2005-02-08 2017-04-26 奥布隆工业有限公司 用于基于姿势的控制***的***和方法
WO2007043036A1 (en) 2005-10-11 2007-04-19 Prime Sense Ltd. Method and system for object reconstruction
WO2006108017A2 (en) 2005-04-04 2006-10-12 Lc Technologies, Inc. Explicit raytracing for gimbal-based gazepoint trackers
US7428542B1 (en) 2005-05-31 2008-09-23 Reactrix Systems, Inc. Method and system for combining nodes into a mega-node
CN101243471B (zh) 2005-08-19 2013-03-06 皇家飞利浦电子股份有限公司 对用户的运动进行分析的***和方法
CA2609155A1 (en) 2005-08-22 2007-03-01 Qinzhong Ye Free-space pointing and handwriting
WO2007105205A2 (en) 2006-03-14 2007-09-20 Prime Sense Ltd. Three-dimensional sensing using speckle patterns
WO2007053116A1 (en) * 2005-10-31 2007-05-10 National University Of Singapore Virtual interface system
AU2006332488A1 (en) * 2005-12-30 2007-07-12 Apple Inc. Portable electronic device with multi-touch input
TWI301590B (en) 2005-12-30 2008-10-01 Ibm Handwriting input method, apparatus, system and computer recording medium with a program recorded thereon of capturing video data of real-time handwriting strokes for recognition
US7747068B1 (en) * 2006-01-20 2010-06-29 Andrew Paul Smyth Systems and methods for tracking the eye
JP4151982B2 (ja) 2006-03-10 2008-09-17 任天堂株式会社 動き判別装置および動き判別プログラム
JP2009530731A (ja) 2006-03-23 2009-08-27 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 画像操作の眼球追跡制御のためのホットスポット
US20070230789A1 (en) 2006-04-03 2007-10-04 Inventec Appliances Corp. Method of controlling an electronic device by handwriting
CN103778635B (zh) 2006-05-11 2016-09-28 苹果公司 用于处理数据的方法和装置
GB2438449C (en) 2006-05-24 2018-05-30 Sony Computer Entertainment Europe Ltd Control of data processing
US8589824B2 (en) * 2006-07-13 2013-11-19 Northrop Grumman Systems Corporation Gesture recognition interface system
US8972902B2 (en) 2008-08-22 2015-03-03 Northrop Grumman Systems Corporation Compound gesture recognition
US8180114B2 (en) 2006-07-13 2012-05-15 Northrop Grumman Systems Corporation Gesture recognition interface system with vertical display
US9696808B2 (en) 2006-07-13 2017-07-04 Northrop Grumman Systems Corporation Hand-gesture recognition method
KR100776801B1 (ko) * 2006-07-19 2007-11-19 한국전자통신연구원 화상 처리 시스템에서의 제스처 인식 장치 및 방법
US7934156B2 (en) 2006-09-06 2011-04-26 Apple Inc. Deletion gestures on a portable multifunction device
US20090009593A1 (en) 2006-11-29 2009-01-08 F.Poszat Hu, Llc Three dimensional projection display
US8005294B2 (en) 2006-11-29 2011-08-23 The Mitre Corporation Cursive character handwriting recognition system and method
FR2911211B1 (fr) * 2007-01-05 2009-06-12 Total Immersion Sa Procede et dispositifs pour inserer en temps reel des objets virtuels dans un flux d'images a partir de donnees issues de la scene reelle representee par ces images
US7971156B2 (en) 2007-01-12 2011-06-28 International Business Machines Corporation Controlling resource access based on user gesturing in a 3D captured image stream of the user
US7840031B2 (en) 2007-01-12 2010-11-23 International Business Machines Corporation Tracking a range of body movement based on 3D captured image streams of a user
US20080231926A1 (en) 2007-03-19 2008-09-25 Klug Michael A Systems and Methods for Updating Dynamic Three-Dimensional Displays with User Input
JP2008242929A (ja) 2007-03-28 2008-10-09 Oki Data Corp 手書き入力システム
US8493496B2 (en) 2007-04-02 2013-07-23 Primesense Ltd. Depth mapping using projected patterns
US8150142B2 (en) 2007-04-02 2012-04-03 Prime Sense Ltd. Depth mapping using projected patterns
US20080252596A1 (en) 2007-04-10 2008-10-16 Matthew Bell Display Using a Three-Dimensional vision System
US20080256494A1 (en) 2007-04-16 2008-10-16 Greenfield Mfg Co Inc Touchless hand gesture device controller
EP2153377A4 (en) 2007-05-04 2017-05-31 Qualcomm Incorporated Camera-based user input for compact devices
US8100769B2 (en) 2007-05-09 2012-01-24 Nintendo Co., Ltd. System and method for using accelerometer outputs to control an object rotating on a display
CN101303634B (zh) * 2007-05-09 2012-05-23 鸿富锦精密工业（深圳）有限公司 便携式电子设备
US8065624B2 (en) 2007-06-28 2011-11-22 Panasonic Corporation Virtual keypad systems and methods
US8726194B2 (en) 2007-07-27 2014-05-13 Qualcomm Incorporated Item selection using enhanced control
TW200907764A (en) 2007-08-01 2009-02-16 Unique Instr Co Ltd Three-dimensional virtual input and simulation apparatus
US7949157B2 (en) 2007-08-10 2011-05-24 Nitin Afzulpurkar Interpreting sign language gestures
JP5430572B2 (ja) 2007-09-14 2014-03-05 インテレクチュアル ベンチャーズ ホールディング ６７ エルエルシー ジェスチャベースのユーザインタラクションの処理
US20090078473A1 (en) 2007-09-26 2009-03-26 Digital Pen Systems Handwriting Capture For Determining Absolute Position Within A Form Layout Using Pen Position Triangulation
US8195499B2 (en) 2007-09-26 2012-06-05 International Business Machines Corporation Identifying customer behavioral types from a continuous video stream for use in optimizing loss leader merchandizing
TWI343544B (en) 2007-09-26 2011-06-11 Inventec Appliances Corp A handwriting record device
US10235827B2 (en) 2007-11-09 2019-03-19 Ball Gaming, Inc. Interaction with 3D space in a gaming system
US8149210B2 (en) 2007-12-31 2012-04-03 Microsoft International Holdings B.V. Pointing device and method
US20120204133A1 (en) * 2009-01-13 2012-08-09 Primesense Ltd. Gesture-Based User Interface
US8166421B2 (en) * 2008-01-14 2012-04-24 Primesense Ltd. Three-dimensional user interface
US8933876B2 (en) 2010-12-13 2015-01-13 Apple Inc. Three dimensional user interface session control
US8786675B2 (en) * 2008-01-23 2014-07-22 Michael F. Deering Systems using eye mounted displays
US7889073B2 (en) 2008-01-31 2011-02-15 Sony Computer Entertainment America Llc Laugh detector and system and method for tracking an emotional response to a media presentation
WO2009108334A2 (en) 2008-02-28 2009-09-03 New York University Method and apparatus for providing input to a processor, and a sensor pad
US9772689B2 (en) 2008-03-04 2017-09-26 Qualcomm Incorporated Enhanced gesture-based image manipulation
KR100947990B1 (ko) 2008-05-15 2010-03-18 성균관대학교산학협력단 차영상 엔트로피를 이용한 시선 추적 장치 및 그 방법
US8165398B2 (en) 2008-05-30 2012-04-24 Sony Ericsson Mobile Communications Ab Method and device for handwriting detection
JP5317169B2 (ja) 2008-06-13 2013-10-16 洋 川崎 画像処理装置、画像処理方法およびプログラム
US8456517B2 (en) 2008-07-09 2013-06-04 Primesense Ltd. Integrated processor for 3D mapping
US9445193B2 (en) 2008-07-31 2016-09-13 Nokia Technologies Oy Electronic device directional audio capture
US20100103103A1 (en) * 2008-08-22 2010-04-29 Palanker Daniel V Method And Device for Input Of Information Using Visible Touch Sensors
US7850306B2 (en) 2008-08-28 2010-12-14 Nokia Corporation Visual cognition aware display and visual data transmission architecture
US20100053151A1 (en) 2008-09-02 2010-03-04 Samsung Electronics Co., Ltd In-line mediation for manipulating three-dimensional content on a display device
US20100071965A1 (en) 2008-09-23 2010-03-25 Panasonic Corporation System and method for grab and drop gesture recognition
US20100149096A1 (en) 2008-12-17 2010-06-17 Migos Charles J Network management using interaction with display surface
US20100162181A1 (en) * 2008-12-22 2010-06-24 Palm, Inc. Interpreting Gesture Input Including Introduction Or Removal Of A Point Of Contact While A Gesture Is In Progress
US20120202569A1 (en) 2009-01-13 2012-08-09 Primesense Ltd. Three-Dimensional User Interface for Game Applications
JP2012515966A (ja) 2009-01-26 2012-07-12 ズッロ・テクノロジーズ・（２００９）・リミテッド 物体の挙動を監視するためのデバイスおよび方法
US20100199228A1 (en) 2009-01-30 2010-08-05 Microsoft Corporation Gesture Keyboarding
US8624962B2 (en) * 2009-02-02 2014-01-07 Ydreams—Informatica, S.A. Ydreams Systems and methods for simulating three-dimensional virtual interactions from two-dimensional camera images
JP5286371B2 (ja) 2009-02-05 2013-09-11 パナソニック株式会社 情報表示装置及び情報表示方法
US20100235786A1 (en) 2009-03-13 2010-09-16 Primesense Ltd. Enhanced 3d interfacing for remote devices
US8760391B2 (en) * 2009-05-22 2014-06-24 Robert W. Hawkins Input cueing emersion system and method
JP4837762B2 (ja) 2009-06-18 2011-12-14 本田技研工業株式会社 車載機器操作装置
CN101943982B (zh) 2009-07-10 2012-12-12 北京大学 基于被跟踪的眼睛运动的图像操作
KR20110010906A (ko) 2009-07-27 2011-02-08 삼성전자주식회사 사용자 인터랙션을 이용한 전자기기 제어 방법 및 장치
KR101596890B1 (ko) * 2009-07-29 2016-03-07 삼성전자주식회사 사용자의 시선 정보를 이용한 디지털 오브젝트 탐색 장치 및 방법
US8565479B2 (en) 2009-08-13 2013-10-22 Primesense Ltd. Extraction of skeletons from 3D maps
JP5490664B2 (ja) 2009-11-18 2014-05-14 パナソニック株式会社 眼電位推定装置、眼電位算出方法、視線検出装置、ウェアラブルカメラ、ヘッドマウントディスプレイおよび電子めがね
US8812990B2 (en) * 2009-12-11 2014-08-19 Nokia Corporation Method and apparatus for presenting a first person world view of content
US8587532B2 (en) 2009-12-18 2013-11-19 Intel Corporation Multi-feature interactive touch user interface
US8232990B2 (en) 2010-01-05 2012-07-31 Apple Inc. Working with 3D objects
US20110164032A1 (en) 2010-01-07 2011-07-07 Prime Sense Ltd. Three-Dimensional User Interface
US9507418B2 (en) 2010-01-21 2016-11-29 Tobii Ab Eye tracker based contextual action
US20110188116A1 (en) 2010-02-02 2011-08-04 Nikolay Ledentsov Ledentsov Device for generation of three-demensional images
US8659658B2 (en) 2010-02-09 2014-02-25 Microsoft Corporation Physical interaction zone for gesture-based user interfaces
JP2013521576A (ja) 2010-02-28 2013-06-10 オスターハウト グループ インコーポレイテッド 対話式ヘッド取付け型アイピース上での地域広告コンテンツ
US8787663B2 (en) 2010-03-01 2014-07-22 Primesense Ltd. Tracking body parts by combined color image and depth processing
US8595645B2 (en) * 2010-03-11 2013-11-26 Apple Inc. Device, method, and graphical user interface for marquee scrolling within a display area
US20110248914A1 (en) 2010-04-11 2011-10-13 Sherr Alan B System and Method for Virtual Touch Typing
US20110254765A1 (en) 2010-04-18 2011-10-20 Primesense Ltd. Remote text input using handwriting
KR101334107B1 (ko) * 2010-04-22 2013-12-16 주식회사 굿소프트웨어랩 차량용 멀티미디어 제어를 위한 사용자 인터페이스 장치 및 방법
US8384683B2 (en) 2010-04-23 2013-02-26 Tong Luo Method for user input from the back panel of a handheld computerized device
US9311724B2 (en) 2010-04-23 2016-04-12 Handscape Inc. Method for user input from alternative touchpads of a handheld computerized device
US8594425B2 (en) 2010-05-31 2013-11-26 Primesense Ltd. Analysis of three-dimensional scenes
US20110292036A1 (en) 2010-05-31 2011-12-01 Primesense Ltd. Depth sensor with application interface
US20110310010A1 (en) 2010-06-17 2011-12-22 Primesense Ltd. Gesture based user interface
US8907929B2 (en) 2010-06-29 2014-12-09 Qualcomm Incorporated Touchless sensing and gesture recognition using continuous wave ultrasound signals
US9489040B2 (en) * 2010-07-19 2016-11-08 Smart Technologies Ulc Interactive input system having a 3D input space
CN102959616B (zh) 2010-07-20 2015-06-10 苹果公司 自然交互的交互真实性增强
US9201501B2 (en) 2010-07-20 2015-12-01 Apple Inc. Adaptive projector
US20120019703A1 (en) 2010-07-22 2012-01-26 Thorn Karl Ola Camera system and method of displaying photos
WO2012020380A1 (en) 2010-08-11 2012-02-16 Primesense Ltd. Scanning projectors and image capture modules for 3d mapping
WO2012024022A2 (en) 2010-08-20 2012-02-23 University Of Massachusetts Hand and finger registration for control applications
US8959013B2 (en) 2010-09-27 2015-02-17 Apple Inc. Virtual keyboard for a non-tactile three dimensional user interface
KR101156734B1 (ko) * 2010-11-05 2012-06-14 전자부품연구원 테이블 타입 인터렉티브 3차원 시스템
US8872762B2 (en) 2010-12-08 2014-10-28 Primesense Ltd. Three dimensional user interface cursor control
US20130154913A1 (en) 2010-12-16 2013-06-20 Siemens Corporation Systems and methods for a gaze and gesture interface
US20120169583A1 (en) 2011-01-05 2012-07-05 Primesense Ltd. Scene profiles for non-tactile user interfaces
KR101873405B1 (ko) * 2011-01-18 2018-07-02 엘지전자 주식회사 드로잉한 패턴을 이용한 사용자 인터페이스 제공방법 및 그 이동 단말기
EP3527121B1 (en) 2011-02-09 2023-08-23 Apple Inc. Gesture detection in a 3d mapping environment
US9329469B2 (en) * 2011-02-17 2016-05-03 Microsoft Technology Licensing, Llc Providing an interactive experience using a 3D depth camera and a 3D projector
US8782566B2 (en) 2011-02-22 2014-07-15 Cisco Technology, Inc. Using gestures to schedule and manage meetings
US9459758B2 (en) 2011-07-05 2016-10-04 Apple Inc. Gesture-based interface with enhanced features
US8881051B2 (en) 2011-07-05 2014-11-04 Primesense Ltd Zoom-based gesture user interface
US9377865B2 (en) 2011-07-05 2016-06-28 Apple Inc. Zoom-based gesture user interface
US9030498B2 (en) 2011-08-15 2015-05-12 Apple Inc. Combining explicit select gestures and timeclick in a non-tactile three dimensional user interface
US9122311B2 (en) 2011-08-24 2015-09-01 Apple Inc. Visual feedback for tactile and non-tactile user interfaces
US9218063B2 (en) 2011-08-24 2015-12-22 Apple Inc. Sessionless pointing user interface
CN102306053B (zh) * 2011-08-29 2014-09-10 Tcl集团股份有限公司 一种基于虚拟触摸屏的人机交互方法、装置及电子设备
US9395901B2 (en) * 2012-02-08 2016-07-19 Blackberry Limited Portable electronic device and method of controlling same
US9229534B2 (en) 2012-02-28 2016-01-05 Apple Inc. Asymmetric mapping for tactile and non-tactile user interfaces
CN104246682B (zh) 2012-03-26 2017-08-25 苹果公司 增强的虚拟触摸板和触摸屏
US9552673B2 (en) * 2012-10-17 2017-01-24 Microsoft Technology Licensing, Llc Grasping virtual objects in augmented reality
US9152234B2 (en) 2012-12-02 2015-10-06 Apple Inc. Detecting user intent to remove a pluggable peripheral device
EP2926225A4 (en) 2013-02-14 2016-07-27 Apple Inc FLEXIBLE ROOM CONTROLS

Also Published As

Publication number Publication date
KR101620777B1 (ko) 2016-05-12
US11169611B2 (en) 2021-11-09
KR20160055283A (ko) 2016-05-17
US20220164032A1 (en) 2022-05-26
US20130283213A1 (en) 2013-10-24
IL234665A (en) 2017-07-31
WO2013144807A1 (en) 2013-10-03
CN107665042A (zh) 2018-02-06
US20130283208A1 (en) 2013-10-24
US9377863B2 (en) 2016-06-28
AU2013239179A1 (en) 2014-10-02
IL253593A0 (en) 2017-09-28
AU2013239179B2 (en) 2015-08-20
CN104246682A (zh) 2014-12-24
CN107665042B (zh) 2021-05-07
IL253593B (en) 2021-04-29
KR101791366B1 (ko) 2017-10-27
KR20140140095A (ko) 2014-12-08

Similar Documents

Publication Publication Date Title
CN104246682B (zh) 增强的虚拟触摸板和触摸屏
US10866632B2 (en) Interaction engine for creating a realistic experience in virtual reality/augmented reality environments
US11875012B2 (en) Throwable interface for augmented reality and virtual reality environments
US11954808B2 (en) Rerendering a position of a hand to decrease a size of a hand to create a realistic virtual/augmented reality environment
US10936080B2 (en) Systems and methods of creating a realistic displacement of a virtual object in virtual reality/augmented reality environments
US9292083B2 (en) Interacting with user interface via avatar
CN106125921B (zh) 3d映射环境中的凝视检测
US20200004403A1 (en) Interaction strength using virtual objects for machine control
US20130343607A1 (en) Method for touchless control of a device
CN103218041A (zh) 增强的基于相机的输入
Mahdikhanlou et al. Object manipulation and deformation using hand gestures
AU2015252151B2 (en) Enhanced virtual touchpad and touchscreen
Pullan et al. High Resolution Touch Screen Module

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant