CN104254817B - 快速手势重新约定 - Google Patents

快速手势重新约定 Download PDF

Info

Publication number
CN104254817B
CN104254817B CN201380019971.4A CN201380019971A CN104254817B CN 104254817 B CN104254817 B CN 104254817B CN 201380019971 A CN201380019971 A CN 201380019971A CN 104254817 B CN104254817 B CN 104254817B
Authority
CN
China
Prior art keywords
gesture
user
user gesture
condition
hand
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201380019971.4A
Other languages
English (en)
Other versions
CN104254817A (zh
Inventor
弗朗西斯·B·麦克杜格尔
埃文·R·希尔德雷思
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN104254817A publication Critical patent/CN104254817A/zh
Application granted granted Critical
Publication of CN104254817B publication Critical patent/CN104254817B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G06V40/113—Recognition of static hand signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供用于供经配置以检测手势的***使用的***、方法、设备和计算机可读媒体。在一个实施例中，一种方法包含检测满足进入操作模式的第一条件的第一用户手势。所述方法可进一步包含退出所述操作模式。所述方法可进一步包含检测满足基于所述检测所述第一用户手势重新进入所述操作模式的第二条件的第二用户手势，其中所述第二条件不如所述第一条件严格。

Description

快速手势重新约定
相关申请案的交叉参考
本专利申请案主张以下专利申请案的权利：2012年4月16日申请且题为“快速手势重新约定(RAPID GESTURE RE-ENGAGEMENT)”的第61/624,953号的美国临时专利申请案，及2013年3月13日申请且题为“快速手势重新约定(RAPID GESTURE RE-ENGAGEMENT)”的第13/801,704号美国非临时专利申请案，所述申请案以其全文引用的方式并入本文中以用于所有目的。
背景技术
本发明的方面涉及计算技术。明确地说，本发明的方面涉及执行手势辨识的***、方法、设备和计算机可读媒体。
日益地，例如智能电话、平板计算机、个人数字助理(PDA)和其它装置等计算装置包含触摸屏、加速度计、摄像机、接近度传感器、麦克风，和/或可允许这些装置俘获呈用户输入形式的运动和/或其它所感测状况的其它传感器。在一些装置中，例如，可将特定移动和/或出现辨识为(例如)对应于不同情境中的特定命令的手势。举例来说，当显示浏览器应用程序时，装置可将例如向左滑动(例如，其中用户将其手在装置前方向左挥动)等手势辨识为对应于“上一页”命令，且当显示媒体播放器应用程序时，装置可将例如向左滑动等手势辨识为“上一个曲目”命令。在此实例中，用户可通过执行这些情境中的每一者中的对应手势来致使装置执行这些命令。
本发明的方面提供执行手势辨识的更便利、直观及功能性方式。在触控***中，用户的手指触摸计算装置的玻璃表面，接着沿手势的方向移动，且接着从玻璃表面提起，从而给予手势的开始和结束的清晰指示。在免触控***中，不存在确定手势的开始和结束的固有地清晰方式。
本发明的实施例提供解决这些问题的改进技术。
发明内容
这些问题和其它问题可根据本文所描述的本发明的实施例来解决。实施例可解决与约定手势控制***及/或解译提供到***的重复输入相关联的问题。
提供用于约定及重新约定手势模式以用于跟踪连续手势的***、方法、设备和计算机可读媒体。一些实施例涉及计算机***检测其中用户保持其手不动地处于恒定位置、区域、区或地点的手势。在其它实施例中，计算机***检测例如手等用户肢体以特定方式(手掌摊开等)摆好姿势。另一种方法检测用户正朝向原始检测的手位置移动，但接着改变方向且沿原始检测的手势的方向起始新的手势。在一些实施方案中，计算机***检测人类肢体的稳定性以便确定手势以用于约定及重新约定手势控制***。
在一些实施例中，一种方法包含检测满足进入计算装置上的操作模式的第一条件的第一用户手势。所述方法可进一步包含退出所述操作模式。所述方法可进一步包含检测满足基于所述检测所述第一用户手势重新进入所述操作模式的第二条件的第二用户手势，其中所述第二条件不如所述第一条件严格。
在一些实施例中，所述操作模式为手势跟踪模式，包括在一段时间内跟踪所述第一用户手势或所述第二用户手势。
在一些实施例中，跟踪所述第一用户手势或所述第二用户手势包括使用深度传感器跟踪、2-D传感器跟踪、直方图跟踪和超声波传感器跟踪中的一或多者。
在一些实施例中，所述操作模式为包括执行一或多个命令的命令模式。
在一些实施例中，所述检测所述第一用户手势或所述第二用户手势包括使用图像传感器获得多个图像。
在一些实施例中，所述第一用户手势和所述第二用户手势为固定手势。
在一些实施例中，所述第一用户手势和所述第二用户手势为动态手势。
在一些实施例中，所述第一条件是在第一时间段内检测所述第一用户手势且所述第二条件是在第二时间段内检测所述第二用户手势，其中所述第二时间段比所述第一时间段短。
在一些实施例中，所述第一条件是在第一区内检测所述第一用户手势且所述第二条件是在第二区内检测所述第二用户手势，其中所述第二区大于或等于所述第一区。
在一些实施例中，所述检测所述第一用户手势包括通过在一段时间内检测与用户肢体相关联的任何移动低于所述第一区中的预定义移动阈值，确定所述用户肢体是否稳定处于所述第一区内。
在一些实施例中，用户肢体为手。
在一些实施例中，所述方法进一步包含提供指示响应于所述检测而重新进入所述操作模式的反馈。
在一些实施例中，所述方法进一步包含所述第二条件包含以下情形：对应于所述第二用户手势的命令等效于对应于在所述第一用户手势与所述第二用户手势之间执行的手势的命令。所述方法可进一步包含至少部分基于所述检测满足所述第二条件的所述第二用户手势，绕过所述第二用户手势满足所述第一条件的要求。
在一些实施例中，所述第一条件包括第一方向上的运动或轨迹，且其中所述第二条件包括使得所得运动方向实质上与所述第一方向对准的方向的改变。
在一些实施例中，所述方法包含在不存在用户触摸所述计算装置的情况下执行所述检测所述第一用户手势和所述检测所述第二用户手势。
在一些实施例中，一种设备包含经配置以俘获图像的图像俘获装置，和耦合到所述图像俘获装置的处理器。所述处理器可经配置以检测满足进入操作模式的第一条件的第一用户手势。所述处理器可进一步经配置以退出所述操作模式。所述处理器可进一步经配置以基于由所述图像俘获装置俘获的图像，检测满足基于所述检测所述第一用户手势重新进入所述操作模式的第二条件的第二用户手势，其中所述第二条件不如所述第一条件严格。
在一些实施例中，一种设备包含用于检测满足进入操作模式的第一条件的第一用户手势的装置。在一些实施例中，一种设备进一步包含用于退出所述操作模式的装置。在一些实施例中，所述设备进一步包含用于检测满足基于所述检测所述第一用户手势重新进入所述操作模式的第二条件的第二用户手势的装置，其中所述第二条件不如所述第一条件严格。
在所述设备的一些实施例中，所述操作模式为手势跟踪模式，包括在一段时间内跟踪所述第一用户手势或所述第二用户手势。
在所述设备的一些实施例中，所述设备进一步包括用于使用深度传感器跟踪、2-D传感器跟踪、直方图跟踪和超声波传感器跟踪中的一或多者跟踪所述第一用户手势或所述第二用户手势的装置。
在所述设备的一些实施例中，所述操作模式为包括执行一或多个命令的命令模式。
在所述设备的一些实施例中，所述第一条件是在第一时间段内检测所述第一用户手势且所述第二条件是在第二时间段内检测所述第二用户手势，其中所述第二时间段比所述第一时间段短。
在所述设备的一些实施例中，所述第一条件是在第一区内检测所述第一用户手势且所述第二条件是在第二区内检测所述第二用户手势，其中所述第二区大于或等于所述第一区。
在所述设备的一些实施例中，用于检测所述第一用户手势的所述装置或用于检测所述第二用户手势的所述装置包括用于使用图像传感器获得多个图像的装置。
在所述设备的一些实施例中，所述第一用户手势和所述第二用户手势为固定手势。
在所述设备的一些实施例中，所述第一用户手势和所述第二用户手势为动态手势。
在所述设备的一些实施例中，用于检测所述第一用户手势的装置包括用于通过在一段时间内检测与用户肢体相关联的任何移动低于所述第一区中的预定义移动阈值，确定所述用户肢体是否稳定处于所述第一区内的装置。
在所述设备的一些实施例中，所述用户肢体为手。
在所述设备的一些实施例中，所述第一条件是检测达到第一置信水平的所述第一用户手势且所述第二条件是检测达到第二置信水平的所述第二用户手势，其中所述第二置信水平低于所述第一置信水平。
在所述设备的一些实施例中，所述设备进一步包括用于提供指示响应于所述检测而重新进入所述操作模式的反馈的装置。
在所述设备的一些实施例中，所述第二条件包括以下情形：对应于所述第二用户手势的命令等效于对应于在所述第一用户手势与所述第二用户手势之间执行的手势的命令，且所述设备进一步包括用于至少部分基于所述检测满足所述第二条件的所述第二用户手势，绕过所述第二用户手势满足所述第一条件的要求的装置。
在所述设备的一些实施例中，所述第一条件包括第一方向上的运动或轨迹，且所述第二条件包括使得所得运动方向实质上与所述第一方向对准的方向的改变。
在所述设备的一些实施例中，在不存在用户触摸所述计算装置的情况下，用于检测所述第一用户手势的所述装置检测所述第一用户手势且用于检测所述第二用户手势的所述装置检测所述第二用户手势。
在一些实施例中，一种处理器可读媒体包含处理器可读指令，所述处理器可读指令经配置以致使处理器检测满足进入操作模式的第一条件的第一用户手势。所述指令可经进一步配置以致使所述处理器退出所述操作模式。所述指令可经进一步配置以致使所述处理器检测满足基于所述检测所述第一用户手势重新进入所述操作模式的第二条件的第二用户手势，其中所述第二条件不如所述第一条件严格。
在一些实施例中，一种方法包含检测第一约定手势。所述方法可进一步包含在检测所述第一约定手势之后检测第一手势。所述方法可进一步包含检测第二手势。所述方法可进一步包含确定对应于所述第一手势的命令等效于对应于所述第二手势的命令。所述方法可进一步包含至少部分基于所述确定绕过对第二约定手势的要求。
在一些实施例中，一种用于供要求约定手势的***使用的方法包含检测约定手势，所述约定手势包含在第一时间段内维持处于第一位置的手的第一姿势。所述方法可进一步包含在所述检测所述约定手势之后检测第一手势，所述第一手势包含所述手的第一运动。所述方法可进一步包含确定所述手在第二时间段内实质上已返回到所述第一位置，所述第二时间段小于所述第一时间段。所述方法可进一步包含在确定所述手已返回到所述第二位置之后，检测第二手势，包含所述手的第二运动。
附图说明
可参看以下各图实现对各种实施例的性质和优点的进一步理解。在附图中，类似组件或特征可具有相同参考标记。另外，可通过在参考标记之后跟着短划线及在类似组件当中进行区分的第二标记来区分相同类型的各种组件。如果说明书中只使用第一参考标记，那么描述适用于具有相同的第一参考标记的类似组件中的任一者，而与第二参考标记无关。
图1为说明根据本发明的实施例的用于进入及退出操作模式的本发明的示范性实施例的流程图。
图2为说明根据本发明的实施例的用于跟踪手势及对手势做出响应的本发明的示范性实施例的流程图。
图3为说明根据本发明的实施例的用于检测稳定用户肢体的本发明的示范性实施例的流程图。
图4为说明根据本发明的实施例的用于在检测到稳定用户肢体后便跟踪连续手势的本发明的示范性实施例的流程图。
图5为说明根据本发明的实施例的用于在检测到区内的用户肢体的返回后便跟踪连续手势的本发明的示范性实施例的流程图。
图6为说明根据本发明的实施例的用于在检测到区内的稳定用户肢体的返回后便跟踪连续手势的本发明的示范性实施例的流程图。
图7为说明根据本发明的实施例的用于在检测到稳定用户肢体后便跟踪连续手势且将反馈提供给用户的本发明的示范性实施例的流程图。
图8为说明根据本发明的实施例的用于在检测到区内的用户肢体的返回后便跟踪连续手势且将反馈提供给用户的本发明的示范性实施例的流程图。
图9为说明根据本发明的实施例的用于在检测到区内的稳定用户肢体的返回后便跟踪连续手势且将反馈提供给用户的本发明的示范性实施例的流程图。
图10为说明根据本发明的实施例的用于跟踪连续手势及检测手势的方向的改变的本发明的示范性实施例的流程图。
图11说明根据本发明的实施例的进入手势操作模式及重新进入手势操作模式。
图12A到12C说明根据本发明的实施例的进入手势操作模式及重新进入手势操作模式。
图13A到13B说明根据本发明的实施例的在进入手势操作模式及重新进入手势操作模式时显示给用户的提示。
图14说明并有在实践本发明的实施例中使用的装置的部分的示范性计算机***。
具体实施方式
本发明的方面提供执行手势辨识的更便利、直观及功能性方式。在触控***中，手指触摸屏幕的玻璃表面，且接着沿手势的方向移动，且接着从玻璃提起，这些操作要求与用户进行触摸交互。然而，存在其中用户可能不能够或可能不想要触摸屏幕以便对提示做出响应的许多情境。举例来说，用户可能正驾驶汽车且可能不想要使其眼睛离开道路以触摸用户接口中的特定按钮或区。这些及许多其它情况指出具有可通过触摸激活的接口的缺点。
为了说明性目的，本文中使用手姿势来描述本发明的实施例。然而，可使用任何用户肢体来做出姿势和手势。在一些实施例中，用户的身体、脸或头可用以执行手势。所属领域的技术人员将辨识可执行的其它手势。在一些实施例中，姿势可包括一种类型的手势，且当手势包括姿势时，可使用描述手势的实施例。另外，在一些实施方案中，关于姿势论述的实施例可供其它手势使用。在一些实施例中，手势或姿势可由用户执行及/或通过装置或***来检测，而用户不触摸装置或***的屏幕或以其它方式接触装置或***。举例来说，如下文额外细节中所描述，在一些实施例中，可使用图像、超声波和/或深度传感器来检测姿势或手势。
本文中描述用于跟踪***中的手势控制的重新约定的方法和设备的技术。约定手势可包含用户在预定时间段内维持特定姿势，例如，维持例如手等人类肢体处于某一位置或手姿势以便约定跟踪***。预定姿势允许手势***忽略不希望为控制手势的手运动且因此可使得***更稳健。在一些***中，在检测到约定手势之前，忽略用户运动。在检测到约定手势之后，可从用户手势识别手势命令。此后，在检测到另一约定手势之前，***可返回到忽略用户运动。如果用户正计划仅执行单个手势，那么与约定手势相关联的延迟一股为用户可接受的，但如果用户想要做出一连串手势(比方说，滑过选项列表或翻过虚拟书中的一连串页面)，那么在每个手势命令之前要求约定手势可为效率低下的。
本发明的实施例描述用于允许用户避免针对连续的重复手势的完全重新约定(例如，第二约定手势)的技术。所描述的***、方法、设备和计算机可读媒体可检测控制物体或人类肢体(例如，手)例预定区的返回，以用于在计算机***检测到一连串手势中的第一手势且对第一手势做出响应时重新约定额外手势。
下文更详细地描述本发明的实施例的若干实施方案。一些实施例涉及计算机***检测其中用户保持其手不动地处于恒定位置、区域、区或地点的手势。在其它实施例中，计算机***检测例如手等用户肢体以特定方式(手掌摊开等)摆好姿势的要求。另一种方法检测用户正朝向原始检测的手位置移动，但接着改变方向且沿原始检测的手势的方向起始新的手势。在一些实施方案中，计算机***检测人类肢体的稳定性以便确定用于约定手势控制***的手势。预定时间量可经配置以使得用户可取决于其偏好而缩短过程。
2D传感器跟踪
一个示范性实施例包括通过使用例如摄像机等二维(2D)图像传感器俘获多个图像且分析那些图像以识别已知的手姿势(例如，摊开的手)来俘获计算***前方的场景。一种用于识别手姿势的技术可基于维奥拉-琼斯目标检测框架；然而，可使用用于确定手存在的任何合适的手段。一旦计算机***在预定时间段内检测到处于手姿势的手，便可使用任选反馈机制来用信号向用户通知已约定“手势模式”。
在一些实施方案中，计算机***使用手势检测算法来确定手从初始约定地点移动的方向以实现向左、向右、向上或向下“滑动”。一些实施方案可使用以下各者中的一或多者：卡纳德-卢卡斯-托马西(KLT)跟踪、直方图跟踪、随机决策森林、K-均值集群技术和光流，或用于跟踪手势的任何合适的算法。一旦计算机***确定滑动，***便可对作用中应用程序产生滑动信号且应用程序将适当地做出响应。
接下来，用户可能想要重新约定***以便进行快速连续的另一种滑动。在一个实施例中，计算机***可通过检测用户的手返回处于原始跟踪地点或区(或在其阈值距离内的区域)且变成所要的手姿势以使得能够再次进行手势检测来促进重新约定手势。在另一实施例中，计算机***可检测手返回处于预定区中，而不需要特定手姿势。在又一实施例中，计算机***可检测手或/和手姿势，且还检测手在预定区处的预定时间段以重新约定手势跟踪***。对于所有上述约定技术，计算机***可为用户提供任选反馈机制(声音或视觉或其它反馈机制)以用信号向用户通知已重新约定“手势模式”。计算机***可开始跟踪下一手势且过程可继续。在一些实施例中，在执行不同于预定滑动的手势之前，必须在预定时间段内维持手姿势，但可重复滑动，即使在预定时间段内不维持手姿势也如此，例如，如上文所描述。
使用光流的2D传感器跟踪：
在一个实施方案中，计算机***使用光流目标检测框架来用于跟踪手势。在此方法的一个实例中，可从一个帧到下一帧来分析在所检测的手的区及在所有所要方向上邻近于所述区的区中的所俘获图像中的像素块(例如，每一16×16像素块)，且可针对下一帧中的每一块的内容寻找最佳匹配。可使用绝对差总和(SAD)技术(对于每一像素值)来进行此最佳匹配，或可使用任何其它合适的技术来进行此最佳匹配。从来自先前帧的给定16×16块的原始位置到所述块在新帧中的位置的偏移可表示为(x，y)值，所述表达式表示两个帧之间的所述像素块的运动的向量。通过累积整个手区的块运动数据，可确定手的运动方向的准确表示。连续帧可提供一连串运动向量，且可累积这些运动向量以超过阈值以识别已出现“滑动”动作。
一旦计算机***已使用此技术检测到滑动动作，便有可能继续分析原始的所检测的手地点周围的延伸区以寻找如手返回到开始点的“返回手势”。如果存在正向原始的所检测的手区中移动的物体，那么此技术可使用与上文所使用的方法相同的16×16像素光流方法。当出现此情形时，计算机***可将任选反馈提供给用户，使得用户知道***准备好检测新的滑动。
计算机***可通过检测手到第一手势的原始的或预定的区的一股区的返回来检测返回位置，从而为用户提供灵活性。明确地说，用户常常可在手返回时“突增”原始的手检测区。在一些实施例中，将此运动解译为相反方向上的滑动可能为不合需要的。为了避免此不合需要的解译，“快速重新约定”可适用于在与一连串中的第一所检测的滑动相同的方向上的滑动。因此，在一个实施方案中，与相反方向上的奇异事件相比较，重复手势可为有利的。在此类实施方案中，可能需要使用手姿势检测器进行的计算机***的重新约定以在相反方向上滑动。因此，计算机***可确定是否执行重复手势，而不管是否检测重复约定手势。在一些实施方案中，当检测到重复手势时或当检测到回到初始约定手势的位置的返回时，计算机***可确定忽略或绕过对约定手势的要求。在一个实施例中，手势控制***可能要求在执行每个手势之前进行约定手势，但在执行重复手势时，可绕过此类要求。除上文所论述的检测重复手势之外，还可使用检测重复手势的其它方法，例如，下文所论述的方法。
使用直方图跟踪进行的2D传感器跟踪：
在另一实施方案中，计算机***使用直方图跟踪技术来用于跟踪手势。在此方法的一个实例中，使用如本文所描述的手检测器方法检测手的初始位置。一旦手位置为已知的，便可采集手或与通过检测器找到的手的大小有关的固定大小中的手的部分的颜色样本。举例来说，如果手姿势为摊开的手，那么计算机***可仅取样手的手掌中的颜色。因此，计算机***可选择所找到的手区域的下部部分作为颜色样本区。颜色取样技术的一个实施方案将颜色空间(例如，24位颜色空间)变为8位查找表，所述查找表将所有颜色分摊到颜色表中的256个槽中的一者中。计算机***可接着通过合计手掌区中的每一槽的多个像素来建立所选定手掌区的直方图。此加总可产生所述手掌经设定大小的区的颜色签名，所述颜色签名可基于手掌的颜色分布。
类似地，在一个实施方案中，对于后续帧，计算机***可寻找帧中与所述颜色签名的最佳匹配。此操作可通过以下操作来进行：针对每一手掌经设定大小的所关注区，建立颜色直方图，且寻找具有最接近于上述经取样的签名的签名的区。手掌经设定大小的所关注区可实质上全部在帧的单个行中，与原始手掌地点对准以便检测向左滑动和向右滑动，或手掌经设定大小的所关注区可实质上与原始手掌检测区垂直对准以便检测向上滑动和向下滑动，或可针对整个帧计算手掌经设定大小的所关注区。对于每一区，可将所计算的直方图与参考手掌直方图相比较(例如，使用直接绝对差总和)，且最小的差异可识别新帧中的最好的匹配区。在若干帧内使用此技术，可检测手的路径且将所述路径存储为相对于原始手掌位置的一连串位置。可将这些位置从一个帧到下一个帧进行比较且使用这些位置来确定已出现滑动(例如，在手位置在某一时间量内移动了某一距离的情况下)。一旦触发了滑动，计算机***中的直方图跟踪便可继续，直到手返回到开始地点或区为止，且可用信号向用户通知重新约定以使得其可再次快速地滑动。在一个实施方案中，此方法可使用较高阈值距离或甚至完全重新约定以便允许相反方向滑动来促进相同方向上的后续滑动。也就是说，在一些实施例中，可促进相同方向上的后续滑动，这是因为相同方向上的后续滑动可能更有可能指示用户的预期滑动(与可能为偶然手势的相反方向上的滑动相比较)。因此，相反方向上的滑动可能要求检测在较长距离内的移动或完全重新约定，例如，在被确认为命令之前，检测在完全约定时间内的约定姿势。
超声波传感器跟踪：
在一个实施方案中，本发明的实施例涉及使用一或多个超声波传感器的集合检测计算机***或装置前方的区中的手的存在。可使用来自这些传感器的输出来测量手的位置。距离来说，***可包含对超声波频率敏感的一或多个麦克风。麦克风可接收来自发射器(例如，用以执行手势及发射超声波的超声波笔)的超声波信号，或***可包括发射被反射离开控制目标(例如，用户的手)且返回到麦克风的超声波的发射器。可通过比较在预置时间量内的来自超声波传感器的连续输出来确定手或其它控制目标稳定地保持处于一个地点。在一个方面中，可使用任选反馈机制来用信号向用户通知已约定“手势模式”。
一旦约定了“手势模式”，计算机***便可接收来自超声波传感器的输出且确定手从初始位置起移动的方向以便检测向左、向右、向上或向下的“滑动”手势。一旦计算机***确定了滑动方向，***便可对作用中应用程序产生滑动信号且应用程序可适当地做出响应。
接下来，用户可能想要重新约定***以便执行快速连续的另一种滑动。计算机***通过分析超声波传感器的输出直到手重新出现在原始跟踪地点或区为止来促进重新约定。***可接着用信号向用户通知已重新约定“手势模式”，或可添加小延迟以验证用户已在所述地点停止其手以便验证另一种手势为所要的。计算机***可接着任选地用信号向用户通知已重新约定“手势模式”，及对用户的额外“滑动”的搜索。
深度传感器跟踪：
在一个实施方案中，本发明的实施例涉及通过俘获来自3D图像俘获***的图像来俘获装置前方的场景，所述3D图像俘获***提供装置前方的场景的深度图。可由计算机***来分析此深度数据，以识别物体在装置前方或在更详细分析中，可确定存在手及手保持处于特定手姿势(比方说，摊开的手)。在一个实施方案中，计算机***将基于通过直接分析3D深度数据或任何其它合适方法对3D图像中的手指进行计数来检测手姿势。一旦计算机***在预定时间量内检测到手的存在，便可使用任选反馈机制来用信号向用户通知已约定“手势模式”。
一旦已检测到及约定“手势模式”，计算机***便可使用手势检测算法来确定手从初始约定地点起移动以实现向左、向右、向上或向下的“滑动”的方向。在深度传感器的情况下，有可能确定在初始约定之后的后续帧中的手的绝对地点，且可使用手正移动的方向来确定滑动的方向。一旦确定了滑动方向，计算机***便可对作用中应用程序产生滑动信号且应用程序可适当地做出响应。
接下来，计算机***可在检测到快速连续的另一种滑动后重新约定。计算机***可通过分析手在原始跟踪地点或区中和/或所要手姿势中的返回以再次实现手势模式来促进重新约定。在另一种方法中，计算机***可检测用户恢复其手到原始跟踪地点或区，而不要求手姿势。在又一种方法中，可结合检测手的稳定性或/和原始跟踪地点或区中的手姿势来使用上述方法中的任一者。在所有这些情况下，计算机***可提供任选反馈机制(声音或视觉或其它方式)以用信号向用户通知已重新约定“手势模式”。计算机***可开始跟踪下一手势且过程可继续。
现将关于形成说明性实施例的一部分的附图来描述若干说明性实施例。虽然下文描述可在其中实施本发明的一或多个方面的特定实施例，但可使用其它实施例，且可在不脱离本发明的范围或所附权利要求书的精神的情况下进行各种修改。
快速手势重新约定
图1为说明根据本发明的实施例的用于进入及退出操作模式的本发明的示范性实施例的流程图100。所述方法是由处理逻辑来执行，例如处理器1404(参见图14)，其包括硬件(电路、专用逻辑等)、软件(例如，在通用计算***或专用机器上运行)、固件(嵌入式软件)，或其任何组合。在一个实施例中，所述方法是由图14的装置1400来执行。在计算机***上运行的软件可包括存储在工作存储器1418中或存储装置1406上的操作***1414和应用程序1416。
在框102处，计算机开始监视手势。在框104处，计算机***检测满足进入操作模式的第一条件的用户手势。可通过使用图像传感器(例如，摄像机1420(参见图14)和/或输入装置1408)获得多个图像来检测用户手势。在一些实施例中，操作模式为手势跟踪模式，包含在一段时间内检测用户手势及跟踪用户手势(框106)。可使用上文所描述的跟踪方法中的任一者来完成跟踪手势，包含(但不限于)超声波传感器跟踪、深度传感器跟踪、2-D传感器跟踪和/或直方图跟踪。
在另一实施例中，操作模式可为命令模式，包含执行计算机***上的一或多个命令。在命令模式中，可由计算机***来解译用户手势。可将这些动作系结到用于计算机***的特定命令。计算机***可执行这些命令且将反馈提供给用户。举例来说，用户可保持其手处于某一预定义位置以将显示在计算机***上的虚拟书翻一页。
在一些实施例中，用户手势可为固定手势。在另一实施例中，用户手势可为动态手势。固定手势可为通过用户肢体执行的预定义静态姿势。举例来说，固定姿势可为摊开的手掌手姿势或第一姿势或OK或V字形和平手势标志。动态手势可为通过用户肢体执行的预定义运动或轨迹。举例来说，动态手势可为用户执行从左到右滑动手势。在一些实施例中，在运动或轨迹期间，维持例如摊开的手掌手姿势等手姿势。
在框108处，计算机***退出操作模式。在于一段时间内跟踪手势之后，计算机***可退出操作模式(手势跟踪模式和/或命令模式)。举例来说，在用户执行用户手势之后，计算机***退出操作模式。一旦用户手势完成，计算机***便可退出手势跟踪模式和/或命令模式。此时，计算机***可能不再接受手势输入。
在框110处，计算机***(例如)使用摄像机1420和/或输入装置1408检测满足重新进入操作模式的第二条件的用户手势。第二条件可能不如第一条件严格。在一些实施例中，第一条件是在第一时间段内检测用户手势且第二条件是在第二时间段内检测用户手势。第二时间段可比第一时间段短。举例来说，在第一预定时间段内，执行手姿势的用户将满足第一条件。在检测到满足第一条件的用户手势且进入上文所描述的操作模式之后，计算机***可退出操作模式。此时，计算机***可在第二时间段内检测满足第二条件的用户手势，其中第二时间段比第一时间段短。举例来说，在比第一预定时间段短的第二预定时间段内，执行手姿势的用户可满足第二条件。此实例为第二条件不如第一条件严格的实例。用户可在比用户保持手姿势的第一时间短的时间内再次保持手姿势。在检测到满足此第二条件的用户手势后，计算机***便可重新进入操作模式(手势跟踪和/或命令)以继续为用户提供交互和反馈。替代地，如果未检测到用户手势满足第二条件，那么所述方法可结束且手势跟踪可能不再继续。可接着要求用户在执行任何后续手势命令之前完全地重新约定计算机***。
可了解，退出操作模式的决策(框108)可能并非必要的。也就是说，可在检测到满足第二条件的用户手势(框110)的时间做出可退出操作模式的决策(框108)。在一些实施例中，如果从未检测到满足第二条件的用户手势(框110)，那么计算机***可在检测到满足第一条件的用户手势后便保持处于操作模式。在一些实施例中，退出操作模式包括重新进入或重新约定操作模式。
在一些实施例中，第一条件是在第一区内检测用户手势且第二条件是在第二区内检测用户手势。第二区可比第一区大。在一些实施例中，所述检测包含通过在一段时间内检测与用户肢体相关联的移动是否低于第一区中的预定义移动阈值，确定用户肢体是否稳定处于第一区内。举例来说，在显示装置的第一区内，执行手姿势的用户将满足第一条件。在检测到满足第一条件的用户手势且进入上文所描述的操作模式之后，计算机***可退出操作模式。此时，计算机***可在第二区内检测满足第二条件的用户手势，其中第二区大于第一区。举例来说，在大于显示装置的第一区的显示装置的第二区内，执行手姿势的用户可满足第二条件。此实例为第二条件不如第一条件严格的实例。在检测到满足此第二条件的用户手势后，计算机***便可重新进入操作模式(例如，手势跟踪和/或命令)以继续为用户提供交互和反馈。
在一些实施例中，第一条件是检测达到第一预定置信水平的用户手势且第二条件是检测达到第二预定置信水平的用户手势。第一和第二预定置信水平与用户实际上正执行预期手势(例如，固定或动态手势)的计算机***置信度有关。置信水平可供***使用以滤出无意的用户输入。可了解，第一和第二置信水平可在最小阈值内且超过最小阈值的条件可被视为满足第一和第二置信水平。在一些实施例中，第二置信水平可低于第一置信水平。在其中第一和第二条件包括正执行手姿势的置信水平的一个实例中，置信下限可准许用户执行不太确定的或更松弛的手势，(例如)从而允许用户的手指在第二手姿势期间卷曲，而不是手指笔直的，如在一些实施例中第一手姿势可能要求的那股。在一些实施例中，阈值下限可准许用户执行具有较低精确度的动态手势。
在一些实施例中，计算机***可进一步提供指示响应于检测而重新进入操作模式的反馈。举例来说，在计算机***检测到满足重新进入操作模式的第二条件的用户手势之后，计算机***可将反馈提供给用户(经由例如显示器等输出装置)，从而指示已重新进入操作模式。此反馈可为用户提供关于计算机***的目前操作方式的视觉和/或听觉提示。
在一些实施例中，计算机***可进一步确定对应于第一用户手势的命令是否等效于对应于第二用户手势的命令。计算机***可至少部分地基于所述确定进一步绕过对第二用户手势满足第二条件的要求。举例来说，如果用户执行满足第一条件的第一手势，例如，执行从左到右滑动以指示用户希望将虚拟书翻一页，且用户执行等效于第一手势的第二手势，那么计算机***将通过将虚拟书翻另一页来做出响应，而不要求第二手势满足第二条件。第二条件可为(例如)在显示装置的相对相同的区域中执行手势。在一些实施例中，第二条件可包括滑动的最小长度。举例来说，如果用户用手执行从左到右滑动且接着将手返回到其中开始滑动的位置的阈值内的区域，那么***可检测到执行第二滑动，即使在一些实施例中第二滑动并不满足长度要求也如此。在一些实施例中，检测第一滑动可能要求第一长度，而检测重复滑动可能要求比第一长度短的第二长度。在一些实施例中，第一条件包括约定手势，例如，在阈值时间量内维持手姿势，且***在满足第一条件之后检测手势(例如，滑动)。在一些此类实施例中，如果***此后检测到另一滑动手势，那么可绕过对约定手势的要求。因此，在其中在执行另一手势之前要求约定手势的***中(-在此类***中，第一和第二条件可包括约定手势-)，可检测重复手势，甚至在一些实施例中在不存在约定手势的情况下也如此。
图2为说明根据本发明的实施例的用于跟踪手势及对手势做出响应的本发明的示范性实施例的流程图200。所述方法是由处理逻辑来执行，例如处理器1404(参见图14)，其包括硬件(电路、专用逻辑等)、软件(例如，在通用计算***或专用机器上运行)、固件(嵌入式软件)，或其任何组合。在一个实施例中，所述方法是由图14的装置1400来执行。在计算机***上运行的软件可包括存储在工作存储器1418中或存储装置1406上的操作***1414和应用程序1416。
在框202处，计算机***开始监视手势。在框204处，计算机***(例如)使用摄像机1420和/或输入装置1408在第一预定义时间段内检测一位置、区、地点或区域中的用户肢体的初始存在。在于第一预定义时间段内检测一区中的用户肢体的初始存在约定手势模式以用于跟踪手势的目的。在一些实施例中，计算机***可经配置以检测预定义区中的用户肢体。用户肢体可为手。在一些实施方案中，检测用户肢体的初始存在包括检测所述区中的手姿势。此外，检测用户肢体的初始存在可包括检测用户的肢体稳定地处于所述区中。在一个实施方案中，检测用户肢体稳定可涉及在所述区中在第一预定义时间段内检测低于预定义阈值的与用户肢体相关联的移动。尽管可使用任何合适手段，但在一个实施方案中，由计算机***执行的方法可使用维奥拉-琼斯目标检测框架用于检测用户肢体的存在。
计算机***可(例如)使用输出装置1410进一步将以下反馈提供给用户：***约定手势模式且准备好跟踪手势。反馈可为视觉、音频或战术反馈中的一或多者。
在框206处，由计算机***执行的方法从检测到用户肢体的初始存在的区开始跟踪用户肢体的手势。用户肢体可为用户的手。跟踪手势可包括首先检测手势且接着在一段时间内跟踪手势。可使用维奥拉-琼斯目标检测框架或任何其它合适手段来检测手势。在一个实施方案中，跟踪手势包括使用通信地耦合到计算装置的图像传感器获得包含用户肢体的多个图像，及通过分析所述多个图像中与用户肢体相关联的属性的改变来确定特定方向上的用户肢体的移动。可在感测用户肢体中使用图14中所描述的摄像机1420(参见图14)和其它输入装置1408。由计算机***执行的方法可使用光流框架或直方图框架，使用多个二维图像、超声波传感器跟踪或深度传感器跟踪以用于跟踪手势，如上文所描述，或任何其它合适手段。
在框208处，由计算机***执行的方法对手势的跟踪做出响应。在一个实例中，用户可使用手势来翻页或移动显示单元上所显示的目标或作为全息或3D图像。此手势可影响装置1400的应用程序1416或其它元件。在一个实例中，对用户的手势的响应可见于显示装置(例如，图14中所描述的输出装置1410)上。
在框210处，在检测到用户肢体的后续存在后，由计算机***执行的方法便重新约定手势模式以用于跟踪连续手势。针对快速连续手势重新约定跟踪***的一个优点在于：允许计算机***较快速地对用户的手势(例如，从头到尾翻阅书的页面)做出响应，而不要求用户针对重复手势约定***(框204)(否则的话，所述情形可花费较长设置时间)。
在框210处，由计算机***执行的方法在第二预定义时间段内检测区中的用户肢体的后续存在且重新约定手势模式。在一些实施方案中，第二预定义时间段比第一预定义时间段短。用于进行重新约定的用户肢体检测的区可大于用于初始约定的区。此实例为第二条件不如第一条件严格的实例。在又其它实施方案中，可能不需要第二预定义时间段且第二预定义时间段可能为零或可忽略。
计算机***可经配置以检测与最初检测到用户肢体的区相同的区中的用户肢体(在框204处)。计算机***还可考虑随时间的区的偏差。用户肢体可为手。在一些实施方案中，检测用户肢体的初始存在包括检测所述区中的手姿势。此外，检测用户肢体的初始存在可包括检测用户的肢体稳定地处于所述区中。在一个实施方案中，检测用户肢体稳定可涉及在所述区中在第一预定义时间段内检测低于预定义阈值的与用户肢体相关联的移动。尽管可使用任何合适手段，但在一个实施方案中，由计算机***执行的方法可使用维奥拉-琼斯目标检测框架用于检测用户肢体的存在。
计算机***可(例如)使用输出装置1410进一步将以下反馈提供给用户：***重新约定手势模式且准备好跟踪手势。反馈可为视觉、音频或战术反馈中的一或多者。可使用图14中所描述的输出装置1410将反馈提供给用户。一旦重新约定手势模式，由计算机***执行的方法便可从所述区开始跟踪用户肢体的手势(框206)及对手势的跟踪做出响应(框208)。
如果计算机***(例如)在阈值时间段内并未检测到用户肢体的后续存在(框210)，那么所述方法可结束且手势跟踪可能不再继续。可接着要求用户在执行任何后续手势命令之前完全地重新约定计算机***。
图3为说明根据本发明的实施例的用于检测稳定用户肢体的本发明的示范性实施例的流程图300。方法300是由处理逻辑来执行，例如处理器1404(参见图14)，其包括硬件(电路、专用逻辑等)、软件(例如，在通用计算***或专用机器上运行)、固件(嵌入式软件)，或其任何组合。在一个实施例中，所述方法是由图14的装置1400来执行。在计算机***上运行的软件可包括存储在工作存储器1418中或存储装置1406上的操作***1414和应用程序1416。
在框302处，计算机***开始监视用户的手。在框304处，由计算机***执行的方法在预定义时间段内等待且确定用户的手是否稳定及是否处于一地点。地点可为图像俘获装置(例如，摄像机1420)可见的区域。地点还可为用户的手的初始检测点周围的预定义半径范围。在一些实施例中，可通过用户的手的初始检测点周围的方框或矩形来界定地点。用户的手的初始检测点可使用(x，y)坐标来界定。在框306处，由计算机***执行的方法从其中检测到用户的手的地点(例如，使用摄像机1420和/或输入装置1408)开始跟踪手势。在框308处，由计算机***执行的方法对手势做出响应。对手势的响应可为外部可见的(例如，翻阅虚拟书页面的表示)，或可为内部触发以用于通过计算机***执行任务。在框310处，由计算机***执行的方法等待用户的手返回到其中最初检测到用户的手的地点。如上文所描述，地点可为用户的手的初始检测点周围的预定义半径范围或方框/矩形。在一些实施例中，地点可相对于用户的身体来说(例如，在执行向左滑动之后返回到用户的右侧)，即使绝对位置可能已关于摄像机1420改变也如此。在一些实施例中，地点可在绝对原始位置(初始检测点)的阈值距离内，或在原始半径范围、方框、矩形、区等的***内。如果用户的手返回，那么重新约定用于手势的跟踪***且***继续跟踪手势(框306)。可了解，在***继续跟踪手势(框306)后，便可绕过框304。
上文所描述的本发明的实施例可通过使用通信地耦合到计算机***的图像传感器获得用户的手的多个后续图像来执行。可在感测图像中使用图14中所描述的一或多个摄像机1420和其它输入装置1408。在框302处，***继续分析所获得的图像以用于检测用户的手。在框304处，计算机***在预定义时间段内通过分析所述多个图像(例如，使用摄像机1420和/或输入装置1408俘获的图像)检测用户的手稳定且处于一地点。在框306处，计算机***从所述地点开始通过分析后续图像检测手势且跟踪手势。在框308处，计算机***对所检测到的手势做出响应。在框310处，计算机***等待且通过分析后续图像检测返回到地点的用户的手。如果检测到用户的手，那么计算机***从原始地点开始通过分析后续图像跟踪手势(在框306处)且对手势做出响应(在框308处)。
如果计算机***在预定时间段之后(例如，在阈值时间段内)并未检测到手的返回(框310)，那么所述方法可结束且手势跟踪可能不再继续。可接着要求用户在执行任何后续手势命令之前完全地重新约定计算机***。
图4为说明根据本发明的实施例的用于在检测到稳定用户肢体后便跟踪连续手势的本发明的示范性实施例的流程图400。方法400是由处理逻辑来执行，例如处理器1404(参见图14)，其包括硬件(电路、专用逻辑等)、软件(例如，在通用计算***或专用机器上运行)、固件(嵌入式软件)，或其任何组合。在一个实施例中，所述方法是由图14的装置1400来执行。在计算机***上运行的软件可包括存储在工作存储器1418中或存储装置1406上的操作***1414和应用程序1416。
在框402处，计算机***开始监视用户的手。在框404处，由计算机***执行的方法在第一预定义时间段内等待且确定用户的手是否稳定及是否处于一地点。在框406处，由计算机***执行的方法从其中检测到用户的手的地点(例如，使用摄像机1420和/或输入装置1408)开始跟踪手势。在框408处，由计算机***执行的方法对手势做出响应。对手势的响应可为外部可见的(例如，翻阅虚拟书页面的表示)，或可为内部触发以用于通过计算机***执行任务。在框410处，由计算机***执行的方法等待用户的手返回到其中最初检测到用户的手的地点。如果用户的手返回到原始地点，那么在重新约定用于手势的跟踪***且***再次继续跟踪手势(框406)之前，在框412处，计算机***等待额外的第二预定义时间段以检测用户的手的稳定性，其中第二预定义时间段比第一预定义时间段短。此实例为第二条件不如第一条件严格的实例。
上文所描述的本发明的实施例可通过使用通信地耦合到计算机***的图像传感器获得用户的手的多个后续图像来执行。可在感测图像中使用图14中所描述的一或多个摄像机1420(参见图14)和其它输入装置1408。在框402处，***开始分析所获得的图像以用于检测用户的手。在框404处，计算机***在第一预定义时间段内通过分析所述多个图像检测用户的手稳定且处于一地点。在框406处，计算机***从所述地点开始通过分析后续图像检测手势且跟踪手势。在框408处，计算机***对所检测到的手势做出响应。在框410处，计算机***等待且通过分析后续图像检测返回到地点的用户的手。如果检测到用户的手，那么在从原始地点开始通过分析后续图像跟踪手势(在框406处)且对手势做出响应(在框408处)之前，在框412处，计算机***进一步等待额外的第二预定义时间段以确保用户的手的稳定性。可了解，在***继续跟踪手势(框306)后，便可绕过框304。
如果计算机***(例如)在阈值时间段内并未检测到用户的手的稳定性(框412)，那么所述方法可结束且手势跟踪可能不再继续。可接着要求用户在执行任何后续手势命令之前完全地重新约定计算机***。
图5为说明根据本发明的实施例的用于在检测到区内的用户肢体的返回后便跟踪连续手势的本发明的示范性实施例的流程图500。方法500是由处理逻辑来执行，例如处理器1404(参见图14)，其包括硬件(电路、专用逻辑等)、软件(例如，在通用计算***或专用机器上运行)、固件(嵌入式软件)，或其任何组合。在一个实施例中，所述方法是由图14的装置1400来执行。在计算机***上运行的软件可包括存储在工作存储器1418中或存储装置1406上的操作***1414和应用程序1416。
本文所描述的本发明的实施例可通过使用通信地耦合到计算机***的图像传感器获得用户的手的多个后续图像来执行。可在感测图像中使用图14中所描述的一或多个摄像机1420(参见图14)和其它输入装置1408。在框502处，***继续分析所获得的图像(例如，使用摄像机1420和/或输入装置1408)以用于检测用户的手。在框504处，计算机***在预定义时间段内通过分析所述多个图像检测手姿势及用户的手在一地点稳定地处于所述手姿势。在框506处，计算机***从所述地点开始通过分析后续图像检测手势且跟踪手势。在框508处，计算机***对所检测到的手势做出响应。在框510处，计算机***等待且通过分析后续图像检测返回到地点的用户的手及用户的手姿势。如果检测到用户的手的返回及手姿势，那么计算机***从原始地点开始通过分析后续图像跟踪手势(在框506处)且对手势做出响应(在框508处)。可了解，在***继续跟踪手势(框506)后，便可绕过框505。
如果计算机***(例如)在阈值时间段内并未检测到返回地点的用户的手及用户的手姿势(框510)，那么所述方法可结束且手势跟踪可能不再继续。可接着要求用户在执行任何后续手势命令之前完全地重新约定计算机***。
图6为说明根据本发明的实施例的用于在检测到区内的稳定用户肢体的返回后便跟踪连续手势的本发明的示范性实施例的流程图600。所述方法是由处理逻辑来执行，例如处理器1404，其包括硬件(电路、专用逻辑等)、软件(例如，在通用计算***或专用机器上运行)、固件(嵌入式软件)，或其任何组合。在一个实施例中，方法600是由图14的装置1400来执行。在计算机***上运行的软件可包括存储在工作存储器1418中或存储装置1406上的操作***1414和应用程序1416。
本文所描述的本发明的实施例可通过使用通信地耦合到计算机***的图像传感器获得用户的手的多个后续图像来执行。可在感测图像中使用图14中所描述的一或多个摄像机1420和其它输入装置1408。在框602处，***开始分析所获得的图像(例如，使用摄像机1420和/或输入装置1408)以用于检测用户的手。在框604处，计算机***在第一预定义时间段内通过分析所述多个图像检测手姿势及用户的手稳定地处于一地点。在框606处，计算机***从所述地点开始通过分析后续图像检测手势且跟踪手势。在框608处，计算机***对所检测到的手势做出响应。在框610处，计算机***等待且通过分析后续图像检测返回到地点的用户的手及手姿势。如果检测到用户的手及手姿势，那么在从原始地点开始通过分析后续图像跟踪手势(在框606处)且对手势做出响应(在框608处)之前，在框612处，计算机***进一步等待额外的第二预定义时间段以确保手姿势的稳定性。第二预定时间段可比第一预定时间段短。此实例为第二条件不如第一条件严格的实例。可了解，在***继续跟踪手势(框606)后，便可绕过框604。
如果计算机***(例如)在阈值时间段内并未检测到手姿势的稳定性(框612)，那么所述方法可结束且手势跟踪可能不再继续。可接着要求用户在执行任何后续手势命令之前完全地重新约定计算机***。
图7为说明根据本发明的实施例的用于在检测到稳定用户肢体后便跟踪连续手势且将反馈提供给用户的本发明的示范性实施例的流程图700。所述方法是由处理逻辑来执行，例如处理器1404，其包括硬件(电路、专用逻辑等)、软件(例如，在通用计算***或专用机器上运行)、固件(嵌入式软件)，或其任何组合。在一个实施例中，所述方法是由图14的装置1400来执行。在计算机***上运行的软件可包括存储在工作存储器1418中或存储装置1406上的操作***1414和应用程序1416。
在框702处，计算机***开始监视用户的手。在框704处，由计算机***执行的方法在预定义时间段内等待且确定用户的手是否稳定及是否处于一地点。在框706处，由计算机***执行的方法可响应于确定在预定义时间段内用户的手稳定且处于一地点而(例如)使用输出装置1410将约定***的反馈提供给用户。在框708处，由计算机***执行的方法从其中检测到用户的手的地点开始跟踪手势。在框710处，由计算机***执行的方法对手势做出响应。对手势的响应可为外部可见的(例如，翻阅虚拟书页面的表示)，或可为内部触发以用于通过计算机***执行任务。在框712处，由计算机***执行的方法等待用户的手返回到其中最初检测到用户的手的地点。在框714处，计算机***可等待第二预定义时间段以确定手处于稳定手姿势。如果用户的手返回，检测到手姿势且手稳定，那么重新约定用于手势的跟踪***且***继续跟踪手势(框708)。任选地，计算机***可提供额外反馈：重新约定***以用于再次跟踪(框706)。可了解，在***继续跟踪手势(框706)后，便可绕过框704。
如果计算机***(例如)在阈值时间段内并未检测到稳定手姿势(框714)，那么所述方法可结束且手势跟踪可能不再继续。可接着要求用户在执行任何后续手势命令之前完全地重新约定计算机***。
图8为说明根据本发明的实施例的用于在检测到区内的用户肢体的返回后便跟踪连续手势且将反馈提供给用户的本发明的示范性实施例的流程图800。所述方法是由处理逻辑来执行，例如处理器1404(参见图14)，其包括硬件(电路、专用逻辑等)、软件(例如，在通用计算***或专用机器上运行)、固件(嵌入式软件)，或其任何组合。在一个实施例中，所述方法是由图14的装置1400来执行。在计算机***上运行的软件可包括存储在工作存储器1418中或存储装置1406上的操作***1414和应用程序1416。
本文所描述的本发明的实施例可通过使用通信地耦合到计算机***的图像传感器获得用户的手的多个后续图像来执行。可在感测图像中使用图14中所描述的一或多个摄像机1420和其它输入装置1408。在框802处，***继续分析所获得的图像以用于检测用户的手。在框804处，计算机***在预定义时间段内通过分析所述多个图像检测手姿势及用户的手在一地点稳定地处于所述手姿势。在框806处，由计算机***执行的方法可(例如)使用输出装置1410将约定***的反馈提供给用户。在框808处，计算机***从所述地点开始通过分析后续图像检测手势且跟踪手势。在框810处，计算机***对所检测到的手势做出响应。在框812处，计算机***等待且通过分析后续图像检测用户的手返回到地点及用户的手姿势。在框806处，计算机***可提供额外反馈：重新约定***以用于再次跟踪。如果检测到用户的手的返回及手姿势，那么计算机***从原始地点开始通过分析后续图像跟踪手势(在框808处)且对手势做出响应(在框810处)。可了解，在***继续跟踪手势(框806)后，便可绕过框804。
如果计算机***并未检测到返回到地点的用户的手及手姿势(框812)，那么所述方法可结束且手势跟踪可能不再继续。可接着要求用户在执行任何后续手势命令之前完全地重新约定计算机***。
图9为说明根据本发明的实施例的用于在检测到区内的稳定用户肢体的返回后便跟踪连续手势且(例如)使用输出装置1410将反馈提供给用户的本发明的示范性实施例的流程图900。所述方法是由处理逻辑来执行，例如处理器1404(参见图14)，其包括硬件(电路、专用逻辑等)、软件(例如，在通用计算***或专用机器上运行)、固件(嵌入式软件)，或其任何组合。在一个实施例中，所述方法是由图14的装置1400来执行。在计算机***上运行的软件可包括存储在工作存储器1418中或存储装置1406上的操作***1414和应用程序1416。
本文所描述的本发明的实施例可通过使用通信地耦合到计算机***的图像传感器获得用户的手的多个后续图像来执行。可在感测图像中使用图14中所描述的一或多个摄像机1420和其它输入装置1408。在框902处，***开始分析所获得的图像(例如，使用摄像机1420和/或输入装置1408获得的图像)以用于检测用户的手。在框904处，计算机***在第一预定义时间段内通过分析所述多个图像检测手姿势及用户的手稳定地处于一地点。在框906处，由计算机***执行的方法可将约定***的反馈提供给用户。在框908处，计算机***从所述地点开始通过分析后续图像检测手势且跟踪手势。在框910处，计算机***对所检测到的手势做出响应。在框912处，计算机***等待且通过分析后续图像检测返回到地点的用户的手及手姿势。如果检测到用户的手及手姿势，那么在从原始地点开始通过分析后续图像跟踪手势(在框908处)且对手势做出响应(在框910处)之前，在框914处，计算机***进一步等待额外的第二预定义时间段以确保手姿势的稳定性。第二预定时间段可比第一预定时间段短。此实例为第二条件不如第一条件严格的实例。在再次跟踪及做出响应之前，在框906处，计算机***可(例如)使用输出装置1410将跟踪***返回手势模式的反馈提供给用户。可了解，在***将反馈提供给用户(框906)后，便可绕过框904。
如果计算机***(例如)在阈值时间段内并未检测到手姿势的稳定性(框914)，那么所述方法可结束且手势跟踪可能不再继续。可接着要求用户在执行任何后续手势命令之前完全地重新约定计算机***。
图10为说明根据本发明的实施例的用于跟踪连续手势及检测手势的方向的改变的本发明的示范性实施例的流程图1000。所述方法是由处理逻辑来执行，例如处理器1404(参见图14)，其包括硬件(电路、专用逻辑等)、软件(例如，在通用计算***或专用机器上运行)、固件(嵌入式软件)，或其任何组合。在一个实施例中，所述方法是由图14的装置1400来执行。在计算机***上运行的软件可包括存储在工作存储器1418中或存储装置1406上的操作***1414和应用程序1416。
在框1002处，计算机***开始监视用户的手。在框1004处，由计算机***执行的方法在预定义时间段内等待且确定用户的手是否稳定及是否处于一地点。在框1006处，由计算机***执行的方法从其中检测到用户的手的地点开始跟踪手势。在框1008处，由计算机***执行的方法对手势做出响应。对手势的响应可为外部可见的(例如，翻阅书页面的表示)，或可为内部触发以用于通过计算机***执行任务。在框1010处，由计算机***执行的方法等待用户的手到其中最初检测到用户的手的地点的至少一部分返回。在框1012处，计算机***检测远离初始地点的方向的改变，而手未到达初始地点。在一个实施例中，计算机***检测用户的手的此部分返回，作为用户重新约定手势模式的意图。因此，计算机***重新约定手势模式且再次在框1006处开始跟踪。因此，甚至在用户未完全返回到开始点时，也可基于控制目标的方向的改变重新约定手势模式。
在替代实施例中，在框1006之后，当手势***无法在手势的整个运动路径内跟踪手时，可能丢失手。举例来说，手运动可能离开传感器的视场，或手姿势和定向可能在传感器看来在外观上显著地改变，从而致使手***不再能够跟踪手的地点。如果在紧于丢失手之前观测到手势的一部分，那么可将部分运动路径分类为手势。在框1008处，由计算机***执行的方法对手势做出响应。对手势的响应可为外部可见的(例如，翻阅书页面的表示)，或可为内部触发以用于通过计算机***执行任务。在框1010处，由计算机***执行的方法等待***在从最近丢失手起的预定义时间段内重新检测手。在一个实施例中，计算机***确定用户的手的此重新检测为用户重新约定手势模式的意图。举例来说，重新检测手可能要求手返回到传感器的视场，或手姿势和定向返回到类似于原始姿势和定向的姿势和定向，所述情形可暗示用户重新约定手势模式的意图。因此，计算机***重新约定手势模式且再次在框1006处开始跟踪。可了解，在***继续跟踪手势(框1006)后，便可绕过框1004。
上文所描述的本发明的实施例可通过使用通信地耦合到计算机***的图像传感器获得用户的手的多个后续图像来执行。可在感测图像中使用图14中所描述的一或多个摄像机1420和其它输入装置1408。在框1002处，***继续分析所获得的图像以用于检测用户的手。在框1004处，计算机***在预定义时间段内通过分析所述多个图像检测用户的手稳定且处于一地点。在框1006处，计算机***从所述地点开始通过分析后续图像检测手势且跟踪手势。在框1008处，计算机***对所检测到的手势做出响应。在框1010处，计算机***等待且通过分析后续图像检测用户的手部分地返回到地点。在框1012处，计算机***通过分析多个图像检测用户的手远离初始地点的方向的改变。在一个实施例中，计算机***检测用户的手的此部分返回，作为用户重新约定手势模式的意图。因此，计算机***重新约定手势模式且再次在框1006处开始跟踪。
如果计算机***(例如)在阈值时间段内并未检测到方向的改变(框1012)，那么所述方法可结束且手势跟踪可能不再继续。可接着要求用户在执行任何后续手势命令之前完全地重新约定计算机***。
图11说明根据本发明的实施例的进入手势操作模式及重新进入手势操作模式。用户可执行在第一预订时间段1101内保持手势1100(例如，手姿势)的用户手势，以满足进入手势操作模式1102的条件，如上文所描述。用户可接着执行手势或姿势1103且离开跟踪区域或以其它方式退出手势操作模式(例如，通过完成预定命令)。用户可接着重新建立手姿势1104且在小于第一时间段的第二预定时间段1105内维持所述姿势，且计算机***可再一次进入手势操作模式1102。当重新进入手势操作模式时，计算机***不需要基于第一条件建立手势操作模式。举例来说，计算机***不需要执行用户想要执行手势的完全实现过程，这是因为用户已经调用手势操作模式。计算机可在小于第一预定时间段的第二预定时间段内简单地辨识手势或姿势且重新进入手势操作模式。也就是说，完全检测和/或完全手势约定不需要为完成的，这是因为其先前已完成。
图12A到12C说明根据本发明的实施例的进入手势操作模式及重新进入手势操作模式。图12A展示移动装置1202，例如智能电话，其能够检测、辨识用户的手势1100输入及对手势做出响应。手势1100可通过摄像机1420和在移动装置1202内部的其它处理逻辑来检测及辨识。当手势1100呈现在移动装置1202上所显示的第一区1204内时，可辨识手势1100。在一些实施例中，可能需要在预定时间段内在第一区1204内辨识手势1100。在预定时间段之后，移动装置1202可进入手势跟踪模式和/或命令模式。当处于手势跟踪模式时，移动装置1202可跟踪由用户执行的手势1100。当处于命令模式时，移动装置1202可基于手势1100执行***命令。可了解，此实例利用手来描绘手势；然而，可使用其它手势，例如，上文所描述的手势。
图12B展示不再处于第一区1204内的手势1100。举例来说，如果用户将其手移动到用于检测及辨识手势的第一区外部，那么移动装置1202可退出手势跟踪模式和命令模式。除非移动装置1202重新进入手势跟踪模式和命令模式，否则移动装置1202可能不再对任何手势1100做出响应。
图12C展示第二区1206内的手势1100。在此特定实施例中，第二区1206大于第一区1204。在检测到第二区1206内的手势1100后，移动装置1202可重新进入手势跟踪模式和命令模式。在一些实施例中，在移动装置1202重新进入手势跟踪模式和命令模式之前，可能需要在预定时间段内在第二区1206内辨识手势1100。在一些实施例中，用于重新进入手势跟踪模式和命令模式的预定时间段可小于用于进入手势跟踪模式和命令模式的预定时间段。
由于移动装置1202在预定时间段内且在第一区1204(图12A)内检测到手势1100，因此移动装置1202可能不会在退出手势跟踪模式和命令模式之后要求完全检测过程以重新进入手势跟踪模式和命令模式。在一些实施例中，可存在预定义超时时间，其界定用户在必须再次执行完全检测过程之前可能能够重新进入手势跟踪模式的时间。因而，第二区1206可大于第一区1204，这是因为以下情形为更有可能的：较大的第二区1206内的手势1100实际上为手势1100而并非用户的偶然输入。类似地，由于相同原因，用于重新进入手势跟踪模式和命令模式的预定时间段可小于用于最初进入手势跟踪模式和命令模式的预定时间段。
图13A到13B说明根据本发明的实施例的在进入手势操作模式及重新进入手势操作模式时显示给用户的提示1308、1310。图13A说明在进入手势跟踪模式和/或命令模式时显示给用户的手势约定提示1308。如上文所描述，用户可在第一区1204中执行手势1100以进入移动装置1202上的手势跟踪操作模式和/或命令操作模式。在一些实施例中，可将手或手势1100的表示显示在显示装置(例如，输出装置1410)上，以向用户指示用户正执行手势的地点。然而，在执行手势1100之前，移动装置1202可向用户显示手势约定提示1308，所述提示指示移动装置1202准备好检测用于约定的初始手势以进入手势操作模式。举例来说，移动装置1202可显示陈述“请将你的手放在指明的区域中以进入手势控制模式”的手势约定提示1308。一旦显示提示，用户便可接着在预定时间段内在移动装置1202的第一区1204中执行手势1100以进入手势跟踪模式和/或命令模式。在一些实施例中，在进入手势跟踪模式和/或命令模式后，移动装置1202便可显示陈述已进入手势跟踪模式和/或命令模式的提示。
图13B说明在重新进入手势跟踪模式和/或命令模式时显示给用户的手势重新约定提示1310。如上文所描述，在最初与移动装置1202约定手势操作模式和/或命令模式且随后解除约定手势操作模式和/或命令模式之后，用户可通过在移动装置1202的第二区1206中执行手势1100重新约定手势跟踪模式和/或命令模式。在执行用于重新约定的手势1100之后，移动装置1202可向用户显示手势重新约定提示1310，所述提示指示移动装置1202已重新约定手势跟踪模式和/或命令模式。举例来说，移动装置1202可显示陈述“已重新约定手势控制模式”的手势重新约定提示1310。
可在例如计算机***等此类***中实践上文所描述的所有实施例。
图14说明根据本发明的实施例的并有在实践本发明的实施例中使用的装置的部分的示范性计算机***。如图14中所说明的计算机***可作为上文描述的计算机化装置的部分而并入。举例来说，计算机***1400可表示以下装置的组件中的一些组件：电视机、移动装置、服务器、桌上型计算机、工作站、汽车中的控制或交互***、平板计算机、上网本或任何其它合适的计算***。移动装置可为具有图像俘获装置或输入感官单元和用户输出装置的任何计算装置。图像俘获装置或输入感官单元可为摄像机装置。用户输出装置可为显示单元。移动装置的实例包含(但不限于)视频游戏控制台、平板计算机、智能电话和任何其它手持式装置。图14提供计算机***1400的一个实施例的示意性说明，所述计算机***可执行通过各种其它实施例提供的方法(如本文所描述)，及/或可充当主控计算机***、远程查询一体机/终端、销售点装置、汽车中的电话或导航或多媒体接口、移动装置、机顶盒、桌上型计算机和/或计算机***。图14仅意欲提供对各种组件的一股化说明，可在适当时利用所述组件中的任一者或全部。因此，图14广泛地说明可如何以相对分离或相对较集成方式实施个别***元件。在一些实施例中，装置1400可用以实施移动装置1202。
展示计算机***1400包括可经由总线1402电耦合(或可在适当时以其它方式通信)的硬件元件。所述硬件元件可包含：一或多个处理器1404，包含(但不限于)一或多个通用处理器和/或一或多个专用处理器(例如，数字信号处理芯片、图形加速处理器，和/或其类似者)；一或多个输入装置1408，其可包含(但不限于)一或多个摄像机、传感器、鼠标、键盘、经配置以检测超声波或其它声音的麦克风，和/或其类似者；以及一或多个输出装置1410，其可包含(但不限于)显示单元(例如，本发明的实施例中所使用的装置)、打印机和/或其类似者。额外摄像机1420可用于检测用户的肢体和手势。在一些实施方案中，输入装置1408可包含一或多个传感器，例如红外线传感器、深度传感器和/或超声波传感器。
在本发明的实施例的一些实施方案中，各种输入装置1408和输出装置1410可嵌入到例如显示装置、桌子、地板、壁和窗口屏幕等接口中。此外，耦合到处理器的输入装置1408和输出装置1410可形成多维跟踪***。
计算机***1400可进一步包含以下各者(及/或与以下各者通信)：一或多个非暂时性存储装置1406，所述非暂时性存储装置1406可包括(但不限于)本地和/或网络可存取的存储装置，及/或可包含(但不限于)磁盘驱动器、驱动阵列、光学存储装置、例如随机存取存储器(“RAM”)和/或只读存储器(“ROM”)等固态存储装置，其可为可编程的、可快闪更新的及/或其类似者。此类存储装置可经配置以实施任何适当数据存储装置，包含(但不限于)各种文件***、数据库结构和/或其类似者。
计算机***1400还可包含通信子***1412，其可包含(但不限于)调制解调器、网卡(无线或有线)、红外线通信装置、无线通信装置和/或芯片组(例如，B1uetoothTM装置、802.11装置、WiFi装置、WiMax装置、蜂窝式通信设施等)及/或其类似者。通信子***1412可准许与网络、其它计算机***和/或本文中所描述的任何其它装置交换数据。在许多实施例中，计算机***1400将进一步包括非暂时性工作存储器1418，其可包含RAM或ROM装置，如上文所描述。
计算机***1400还可包括展示为当前位于工作存储器1418内的软件元件，包含操作***1414、装置驱动器、可执行库及/或例如一或多个应用程序1416等其它代码，其可包括通过各种实施例提供及/或可经设计以实施方法及/或配置***、通过其它实施例提供的计算机程序，如本文中所描述。仅仅作为实例说明，关于上文所论述的方法所描述的一或多个程序可实施为可由计算机(和/或计算机内的处理器)执行的代码和/或指令；接着，在一方面中，此类代码和/或指令可用以配置及/或调适通用计算机(或其它装置)以根据所描述方法执行一或多个操作。
一组这些指令和/或代码可存储在计算机可读存储媒体(例如，上文所描述的存储装置1406)上。在一些情况下，存储媒体可并入于计算机***(例如，计算机***1400)内。在其它实施例中，存储媒体可与计算机***分离(例如，可装卸式媒体(例如，压缩光盘)，及/或提供于安装包中，使得存储媒体可用以编程、配置及/或调适其上存储有指令/代码的通用计算机。这些指令可呈可由计算机***1400执行的可执行代码形式，及/或可呈源和/或可安装代码的形式，所述源和/或可安装代码在由计算机***1400编译及/或安装于计算机***上后(例如，使用多种大体可用编译程序、安装程序、压缩/解压缩公用程序等中的任一者)，接着呈可执行代码的形式。
可根据特定要求做出实质性变化。举例来说，还可使用定制硬件，及/或可将特定元件实施于硬件、软件(包含便携式软件，例如小程序等)或两者中。另外，可使用到例如网络输入/输出装置等其它计算装置的连接。在一些实施例中，可省略计算机***1400的一或多个元件或可将其与所说明***分离来实施。举例来说，可将处理器1404和/或其它元件与输入装置1408分离来实施。在一个实施例中，处理器经配置以接收来自分别实施的一或多个摄像机的图像。在一些实施例中，可将除图14中所说明的元件之外的元件包含在计算机***1400中。
一些实施例可使用计算机***(例如，计算机***1400)来执行根据本发明的方法。举例来说，所描述方法的程序中的一些程序或全部可由计算机***1400响应于处理器1404执行工作存储器1418中所含有的一或多个指令(其可并入到操作***1414和/或其它代码中，例如，应用程序1416)的一或多个序列来执行。可将此类指令从另一计算机可读媒体(例如，存储装置1406中的一或多者)读入到工作存储器1418中。仅仅作为实例说明，执行工作存储器1418中所含有的指令序列可致使处理器1404执行本文中所描述方法的一或多个程序。
如本文中所使用，术语“机器可读媒体”和“计算机可读媒体”是指参与提供致使机器以特定方式操作的数据的任何媒体。在使用计算机***1400实施的一些实施例中，在将指令/代码提供到处理器1404以用于执行中可能涉及各种计算机可读媒体，及/或各种计算机可读媒体可用以存储及/或携载此类指令/代码(例如，作为信号)。在许多实施方案中，计算机可读媒体为物体和/或有形存储媒体。此类媒体可呈许多形式，包含(但不限于)非易失性媒体、易失性媒体和传输媒体。非易失性媒体包含(例如)光盘和/或磁盘，例如存储装置1406。易失性媒体包含(但不限于)例如工作存储器1418等动态存储器。传输媒体包含(但不限于)同轴电缆、铜线和光纤，包含包括总线1402的电线，以及通信子***1412的各种组件(和/或通信子***1412提供与其它装置的通信所借助于的媒体)。因此，传输媒体还可呈波的形式(包含(但不限于)无线电、声波和/或光波，例如，在无线电-波和红外线数据通信期间产生的那些波)。
举例来说，常见形式的物理和/或有形计算机可读媒体包含软性磁盘、柔性磁盘、硬盘、磁带，或任何其它磁性媒体、CD-ROM、任何其它光学媒体、打孔卡、纸带、具有孔图案的任何其它物理媒体、RAM、PROM、EPROM、快闪-EPROM、任何其它存储器芯片或盒带、如下文所描述的载波，或计算机可从其读取指令和/或代码的任何其它媒体。
在将一或多个指令的一或多个序列携载到处理器1404以用于执行中可涉及各种形式的计算机可读媒体。仅仅作为实例说明，最初可将指令携载于远程计算机的磁盘和/或光学光盘上。远程计算机可将指令载入到其动态存储器中，并经由传输媒体将指令作为信号进行发送以由计算机***1400接收及/或执行。根据本发明的各种实施例，可呈电磁信号、声学信号、光信号和/或其类似者形式的这些信号皆为可在其上编码指令的载波的实例。
通信子***1412(和/或其组件)一股将接收信号，且总线1402可接着将信号(和/或由信号携载的数据、指令等)携载到工作存储器1418，处理器1404从所述工作存储器检索指令并执行指令。可任选地在由处理器1404执行指令之前或之后，将由工作存储器1418接收的指令存储在非暂时性存储装置1406上。
上文所论述的方法、***和装置为实例。各种实施例可在适当时省略、取代或添加各种程序或组件。举例来说，在替代配置中，所描述的方法可以不同于所描述的次序的次序来执行，及/或可添加、省略及/或组合各种阶段。并且，可在各种其它实施例中组合关于某些实施例描述的特征。可以类似方式组合实施例的不同方面和元素。并且，技术演进，且因此许多元件为实例，其并不将本发明的范围限于那些特定实例。
在描述中给出特定细节以提供对实施例的透彻理解。然而，可在没有这些特定细节的情况下实践实施例。举例来说，已在没有不必要的细节的情况下展示熟知电路、过程、算法、结构及技术以便避免混淆所述实施例。此描述仅提供实例实施例，且不希望限制本发明的范围、适用性或配置。确切地说，实施例的前述描述将为所属领域的技术人员提供用于实施本发明的实施例的启迪性描述。可在不脱离本发明的精神和范围的情况下对元件的功能及布置进行各种改变。
并且，将一些实施例描述为以流程图或框图形式描绘的过程。尽管每一流程图或框图可能将操作描述为顺序过程，但许多操作可并行地或同时地来执行。另外，可重新布置操作的次序。过程可具有图中未包含的额外步骤。此外，可通过硬件、软件、固件、中间件、微码、硬件描述语言或其任何组合来实施方法的实施例。当以软件、固件、中间件或微码来实施时，用以执行相关联任务的程序代码或代码段可存储在例如存储媒体等计算机可读媒体中。处理器可执行相关联任务。因此，在上述描述中，描述为由计算机***执行的功能或方法可由经配置以执行功能或方法的处理器(例如，处理器1404)来执行。另外，此类功能或方法可由执行存储在一或多个计算机可读媒体上的指令的处理器来执行。
上文所论述的方法、***和装置为实例。各种实施例可在适当时省略、取代或添加各种程序或组件。举例来说，在替代配置中，所描述的方法可以不同于所描述的次序的次序来执行，及/或可添加、省略及/或组合各种阶段。并且，可在各种其它实施例中组合关于某些实施例描述的特征。可以类似方式组合实施例的不同方面和元素。并且，技术演进，且因此许多元件为实例，其并不将本发明的范围限于那些特定实例。
在描述中给出特定细节以提供对实施例的透彻理解。然而，可在没有这些特定细节的情况下实践实施例。举例来说，已在没有不必要的细节的情况下展示熟知电路、过程、算法、结构及技术以便避免混淆所述实施例。此描述仅提供实例实施例，且不希望限制本发明的范围、适用性或配置。确切地说，实施例的前述描述将为所属领域的技术人员提供用于实施本发明的实施例的启迪性描述。可在不脱离本发明的精神和范围的情况下对元件的功能及布置进行各种改变。
并且，将一些实施例描述为以流程图或框图形式描绘的过程。尽管每一流程图或框图可能将操作描述为顺序过程，但许多操作可并行地或同时地来执行。另外，可重新布置操作的次序。过程可具有图中未包含的额外步骤。此外，可通过硬件、软件、固件、中间件、微码、硬件描述语言或其任何组合来实施方法的实施例。当以软件、固件、中间件或微码来实施时，用以执行相关联任务的程序代码或代码段可存储在例如存储媒体等计算机可读媒体中。处理器可执行相关联任务。
已描述若干实施例，可在不脱离本发明的精神的情况下使用各种修改、替代构造及等效物。举例来说，上述元件可仅为较大***的组件，其中其它规则可优先于本发明的应用或以其它方式修改本发明的应用。并且，可在考虑上述元件之前、期间或之后进行数个步骤。因此，上述描述并不限制本发明的范围。
已描述各种实例。这些及其它实例在所附权利要求书的范围内。

Claims (31)

1.一种用于执行手势辨识的方法，其包括：
检测满足进入计算装置上的命令模式的第一条件的第一用户手势，其中检测所述第一用户手势包含在第一时间段内跟踪所述第一用户手势；
退出所述命令模式；以及
检测多个用户手势中的第二用户手势，所述第二用户手势满足基于所述检测所述第一用户手势重新进入所述命令模式的第二条件，其中检测所述第二用户手势包含在第二时间段内跟踪所述第二用户手势，其中：
所述多个用户手势中的其它用户手势不满足所述第二条件；
所述第二条件不如所述第一条件严格；
所述第一用户手势和所述第二用户手势由用户肢体执行；以及
在检测所述第一用户手势和检测所述第二用户手势期间，所述计算装置不需要接触所述用户肢体。
2.根据权利要求1所述的方法，其中跟踪所述第一用户手势或所述第二用户手势包括使用深度传感器跟踪、2-D传感器跟踪、直方图跟踪和超声波传感器跟踪中的一或多者。
3.根据权利要求1所述的方法，其中所述命令模式包括响应于检测到所述其它用户手势而执行所述计算装置的一或多个命令。
4.根据权利要求1所述的方法，其中所述检测所述第一用户手势或所述第二用户手势包括使用图像传感器获得多个图像。
5.根据权利要求1所述的方法，其中所述第一用户手势和所述第二用户手势为固定手势。
6.根据权利要求1所述的方法，其中所述第一用户手势和所述第二用户手势为动态手势。
7.根据权利要求1所述的方法，其中所述第二时间段比所述第一时间段短。
8.根据权利要求1所述的方法，其中所述第一条件是在第一区内检测所述第一用户手势且所述第二条件是在第二区内检测所述第二用户手势，其中所述第二区大于或等于所述第一区。
9.根据权利要求8所述的方法，其中所述检测所述第一用户手势包括通过在一段时间内检测与所述用户肢体相关联的任何移动低于所述第一区中的预定义移动阈值，确定所述用户肢体是否稳定处于所述第一区内。
10.根据权利要求9所述的方法，其中所述用户肢体为手。
11.根据权利要求1所述的方法，其中所述第一条件是检测达到第一置信水平的所述第一用户手势且其中所述第二条件是检测达到第二置信水平的所述第二用户手势，其中所述第二置信水平低于所述第一置信水平。
12.根据权利要求1所述的方法，其进一步包括提供指示响应于所述检测而重新进入所述命令模式的反馈。
13.根据权利要求1所述的方法：
其中所述第二条件包括以下情形：对应于所述第二用户手势的命令等效于对应于在所述第一用户手势与所述第二用户手势之间执行的手势的命令；且
所述方法进一步包括至少部分基于所述检测满足所述第二条件的所述第二用户手势，绕过所述第二用户手势满足所述第一条件的要求。
14.根据权利要求1所述的方法，其中所述第一条件包括第一方向上的运动或轨迹，且其中所述第二条件包括使得所得运动方向实质上与所述第一方向对准的方向的改变。
15.一种用于执行手势辨识的设备，其包括：
图像俘获装置，其经配置以俘获图像；以及
处理器，其耦合到所述图像俘获装置，
其中所述处理器经配置以：
检测满足进入命令模式的第一条件的第一用户手势，其中检测所述第一用户手势包含在第一时间段内跟踪所述第一用户手势；
退出所述命令模式；且
基于由所述图像俘获装置俘获的图像，检测多个用户手势中的第二用户手势，所述第二用户手势满足基于所述检测所述第一用户手势重新进入所述命令模式的第二条件，其中检测所述第二用户手势包含在第二时间段内跟踪所述第二用户手势，其中：
所述多个用户手势中的其它用户手势不满足所述第二条件；
所述第二条件不如所述第一条件严格；
所述第一用户手势和所述第二用户手势由用户肢体执行；以及
在检测所述第一用户手势和检测所述第二用户手势期间，所述设备不需要接触所述用户肢体。
16.根据权利要求15所述的设备，其中跟踪所述第一用户手势或所述第二用户手势包括使用深度传感器跟踪、2-D传感器跟踪、直方图跟踪和超声波传感器跟踪中的一或多者。
17.根据权利要求15所述的设备，其中所述命令模式包括响应于检测到所述其它用户手势而执行所述设备的一或多个命令。
18.根据权利要求15所述的设备，其中所述第一用户手势和所述第二用户手势为固定手势。
19.根据权利要求15所述的设备，其中所述第一用户手势和所述第二用户手势为动态手势。
20.根据权利要求15所述的设备，其中所述第二时间段比所述第一时间段短。
21.根据权利要求15所述的设备，其中所述第一条件是在第一区内检测所述第一用户手势且所述第二条件是在第二区内检测所述第二用户手势，其中所述第二区大于或等于所述第一区。
22.根据权利要求21所述的设备，其中所述处理器经配置以通过以下操作检测所述第一用户手势：通过在一段时间内检测与所述用户肢体相关联的任何移动低于所述第一区中的预定义移动阈值，确定所述用户肢体是否稳定处于所述第一区内。
23.根据权利要求22所述的设备，其中所述用户肢体为手。
24.根据权利要求15所述的设备，其中所述第一条件是检测达到第一置信水平的所述第一用户手势且其中所述第二条件是检测达到第二置信水平的所述第二用户手势，其中所述第二置信水平低于所述第一置信水平。
25.根据权利要求15所述的设备，其中所述处理器经进一步配置以致使输出装置提供指示响应于所述检测满足所述第二条件的所述第二用户手势而重新进入所述命令模式的反馈。
26.根据权利要求15所述的设备，其中所述第二条件包括以下情形：对应于所述第二用户手势的命令等效于对应于在所述第一用户手势与所述第二用户手势之间执行的手势的命令；且
其中所述处理器经进一步配置以至少部分基于所述检测满足所述第二条件的所述第二用户手势绕过所述第二用户手势满足所述第一条件的要求。
27.根据权利要求15所述的设备，其中所述第一条件包括第一方向上的运动或轨迹，且其中所述第二条件包括使得所得运动方向实质上与所述第一方向对准的方向的改变。
28.一种用于执行手势辨识的设备，其包括：
用于检测满足进入计算装置上的命令模式的第一条件的第一用户手势的装置，其中所述用于检测所述第一用户手势的装置包含用于在第一时间段内跟踪所述第一用户手势的装置；
用于退出所述命令模式的装置；以及
用于检测多个用户手势中的第二用户手势的装置，所述第二用户手势满足基于所述检测所述第一用户手势重新进入所述命令模式的第二条件，其中所述用于检测所述第二用户手势的装置包含用于在第二时间段内跟踪所述第二用户手势的装置，其中：
所述多个用户手势中的其它用户手势不满足所述第二条件；
所述第二条件不如所述第一条件严格；
所述第一用户手势和所述第二用户手势由用户肢体执行；以及
在检测所述第一用户手势和检测所述第二用户手势期间，所述计算装置不需要接触所述用户肢体。
29.根据权利要求28所述的设备，其中所述命令模式包括响应于检测到所述其它用户手势而执行所述计算装置的一或多个命令。
30.根据权利要求28所述的设备，其中所述第二时间段比所述第一时间段短。
31.根据权利要求28所述的设备，其中所述第一条件是在第一区内检测所述第一用户手势且所述第二条件是在第二区内检测所述第二用户手势，其中所述第二区大于或等于所述第一区。
CN201380019971.4A 2012-04-16 2013-04-02 快速手势重新约定 Active CN104254817B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201261624953P 2012-04-16 2012-04-16
US61/624,953 2012-04-16
US13/801,704 2013-03-13
US13/801,704 US9448635B2 (en) 2012-04-16 2013-03-13 Rapid gesture re-engagement
PCT/US2013/035000 WO2013158366A1 (en) 2012-04-16 2013-04-02 Rapid gesture re-engagement

Publications (2)

Publication Number Publication Date
CN104254817A CN104254817A (zh) 2014-12-31
CN104254817B true CN104254817B (zh) 2017-10-03

Family

ID=49324635

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380019971.4A Active CN104254817B (zh) 2012-04-16 2013-04-02 快速手势重新约定

Country Status (7)

Country Link
US (1) US9448635B2 (zh)
EP (1) EP2839357B1 (zh)
KR (1) KR102230630B1 (zh)
CN (1) CN104254817B (zh)
ES (1) ES2759786T3 (zh)
HU (1) HUE047064T2 (zh)
WO (1) WO2013158366A1 (zh)

Families Citing this family (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9501152B2 (en) 2013-01-15 2016-11-22 Leap Motion, Inc. Free-space user interface and control using virtual constructs
US10691219B2 (en) 2012-01-17 2020-06-23 Ultrahaptics IP Two Limited Systems and methods for machine control
US11493998B2 (en) 2012-01-17 2022-11-08 Ultrahaptics IP Two Limited Systems and methods for machine control
US9070019B2 (en) 2012-01-17 2015-06-30 Leap Motion, Inc. Systems and methods for capturing motion in three-dimensional space
US9679215B2 (en) 2012-01-17 2017-06-13 Leap Motion, Inc. Systems and methods for machine control
US8693731B2 (en) 2012-01-17 2014-04-08 Leap Motion, Inc. Enhanced contrast for object detection and characterization by optical imaging
US8638989B2 (en) 2012-01-17 2014-01-28 Leap Motion, Inc. Systems and methods for capturing motion in three-dimensional space
US10585530B2 (en) 2014-09-23 2020-03-10 Neonode Inc. Optical proximity sensor
US20140130116A1 (en) * 2012-11-05 2014-05-08 Microsoft Corporation Symbol gesture controls
US20140130090A1 (en) * 2012-11-05 2014-05-08 Microsoft Corporation Contextual gesture controls
US9459697B2 (en) 2013-01-15 2016-10-04 Leap Motion, Inc. Dynamic, free-space user interactions for machine control
CN103970260B (zh) * 2013-01-31 2017-06-06 华为技术有限公司 一种非接触式手势控制方法及电子终端设备
US9702977B2 (en) 2013-03-15 2017-07-11 Leap Motion, Inc. Determining positional information of an object in space
US9916009B2 (en) 2013-04-26 2018-03-13 Leap Motion, Inc. Non-tactile interface systems and methods
US10281987B1 (en) 2013-08-09 2019-05-07 Leap Motion, Inc. Systems and methods of free-space gestural interaction
US10846942B1 (en) 2013-08-29 2020-11-24 Ultrahaptics IP Two Limited Predictive information for free space gesture control and communication
US9632572B2 (en) 2013-10-03 2017-04-25 Leap Motion, Inc. Enhanced field of view to augment three-dimensional (3D) sensory space for free-space gesture interpretation
US9996638B1 (en) 2013-10-31 2018-06-12 Leap Motion, Inc. Predictive information for free space gesture control and communication
KR101534745B1 (ko) * 2013-12-31 2015-07-07 현대자동차 주식회사 제스처 인식 장치
US10845884B2 (en) * 2014-05-13 2020-11-24 Lenovo (Singapore) Pte. Ltd. Detecting inadvertent gesture controls
US9977505B2 (en) * 2014-06-06 2018-05-22 International Business Machines Corporation Controlling inadvertent inputs to a mobile device
JP2016038889A (ja) 2014-08-08 2016-03-22 リープ モーション, インコーポレーテッドLeap Motion, Inc. モーション感知を伴う拡張現実
US9740924B1 (en) * 2014-09-26 2017-08-22 Amazon Technologies, Inc. Feature-based pose detection
EP3202623B1 (en) * 2014-10-03 2023-06-28 Kyocera Corporation Vehicle and steering unit
DE102014224898A1 (de) * 2014-12-04 2016-06-09 Robert Bosch Gmbh Verfahren zum Betreiben einer Eingabevorrichtung, Eingabevorrichtung
JP6617974B2 (ja) * 2014-12-17 2019-12-11 コニカミノルタ株式会社 電子機器、電子機器の制御方法及びその制御プログラム
US10613637B2 (en) * 2015-01-28 2020-04-07 Medtronic, Inc. Systems and methods for mitigating gesture input error
US11347316B2 (en) * 2015-01-28 2022-05-31 Medtronic, Inc. Systems and methods for mitigating gesture input error
JP6426025B2 (ja) * 2015-02-20 2018-11-21 クラリオン株式会社 情報処理装置
US9939908B2 (en) * 2015-09-28 2018-04-10 Paypal, Inc. Multi-device authentication
EP3168711A1 (en) * 2015-11-11 2017-05-17 ams AG Method, optical sensor arrangement and computer program product for passive optical motion detection
US10254845B2 (en) 2016-01-05 2019-04-09 Intel Corporation Hand gesture recognition for cursor control
US10268275B2 (en) 2016-08-03 2019-04-23 Ultrahaptics Ip Ltd Three-dimensional perceptions in haptic systems
EP3324270A1 (en) * 2016-11-16 2018-05-23 Thomson Licensing Selection of an object in an augmented reality environment
KR20180070086A (ko) * 2016-12-16 2018-06-26 현대자동차주식회사 차량, 및 그 제어방법
US10354129B2 (en) * 2017-01-03 2019-07-16 Intel Corporation Hand gesture recognition for virtual reality and augmented reality devices
US10838505B2 (en) * 2017-08-25 2020-11-17 Qualcomm Incorporated System and method for gesture recognition
EP3454177B1 (en) * 2017-09-11 2020-06-10 Barco N.V. Method and system for efficient gesture control of equipment
US12001614B2 (en) 2019-05-07 2024-06-04 Google Llc Confidence-based application-specific user interactions
US11429192B2 (en) * 2018-06-05 2022-08-30 Google Llc Confidence-based application-specific user interactions
US20200012350A1 (en) * 2018-07-08 2020-01-09 Youspace, Inc. Systems and methods for refined gesture recognition
CN109840478B (zh) * 2019-01-04 2021-07-02 广东智媒云图科技股份有限公司 一种动作评估方法、装置、移动终端和可读存储介质
CN110297545B (zh) * 2019-07-01 2021-02-05 京东方科技集团股份有限公司 手势控制方法、手势控制装置和***、以及存储介质
EP3851939A1 (en) * 2020-01-14 2021-07-21 Apple Inc. Positioning a user-controlled spatial selector based on extremity tracking information and eye tracking information
EP4086731B1 (en) * 2020-06-28 2024-08-28 Huawei Technologies Co., Ltd. Interaction method and electronic device
US20220229524A1 (en) * 2021-01-20 2022-07-21 Apple Inc. Methods for interacting with objects in an environment
US20220283644A1 (en) * 2021-03-04 2022-09-08 Honda Motor Co., Ltd. Device and method for gesture based application control
US11995246B2 (en) * 2022-10-14 2024-05-28 Fortemedia, Inc. Method for touchless gesture recognition, and apparatuses using the same

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2244166A2 (en) * 2009-04-23 2010-10-27 Hitachi Consumer Electronics Co., Ltd. Input device using camera-based tracking of hand-gestures

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5360971A (en) 1992-03-31 1994-11-01 The Research Foundation State University Of New York Apparatus and method for eye tracking interface
US7180500B2 (en) 2004-03-23 2007-02-20 Fujitsu Limited User definable gestures for motion controlled handheld devices
US20070266345A1 (en) * 2006-05-15 2007-11-15 Eastman Kodak Company Method for driving display with reduced aging
WO2009042579A1 (en) 2007-09-24 2009-04-02 Gesturetek, Inc. Enhanced interface for voice and video communications
US8933876B2 (en) 2010-12-13 2015-01-13 Apple Inc. Three dimensional user interface session control
US9772689B2 (en) 2008-03-04 2017-09-26 Qualcomm Incorporated Enhanced gesture-based image manipulation
US20110102570A1 (en) 2008-04-14 2011-05-05 Saar Wilf Vision based pointing device emulation
US8146020B2 (en) 2008-07-24 2012-03-27 Qualcomm Incorporated Enhanced detection of circular engagement gesture
KR100971501B1 (ko) * 2008-10-24 2010-07-21 주식회사 애트랩 접촉센서 장치
US8619029B2 (en) * 2009-05-22 2013-12-31 Motorola Mobility Llc Electronic device with sensing assembly and method for interpreting consecutive gestures
KR101564222B1 (ko) * 2009-05-26 2015-11-06 삼성전자주식회사 휴대단말의 잠금 모드 해제 방법 및 장치
TW201112074A (en) * 2009-09-30 2011-04-01 Higgstec Inc Touch gesture detecting method of a touch panel
WO2011066343A2 (en) 2009-11-24 2011-06-03 Next Holdings Limited Methods and apparatus for gesture recognition mode control
CN102906682B (zh) * 2010-04-23 2016-10-26 谷歌技术控股有限责任公司 使用触摸检测表面的电子设备和方法
JP2012003690A (ja) * 2010-06-21 2012-01-05 Toyota Infotechnology Center Co Ltd ユーザインタフェース装置
US9104306B2 (en) * 2010-10-29 2015-08-11 Avago Technologies General Ip (Singapore) Pte. Ltd. Translation of directional input to gesture
KR20120051212A (ko) * 2010-11-12 2012-05-22 엘지전자 주식회사 멀티미디어 장치의 사용자 제스쳐 인식 방법 및 그에 따른 멀티미디어 장치
US8797283B2 (en) * 2010-11-22 2014-08-05 Sony Computer Entertainment America Llc Method and apparatus for performing user-defined macros
US20120169594A1 (en) * 2010-12-30 2012-07-05 Motorola-Mobility, Inc. Electronic device and method for backlight control
US8797288B2 (en) * 2011-03-07 2014-08-05 Lester F. Ludwig Human user interfaces utilizing interruption of the execution of a first recognized gesture with the execution of a recognized second gesture
TW201224849A (en) * 2011-03-09 2012-06-16 Acer Inc Mobile devices and methods for controlling mobile devices
US9134899B2 (en) * 2011-03-14 2015-09-15 Microsoft Technology Licensing, Llc Touch gesture indicating a scroll on a touch-sensitive display in a single direction
US9285950B2 (en) * 2011-03-30 2016-03-15 Google Inc. Hover-over gesturing on mobile devices
US20130104089A1 (en) * 2011-10-20 2013-04-25 Fuji Xerox Co., Ltd. Gesture-based methods for interacting with instant messaging and event-based communication applications

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2244166A2 (en) * 2009-04-23 2010-10-27 Hitachi Consumer Electronics Co., Ltd. Input device using camera-based tracking of hand-gestures

Also Published As

Publication number Publication date
EP2839357B1 (en) 2019-09-04
HUE047064T2 (hu) 2020-04-28
KR20150002776A (ko) 2015-01-07
US9448635B2 (en) 2016-09-20
US20130271397A1 (en) 2013-10-17
KR102230630B1 (ko) 2021-03-19
EP2839357A1 (en) 2015-02-25
CN104254817A (zh) 2014-12-31
ES2759786T3 (es) 2020-05-12
WO2013158366A1 (en) 2013-10-24

Similar Documents

Publication Publication Date Title
CN104254817B (zh) 快速手势重新约定
US9927881B2 (en) Hand tracker for device with display
CN104246661B (zh) 使用手势与装置交互
US10019074B2 (en) Touchless input
Seo et al. Direct hand touchable interactions in augmented reality environments for natural and intuitive user experiences
AU2010366331B2 (en) User interface, apparatus and method for gesture recognition
US20160092062A1 (en) Input support apparatus, method of input support, and computer program
JP6771996B2 (ja) ユーザーインターフェースのリアルタイムインタラクティブ操作のためのシステム及び方法
JP2015520884A5 (zh)
CN104102336A (zh) 提供非接触交互的便携式设备和方法
KR20130105725A (ko) 콘텐츠의 양 손 제어에 기반한 컴퓨터 비전
CN108027663B (zh) 将移动设备与人员跟踪组合以用于大型显示器交互
US20170124762A1 (en) Virtual reality method and system for text manipulation
KR20150133585A (ko) 3차원 영상의 단면 탐색 시스템 및 방법
US9377866B1 (en) Depth-based position mapping
Zhang et al. A novel human-3DTV interaction system based on free hand gestures and a touch-based virtual interface
TWI486815B (zh) 顯示設備及其控制系統和方法
KR20150112198A (ko) 뎁스 카메라를 이용한 다중 사용자 멀티 터치 인터페이스 장치 및 방법
CN103984499A (zh) 一种动作指令控制方法及电子设备
JP2019177001A (ja) ゲームプログラム、方法、および情報処理装置
JP2017059125A (ja) 情報処理装置、その制御方法、及びプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant