CN103890696A - 经认证的手势辨识 - Google Patents

经认证的手势辨识 Download PDF

Info

Publication number
CN103890696A
CN103890696A CN201280050517.0A CN201280050517A CN103890696A CN 103890696 A CN103890696 A CN 103890696A CN 201280050517 A CN201280050517 A CN 201280050517A CN 103890696 A CN103890696 A CN 103890696A
Authority
CN
China
Prior art keywords
gesture
user
order
identity
carried out
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201280050517.0A
Other languages
English (en)
Other versions
CN103890696B (zh
Inventor
戈文达拉扬·克里希纳穆尔蒂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN103890696A publication Critical patent/CN103890696A/zh
Application granted granted Critical
Publication of CN103890696B publication Critical patent/CN103890696B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304Detection arrangements using opto-electronic means

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephone Function (AREA)
  • Multimedia (AREA)
  • Collating Specific Patterns (AREA)

Abstract

本发明呈现用于执行经认证的手势辨识的方法、设备、***及计算机可读媒体。根据一个或一个以上方面,可检测由用户执行的手势。可基于与所述所检测的手势实质上同时俘获的传感器输入来确定所述用户的身份。接着,可基于所述用户的所述身份来确定所述所检测的手势对应于多个命令中的至少一个命令。随后,可执行所述至少一个命令。在一些布置中,所述手势在由第一用户执行时可对应于第一命令,且同一手势在由不同于所述第一用户的第二用户执行时可对应于不同于所述第一命令的第二命令。

Description

经认证的手势辨识
相关申请案的交叉参考
本专利申请案主张2011年10月12日申请且标题为“经认证的手势辨识(Authenticated Gesture Recognition)”的第61/546,531号美国临时专利申请案的权利,就各方面而言,其全文以引用的方式并入本文中。
背景技术
本发明的方面涉及计算技术。特定来说,本发明的方面涉及移动计算装置技术,例如执行手势辨识的***、方法、设备及计算机可读媒体。
例如智能手机、平板计算机、个人数字助理(PDA)及其它移动装置等计算装置逐渐包含触摸屏、加速计、相机、近距传感器、麦克风及/或可允许这些装置俘获运动及/或其它感测条件作为用户输入形式的其它传感器。例如,在一些装置中,可将特定移动及/或事件辨识为(例如)对应于特定命令的手势。举例来说,装置可将例如左轻扫(例如,其中用户横跨装置滑动手指到左侧)等一个手势辨识为对应于“前一页”命令,而装置可将例如摇动(例如,其中用户摇动装置)等另一手势辨识为对应于“撤销”命令。在此实例中,用户因此可通过执行对应手势而致使装置执行这些命令。本发明的方面提供执行手势辨识的更方便、直观及功能性方式。
发明内容
呈现用于执行经认证的手势辨识的***、方法、设备及计算机可读媒体。虽然一些当前计算***可实施手势辨识(例如,通过检测由用户执行的一个或一个以上手势,及响应于所述检测而执行一个或一个以上动作),但这些当前***可不允许用户定制响应于用户执行手势所基于的特定手势而执行哪一动作或哪些动作。此外,这些当前***可不允许实时地识别用户(例如,因为手势是由用户执行及/或由计算装置检测),或不允许多个用户同时在单个装置上执行手势及/或与单个装置交互。
然而,如下文所论述,经认证的手势辨识可实施于计算装置中,例如手持式装置、平板计算机、智能手机或由不同用户共享的其它移动装置,用户可希望个别地定制响应于各种输入手势而执行的动作,所述输入手势可包含基于触摸及/或其它类型的装置检测用户输入(例如,使用一个或一个以上相机、麦克风、近距传感器、陀螺仪、加速计、压力传感器、握持传感器、触摸屏等检测的用户输入)。所述手势辨识可被视为“经认证的”,因为装置可在确定应响应于所检测的手势而执行哪一命令之前确定用户的身份及/或以其它方式认证用户。另外,确定应执行哪一命令可基于用户的所确定的身份,这是因为特定手势可“超负荷”或针对不同用户而定制以对应于不同命令。此外,可实时地确定执行特定手势的用户的身份(例如,使用在执行及/或检测手势时由装置实质上同时俘获的传感器输入),使得用户可不需要在与装置交互之前“登录”到所述装置,及/或使得多个用户可能够同时与单个装置交互。
根据本发明的一个或一个以上方面,可检测由用户执行的手势。随后,可基于与所检测的手势实质上同时俘获的传感器输入来确定用户的身份。其后,可基于用户的身份来确定所检测的手势对应于多个命令中的至少一个命令。接着可执行所述至少一个命令。
另外,如上文所注明,不同用户可设定指定相同手势应对应于不同动作的偏好。因此,在一个额外实施例中,所检测的手势(例如,左轻扫)当由第一用户执行时可对应于第一命令(例如,下一页命令),且所检测的同一手势(例如,左轻扫)当由不同于第一用户的第二用户执行时可对应于不同于第一命令的第二命令(例如,前一页命令)。所述实施例可在单个装置正被多人(例如,不同的家庭成员或在工作场所的不同员工)使用时为有益的。举例来说,平板计算机或其它移动装置可由医院或其它保健机构中的不同医生使用。
其它实施例可允许用户执行装置的经认证的训练,其中装置可经编程以响应于检测到不同手势而执行不同动作。举例来说,在这些实施例中,在检测到手势之前,可认证用户的身份(例如,经由用户登录提示,使用来自例如相机等一个或一个以上传感器的输入等等)。一旦已认证用户的身份,便可接收对应于手势的第一用户输入,及可接收对应于特定命令的第二用户输入。随后,用户的手势及身份可与特定命令相关联(例如,通过更新手势图或存储手势信息的其它数据表或数据库中的信息)。在一些实施例中,手势可用以认证用户。在认证之后,可将第二检测到的手势感测为来自用户的命令。在另一实施例中,手势可既唯一地与用户相关联,又唯一地与命令相关联。因此,手势可不仅用以认证用户,而且同时用以提供命令。
在又其它实施例中,手势辨识的技术性细节可基于用户的身份而变化。举例来说,不同传感器及/或传感器组合可用于检测来自不同用户的手势输入。换句话说,在至少一个实施例中,在检测到手势之前,可基于用户的身份来确定多个传感器中的一个或一个以上特定传感器将用于检测一个或一个以上手势。在此实施例的至少一个变化中,一个或一个以上特定传感器可由用户指定(例如,第一用户可指定仅相机传感器将用于检测来自第一用户的手势输入,而第二用户可指定相机传感器及加速计两者将用于检测来自第二用户的手势输入)。在一些实施例中,运行于计算装置上的手势检测引擎可针对多个用户不同地配置。举例来说,当检测到摇镜头运动时,摇镜头的速度的阈值及/或摇镜头的距离的阈值可针对每一用户不同地定义。因此,不仅手势到功能或命令的映射对于多个用户中的每一者为唯一的,而且对于每一用户检测手势的方式可变化。此外,与一个用户相关联的手势集合可不同于与第二用户相关联的手势集合。
在又其它实施例中,响应于特定手势而执行的动作可不仅取决于执行手势的用户的身份,而且取决于装置上当前执行及/或当前存取的应用程序(例如,将接收手势作为输入及/或响应于手势而执行某一动作的软件应用程序)。举例来说,“右摇”手势在第一应用程序(例如,字处理应用程序)中可对应于第一命令(例如,擦除命令),且同一“右摇”手势在第二应用程序(例如,赛车视频游戏)中可对应于第二命令(例如,加速命令)。
在又其它实施例中,响应于特定手势而执行的动作可包含打开特定应用程序及接着执行新打开的应用程序内的特定命令两者。举例来说,可在显示操作***的“主”或菜单屏幕时检测所述手势,且在额外或替代布置中,可在当前执行及/或主动地显示另一应用程序(例如,不同于将打开的应用程序)时检测所述手势。举例来说,在由计算装置显示主屏幕时,用户可执行(及装置可检测)特定手势,例如用户在装置触摸屏上绘制信封的轮廓,及响应于检测到所述手势,装置可既打开及/或显示电子邮件应用程序,又进一步打开及/或显示电子邮件应用程序内的用户接口,用户可经由所述用户接口而撰写新的电子邮件消息。作为另一实例,在由计算装置显示电子邮件应用程序时,用户可执行(及装置可检测)另一手势,例如用户在装置触摸屏上绘制特定数字的轮廓,及响应于检测到所述手势,装置可打开及/或转变成显示计算器应用程序。如这些实例中所说明,一些手势可横跨不同应用程序来辨识及/或可映射到应用程序无关的命令。另外或替代性地,一些手势可映射到多个动作,以使得响应于检测到所述手势而执行两个或两个以上命令。
在又其它实施例中,一个装置(例如,智能手机)上的用户特定手势偏好设定可被传送到另一单独装置(例如,平板计算机)。在这些实施例中,确定所检测的手势对应于特定命令可不仅基于用户的身份,而且基于从另一装置(用户原先设定与手势有关的偏好及/或以其它方式创建手势映射数据的装置)接收的手势映射数据。手势映射数据因此可直接或经由通信网络及/或中间服务器从一个用户装置发射到另一用户装置。在一个实施例中,手势映射数据存储于服务器上,且在用户装置确定手势的含义时被存取,或在认证用户时从服务器下载用于用户的手势映射数据的库。在一些方面中,手势映射数据在本地存储于用户装置上。在所述配置中,手势数据可不仅由用户及/或应用程序变化,而且可横跨装置而变化。
在一个实施例中,装置可检测实质上同时来自多个用户的手势。举例来说,两个用户可使用单个装置玩视频游戏,其中一个用户通过触摸装置的显示器的前一半来控制游戏,且另一用户通过触摸显示器的后一半来控制游戏。可检测用户中的每一者的不同手势,及/或对于每一用户,相同检测到的手势可与不同命令相关联。在一个实施例中,来自多个用户中的每一者的手势可由一或多个相机检测,且每一用户的手势可用以基于相应用户的身份确定命令。
附图说明
通过实例来说明本发明的方面。在附图中,相似参考数字指示类似元件,且:
图1说明可实施本发明的一个或一个以上方面的实例装置。
图2说明根据本发明的一个或一个以上说明性方面的执行经认证的手势辨识的实例方法。
图3A说明根据本发明的一个或一个以上说明性方面的用户可如何执行手势及装置可如何检测手势的实例。
图3B说明根据本发明的一个或一个以上说明性方面的用户可如何执行手势及装置可如何检测手势的另一实例。
图4说明根据本发明的一个或一个以上说明性方面的多个用户可如何执行手势及装置可如何检测手势及识别用户的实例。
图5A及5B说明根据本发明的一个或一个以上说明性方面的多个用户可如何执行手势及装置可如何检测手势及识别用户的另一实例。
图6说明可实施本发明的一个或一个以上方面的实例计算***。
具体实施方式
若干说明性实施例现将参看形成其部分的附图来描述。虽然下文描述可实施本发明的一个或一个以上方面的特定实施例,但可使用其它实施例及可作出各种修改,而不脱离本发明的范围或所附权利要求书的精神。
图1说明可实施本发明的一个或一个以上方面的实例装置。举例来说,计算装置100可为智能手机、平板计算机、个人数字助理或配备有允许计算装置100俘获运动及/或其它感测到的条件作为用户输入形式的一个或一个以上传感器的其它移动装置。举例来说,计算装置100可配备有、通信耦合到及/或以其它方式包含一个或一个以上相机、麦克风、近距传感器、陀螺仪、加速计、压力传感器、握持传感器、触摸屏、电流或电容传感器及/或其它传感器。除了包含一个或一个以上传感器之外,计算装置100还可包含一个或一个以上处理器、存储器单元及/或其它硬件组件,如下文更详细所描述。
在一个或一个以上布置中,计算装置100可单独或组合地使用这些传感器中的任一者及/或全部,以辨识由装置的一个或一个以上用户所执行的手势。举例来说,计算装置100可使用一个或一个以上相机来俘获由用户所执行的手及/或臂移动(例如挥手或轻扫运动),以及其它可能的移动。另外,例如由用户执行的全身移动(例如,行走、跳舞等)等更复杂及/或大规模移动可同样由一个或一个以上相机(及/或其它传感器)俘获,且随后由例如计算装置100辨识为手势。在又一实例中,计算装置100可使用一个或一个以上触摸屏俘获由用户提供的基于触摸的用户输入(例如,捏、轻扫及扭转),以及其它可能移动。虽然此处将可单独地被视为手势及/或可与其它移动或动作组合以形成更复杂手势的这些样本移动描述为实例,但任何其它种类的运动、移动、动作或其它传感器俘获的用户输入可同样被接收为手势输入及/或由实施本发明的一个或一个以上方面的计算装置(例如,计算装置100)辨识为手势。
举例来说,在一些布置中,例如深度相机等相机可用以基于用户的手势辨识或手势改变而控制计算机或集线器。不同于可能遭受有害的指纹模糊效果的一些触摸屏***,基于相机的手势输入可允许基于用户的自然身体移动或姿势而清楚地显示或以其它方式输出相片、视频或其它图像。考虑到这一优势,可辨识允许用户检视、摇镜头(即,移动)、测定大小、旋转及对图像对象执行其它操纵的手势。
在一些实施例中可实施为飞行时间相机的深度相机可包含红外发射源及传感器。深度相机可产生红外光脉冲,且随后测量光行进到对象且返回到传感器所花费的时间。可基于行进时间计算距离。可额外地或替代地使用其它深度相机(例如,立体相机)。在一些实施例中,使用仅俘获二维图像的相机,或除了相机之外还使用传感器。在一些实施例中,使用光场相机。
如本文中所使用,“手势”意欲指用人体的部分进行的非语言交际的形式,且与语言交际(例如,话语)相对照。举例来说,手势可由第一位置、姿势或表情与第二姿势、位置或表情之间的移动、改变或转变定义。用于日常谈话中的常见手势包含例如,“兔耳”手势、鞠躬手势、屈膝礼、颊吻、手指或手运动、跪拜、头轻摇或移动、举手击掌、点头、愁容、举起拳头、敬礼、翘拇指运动、捏手势、手或身体扭曲手势或用指头指的手势。手势可使用相机(例如,通过分析用户的图像),使用倾斜传感器(例如,通过检测用户正抓握或倾斜装置的角度)或通过任何其它方法来检测。
身体部位可通过改变其位置(即,挥舞运动)打个手势(或“做手势”),或身体部位可在不改变其位置的情况下做手势(即,通过打个紧握拳头手势)。在一些布置中,手及臂手势可用以经由相机输入使对功能性的控制生效,而在其它布置中,还可使用其它类型的手势。另外或替代性地,可在打及/或检测一个或一个以上手势的过程中移动手及/或其它身体部位(例如,臂、头、躯干、腿、脚等)。举例来说,一些手势可通过移动一个或一个以上手来执行,而其它手势可通过与一个或一个以上臂、一个或一个以上腿等协同地移动一个或一个以上手来执行。
在一个或一个以上实例使用情境中,如计算装置100的装置可由多个用户使用及/或在多个用户之间共享。举例来说,计算装置100可为在家庭成员(例如,父亲、母亲、儿子及女儿)之间共享的平板计算机。每一用户可出于不同目的而使用装置,且每一用户可期望装置对特定输入手势作出不同响应,以满足其个别口味、***板计算机阅读电子书,且她可能偏好某一手势(例如,左轻扫手势)对应于特定命令(例如,下一页命令,其可前进到所显示的内容(例如,所显示的电子书)中的下一页)。然而,此实例中的另一用户(例如,儿子)可使用平板计算机浏览因特网网站,且他可偏好同一手势(即,左轻扫手势)对应于不同于他母亲的命令(例如,上一页命令,其可返回到所显示的内容(例如,所显示的因特网网站)中的前一页)。
在常规手势辨识***中,此实例中的母亲及儿子可能经历很大的挫败感,因为当装置经配置以满足其中的一者的偏好时,装置可不在例如未经重新配置的情况下根据另一位的偏好而起作用。然而,通过执行经认证的手势辨识,如下文参考实例方法所描述,在此实例中在家庭成员之间共享的计算装置可经配置以根据他或她的自身偏好来响应于每一用户。
虽然上文实例描述了本发明的方面可如何与在家庭成员间共享计算装置的情境相关,但存在本文中所描述的技术的许多其它潜在应用程序。举例来说,类似情境可在医生、护士及医院中的其它工作者;零售商店或仓库处的工作人员;公司员工及许多其它情境间共享能够进行手势辨识的装置时出现。举例来说,对于不同用户而言可能需要使用相应手势来控制游戏。在这些情境中的任一者及/或全部中,如下文所描述,执行经认证的手势辨识可允许装置的每一个别用户定制特定装置如何响应于由个别用户所提供的手势输入。
图2说明根据本发明的一个或一个以上说明性方面的执行经认证的手势辨识的实例方法。根据一个或一个以上方面,本文中所描述的方法及/或方法步骤中的任一者及/或全部可由计算装置实施及/或实施于计算装置中,例如计算装置100及/或例如下文更详细所描述的计算机***。在一个实施例中,下文参看图2所描述的方法步骤中的一者或一者以上由装置100的处理器实施。另外或替代性地,本文中所描述的方法及/或方法步骤中的任一者及/或全部可实施于计算机可读指令中,例如存储于计算机可读媒体上的计算机可读指令。
在步骤201中,可初始化例如能够将一个或一个以上手势辨识为用户输入的计算装置(例如,计算装置100)等计算装置,及/或可加载一个或一个以上设置。举例来说,当计算装置第一次通电时,装置(与例如存储及/或执行于其上的软件联合)可加载一个或一个以上设置,例如与手势有关的用户偏好。在至少一个布置中,这些用户偏好可包含手势映射信息(例如,在一些情况下可被称作手势图的数据表),其中存储与特定用户识别符及特定命令相关联的特定手势。如上文所注明,不同用户可指定响应于同一手势的检测执行不同命令,且这可反映在对应手势图中。下表(下文标示为“表A”)说明所述手势图的实例:
表A
手势 用户 命令
左轻扫 J_Doe_123 下一页
左轻扫 M_Doe_5813 上一页
摇动 J_Doe_123 撤销
虽然上文的实例表包含每一手势的名称,但在一些布置中,替代或除每一手势的名称之外,所述表(例如,手势表)可包含关于每一手势的更详细信息。举例来说,在一些布置中,手势图可包含关于多个手势的信息,其中每一手势被定义为运动模式及/或按特定次序由一个或一个以上特定传感器接收的其它用户输入。替代及/或除可由上文的表所表示的实例手势图中所示的信息之外,可同样包含其它信息。
举例来说,在一些布置中,手势映射信息可不仅将由特定用户执行的特定手势与特定命令相关,而且可将由特定应用程序内(例如,软件程序)的特定用户执行的特定手势与特定命令相关。换句话说,在一些布置中,不同用户(或可能甚至同一用户)可指定当在不同应用程序中执行同一手势时应响应于同一手势执行不同命令。举例来说,用户可指定(且对应的手势映射信息可反映)“右摇”手势当在第一应用程序(例如,字处理应用程序)中执行时对应于第一命令(例如,擦除命令),且同一“右摇”手势当在第二应用程序(例如,赛车视频游戏)中执行时对应于第二命令(例如,加速命令)。此关系还可反映于手势图中,例如由上文的表所表示的实例手势图,在所述布置中,所述手势图可包含其中指定应用程序名称或其它识别符的额外列。
在至少一个布置中,例如上文的表中所说明的实例手势图的手势映射信息可由用户编程及/或创建于一个装置上(例如,用户的智能手机),且被传送到另一单独装置(例如,用户的平板计算机)。举例来说,如果已设定与手势辨识有关的各种偏好及/或已在智能手机上创建手势映射信息,那么用户可保存(及智能手机及/或执行于其上的软件可产生)其中可存储所述偏好及/或手势映射信息的数据文件(例如,XML文件)。随后,在此实例中,用户可在两个装置之间发送、发射及/或以其它方式共享数据文件,以使得在另一装置上加载存储有用户的手势辨识偏好及/或手势映射信息的数据文件。
在至少一个额外或替代布置中,例如上文的表中所说明的实例手势图等手势映射信息可存储于服务器上,且在装置确定手势的含义时(例如,当装置确定应响应于与执行手势的特定用户相关的手势的检测而执行何种动作或命令时)被存取。举例来说,所述手势映射信息可存储于因特网服务器上,及/或可与用户所创建及/或维护的简档及/或为用户创建及/或维护的简档相关联,以便使得用户能够例如跨越不同装置共享手势映射信息。
在可选步骤202中,可认证用户。举例来说,在可选步骤202中,计算装置可通过提示用户键入用户识别符及/或密码来认证用户,这是因为这可允许装置确定多个用户中的哪一用户当前在使用装置。在一些布置中,计算装置可基于经由一个或一个以上传感器由装置接收的输入认证用户。换句话说,在一个或一个以上布置中,计算装置可基于传感器输入(例如,从一个或一个以上传感器(例如,用以检测及/或以其它方式辨识手势的传感器,如相机、麦克风、近距传感器、陀螺仪、加速计、压力传感器、握持传感器、触摸屏等)接收的数据)认证及/或以其它方式识别用户,所述传感器输入实质上与手势输入(例如,从对应于特定手势的一个或一个以上传感器接收的输入)同时被俘获。举例来说,计算装置可基于如也可用于辨识手势的一个或一个以上传感器(例如,触摸屏、相机及/或握持传感器)所接收的用户指纹来识别用户。在这些布置中,用户认证因此可与手势辨识并行地发生。举例来说,当及/或在用户轻扫装置上的触摸屏(例如,及借此执行轻扫手势)时可读取用户指纹。在此实例中,用户指纹可由计算装置用以识别用户,且用户指纹将为与手势输入实质上同时俘获的传感器输入,其中手势输入对应于自身的轻扫运动。类似地,可与检测包括由用户执行的某一面部表情的手势并行地执行面部辨识功能以识别特定用户。
在另一实例中,声音(例如,心跳、语音等)及/或气味(例如,个体的独特香味)可与手势输入实质上同时由装置俘获及/或检测,且随后可用以认证用户。举例来说,计算装置可配备有经配置以俘获装置附近的声音的一个或一个以上麦克风。在此实例布置中,装置可俘获用户相关联的声音,例如用户心跳及/或语音,同时还接收手势输入,使得装置可基于用户相关联的声音认证用户,且随后可基于用户的经确定/认证身份执行一个或一个以上命令。装置可包含传感器,所述传感器使用另一方法(例如,通过测量用户皮肤上的电信号)来测量或识别心跳。在一些实施例中,超声可用以检测用户的手势。举例来说,用户可抓握发射超声波的装置,且所述装置的移动可由多个麦克风检测。另外或替代性地,计算装置可配备有经配置以俘获装置附近的气味的一个或一个以上传感器。在所述实例布置中,装置可俘获用户相关联的气味,例如香味或臭味,同时还接收手势输入,使得装置可基于用户相关联的气味认证用户,且随后可基于用户的经确定/认证身份执行一个或一个以上命令。
在另一实例中,可经由相机输入来认证用户,同时经由近距传感器检测及/或以其它方式接收由用户执行的手势。举例来说,在计算装置的近距传感器俘获及/或以其它方式检测由用户执行的手势(例如,用户的手正靠近计算装置)的同时,计算装置还可从连接到计算装置的相机接收传感器输入,其中从相机接收的传感器输入包含计算装置可用以确定用户身份及/或以其它方式认证用户的用户的图像。如上文所注明,计算装置接着可基于例如用户的所确定的身份来确定响应于检测到手势将执行何种命令。在其它布置中,计算装置可直到辨识手势之后(例如,在由装置检测到手势之后)方认证用户,且因此,在一个或一个以上布置中,在步骤202中认证用户可为可选的。
在步骤205中,可确定是否已检测到手势。举例来说,在步骤205中,计算装置可确定其是否已接收到输入(例如,经由一个或一个以上传感器,包含例如上文所描述的装置等装置),所述输入可被辨识为及/或以其它方式对应于手势。
如果在步骤205中确定已检测到手势,那么在步骤204中,可确定是否已认证用户。举例来说,在步骤204中,计算装置可确定是否已经认证及/或以其它方式识别用户(例如,在步骤202中),这是因为执行手势的用户的身份可影响到响应于检测到手势而由装置执行哪一命令,如下文所进一步描述。在一些实施例中,在步骤204处的是否已认证用户的确定与步骤205处的手势的检测实质上同时执行,例如当所检测的手势自身或通过手势而接收的输入用以认证用户时。在一些实施例中,在步骤205处的手势的检测之前执行在步骤204处的是否已认证用户的确定。在所述实施例中,用户的身份可用以检测手势。举例来说,可使用可用传感器的子集来检测手势,如下文更详细所论述。此外,手势检测引擎可在步骤203处确定是否已检测到手势。引擎的操作及/或参数可基于已认证的用户来确定。因此,用户认证可不仅确定手势到命令的映射,而且可影响检测手势的方式。在一些实施例中,手势检测引擎存储于装置100上,例如其存储器或处理器中。引擎可包括可用以检测手势及/或基于所检测的手势影响应用程序或功能的操作的指令或数据。举例来说,当用户使用装置100打个手势时,引擎可评估手势及确定手势对应用程序的执行的影响。
如果在步骤204处确定尚未认证用户,那么在步骤205处,可认证用户。在一些布置中,即使先前认证了用户(例如,在步骤202中或在手势辨识循环的先前反复中),仍在步骤204中可确定尚未认证用户以使得执行步骤205的认证。举例来说,在步骤205中,类似于上文在步骤202中可以认证用户的方式,计算装置可认证用户(例如,通过向用户显示提示,所述提示请求用户键入用户识别符及/或密码;通过基于从一个或一个以上传感器接收的输入识别用户,例如通过使用相机数据、触摸数据等辨识用户的脸、指纹、侧影及/或其它可识别特征及/或特性;及/或通过其它方法)。
在至少一个布置中,步骤205的认证可基于与步骤203中的手势的检测一起收集的传感器数据,例如与所检测的手势实质上同时俘获的传感器输入,也如上文所论述。举例来说,在使用装置触摸屏执行特定手势的过程中,当在步骤203中辨识特定手势时,用户还可具有同时提供的基于触摸的输入(例如,用户的指纹),装置另外可在步骤205中使用所述基于触摸的输入来识别用户。举例来说,此功能性可允许由不同用户(例如,均与装置交互同时例如互相玩视频游戏的两个用户)同时键入或执行的手势的辨识。另外,此功能性可允许与同时键入的手势相关地认证所述用户(例如,以便确定哪一用户键入或执行哪一手势)。
如本文中所使用,短语“实质上同时”可用以描述就在手势之前,与手势同时及/或就在手势之后由用户提供及/或由一个或一个以上传感器俘获的用户输入。在许多情况下,这些时间帧可变化或以其它方式取决于手势的持续时间。举例来说,对于在一秒或两秒周期内执行的简单手势,与手势输入实质上同时俘获的传感器输入可包含在手势输入之前半秒开始及在手势输入之后半秒结束的时间周期期间所俘获的传感器输入。作为另一实例,对于在四秒或五秒周期内执行的更复杂手势,与手势输入实质上同时俘获的传感器输入可包含在手势输入之前一秒开始及在手势输入之后一秒结束的时间周期期间所俘获的传感器输入。所属领域的技术人员将了解,上文所描述的实质上同时的传感器输入的实例仅为许多实施例当中的若干实施例的说明。短语“实质上同时”可包含除了上文所论述的时间周期之外的时间周期,例如具有超过上文所列举的持续时间的持续时间的时间周期。
在一个或一个以上额外及/或替代布置中,步骤205的认证可进一步基于与在俘获手势及/或对应于手势的传感器数据中所涉及的连结装置相关联的注册信息。举例来说,在一些情况下,执行图2中所说明的实例方法的计算装置可连结(例如,经由有线或无线数据连接)到一个或一个以上其它装置,所述其它装置可被称作“连结装置”。举例来说,连结装置可为智能手机、平板计算机、膝上型计算机、控制器或其它移动装置。另外或替代性地,每一连结装置可在计算装置注册为由计算装置的多个用户中的一个或一个以上特定用户使用,且特定连结装置的注册信息可指示多个用户中的哪一者被注册为使用特定连结装置。作为实例,在所述布置中,计算装置可为机顶盒或类似电视接收器,且各自拥有智能手机的两个用户可已在机顶盒注册其智能手机,且可通过用其智能手机、在其智能手机上或以其它方式使用其智能手机来执行手势而与机顶盒交互及控制机顶盒。在此实例中,机顶盒可从两个智能手机接收手势输入,且进一步可基于指示两个用户中的哪一者控制或以其它方式与每一智能手机交互的注册信息来认证用户(以确定应响应于手势输入执行何种动作)。在一些情况下,智能手机可将对应于手势输入的原始传感器数据发送到机顶盒以用于处理(例如,使得机顶盒而非个别智能手机中的任一者将确定执行哪一或哪些特定手势),而在其它情况下,智能手机自身可处理原始传感器数据以确定执行哪一或哪些手势,且随后发送执行哪一或哪些手势的指示发送到机顶盒以促进在机顶盒处的一个或一个以上响应性命令的执行。
在步骤206中,可基于经认证的用户的身份来确定待执行的命令。举例来说,在步骤206中,计算装置可执行查找操作以基于先前加载的手势映射信息来确定所检测的手势是否对应于特定用户的特定命令。举例来说,这可涉及交叉参考手势图,例如上文所描述的实例手势图。如果例如计算装置确定所检测的手势对应于特定用户的特定命令,那么计算装置可确定将执行特定命令。在一些布置中,如果计算装置确定特定用户尚未指定响应于所检测的手势将执行的特定命令,那么计算装置可确定应执行手势的默认命令。
在步骤207中,可执行命令。举例来说,在步骤207中,计算装置可执行在步骤206中确定执行的特定命令。
随后,方法可进行到步骤208。如果在步骤203中确定尚未检测到手势,那么步骤208还可作为由图2的实例方法说明的处理循环的部分来执行。在步骤208中,可确定是否已接收用以训练手势辨识功能性的请求。举例来说,在步骤208中,计算装置可确定用户是否已请求编辑手势辨识设置,例如指定手势映射信息的一个或一个以上用户偏好。
如果在步骤208中确定已接收用以训练手势辨识功能性的请求,那么在步骤209中,可进入手势训练模式。举例来说,在步骤209中,计算装置可显示一个或一个以上用户接口,用户可经由所述用户接口键入及/或编辑偏好,所述偏好指定应响应于特定手势的检测执行哪些命令(例如,对于特定用户及/或对于其它用户)。在一些布置中,计算装置还可认证及/或以其它方式识别用户,类似于上文在步骤202及205中可认证用户的方式。通过在步骤209中认证用户,例如,装置可显示及/或允许用户编辑针对特定用户的手势辨识设置,所述特定用户实际上可能在使用装置及/或请求编辑所述设置。
另外或替代性地,在步骤209中由计算装置所显示的用户接口中的一者或一者以上可允许用户编辑(例如)指定哪一或哪些传感器应该用于检测由特定用户输入的手势的偏好。举例来说,用户可指定仅经由触摸屏或相机接收的输入将用于检测由用户执行的手势(及例如将忽略从握持传感器接收的输入)。在另一实例中,用户可指定将在检测手势时考虑从包含于装置中的所有传感器接收的输入。许多其它组合为可能的,且可在需要时由用户指定(例如,经由一个或一个以上用户接口)。
在步骤210中,可接收手势输入。举例来说,在步骤210中,计算装置可经由一个或一个以上传感器接收对应于特定手势的输入。举例来说,用户可执行左轻扫手势,且装置可经由配备的触摸屏及俘获左轻扫手势的配备的相机接收输入。另外或替代性地,已在此实例中接收所述输入,装置可处理所述输入(例如,使用一个或一个以上手势辨识算法)以确定例如经由这些传感器俘获的运动对应于左轻扫手势。
在步骤211中,可接收待映射到手势(例如,对应于所接收的手势输入的手势)的命令的选择。举例来说,在步骤211中,计算装置可提示用户选择应响应于由用户执行的手势(例如,在步骤210中接收为手势输入的手势)而执行的命令(例如,从可用命令列表)。随后,在此实例中,计算装置可经由例如所显示的提示接收用户的命令选择,其中命令将映射到手势(例如,对应于所接收的手势输入的手势)。
随后,在步骤212中,可存储所接收的手势(例如,对应于所接收的手势输入的手势)及用户身份(例如,在步骤209中所认证的用户的身份)。举例来说,在步骤212中,计算装置可更新手势映射信息(例如,存储例如手势图的数据表)以连同用户身份一起存储所接收的手势。
另外,在步骤213中,如果用户希望将所接收的手势映射到特定应用程序内的特定命令,那么可指定特定应用程序,及/或可存储与其有关的信息。举例来说,在步骤213中,计算装置可接收用户输入,所述用户输入选择用于映射到特定应用程序内的选定命令的所接收的手势,且随后,计算装置可更新手势映射信息(例如,存储例如手势图的数据表)以连同所接收的手势及用户身份一起存储关于特定应用程序的信息。
其后,在步骤213中,所接收的手势可映射到选定命令。举例来说,在将所接收手势映射到选定命令的过程中,计算装置可更新手势映射信息(例如,存储例如手势图的数据表)以指定应响应于当由特定用户(例如,在步骤209中在训练模式开始处认证的用户)执行时检测到特定手势(例如,对应于在步骤210中所接收的手势输入的手势)执行选定命令(例如,在步骤211中由用户选择的命令)。另外或替代性地,如果针对手势命令映射指定特定应用程序及/或存储关于特定应用程序的信息(例如,在步骤213中),那么计算装置可更新手势映射信息(例如,存储手势图的数据表)以指定应响应于当由特定用户在存取特定应用程序时执行时检测到特定手势而执行选定命令。
在一些布置中,方法接着可结束。然而,在其它布置中,方法可返回到步骤203,其中可再次确定是否已检测到手势。随后,图2的方法可在循环中继续(例如,作为处理循环,例如当型循环)直到装置断电为止,直到用户停用手势辨识功能性为止,及/或直到循环以其它方式停止或终止为止。
图3A说明根据本发明的一个或一个以上说明性方面的用户可如何执行手势及装置可如何检测手势的实例。在图3A中所说明的实例中,例如,用户可通过如下方式对装置100执行左轻扫手势:将其手指放置于点301处及接着移动其手指使其向左横跨装置100,所述装置又可经由配备的触摸屏检测所述用户输入作为手势。随后,响应于检测到手势,装置100可例如执行上文所描述的方法的其它步骤,例如认证用户,基于用户的身份确定响应于手势执行的命令及/或执行命令。举例来说,在一个或一个以上布置中,装置100可使用与手势实质上同时由装置100俘获的传感器输入(例如,在及/或大约在由装置的触摸屏检测到手势的同时由装置的相机俘获的视频数据)认证(例如,确定身份)已执行及/或正执行手势的用户。此实时用户认证接着可由装置100用于确定应响应于手势的检测而执行哪一命令(如果有的话),如上文所描述。
作为另一实例,在一些布置中,装置100可包含触摸屏及麦克风,但可不包含相机。在所述布置中,装置100可使用在装置的触摸屏检测到手势的同时及/或大约同时由装置的麦克风俘获的音频数据来认证(例如,确定)执行过及/或正执行手势的用户的身份。所述音频数据可包含用户的心跳及/或语音,且装置100可经配置以分析这些类型的音频数据及基于所述数据来识别用户。举例来说,两个用户可正使用装置100玩视频游戏,且就在执行对应于视频游戏内的特定移动的手势之前,用户可说个短语(例如,“MyMove”),以使得装置100可与手势实质上同时俘获短语,以便认证执行手势的用户,且进行用户所意欲的移动。
在一些实施例中,装置100可经配置以基于来自安置于装置上的压力传感器的输入辨识某些用户的握持。因此,装置100可能够与基于用户正抓握装置100的方式识别用户实质上同时检测在触摸屏上执行的手势。
图3B说明根据本发明的一个或一个以上说明性方面的用户可如何执行手势及装置可如何检测手势的另一实例。在图3B中所说明的实例中,例如,用户可通过如下方式在装置100上执行向上挥手势:将其手放置于装置100前面的点351处及接着沿着装置100向上移动其手,所述装置又可经由所配备的相机检测所述用户输入作为手势。随后,响应于检测到手势,装置100可再次执行上文所描述的实例方法的一个或一个以上步骤,以例如认证用户及基于用户的身份确定响应于手势执行的命令。举例来说,除了使用配备的相机检测手势之外,装置100还可在检测到手势自身的同时基于从相机接收的图像及/或视频数据确定执行手势的用户的身份。
图4说明根据本发明的一个或一个以上说明性方面的多个用户可如何执行手势及装置可如何检测手势及识别用户的实例。在图4中所说明的实例中,例如,两个用户可对装置100同时执行两个不同手势。特定来说,第一用户可对装置100的触摸屏执行对角线轻扫手势,如由点405所表示,且第二用户可对装置100的触摸屏同时执行水平滑动手势,如由点410所表示。举例来说,计算装置100可正执行视频游戏应用程序,且两个用户可意欲其手势中的每一者以不同方式控制其游戏中人物或化身。为了确定应如何解译手势,装置100因此可基于与所检测的手势(例如,对角线轻扫手势及水平滑动手势)实质上同时俘获的传感器输入认证及/或以其它方式实时地确定两个用户的身份。如上文所论述,此传感器输入可包含从一个或一个以上传感器(例如,一个或一个以上相机、麦克风、近距传感器、陀螺仪、加速计、压力传感器、握持传感器、触摸屏等)接收的数据。因此,在此实例中,装置100可用以下方式确定执行两个手势的用户的身份:通过分析与手势同时俘获的相机数据(例如,基于相机数据确定哪一用户执行哪一手势),通过分析与手势同时由触摸屏俘获的指纹数据(例如,基于指纹数据确定哪一用户执行哪一手势),通过分析与手势同时由麦克风俘获的音频数据(例如,基于可包含特定用户的语音或心跳的音频数据确定哪一用户执行哪一手势),及/或通过分析由装置100俘获及/或以其它方式接收的其它传感器数据。一旦装置100基于此传感器数据识别两个用户,装置100便可确定应响应于手势执行哪一(哪些)命令,且随后可执行这些命令。以此方式,多个用户可同时执行手势及/或以其它方式与单个计算装置交互,且装置可继续在执行手势时实时地认证用户,以便正当不同用户(具有不同手势偏好)与装置同时交互时辨识手势及执行适当命令。
图5A及5B说明根据本发明的一个或一个以上说明性方面的多个用户可如何执行手势及装置可如何检测手势及识别用户的另一实例。在图5A中所说明的实例中,例如,两个用户可同时执行两个不同手势,且***500可根据本发明的各种方面检测及解译手势。
在一些实施例中,***500可包含类似于上文关于装置100所论述的特征的各种特征。举例来说,***500可包含相机505及显示屏510。在图5A中所说明的实例中,***500可充当“智能电视”,其经配置以从各种源(例如,广播电视信号、一个或一个以上网络连接计算机及/或存储装置、因特网等)接收及显示内容。另外或替代性地,***500可经配置以检测及响应于由***500的不同用户执行的各种手势。
举例来说,***500的第一用户515可通过将他或她的臂520放置于特定位置中及/或通过以特定方式移动他或她的臂520来执行用于由***500检测的第一手势。在实质上同时,***500的第二用户525可通过将他或她的臂530放置于特定位置中及/或通过以特定方式移动他或她的臂530来执行用于由***500检测的第二手势。如图5A中所说明,由第一用户515执行的第一手势可不同于由第二用户525执行的第二手势。举例来说,第一用户515的臂、手及/或手指位置及/或移动可不同于第二用户525的臂、手及/或手指位置及/或移动。另外或替代性地,可将用户手势解译为对应于不同命令。举例来说,***500可在显示屏510上显示及/或以其它方式提供视频游戏,且用户可通过对***500执行手势与视频游戏交互及/或以其它方式控制视频游戏。所属领域的技术人员将了解,第一手势无需不同于第二手势。此外,用户的手势无需被解译为对应于不同命令。然而,对应于第一手势及第二手势的命令可分别基于第一用户515及第二用户525的身份来确定。
图5B说明在图5A中所描绘的实例场景中的用户的另一视图。如图5B中所见,第一用户515的臂可在不同于第二用户525的臂的位置中。取决于***500的配置方式,由第一用户515执行的第一手势及由第二用户525执行的第二手势可由***500解译为对应于相同命令或不同命令。
再次参看图5A,在所说明实例中,在用户正执行手势时,***500可俘获用户的图像的序列(例如,使用相机505),且可分析图像序列以辨识执行的手势,及确定执行手势的用户的身份。举例来说,在分析用相机505俘获的图像序列的过程中,***500可检测所俘获图像中的第一手势及第二手势。随后,***500可确定哪一用户正执行哪一手势。举例来说,***500可使用面部辨识技术、身体辨识技术、指纹辨识技术及/或其它方法来识别执行所检测的手势的用户。作为此处理的结果,***500可确定第一手势正由第一用户515执行或已由第一用户515执行。另外,***500可确定第二手势正由第二用户525执行或已由第二用户525执行。
随后,在此实例中,***500可响应于所检测的手势中的每一者执行各种动作。举例来说,在用户正与由***500提供的视频游戏交互的情况下,***500可将所检测的手势解译为将在视频游戏中执行的各种命令。举例来说,这可包含基于由每一用户执行的手势控制视频游戏内的用户化身。如上文所论述,通过基于与所检测的手势实质上同时俘获的传感器输入(例如,经由相机505俘获的相机输入)认证用户,各种实施例可动态地以不同方式响应于由不同用户提供的类似手势输入,借此增强手势辨识***的可定制性、便利性及易用性。
已描述经认证的手势辨识的多个方面,可实施本发明的各种方面的计算***的实例现将参看图6来描述。根据一个或一个以上方面,如图6中所说明的计算机***可作为计算装置的部分并入,其可实施、执行(perform)及/或执行(execute)本文中所描述的特征、方法及/或方法步骤中的任一者及/或全部。举例来说,计算机***600可表示手持式装置的组件中的一些。手持式装置可为具有输入感测单元(例如,相机及/或显示单元)的任何计算装置。手持式装置的实例包含,但不限于,视频游戏控制台、平板计算机、智能手机及移动装置。在一个实施例中,***600经配置以实施上文所描述的装置100。图6提供计算机***600的一个实施例的示意性说明,所述计算机***可执行如本文中所描述的由各种其它实施例提供的方法,及/或可充当主计算机***、远程网亭/终端、销售点装置、移动装置、机顶盒及/或计算机***。图6只是用以提供各种组件的一般性说明,所述组件中的任一者及/或全部可在适当时被利用。因此,图6广泛地说明可如何以相对分离或相对更集成方式来实施个别***元件。
计算机***600经展示成包括可经由总线605电耦合(或可在适当时以其它方式通信)的硬件元件。硬件元件可包含一个或一个以上处理器610,包含但不限于一个或一个以上通用处理器及/或一个或一个以上专用处理器(例如,数字信号处理芯片、图形加速处理器及/或其类似者);一个或一个以上输入装置615,其可包含但不限于相机、鼠标、键盘及/或其类似者;及一个或一个以上输出装置620,其可包含但不限于显示单元、打印机及/或其类似者。上文描述为用以识别用户或检测用户的手势的传感器中的任一者可实施于输入装置615中。
计算机***600可进一步包含一个或一个以上非暂时性存储装置625(及/或与其通信),所述非暂时性存储装置可包括但不限于本地及/或网络可存取存储装置,及/或可包含但不限于可以编程、闪存可以更新及/或其类似者的磁盘驱动器、驱动器阵列、光学存储装置、固态存储装置(例如,随机存取存储器(“RAM”)及/或只读存储器(“ROM”))。所述存储装置可经配置以实施任何适当数据存储装置,包含但不限于各种文件***、数据库结构及/或其类似者。
计算机***600还可包含通信子***630,所述通信子***可包含但不限于调制解调器、网卡(无线或有线)、红外线通信装置、无线通信装置及/或芯片组(例如,装置、802.11装置、WiFi装置、WiMax装置、蜂窝式通信设施等)及/或其类似者。通信子***630可准许与网络(例如,仅举一个例子,下文所描述的网络)、其它计算机***及/或本文中所描述的任何其它装置交换数据。通信子***630可包含经配置以分别发射或接收手势映射数据的发射器及/或接收器。在许多实施例中,计算机***600将进一步包括非暂时性工作存储器635,所述非暂时性工作存储器可包含RAM或ROM装置,如上文所描述。
计算机***600还可包括经展示成当前位于工作存储器635内的软件元件,包含操作***640、装置驱动程序、可执行库及/或其它代码,例如一个或一个以上应用程序645,所述应用程序可包括由各种实施例提供的计算机程序,及/或可经设计以实施方法,及/或配置由其它实施例提供的***,如本文中所描述。遍及上文说明书描述应用程序及功能性的各种实例。仅通过实例,关于上文所论述的方法所描述(例如,如参看图2所描述)的一个或一个以上程序可实施为可由计算机(及/或计算机内的处理器)执行的代码及/或指令;接着,在一方面中,所述代码及/或指令可用以配置及/或调适通用计算机(或其它装置)以执行根据所描述的方法的一个或一个以上操作。处理器610、存储器635、操作***640及/或应用程序645可包括手势检测引擎,如上文所论述。
这些指令及/或代码的集合可存储于计算机可读存储媒体上,例如上文所描述的存储装置625。在一些状况下,存储媒体可并入于例如计算***600等计算***内。在其它实施例中,存储媒体可与计算***相分离(例如,可移动媒体,例如压缩光盘),及/或设置于安装包中,以使得存储媒体可用以使用存储于其上的指令/代码编程、配置及/或调适通用计算机。这些指令可采取可由计算机***600执行的可执行代码的形式,及/或可采取源及/或可安装代码的形式,所述源及/或可安装代码在编译及/或安装于计算机***600上(例如,使用多种通常可用的编译器、安装程序、压缩/解压实用程序等中的任一者)之后接着采取可执行代码的形式。
实质变化可根据特定要求来进行。举例来说,还可使用经定制的硬件,及/或特定元件可实施于硬件、软件(包含便携式软件,例如小应用程序等)或两者中。此外,可使用到其它计算装置(例如,网络输入/输出装置)的连接。
一些实施例可使用计算机***(例如,计算机***600)来执行根据本发明的方法。举例来说,所描述的方法的程序中的一些或全部可由计算机***600响应于处理器610执行含于工作存储器635中的一个或一个以上指令(其可并入到操作***640及/或其它代码中,例如应用程序645)的一个或一个以上序列而执行。所述指令可从另一计算机可读媒体(例如,存储装置625中的一者或一者以上)读取到工作存储器635中。仅通过实例,含于工作存储器635中的指令序列的执行可致使处理器610执行本文中所描述的方法(例如,参看图2所描述的方法)的一个或一个以上程序。
如本文中所使用,术语“机器可读媒体”及“计算机可读媒体”指参与提供致使机器以特定方式操作的数据的任何媒体。在使用计算机***600实施的实施例中,各种计算机可读媒体可涉及提供指令/代码到处理器610以用于执行,及/或可用以存储及/或载运所述指令/代码(例如,作为信号)。在许多实施方案中,计算机可读媒体为物理及/或有形存储媒体。所述媒体可采取许多形式,包含但不限于非易失性媒体、易失性媒体及发射媒体。非易失性媒体包含例如光盘及/或磁盘,例如存储装置625。易失性媒体包含但不限于动态存储器,例如工作存储器635。发射媒体包含但不限于同轴电缆、铜线及光纤(包含电线,所述电线包括总线605)以及通信子***630的各种组件(及/或通信子***630提供与其它装置的通信的媒体)。因此,发射媒体还可采取波的形式(包含但不限于无线电、声及/或光波,例如在无线电波及红外线数据通信期间产生的波)。
举例来说,物理及/或有形计算机可读媒体的常见形式包含软盘、软磁盘、硬盘、磁带或任何其它磁性媒体、CD-ROM、任何其它光学媒体、穿孔卡片、纸带、具有孔模式的任何其它物理媒体、RAM、PROM、EPROM、FLASH-EPROM、任何其它存储器芯片或匣、如下文中所描述的载波或计算机可读取指令及/或代码的任何其它媒体。
各种形式的计算机可读媒体可涉及将一个或一个以上指令的一个或一个以上序列载运到处理器610以用于执行。仅通过实例,指令最初可载运于远程计算机的磁盘及/或光盘上。远程计算机可将指令加载到其动态存储器中,及将待由计算机***600接收及/或执行的指令作为信号经由发射媒体发送。根据本发明的各种实施例,可呈电磁信号、声信号、光学信号及/或其类似者的形式的这些信号皆为载波的实例,可在所述载波上对指令编码。
通信子***630(及/或其组件)通常将接收信号,且总线605接着可将信号(及/或由信号载运的数据、指令等)载运到工作存储器635,处理器610从所述工作存储器检索及执行指令。由工作存储器635接收的指令可视情况在由处理器610执行之前或之后存储于非暂时性存储装置625上。
上文所论述的方法、***及装置为实例。各种实施例可在适当时省略、替换或添加各种程序或组件。举例来说,在替代配置中,所描述的方法可按不同于所描述的次序的次序执行,及/或可添加、省略及/或组合各种阶段。举例来说,替代首先在图2中在210处接收手势,及其后在211处接收命令的选择,装置100可首先识别命令或操作,且接着提示装置100的用户与所述命令相关联的手势或其它输入。而且,参考某些实施例所描述的特征可组合于各种其它实施例中。实施例的不同方面及元件可以类似方式组合。而且,技术演进且因此许多元件为不将本发明的范围限于所述特定实例的实例。
在描述中给出特定细节以提供对实施例的全面理解。然而,可在无这些特定细节的情况下实践实施例。举例来说,已展示熟知电路、过程、算法、结构及技术而无不必要的细节以便避免混淆实施例。此描述仅提供实例实施例,且不意欲限制本发明的范围、适用性或配置。而是,实施例的先前描述将会将有利地用于实施本发明的实施例的描述提供给所属领域的技术人员。可对元件的功能及布置作出各种改变而不脱离本发明的精神及范围。
而且,将一些实施例描述为经描绘为流程图或框图的过程。尽管各自可将操作描述为顺序过程,但许多操作可并行地或同时来执行。另外,可重新布置操作的次序。过程可具有图中所不包含的额外步骤。此外,方法的实施例可由硬件、软件、固件、中间件、微码、硬件描述语言或其任何组合来实施。当以软件、固件、中间件或微码来实施时,用以执行相关联的任务的程序代码或代码段可存储于计算机可读媒体中,例如存储媒体。处理器可执行相关联的任务。
已描述若干实施例,可使用各种修改、替代构造及等效物而不脱离本发明的精神。举例来说,上文元件可仅为较大***的组件,其中其它规则可优先于或以其它方式修改本发明的应用。而且,可在考虑以上元件之前、期间或之后开始进行数个步骤。因此,以上描述不限制本发明的范围。

Claims (34)

1.一种方法,其包括:
检测由第一用户执行的第一手势;
基于与所述第一手势实质上同时俘获的传感器输入确定所述第一用户的身份;
基于所述第一用户的所述身份确定所述第一手势对应于多个命令中的至少一个命令;及
执行所述至少一个命令。
2.根据权利要求1所述的方法,
其中所述第一手势在由所述第一用户执行时对应于第一命令,及
其中所述第一手势在由不同于所述第一用户的第二用户执行时对应于不同于所述第一命令的第二命令。
3.根据权利要求1所述的方法,其进一步包括:
在检测所述第一手势之前:
认证所述第一用户的所述身份;
接收对应于所述第一手势的第一用户输入;
接收对应于所述至少一个命令的第二用户输入;及
将所述第一手势及所述第一用户的所述身份与所述至少一个命令相关联。
4.根据权利要求1所述的方法,其进一步包括:
在检测到所述第一手势之前,基于所述第一用户的所述身份识别用以检测所述第一用户的手势的多个传感器中的一个或一个以上特定传感器。
5.根据权利要求4所述的方法,其进一步包括从所述第一用户接收指定所述一个或一个以上特定传感器的输入。
6.根据权利要求1所述的方法,其中确定所述第一手势对应于至少一个命令进一步基于正执行的应用程序。
7.根据权利要求6所述的方法,
其中如果正执行第一应用程序,那么所述第一手势对应于第一命令,
其中如果正执行第二应用程序,那么所述第一手势对应于第二命令,及
其中所述第二命令不同于所述第一命令且所述第二应用程序不同于所述第一应用程序。
8.根据权利要求1所述的方法,其中确定所述第一手势对应于至少一个命令进一步基于从单独装置接收的手势映射数据。
9.根据权利要求1所述的方法,其中确定所述第一手势对应于至少一个命令包括使用经配置以供与所述第一用户一起使用的检测引擎来确定所述第一手势对应于所述至少一个命令。
10.根据权利要求1所述的方法,其中所述至少一个命令与保健功能相关联。
11.根据权利要求1所述的方法,
其中所述实质上同时俘获的传感器输入由一个或一个以上传感器的第一集合俘获,及
其中所述第一手势由不同于所述第一组第二组一个或一个以上传感器检测。
12.根据权利要求11所述的方法,
其中所述第一组一个或一个以上传感器包含至少一个相机,及
其中所述第二组一个或一个以上传感器包含至少一个触摸屏。
13.根据权利要求1所述的方法,其中所述第一用户的所述身份进一步基于与至少一个连结装置相关联的注册信息来确定。
14.根据权利要求1所述的方法,其进一步包括:
检测由第二用户执行的第二手势,所述第二手势实质上与所述第一手势同时执行;
基于所述传感器输入确定所述第二用户的身份;
基于所述第二用户的所述身份确定所述第二手势对应于所述多个命令中的第二命令;及
执行所述第二命令。
15.一种设备,其包括
至少一个处理器;及
存储计算机可读指令的存储器,所述计算机可读指令在由所述至少一个处理器执行时致使所述设备:
检测由用户执行的手势;
基于与所述所检测的手势实质上同时俘获的传感器输入确定所述用户的身份;
基于所述用户的所述身份确定所述所检测的手势对应于多个命令中的至少一个命令;及
执行所述至少一个命令。
16.根据权利要求15所述的设备,
其中所述手势在由第一用户执行时对应于第一命令,及
其中所述手势在由不同于所述第一用户的第二用户执行时对应于不同于所述第一命令的第二命令。
17.根据权利要求15所述的设备,其中所述存储器存储额外计算机可读指令,所述额外计算机可读指令在由所述至少一个处理器执行时进一步致使所述设备:
在检测所述手势之前:
认证所述用户的所述身份;
接收对应于所述手势的第一用户输入;
接收对应于所述至少一个命令的第二用户输入;及
将所述手势及所述用户的所述身份与所述至少一个命令相关联。
18.根据权利要求15所述的设备,其中所述存储器存储额外计算机可读指令,所述额外计算机可读指令在由所述至少一个处理器执行时进一步致使所述设备:
在检测到所述手势之前,基于所述用户的所述身份识别用以检测所述用户的手势的多个传感器中的一个或一个以上特定传感器。
19.根据权利要求18所述的设备,其中所述存储器存储额外计算机可读指令,所述额外计算机可读指令在由所述至少一个处理器执行时进一步致使所述设备从所述用户接收指定所述一个或一个以上特定传感器的输入。
20.根据权利要求15所述的设备,其中确定所述所检测的手势对应于至少一个命令进一步基于正执行的应用程序。
21.根据权利要求15所述的设备,其进一步包括经配置以从单独装置接收手势映射数据的接收器,其中确定所述所检测的手势对应于至少一个命令进一步基于所述所接收的手势映射数据。
22.根据权利要求21所述的设备,其进一步包括经配置以将用于所述用户的手势映射数据发射到单独装置的发射器。
23.根据权利要求15所述的设备,其进一步包括:
一个或一个以上传感器,
其中所述指令致使所述设备使用所述一个或一个以上传感器检测所述手势。
24.根据权利要求23所述的设备,其中所述一个或一个以上传感器包括加速计、相机、陀螺仪及触摸屏中的至少一者。
25.根据权利要求23所述的设备,
其中所述实质上同时俘获的传感器输入由所述第一组一个或一个以上传感器俘获,及
其中所述手势由不同于所述第一组的第二组所述一个或一个以上传感器检测。
26.至少一种非暂时性计算机可读媒体,其上存储有计算机可执行指令,所述计算机可执行指令在执行时致使至少一个计算装置:
检测由用户执行的手势;
基于与所述所检测的手势实质上同时俘获的传感器输入确定所述用户的身份;
基于所述用户的所述身份确定所述所检测的手势对应于多个命令中的至少一个命令;及
执行所述至少一个命令。
27.根据权利要求26所述的至少一个非暂时性计算机可读媒体,
其中所述手势在由第一用户执行时对应于第一命令,及
其中所述手势在由不同于所述第一用户的第二用户执行时对应于不同于所述第一命令的第二命令。
28.根据权利要求26所述的至少一个非暂时性计算机可读媒体,其上存储有额外计算机可执行指令,所述额外计算机可执行指令在执行时进一步致使所述至少一个计算装置:
在检测所述手势之前:
认证所述用户的所述身份;
接收对应于所述手势的第一用户输入;
接收对应于所述至少一个命令的第二用户输入;及
将所述手势及所述用户的所述身份与所述至少一个命令相关联。
29.根据权利要求26所述的至少一个非暂时性计算机可读媒体,其上存储有额外计算机可执行指令,所述额外计算机可执行指令在执行时进一步致使所述至少一个计算装置:
在检测到所述手势之前,基于所述用户的所述身份识别用以检测所述用户的手势的多个传感器中的一个或一个以上特定传感器。
30.根据权利要求26所述的至少一个非暂时性计算机可读媒体,
其中所述实质上同时俘获的传感器输入由第一组一个或一个以上传感器俘获,及
其中所述手势由不同于所述第一组的第二组一个或一个以上传感器检测。
31.一种***,其包括:
用于检测由用户执行的手势的装置;
用于基于与所述所检测的手势实质上同时俘获的传感器输入确定所述用户的身份的装置;
用于基于所述用户的所述身份确定所述所检测的手势对应于多个命令中的至少一个命令的装置;及
用于执行所述至少一个命令的装置。
32.根据权利要求31所述的***,
其中所述手势在由第一用户执行时对应于第一命令,及
其中所述手势在由不同于所述第一用户的第二用户执行时对应于不同于所述第一命令的第二命令。
33.根据权利要求31所述的***,其进一步包括:
装置,其用于在检测所述手势之前:
认证所述用户的所述身份;
接收对应于所述手势的第一用户输入;
接收对应于所述至少一个命令的第二用户输入;及
将所述手势及所述用户的所述身份与所述至少一个命令相关联。
34.根据权利要求31所述的***,
其中所述实质上同时俘获的传感器输入由第一组一个或一个以上传感器俘获,及
其中所述手势由不同于所述第一组合的第二组一个或一个以上传感器检测。
CN201280050517.0A 2011-10-12 2012-10-11 经认证的手势辨识 Expired - Fee Related CN103890696B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201161546531P 2011-10-12 2011-10-12
US61/546,531 2011-10-12
US13/526,888 2012-06-19
US13/526,888 US20130159939A1 (en) 2011-10-12 2012-06-19 Authenticated gesture recognition
PCT/US2012/059804 WO2013055953A1 (en) 2011-10-12 2012-10-11 Authenticated gesture recognition

Publications (2)

Publication Number Publication Date
CN103890696A true CN103890696A (zh) 2014-06-25
CN103890696B CN103890696B (zh) 2018-01-09

Family

ID=47278974

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280050517.0A Expired - Fee Related CN103890696B (zh) 2011-10-12 2012-10-11 经认证的手势辨识

Country Status (7)

Country Link
US (1) US20130159939A1 (zh)
EP (1) EP2766790B1 (zh)
JP (1) JP5837991B2 (zh)
KR (2) KR20160039298A (zh)
CN (1) CN103890696B (zh)
IN (1) IN2014MN00860A (zh)
WO (1) WO2013055953A1 (zh)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104333793A (zh) * 2014-10-17 2015-02-04 宝鸡文理学院 一种手势遥控***
CN104932817A (zh) * 2015-05-27 2015-09-23 努比亚技术有限公司 终端侧边框感应交互的方法和装置
CN105807903A (zh) * 2014-12-30 2016-07-27 Tcl集团股份有限公司 一种智能设备的控制方法及装置
CN106227336A (zh) * 2016-07-15 2016-12-14 深圳奥比中光科技有限公司 体感映射的建立方法以及建立装置
CN106503878A (zh) * 2015-09-03 2017-03-15 西门子公司 在计算机管理的生产设施中执行验收操作的方法和***
CN106647398A (zh) * 2016-12-23 2017-05-10 广东美的制冷设备有限公司 遥控器、运行控制方法和装置
CN107276962A (zh) * 2016-04-07 2017-10-20 北京得意音通技术有限责任公司 一种可结合任意手势的动态密码语音认证***及方法
CN107678287A (zh) * 2017-09-18 2018-02-09 广东美的制冷设备有限公司 设备控制方法、装置及计算机可读存储介质
CN108351957A (zh) * 2015-12-31 2018-07-31 柏思科技有限公司 根据用户的手势和身份标识执行至少一个动作的方法和***
CN109922100A (zh) * 2017-12-12 2019-06-21 中兴通讯股份有限公司 一种信息处理方法、终端及服务器
CN110107930A (zh) * 2018-02-01 2019-08-09 青岛海尔智慧厨房电器有限公司 一种吸油烟机的控制方法及吸油烟机
CN110558941A (zh) * 2014-09-23 2019-12-13 飞比特公司 响应于用户手势而更新屏幕内容的方法、***及设备
CN111033445A (zh) * 2017-08-25 2020-04-17 高通股份有限公司 用于手势辨识的***和方法
CN111194436A (zh) * 2017-10-14 2020-05-22 高通股份有限公司 多层用户界面的直接操控的方法
CN107533599B (zh) * 2015-12-31 2020-10-16 华为技术有限公司 一种手势识别方法、装置及电子设备

Families Citing this family (94)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8370639B2 (en) * 2005-06-16 2013-02-05 Sensible Vision, Inc. System and method for providing secure access to an electronic device using continuous facial biometrics
US8913028B2 (en) 2008-05-17 2014-12-16 David H. Chin Mobile device authentication through touch-based gestures
WO2012061071A2 (en) * 2010-10-25 2012-05-10 Openpeak, Inc. User interface for multiple users
US9721481B2 (en) * 2010-11-11 2017-08-01 Echostar Ukraine L.L.C. Hearing and speech impaired electronic device control
WO2012117570A1 (ja) * 2011-03-03 2012-09-07 オムロン株式会社 ジェスチャ入力装置およびジェスチャ入力装置の制御方法
US8726366B2 (en) 2011-03-30 2014-05-13 Elwha Llc Ascertaining presentation format based on device primary control determination
US8863275B2 (en) 2011-03-30 2014-10-14 Elwha Llc Access restriction in response to determining device transfer
US8739275B2 (en) 2011-03-30 2014-05-27 Elwha Llc Marking one or more items in response to determining device transfer
US8839411B2 (en) 2011-03-30 2014-09-16 Elwha Llc Providing particular level of access to one or more items in response to determining primary control of a computing device
US9153194B2 (en) 2011-03-30 2015-10-06 Elwha Llc Presentation format selection based at least on device transfer determination
US8918861B2 (en) 2011-03-30 2014-12-23 Elwha Llc Marking one or more items in response to determining device transfer
US8713670B2 (en) 2011-03-30 2014-04-29 Elwha Llc Ascertaining presentation format based on device primary control determination
US8745725B2 (en) * 2011-03-30 2014-06-03 Elwha Llc Highlighting in response to determining device transfer
US9317111B2 (en) 2011-03-30 2016-04-19 Elwha, Llc Providing greater access to one or more items in response to verifying device transfer
US8726367B2 (en) * 2011-03-30 2014-05-13 Elwha Llc Highlighting in response to determining device transfer
US20130129162A1 (en) * 2011-11-22 2013-05-23 Shian-Luen Cheng Method of Executing Software Functions Using Biometric Detection and Related Electronic Device
US9626498B2 (en) * 2011-12-15 2017-04-18 France Telecom Multi-person gestural authentication and authorization system and method of operation thereof
US10223710B2 (en) 2013-01-04 2019-03-05 Visa International Service Association Wearable intelligent vision device apparatuses, methods and systems
WO2013126905A2 (en) * 2012-02-24 2013-08-29 Moscarillo Thomas J Gesture recognition devices and methods
US10444836B2 (en) 2012-06-07 2019-10-15 Nook Digital, Llc Accessibility aids for users of electronic devices
US9122312B2 (en) * 2012-07-19 2015-09-01 Infosys Limited System and method for interacting with a computing device
US20140026101A1 (en) 2012-07-20 2014-01-23 Barnesandnoble.Com Llc Accessible Menu Navigation Techniques For Electronic Devices
TWI486965B (zh) * 2012-10-03 2015-06-01 Pixart Imaging Inc 使用於存取裝置與控制裝置之間之一傳輸埠的通訊方法以及存取裝置
US9678713B2 (en) * 2012-10-09 2017-06-13 At&T Intellectual Property I, L.P. Method and apparatus for processing commands directed to a media center
US8752151B2 (en) * 2012-10-09 2014-06-10 At&T Intellectual Property I, L.P. Methods, systems, and products for authentication of users
WO2015112108A1 (en) * 2012-11-28 2015-07-30 Visa International Service Association Multi disparate gesture actions and transactions apparatuses, methods and systems
US9971495B2 (en) * 2013-01-28 2018-05-15 Nook Digital, Llc Context based gesture delineation for user interaction in eyes-free mode
US20140215339A1 (en) * 2013-01-28 2014-07-31 Barnesandnoble.Com Llc Content navigation and selection in an eyes-free mode
US9245100B2 (en) * 2013-03-14 2016-01-26 Google Technology Holdings LLC Method and apparatus for unlocking a user portable wireless electronic communication device feature
US9389779B2 (en) * 2013-03-14 2016-07-12 Intel Corporation Depth-based user interface gesture control
US9754149B2 (en) 2013-04-01 2017-09-05 AMI Research & Development, LLC Fingerprint based smart phone user verification
US10121049B2 (en) 2013-04-01 2018-11-06 AMI Research & Development, LLC Fingerprint based smart phone user verification
US9432366B2 (en) * 2013-04-01 2016-08-30 AMI Research & Development, LLC Fingerprint based smartphone user verification
US20140310764A1 (en) * 2013-04-12 2014-10-16 Verizon Patent And Licensing Inc. Method and apparatus for providing user authentication and identification based on gestures
KR20140141089A (ko) * 2013-05-31 2014-12-10 삼성전자주식회사 사용자 입력에 응답하여 어플리케이션을 실행하는 전자 장치
US9020194B2 (en) * 2013-06-14 2015-04-28 Qualcomm Incorporated Systems and methods for performing a device action based on a detected gesture
US20140380198A1 (en) * 2013-06-24 2014-12-25 Xiaomi Inc. Method, device, and terminal apparatus for processing session based on gesture
US9846526B2 (en) * 2013-06-28 2017-12-19 Verizon and Redbox Digital Entertainment Services, LLC Multi-user collaboration tracking methods and systems
US20150006385A1 (en) * 2013-06-28 2015-01-01 Tejas Arvindbhai Shah Express transactions on a mobile device
US20160364009A1 (en) * 2013-07-18 2016-12-15 BOT Home Automation, Inc. Gesture recognition for wireless audio/video recording and communication devices
CN103442114B (zh) * 2013-08-16 2015-10-21 中南大学 一种基于动态手势的身份认证方法
KR20150034832A (ko) * 2013-09-24 2015-04-06 삼성전자주식회사 지문인식 센서를 포함하는 전자기기 및 지문인식 센서를 포함하는 전자기기의 사용자 인증 수행 및 사용자 지문 이미지 등록 방법, 및 이 방법을 실행하기 위한 프로그램이 기록되어 있는 비휘발성 기록매체
US9507429B1 (en) * 2013-09-26 2016-11-29 Amazon Technologies, Inc. Obscure cameras as input
KR20150043149A (ko) * 2013-10-14 2015-04-22 삼성전자주식회사 손 모양 인식을 이용한 디지털 장치의 제어 방법 및 촬영 방법과, 그 장치
US9332285B1 (en) * 2014-05-28 2016-05-03 Lucasfilm Entertainment Company Ltd. Switching modes of a media content item
US20170039359A1 (en) * 2014-06-10 2017-02-09 Mediatek Inc. Electronic device controlling and user registration method
US9870083B2 (en) * 2014-06-12 2018-01-16 Microsoft Technology Licensing, Llc Multi-device multi-user sensor correlation for pen and computing device interaction
US9727161B2 (en) 2014-06-12 2017-08-08 Microsoft Technology Licensing, Llc Sensor correlation for pen and touch-sensitive computing device interaction
KR101699331B1 (ko) * 2014-08-07 2017-02-13 재단법인대구경북과학기술원 유연 멤스 초음파 트랜스듀서 어레이를 이용한 동작 인식 시스템
US20160209968A1 (en) * 2015-01-16 2016-07-21 Microsoft Technology Licensing, Llc Mapping touch inputs to a user input module
US20170011406A1 (en) * 2015-02-10 2017-01-12 NXT-ID, Inc. Sound-Directed or Behavior-Directed Method and System for Authenticating a User and Executing a Transaction
KR102318920B1 (ko) 2015-02-28 2021-10-29 삼성전자주식회사 전자 장치 및 전자 장치의 제어 방법
CN104866110A (zh) 2015-06-10 2015-08-26 深圳市腾讯计算机***有限公司 一种手势控制方法,移动终端及***
US20170153798A1 (en) * 2015-11-30 2017-06-01 International Business Machines Corporation Changing context and behavior of a ui component
TWI559269B (zh) * 2015-12-23 2016-11-21 國立交通大學 擬真實境教學系統及其方法以及電腦程式產品
SE1650212A1 (en) * 2016-02-18 2017-08-19 Fingerprint Cards Ab Portable electronic device
US20190019189A1 (en) * 2016-03-28 2019-01-17 Hewlett-Packard Development Company, L.P. Payment authentication
US10572147B2 (en) * 2016-03-28 2020-02-25 Verizon Patent And Licensing Inc. Enabling perimeter-based user interactions with a user device
US10838502B2 (en) * 2016-03-29 2020-11-17 Microsoft Technology Licensing, Llc Sharing across environments
CN106019958B (zh) * 2016-05-31 2021-08-31 广东美的制冷设备有限公司 手势识别控制方法、手势识别控制装置和家用电器
EP3267291B1 (en) * 2016-07-07 2019-11-06 David Franklin Gesture-based user interface
US20180060551A1 (en) * 2016-08-23 2018-03-01 Lenovo (Singapore) Pte. Ltd. Using gas chromatography for authentication, advertisements, and therapies
US10387811B2 (en) 2016-08-29 2019-08-20 International Business Machines Corporation Optimally rearranging team members in an agile environment
WO2018050247A1 (en) * 2016-09-16 2018-03-22 Siemens Healthcare Gmbh Controlling cloud-based image processing by assuring data confidentiality
US10136316B2 (en) * 2016-09-28 2018-11-20 International Business Machines Corporation Unlocking of a mobile device by a code received via a stencil on a touchscreen
CA3043352A1 (en) 2016-11-15 2018-05-24 Magic Leap, Inc. Deep learning system for cuboid detection
US10983753B2 (en) * 2017-06-09 2021-04-20 International Business Machines Corporation Cognitive and interactive sensor based smart home solution
US10296772B2 (en) 2017-06-22 2019-05-21 Synaptics Incorporated Biometric enrollment using a display
US11133104B2 (en) 2017-07-08 2021-09-28 Navlab Holdings Ii, Llc Displaying relevant data to a user during a surgical procedure
KR20200055704A (ko) 2017-09-20 2020-05-21 매직 립, 인코포레이티드 눈 추적을 위한 개인화된 뉴럴 네트워크
KR102022530B1 (ko) 2017-10-25 2019-11-04 에이케이시스 주식회사 모션 인식을 통해 기기 제어가 가능한 시스템
US11537895B2 (en) 2017-10-26 2022-12-27 Magic Leap, Inc. Gradient normalization systems and methods for adaptive loss balancing in deep multitask networks
US10999733B2 (en) 2017-11-14 2021-05-04 Thomas STACHURA Information security/privacy via a decoupled security accessory to an always listening device
US10867623B2 (en) 2017-11-14 2020-12-15 Thomas STACHURA Secure and private processing of gestures via video input
US10872607B2 (en) 2017-11-14 2020-12-22 Thomas STACHURA Information choice and security via a decoupled router with an always listening assistant device
US11100913B2 (en) 2017-11-14 2021-08-24 Thomas STACHURA Information security/privacy via a decoupled security cap to an always listening assistant device
US10867054B2 (en) 2017-11-14 2020-12-15 Thomas STACHURA Information security/privacy via a decoupled security accessory to an always listening assistant device
CN109947282A (zh) * 2017-12-20 2019-06-28 致伸科技股份有限公司 触控***及其方法
US10488940B2 (en) 2018-03-09 2019-11-26 Capital One Services, Llc Input commands via visual cues
CN110415386A (zh) 2018-04-27 2019-11-05 开利公司 基于姿势的进入控制***的预编程场景数据的建模
CN110415387A (zh) 2018-04-27 2019-11-05 开利公司 包括设置在由用户携带的容纳件中的移动设备的姿势进入控制***
CN110415389B (zh) 2018-04-27 2024-02-23 开利公司 姿势进入控制***和预测移动设备相对于用户所在部位的方法
US11315089B2 (en) * 2018-06-01 2022-04-26 Apple Inc. User configurable direct transfer system
WO2020160683A1 (en) 2019-02-07 2020-08-13 Thomas Stachura Privacy device for smart speakers
US11200305B2 (en) * 2019-05-31 2021-12-14 International Business Machines Corporation Variable access based on facial expression configuration
JP2021026673A (ja) * 2019-08-08 2021-02-22 富士通コネクテッドテクノロジーズ株式会社 携帯端末装置、情報処理方法および情報処理プログラム
US11097688B2 (en) 2019-09-20 2021-08-24 GM Cruise Holdings, LLC Journey verification for ridesharing via audible signals
US11267401B2 (en) 2019-09-27 2022-03-08 GM Cruise Holdings, LLC Safe passenger disembarking for autonomous vehicles via audible signals
US10953852B1 (en) 2019-09-27 2021-03-23 GM Cruise Holdings, LLC. Pick-up authentication via audible signals
US11782986B2 (en) 2020-03-27 2023-10-10 Trushant Mehta Interactive query based network communication through a media device
US11960651B2 (en) * 2020-03-30 2024-04-16 Snap Inc. Gesture-based shared AR session creation
CN111625094B (zh) * 2020-05-25 2023-07-14 阿波罗智联(北京)科技有限公司 智能后视镜的交互方法、装置、电子设备和存储介质
CN114201047A (zh) * 2021-12-10 2022-03-18 珠海格力电器股份有限公司 控制面板的控制方法及装置
US20230266830A1 (en) * 2022-02-22 2023-08-24 Microsoft Technology Licensing, Llc Semantic user input

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5252951A (en) * 1989-04-28 1993-10-12 International Business Machines Corporation Graphical user interface with gesture recognition in a multiapplication environment
US20020059588A1 (en) * 2000-08-25 2002-05-16 Thomas Huber Personalized remote control
US20050212911A1 (en) * 2004-03-23 2005-09-29 Marvit David L Gesture identification of controlled devices
CN1977293A (zh) * 2004-06-29 2007-06-06 皇家飞利浦电子股份有限公司 个人手势签名
US20080114614A1 (en) * 2006-11-15 2008-05-15 General Electric Company Methods and systems for healthcare application interaction using gesture-based interaction enhanced with pressure sensitivity
US20090138805A1 (en) * 2007-11-21 2009-05-28 Gesturetek, Inc. Media preferences
US20100062833A1 (en) * 2008-09-10 2010-03-11 Igt Portable Gaming Machine Emergency Shut Down Circuitry
CN101964141A (zh) * 2009-06-02 2011-02-02 义隆电子股份有限公司 多功能触控板遥控器及其操控方法
US20110197263A1 (en) * 2010-02-11 2011-08-11 Verizon Patent And Licensing, Inc. Systems and methods for providing a spatial-input-based multi-user shared display experience

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09231393A (ja) * 1996-02-23 1997-09-05 Fuji Xerox Co Ltd 命令入力装置
JP2000020474A (ja) * 1998-07-02 2000-01-21 Casio Comput Co Ltd 携帯情報端末装置、データ処理装置、及び記録媒体
US7178097B1 (en) * 2000-11-13 2007-02-13 Srikrishna Talluri Method and system for using a communications network to archive and retrieve bibliography information and reference material
WO2003025859A1 (fr) * 2001-09-17 2003-03-27 National Institute Of Advanced Industrial Science And Technology Dispositif d'interface
JP2005092419A (ja) * 2003-09-16 2005-04-07 Casio Comput Co Ltd 情報処理装置およびプログラム
WO2006085382A1 (ja) * 2005-02-10 2006-08-17 Fujitsu Limited 情報提供装置および情報提供システム
JP4899806B2 (ja) * 2006-11-08 2012-03-21 トヨタ自動車株式会社 情報入力装置
US8482678B2 (en) * 2009-09-10 2013-07-09 AFA Micro Co. Remote control and gesture-based input device
US9244533B2 (en) * 2009-12-17 2016-01-26 Microsoft Technology Licensing, Llc Camera navigation for presentations
JP2011192081A (ja) * 2010-03-15 2011-09-29 Canon Inc 情報処理装置及びその制御方法
US8150384B2 (en) * 2010-06-16 2012-04-03 Qualcomm Incorporated Methods and apparatuses for gesture based remote control

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5252951A (en) * 1989-04-28 1993-10-12 International Business Machines Corporation Graphical user interface with gesture recognition in a multiapplication environment
US20020059588A1 (en) * 2000-08-25 2002-05-16 Thomas Huber Personalized remote control
US20050212911A1 (en) * 2004-03-23 2005-09-29 Marvit David L Gesture identification of controlled devices
CN1977293A (zh) * 2004-06-29 2007-06-06 皇家飞利浦电子股份有限公司 个人手势签名
US20080114614A1 (en) * 2006-11-15 2008-05-15 General Electric Company Methods and systems for healthcare application interaction using gesture-based interaction enhanced with pressure sensitivity
US20090138805A1 (en) * 2007-11-21 2009-05-28 Gesturetek, Inc. Media preferences
US20100062833A1 (en) * 2008-09-10 2010-03-11 Igt Portable Gaming Machine Emergency Shut Down Circuitry
CN101964141A (zh) * 2009-06-02 2011-02-02 义隆电子股份有限公司 多功能触控板遥控器及其操控方法
US20110197263A1 (en) * 2010-02-11 2011-08-11 Verizon Patent And Licensing, Inc. Systems and methods for providing a spatial-input-based multi-user shared display experience

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110558941A (zh) * 2014-09-23 2019-12-13 飞比特公司 响应于用户手势而更新屏幕内容的方法、***及设备
CN110558941B (zh) * 2014-09-23 2022-08-02 飞比特有限公司 响应于用户手势而更新屏幕内容的方法、***及设备
CN104333793A (zh) * 2014-10-17 2015-02-04 宝鸡文理学院 一种手势遥控***
CN105807903A (zh) * 2014-12-30 2016-07-27 Tcl集团股份有限公司 一种智能设备的控制方法及装置
CN104932817A (zh) * 2015-05-27 2015-09-23 努比亚技术有限公司 终端侧边框感应交互的方法和装置
CN104932817B (zh) * 2015-05-27 2018-10-02 努比亚技术有限公司 终端侧边框感应交互的方法和装置
CN106503878A (zh) * 2015-09-03 2017-03-15 西门子公司 在计算机管理的生产设施中执行验收操作的方法和***
CN108351957B (zh) * 2015-12-31 2022-08-02 柏思科技有限公司 根据用户的手势和身份标识执行至少一个动作的方法和***
CN107533599B (zh) * 2015-12-31 2020-10-16 华为技术有限公司 一种手势识别方法、装置及电子设备
CN108351957A (zh) * 2015-12-31 2018-07-31 柏思科技有限公司 根据用户的手势和身份标识执行至少一个动作的方法和***
CN107276962A (zh) * 2016-04-07 2017-10-20 北京得意音通技术有限责任公司 一种可结合任意手势的动态密码语音认证***及方法
CN107276962B (zh) * 2016-04-07 2023-04-07 北京得意音通技术有限责任公司 一种可结合任意手势的动态密码语音认证***
CN106227336B (zh) * 2016-07-15 2019-07-12 深圳奥比中光科技有限公司 体感映射的建立方法以及建立装置
CN106227336A (zh) * 2016-07-15 2016-12-14 深圳奥比中光科技有限公司 体感映射的建立方法以及建立装置
CN106647398A (zh) * 2016-12-23 2017-05-10 广东美的制冷设备有限公司 遥控器、运行控制方法和装置
CN111033445B (zh) * 2017-08-25 2024-04-26 高通股份有限公司 用于手势辨识的***和方法
CN111033445A (zh) * 2017-08-25 2020-04-17 高通股份有限公司 用于手势辨识的***和方法
CN107678287A (zh) * 2017-09-18 2018-02-09 广东美的制冷设备有限公司 设备控制方法、装置及计算机可读存储介质
CN111194436A (zh) * 2017-10-14 2020-05-22 高通股份有限公司 多层用户界面的直接操控的方法
CN111194436B (zh) * 2017-10-14 2024-03-19 高通股份有限公司 多层用户界面的直接操控的方法
CN109922100B (zh) * 2017-12-12 2022-03-22 中兴通讯股份有限公司 一种信息处理方法、终端及服务器
CN109922100A (zh) * 2017-12-12 2019-06-21 中兴通讯股份有限公司 一种信息处理方法、终端及服务器
CN110107930B (zh) * 2018-02-01 2020-08-11 青岛海尔智慧厨房电器有限公司 一种吸油烟机的控制方法及吸油烟机
CN110107930A (zh) * 2018-02-01 2019-08-09 青岛海尔智慧厨房电器有限公司 一种吸油烟机的控制方法及吸油烟机

Also Published As

Publication number Publication date
KR20160039298A (ko) 2016-04-08
EP2766790B1 (en) 2018-07-04
IN2014MN00860A (zh) 2015-04-17
JP2014535100A (ja) 2014-12-25
CN103890696B (zh) 2018-01-09
JP5837991B2 (ja) 2015-12-24
US20130159939A1 (en) 2013-06-20
WO2013055953A1 (en) 2013-04-18
EP2766790A1 (en) 2014-08-20
KR20140081863A (ko) 2014-07-01

Similar Documents

Publication Publication Date Title
CN103890696A (zh) 经认证的手势辨识
CN105431813B (zh) 基于生物计量身份归属用户动作
KR102395515B1 (ko) 가상 악기의 연주 방법 및 이를 지원 하는 장치
US9658695B2 (en) Systems and methods for alternative control of touch-based devices
EP2956882B1 (en) Managed biometric identity
KR102162373B1 (ko) 주체와 객체의 연관
US9164648B2 (en) Method and apparatus for establishing user-specific windows on a multi-user interactive table
US20170052760A1 (en) Voice-triggered macros
KR102223693B1 (ko) Nui 관여의 검출
KR20150128377A (ko) 지문 처리 방법 및 그 전자 장치
CN109074166A (zh) 使用神经数据改变应用状态
CN107728482A (zh) 控制***、控制处理方法及装置
KR102481486B1 (ko) 오디오 제공 방법 및 그 장치
CN104115099A (zh) 取决于参与的手势辨识
CN110088764A (zh) 用于虹膜识别功能的操作方法及支持该方法的电子设备
US9302182B2 (en) Method and apparatus for converting computer games between platforms using different modalities
WO2018171196A1 (zh) 一种控制方法、终端及***
KR20160054799A (ko) 원격 제어 장치 및 그의 동작 방법
JP2016534480A (ja) ジェスチャ認識のための変換およびスケール不変の機能
KR102072440B1 (ko) 인터랙션 타입을 자동으로 지원하는 가상 공간 인터페이스 시스템 및 이를 제공하는 방법
CN114327062A (zh) 人机交互方法、装置、电子设备、存储介质和程序产品
CN113885710A (zh) 智能设备的控制方法、控制装置及智能***

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20180109

Termination date: 20201011