CN107111356A - 用于基于手势控制装置的方法和*** - Google Patents

用于基于手势控制装置的方法和*** Download PDF

Info

Publication number
CN107111356A
CN107111356A CN201480083636.5A CN201480083636A CN107111356A CN 107111356 A CN107111356 A CN 107111356A CN 201480083636 A CN201480083636 A CN 201480083636A CN 107111356 A CN107111356 A CN 107111356A
Authority
CN
China
Prior art keywords
gesture
electronic installation
control unit
control
prearranged
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201480083636.5A
Other languages
English (en)
Other versions
CN107111356B (zh
Inventor
欧斯·巴拿·布莱奈希
贺嘉·安德森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kyrgyz Technology Co
Original Assignee
Kyrgyz Technology Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kyrgyz Technology Co filed Critical Kyrgyz Technology Co
Publication of CN107111356A publication Critical patent/CN107111356A/zh
Application granted granted Critical
Publication of CN107111356B publication Critical patent/CN107111356B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842Selection of displayed objects or displayed text elements

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本公开涉及电子装置的基于手势的控制,并且特别涉及用于获得对电子装置的控制的方法和***。

Description

用于基于手势控制装置的方法和***
技术领域
本公开涉及电子装置的基于手势的控制,并且特别涉及用于获得对电子装置的控制的方法和***。
技术背景
手势控制***在当今社会越来越普遍。例如,有几家公司开发促进智能手机和其他可穿戴电子产品(如,平板计算机)的手势控制的软件。这样的软件通常使用由摄像头拍摄的图像来控制电子装置。这些实现对例如坐在汽车中时控制智能手机有益于,例如,增加通过智能手机播放的音乐音量。摄像头对撷取图像的范围是有限的,并且这些***通常设计用于那些针对单一个人并且想要控制电子装置的应用。
美国申请案US 2014/032573(OBLONG INDUSTRIES INC.)描述了一种这样的***。所述文件涉及一种仅使用由传感器接收的手势数据来识别用户的手势的***。计算机应用程序将手势转换为手势信号,并且因应于手势信号控制连接的显示设备。
然而,为了扩大可以使用这种基于手势的***的应用范围,需要进一步开发用于通过手势来控制装置的***。
发明内容
鉴于上述,本发明的目的是解决或至少减少上述一个或多个缺点。一般来说,上述目标是通过附带的独立专利权利要求来实现的。
根据第一方面,本发明通过一种用于控制连接到控制单元的电子装置的方法来实现。控制单元连接至少一个传感器。电子装置被配置为通过控制单元而被距至少一个传感器特定距离所感测的物件的手势所控制。所述方法包括以下步骤:
通过至少一个传感器感测来自第一物件的第一手势输入,
通过控制单元检查第一手势输入是否对应用于获得电子装置的控制的第一预定手势,
如果第一手势输入对应于第一预定手势,所述的方法还包括通过控制单元批准第一物件获得对电子装置的控制。
换句话说,如果控制单元确定第一手势输入对应于第一预定手势,则控制单元将批准第一物件获得对电子装置的控制。
至少一个传感器中的每个传感器可以是主动传感器和/或被动传感器。主动传感器传输某种类型的信号,然后信号被传感器反射、折射或散射,然后在再次被传感器接收时被测量。被动传感器仅接收信号。如果使用多个传感器,则多个传感器可以包括不同类型的传感器。
在本说明书的上下文中,术语“物件”应理解为用于执行手势的任何类型的合适物件,例如,一只手、两只手、一只手臂、两只手臂、一个遥控器等。
在本说明书的上下文中,术语“电子装置”应理解为任何类型的电子装置,例如,立体声***、电视机、计算机的输入设备(虚拟键盘)、机器人等。
本发明基于以下实现:通过为了获得对电子装置的控制而必须由用户执行预定手势,当至少一个传感器同时感测到分离物件(例如,属于不同人的手)的手势时,基于手势的控制***可以更好地处理。例如,如果至少一个传感器连接到用于控制立体声***的基于手势的控制***,并且几个不同的人正在尝试改变所播放音乐的音量,则控制单元可以忽略从未执行用于获得对立体声***的控制的预定手势的人的手势。
根据实施例,所述方法还包括以下步骤:通过至少一个传感器感测来自与第一物件不同的第二物件的第二手势输入,并且只要第一物件控制着电子装置,通过控制单元忽略来自第二物件的第二手势输入。
因此,如果第一物件(例如,第一人的手)已经获得对电子装置的控制,并且第二物件(例如,第二人的手)试图获得控制或以其他方式控制电子装置,则第二物件将被控制单元忽略。这样的方式有许多有益的原因,例如,如果基于手势的控制***连接到大型制造机器人,则不同人员同时控制这样的机器将会导致灾难。
根据实施例,其中第一物件控制着电子装置,则所述方法还包括以下步骤:通过至少一个传感器感测来自第一物件的第三手势输入,通过控制单元检查第三手势输入是否对应用于释出对电子装置的控制的第二预定手势,并且如果第三手势输入对应于第二预定手势,通过控制单元从对电子装置的控制中释出第一物件。
因为可以以受控的方式从控制中释出物件,具有用于释出对电子装置的控制的预定义手势导致更灵活的基于手势的控制***。
根据实施例,其中第一物件并不控制着电子装置,所述方法还包括以下步骤:通过至少一个传感器感测来自第二物件的第四手势输入,通过控制单元检查第四手势输入是否对应用于获得电子装置的控制的第一预定手势,并且如果第四手势输入对应于第一预定手势,则通过控制单元批准第二物件获得对电子装置的控制。
因此,当第一物件已经从对电子装置的控制中释出时,新物件(例如,第二物件)可以获得对电子装置的控制。而这将有益的实现从一个用户到另一个用户对电子装置的控制的更可控的转移。
根据一些实施例,在控制单元批准第一物件获得对电子装置的控制的步骤之后,所述方法还包括以下步骤:通过控制单元确定第一手势输入在3d空间中的位置,通过控制单元将3d空间中的位置设置为3d坐标***中的原点,以及通过控制单元使用3d坐标***和来自第一物件的另外的手势输入来控制电子装置。
在基于手势的控制***中,定义手势的坐标***可能是有益的。例如,通过定义这样的坐标***,可以将来自不同传感器且与相同物件相关的手势输入编译成一个手势输入,因为坐标***可以便于追踪不同传感器之间的物件。这在解释手势输入时是有益的,因为有更多的数据将可用于手势输入。
通过与用于获得对电子装置的控制的手势相结合地定义坐标***,可以简化设置坐标***的过程。因此,不需要为了设定坐标***而执行特定的手势。
根据一些实施例,如果第一物件从对电子装置上的控制中被释出,并且第二物件正通过执行用于获得控制的预定义手势来获得控制,则所述手势将设置新的坐标***。
根据一些实施例,第一物件包括两个物件。在这种情况下,如果适用,第一预定手势和第二预定手势可对应于两个物件的手势输入。
通过要求来自两个物件的手势,例如,从用户的双手,可降低对电子装置的控制的获取和释出的风险。
根据一些实施例,第一预定手势包括对应于来自单个物件的手势输入的预定手势和对应于来自两个物件的手势输入的预定手势,并且其中第二预定手势,如果适用的话,包括由单个物件执行的预定手势和由两个物件执行的预定手势。
因为单个物件的手势以及两个物件的手势皆可用于获得对电子装置的控制,并且,如果适用的话,可以从控制中释出,因此可增加灵活性。例如,在一些应用领域中,用户可能只有一只手可以控制电子装置,例如,如果一名医生正在进行手术,并且他/她的其中一只手正握着工具。
在第二方面,本发明提供一种包括计算机可读存储介质的计算机程序产品。计算机可读存储介质具有适于在由具有处理能力的装置执行时实现根据第一方面的方法的指令。
在第三方面,本发明提供了一种用于控制电子装置的***,所述***包括:控制单元,至少一个传感器,被配置为感测来自距至少一个传感器一定距离的物件的手势输入,存储器,被配置为存储用于获得电子装置的控制的第一预定手势。电子装置被配置为通过控制单元而被至少一个传感器所感测的手势输入所控制。其中,因应至少一个传感器感测到来自第一物件的第一手势输入,控制单元被配置为检查第一手势输入是否对应于存储在存储器中的第一预定手势,并且如果第一手势输入对应于第一预定手势,则批准第一物件获得对电子装置的控制。
根据一些实施例,其中因应至少一个传感器感测到来自与第一物件不同的第二物件的第二手势输入,只要第一物件控制着电子装置,控制单元被配置为忽略来自第二物件的第二手势。
根据一些实施例,其中第一物件控制着电子装置,其中存储器还被配置为存储用于释出对电子装置的控制的第二预定手势,其中因应传感器感测到来自第一物件的第二手势输入,控制单元被配置为检查第三手势输入是否对应于第二预定手势,并且如果第三手势输入对应于第二预定手势,则从对电子装置的控制中释出第一物件。
根据一些实施例,其中第一物件并不控制着电子装置,其中因应传感器感测到来自第二物件的第四手势输入,控制单元被配置为检查第四手势输入是否对应用于获得电子装置的控制的第一预定手势,以及如果第四手势输入对应于第一预定手势,则批准第二物件获得对电子装置的控制。
根据一些实施例,其中当控制单元已经批准第一物件获得对电子装置的控制时,控制单元被配置为:确定第一手势输入在3d空间中的位置,设置3d空间中的位置为3d坐标***中的原点,以及使用3d坐标***和来自第一物件的另外的手势输入来控制电子装置。
根据一些实施例,其中第一物件包括两个物件,并且其中第一预定手势和第二预定手势,如果适用的话,对应于两个物件的手势输入。
根据一些实施例,其中第一预定手势包括对应于来自单个物件的手势输入的预定手势和对应于来自两个物件的手势输入的预定手势,并且其中第二预定手势,如果适用的话,包括由单个物件执行的预定手势和由两个物件执行的预定手势。
第二和第三方面通常可以具有与第一方面相同的特征和优点。
图式的简要说明
通过下面参照附图对本发明的实施例的说明性和非限制性的详细描述,将更好地理解本发明的上述以及其它目的、特征和优点,其中相同的附图标记将用于类似的组件,其中:
图1以示例的方式描述了通过手势来控制电子装置的***,
图2a‐b以示例的方式描述了用于获得对电子装置的控制的双手手势,
图3以示例的方式描述了用于释出对电子装置的控制的双手手势,
图4a‐b以示例的方式描述了用于获得对电子装置的控制的单手手势,
图5以示例的方式描述了用于释出对电子装置的控制的单手手势,
图6以示例的方式描述了一种用于控制电子装置的方法。
详细说明
图1描述了一种用于控制电子装置114的***100。图1中的***包括三个传感器102、104、106,但是亦可以采用任何数量的传感器。传感器102、104、106可以是主动传感器(active sensor),例如,红外线(IR)传感器、超声传感器或激光传感器,或被动传感器(passive sensor),例如,摄像头。根据一些实施例,当采用多个传感器时,所述多个传感器包括不同种类的传感器,例如,一个摄像头和两个红外线传感器。传感器102、104、106被配置为感测距离传感器102、104、106一定距离的物件116、120的手势输入。如上所述,每个物件116、120可以包括一个或几个子物件,例如用至少一个手部来控制电子装置的用户的一个或两个手部。***100还包括驱动器108,用于将来自传感器102、104、106的信号转换成具有适于让连接于驱动器108的控制单元112识别的格式的手势输入信号。此种设置有益于可以使用不同类型的传感器,例如来自不同制造商的传感器,只要驱动器108包括能够处理特定类型传感器的软件即可。控制单元112还连接到存储器110,存储器110可存储控制电子装置114所使用到的预定手势。控制单元112因此被配置为将从驱动器108接收的手势输入与存储在存储器110的预定手势作比较以便控制电子装置114。换句话说,电子装置114被配置为通过由至少一个传感器102、104、106感测到的手势输入而经由控制单元112被控制。
例如,如果电子装置114是具有要被控制的虚拟键盘的平板计算机,则预定手势可以涉及键盘的字母和数字的输入。具体地,存储器110被配置为存储用于获得对电子装置的控制的第一预定手势。这样的手势可降低某人或某事错误地控制电子装置的风险,例如,某个人在传感器102、104、106的感测范围内经过并且执行了存储在存储器110中的一个手势。通过定义用于获得对电子装置的控制的特定预定手势(即,第一预定手势),可减少这种对电子装置无意控制的风险。
因此,因应于来自被至少一个传感器对第一物件116感测的第一手势输入,控制单元112被配置为检查第一手势输入是否对应于存储在存储器110中的第一预定手势。如果手势输入与第一预定手势对应(即,匹配),则控制单元112被配置为批准第一物件116获得对电子装置的控制。
此处应当注意的是,驱动器108、控制单元112和存储器110可以被要被控制的电子装置114所实现并位于其内。所述一个或多个传感器102、104、106也可以位于电子装置中,例如,笔记本计算机的摄像头。然而,至少将传感器102、104、106远离于要被控制的电子装置114亦可能是有益的,这是因为手势不需要在邻近于电子装置而被感测,而这增加了控制电子装置的灵活性。此外,驱动器108、控制单元112和存储器110可以是分离的装置或者在连接于传感器和要被控制的电子装置114的单个装置107(例如,计算机107)中实现。传感器102、104、106和这种计算机107或单独的驱动器装置108之间的连接可以是无线(例如Wi‐Fi)或有线连接。对于控制单元112和要被控制的电子装置114之间的连接也是如此。驱动器108和控制单元112可以以软件实现并由一个或多个处理器执行。所述一个或多个处理器可以包括中央处理单元(central processing unit,CPU)和/或图形处理单元(graphicalprocessing unit,GPU)。存储器110可以包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD‐ROM、数字通用磁盘(digital versatile disk,DVD)或其它光盘存储器、磁带盒、磁带、磁盘存储器或其它磁存储装置、或可用于存储所需信息并且可由计算机访问的任何其它介质。
根据一些实施例,当传感器102、104、106感测到手势时,控制单元112被配置为首先检查所述控制是否已被指定至另一个物件(例如,第一物件116)。如果为真,则控制单元112被配置为忽略来自另一物件(例如,第二物件120)的手势输入,只要第一物件116具有对电子装置114的控制即可。根据一些实施例,传感器102、104、106可以追踪物件及其各自的手势。根据其他实施例,所述功能在控制单元112中实现。如上所述,控制单元112可以使用坐标***以及来自一个或多个传感器的手势输入来追踪被一个或多个传感器所感测的不同物件。
在存储在存储器110中的预定手势中,可能存在用于释出电子装置114控制的第二预定手势。在这种情况下,控制单元112被配置为检查从控制着电子装置114的物件(例如,第一物件116)输入的手势是否对应用于释出电子装置控制的第二预定手势。手势输入对应于第二预定手势,控制单元112被配置为从对电子装置114的控制中释出第一物件116。
根据一些实施例,传感器102、104、106或驱动器108或控制单元112适于识别具有对电子装置114的控制的物件何时不再位于控制区域内。所述控制区域可以是,例如,传感器102、104、106的感测区域或比感测区域稍小的区域。所述控制区域可被配置并保存到存储器110中。因此,控制单元可以从存储器读取控制区域且,例如,忽略从控制区域外所接收到的手势输入。如果具有控制的物件正在离开控制区域,则控制单元112可以适于将所述物件从所述控制中释出。根据一些实施例,即当用于释出控制的预定手势不存在时,这是将物件从控制中释出的唯一方法。
如果控制单元112已经从控制中释出了第一物件116,则控制单元112被配置为检查从第二物件120输入的手势是否对应用于获得电子装置114的控制的第一预定手势。如果手势输入与用于获得电子装置的控制的预定手势相匹配,则控制单元112被配置为批准第二物件120获得对电子装置的控制。
当物件116、120被批准具有对电子装置114的控制时,来自控制中的物件的另外的手势输入则被用于控制电子装置114。控制单元112可以适于使用坐标***来解释手势输入并将它们转换成控制信号,而这些控制信号被发送到电子装置114以控制电子装置114。所述坐标***可有益地基于用于获得对电子装置的控制的手势输入所确定。所述坐标***将结合下面的图2b和4b进一步解释。
图2a‐b通过示例的方式示出了用于获得对电子装置的控制的手势,即结合与之前图1所讨论的存储器中的第一预定手势相对应的手势。在图2a中,示出了示例性手势的开始位置。所述手势由第一物件116执行,而在此示例中第一物件116对应于两个手部204、206。所述起始位置对应于彼此抵接的两个手部,其中第一手部204的手掌被压靠在第二手部206的手掌。因为所述起始位置具有非常不寻常的姿势,从而有益的降低了错误地执行图2a‐b所示手势的风险。在图2b中,所示手势通过在相反方向上移动两个手部204、206而完成,使得在第一手部204和第二手部206之间形成空间。由于所述手势对应于第一预定手势,所以控制单元将对电子装置的控制给予了物件116(即,两个手部204、206)。
在两个子物件204、206之间的空间中,示出了虚拟物件208。所述虚拟物件208可以被看作是由用于控制电子装置的第一物件116形成的任何后续手势的参考物件。代表坐标***202则示出于虚拟物件208内。控制单元使用坐标***202以解释手势输入,使得控制单元将手势输入转换成控制信号且发送到电子装置114,以便如上所述地控制电子装置114。坐标***202可以是2D***或3D***。
图3描述了用于释出对电子装置的控制的手势。在本示例中,所述手势对应于移动手部204、206,使得手部204、206的手掌对着地板。通过执行所述手势,第一物件116被控制单元从对电子装置的控制中释出。
换句话说,图2a‐b和图3描述了一个实施例,其中第一物件116包括两个物件204、206,并且其中第一预定手势和第二预定手势对应于所述两个物件204、206的手势输入。
此外,如在图2a‐b和3中可以看到的,第一预定手势包括对应于来自两个物件204、206的手势输入的预定手势,并且第二预定手势包括对应于来自两个物件204、206的手势输入的预定手势。
图4a‐b通过示例的方式示出了用于获得对电子装置的控制的手势,即结合与之前图1所讨论的存储器中的第一预定手势相对应的手势。在图4a中,示出了示例性手势的开始位置。所述手势由第一物件116执行,而在此示例中第一物件116对应于单一手部402。所述起始位置对应于手掌对着地板的手部402的姿势。在图4b中,所示手势通过通过转动手部402使得手部402的手掌向上转动而完成。由于所述手势对应于第一预定手势,所以控制单元将对电子装置的控制给予了物件116(即,手部402)。
在手部402的手掌上方的空间中,示出了虚拟物件208。所述虚拟物件可以被看作是由用于控制电子装置的第一物件116形成的任何后续手势的参考物件。代表坐标***202则示出于虚拟物件208内。控制单元使用坐标***202以解释手势输入,使得控制单元将手势输入转换成控制信号且发送到电子装置,以便如上所述地控制电子装置。
图5描述了用于释出对电子装置的控制的手势。在本示例中,所述手势对应于转动手部402,使得手部402的手掌对着地板。通过执行所述手势,第一物件116被控制单元从对电子装置的控制中释出。
图6通过示例的方式示出了用于利用手势输入来控制电子装置的方法。此处将结合图1所示的***对所述方法进行说明。
所述方法开始于控制单元112接收(S402)来自物件116、120的手势输入。首先,判定(S404)是否有对应所收到手势输入的物件以外的物件在控制电子装置。如果是,则控制单元112忽略(S405)此手势输入。因此,只要有其它的物件在控制电子装置,则来自此物件的手势输入将被忽略。
另一方面,如果没有其他物件在控制电子装置,则下一步是通过控制单元判断(S406)输出此接收到的手势输入的物件116、120是否控制着电子装置114。如果物件116、120实际上控制着电子装置114,则控制单元112继续将手势输入与预定手势(例如,存储在存储器110中)作比较。如果所接收的手势输入对应用于释出电子装置114的控制的预定手势,则控制单元112从对电子装置114的控制中释出(S416)物件116、120。如果所述手势不对应用于释出对电子装置114的控制的预定手势,则通过将手势输入与存储在存储器110中另外的预定手势进行比较来解释(可能通过使用结合图2b和4b所描述的坐标***)手势输入,然后将此手势输入的解释转换为发送到电子装置114的控制信号,以便控制(S418)电子装置。
然而,如果判定(S406)输出此手势输入的物件116、120并未控制着电子装置114,则下一步是由控制单元112检查(S408)所接收到的手势输入是否对应于存储在存储器110中用于获得电子装置114的控制的预定手势。如果判定接收到的手势输入不对应用于获得电子装置114的控制的预定手势,则控制单元112忽略(S409)此手势输入。
然而,如果接收到的手势输入被判定(S408)对应用于获得电子装置的控制的预定手势,则控制单元112被配置为批准(S410)物件116、120获得对电子装置114的控制。
最后,控制单元被配置为确定手势输入在3d空间中的位置,并且将在3d空间中的位置设置(S412)为步骤S418所描述的3d坐标***中的原点。
本领域技术人员可理解的是本发明并不限于上述方法的示例性实施例中的步骤的顺序。相反的,在所附权利要求的范围内可以进行变化。例如,用以检查另一物件是否已经取得控制的步骤S404以及用以检查(S406)输出手势输入的物件是否已经取得控制的步骤可以以不同的顺序执行,以便在步骤S404之前执行步骤S406。

Claims (15)

1.一种用于控制连接到控制单元(112)的电子装置(114)的方法(400),所述控制单元连接到至少一个传感器(102、104、106),所述电子装置被配置为通过所述控制单元而被距所述至少一个传感器特定距离所感测的物件(116、120)的手势所控制,所述方法包括以下步骤:
通过所述至少一个传感器感测来自第一物件(116)的第一手势输入,
通过所述控制单元检查(S408)所述第一手势输入是否对应用于获得所述电子装置的控制的第一预定手势,并且如果所述第一手势输入对应于所述第一预定手势,
通过所述控制单元批准(S410)所述第一物件获得对所述电子装置的控制。
2.根据权利要求1所述的方法,还包括以下步骤
通过所述至少一个传感器感测来自与所述第一物件不同的第二物件(120)的第二手势输入,
只要所述第一物件控制着所述电子装置,通过所述控制单元忽略(S405)来自所述第二物件的所述第二手势输入。
3.根据权利要求1‐2中任一项所述的方法,其中所述第一物件控制着所述电子装置,所述方法还包括以下步骤:
通过所述至少一个传感器感测来自所述第一物件的第三手势输入,
通过所述控制单元检查(S414)所述第三手势输入是否对应用于释出对所述电子装置的控制的第二预定手势,并且如果所述第三手势输入对应于所述第二预定手势,
通过所述控制单元从对所述电子装置的控制中释出(S416)所述第一物件。
4.根据权利要求3所述的方法,其中,所述第一物件并不控制着所述电子装置,所述方法还包括以下步骤:
通过所述至少一个传感器感测来自第二物件的第四手势输入,
通过所述控制单元检查所述第四手势输入是否对应用于获得所述电子装置的控制的所述第一预定手势,并且如果所述第四手势输入对应于所述第一预定手势,
通过所述控制单元批准所述第二物件获得对所述电子装置的控制。
5.根据权利要求1所述的方法,其中在所述控制单元批准所述第一物件获得对所述电子装置的控制的步骤之后,所述方法还包括以下步骤:
通过所述控制单元确定所述第一手势输入在3d空间中的位置,
通过所述控制单元将3d空间中的所述位置设置(S412)为3d坐标***(202)中的原点,
通过所述控制单元使用所述3d坐标***和来自所述第一物件的另外的手势输入来控制(S418)所述电子装置。
6.根据权利要求1‐5中任一项所述的方法,其中所述第一物件包括两个物件(204、206),并且其中所述第一预定手势和所述第二预定手势,如果适用的话,对应于所述两个物件的手势输入。
7.根据权利要求1‐5中任一项所述的方法,其中所述第一预定手势包括对应于来自单个物件(402)的手势输入的预定手势和对应于来自两个物件的手势输入的预定手势,并且其中所述第二预定手势,如果适用的话,包括由单个物件执行的预定手势和由两个物件执行的预定手势。
8.一种计算机程序产品,包括具有指令的计算机可读存储介质,所述指令适于在被具有处理能力的装置执行时实现根据权利要求1‐7中任一项所述的方法。
9.一种用于控制电子装置(114)的***(100),所述***包括:
控制单元(112),
至少一个传感器(102、104、106),被配置为感测来自距所述至少一个传感器一定距离的物件(116)的手势输入,
存储器(110),被配置为存储用于获得所述电子装置的控制的第一预定手势,
所述电子装置被配置为通过所述控制单元而被所述至少一个传感器所感测的手势输入所控制,
其中,因应所述至少一个传感器感测到来自第一物件的第一手势输入,所述控制单元被配置为检查(S408)所述第一手势输入是否对应于存储在所述存储器中的所述第一预定手势,并且如果所述第一手势输入对应于所述第一预定手势,则批准(S410)所述第一物件获得对所述电子装置的控制。
10.根据权利要求9所述的***,其中因应所述至少一个传感器感测到来自与所述第一物件不同的第二物件的第二手势输入,只要所述第一物件控制着所述电子装置,所述控制单元被配置为忽略(S405)来自所述第二物件的所述第二手势。
11.根据权利要求9‐10中任一项所述的***,其中所述第一物件控制着所述电子装置,其中所述存储器还被配置为存储用于释出对所述电子装置的控制的第二预定手势,其中因应所述传感器感测到来自所述第一物件的第二手势输入,所述控制单元被配置为检查(S414)所述第三手势输入是否对应于所述第二预定手势,并且如果所述第三手势输入对应于所述第二预定手势,则从对所述电子装置的控制中释出(S416)所述第一物件。
12.根据权利要求11所述的***,其中所述第一物件并不控制着所述电子装置,其中因应所述传感器感测到来自所述第二物件的第四手势输入,所述控制单元被配置为检查所述第四手势输入是否对应用于获得所述电子装置的控制的所述第一预定手势,以及如果所述第四手势输入对应于所述第一预定手势,则批准所述第二物件获得对所述电子装置的控制。
13.根据权利要求9所述的***,其中当所述控制单元已经批准所述第一物件获得对所述电子装置的控制时,所述控制单元被配置为
确定所述第一手势输入在3d空间中的位置,
设置(S412)3d空间中的所述位置为3d坐标***(202)中的原点,以及
使用所述3d坐标***和来自所述第一物件的另外的手势输入来控制所述电子装置。
14.根据权利要求9‐13中任一项所述的***,其中所述第一物件包括两个物件,并且其中所述第一预定手势和所述第二预定手势,如果适用的话,对应于所述两个物件的手势输入。
15.根据权利要求9‐14中任一项所述的***,其中所述第一预定手势包括对应于来自单个物件的手势输入的预定手势和对应于来自两个物件的手势输入的预定手势,并且其中所述第二预定手势,如果适用的话,包括由单个物件执行的预定手势和由两个物件执行的预定手势。
CN201480083636.5A 2014-11-27 2014-11-27 用于基于手势控制装置的方法和*** Active CN107111356B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/SE2014/000139 WO2016085368A1 (en) 2014-11-27 2014-11-27 Method and system for gesture based control of device

Publications (2)

Publication Number Publication Date
CN107111356A true CN107111356A (zh) 2017-08-29
CN107111356B CN107111356B (zh) 2020-10-20

Family

ID=56074759

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480083636.5A Active CN107111356B (zh) 2014-11-27 2014-11-27 用于基于手势控制装置的方法和***

Country Status (4)

Country Link
US (1) US10185402B2 (zh)
EP (1) EP3224694A4 (zh)
CN (1) CN107111356B (zh)
WO (1) WO2016085368A1 (zh)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11176745B2 (en) 2019-09-20 2021-11-16 Facebook Technologies, Llc Projection casting in virtual environments
US10991163B2 (en) 2019-09-20 2021-04-27 Facebook Technologies, Llc Projection casting in virtual environments
US11086406B1 (en) * 2019-09-20 2021-08-10 Facebook Technologies, Llc Three-state gesture virtual controls
US11189099B2 (en) 2019-09-20 2021-11-30 Facebook Technologies, Llc Global and local mode virtual object interactions
US11170576B2 (en) 2019-09-20 2021-11-09 Facebook Technologies, Llc Progressive display of virtual objects
US11086476B2 (en) * 2019-10-23 2021-08-10 Facebook Technologies, Llc 3D interactions with web content
US11175730B2 (en) 2019-12-06 2021-11-16 Facebook Technologies, Llc Posture-based virtual space configurations
US11475639B2 (en) 2020-01-03 2022-10-18 Meta Platforms Technologies, Llc Self presence in artificial reality
US11257280B1 (en) 2020-05-28 2022-02-22 Facebook Technologies, Llc Element-based switching of ray casting rules
US11256336B2 (en) 2020-06-29 2022-02-22 Facebook Technologies, Llc Integration of artificial reality interaction modes
US11176755B1 (en) 2020-08-31 2021-11-16 Facebook Technologies, Llc Artificial reality augments and surfaces
US11227445B1 (en) 2020-08-31 2022-01-18 Facebook Technologies, Llc Artificial reality augments and surfaces
US11178376B1 (en) 2020-09-04 2021-11-16 Facebook Technologies, Llc Metering for display modes in artificial reality
US11113893B1 (en) 2020-11-17 2021-09-07 Facebook Technologies, Llc Artificial reality environment with glints displayed by an extra reality device
US11461973B2 (en) 2020-12-22 2022-10-04 Meta Platforms Technologies, Llc Virtual reality locomotion via hand gesture
US11409405B1 (en) 2020-12-22 2022-08-09 Facebook Technologies, Llc Augment orchestration in an artificial reality environment
US11294475B1 (en) 2021-02-08 2022-04-05 Facebook Technologies, Llc Artificial reality multi-modal input switching model
US11295503B1 (en) 2021-06-28 2022-04-05 Facebook Technologies, Llc Interactive avatars in artificial reality
US11762952B2 (en) 2021-06-28 2023-09-19 Meta Platforms Technologies, Llc Artificial reality application lifecycle
US12008717B2 (en) 2021-07-07 2024-06-11 Meta Platforms Technologies, Llc Artificial reality environment control through an artificial reality environment schema
US12056268B2 (en) 2021-08-17 2024-08-06 Meta Platforms Technologies, Llc Platformization of mixed reality objects in virtual reality environments
US11798247B2 (en) 2021-10-27 2023-10-24 Meta Platforms Technologies, Llc Virtual object structures and interrelationships
US11748944B2 (en) 2021-10-27 2023-09-05 Meta Platforms Technologies, Llc Virtual object structures and interrelationships
US12026527B2 (en) 2022-05-10 2024-07-02 Meta Platforms Technologies, Llc World-controlled and application-controlled augments in an artificial-reality environment
US11947862B1 (en) 2022-12-30 2024-04-02 Meta Platforms Technologies, Llc Streaming native application content to artificial reality devices
US11991222B1 (en) 2023-05-02 2024-05-21 Meta Platforms Technologies, Llc Persistent call control user interface element in an artificial reality environment

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030132974A1 (en) * 2002-01-15 2003-07-17 International Business Machines Corporation Free-space gesture recognition for transaction security and command processing
EP1736908A2 (en) * 2005-06-20 2006-12-27 Samsung Electronics Co., Ltd. Method for authenticating user using camera module and mobile terminal therefor
US20130100250A1 (en) * 2011-10-07 2013-04-25 Massachusetts Institute Of Technology Methods and apparatus for imaging of occluded objects from scattered light
WO2013100250A1 (en) * 2011-12-26 2013-07-04 Lg Electronics Inc. Electronic device and method of controlling the same
US20130257750A1 (en) * 2012-04-02 2013-10-03 Lenovo (Singapore) Pte, Ltd. Establishing an input region for sensor input
US20130267250A1 (en) * 2012-04-09 2013-10-10 Lang Lin Method and system for integrated consumer experience and social networking
CN103376891A (zh) * 2012-04-23 2013-10-30 凹凸电子(武汉)有限公司 多媒体***,显示装置的控制方法及控制器
WO2014021769A2 (en) * 2012-08-03 2014-02-06 Crunchfish Ab Improving input by tracking gestures
US20140043230A1 (en) * 2008-01-14 2014-02-13 Primesense Ltd. Three-Dimensional User Interface Session Control
CN103999020A (zh) * 2011-12-05 2014-08-20 阿尔卡特朗讯 用于姿势控制的方法,姿势服务器设备与传感器输入设备
US20140282274A1 (en) * 2013-03-15 2014-09-18 Qualcomm Incorporated Detection of a gesture performed with at least two control objects
US20140317499A1 (en) * 2013-04-22 2014-10-23 Samsung Electronics Co., Ltd. Apparatus and method for controlling locking and unlocking of portable terminal

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9684379B2 (en) * 2011-12-23 2017-06-20 Intel Corporation Computing system utilizing coordinated two-hand command gestures
US8837780B2 (en) 2012-06-22 2014-09-16 Hewlett-Packard Development Company, L.P. Gesture based human interfaces
US10359857B2 (en) * 2013-07-18 2019-07-23 Immersion Corporation Usable hidden controls with haptic feedback

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7394346B2 (en) * 2002-01-15 2008-07-01 International Business Machines Corporation Free-space gesture recognition for transaction security and command processing
US20030132974A1 (en) * 2002-01-15 2003-07-17 International Business Machines Corporation Free-space gesture recognition for transaction security and command processing
EP1736908A2 (en) * 2005-06-20 2006-12-27 Samsung Electronics Co., Ltd. Method for authenticating user using camera module and mobile terminal therefor
US20140043230A1 (en) * 2008-01-14 2014-02-13 Primesense Ltd. Three-Dimensional User Interface Session Control
US20130100250A1 (en) * 2011-10-07 2013-04-25 Massachusetts Institute Of Technology Methods and apparatus for imaging of occluded objects from scattered light
CN103999020A (zh) * 2011-12-05 2014-08-20 阿尔卡特朗讯 用于姿势控制的方法,姿势服务器设备与传感器输入设备
WO2013100250A1 (en) * 2011-12-26 2013-07-04 Lg Electronics Inc. Electronic device and method of controlling the same
US20130257750A1 (en) * 2012-04-02 2013-10-03 Lenovo (Singapore) Pte, Ltd. Establishing an input region for sensor input
US20130267250A1 (en) * 2012-04-09 2013-10-10 Lang Lin Method and system for integrated consumer experience and social networking
CN103376891A (zh) * 2012-04-23 2013-10-30 凹凸电子(武汉)有限公司 多媒体***,显示装置的控制方法及控制器
WO2014021769A2 (en) * 2012-08-03 2014-02-06 Crunchfish Ab Improving input by tracking gestures
US20140282274A1 (en) * 2013-03-15 2014-09-18 Qualcomm Incorporated Detection of a gesture performed with at least two control objects
US20140317499A1 (en) * 2013-04-22 2014-10-23 Samsung Electronics Co., Ltd. Apparatus and method for controlling locking and unlocking of portable terminal

Also Published As

Publication number Publication date
CN107111356B (zh) 2020-10-20
WO2016085368A1 (en) 2016-06-02
US20170262063A1 (en) 2017-09-14
EP3224694A1 (en) 2017-10-04
US10185402B2 (en) 2019-01-22
EP3224694A4 (en) 2018-09-05

Similar Documents

Publication Publication Date Title
CN107111356A (zh) 用于基于手势控制装置的方法和***
US10338683B2 (en) Systems and methods for visual processing of spectrograms to generate haptic effects
Moon et al. Multiple kinect sensor fusion for human skeleton tracking using Kalman filtering
CN105009031B (zh) 增强现实设备以及在其上操作用户界面的方法
CN107682520A (zh) 用于变形效果和触觉效果的***和方法
US11249578B2 (en) Electronic device and method for changing condition for determining touch input to be pressure input
JP2014531688A (ja) 全方向ジェスチャー入力
CN107077169A (zh) 扩增现实中的空间交互
US9383824B2 (en) Gesture recognition method and wearable apparatus
US11579710B2 (en) Double-tap event detection device, system and method
CN104081307A (zh) 图像处理装置、图像处理方法和程序
US9904444B2 (en) Method of providing user interface of device and device including the user interface
EP3370134B1 (en) Display device and user interface displaying method thereof
CN107272892A (zh) 一种虚拟触控***、方法及装置
US10065111B1 (en) Mapping user interactions with a controller to a hand position
CN108475114A (zh) 用于对象姿势***的反馈
EP3955100A1 (en) Method for outputting command menu
Knierim et al. The SmARtphone Controller: Leveraging Smartphones as Input and Output Modality for Improved Interaction within Mobile Augmented Reality Environments
Sung et al. Motion quaternion-based motion estimation method of MYO using K-means algorithm and Bayesian probability
US9158380B2 (en) Identifying a 3-D motion on 2-D planes
US9950270B2 (en) Electronic device and method for controlling toy using the same
US11531419B2 (en) Electronic device for identifying coordinates of external object touching touch sensor
Wu et al. Hand motion-based remote control interface with vibrotactile feedback for home robots
EP2593847A1 (en) First response and second response
CN106155277B (zh) 电子设备和信息处理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant