CN112740146A - 姿势识别*** - Google Patents

姿势识别*** Download PDF

Info

Publication number
CN112740146A
CN112740146A CN201980062411.4A CN201980062411A CN112740146A CN 112740146 A CN112740146 A CN 112740146A CN 201980062411 A CN201980062411 A CN 201980062411A CN 112740146 A CN112740146 A CN 112740146A
Authority
CN
China
Prior art keywords
gesture
mode
controller
output
operable
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980062411.4A
Other languages
English (en)
Inventor
A·克莱因
P·格里菲斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Cano Computing Ltd
Original Assignee
Cano Computing Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Cano Computing Ltd filed Critical Cano Computing Ltd
Publication of CN112740146A publication Critical patent/CN112740146A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04812—Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

一种姿势识别***(1)包括姿势控制器(10)和计算设备(20)。控制器(10)被设计为由用户保持，使得用户对控制器(10)的运动使得能够对计算设备(20)进行姿势控制输入。在使用中，计算设备的显示单元(28)可操作为以光标(31)的形式针对控制器(10)的运动提供可视反馈，光标响应于控制器(10)的运动而移动。该***(1)可操作为使得该光标(31)位置能够响应于重置输入而被重置到原点(33)。除了重置光标(31)位置之外，***可以将控制器(10)的当前取向定义为新的原点取向。

Description

姿势识别***
技术领域
本发明涉及姿势识别***，并且具体涉及可操作为感测不同用户姿势以便控制计算设备的操作的姿势识别***。
背景技术
对于游戏***、VR(虚拟现实)***等而言，提供允许用户控制交互的控制器是已知的。简单控制器包括一个或多个用户可致动输入，并且可操作为将指示输入的用户致动的信号传送到所链接的***。
最近，一些控制器已经包含运动感测，该运动感测通常为将3轴线加速度计与3轴线陀螺仪组合的6轴线运动传感器的形式。在这种控制器中，控制器的运动可以向所链接的***提供控制输入，该控制器的运动表示保持该控制器的用户的运动或由保持该控制器的用户执行的姿势。使用控制器执行特定的预设姿势使得能够激活(或其他控制)所链接的***内的特征。这可以为用户提供所链接的***的令人愉悦和直观的控制。然而，这种预设控制可能限制用户，或者如果用户发现难以执行特定姿势，则这种预设控制可能产生问题。
通常，运动传感器输出的一些处理由控制器执行。因此，这需要提供处理单元。这可以增加控制器的成本和复杂度。另外，提供处理单元可以增加控制器中的功耗，从而需要更高容量的电源，进一步增加控制器的成本、复杂度和潜在的大小。
另一个问题是这种控制器的校准可能随时间漂移，或者用户可能对控制器取向感到困惑。因此，许多现有控制器通过使用外部参考点和/或通过诸如光学感测的替代感测***来提供校准。虽然这可以改善控制器的校准，但是它确实需要运动传感器之外的附加设施，因此增加了控制器的成本和复杂度。这也不是特别快捷方便。
因此，本发明的目的是提供一种至少部分地克服或缓解上述问题的姿势识别***。
发明内容
根据本发明的第一方面，提供了一种姿势识别***，所述姿势识别***包括姿势控制器和计算设备：所述姿势控制器包括：运动传感器，所述运动传感器可操作为感测所述控制器的运动并输出指示所述控制器的运动的信号；用户可致动姿势模式输入装置；以及通信单元，所述通信单元可操作为将所述运动传感器和所述姿势模式输入装置的输出传送到所述计算设备；所述计算设备包括：通信单元，所述通信单元可操作为从所述姿势控制器的所述通信单元接收所述运动传感器和所述姿势模式输入装置的所述输出；处理单元，所述处理单元可操作为处理所述运动传感器和所述姿势模式输入装置的所述输出；以及显示单元，所述显示单元可操作为响应于处理器以提供与所述运动传感器的所述输出相关的视觉反馈，所述视觉反馈包括所述显示单元上的光标，并且其中所述光标能够响应于所述姿势模式输入装置的所述输出而被重置到原点位置。
因此，上述***使得能够将姿势备用作控制输入。它还使得用户能够通过使用姿势模式输入装置容易地将控制器的当前位置重新定义为原点位置。因此，用户不需要进行复杂的重新校准。结果，无论在第一次拾取时控制器相对于计算设备的取向如何，用户都可以容易地确保可识别地执行姿势。此外，在计算设备上提供处理单元能够使得姿势控制器的构造相对简单、便宜并且降低了控制器的功耗。
除了将光标重置到原点位置之外，当光标静止时控制器的取向可以被定义为原点取向。在一些实施例中，所述控制器沿一个轴线相对于所述原点位置的运动不在所述显示单元上产生对应的光标运动。在其他实施例中，所述控制器沿一个轴线相对于所述原点位置的运动对应于所显示的光标的大小的变化。
姿势控制器和计算设备的通信单元可以可操作为通过任何合适的有线或无线通信链路传送数据。在优选实施例中，通信链路是无线通信链路。这具有确保与通信链路相关联的导线不抑制姿势性能的益处。无线通信链路可以根据任何合适的标准操作，包括但不限于蓝牙、蓝牙低功耗、Wi-Fi等。
除了与姿势控制器传输数据之外，所述计算设备的所述通信单元可以可操作为与一个或多个外部设备通信。所传送的数据可以包括控制信号。这可以使得姿势控制器的运动能够用于控制链接到计算设备的一个或多个设备。
该计算设备可以包括姿势引擎。姿势引擎可以集成到处理单元中或连接到处理单元。姿势引擎可以包括姿势库或连接到姿势库。所述姿势引擎可以可操作为响应于所述姿势输入装置的致动以：记录所述运动传感器的输出并将所述输出作为控制姿势存储在所述姿势库中；或者将所述运动传感器的输出与所述姿势库中先前存储的控制姿势进行比较，并且当所述运动传感器的所述输出与所存储的输出匹配时输出指示。
本领域技术人员将理解，在一些可选实施例中，可以在控制器上提供处理单元以执行对运动传感器或用户可致动姿势模式输入装置的输出的处理或预处理。然而，这将导致控制器的成本、复杂度和功耗的增加。
因此，以上控制器使得用户能够创建、存储和使用他们自己的个性化控制姿势。这可以为用户提供更高的满意度。另外，这可以允许用户补偿执行预设姿势中的困难。这种个性化还抑制了其他人使用具有所存储的个性化姿势的控制器的能力。这可以向用户提供安全感和或为其他人提供乐趣挑战以试图学习如何实现用户的个性化控制姿势。
用户可致动姿势模式输入装置可以包括任何合适的输入装置，包括但不限于推动按钮、开关、触摸传感器、压力传感器、光学传感器等。在一些实施例中，用户可致动姿势模式输入装置包括一个或多个推动按钮。在特定实施例中，用户可致动姿势模式输入装置包括单个推动按钮。
该用户可致动姿势模式输入装置可以可操作为在一个或多个模式之间切换该***。具体地，用户致动姿势模式输入装置可以可操作为将***切换成姿势记录模式或从姿势记录模式切换出，在姿势记录模式中，姿势引擎可操作为记录运动传感器的输出并将所述输出作为控制姿势存储在姿势库中。另外，用户可致动姿势模式输入装置可操作为将***切换成姿势识别模式或从姿势识别模式切换出，在姿势识别模式中，姿势引擎可操作为将运动传感器的输出与姿势库中先前存储的控制姿势进行比较，并当运动传感器的输出与所存储的输出匹配时输出指示。
在用户可致动姿势模式输入装置包括多个不同的输入装置或可操作为检测多个不同输入的输入装置的情况下，可以利用不同的输入来选择不同的模式。在用户可致动姿势模式输入装置包括单个输入的情况下，输入装置的连续致动可以在不同模式之间转换***。附加地或替代地，用户可致动姿势模式输入装置的致动可以针对不同时间间隔或针对不同时间间隔的样式在不同模式之间切换***。在这种实施例中，处理单元可以可操作为区分姿势模式输入装置的短暂致动和姿势模式输入装置的延长致动。特别地，延长致动可以被定义为超过阈值时间间隔的致动。选择阈值时间间隔，以使***能够区分短暂的用户输入(例如按钮按压)和延长的用户输入(例如保持按钮)。在一个实施例中，姿势模式输入装置的短暂致动可以重置光标位置，且姿势模式输入装置的延长致动可以选择姿势记录模式和/或识别模式。
在另一实施例中，可用于用户可致动姿势模式输入装置选择的模式可由主模式设置来确定。主模式设置可以具有常规模式和配置模式。可以通过使用用户可致动输入装置来选择主模式设置，或者可以经由计算设备的用户输入装置响应于进行的控制输入来选择主模式设置。
在常规模式中，用户可致动姿势模式输入装置的致动可以将***切换成姿势识别模式。在常规模式中，一旦用户可致动姿势模式输入装置的致动停止，就可以关闭姿势识别模式。以这种方式，仅将用户致动用户可致动姿势模式输入装置的姿势与所存储的控制姿势进行比较。这防止了用户的无意控制输入。
在配置模式中，用户可致动姿势模式输入装置的致动可以将***切换成姿势记录模式。在配置模式中，一旦用户可致动姿势模式输入装置的致动停止，就可以关闭姿势记录模式。以这种方式，仅存储用户致动用户可致动姿势模式输入装置的姿势。这防止了在记录姿势时用户的无意存储控制输入。
在记录多个控制姿势的情况下，可以分配每个姿势以控制所链接的外部设备的不同功能。
该控制器可以包括可操作为协调该控制器的操作的控制单元。
该控制器可以包含反馈装置。该反馈装置可以包括触觉、视觉或听觉反馈装置中的任何一个或多个。在触觉反馈装置的情况下，触觉反馈装置可以包括振动马达。在视觉反馈装置的情况下，视觉反馈装置可以包括显示单元和/或一个或多个照明装置。该照明装置可以包括一个或多个LED。在音频反馈装置的情况下，音频反馈装置可以包括蜂鸣器、扬声器等。
所述反馈装置可以可响应于所述用户可致动姿势模式输入装置而操作。以此方式，反馈装置可以使用用户可致动姿势模式输入装置来确认对操作模式的选择。所述反馈装置可以可响应于所述姿势引擎而操作。以这种方式，反馈装置可以提供已经执行了控制姿势的确认。由反馈装置提供的反馈可以根据所执行的特定控制姿势而变化。
该运动传感器可以包括6轴线运动传感器。这种运动传感器可以包括3轴线加速度计以及3轴线陀螺仪。在一些实施例中，运动传感器可以包括9轴线运动传感器。这种运动传感器可以包括3轴线加速度计、3轴线陀螺仪和3轴线磁力计。有利地，提供磁力计使得运动传感器能够补偿加速度计和陀螺仪的精度随时间的小的漂移。
该控制器可以包含电源。通常，电源包括电池。该电池可以是可再充电电池。在一些实施例中，电源可以包括能量收集装置。合适的能量清除装置包括但不限于压电、热电和光电元件。
该控制器可以被提供成纵长的形式。纵长的形式可以被适配成类似于魔法棒。控制器的纵长轴线可以对应于一轴线，沿着该轴线的运动不对应于光标运动，和/或，在该轴线处的运动对应于光标大小的变化。
计算设备可以包括任何合适的设备，包括但不限于个人计算机、膝上型计算机、平板计算机或其他计算机***、游戏控制台或其他游戏***、媒体播放器、智能电话等。计算设备的用户可致动输入装置可以包括任何合适的输入装置，包括但不限于推动按钮、开关、触摸传感器、压力传感器、光学传感器等。该计算设备可以另外包括音频输出装置。在这种实施例中，音频输出装置可以包括集成的扬声器和/或到外部扬声器的数据连接。
根据本发明的第二方面，提供了一种操作姿势识别***的方法，所述姿势识别***包括姿势控制器和计算设备，所述方法包括以下步骤：使用所述计算设备监视运动传感器的输出，所述运动传感器可操作为感测所述控制器的运动；使用计算设备监视在所述控制器上提供的用户可致动姿势模式输入装置的所述输出；在所述计算设备的显示单元上提供与所述运动传感器的所述输出相关的视觉反馈，所述视觉反馈包括所述显示单元上的光标；以及响应于所述姿势模式输入装置的所述输出将所述光标重置到原点位置。
根据需要或要求，本发明的第二方面的方法可以包含本发明的第一方面的任何或所有特征。
具体实施方式
为了可以更清楚地理解本发明，现在将仅以举例的方式参考附图描述本发明的一个或多个实施例，其中：
图1是根据本发明的姿势识别***的实施例的示意性框图；
图2是根据本发明的姿势识别***的一个可能的姿势控制器的外部形式的图示；并且
图3是根据本发明的姿势识别***的计算设备的显示布局的示意图。
现在转向图1，姿势识别***1包括姿势控制器10和计算设备20。控制器10被设计为由用户保持，使得用户对控制器10的运动使得能够对计算设备20进行姿势控制输入。响应于对应于特定控制姿势的运动，可以改变计算设备20或链接到计算设备20的附加设备的操作。
现在转向控制器10，该控制器包括运动传感器14、用户可致动姿势模式输入装置15和通信单元16。可选地，如图1中所示，控制器10的部件的操作可以由控制单元11协调。控制器的附加可选部件包括触觉反馈装置17和视觉反馈装置18。在图2，示出了纵长的棒的形式的控制器10的示例性实施例，其具有推动开关的形式的用户可致动姿势模式输入装置15。
通常，用户可致动姿势模式输入装置15包括推动开关等。合适的运动传感器15是包括3轴线加速度计、3轴线陀螺仪和3轴线磁力计的9轴线运动传感器。在提供它们的实施例中，触觉控制装置可以包括振动性马达，并且视觉反馈装置可以包括一个或多个LED。
现在转向计算设备20，该计算设备包括可操作为与控制器10的通信单元16传送数据的通信单元26。设备20还包括处理单元21、姿势引擎22、姿势库23、用户输入装置25、加上显示单元28以及可选的音频输出装置29。在一些实施例中，姿势引擎和姿势库可以集成到处理单元21中。.
通信单元16、26通常可操作为经由标准无线通信链路(例如蓝牙低能量)进行通信。通信单元16、26可操作为使得运动传感器14和姿势模式输入装置15的输出能够被传送到处理单元21。
在使用中，运动传感器14可操作为感测控制器10的运动并响应于该运动输出信号。运动传感器14的输出经由通信单元16、26被传递到处理单元21。然后由处理单元21、姿势引擎22和姿势库23处理运动传感器14的输出。在姿势记录模式中，姿势引擎22可操作为记录运动传感器的输出并将所述输出作为控制姿势存储在姿势库23中。在姿势识别模式中，姿势引擎22可操作为将运动传感器14的输出与姿势库23中先前存储的控制姿势进行比较，并且当运动传感器14的输出与所存储的输出匹配时输出指示。
姿势引擎22的模式的切换由用户可致动姿势模式输入装置15结合计算设备来控制。特别地，姿势模式输入装置15的输出经由通信单元16、26被传递到处理单元21。然后由处理单元21处理姿势模式输入装置15的输出以确定***的操作模式。通常，如图2中所示，姿势模式输入装置15是单个推动开关。在这种实施例中，处理单元可以可操作为区分姿势模式输入装置15的短暂致动和姿势模式输入装置的延长致动。在此上下文中，延长致动可以被定义为超过阈值时间间隔的致动。设定所述阈值时间间隔，以区分用户按压一次推动开关与用户保持推动开关的情况。
在运动传感器14的输出与所存储的控制姿势匹配的情况下，姿势引擎22可以经由处理单元21输出指示控制姿势的信号。这可以控制计算设备20或链接到计算设备20的其他设备的操作。可选地，姿势引擎22的输出可以触发触觉和视觉反馈装置17、18的激活。
在一个实施例中，控制器10具有主模式设置，其转而控制用户可致动姿势模式输入装置15的操作。主模式设置可以包括配置模式和常规模式。可以使用所链接的设备20的用户输入25来控制主模式设置。
在配置模式中，用户可致动姿势模式输入装置15的延长致动将***1切换成姿势记录模式。一旦用户可致动姿势模式输入装置15的致动停止，则关闭姿势记录模式。在用户可致动姿势模式输入装置15是推动开关的情况下，用户因此可以通过按压或释放推动开关15来控制控制姿势的记录的开始和结束。用户可以根据需要记录尽可能多或尽可能少的姿势。通过结合显示屏28使用输入装置25，可以将所记录的姿势分派给设备20的特定动作。
一旦存储了足够的控制姿势，控制器10就可以从配置模式切换到常规模式。这可以使用所链接的设备20的用户输入25来实现。
在常规模式下，用户可致动姿势模式输入装置15的延长致动将***1切换成姿势识别模式。然后，一旦用户可致动姿势模式输入装置15的致动停止，就关闭姿势识别模式。在用户可致动姿势模式输入装置15是推动开关的情况下，用户可因此通过按压或释放推动开关15来控制控制姿势的开始和结束。这样，只识别按压推动开关15的姿势，防止由于控制器10的其他运动而引起的事故控制输入。
在使用中，显示单元28可响应于处理单元21而操作以针对运动传感器14输出提供可视反馈。该反馈是以光标31的形式。通常，如图3的屏幕布局30中所示，可以在显示单元28上的姿势面板32内显示光标。光标31在姿势面板32内的移动响应于运动传感器14的输出。
初始光标31位置在原点33。运动传感器14的后续输出导致光标31在姿势面板32内的相应移动。在这种情况下，当光标处于原点33时控制器10的取向被定义为原点取向。以这种方式，用户可以容易地将控制器10的运动与光标31的运动相关联。由于姿势面板是二维空间，因此在一些实施例中，相对于光标运动，控制器10沿一个轴线的运动被忽略。在其他实施例中，控制器10沿一个轴线的运动导致光标31的大小增大或减小。典型地，在诸如图中2所示的纵长实施例中，忽略的或比例变化的尺寸对应于控制器10的纵长轴线。
在延长的时间段内使用控制器10或者在放下或释放控制器10之后重新开始使用可以导致用户不确定光标31的位置和/或不能用他们的姿势来协调光标31在窗口内的运动。这样，在本发明中，***可操作为使得光标31的位置能够响应于经由姿势输入装置15的重置输入而被重置到原点33。除了重置光标31的位置之外，***可以将控制器10的当前取向定义为新的原点取向。这确保用户的后续姿势容易地映射到姿势面板32上的光标运动。
响应于用户可致动姿势模式输入装置15的延长致动，显示单元可以可操作为显示光标轨迹34以及光标31。光标轨迹34对应于在延长致动的时间段期间光标31的位置。以此方式，向用户提供光标运动(以及因此在姿势输入/姿势记录期间的对应控制器10的运动)的视觉反馈。以此方式，用户可以在执行姿势期间或在执行姿势期之后立即经由显示单元28评估姿势的准确度。
在一个特定实现中，计算设备20具有编码应用。编码应用程序可以可操作为使得用户能够产生控制脚本以控制计算设备20或链接到计算设备的其他设备的操作。该控制脚本可以任选地沿着姿势面板32的边显示在编码面板35上。可以仅以文本形式或以文本和图标的组合来显示控制脚本。图标可以对应于姿势库23中的特定姿势。通常，图标包括对应姿势运动的视觉表示。这可以容易地使用户能够将所存储的姿势分配给用于计算设备20或任何其他所链接的设备的特定控制输入。
控制脚本可以使用输入装置25来编写。一旦编写了控制脚本，用户就可以将棒10切换到配置模式并激活姿势识别模式以记录控制姿势。视觉和/或触觉反馈装置17、18可以在记录期间或之后被激活以根据需要确认操作。然后可以使用用户输入25和显示屏28将所记录的控制姿势分配给控制脚本。
一旦记录并分配了足够的控制姿势，用户可以将棒10切换回到常规模式。根据需要，用户可以使用开关15激活姿势识别模式并执行控制姿势。作为响应，姿势引擎22将该姿势与所存储的控制姿势匹配。另外，触觉反馈装置17可以被激活以提供识别该姿势的触觉反馈。视觉反馈装置18也可以被激活以确认识别。
处理单元21将随后可操作为在计算设备20上运行所分配的控制脚本。因此，用户姿势可以控制计算设备20和任何所链接的设备的操作。
在一种实现中，***可以提供教育工具。在这种实现中，控制器10可以是棒的形式(如在图2中)。用户可以将姿势分配给特定显示输出，诸如移动在姿势面板32内显示的对象或引起在姿势面板32内显示的对象的显示/删除。因此，用户可以给出在设备20上执行魔法拼写的印象。因为姿势由用户自己记录，所以他们可以确信他们能够执行该姿势。另外，其然后可以对其他用户提供复制相同的控制姿势并由此执行魔法拼写的挑战。
在其他实现中，计算设备20连接到诸如一个或多个照明单元、HVAC(加热、通风和冷却)单元、音频***等的其他设备。因此，由计算设备20识别的姿势可以控制外部设备。因此，用户可以在保持控制器10时通过姿势容易地改变照明、环境条件或外部音频(例如音乐)。
在一些实现方式中，当姿势引擎22没有将姿势识别模式中的控制姿势与姿势库23中任何存储的控制姿势匹配时，触觉反馈装置17可以被激活以提供该姿势未被识别的触觉反馈，并且视觉反馈装置18也可以被激活以确认识别失败。通常，触觉反馈装置17可以响应于控制姿势的识别/不识别而将不同的振动模式应用于控制器，并且视觉反馈装置18可以响应于控制姿势的识别/不识别而以不同的颜色或以不同的脉冲样式进行照明。
仅通过示例的方式描述了以上实施例。在不脱离如所附权利要求中所限定的本发明的范围的情况下，许多变化是可能的。

Claims (26)

1.一种姿势识别***，包括姿势控制器和计算设备；所述姿势控制器包括：运动传感器，所述运动传感器可操作为感测所述控制器的运动并输出指示所述控制器的所述运动的信号；用户可致动姿势模式输入装置；以及通信单元，所述通信单元可操作为将所述运动传感器和所述姿势模式输入装置的输出传送到所述计算设备；所述计算设备包括：通信单元，所述通信单元可操作为从所述姿势控制器的所述通信单元接收所述运动传感器和所述姿势模式输入装置的所述输出；处理单元，所述处理单元可操作为处理所述运动传感器和所述姿势模式输入装置的所述输出；以及显示单元，所述显示单元可操作为响应于处理器以提供与所述运动传感器的所述输出相关的视觉反馈，所述视觉反馈包括所述显示单元上的光标，并且其中所述光标能够响应于所述姿势模式输入装置的所述输出而被重置到原点位置。
2.根据权利要求1所述的姿势识别***，其中，当所述光标静止时，所述控制器的取向被定义为原点取向。
3.根据权利要求2所述的姿势识别***，其中，所述控制器沿一个轴线相对于所述原点位置的运动不在所述显示单元上产生对应的光标运动，和/或其中，所述控制器沿一个轴线相对于所述原点位置的运动对应于所显示的光标的大小的变化。
4.根据任一前述权利要求所述的姿势识别***，其中，所述计算设备的所述通信单元可操作为与一个或多个外部设备通信。
5.根据前述任一权利要求所述的姿势识别***，其中，所述计算设备包括姿势引擎和姿势库。
6.根据权利要求5所述的姿势识别***，其中，所述姿势引擎可操作为响应于所述姿势输入装置的致动以：记录所述运动传感器的输出并将所述输出作为控制姿势存储在所述姿势库中；或者将所述运动传感器的输出与所述姿势库中先前存储的控制姿势进行比较，并且当所述运动传感器的所述输出与所存储的输出匹配时输出指示。
7.根据任一前述权利要求所述的姿势识别***，其中，所述用户可致动姿势模式输入装置包括一个或多个推动按钮、开关、触摸传感器、压力传感器或光学传感器。
8.根据任一前述权利要求所述的姿势识别***，其中，所述用户可致动姿势模式输入装置可操作为将所述***切换成姿势记录模式或从所述姿势记录模式切换出，在所述姿势记录模式中，所述姿势引擎可操作为记录所述运动传感器的输出，并将所述输出作为控制姿势存储在姿势库中。
9.根据任一前述权利要求所述的姿势识别***，其中，所述用户可致动姿势模式输入装置可操作为将所述***切换成姿势识别模式或从所述姿势识别模式切换出，在所述姿势识别模式中，所述姿势引擎可操作为将所述运动传感器的输出与所述姿势库中先前存储的控制姿势进行比较，并且当所述运动传感器的所述输出与所存储的输出匹配时输出指示。
10.根据任一前述权利要求所述的姿势识别***，其中，所述用户可致动姿势模式输入装置包括单个输入，并且所述输入装置的连续致动在不同模式之间转换所述***，或者所述用户可致动姿势模式输入装置的致动针对不同时间间隔或者针对不同时间间隔的样式在不同模式之间切换所述控制器。
11.根据任一前述权利要求所述的姿势识别***，其中，所述处理单元可操作为区分所述姿势模式输入装置的短暂致动与所述姿势模式输入装置的延长致动。
12.根据权利要求11所述的姿势识别***，其中，延长致动定义为超过阈值时间间隔的致动。
13.根据权利要求11或权利要求12所述的姿势识别***，其中，所述姿势模式输入装置的短暂致动重置光标位置，并且所述姿势模式输入装置的延长致动选择姿势记录模式和/或姿势识别模式。
14.根据任一前述权利要求所述的姿势识别***，其中，可用于所述用户可致动姿势模式输入装置选择的模式由主模式设置确定，并且所述主模式设置具有常规模式，并且其中，所述用户可致动姿势模式输入装置的致动将所述***切换成姿势识别模式；并且其中所述主模式设置具有配置模式，并且其中所述用户可致动姿势模式输入装置的致动将所述***切换成姿势记录模式。
15.根据任一前述权利要求所述的姿势识别***，其中，所述控制器包含反馈装置，所述反馈装置可响应于所述用户可致动姿势模式输入装置而操作。
16.根据任一前述权利要求所述的姿势识别***，其中，所述控制器提供为适于类似魔法棒的纵长的形式。
17.根据任一前述权利要求所述的姿势识别***，其中，所述计算设备包括个人计算机、膝上型计算机、平板计算机、游戏控制台、媒体播放器或智能电话。
18.一种操作姿势识别***的方法，所述姿势识别***包括姿势控制器和计算设备，所述方法包括以下步骤：使用所述计算设备监视运动传感器的输出，所述运动传感器可操作为感测所述控制器的运动；使用所述计算设备监视在所述控制器上提供的用户可致动姿势模式输入装置的输出；在所述计算设备的显示单元上提供与所述运动传感器的所述输出相关的视觉反馈，所述视觉反馈包括所述显示单元上的光标；以及响应于所述姿势模式输入装置的所述输出将所述光标重置到原点位置。
19.根据权利要求18所述的方法，其中，当所述光标静止时，所述控制器的取向可以被定义为原点取向。
20.根据权利要求19所述的方法，其中，所述控制器沿一个轴线相对于所述原点位置的运动不在所述显示单元上产生相应的光标运动，和/或，所述控制器沿一个轴线相对于所述原点位置的运动对应于所显示的光标的大小的变化。
21.根据权利要求18到20中任一项所述的方法，其中，计算设备可操作为区分所述姿势模式输入装置的短暂致动和所述姿势模式输入装置的延长致动。
22.根据权利要求21所述的方法，其中，延长致动被定义为超过阈值时间间隔的致动。
23.根据权利要求21或权利要求22所述的方法，其中，所述姿势模式输入装置的短暂致动重置光标位置，并且所述姿势模式输入装置的延长致动选择姿势记录模式和/或姿势识别模式。
24.根据权利要求18到23中任一项所述的方法，其中，能够将所述***切换成姿势记录模式或从所述姿势记录模式切换出，在所述姿势记录模式中，姿势引擎可操作为记录所述运动传感器的输出并将所述输出作为控制姿势存储在姿势库中。
25.根据权利要求18到24中任一项所述的方法，其中，能够将所述控制器切换成姿势识别模式或从所述姿势识别模式切换出，在所述姿势识别模式中，所述姿势引擎可操作为将所述运动传感器的输出与所述姿势库中先前存储的控制姿势进行比较，并且当所述运动传感器的所述输出与所存储的输出匹配时输出指示。
26.根据权利要求18到25中任一项所述的方法，其中，由主模式设置确定可用于选择的模式，所述主模式设置具有常规模式，其中，能够将所述控制器切换成姿势识别模式和配置模式或从所述姿势识别模式和所述配置模式切换出，其中，能够将所述控制器切换成姿势记录模式或从所述姿势记录模式切换出。
CN201980062411.4A 2018-07-24 2019-07-24 姿势识别*** Pending CN112740146A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
GB1812080.8 2018-07-24
GBGB1812080.8A GB201812080D0 (en) 2018-07-24 2018-07-24 Motion sensing controller
PCT/GB2019/052077 WO2020021262A2 (en) 2018-07-24 2019-07-24 Gesture recognition system

Publications (1)

Publication Number Publication Date
CN112740146A true CN112740146A (zh) 2021-04-30

Family

ID=63364528

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980062411.4A Pending CN112740146A (zh) 2018-07-24 2019-07-24 姿势识别***

Country Status (5)

Country Link
US (1) US11301059B2 (zh)
EP (1) EP3827326A2 (zh)
CN (1) CN112740146A (zh)
GB (1) GB201812080D0 (zh)
WO (1) WO2020021262A2 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102481067B1 (ko) * 2019-12-23 2022-12-27 주식회사 후본 멀티모달 인터페이스 기반의 햅틱 장치
US20230398437A1 (en) * 2022-06-09 2023-12-14 Wizard Tag LLC Method and apparatus for game play

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050212749A1 (en) * 2004-03-23 2005-09-29 Marvit David L Motion sensor engagement for a handheld device
US20060187196A1 (en) * 2005-02-08 2006-08-24 Underkoffler John S System and method for gesture based control system
US20120194427A1 (en) * 2011-01-30 2012-08-02 Lg Electronics Inc. Image display apparatus and method for operating the same
JP2012146220A (ja) * 2011-01-13 2012-08-02 Olympus Corp ジェスチャ入力装置
US20140092011A1 (en) * 2012-09-28 2014-04-03 Movea Remote control with 3d pointing and gesture recognition capabilities
US20140245220A1 (en) * 2010-03-19 2014-08-28 Blackberry Limited Portable electronic device and method of controlling same
WO2016148772A1 (en) * 2015-03-17 2016-09-22 Illinois Tool Works Inc. Armband based systems and methods for controlling welding equipment using gestures and like motions

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7301526B2 (en) 2004-03-23 2007-11-27 Fujitsu Limited Dynamic adaptation of gestures for motion controlled handheld devices
US20060267966A1 (en) * 2005-05-24 2006-11-30 Microsoft Corporation Hover widgets: using the tracking state to extend capabilities of pen-operated devices
US20080291160A1 (en) 2007-05-09 2008-11-27 Nintendo Co., Ltd. System and method for recognizing multi-axis gestures based on handheld controller accelerometer outputs
US8225343B2 (en) 2008-01-11 2012-07-17 Sony Computer Entertainment America Llc Gesture cataloging and recognition
US8593576B2 (en) * 2009-10-15 2013-11-26 At&T Intellectual Property I, L.P. Gesture-based remote control
US9174123B2 (en) 2009-11-09 2015-11-03 Invensense, Inc. Handheld computer systems and techniques for character and command recognition related to human movements
KR101646953B1 (ko) * 2010-01-12 2016-08-09 엘지전자 주식회사 디스플레이 장치 및 그 제어방법
WO2011112192A1 (en) * 2010-03-11 2011-09-15 Thomson Licensing Apparatus and method for conserving power for devices
US20120066624A1 (en) * 2010-09-13 2012-03-15 Ati Technologies Ulc Method and apparatus for controlling movement of graphical user interface objects
US20150169075A1 (en) 2013-12-13 2015-06-18 Jason Kelly Peixoto Three-Dimensional Gesture Remote Control
EP2887184A1 (en) 2013-12-23 2015-06-24 Movea Air pointer with improved user experience
CN105700784A (zh) * 2014-11-28 2016-06-22 神讯电脑(昆山)有限公司 触控输入方法及其电子装置
US9692756B2 (en) * 2015-09-24 2017-06-27 Intel Corporation Magic wand methods, apparatuses and systems for authenticating a user of a wand

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050212749A1 (en) * 2004-03-23 2005-09-29 Marvit David L Motion sensor engagement for a handheld device
US20060187196A1 (en) * 2005-02-08 2006-08-24 Underkoffler John S System and method for gesture based control system
US20140245220A1 (en) * 2010-03-19 2014-08-28 Blackberry Limited Portable electronic device and method of controlling same
JP2012146220A (ja) * 2011-01-13 2012-08-02 Olympus Corp ジェスチャ入力装置
US20120194427A1 (en) * 2011-01-30 2012-08-02 Lg Electronics Inc. Image display apparatus and method for operating the same
US20140092011A1 (en) * 2012-09-28 2014-04-03 Movea Remote control with 3d pointing and gesture recognition capabilities
WO2016148772A1 (en) * 2015-03-17 2016-09-22 Illinois Tool Works Inc. Armband based systems and methods for controlling welding equipment using gestures and like motions

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
刘剑锋;张大兴;: "一种基于加速计的手势识别算法及其在虚拟环境中的应用", 机电工程, no. 08, pages 95 - 100 *

Also Published As

Publication number Publication date
WO2020021262A2 (en) 2020-01-30
US11301059B2 (en) 2022-04-12
US20210165506A1 (en) 2021-06-03
EP3827326A2 (en) 2021-06-02
GB201812080D0 (en) 2018-09-05
WO2020021262A3 (en) 2020-03-05

Similar Documents

Publication Publication Date Title
KR100533839B1 (ko) 동작기반 전자기기 제어장치 및 그 제어방법
US10564730B2 (en) Non-collocated haptic cues in immersive environments
US10809825B2 (en) Control apparatus and control program for determining how a controller device is worn
KR101299682B1 (ko) 범용 입력장치
JP4044114B2 (ja) 把持式コンピュータインタラクティブデバイス
US8760432B2 (en) Finger pointing, gesture based human-machine interface for vehicles
JP2018504682A5 (zh)
EP3000013A1 (en) Interactive multi-touch remote control
JP2011525247A (ja) モバイル仮想ギターの指板表示装置及び方法
US10275048B2 (en) Method and apparatus for configuring and selectively sensing use of a device
BR112012004844B1 (pt) método para usar um dispositivo eletrônico portátil
KR101080803B1 (ko) 실감 인터랙션 시스템 및 방법
JP2015526828A (ja) 人間工学的なデータ入力デバイス
WO2013163233A1 (en) Detachable sensory-interface device for a wireless personal communication device and method
US11301059B2 (en) Gesture recognition system having origin resetting means
CN105830455B (zh) 远程控制装置及其控制方法
JP2021077311A (ja) ヒューマン・コンピュータ・インタラクション・システム及びヒューマン・コンピュータ・インタラクションの方法
CN103577092B (zh) 信息处理设备和信息处理方法
KR20100009023A (ko) 움직임을 인식하는 장치 및 방법
KR101314641B1 (ko) 사용자 제스처를 이용한 조작 방법 및 디지털 장치
WO2015137014A1 (ja) 情報入出力装置及び情報入出力方法
Murata et al. A gesture-based remote control for finger disabled people
KR102354559B1 (ko) 콘텐츠 제어용 다종 인터페이스 장치
KR102137364B1 (ko) 역동적인 프리젠테이션을 위한 모션인식 프리젠터 장치
US11714484B2 (en) Method and system for interaction between VR application and controller capable of changing length and center of gravity

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination