CN115867878A - 用于获得用户输入的方法和设备 - Google Patents

用于获得用户输入的方法和设备 Download PDF

Info

Publication number
CN115867878A
CN115867878A CN202080102853.XA CN202080102853A CN115867878A CN 115867878 A CN115867878 A CN 115867878A CN 202080102853 A CN202080102853 A CN 202080102853A CN 115867878 A CN115867878 A CN 115867878A
Authority
CN
China
Prior art keywords
user input
movement
portable device
user
application
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202080102853.XA
Other languages
English (en)
Inventor
G·佩尔松
F·达尔格仁
A·亨特
A·克里斯滕松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Telefonaktiebolaget LM Ericsson AB
Original Assignee
Telefonaktiebolaget LM Ericsson AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Telefonaktiebolaget LM Ericsson AB filed Critical Telefonaktiebolaget LM Ericsson AB
Publication of CN115867878A publication Critical patent/CN115867878A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Input From Keyboards Or The Like (AREA)
  • Position Input By Displaying (AREA)

Abstract

本公开的实施例提供了一种用于获得对便携式设备(100)中的应用的用户输入的方法、计算机程序产品和设备(100)，便携式设备(100)包括触摸检测区域(102)和一个或多个移动确定传感器(104)。该方法包括：在时段内检测(S11)在触摸检测区域(102)上的第一用户输入，其中，第一用户输入与应用相关。该方法还包括：登记(S12)便携式设备在该时段期间在预定空间内的移动；以及导致(S14)应用在该时段期间响应第二用户输入，其中，从所登记的移动中获得第二用户输入。

Description

用于获得用户输入的方法和设备
技术领域
本公开涉及一种用于获得移动生成的用户输入和/或用于执行移动生成的用户控制的方法和设备。具体地，本公开涉及一种用于获得对在包括触摸检测区域和一个或多个移动确定传感器的便携式设备中的上下文关联应用的用户输入的方法和设备。
背景技术
在过去十年中，所谓的触摸屏或触摸面板(即，通过物理触摸激活的用户界面)被广泛应用于人们工作和生活的所有方面的各种电子产品中。物理触摸屏功能如今通常被用于智能电话、平板电脑、智能手表或类似的便携式设备。
物理触摸屏通过组合显示设备和触摸控制设备的功能来提供输入和显示技术。存在多种触摸控制技术以通过触摸控制界面实现用户输入，例如使用阻性、容性、红外和电磁传感器和技术。通过物理触摸屏的用户输入包括使用一个或几个手指或使用专门适于在触摸屏上使用的设备(例如笔)来触摸显示区域。
在将触摸屏技术应用于便携式设备(例如智能电话或智能手表)时，用户输入受到触摸屏大小的限制，触摸屏大小需要适合便携式设备的大小，即，相当小的大小。对便携式设备的用户输入被限于安装到便携式设备的小尺寸触摸屏区域。
因此，需要改进用于获得便携式设备中的用户输入的能力。
发明内容
因此，本公开的一个目的是提供一种用于接收用户输入的方法、计算机程序产品和设备，其设法缓解、减轻或消除当前已知解决方案的所有或至少一些上述缺点。
借助于如在所附权利要求中定义的方法、计算机程序产品和设备来实现该目的和其他目的。术语“示例性”在当前上下文中将被理解为用作实例、示例或说明。
根据本公开的第一方面，提供了一种用于获得对便携式设备中的应用的用户输入的方法，所述便携式设备包括触摸检测区域和一个或多个移动确定传感器。所述方法包括：在时段内检测在所述触摸检测区域上的第一用户输入，其中，所述第一用户输入与所述应用相关。所述方法还包括：登记所述便携式设备在所述时段期间在预定空间内的移动；以及导致所述应用在所述时段期间响应第二用户输入，其中，从所登记的移动中获得所述第二用户输入。
有利地，所提出的方法能够被用于提供扩展用户输入域，即，在大于设备的物理尺寸的空间中实现用户输入。所提出的方法提供了第二基于手势的用户界面UI，以在物理触摸检测区域之外交互。扩展UI使用户能够与设备中的各种应用进行交互和控制。因此，所提出的方法还允许在基于手势的扩展用户界面中的用户输入，该用户输入能够与通过触摸检测区域的第一用户输入相组合。因此，基于手势的扩展第二用户界面提供了物理触摸显示器的自然、直观的扩展。
在一些示例中，所述获得用户输入的方法包括：激活所述便携式设备以响应第二用户输入。
因此，基于手势的扩展第二用户界面能够在需要时被激活，从而减少了在意图转变成扩展用户界面之前无意的第二输入的风险。
在一些示例中，激活所述便携式设备以响应第二用户输入包括：从所述触摸检测区域接收与在朝向所述触摸检测区域的周边的方向上的用户活动相关的信息；和/或检测在所述触摸检测区域的周边处的第一用户输入。
在一些示例中，所述第二用户输入是所述便携式设备在所述用户的可达范围内的做手势移动，并且通过从手势库中取得至少一个手势解释并且将所述手势解释应用于所述做手势移动来获得所述第二用户输入。
在一些示例中，所述应用是从用户上下文确定的上下文关联应用，其中，从所述用户的物理位置、商业位置以及连接设备中的一个或多个来确定所述用户上下文。
根据本公开的第二方面，提供了一种包括非暂时性计算机可读介质的计算机程序产品，在所述非暂时性计算机可读介质上具有包括程序指令的计算机程序。所述计算机程序能够加载到数据处理单元中，并且被配置为当所述计算机程序由所述数据处理单元运行时导致执行根据第一方面所述的方法。
一种便携式设备，包括触摸检测区域、一个或多个移动确定传感器和处理电路，其中，所述处理电路被配置为：在时段内检测在所述触摸检测区域上的第一用户输入，其中，所述第一用户输入与所述应用相关；登记所述便携式设备在所述时段期间在预定空间内的移动；以及导致所述应用在所述时段期间响应第二用户输入，其中，从所登记的移动中获得所述第二用户输入。
在一些示例中，所述便携式设备是智能电话、平板电脑、智能手表或可穿戴设备。“设备”一词被用于表示所有上述类型的设备。
一些实施例的优点是实现扩展用户输入，允许不受便携式显示器的物理尺寸限制的空间内的用户输入，同时最小化无意用户输入的风险，例如将做手势移动误认为输入控制。
一些实施例的另一个优点在于用户界面UI是直观的，以使得从便携式设备的移动获得的用户输入被体验为通过触摸检测区域获得的用户输入的非常自然的扩展。
附图说明
上述内容将从以下对示例实施例的更具体描述中显而易见，如附图所示，在附图中，类似的参考字符指不同视图中的相同部分。附图不一定按比例，而是将重点放在说明示例实施例上。
图1公开了具有用于获得用户输入的扩展用户界面的便携式设备的示例实现；
图2A和2B公开了用于获得用户输入的示例方法步骤的流程图表示；
图3公开了便携式设备的示例示意框图；
图4-7公开了示例用例；
图8公开了示例计算环境。
具体实施方式
将在以下参考附图更全面地描述本公开的各方面。但是，本文公开的装置和方法可以以多种不同的形式实现，并且不应被解释为限于本文阐述的各方面。附图中的类似编号指整个图中的类似元件。
本文使用的术语仅用于描述本公开的特定方面的目的，而并非旨在限制本发明。应当强调的是，当在本说明书中使用时，术语“包括/包含”被视为指定声明的特征、整数、步骤或组件的存在，但是并不排除一个或多个其他特征、整数、步骤、组件或它们的组合的存在或添加。如本文所使用的，单数形式“一”、“一个”和“该”旨在也包括复数形式，除非上下文明确地另有所指。
将在以下参考附图更全面地描述和例示本公开的实施例。但是，本文公开的解决方案可以以多种不同的形式实现，并且不应被解释为限于本文阐述的实施例。
将理解，当根据方法来描述本公开时，本公开还可以体现在一个或多个处理器和耦接到一个或多个处理器的一个或多个存储器中，其中一个或多个存储器存储一个或多个程序，这些程序当由一个或多个处理器执行时执行本文公开的步骤、服务和功能。
在以下示例性实施例的描述中，相同的附图标号表示相同或类似的组件。
图1公开了具有用于获得用户输入的扩展用户界面的便携式设备的示例实现，并且示出了在简化场景中向便携式设备提供用户输入。在所公开的场景中，用户能够向便携式设备100(例如智能电话、平板电脑、智能手表或可穿戴设备)提供用户输入。如下面将进一步解释的，所提出的解决方案实现扩展用户界面，由此将移动(即，直观的做手势)识别为对便携式设备的用户输入。因此，当用户使用便携式设备来执行手势(即，引起便携式设备的移动)时，设备被配置为以期望的方式响应移动。
转到图1，便携式设备100包括触摸检测区域102。便携式设备100还包括一个或多个移动确定传感器104。便携式设备100可以被握持在一只手中，而另一只手的一个或多个手指触摸该触摸检测区域102。握持设备的手开始移动便携式设备100。设备的这种移动可以导致触摸检测区域102上的滑动输入(swipe input)。当一个或多个手指从触摸检测区域102滑出时，便携式设备100可以在手势检测模式下操作以借助于一个或多个移动确定传感器104来接收用户输入。可以响应于经由触摸检测区域102接收到激活用户输入或者遵循由移动确定传感器104识别的激活手势，实现借助于移动确定传感器104的用户输入。因此，当手指从触摸检测区域102滑出时，便携式设备100的用户界面被扩展以便还接收手势导出的用户输入(即，握持设备的手的手势)。能够经由触摸检测区域102接收第一用户输入和经由移动检测传感器104接收第二用户输入的扩展用户界面提供了快速而直观的扩展用户界面。
因此，在简化场景中，用户可以例如通过握持设备来使用一只手物理地移动便携式设备，而另一只手的一个或多个手指(或食指)与触摸检测区域102接触。物理设备在一个方向上的做手势移动将导致在相反方向上跨触摸区域的手指移动，从而导致一个或多个手指在触摸检测区域102上进行滑动移动。做手势移动由一个或多个移动确定传感器104登记。当一个或多个手指离开触摸检测区域102时，可以在便携式设备100中切换或扩展用户输入模式，以使得从由移动确定传感器104登记的做手势移动中取得第二用户输入。当然，便携式设备100可以被配置为同时使用第一用户输入和第二用户输入的组合来操作，或者在激活操作(例如上述跨触摸检测区域的滑动移动)之后从第一用户输入模式切换到第二用户输入模式。手势检测模式的激活还可能要求便携式设备100的其他独特的做手势，即，以给定方式移动设备以实现通过扩展手势界面的用户输入。因此，设备的自然移动导致设备以特定方式响应，从而使扩展用户界面快速而直观。
在本发明的一个实施例中，滑动移动主要由设备(便携式设备)的移动导致，而较少通过移动触摸触敏区域的手指导致，直到触摸触敏区域的手指到达触敏区域上的特定位置或区域(例如到达触敏区域的边界)，从而导致设备采取动作。一个动作可以是特定动作，例如更改菜单和/或屏幕内容。另一个动作可以是更改模式，以使得设备进一步接受设备的后续移动，其中设备的后续移动可以导致设备的特定动作(例如更改菜单或屏幕内容)。更改菜单或屏幕内容的示例仅是设备可以采取的特定动作的一个示例。
为了便于描述本发明的上述方面，使用以下术语：
·滑动移动，意味着一个或多个手指或其他对象在触摸检测区域上的滑动，作为由触摸检测区域检测的第一用户输入。注意，滑动移动可以由手指移动、设备移动或两者的组合所导致。
·设备移动(设备的手势移动)，意味着通常由握持设备的手的移动所导致的设备的移动，从而导致由一个或多个移动确定传感器检测的第二用户输入。
·手指移动，意味着触摸该触摸检测区域的一个或多个手指或一个或多个其他对象的移动。
注意，在使用平坦的触敏区域的情况下，滑动移动被限于二维(触敏区域的平面)。设备移动和手指移动两者可以是三维的。设备移动在触敏区域的平面上的投影是二维的。手指移动在触敏区域上的投影是二维的。
触摸检测区域可以在更宽的范围内确定触摸、悬停和/或对压力敏感。
现在将讨论在以下两项之间的相对移动的一些方面：
·手指，意味着触摸该触摸检测区域的一个或多个手指或一个或多个其他对象，
·设备。
如果在手指与设备之间没有相对移动，则将不导致滑动移动。如果在手指与设备之间存在相对移动，则只要手指不离开触摸检测区域，将导致滑动移动。
本申请将专注于相对移动，而不涵盖例如操作设备的人在例如乘坐正在加速的火车时对设备产生的影响等内容。如何解决相关技术问题以能够仅处理相对移动不在本申请的范围内。
如何识别滑动移动(意味着对应用和/或操作***有意义的滑动移动)的细节不在本申请的范围内。该映射可以以多种方式完成，一种方式可以是将滑动移动与存储在一个或多个滑动移动库中的一个或多个有效滑动移动进行比较。滑动移动可能针对一个应用和/或操作***有效，而针对另一个应用和/或操作***无效。如何确切地完成映射以及如何存储信息不在本申请的范围内。识别滑动移动还可以被表达为将滑动移动映射到有效滑动移动上或者将滑动移动解释为有效滑动移动。
如何识别设备移动(设备的手势移动)，意味着如何将设备移动映射到有效设备移动(意味着对应用和/或操作***有意义的设备移动)上，也不在本申请的范围内。有关如何识别滑动移动的对应考虑事项可适用。识别设备移动还可以被表达为将设备移动映射到有效设备移动上或者将设备移动解释为有效设备移动。
在现实生活中，用户很难或不可能做出完美的滑动移动或完美的设备移动，其中完美意味着它们与设备的用户尝试达到的几何图案完全匹配。例如，很难或不可能以特定半径滑动一个完美的圆，而是设备必须尝试确定滑动移动是否“足够接近”以被解释/接受为圆或与设备的应用和/或操作***相关的任何其他图案。手势移动也是如此。这些决策将基于一组标准。
如何解决设备如何将滑动移动解释并接受为适合作为设备的输入的有效滑动移动的问题以及如何解决设备如何将设备移动(设备的手势移动)解释并接受为适合作为设备的输入的设备移动的问题不在本申请的范围内。本申请专注于如何处理这两者的组合。
现在将讨论几个基本示例。为了便于理解，讨论基于以下“针对场景的基本假设”：
·设备的形状是典型的智能电话(意味着具有基本平坦的触敏区域)。
·设备以完全水平的位置被握持在用户面前，这意味着设备的触敏区域指向上方。
·手指始终停留在触敏区域上，除非另有特别说明。
·设备移动：
ο仅在水平面上发生，这意味着它可以
·远离用户和/或朝向用户移动
·向左和/或向右移动
ο不能在垂直面上发生，这意味着
·它不能上下移动
ο不允许设备被倾斜和/或旋转等，除非另有特别说明。
第一示例：一个方向上(例如远离用户)的设备移动，同时将手指保持在大致固定的位置，将导致手指在相反方向上跨触摸检测区域滑动，从而导致一个或多个手指在触摸检测区域上进行滑动移动，在该示例中(如果现在使用设备作为参考点)可以说是在朝向用户的方向上。
第二示例：一个方向上(例如远离用户)的设备移动，同时在相同方向上(在这种情况下为远离用户)以与设备移动大致相同的速度进行手指移动，将不会导致触摸检测区域上的任何滑动移动。
第三示例：一个方向上(例如远离用户)的设备移动，同时以与设备移动相同的速度在垂直方向上(例如向右)移动手指，将导致手指以对角方式进行滑动移动。
如可以看到的，各种移动组合当然是可能的，如果设备移动或手指移动都未被限于二维，则更是如此。
应当注意，设备移动和手指移动将共同决定滑动移动的外观。
讨论现在将专注于如何确定滑动移动主要由设备移动还是由手指移动导致。
通过将设备的动作基于设备移动和滑动移动(其由设备移动和手指移动导致)两者，设备可以获得广泛扩展的用户界面。
一个重要特征将是能够区分以下两种示例情况：保持手指大致静止，同时使设备远离用户移动；将手指朝向用户移动，同时保持设备大致静止。这两种情况都将以类似的方式导致朝向用户的滑动移动。在现实生活中，用户很难完全静止地握持某物，在此可以改为讨论滑动移动主要由设备移动还是主要由手指移动所产生。
对于接下来的几个示例，前面所述的“针对场景的基本假设”可适用，但具有以下区别：
·设备只能远离用户和/或朝向用户移动
ο我们将该方向称为x轴，其中正值远离用户。
为了便于理解，将引入一些附加术语：
·VDevice：设备移动的速度
οVDevice,x：沿着x轴的设备移动的速度。
οTDDevice,x：设备在时间T内以速度VDevice,x移动时沿着x轴的行进距离(位置更改)。
·VFinger：手指移动的速度
οVFinger,x：沿着x轴的手指移动的速度。
οTDFinger,x：手指在时间T内以速度VFinger,x移动时沿着x轴的行进距离(位置更改)。
·VSwipe：滑动移动的速度
οVSwipe,X：沿着X轴的滑动移动的速度。
οTDSwipe,x：滑动在时间T内以速度VSwipe,x移动时沿着x轴的行进距离(位置更改)。
移动检测传感器检测加速度，加速度然后必须被转换成速度。
设备使它的决策基于瞬时速度还是平均速度更多是实现问题，并且在不同的情况下可以具有其优点和缺点。为了简单起见，如果没有显式声明，我们将讨论平均速度。还应当注意到，设备可以使它的决策基于距离或时间，而不是使它的决策基于速度。
下面是几个示例，其中设备将对用户输入做出动作，包括检测设备正在远离用户移动、检测朝向用户的滑动移动以及还确定滑动移动是否主要由设备移动所导致。示例中使用的值仅是显示技术和逻辑的示例。将由实现来选择合适的值。
下面的第一示例专注于手指何时跟随设备移动(在与设备移动相同的方向上移动)
·用户以速度VA,x使设备远离他移动，同时保持其手指静止。
οVDevice,x＝VA,x，VFinger,x＝0，VSwipe,x＝-(VDevice,x-VFinger,x)＝-VA,x
ο在此，滑动移动完全由设备移动导致
ο应用通常将针对这种情况做出动作
·用户以速度VA,x使设备远离他移动，同时让其手指(有意或无意)
缓慢地“跟随”设备，例如以10％的VA,x。
οVDevice,x＝VA,x，VFinger,x＝0.1VA,x，VSwipe,x＝-(VDevice,x-VFinger,x)＝-0.9VA,x
ο在此，可以认为滑动移动主要由设备移动导致
ο应用通常将针对这种情况做出动作
·用户以速度VA,x使设备远离他移动，同时让其手指(有意或无意)非常快速地“跟随”设备，例如以90％的VA,x。
οVDevice,x＝VA,x，VFinger,x＝0.9VA,x，VSwipe,x＝-(VDevice,x-VFinger,x)＝-0.1VA,x
ο可以讨论这种情况作为应用的输入是否有用。还可以讨论滑动移动是否主要由设备移动导致。
ο应当注意，如果手指以与设备相同的速度跟随设备，则将不导致滑动移动(这意味着如上所述的应用将不针对这种情况做出动作)。
ο还应当注意，如果手指移动速度比设备快，则将导致远离用户的滑动移动(这意味着如上所述的应用将不针对这种情况做出动作)
对于一些应用可以有用的是，针对如上所述的手指“跟随”设备移动的速度而设置跟随阈值(Tfollow,x)，设备可以使用该阈值来区分主要由设备移动导致的滑动移动与不是主要由设备移动导致的滑动移动。这种阈值可以以各种方式来表达。一种方式可以是考虑到所发生的滑动移动主要由设备移动导致，使Tfollow,x声明VFinger,x可以针对设备具有的最大VDevice,x百分比。其他方式可以是使跟随阈值表示速度(例如VB,x)，而不是VDevice,x(其在上面的示例中为VA,x)的百分比。
以下是几种更多的情况，其中手指不是跟随(在与设备移动相同的方向上移动)而是在与设备移动相反的方向上移动。
·用户以速度VA,x使设备远离他移动，同时让其手指(有意或无意)
缓慢地“朝向自身滑动”，例如以10％的VA,x。
οVDevice,x＝VA,x，VFinger,x＝-0.1VA,x，VSwipe,x＝-(VDevice,x-VFinger,x)＝-1.1VA,x
ο在此，可以认为滑动移动主要由设备移动导致
ο应用通常将针对这种情况做出动作
·用户以速度VA,x使设备远离他移动，同时让其手指(有意或无意)以作为设备远离速度的显著部分的速度“朝向自身滑动”，例如以50％的VA,x。
οVDevice,x＝VA,x，VFinger,x＝-0.5VA,x，VSwipe,x＝-(VDevice,x-VFinger,x)＝-1.5VA,x
ο在此，可能更加难以认为滑动移动主要由设备移动导致，因为设备移动和手指移动两者都具有显著贡献。
·用户以速度VA,x使设备远离他移动，同时让其手指(有意或无意)以比设备远离速度更快的速度“朝向自身滑动”，例如以150％的VA,x。
οVDevice,x＝VA,x，VFinger,x＝-1.5VA,x，VSwipe,x＝-(VDevice,x-VFinger,x)＝-2.5VA,x
ο在此，可以认为滑动移动主要由手指移动导致，而不是由设备移动导致。
对于应用可以有用或者甚至必要的是，针对如上所述的手指在设备移动的相反方向上移动的速度而设置相反阈值(Topposite,x)，设备可以使用该阈值来区分主要由设备移动导致的滑动移动与不是主要由设备移动导致的滑动移动。这种阈值可以以各种方式来表达。一种方式可以是考虑到所发生的滑动移动主要由设备移动导致，使Topposite,x声明VFinger,x可以在设备的VDevice,x的相反方向上具有的最大VDevice,x百分比。其他方式可以是使跟随阈值表示速度而不是百分比，与上面讨论Tfollow,x时描述的方式相同。
Tfollow,x和Topposite,x(如果两者都存在)不一定必须具有相同的值(或相同的绝对值，考虑到它们彼此方向相反)或者甚至以相同的物理量来表示。
设备移动速度与滑动移动速度之间的比较还可以作为设备行进距离与滑动行进距离之间的比较来完成。
最基本的示例是当设备以特定速度(VA,x)远离用户移动并且手指没有移动时。在这种情况下，很容易意识到设备移动的距离与滑动的长度相同，但方向相反。我们可以认为设备移动是滑动移动的互补移动。我们还可以看到设备的行进距离和滑动的行进距离在相反方向上具有相等的长度，因此还可以认为沿着x轴的比例因子是1。
·TDDevice,x-TDFinger,x＝-TDSwipoe,x
·TDDevice,x＝-TDSwipoe,x
·TDDevice,x＝-ScaleFactor x TDSwipoe,x
·ScaleFactor＝1
现在我们来讨论当设备以特定速度(VA,x)远离用户移动并且手指跟随设备(在与设备相同的方向上移动)时的情况，在该示例中，手指以是设备速度的三分之一的速度跟随设备。
·VDevice,x＝VA,x，
Figure BDA0004040754370000121
·
Figure BDA0004040754370000131
如果锁定设备和滑动在时间T期间行进的距离，则以下内容将适用。假设我们希望滑动的长度(行进距离)TDSwipe,x为特定长度，例如为TDB,x。则：
·TDSwipe,x＝TDB,x
·TDDevice,x-TDFinger,x＝-TDSwipoe,x
·
Figure BDA0004040754370000132
·
Figure BDA0004040754370000133
·TDDevice,x＝-ScaleFactor x TDSwipoe,x
·ScaleFactor,
Figure BDA0004040754370000134
在此可以看到，因为手指跟随设备，设备必须行进比产生的滑动更长的距离。我们可以认为设备移动是滑动移动的互补移动。我们还可以看到，设备的行进距离和滑动的行进距离具有不同的长度和相反的方向，因此还可以认为沿着x轴的比例因子是
Figure BDA0004040754370000135
现在我们讨论当设备以特定速度(VA,x)远离用户移动并且手指在设备的相反方向上移动时的情况，在该示例中，手指以是设备速度的三分之一的速度在设备的相反方向上移动。在此可以理解，设备不必移动得如滑动的长度那么远，因为手指对在设备的相反方向上移动的滑动做出贡献。类似于以上所述，可以计算沿着x轴的比例因子。
·ScaleFactor,x＝3/4
在此可以理解，代替使用速度的阈值，可以使用行进距离的阈值，其可以被表示为比例因子的阈值。当手指正在跟随设备时，可以使用阈值ScaleFactorThresholdFollowing,x，以及当手指正在设备的相反方向上移动时，可以使用另一个阈值ScaleFactorThresholdOpposite,x。这些阈值可以具有不同的值，或者具有相同的值并且然后被视为一个阈值ScaleFactorThreshold,x。
上面的讨论可以被概括为涵盖三维中的手指移动和设备移动。但是，在设备的触敏区域的平坦表面上，滑动移动将是二维(触敏区域的两个维度)中的移动。当然，可以想象特定设备的触敏区域不是平坦的。可以决定以不同的方式定义坐标系。一种方式是在房间中设置固定点，以使得如果设备移动并且被转动，则触敏区域的平面将在坐标系中移动。另一种方式是将坐标系固定到触敏区域。使用这些方式中的哪一种或任何其他方式不是至关重要的，它仅影响计算的方式。
但是，一件重要的事情是认识到设备移动可以被投影在触敏区域的平面上。还必须认识到，多个三维设备移动将在触敏区域的平面上具有相同的二维投影。
上面的讨论主要专注于一个方向上沿着直线的滑动移动，该滑动移动主要由相反方向上沿着直线的设备移动所导致。对于每个二维滑动移动，存在相反的二维移动，其也可以被称为互补移动。该互补二维移动表示设备为了导致滑动移动而必须进行的设备移动在触摸检测区域的平面中的二维投影。互补二维移动可以从滑动移动沿着触摸检测区域平面的180度旋转来构造。一种简单的方式是想象一张纸放在触摸屏上，标记为左上、右上、左下和右下，与触摸检测区域的对应角落对齐。这张纸包含滑动移动图。在180度旋转之后，这张纸将被放置成其左上与触摸检测区域的右下对齐，右上与触摸检测区域的左下对齐，左下与触摸检测区域的右上对齐，右下与触摸检测区域的左上对齐。现在，这张纸将包含导致滑动移动的设备移动在触摸检测区域平面上的二维投影的图。注意，几个不同的三维设备运动可以具有相同的投影，这将允许以几种方式来移动设备，只要手指仍然触摸该触摸检测区域即可。设备以相同的方式还是以不同的方式对这些不同的设备移动做出动作将取决于应用。互补移动基本上是滑动移动的形状的旋转版本。如上面进一步所示，互补移动可以比滑动移动“更大”或“更小”或与滑动移动具有“相同大小”，具体取决于手指移动(如果有)。如上所述，应用可以使用设备移动和滑动移动的投影的相对速度和/或行进距离、比例因子等来确定滑动移动是否主要由设备移动所导致。这可以包括如上所述的一个或多个阈值，即，与滑动移动相比，用于投影在触摸检测区域的平面上的设备移动的速度或行进距离(长度)、比例因子等的阈值。在不同的实施例中，可以对滑动移动或对滑动移动的补充进行比较。应用可以决定它是否应当对滑动移动、设备移动或两者进行检查和采取动作，以及在何种程度上进行检查和采取动作。
设备可以从库或其他数据库获得有效滑动移动，然后从有效滑动移动创建互补的有效二维设备移动。设备还可以以相反的方式执行该操作，从库或其他数据库获得有效二维设备移动，然后从有效二维设备移动创建互补的有效滑动移动。设备还可以从库或其他数据库获得有效三维设备移动，然后通过在触敏区域的平面上投影有效三维设备移动来创建有效二维设备移动。设备还可以从库或其他数据库获得有效滑动移动和互补的有效二维设备移动，因此省略了从一个移动创建另一个移动的步骤。这同样适用于有效三维设备移动。
当设备已检测到主要由设备移动导致的有效滑动移动，并且还检测到触发事件时，设备应当采取动作。触发事件可以例如是滑动移动到达触敏区域中的特定区域或触敏区域的边界。该动作可以是与应用和/或操作***相关的特定动作，它可以包括更改菜单或屏幕内容之类的操作。该动作还可以是更改模式并且进一步接受后续设备移动，并且当后续设备移动被解释为有效后续设备移动时，可以采取与应用和/或操作***相关的特定动作，该特定动作可以包括更改菜单或屏幕内容之类的操作。
作为以上所述的一个示例，设备的用户可能希望向另一个人显示某种事物，例如火车票。
在一个实施例中，用户可以保持手指静止并且朝向另一个人移动设备，从而导致滑动移动，并且当手指到达触敏区域的边界时，将在屏幕上显示火车票。
在另一个实施例中，用户可以保持手指静止并且朝向另一个人移动设备，从而导致滑动移动，并且当手指到达触敏区域的边界时，设备更改模式并且将接受后续设备移动，并且如果后续设备移动被识别为特定有效设备移动，则将在屏幕上显示火车票。如果后续设备移动被识别为另一种有效设备移动，则可能采取另一个特定动作。
在一个实施例中，一种用于检测由设备移动和手指移动的组合导致的滑动移动的方法可以被表达为：
一种用于获得对便携式设备(100)中的应用的用户输入的方法，该便携式设备(100)包括触摸检测区域(102)和一个或多个移动确定传感器(104)，其中，该方法包括：
在第一时段内检测触摸检测区域(102)上表示滑动移动的第一用户输入，以及
在第一时段内检测(S12)从一个或多个移动确定传感器中的一个或多个获得的表示设备移动的第二用户输入，以及
检测触发事件，以及
当滑动移动被解释为有效滑动移动并且设备移动被解释为有效设备移动时，导致设备采取动作。
在上述方法中，此外，触发事件包括滑动移动到达触敏区域的预定义部分。
在上述方法中，此外，从库或其他数据库获得有效滑动移动，并且如果设备移动在触敏区域的平面上的二维投影被解释为有效滑动移动的有效互补移动，则设备移动被解释为有效设备移动。
在上述方法中，此外，有效滑动移动的有效互补移动包括沿着垂直于触敏区域的轴线旋转180度的有效滑动移动，其以比例因子进行缩放。
在上述方法中，此外，比例因子为(1-比例因子阈值)<＝比例因子<＝(1+比例因子阈值)，其中，选择比例因子阈值以指示滑动移动主要由设备移动所导致。
在上述方法中，此外，由设备采取的动作是更改菜单或屏幕内容。
在上述方法中，此外，由设备采取的动作是接受在第二时段内检测(S12)从一个或多个移动确定传感器中的一个或多个获得的表示后续设备移动的第二用户输入，其中，第二时段在第一时段之后。
在上述方法中，此外，当检测到的后续设备移动被解释为有效后续设备移动时，导致设备更改菜单或屏幕内容。
如图1所示，便携式设备100被配置为获得用户输入，例如对在便携式设备100中执行的应用的用户输入。在一些示例中，应用可以具有用户上下文关联，例如与物理或商业用户上下文相关联，或者与从一个或多个连接设备确定的用户上下文相关联。在一些示例中，上下文关联应用包括基于用户上下文确定的应用。例如，可以使用用户的物理位置来确定用户上下文。如果用户在餐厅中，并且用户执行滑动手势以及还执行便携式设备100的移动，则便携式设备100确定用户在餐厅中，并且可以自动启用允许用户在餐厅进行支付的支付应用。如果用户在机场、火车站等处提供用户输入(即，在交通登机的上下文中)，则可以显示登机卡(boarding card)。因此，本公开的各种实施例提供了一种用于接收用户输入以启用或调用应用的方法和设备，该应用例如是允许用户根据用户上下文来操作应用的上下文关联应用。
便携式设备100包括触摸检测区域102，其可以包括被配置为接收第一用户输入的触摸屏。例如，这种第一用户输入包括在便携式设备100的触摸检测区域102上执行的各种触摸交互，例如滚动、捏合、拖动、滑动等。
一旦扩展用户界面已被激活，还可以通过便携式设备100的移动来获得用户输入。这种用户输入使得能够通过触摸检测区域102和/或通过便携式设备100的移动与便携式设备100交互，例如与便携式设备100的应用交互。
如图1所示，用户可以通过借助于触摸交互提供第一用户输入(例如，通过如图所示在触摸检测区域102上执行滑动手势)来与便携式设备100交互。在包括第一用户输入的时段内，用户然后可以通过旋转便携式设备100(由此导致便携式设备100的移动)来提供第二用户输入。因此，便携式设备100例如借助于触摸检测区域102上的滑动手势来接收第一用户输入，以及例如借助于便携式设备100的移动来接收第二用户输入。此外，便携式设备100可以被配置为例如基于第一用户输入和第二用户输入或者基于来自便携式设备的应用的输入来确定用户上下文。此外，便携式设备100可以被配置为基于第一用户输入、第二用户输入和/或所确定的用户上下文，向便携式设备100中的上下文关联应用提供用户输入。
便携式设备100可以包括被配置为如上所述获得用户输入的各种模块。将在说明书的稍后部分中结合附图进一步详细说明便携式设备100和便携式设备100的各种模块。
图2A公开了示出在便携式设备100(例如图1所示的便携式设备100)中实现的用于获得用户输入的示例方法步骤的流程图。便携式设备100包括触摸检测区域102和一个或多个移动确定传感器104。该方法包括：在时段内检测S11由用户在触摸检测区域102上提供的第一用户输入，其中，第一用户输入与应用相关。一个或多个移动确定传感器104登记S12便携式设备100在该时段期间在预定空间(例如，在用户的可达范围内的空间)内的移动。基于第一用户输入和所登记的移动，导致应用在该时段期间响应第二用户输入，其中，从所登记的移动中获得第二用户输入。
因此，该方法包括：在时段内检测S11在触摸检测区域102上的第一用户输入，例如在开始时段的时间实例处检测第一用户输入。例如，第一用户输入可以包括在触摸检测区域102上执行的滑动手势、拖动手势、捏合手势等形式的触摸交互。此外，可以使用一个手指、使用多个手指或使用指针设备来执行这种触摸交互。可以根据便携式设备100、移动检测传感器104或在便携式设备100上运行的应用的要求来配置该时段。因此，在该时段内检测在触摸检测区域102上的第一用户输入；第一用户输入与在便携式设备100上运行的应用相关，例如调用或激活在便携式设备100上的应用。
在一个实施例中，建立用户上下文，并且应用是从用户上下文确定的上下文关联应用。因此，在时段内检测在触摸检测区域102上的第一用户输入可以包括：确定从用户上下文确定的上下文关联应用。在一些示例中，如前所述，从用户的物理位置、商业位置和一个或多个连接设备中的一个或多个来确定用户上下文。还可以基于第一用户输入(例如响应于用户发起应用的触摸激活)来确定用户的上下文。也就是说，便携式设备100可以响应于第一用户输入来识别上下文关联应用。例如，当用户在触摸检测区域102上执行滑动手势时，便携式设备100识别可以具有用户上下文关联(例如，与物理或商业用户上下文相关联，或者与从一个或多个连接设备确定的用户上下文相关联)的上下文关联应用。在一些示例中，上下文关联应用包括基于用户上下文确定的应用。例如，可以使用用户的物理位置来确定用户上下文。如果用户在餐厅、机场、火车站等，则可以从用户在餐厅、机场或火车站中的这种存在来确定用户上下文。
在步骤S12，该方法包括：登记便携式设备100在该时段期间在预定空间内的移动。例如，用户可以翻转便携式设备100，旋转便携式设备100，摇动便携式设备100等，这导致便携式设备100在预定空间内从其初始位置移动；预定空间表示在便携式设备100周围并且在用户的可达范围内的空间，即，在用户的手臂长度范围内(即，握持设备的用户能够通过执行手势来导致便携式设备100的移动)。在一些示例中，该移动是便携式设备100在用户的可达范围内的做手势移动。便携式设备100的这些移动由便携式设备100中配备的移动确定传感器104来跟踪，并且被登记以用于后续处理。示例移动确定传感器104包括加速度计、陀螺仪、方位传感器、惯性传感器等，它们能够确定便携式设备100在便携式设备100周围的预定空间中的平移、旋转和方位更改。移动确定传感器104可以连续地登记便携式设备100的移动，例如以频繁的周期性登记便携式设备100在离散时刻的各种位置。
因此，移动确定传感器104被配置为连续地登记便携式设备100的平移、旋转或方位更改。在一些示例中，登记便携式设备100在该时段期间在预定空间内的移动可以包括：使用一个或多个移动确定传感器104来检测表示便携式设备100的平移和/或旋转的一个或多个参数的更改。例如，用户可以将便携式设备100从横向模式翻转到纵向模式，沿着桌子移动便携式设备100，将便携式设备100移交给另一个用户，将便携式设备100推到桌子的一侧从而为其他物体(例如膝上型计算机)腾出空间，和/或将便携式设备100移交给其他用户从而调用移动登记。便携式设备100的移动(例如平移便携式设备100和/或旋转便携式设备100)导致使用移动确定传感器104登记的一个或多个参数的更改。
在一些示例中，登记S12便携式设备100在该时段期间在预定空间内的移动包括：使用一个或多个确定传感器104来检测表示便携式设备100的平移和/或旋转的一个或多个参数的更改。
在一些示例中，获得用户输入的方法包括：激活S13便携式设备100和/或应用以响应第二用户输入。可以从触摸检测区域102接收S13a与在朝向触摸检测区域102的周边的方向上的用户活动相关的信息。还可以检测S13b在触摸检测区域102的周边处的第一用户输入，以激活便携式设备100(例如在便携式设备100中执行的应用)以响应第二用户输入。在一些示例中，激活便携式设备100以响应第二用户输入的步骤还包括：启用上下文关联应用。
返回到图1的场景，当用户使用一只手物理地移动便携式设备并且使用另一只手的手指触摸该触摸检测区域时，可以实现激活S13便携式设备以响应手势移动(即，第二用户输入)。因此，激活S13可以通过以下方式实现：用户握持设备，而另一只手的一个或多个手指(或食指)与触摸检测区域102接触，然后快速实现便携式设备100的物理移动。物理设备(即，便携式设备100)在一个方向上的做手势移动将导致在相反方向上跨触摸区域的手指移动，从而导致一个或多个手指在触摸检测区域102上进行滑动移动。如前所述，做手势移动由一个或多个移动确定传感器104来登记S12。当一个或多个手指离开触摸检测区域102时，可以在便携式设备100中切换或扩展用户输入模式，以使得可以从由移动确定传感器104登记的做手势移动中取得第二用户输入，即，导致便携式设备100的应用接收第二用户输入，这将在下面进一步解释。便携式设备100可以被配置为同时使用第一用户输入和第二用户输入的组合来操作，或者在激活步骤S13(例如上述跨触摸检测区域的滑动移动)之后从第一用户输入模式切换到第二用户输入模式。激活S13手势检测模式还可能要求便携式设备的其他独特的做手势，即，以给定方式移动设备以实现通过扩展手势界面的用户输入。因此，设备的自然移动导致设备以特定方式响应，从而使扩展用户界面快速而直观。
获得用户输入的方法还包括：导致S14应用(例如上下文关联应用)基于所登记的移动在该时段期间接收第二用户输入，即，从所登记的移动中获得第二用户输入。因此，第二用户输入可以根据所登记的移动来确定，并且可以包括例如来自手势库的预定义手势。例如，第二用户输入可以与所登记的移动成比例。在一些示例中，第二用户输入是便携式设备100在用户的可达范围内的做手势移动，并且其中，通过从手势库中取得至少一个手势解释并且将该手势解释应用于做手势移动来获得第二用户输入。在一些示例中，可以在该时段期间在便携式设备100上至少部分地同时检测第一输入和第二输入。在其他示例中，在便携式设备100上至少部分地顺序检测第一用户输入和第二用户输入，其中，在开始该时段的时间实例处检测第一用户输入。
图2B公开了在便携式设备100(例如无线设备)中实现的其他示例方法步骤。在步骤S15，该方法包括：至少基于第二用户输入，操作上下文关联应用。在一些示例中，获得对基于上下文的应用的用户输入包括：通过触摸检测区域102来接收第一用户输入以及接收由移动确定传感器104登记的第二用户输入。例如，当用户即将登上出租车并且在触摸检测区域102上执行滑动手势作为第一用户输入时，出租车应用可以在移动便携式设备100时启用登机卡的显示，以显示在便携式设备100上呈现的登机卡。因此，响应于第一用户输入和第二用户输入的组合，可以启用出租车应用，并且在便携式设备100上显示登机卡。
在另一个示例中，操作S15上下文关联应用包括：在餐厅进行支付，餐厅表示用户上下文。在另一个示例中，当用户从事慢跑活动并且用户执行滑动手势并旋转设备时，可以在便携式设备100中自动启用健身应用。因此，当用户上下文被确定为身体活动时，可以激活健身应用。因此，操作S15上下文关联应用包括：启用与用户上下文相关的动作，该动作可以表示用户的当前活动。
在一些示例中，获得用户输入的方法包括：至少响应于第二用户输入，限制S17对便携式设备100中的一个或多个应用或数据项的访问。因此，该方法可以包括：响应于第一用户输入和/或第二输入，限制对设备中的多个数据项的访问。多个数据项可以包括但不限于被安装在便携式设备100中的呼叫应用、电子邮件应用、视频应用、游戏应用、应用图标、菜单组件、设置、功能等。例如，当用户要将其设备借给另一个人、朋友或陌生人时，用户可能希望限制访问便携式设备100中的数据项。例如，限制对数据项的访问可以包括可以使用设备的时间量、其他人可以拨打的电话数量、可以访问哪些应用、应当限制哪些应用等。可选地，不同的访问权限可以被存储在不同的简档中，并且至少第二用户输入的不同变型(例如与第一用户输入相组合)可以被用于控制应当使用哪个简档。例如，当执行将便携式设备100移交给附近用户的做手势移动时，用户可以针对朋友使用一个手指滑动，针对陌生人使用两个手指滑动，针对非常受限的服务使用三个手指滑动。因此，便携式设备100可以被配置为响应于第一用户输入和/或第二输入来限制对设备中的多个数据项的访问。
在一些示例中，该方法包括：识别S16a至少一个连接设备。该连接设备可以与上下文关联应用预先配对，或者可能响应于接收第一用户输入而与上下文关联应用配对。例如，连接设备可以是电视机、头戴式显示器HMD设备、智能手表、可穿戴设备等。连接设备可以使用任何合适的通信协议(例如但不限于蓝牙、Wi-Fi、NFC等)与便携式设备100配对。当便携式设备100与连接设备配对时，识别连接设备，并且可以至少基于第二用户输入来操作连接设备。在一些示例中，连接设备当然还可以基于触摸输入(即，第一用户输入)和涉及便携式设备100的做手势移动(即，第二用户输入)的组合来操作。用户可以使用便携式设备100来控制连接设备。例如，用户想要在电视机上显示菜单(图标)并且滚动到所选择的电影。因为便携式设备100与电视机配对(例如通过蓝牙或Wi-Fi)，便携式设备100充当远程指点和控制设备，其允许用户移动便携式设备100以控制电视机屏幕上的指针。触摸检测区域102上的后续触摸可以表示针对被指点的图标的选择功能。因此，用户可以选择所需的图标并且访问连接设备中的图标。
图3示出了示例示意框图，其示出了实现上述方法的便携式设备100(例如图1的便携式设备100)的示例配置。便携式设备100包括触摸检测区域102、用于确定设备100的移动的一个或多个移动确定传感器104(例如加速度计、陀螺仪、磁力计、惯性传感器等)以及处理电路30。处理电路30被配置为：在时段内检测在触摸检测区域102上的第一用户输入，其中，第一用户输入与应用相关；以及登记便携式设备100在该时段期间在预定空间内的移动。此外，处理电路30被配置为：导致应用在该时段内接收第二用户输入，其中，从所登记的移动中获得第二用户输入。
移动确定传感器104被布置在便携式设备100中以用于跟踪便携式设备100的各种移动。这些移动确定传感器104登记便携式设备100的完整移动(即，从便携式设备100的初始位置到最终位置)，并且便携式设备100(例如在便携式设备100上运行的应用)被配置为：将所登记的移动解释为第二用户输入，第二用户输入可以与便携式设备100的所登记的移动成比例，或者使用应用的手势库或便携式设备100中提供的手势库(如图3所示)来解释。当用户终止便携式设备100的移动时，移动确定传感器104可以被自动去激活，或者来自传感器的输入的接收可以被去激活。因此，便携式设备100将能够结合一个或多个移动确定传感器104的设备移动来检测触摸检测区域102上的触摸手势，这导致便携式设备100响应第一用户输入和第二用户输入。
示例配置使得应用(例如上下文关联应用)能够接收第一用户输入和/或第二用户输入。如图3所示，便携式设备100包括处理电路30。处理电路30可以包括传感器引擎302、手势识别引擎304(例如可以访问手势库的手势识别引擎)、存储器306、上下文检测引擎308、应用执行引擎310以及显示引擎312。
在一个实施例中，传感器引擎302可以从移动确定传感器104(例如加速度计、陀螺仪、磁力计、惯性传感器或任何方位检测传感器等)接收输入，以处理便携式设备100的移动相关用户输入(例如第二用户输入)。传感器引擎302可以被配置为：当用户在预定空间(例如被预定为用户可达空间的空间)内沿着任何方向旋转、平移、翻转或倾斜设备时，连续地处理便携式设备102的移动。
手势识别单元304可以被配置为：识别在触摸检测区域102上的第一用户输入(即，触摸手势)和在预定空间内的第一用户输入(即，在便携式设备100之外的空间内的做手势移动)。例如，手势识别单元304可以被配置为：将手势识别为触摸手势、滑动手势、捏合手势、拖动手势、旋转手势等。因此，手势识别单元304可以被配置为：识别在触摸检测区域上的用户输入的类型，例如第一用户输入。此外，手势识别单元304可以被配置为：识别便携式设备100的做手势移动，即，涉及便携式设备100的平移、便携式设备100的旋转、便携式设备100的方位更改等的做手势移动。
在一个实施例中，存储器306包括向便携式设备100登记的多个手势。例如，各种用户手势(例如但不限于触摸手势、滑动手势、捏合手势、拖动手势、旋转手势、缩放手势、点击手势、双击手势等)可以被存储在存储器306中。此外，存储器306包括向便携式设备100登记的多个移动。例如，多个移动包括向前、向后、向上和/或向下移动、翻转、倾斜、顺时针旋转、逆时针旋转等。手势识别单元304可以以通信方式耦接到存储器306。
在一个实施例中，上下文检测引擎308可以被配置为：确定用户上下文以及从用户上下文来确定上下文关联应用。可以从用户的物理位置、商业位置和一个或多个连接设备中的一个或多个来确定用户上下文。还可以从第一用户输入和/或第二用户输入(例如从激活便携式设备100上的应用的第一用户输入)来确定用户上下文。上下文检测引擎308还可以使用第一用户输入和第二用户输入的组合来确定用户上下文，例如通过第一用户输入来激活特定应用以及随后使用做手势移动来激活动作。上下文检测引擎308可以维护第一用户输入与第二用户输入之间的映射关系以确定用户上下文。例如，当第一用户输入是滑动手势并且第二用户输入是便携式设备100的旋转移动时，上下文检测引擎308组合第一输入和第二输入(即，滑动手势和旋转移动)以确定用户上下文，例如用户在餐厅。因此，上下文检测引擎308可以被配置为：组合第一用户输入和第二用户输入以检测用户上下文。上下文检测引擎308还可以被用第一输入和第二输入的许多组合来训练，以使得上下文检测引擎308存储第一用户输入和第二用户输入的各种组合以确定用户上下文。
在一个实施例中，执行引擎310可以被配置为：根据所确定的用户上下文，执行或操作应用(例如上下文关联应用)。例如，当用户上下文被确定为登上出租车(这基于第一用户输入和第二用户输入来确定)时，响应于确定第一用户输入和第二用户输入，执行引擎310可以被配置为：执行出租车应用以使得出租车应用能够在便携式设备100上显示登机卡。因此，执行引擎310可以被配置为：根据所确定的用户上下文，执行或操作上下文关联应用。此外，执行引擎310可以被配置为：响应于便携式设备100上的第一用户输入和第二用户输入，执行或操作与用户上下文相关的各种上下文关联应用。
显示引擎312可以被配置为：在便携式设备100上提供触摸检测区域102。在一个实施例中，触摸检测区域102包括用户在其上执行一个或多个手势的触摸面板或触摸屏。
图4示出了用于在便携式设备100处获得用户输入的示例基本用例。在基本情况下，用户可以例如通过握持设备而使用一只手物理地移动便携式设备，同时另一只手的一个或多个手指(或食指)与触摸检测区域102接触。物理设备在一个方向上的做手势移动将导致在相反方向上跨触摸检测区域102的手指移动，从而导致一个或多个手指在触摸检测区域102上进行滑动移动。做手势移动由一个或多个移动确定传感器104来登记。当一个或多个手指离开触摸检测区域102时，可以在便携式设备中切换或扩展用户输入模式，以使得从由移动确定传感器104登记的做手势移动中取得第二用户输入。当然，便携式设备100可以被配置为同时使用第一用户输入和第二用户输入的组合来操作，或者在激活操作(例如上述跨触摸检测区域102的滑动移动)之后从第一用户输入模式切换到第二用户输入模式。手势检测模式的激活还可能要求便携式设备100的其他独特的做手势，即，以给定方式移动设备以实现通过扩展手势界面的用户输入。因此，设备的自然移动导致设备以特定方式响应，从而使扩展用户界面快速而直观。
如针对图4的基本用例所描述的，可以在便携式设备100上至少部分地同时检测第一用户输入和第二用户输入。例如，用户在触摸检测区域102上执行滑动手势(即，第一输入)，并且用户在执行滑动手势的同时旋转便携式设备100(即，第二用户输入)。因此，便携式设备100可以被配置为：同时接收第一用户输入和第二用户输入，并且便携式设备100可以被配置为：响应于在便携式设备100上同时检测到第一用户输入和第二用户输入，启用上下文关联应用。替代地，提供在便携式设备100上顺序检测。例如，用户在触摸检测区域102上执行滑动手势(即，提供第一用户输入)，并且仅在已结束滑动手势之后，用户在提供第二用户输入的做手势移动中旋转设备。
图5示出了用于在便携式设备100上启用应用的示例用例。便携式设备100(例如无线设备)包括触摸检测区域102、一个或多个移动确定传感器104(例如加速度计、陀螺仪、磁力计、惯性传感器等)以及处理电路。用户最初在触摸检测区域102上执行滑动手势以提供第一用户输入，并且手指继续在触摸检测区域102上移动直到触摸检测区域104的周边。向触摸检测区域102的周边的滑动可以激活用于接收如图所示的做手势移动形式的第二用户输入的能力。用户在触摸检测区域102上执行滑动手势之后旋转便携式设备100。当用户执行滑动手势(即，第一用户输入)并且旋转(即，第二用户输入)便携式设备100时，还可以例如通过从第一用户输入和/或第二用户输入或者通过确定便携式设备的物理或商业位置来激活用户上下文的确定。在该示例中，便携式设备100可以被配置为：将用户上下文确定为登上出租车。在确定用户上下文之后，便携式设备100可以被配置为：响应于第一用户输入和第二用户输入，启用与用户上下文相关的出租车预订应用。此外，便携式设备100可以被配置为：通过在便携式设备100的显示器上显示登机卡，操作出租车预订应用。在一些示例中，登机卡应用包括用于激活应用的第一用户输入、便携式设备100的做手势移动形式的第二用户输入，从而指示向另一个人显示该设备以及操作导致显示登机卡的上下文关联应用。
图6示出了用于获得对便携式设备100中的上下文关联应用的用户输入的另一个示例用例，便携式设备100包括触摸检测区域102和一个或多个移动确定传感器104。图6公开了用户在便携式设备100上滑动手指，这在触摸检测区域102上被检测为第一用户输入。在所公开的场景中，用户参与和连接设备200(例如电视机)的交互，并且用户想要在电视机上显示菜单(图标)并且然后滚动到比赛以启动比赛。便携式设备100(其是可以与电视机预先配对(例如蓝牙或Wi-Fi或NFC)或可与电视机连接的智能电话)充当远程指点和控制设备，该远程指点和控制设备允许用户移动便携式设备100，并且便携式设备100的移动可控制电视机屏幕上的指针。
如图6所示，用户最初在触摸检测区域102上执行滑动手势，并且手指继续在触摸检测区域102上移动直到到达触摸检测区域104的周边。然后，用户在触摸检测区域102上执行滑动手势之后旋转便携式设备100。当用户执行滑动手势(即，第一用户输入)并且旋转(即，第二用户输入)时，便携式设备100被配置为将用户上下文确定为操作连接设备200(例如电视机)。在确定用户上下文(例如操作电视机)之后，便携式设备100上的第一用户输入和第二用户输入启用或激活电视机的菜单***，如图6进一步所示。第一输入和第二输入的组合还可以启用在电视机屏幕的中间的指针，可以通过移动便携式设备100来控制该指针。因此，移动便携式设备100时，用户控制电视机屏幕上的指针。用户点击比赛以选择期望的比赛(即，比赛2)，并且然后可以在电视机上播放所选择的比赛，如图6所示。
图7示出了用于获得对便携式设备100中的上下文关联应用的用户输入的另一个示例用例，便携式设备100包括触摸检测区域102和一个或多个移动确定传感器104。在图7公开的用例中，第一用户输入和第二用户输入的组合可以被用于限制对一个或多个应用或数据项的访问。一个或多个应用包括但不限于被安装在便携式设备100中的呼叫应用、视频应用、游戏应用、菜单组件、图标、设置、功能等。在该示例中，用户要将他的便携式设备100借给另一个人、朋友或陌生人，并且用户想要限制对设备上的多个数据项的访问。例如，对设备上的数据项的限制可以包括其他人可以使用便携式设备100的时间量、其他人可以拨打的电话数量、可以访问的应用、可以阻止的应用等。替代地，可以针对不同的简档存储不同的访问权限，并且可以使用初始滑动和/或移动手势的不同变型来控制应当使用哪个简档，例如针对朋友使用一个手指，针对陌生人使用两个手指，针对非常受限的访问使用三个手指，该非常受限的访问仅允许用户使用当前在便携式设备100上活动的应用。
如图7所示，用户最初可以在触摸检测区域102上执行滑动手势，并且用户可以执行设备的做手势移动，犹如便携式设备100被移交给另一个人，如图7所示。当用户执行滑动手势(即，第一用户输入)并且倾斜或移动便携式设备100(即，第二用户输入)时，犹如便携式设备100被移交给另一个人。此外，便携式设备100可以被配置为：例如通过组合第一用户输入和第二用户输入，确定用户上下文。在该示例中，便携式设备100可以被配置为：将用户上下文确定为将设备借给另一个用户。在确定用户上下文之后，便携式设备100可以被配置为：响应于第一用户输入和第二用户输入而限制数据项，如图7所示。
在上面公开的用例中，通过启用扩展用户界面UI来实现益处。用户使用便携式设备100的手势、触摸、移动等来启动扩展UI，以导致便携式设备100从一个或多个移动确定传感器104中取得用户输入，从而在物理边界之外扩展触摸检测区域102。因此，可以通过以下操作激活扩展用户界面：接收在触摸检测区域102上接收的第一用户输入，接收由一个或多个移动确定传感器104登记的第二用户输入，或这种用户输入的组合。
图8示出了实现用于获得用户输入的方法和便携式设备100的示例计算环境。尽管在上面公开的用例和示例中，便携式设备100被示出为无线设备，但是将理解，便携式设备100可以是多个便携式应用，例如智能电话、平板电脑、智能手表或可穿戴设备(例如手套或鞋)。
如图8所示，计算环境800包括至少一个数据处理单元804(其被配备有控制单元802和算术逻辑单元(ALU)803)、存储器805、存储装置806、多个联网设备808和多个输入输出(I/O)设备807。数据处理单元804负责处理算法的指令。数据处理单元804从控制单元接收命令以便执行其处理。此外，在ALU 803的帮助下计算指令执行中涉及的任何逻辑和算术运算。
整体计算环境800可以包括多个同构和/或异构核心、多个不同种类的CPU、专用介质和其他加速器。数据处理单元804负责处理算法的指令。此外，多个数据处理单元804可以位于单个芯片上或多个芯片上。
包括实现所需的指令和代码的算法被存储在存储器805或存储装置806中或两者中。在执行时，指令可以从对应的存储器805和/或存储装置806中被取回，并且由数据处理单元804执行。
在任何硬件实现的情况下，各种联网设备808或外部I/O设备807可以被连接到计算环境以支持通过联网设备808和I/O设备807的实现。
本文公开的实施例可以通过至少一个软件程序来实现，该至少一个软件程序在至少一个硬件设备上运行并且执行网络管理功能以控制单元。图8所示的单元包括可以是硬件设备或硬件设备和软件模块的组合中的至少一个的块。
对具体实施例的上述描述将如此充分地揭示本文的实施例的一般性质，以至于其他人可以通过应用当前知识，在不偏离通用概念的情况下，很容易地修改和/或调整这种具体实施例的各种应用，并且因此，这种调整和修改应当意图在所公开的实施例的等同物的含义和范围内被理解。将理解，本文采用的措辞或术语是为了描述而不是限制。因此，尽管已根据优选实施例描述了本文的实施例，但本领域技术人员将认识到，可以通过在本公开的范围内进行修改来实践本文的实施例。

Claims (15)

1.一种用于获得对便携式设备(100)中的应用的用户输入的方法，所述便携式设备(100)包括触摸检测区域(102)和一个或多个移动确定传感器(104)，其中，所述方法包括：
-在时段内检测(S11)在所述触摸检测区域(102)上的第一用户输入，其中，所述第一用户输入与所述应用相关；
-登记(S12)所述便携式设备在所述时段期间在预定空间内的移动；以及
-导致(S14)所述应用在所述时段期间响应第二用户输入，其中，从所登记的移动中获得所述第二用户输入。
2.根据权利要求1所述的方法，还包括以下步骤：
-激活(S13)所述便携式设备(100)和/或所述应用以响应第二用户输入。
3.根据权利要求2所述的方法，其中，激活(S13)所述便携式设备(100)以响应第二用户输入包括：
-从所述触摸检测区域(102)接收(S13a)与在朝向所述触摸检测区域(102)的周边的方向上的用户活动相关的信息；和/或
-检测(S13b)在所述触摸检测区域(102)的周边处的第一用户输入。
4.根据权利要求1或2所述的方法，其中，所述第二用户输入是所述便携式设备(100)在所述用户的可达范围内的做手势移动，并且其中，通过从手势库中取得至少一个手势解释并且将所述手势解释应用于所述做手势移动来获得所述第二用户输入。
5.根据前述权利要求中任一项所述的方法，其中，所述应用是从用户上下文确定的上下文关联应用，其中，从所述用户的物理位置、商业位置以及连接设备中的一个或多个来确定所述用户上下文。
6.根据权利要求1所述的方法，其中，激活(S13)所述便携式设备以响应第二用户输入的步骤包括：启用(S13c)所述上下文关联应用。
7.根据权利要求5所述的方法，还包括：
-至少基于所述第二用户输入，操作(S15)所述上下文关联应用。
8.根据前述权利要求中任一项所述的方法，其中，在所述时段期间在所述便携式设备(100)上至少部分地同时检测所述第一输入和所述第二输入。
9.根据权利要求1至7中任一项所述的方法，其中，在所述便携式设备100上至少部分地顺序检测所述第一输入和所述第二输入，其中，在开始所述时段的时间实例处检测所述第一用户输入。
10.根据前述权利要求中任一项所述的方法，其中，登记(S12)所述便携式设备(100)在所述时段期间在预定空间内的移动包括：
-使用所述一个或多个运动确定传感器(104)检测(S12a)表示所述便携式设备的平移和/或旋转的一个或多个参数的更改。
11.根据前述权利要求中任一项所述的方法，其中，所述方法还包括：
-识别(S16a)至少一个连接设备，所述连接设备与上下文关联应用预先配对；以及
-响应于所述第二用户输入，操作(S16b)所述连接设备(200)。
12.根据前述权利要求中任一项所述的方法，其中，所述方法还包括：
-响应于所述第二用户输入，限制(S17)对所述便携式设备(100)中的一个或多个应用或数据项的访问。
13.一种包括非暂时性计算机可读介质的计算机程序产品，所述非暂时性计算机可读介质上具有包括程序指令的计算机程序，所述计算机程序能够加载到处理电路30中，并且被配置为当所述计算机程序由所述处理电路运行时导致执行根据权利要求1至12中任一项所述的方法。
14.一种便携式设备(100)，包括触摸检测区域(102)、一个或多个移动确定传感器(104)以及处理电路(30)，其中，所述处理电路(30)被配置为：
-在时段内检测(S11)在所述触摸检测区域(102)上的第一用户输入，其中，所述第一用户输入与所述应用相关；
-登记(S12)所述便携式设备(100)在所述时段期间在预定空间内的移动；以及
-导致(S14)所述应用在所述时段期间响应第二用户输入，其中，从所登记的移动中获得所述第二用户输入。
15.根据权利要求14所述的设备，其中，所述便携式设备(100)是智能电话、平板电脑、智能手表或可穿戴设备。
CN202080102853.XA 2020-07-10 2020-07-10 用于获得用户输入的方法和设备 Withdrawn CN115867878A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/EP2020/069533 WO2022008070A1 (en) 2020-07-10 2020-07-10 Method and device for obtaining user input

Publications (1)

Publication Number Publication Date
CN115867878A true CN115867878A (zh) 2023-03-28

Family

ID=71607982

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080102853.XA Withdrawn CN115867878A (zh) 2020-07-10 2020-07-10 用于获得用户输入的方法和设备

Country Status (6)

Country Link
US (1) US20230266831A1 (zh)
EP (1) EP4179413A1 (zh)
JP (1) JP2023532970A (zh)
CN (1) CN115867878A (zh)
AU (1) AU2020458145A1 (zh)
WO (1) WO2022008070A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230266830A1 (en) * 2022-02-22 2023-08-24 Microsoft Technology Licensing, Llc Semantic user input

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4498417B2 (ja) * 2004-07-01 2010-07-07 ノキア コーポレイション 移動通信装置用アプリケーションのパーソナライズにおいてコンテキスト・オントロジを利用する方法，装置及びコンピュータプログラム
GB2419433A (en) * 2004-10-20 2006-04-26 Glasgow School Of Art Automated Gesture Recognition
US20070113207A1 (en) * 2005-11-16 2007-05-17 Hillcrest Laboratories, Inc. Methods and systems for gesture classification in 3D pointing devices
KR101606834B1 (ko) * 2008-07-10 2016-03-29 삼성전자주식회사 움직임과 사용자의 조작을 이용하는 입력장치 및 이에적용되는 입력방법
KR20100066036A (ko) * 2008-12-09 2010-06-17 삼성전자주식회사 휴대 단말기 운용 방법 및 장치
US20110254792A1 (en) * 2008-12-30 2011-10-20 France Telecom User interface to provide enhanced control of an application program
WO2011088579A1 (en) * 2010-01-21 2011-07-28 Paramjit Gill Apparatus and method for maintaining security and privacy on hand held devices
US8982045B2 (en) * 2010-12-17 2015-03-17 Microsoft Corporation Using movement of a computing device to enhance interpretation of input events produced when interacting with the computing device
US9483085B2 (en) * 2011-06-01 2016-11-01 Blackberry Limited Portable electronic device including touch-sensitive display and method of controlling same
JP2013025567A (ja) * 2011-07-21 2013-02-04 Sony Corp 情報処理装置、情報処理方法、及びプログラム
US9927876B2 (en) * 2012-09-28 2018-03-27 Movea Remote control with 3D pointing and gesture recognition capabilities
US11237719B2 (en) * 2012-11-20 2022-02-01 Samsung Electronics Company, Ltd. Controlling remote electronic device with wearable electronic device
TWI502471B (zh) * 2012-12-04 2015-10-01 Wistron Corp 游標控制方法與電腦程式產品
DE102013007250A1 (de) * 2013-04-26 2014-10-30 Inodyn Newmedia Gmbh Verfahren zur Gestensteuerung
KR20150099324A (ko) * 2014-02-21 2015-08-31 삼성전자주식회사 전자 장치간 원격 제어 방법 및 그를 위한 시스템
KR102188267B1 (ko) * 2014-10-02 2020-12-08 엘지전자 주식회사 이동단말기 및 그 제어방법
KR20230038303A (ko) * 2016-09-23 2023-03-17 애플 인크. 워치 극장 모드

Also Published As

Publication number Publication date
EP4179413A1 (en) 2023-05-17
US20230266831A1 (en) 2023-08-24
JP2023532970A (ja) 2023-08-01
WO2022008070A1 (en) 2022-01-13
AU2020458145A1 (en) 2023-02-02

Similar Documents

Publication Publication Date Title
US10936190B2 (en) Devices, methods, and user interfaces for processing touch events
US11740764B2 (en) Method and system for providing information based on context, and computer-readable recording medium thereof
EP2641149B1 (en) Gesture recognition
JP6009454B2 (ja) コンピューティング装置の動きを利用するコンピューティング装置と相互作用するときに発生する入力イベントの解釈の強化
EP2354930B1 (en) Gesture recognizers with delegates for controlling and modifying gesture recognition
US20140306897A1 (en) Virtual keyboard swipe gestures for cursor movement
US20130201113A1 (en) Multi-touch-movement gestures for tablet computing devices
US20170115782A1 (en) Combined grip and mobility sensing
EP2728456B1 (en) Method and apparatus for controlling virtual screen
EP2899623A2 (en) Information processing apparatus, information processing method, and program
US10599326B2 (en) Eye motion and touchscreen gestures
US20230266831A1 (en) Method and device for obtaining user input
EP3249878A1 (en) Systems and methods for directional sensing of objects on an electronic device
EP3433713B1 (en) Selecting first digital input behavior based on presence of a second, concurrent, input
KR20200015045A (ko) 가상 입력 툴을 제공하기 위한 전자 장치 및 방법
JP6484859B2 (ja) 情報処理装置、情報処理方法、及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20230328

WW01 Invention patent application withdrawn after publication