CN110168489A - 使用取向感测的悬停交互 - Google Patents

使用取向感测的悬停交互 Download PDF

Info

Publication number
CN110168489A
CN110168489A CN201780083196.7A CN201780083196A CN110168489A CN 110168489 A CN110168489 A CN 110168489A CN 201780083196 A CN201780083196 A CN 201780083196A CN 110168489 A CN110168489 A CN 110168489A
Authority
CN
China
Prior art keywords
hovering
electronic equipment
orientation
mode
sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201780083196.7A
Other languages
English (en)
Inventor
A·J·塞伦
W·A·S·巴克斯顿
S·G·史密斯
K·奥哈拉
R·M·班克斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN110168489A publication Critical patent/CN110168489A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1694—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a single or a set of motion sensors for pointer control or gesture input obtained by sensing movements of the portable computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2200/00—Indexing scheme relating to G06F1/04 - G06F1/32
    • G06F2200/16—Indexing scheme relating to G06F1/16 - G06F1/18
    • G06F2200/163—Indexing scheme relating to constructional details of the computer
    • G06F2200/1637—Sensing arrangement for detection of housing movement or orientation, e.g. for controlling scrolling or cursor movement on the display of an handheld computer

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

描述了一种具有悬停传感器的电子设备，其中电子设备具有取向传感器，其被配置为检测电子设备的取向。电子设备具有识别组件，其被配置为使用由悬停传感器感测的数据来识别从悬停传感器延伸的悬停空间中的一个或多个对象的悬停模式的悬停模式。电子设备具有处理器，其被配置为根据所感测到取向和所识别的悬停模式来从多个可能动作中选择动作并且触发所选择的动作。

Description

使用取向感测的悬停交互
背景技术
存在改进终端用户能够控制诸如智能电话、可穿戴计算机和平板电脑等电子设备的方式的持续需求。终端用户为这种电子设备产生用户输入的负担可能很大，特别是在计算设备具有小的形状因子的情况下。
发明内容
以下呈现了本公开的简化概述，以便向读者提供基本理解。本概述不旨在标识所要求保护的主题的关键特征或必要特征，也不旨在用于限制所要求保护的主题的范围。其唯一目的是以简化的形式呈现本文中公开的一些概念，作为稍后呈现的更详细描述的序言。
描述了一种具有悬停传感器的电子设备，其中电子设备具有取向传感器，其被配置为检测电子设备的取向。电子设备具有悬停模式识别组件，其被配置为使用由悬停传感器感测的数据来识别从悬停传感器延伸的悬停空间中的一个或多个对象的悬停模式。电子设备具有处理器，其被配置为根据是感测的取向和所识别的悬停模式来从多个可能动作中选择动作并且触发所选择的动作。
将更容易理解很多伴随特征，因为通过参考结合附图考虑的以下详细描述，这些特征变得更好理解。
附图说明
根据以下根据附图阅读的详细描述，将能够更好地理解本说明书，在附图中：
图1是用户在第一取向上与她的智能电话进行悬停交互的示意图；
图2是在图1的智能电话的悬停敏感显示器处感测的悬停模式的示意图；
图3是用户进行与图1中相同的悬停交互的示意图，其中她的智能电话处于第二取向；
图4是在图3的智能电话的悬停敏感显示器处感测的悬停模式的示意图；
图5是用户与笔记本电脑进行悬停交互的示意图；
图6是在图5的智能电话的悬停敏感显示器处感测的悬停模式的示意图；
图7是用户使用杯状手进行悬停交互的示意图；
图8是在图7的智能电话的悬停敏感显示器处感测的悬停模式的示意图；
图9是使用智能电话在竖直取向上针对计算设备的壁挂式显示屏幕进行悬停交互的示意图；
图10是具有悬停敏感显示器的电子设备的操作方法的流程图；
图11是悬停敏感显示器的示意图，示出了悬停敏感显示器的感测区域；
图12示出了示例性的基于计算的设备，其中实现了使用取向的悬停交互***的实施例。
在附图中，相同的附图标记用于表示相同的部件。
具体实施方式
以下结合附图提供的详细描述旨在作为本示例的描述，而非旨在表示构造或利用本示例的唯一形式。该描述阐述了示例的功能和用于构造和操作示例的操作序列。然而，相同或等同的功能和序列可以通过不同的示例来实现。
虽然本文中将本示例描述和示出为在智能电话中实现，但是所描述的***是作为示例而非限制来提供的。如本领域技术人员将理解的，本示例适用于具有悬停敏感显示器的各种不同类型的电子设备，诸如平板电脑、可穿戴计算机(包括但不限于智能手表)和其他电子设备。
悬停传感器是一种用于检测在悬停传感器上的悬停体积(volume)中并且可选地接触悬停传感器的实体的机构。在某些情况下，悬停传感器给出单个位值，其指示实体是否存在于悬停体积中。在一些情况下，悬停传感器给出z值，该z值指示悬停体积中的实体距悬停传感器的距离。在某些情况下，悬停传感器给出实体在悬停体积中的x、y、z坐标。实体可以扩展到多余一个的数据点。
在一些情况下，悬停传感器是悬停敏感显示器，但是这不是必要的。悬停敏感显示器是显示屏幕，其能够检测在显示屏幕上的悬停体积中并且可选地触摸显示屏幕的实体的x、y、z坐标。x和y坐标位于显示屏幕的平面中，而z轴垂直于显示屏幕，并且在悬停敏感显示器的情况下可以被认为是到显示屏幕的距离，或者在悬停传感器的情况下可以被认为是到传感器的距离。在各种示例中，悬停传感器可操作以检测距离悬停传感器0到大约5英寸范围内的距离。如下面更详细描述的可以使用各种不同的悬停感测技术来实现悬停传感器或悬停敏感显示器。在一些示例中，悬停传感器是悬停敏感显示器，并且悬停传感器还围绕包含悬停敏感显示器的智能电话或其他电子设备的侧面延伸。
在电子设备具有悬停传感器的情况下，这可以用于支持用户与电子设备进行悬停交互。当一个或多个对象进入悬停体积并且使得悬停模式被悬停传感器感测，并且触发电子设备或与电子设备相关联的另一实体(诸如远程服务器、配对电子设备或其他实体)处的动作时，发生悬停交互。悬停模式是悬停传感器的多个传感器的激活水平的二维模式，或者是二维悬停模式的时间序列。因此，悬停交互可以由悬停体积中的静态对象或悬停体积中的移动对象或变形对象生成。
悬停传感器的分辨率(在x、y轴上)受到例如被包含在悬停传感器中的传感器元件的数目的限制。根据所使用的悬停感测技术的类型，悬停传感器的分辨率在z轴上也受到限制。因此，可以通过悬停敏感技术来准确且鲁棒地区分的悬停交互的数目也是有限的。例如，在用户的手执行悬停交互的情况下，用户能够从存储器执行并且给出可彼此区分的悬停模式的交互的数目是有限的。
本文中描述的技术通过考虑电子设备的取向来使得终端用户能够通过使用悬停交互来更好地控制电子设备。通过考虑电子设备的取向来扩展用户可以执行的悬停交互的数目。例如，响应于电子设备是面朝下还是面朝上，相同的悬停模式可以触发不同的动作。例如，正面朝上是由电子设备的壳体支撑的电子设备的显示器相对于壳体在最上面的情况。以这种方式，即使在悬停传感器处可以区分的悬停模式的数目可能被限制，通过考虑取向和悬停模式的组合，可以增加通过悬停模式的电子设备的控制程度。
图1是用户在第一取向上与她的智能电话100进行悬停交互的示意图，其中智能电话大致是水平的并且面朝下。在该示例中，悬停传感器是由智能电话100的壳体支撑的悬停敏感显示器。电子设备的面朝下取向是电子设备的显示器相对于保持或支撑显示器的壳体面朝下的取向，并且电子设备大致是水平的。用户的右手正握持智能电话，并且她的右手拇指102正握持智能电话的边缘。用户的左手104大致水平地保持，其中手掌朝向显示屏幕并且手指伸出。用户的左手距电子设备的显示屏幕约2cm至10cm。
悬停敏感显示器包括多个感测区域，本文中称为像素。在一些示例中，像素在显示器的表面上细分(如图11中所示)，并且在一些示例中形成网格，诸如16乘9的感测区域的网格。然而，由于在显示器的不同的非连续部分处可能存在感测区域，因此感测区域并不是必需进行镶嵌。
图2示出了在图1的场景中由智能电话100的悬停敏感显示器感测的二维悬停模式。矩形200表示悬停敏感显示器的区域，在该示例中，该区域具有16×9个感测区域的网格。网格的白色单元表示未被激活的感测区域。网格的交叉阴影单元表示被激活的感测区域。在一些示例中，随着对象在悬停体积内移动靠近显示屏幕，激活的量增加。
智能电话具有对用于分析悬停模式以识别悬停模式的功能的访问。识别悬停模式以任何合适的方式进行，例如，通过将悬停模式与多个模板悬停模式相匹配并且识别最佳匹配。以这种方式，智能电话能够识别被发现与模板之一匹配的悬停模式。如上所述，悬停模式和悬停模式模板可以是特定时刻的时间顺序或模式。可以使用其他悬停模式识别的方法。
智能电话还具有在图1中不可见的至少一个取向传感器，因为它在智能电话100的壳体内或与智能电话100的壳体成一体。使用任何合适类型的取向传感器，诸如一个或多个加速度计、陀螺仪、全球定位***传感器或其他取向传感器。在图1的示例中，取向传感器检测到智能电话正面朝下并且大致是水平的。在一些示例中，智能电话具有运动检测器。运动检测器可以与取向传感器成一体，诸如其中取向传感器是三轴加速度计的情况。在图1的示例中，并且当用户通过做出动作好像是将内容从电话100倒入手104中或者通过摇动电话来移动电话100时，运动检测器检测电话100的运动。
智能电话根据所感测的取向和所识别的悬停模式触发动作。在一些情况下，根据所感测的取向、所感测的运动和所识别的悬停模式触发动作。例如，动作是将内容从智能电话发送到预先指定的位置。在另一示例中，动作是改变智能电话扬声器的音量。可以触发的动作的其他示例在本文档中稍后给出。
如上所述，本文中描述的技术使得能够扩展控制电子设备的悬停交互的范围。在图3的示例中，智能电话100大致是矩形的并且面朝上取向，其纵向轴线大致水平。在图3的示例中，悬停传感器是悬停敏感显示器。短语“面朝上”表示悬停敏感显示器位于最上面。用户将智能电话100保持在他或她的右手302中并且将他或她的左手300保持在大致水平的位置，其中手指伸出并且手掌面朝下。用户的左手300位于智能电话100的悬停空间中，并且由悬停敏感显示器感测。在悬停敏感显示器处生成的二维悬停模式在图4中示意性地表示，并且与图2的悬停模式大致相同。当用户将他或她的手沿着z轴朝向和远离电子设备移动时，生成三维悬停模式，该三维悬停模式也类似于在用户的手沿着z轴朝向和远离电子设备移动的情况下的图3的三维悬停模式。
智能电话根据所感测的取向(在这种情况下，所感测的取向指示显示屏幕面朝上)并且还根据悬停模式触发动作。在某些情况下，当智能电话的运动检测器检测到智能电话的运动时，所检测的运动也用于触发动作。智能电话或与智能电话通信的实体(诸如云服务、家庭服务器、物理上接近智能电话或其他实体的配对电子设备)的功能根据所检测的取向和所识别的悬停模式(以及可选地还根据所检测的运动)从多个动作中选择动作。因为图3场景中的所检测的取向与图1的场景的取向不同，所以所选择的动作与在图1的场景中选择的动作不同(即使悬停模式非常相似或相同，或者不能可靠地彼此区分)。然后，智能电话或其他实体的功能触发所选择的动作。以这种方式，由电子设备支持的悬停交互的范围得到增加。
在一个示例中，悬停传感器用于支持与电子设备相关联的内容的传送。例如，内容包括已经在电子设备处创建的内容，诸如利用电子设备处的相机捕获的数字图像、在电子设备处创作的文档、在电子设备处创建的聊天消息、以及其他内容。在其他示例中，内容包括已经在远程实体(诸如由电子设备的用户使用的云服务)处创建的内容、或者已经使用已知与用户相关联的另一电子设备创建的内容。作为用户输入和/或使用规则的结果，标记或选择要传送的内容。在使用规则的情况下，示例规则是当天或在指定时间段内创建的与电子设备相关联的任何内容被标记用于传送。
用户进行指定的悬停交互(诸如图1和2所示的交互)或者该悬停交互的三维版本，其中用户的手104在z方向上重复地远离和朝向悬停敏感显示屏幕移动。识别所得到的三维悬停模式，并且检测智能电话100的取向。还可选地检测智能电话的运动。智能电话100或另一实体处的功能根据所检测的取向和所识别的悬停模式并且可选地根据所检测的运动从多个可能动作中选择动作。在该示例中，所选择的动作是传输标记的内容。电子设备例如通过将标记的内容从电子设备发送到预先指定的位置来触发所选择的动作。例如，当天创建的指定类型的内容(诸如数字图像)被发送到家庭服务器。在另一示例中，由于当前显示在悬停敏感显示器处而在电子设备上活动的内容被发送到预先指定的打印机。在另一示例中，内容位于远程实体(诸如云服务器)处，并且电子设备通过向云服务器发送请求以将内容传送到指定位置的请求来触发所选择的动作。
在一个示例中，为了将内容传送到电子设备100，用户进行悬停交互，诸如图3的场景中在用户的手300沿着z轴朝向和远离电子设备100移动的情况下指示的。例如，所选择的动作是从诸如云服务器、家庭服务器、配对的计算设备或其他实体等指定位置取回内容。电子设备通过向指定位置发送请求内容的请求消息来触发所选择的动作。
在一个示例中，用户进行如图1所示的悬停交互以将智能电话中的照片复制“到他或她的手中”。事实上，触发动作将照片的身份或地址存储在临时存储器中，诸如电子设备或远程实体的剪贴板。然后，用户能够操作智能电话100以创建例如电子邮件消息，并且通过使用图3的场景来将照片附加到电子邮件消息。以这种方式，尽管形状因子很小，但是用户能够以简单且有效的方式操作电子设备。相反，在使用传统智能电话的情况下，用户可能必须在智能电话上执行的单独应用之间移动以便将数字照片附加到电子邮件消息。
在一个示例中，图1和图3的智能电话100是单独的智能电话，这些智能电话作为在服务提供商的相同用户帐户处注册的结果或者作为用户输入的结果而被配对。图1的场景的悬停模式和取向用于触发以下动作，即从图1的智能电话移除内容并且将内容保存在中间实体(诸如云服务)或其他实体处。稍后，图3的场景使得能够将内容从中间设备传送到图3的智能电话。
在一个示例中，图1和图3的智能电话是单独的智能电话，这些智能电话没有被配对但是在同一房间或参加同一会议。图1的场景的悬停模式和取向用于触发以下动作，即从图1的智能电话移除内容并且将内容保存在中间实体(诸如云服务)或其他实体处。稍后，图3的场景使得能够将内容从中间设备传送到图3的智能电话，只要自移除内容以来的时间没有超过阈值并且智能电话之间的物理距离在指定范围内。
在图4的示例中，用户在膝上型计算机502上在大致水平面朝下的取向上在他或她的右手500中握持智能电话100。在该示例中，悬停传感器是悬停敏感显示器。所得到的二维悬停模式在图6中示出，并且在感测区域的网格上包括大致均匀的信号。用户可以沿着垂直于悬停敏感显示器的平面的z轴朝向和远离膝上型计算机502移动智能电话100。在这种情况下，检测三维悬停模式，例如，当感测区域处的强度值由于智能电话100朝向和远离膝上型计算机600的移动而增大和减小时。智能电话100处的运动传感器检测智能电话100的运动。可选地，通过智能电话100处的麦克风来检测来自膝上型计算机600的音频信号，并且可选地，通过智能电话100处的相机来检测由膝上型计算机600显示的条形码或快速响应码。来自麦克风和/或相机的信息与其他传感器数据一起使用以在某些情况下区分笔记本电脑和书籍和/或找到笔记本的身份。
识别悬停模式并且检测智能电话100的取向以及智能电话的运动。使用该信息，从多个可能动作中选择动作。例如，所选择的动作是将与智能电话100相关联的内容传送到膝上型计算机502。
图7示出了用户在他或她的右手700中的大致水平的面朝下的取向握持智能电话100的示例。用户将他或她的左手702定位成杯状，其中手掌朝向智能电话100的悬停敏感显示屏幕。用户摇动智能电话100，好像是将内容从智能电话100晃动到手掌中。智能电话100中的运动检测器检测摇动动作。根据所检测的取向、所检测的运动和识别出的悬停模式从多个可能动作中选择动作。例如，动作是从智能电话100中移除内容。用户左手702的杯状形状对于用户回忆来说是直观且简单的，因为它表明要从智能电话中移除内容，就好像它是从智能电话中晃动到杯状手702中。
图8示出了用于图7的场景的二维悬停模式，其中用户的手大致是静态的。存在表示用户右手700的拇指的多个激活的第一感测区域802。存在表示用户的左手702的手腕和跟部(heel)的多个激活的第二感测区域804。存在表示用户左手702的手指的末端的多个激活的第三感测区域806。
图9是用户将智能电话100保持在他或她的右手900中的大致竖直取向并且智能电话100的悬停敏感显示器面向计算设备的显示屏幕902的情景的示意图。用户能够沿着z轴朝向和远离显示屏幕902移动智能电话100，并且这在智能电话100处生成悬停模式并且在一些情况下还生成在智能电话100的运动传感器处所检测的运动信号。根据智能电话100的取向和悬停模式并且在一些情况下根据所检测的运动，从多个可能动作中选择动作。例如，所选择的动作是改变显示屏幕902的扬声器的音量。在另一示例中，所选择的动作是“将内容晃动到显示屏幕902上”，以便来自智能电话的内容以快速有效的方式被显示在更大的显示屏幕902上，这减轻了终端用户的负担。
图10是在诸如智能电话、可穿戴计算机、平板计算机或其他电子设备等电子设备上执行的方法的流程图。图10的方法的一部分可以由另一实体来执行，诸如云服务的远程服务器、与电子设备配对的计算设备或另一实体等。
电子设备检测支持它的取向1000。例如，使用一个或多个取向传感器来感测取向，这些取向传感器输出电子设备的取向的度量。可以平滑所感测的取向(以消除无意的晃动、抖动或噪声)并且将其转换为离散形式。例如，可以选择多个离散取向而不是使用连续取向度量。离散取向可以是：水平面朝上、水平面朝下、竖直。
诸如电子设备的悬停敏感显示器等悬停传感器感测(1002)悬停模式，诸如悬停模式的时间序列或单独的悬停模式。在单独的悬停模式的情况下，这可以包括悬停敏感显示器的多个感测区域中的每个的强度值。在悬停模式序列的情况下，对于多个感测区域中的每个存在多个强度值，其中在不同时间检测强度值。
电子设备和/或另一实体处的功能分析(1004)悬停模式。在使用另一实体的情况下，电子设备将悬停模式发送到另一实体。悬停模式与多个模板悬停模式中的每个的相似性使用任何合适的相似性度量来被计算。基于所计算出的相似性来选择模板悬停模式之一，并且所选择的模板悬停模式是所识别的悬停模式。
从电子设备或从另一实体访问多个可能动作，并且这些是可以使用悬停交互来触发的可能动作。至少根据所感测的取向和所识别的悬停模式选择(1006)动作之一。在各种示例中，使用来自一个或多个其他传感器的数据来选择(1006)动作，诸如由运动传感器所检测的运动、由麦克风所检测的声音、以及由相机所检测的视觉信号。然后触发(1010)所选择的动作。触发由电子设备本身和/或由另一实体(诸如分析悬停模式的实体)进行。
在一些情况下，电子设备检测(1008)邻近设备，诸如用户佩戴的智能手表、膝上型计算机或其他电子设备。在某些情况下，邻近设备与电子设备配对，但这不是必需的。在一些示例中，触发动作可以在邻近设备处发生。以这种方式，电子设备用作邻近设备的遥控器。
在上述示例中，悬停体积中的对象是用户的手指、拇指和手、其他计算设备或显示屏幕。然而，悬停体积中的对象也可以是三维刚性物理对象，诸如不同形状的木块。(木块是一个示例，并且可以使用其他三维对象。)通过将三维对象中的特定对象放置到悬停体积中，用户具有快速、简单且易于重复的触发动作的方式。在某些情况下，使用具有不同材料图案(pattern)的对象，诸如金属和非金属区域，其中金属对象提供与非金属对象不同的悬停模式。选择不同材料的特定图案，诸如对象上的金属和非金属区域，以便能够鲁棒地区分和准确地识别悬停模式。在某些情况下，来自诸如相机等其他传感器的信号用于检测和识别悬停体积中的对象。
图11是诸如智能电话100等电子设备的示意图，该电子设备具有悬停传感器，该悬停传感器是悬停敏感显示器1100。在该示例中，智能电话被保持在用户的右手掌中，其拇指和手指抓住智能电话并且在悬停敏感显示器上方延伸。悬停敏感显示器包括布置成网格的多个感测区域，并且一些但不是所有的感测区域1102被激活，如图11所示，这是由于拇指和手指在悬停体积中的存在。根据拇指/手指距悬停敏感显示器的距离，不同的感测区域具有不同的激活水平。
电子设备还可以检测指定的悬停模式序列，并且基于所检测的悬停模式序列来选择和触发动作。例如，悬停模式触发改变音量动作，随后是选择音量级别的电子设备的动作。
图12示出了示例性的基于计算的设备1200的各种组件，这些组件被实现为任何形式的计算和/或电子设备，并且其中在一些示例中实现了使用取向感测的悬停交互的实施例。
基于计算的设备1200包括一个或多个处理器1204，处理器1204是微处理器、控制器或任何其他合适类型的处理器，这些处理器用于处理计算机可执行指令以控制设备的操作，以便检测基于计算的设备的取向、检测悬停模式并且根据取向和悬停模式来触发从多个动作中选择动作。在一些示例中，例如在使用片上***架构的情况下，处理器1204包括一个或多个固定功能块(也称为加速器)，固定功能块用硬件(而不是软件或固件)实现检测取向、识别悬停模式并且选择和触发操作的方法的一部分。
计算机可执行指令使用由基于计算的设备1200可访问的任何计算机可读介质来提供。计算机可读介质包括例如计算机存储介质(诸如存储器1206)和通信介质。计算机存储介质(诸如存储器1206)包括以用于存储诸如计算机可读指令、数据结构、程序模块等信息的任何方法或技术实现的易失性和非易失性的可移动和不可移动介质。计算机存储介质包括但不限于：随机存取存储器(RAM)、只读存储器(ROM)、包括固态持久存储器的可擦除可编程只读存储器(EPROM)、电子可擦除可编程只读存储器(EEPROM)、闪存存储器或其他存储器技术、光存储器、磁存储设备、或者用于存储信息以供计算设备访问的任何其他非传输介质。相反，通信介质在诸如载波或其他传输机制的调制数据信号中实现计算机可读指令、数据结构、程序模块等。如本文中定义的，计算机存储介质不包括通信介质。因此，计算机存储介质不应当被解释为传播信号本身。尽管计算机存储介质(存储器1206)被示出为在基于计算的设备1200内，但是应当理解，在一些示例中，存储是远程分布或定位的，并且经由网络或其他通信链路(例如，使用收发器1210或有线通信链路)来访问。
基于计算的设备1200还包括悬停传感器1202，其被布置为输出显示信息，悬停传感器1202在某些情况下是悬停敏感显示器。显示信息可以提供图形用户界面。如下面更详细描述的，悬停传感器1202还被布置为检测悬停模式并且可选地还检测触摸输入，并且包括多个感测元件。基于计算的设备1200包括悬停模式分析器1208，其计算悬停模式与多个模板悬停模式之间的相似性度量。在一些示例中，悬停模式分析器1208功能部分地位于使用收发器1210与电子设备通信的另一实体处。也就是说，在某些情况下，悬停模式分析器1208通过将悬停模式发送到要分析的远程实体并且接收结果来工作。
悬停传感器可以使用感测技术，包括但不限于：电容、电场、电感、霍尔效应、簧片效应、涡流、磁阻、光学阴影、光学可见光、光学红外、光学颜色识别、超声波、声发射、雷达、热、声纳、导电和电阻技术。可以使用这些技术中的一个或多个的组合来实现悬停传感器。
在一些示例中，使用电容技术实现悬停传感器。在这种情况下，悬停传感器包括多个电容感测节点，每个电容感测节点能够独立地检测悬停体积中的电容变化。电容变化可以例如通过手指或拇指、笔、电容笔或悬停体积中的其他对象引起。
在另一示例中，使用光传感器技术实现悬停传感器。在这种情况下，显示器包括多个光传感器，这些光传感器检测来自悬停体积的未被对象填充的部分的环境光。
在悬停传感器使用红外光的情况下，悬停敏感显示器或电子设备具有红外光发射器和红外光传感器，红外光传感器检测来自悬停体积中的对象的红外光的反射。
基于计算的设备1200具有电源单元1212(诸如电池单元、电池或电源单元)，其用于从外部源获取电力。如本文中前面详细描述的，基于计算的设备具有一个或多个取向传感器1214。基于计算的设备可选地具有运动检测器1216，并且可选地具有相机1218或其他传感器，诸如麦克风。
可以使用本文中描述的技术触发的动作示例的非详尽列表是：改变扬声器的音量，使扬声器静音，发送内容，共享内容，删除内容，下载内容，上载内容，进行对指定联系人进行视频或语音呼叫，在邻近显示器上显示内容，
作为本文中描述的其他示例的替代或补充，示例包括以下各项的任何组合：
一种电子设备，包括：
悬停传感器；
取向传感器，被配置为检测电子设备的取向；以及
悬停模式分析器，被配置为使用由悬停敏感显示器感测的数据来识别从悬停传感器延伸的悬停空间中的一个或多个对象的悬停模式；
处理器，被配置为根据所感测的取向和所识别的悬停模式来从多个可能动作中选择动作，并且触发所选择的动作。
上述电子设备，包括一个或多个附加传感器，并且其中处理器被配置为还根据由一个或多个附加传感器感测的数据来选择动作。
上述电子设备，其中处理器被配置为通过发送或接收与电子设备相关联的内容来触发所选择的动作。
上述电子设备，其中处理器被配置为通过将与电子设备相关联的内容复制到剪贴板上来触发所选择的动作。
上述电子设备，其中所识别的悬停模式对应于用户的杯状手。
上述电子设备，其中处理器被配置为：检测邻近设备，并且在邻近设备处触发所选择的动作。
上述电子设备，其中悬停模式是二维悬停模式，二维悬停模式包括悬停传感器的多个感测区域的激活水平。
上述电子设备，其中悬停模式是三维悬停模式，三维悬停模式包括悬停传感器的多个感测区域中的每个感测区域的与不同时间相关联的多个激活水平。
上述电子设备，其中取向传感器被配置为从多个可能取向中检测取向，多个可能取向在电子设备的显示屏幕面朝上的情况下是竖直的、水平的，在电子设备的显示屏幕面朝下的情况下是水平的。
上述电子设备，其中悬停模式分析器被配置为：通过计算悬停模式与多个模板悬停模式中的各个模板悬停模式之间的相似性度量来识别悬停模式。
一种电子设备处的方法，包括：
操作电子设备的悬停传感器；
使用至少一个取向传感器来检测电子设备的取向；
使用由悬停传感器感测的数据来识别从悬停传感器延伸的悬停空间中的一个或多个对象的悬停模式；
根据所感测的取向和所识别的悬停模式动作来从多个可能动作中选择动作，以及
触发所选择的动作。
上述方法，包括通过发送或接收与电子设备相关联的内容来触发所选择的动作。
上述方法，包括通过将与电子设备相关联的内容复制到剪贴板上来触发所选择的动作。
上述方法，包括：识别与用户的杯状手相对应的悬停模式，并且触发发送与电子设备相关联的内容。
上述方法，包括检测邻近设备并且在邻近设备处触发所选择的动作。
上述方法，包括：检测来自多个可能取向中的取向，多个可能取向是竖直的，是水平的并且电子设备的显示屏幕面朝上，是水平的并且电子设备的显示屏幕面朝下。
上述方法，包括通过计算悬停模式与多个模板悬停模式中的各个模板悬停模式之间的相似性度量来识别悬停模式。
一种电子设备，包括：
悬停敏感显示器；
至少一个取向传感器，被配置为感测电子设备的取向；
用于识别从悬停敏感显示器延伸的悬停空间中的一个或多个对象的悬停模式的装置；
用于根据所感测的取向和所识别的悬停模式动作来从多个可能动作中选择动作的装置，以及
用于触发所选择的动作的装置。
上述电子设备，其中用于触发的装置被配置为传送与电子设备相关联的内容。
上述电子设备，其中用于触发的装置被配置为将与电子设备相关联的内容复制到剪贴板上。
本文中示出和描述的示例以及本文中未具体描述但在本公开的方面的范围内的示例构成用于识别悬停模式的示例性装置、用于选择动作的装置和用于触发动作的装置。例如，图12所示的处理器1204和悬停模式分析器1208诸如当被编码为执行图10所示的操作时构成用于识别悬停模式的示例性装置、用于选择动作的装置和用于触发动作的装置。
术语“计算机”或“基于计算的设备”在本文中用于指代具有处理能力使得其可以执行指令的任何设备。本领域技术人员将认识到，这种处理能力被结合到很多不同的设备中，因此术语“计算机”和“基于计算的设备”每个包括个人计算机(PC)、服务器、移动电话(包括智能电话)、平板电脑、机顶盒、媒体播放器、游戏机、个人数字助理、可穿戴计算机和很多其他设备。
在一些示例中，本文中描述的方法通过有形存储介质上的机器可读形式的软件来执行，例如，以包括计算机程序代码装置的计算机程序的形式，计算机程序代码装置适于在程序在计算机上运行时执行本文所述的一种或多种方法的所有操作，并且计算机程序可以在计算机可读介质上实现。该软件适合于在并行处理器或串行处理器上执行，使得方法操作可以以任何合适的顺序或同时执行。
这承认软件是有价值的可单独交易的商品。它旨在包括运行或控制“虚拟”或标准硬件执行期望功能的软件。它还旨在包括“描述”或定义硬件配置的软件，诸如HDL(硬件描述语言)软件，如用于设计硅芯片或用于配置通用可编程芯片，以执行期望功能。
本领域技术人员将认识到，用于存储程序指令的存储设备可选地分布在网络上。例如，远程计算机能够存储被描述为软件的过程的示例。本地或终端计算机能够访问远程计算机并且下载部分或全部软件以运行程序。或者，本地计算机可以根据需要下载软件的片段，或者在本地终端处执行一些软件指令，而在远程计算机(或计算机网络)处执行一些软件指令。本领域技术人员还将认识到，通过利用本领域技术人员已知的常规技术，软件指令的全部或一部分可以由诸如数字信号处理器(DSP)可编程逻辑阵列等专用电路来执行。
如本领域技术人员很清楚的，可以延长或改变本文中给出的任何范围或装置值而不丧失所寻求的效果。
尽管用结构特征和/或方法动作专用的语言描述了本主题，但应当理解，所附权利要求书中定义的主题不必限于上述具体特征或动作。而是，上述具体特征和动作被公开作为实现权利要求的示例形式。
应当理解，上述益处和优点可以涉及一个实施例，或者可以涉及多个实施例。实施例不限于解决任何或所有所述问题的那些实施例或者具有任何或所有所述益处和优点的那些实施例。将进一步理解，对“一个(an)”项目的引用是指这些项目中的一个或多个。
本文中描述的方法的操作可以以任何合适的顺序进行，或者在适当的情况下同时进行。另外，在不脱离本文中描述的主题的范围的情况下，可以从任何方法中删除各个块。上述任何示例的各方面可以与所描述的任何其他示例的各方面组合以形成另外的示例而不会丧失所寻求的效果。
术语“包括(comprising)”在本文中用于表示包括所标识的方法框或元件，但是这些框或元件不包括排他列表，并且方法或装置可以包含附加的框或元件。
应当理解，以上描述仅作为示例给出，并且本领域技术人员可以进行各种修改。以上说明书、示例和数据提供了示例性实施例的结构和使用的完整描述。尽管上面已经以一定程度的特殊性或者参考一个或多个单独的实施例描述了各种实施例，但是本领域技术人员可以在不脱离本说明书的范围的情况下对所公开的实施例进行多种改变。

Claims (15)

1.一种电子设备，包括：
悬停传感器；
取向传感器，被配置为检测所述电子设备的取向；以及
悬停模式分析器，被配置为使用由所述悬停传感器感测的数据来识别从所述悬停传感器延伸的悬停空间中的一个或多个对象的悬停模式；
处理器，被配置为根据所感测的所述取向和所识别的所述悬停模式来从多个可能动作中选择动作，并且触发所选择的所述动作。
2.根据权利要求1所述的电子设备，包括一个或多个附加传感器，并且其中所述处理器被配置为：还根据由所述一个或多个附加传感器感测的数据来选择所述动作。
3.根据权利要求1或2所述的电子设备，其中所述处理器被配置为：通过发送或接收与所述电子设备相关联的内容来触发所选择的所述动作。
4.根据前述权利要求中任一项所述的电子设备，其中所述处理器被配置为：通过将与所述电子设备相关联的内容复制到剪贴板上来触发所选择的所述动作。
5.根据前述权利要求中任一项所述的电子设备，其中所识别的所述悬停模式对应于用户的杯状手。
6.根据前述权利要求中任一项所述的电子设备，其中所述处理器被配置为：检测邻近设备，并且在所述邻近设备处触发所选择的所述动作。
7.根据前述权利要求中任一项所述的电子设备，其中所述悬停模式是二维悬停模式，所述二维悬停模式包括所述悬停传感器的多个感测区域的激活水平。
8.根据权利要求1至6中任一项所述的电子设备，其中所述悬停模式是三维悬停模式，所述三维悬停模式包括针对所述悬停传感器的多个感测区域中的每个感测区域的与不同时间相关联的多个激活水平。
9.根据前述权利要求中任一项所述的电子设备，其中所述取向传感器被配置为从多个可能取向中检测取向，所述多个可能取向在所述电子设备的显示屏幕面朝上的情况下是竖直的、水平的，在所述电子设备的显示屏幕面朝下的情况下是水平的。
10.根据前述权利要求中任一项所述的电子设备，其中所述悬停模式分析器被配置为：通过计算所述悬停模式与多个模板悬停模式中的各个模板悬停模式之间的相似性度量来识别所述悬停模式。
11.一种电子设备处的方法，包括：
操作所述电子设备的悬停传感器；
使用至少一个取向传感器来检测所述电子设备的取向；
使用由所述悬停传感器感测的数据来识别从所述悬停传感器延伸的悬停空间中的一个或多个对象的悬停模式；
根据所感测的所述取向和所识别的所述悬停模式动作来从多个可能动作中选择动作，以及
触发所选择的所述动作。
12.根据权利要求11所述的方法，包括：通过发送或接收与所述电子设备相关联的内容来触发所选择的所述动作。
13.根据权利要求11所述的方法，包括：通过将与所述电子设备相关联的内容复制到剪贴板上来触发所选择的所述动作。
14.根据权利要求11至13中任一项所述的方法，包括：识别与用户的杯状手相对应的悬停模式，并且触发发送与所述电子设备相关联的内容。
15.根据权利要求11至14中任一项所述的方法，包括：检测邻近设备并且在所述邻近设备处触发所选择的所述动作。
CN201780083196.7A 2017-01-12 2017-12-19 使用取向感测的悬停交互 Pending CN110168489A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/405,298 US10795450B2 (en) 2017-01-12 2017-01-12 Hover interaction using orientation sensing
US15/405,298 2017-01-12
PCT/US2017/067154 WO2018132222A1 (en) 2017-01-12 2017-12-19 Hover interaction using orientation sensing

Publications (1)

Publication Number Publication Date
CN110168489A true CN110168489A (zh) 2019-08-23

Family

ID=60991565

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780083196.7A Pending CN110168489A (zh) 2017-01-12 2017-12-19 使用取向感测的悬停交互

Country Status (4)

Country Link
US (1) US10795450B2 (zh)
EP (1) EP3568745B1 (zh)
CN (1) CN110168489A (zh)
WO (1) WO2018132222A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10976855B1 (en) * 2018-06-27 2021-04-13 Facebook Technologies, Llc Flexible touch sensing assembly for detecting proximity of user to a controller device

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100294938A1 (en) * 2009-05-22 2010-11-25 Rachid Alameh Sensing Assembly for Mobile Device
US20110017644A1 (en) * 2009-07-21 2011-01-27 Valerio Thomas A Method and System for Separating and Recovering Like-Type Materials from an Electronic Waste System
CN102428437A (zh) * 2009-05-26 2012-04-25 索尼公司 信息处理设备、信息处理方法及程序
CN103092502A (zh) * 2011-08-31 2013-05-08 三星电子株式会社 在便携式终端中提供用户界面的方法及其设备
CN103221963A (zh) * 2010-11-23 2013-07-24 艾科星科技公司 使用动态矩阵代码产生促进电子装置的用户支持
US20130222266A1 (en) * 2012-02-24 2013-08-29 Dan Zacharias GÄRDENFORS Method and apparatus for interconnected devices
CN103929464A (zh) * 2013-01-11 2014-07-16 三星电子株式会社 用于检测三维手势以发起和完成联网设备间应用数据传送的***和方法
US20140282070A1 (en) * 2013-03-14 2014-09-18 Samsung Electronics Co., Ltd. Object control method and apparatus of user device
US20140351768A1 (en) * 2013-05-27 2014-11-27 Samsung Electronics Co., Ltd. Method for processing input and electronic device thereof
CN104521224A (zh) * 2012-05-23 2015-04-15 高通股份有限公司 用于使用具有基于运动的模式转换的移动设备进行群通信的***和方法
CN104714737A (zh) * 2013-12-12 2015-06-17 联想（新加坡）私人有限公司 使用输入手势切换界面模式的方法和装置
US20150177840A1 (en) * 2013-12-19 2015-06-25 Nokia Corporation Apparatus and associated methods for user input
US20160139697A1 (en) * 2014-11-14 2016-05-19 Samsung Electronics Co., Ltd. Method of controlling device and device for performing the method
CN105807914A (zh) * 2015-01-16 2016-07-27 三星电子株式会社 虚拟输入设备和用于使用其来接收用户输入的方法
CN105929936A (zh) * 2015-02-26 2016-09-07 摩托罗拉移动有限责任公司 用于电子设备中的手势检测的方法和装置
CN106030491A (zh) * 2014-02-19 2016-10-12 微软技术许可有限责任公司 跨互连设备的悬停交互

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8125455B2 (en) 2007-01-03 2012-02-28 Apple Inc. Full scale calibration measurement for multi-touch surfaces
US8970501B2 (en) 2007-01-03 2015-03-03 Apple Inc. Proximity and multi-touch sensor detection and demodulation
US7877707B2 (en) 2007-01-06 2011-01-25 Apple Inc. Detecting and interpreting real-world and security gestures on touch and hover sensitive devices
US9236860B2 (en) 2009-04-07 2016-01-12 Microchip Technology Germany Gmbh Sensor device and method for grip and proximity detection
US20140078318A1 (en) * 2009-05-22 2014-03-20 Motorola Mobility Llc Electronic Device with Sensing Assembly and Method for Interpreting Consecutive Gestures
US8542186B2 (en) 2009-05-22 2013-09-24 Motorola Mobility Llc Mobile device with user interaction capability and method of operating same
US8982060B2 (en) * 2010-08-27 2015-03-17 Apple Inc. Touch and hover sensor compensation
US9329966B2 (en) * 2010-11-23 2016-05-03 Echostar Technologies L.L.C. Facilitating user support of electronic devices using matrix codes
US9285950B2 (en) 2011-03-30 2016-03-15 Google Inc. Hover-over gesturing on mobile devices
US20130104083A1 (en) 2011-10-21 2013-04-25 Digital Artforms, Inc. Systems and methods for human-computer interaction using a two handed interface
US8654076B2 (en) 2012-03-15 2014-02-18 Nokia Corporation Touch screen hover input handling
US8665238B1 (en) 2012-09-21 2014-03-04 Google Inc. Determining a dominant hand of a user of a computing device
US20140267130A1 (en) 2013-03-13 2014-09-18 Microsoft Corporation Hover gestures for touch-enabled devices
US20150177866A1 (en) * 2013-12-23 2015-06-25 Microsoft Corporation Multiple Hover Point Gestures
US20150199030A1 (en) 2014-01-10 2015-07-16 Microsoft Corporation Hover-Sensitive Control Of Secondary Display
US20150205400A1 (en) 2014-01-21 2015-07-23 Microsoft Corporation Grip Detection
US20150231491A1 (en) 2014-02-19 2015-08-20 Microsoft Corporation Advanced Game Mechanics On Hover-Sensitive Devices

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100294938A1 (en) * 2009-05-22 2010-11-25 Rachid Alameh Sensing Assembly for Mobile Device
CN102428437A (zh) * 2009-05-26 2012-04-25 索尼公司 信息处理设备、信息处理方法及程序
US20110017644A1 (en) * 2009-07-21 2011-01-27 Valerio Thomas A Method and System for Separating and Recovering Like-Type Materials from an Electronic Waste System
CN103221963A (zh) * 2010-11-23 2013-07-24 艾科星科技公司 使用动态矩阵代码产生促进电子装置的用户支持
CN103092502A (zh) * 2011-08-31 2013-05-08 三星电子株式会社 在便携式终端中提供用户界面的方法及其设备
US20130222266A1 (en) * 2012-02-24 2013-08-29 Dan Zacharias GÄRDENFORS Method and apparatus for interconnected devices
CN104521224A (zh) * 2012-05-23 2015-04-15 高通股份有限公司 用于使用具有基于运动的模式转换的移动设备进行群通信的***和方法
CN103929464A (zh) * 2013-01-11 2014-07-16 三星电子株式会社 用于检测三维手势以发起和完成联网设备间应用数据传送的***和方法
US20140282070A1 (en) * 2013-03-14 2014-09-18 Samsung Electronics Co., Ltd. Object control method and apparatus of user device
US20140351768A1 (en) * 2013-05-27 2014-11-27 Samsung Electronics Co., Ltd. Method for processing input and electronic device thereof
CN104714737A (zh) * 2013-12-12 2015-06-17 联想（新加坡）私人有限公司 使用输入手势切换界面模式的方法和装置
US20150177840A1 (en) * 2013-12-19 2015-06-25 Nokia Corporation Apparatus and associated methods for user input
CN106030491A (zh) * 2014-02-19 2016-10-12 微软技术许可有限责任公司 跨互连设备的悬停交互
US20160139697A1 (en) * 2014-11-14 2016-05-19 Samsung Electronics Co., Ltd. Method of controlling device and device for performing the method
CN105807914A (zh) * 2015-01-16 2016-07-27 三星电子株式会社 虚拟输入设备和用于使用其来接收用户输入的方法
CN105929936A (zh) * 2015-02-26 2016-09-07 摩托罗拉移动有限责任公司 用于电子设备中的手势检测的方法和装置

Also Published As

Publication number Publication date
WO2018132222A1 (en) 2018-07-19
US20180196524A1 (en) 2018-07-12
US10795450B2 (en) 2020-10-06
EP3568745B1 (en) 2022-06-15
EP3568745A1 (en) 2019-11-20

Similar Documents

Publication Publication Date Title
CN107430437B (zh) 在虚拟现实/增强现实环境中创建真实的抓取体验的***和方法
US20220155873A1 (en) Determining a primary control mode of controlling an electronic device using 3d gestures or using control manipulations from a user manipulable hand-held input device
JP6895390B2 (ja) 仮想現実においてハンドヘルド電子装置を追跡するためのシステム
CN105074615B (zh) 虚拟传感器***和方法
CN103261997B (zh) 用于控制显示的信息的用户输入的装置和方法
CN105378801B (zh) 全息图快照网格
US9600078B2 (en) Method and system enabling natural user interface gestures with an electronic system
CN109804411A (zh) 用于同时定位和映射的***和方法
Ledo et al. Pineal: Bringing passive objects to life with embedded mobile devices
JP2022537614A (ja) マルチ仮想キャラクターの制御方法、装置、およびコンピュータプログラム
CN108431734A (zh) 用于非触摸式表面交互的触觉反馈
KR20130112061A (ko) 자연스러운 제스처 기반 사용자 인터페이스 방법 및 시스템
CN111344663B (zh) 渲染装置及渲染方法
CN108351791A (zh) 具有用户输入配件的计算设备
GB2603392A (en) Gesture-centric user interface
US11886643B2 (en) Information processing apparatus and information processing method
CN110168489A (zh) 使用取向感测的悬停交互
KR20180036205A (ko) 시뮬레이션용 스마트 테이블 장치
US11782548B1 (en) Speed adapted touch detection
CN109643182A (zh) 信息处理方法、装置、云处理设备及计算机程序产品
US11054941B2 (en) Information processing system, information processing method, and program for correcting operation direction and operation amount
CN104951211A (zh) 一种信息处理方法和电子设备
CN108334246A (zh) 悬浮触控方法及相关装置
CN111639611A (zh) 一种历史文物的展示控制方法及装置
Borkowski et al. User-centric design of a vision system for interactive applications

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination