CN110908516A - 促进用户熟练使用雷达手势来与电子设备交互 - Google Patents

促进用户熟练使用雷达手势来与电子设备交互 Download PDF

Info

Publication number
CN110908516A
CN110908516A CN201911194059.8A CN201911194059A CN110908516A CN 110908516 A CN110908516 A CN 110908516A CN 201911194059 A CN201911194059 A CN 201911194059A CN 110908516 A CN110908516 A CN 110908516A
Authority
CN
China
Prior art keywords
radar
gesture
user
motion
visual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911194059.8A
Other languages
English (en)
Inventor
丹尼尔·佩尔·耶普松
劳伦·玛丽·贝达尔
维格内什·萨奇达南达姆
莫尔格温·奎因·麦卡蒂
布兰东·查尔斯·巴尔贝洛
亚历山大·李
莱昂纳多·朱斯蒂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US16/601,452 external-priority patent/US20210103337A1/en
Application filed by Google LLC filed Critical Google LLC
Publication of CN110908516A publication Critical patent/CN110908516A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/21Input arrangements for video game devices characterised by their sensors, purposes or types

Landscapes

  • Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本文档描述使得促进用户熟练使用雷达手势来与电子设备交互的技术。使用所述的技术,电子设备可以采用雷达***来检测和确定由用户做出以与电子设备和在电子设备上运行的应用进行交互的基于雷达的触摸无关的手势(雷达手势)。为了将雷达手势用于控制电子设备或与电子设备交互,用户必须正确地执行雷达手势。因此,所述的技术还提供允许用户以自然方式学习和实践雷达手势的游戏或教程环境。游戏或教程环境还提供当正确地做出雷达手势时以及当未正确地做出雷达手势时给出用户反馈的视觉反馈元素,从而使学习和实践对用户来说是愉快和愉悦的体验。

Description

促进用户熟练使用雷达手势来与电子设备交互
优先权申请
本申请在35U.S.C.§119(e)下要求2019年10月3日提交的,名为“FacilitatingUser-Proficiency in Using Radar Gestures to Interact with an ElectronicDevice”的美国临时专利申请No.62/910,135的优先权,其全部内容通过引用合并于此。
技术领域
本申请涉及促进用户熟练使用雷达手势来与电子设备交互。
背景技术
智能手机、可穿戴计算机、平板电脑和其他电子设备被用于个人和商业用途。用户经由语音和触摸与它们通信并且将它们视为虚拟助手来排程会议和事件、消耗数字媒体并且共享演示文稿和其他文档。此外,机器学习技术可以帮助这些设备预测一些它们的用户使用该设备的偏好。但是,对于所有这种计算能力和人工智能,这些设备仍然是被动通信器。也就是说,无论智能手机有多“智能”,并且无论用户与之交谈如何像它就是人一样,在用户与设备交互后,电子设备只能执行任务并且提供反馈。用户可以以多种方式(包括语音、触摸和其他输入技术)与电子设备交互。随着引入新技术能力和特征,用户可能必须学习新输入技术或使用现有输入技术的不同方式。只有学习了这些新技术和方法后,用户才能利用可用的新特征、应用和功能。缺乏新特征和输入方法的经验通常会导致与该设备的用户体验较差。
发明内容
本文档描述了促进用户熟练使用雷达手势来与电子设备交互的技术和***。该技术和***使用雷达场来使得电子设备能够准确地确定在电子设备附近存在或不存在用户,并且检测用户做出的与电子设备交互的伸出或其他雷达手势。此外,电子设备包括可以帮助用户学习如何适当地做出可以被用来与电子设备交互的雷达手势的应用。该应用可以是游戏、教程或其他格式,允许用户学习如何做出有效地与电子设备交互或控制电子设备的雷达手势。该应用还可以使用机器学习技术和模型来帮助雷达***和电子设备更好地识别不同用户如何做出雷达手势。应用和机器学习功能可以提高用户使用雷达手势的熟练程度,并且允许用户利用雷达手势的可用性提供的附加功能和功能部件,从而带来更好的用户体验。
下文所述的方面包括一种由雷达手势使能的电子设备执行的方法。该方法包括在雷达手势使能的电子设备的显示器上呈现第一视觉游戏元素。该方法还包括接收与用户在雷达***提供的雷达场中的第一运动相对应的第一雷达数据,雷达***包括在雷达手势使能的电子设备中或与雷达手势使能的电子设备相关联。该方法包括基于第一雷达数据,确定用户在雷达场中的第一运动是否包括第一雷达手势。该方法进一步包括响应于确定用户在雷达场中的第一运动包括第一雷达手势,呈现第一视觉游戏元素的成功视觉动画,第一视觉游戏元素的成功视觉动画指示视觉游戏娱玩的成功推进。替代地,该方法包括响应于确定用户在雷达场中的第一运动不包括第一雷达手势,呈现第一视觉游戏元素的不成功视觉动画,第一视觉元素的不成功视觉动画指示无法推进视觉游戏娱玩。
下文所述的其他方面包括一种雷达手势使能的电子设备,包括雷达***、计算机处理器以及计算机可读介质。雷达***至少部分地以硬件实现并且提供雷达场。雷达***还感测来自雷达场中的用户的反射、分析来自雷达场中的用户的反射;以及基于对反射的分析,提供雷达数据。计算机可读介质存储可以由一个或多个计算机处理器执行以实现手势训练模块的指令。手势训练模块在视觉游戏娱玩的背景下,在雷达手势使能的电子设备的显示器上呈现第一视觉游戏元素。手势训练模块还接收与用户在雷达场中的第一运动相对应的雷达数据的第一子集。手势训练模块基于雷达数据的第一子集,确定用户在雷达场中的第一运动是否包括第一雷达手势。响应于确定用户在雷达场中的第一运动包括第一雷达手势,手势训练模块呈现第一视觉游戏元素的成功视觉动画,第一视觉游戏元素的成功视觉动画指示视觉游戏娱玩的成功推进。替选地,响应于确定用户在雷达场中的第一运动不包括第一雷达手势,手势训练模块呈现第一视觉游戏元素的不成功视觉动画,第一视觉元素的不成功视觉动画指示无法推进视觉游戏娱玩。
在其他方面中,描述了包括雷达***、计算机处理器以及计算机可读介质的一种雷达手势使能的电子设备。雷达***至少部分地以硬件实现并且提供雷达场。雷达***还感测来自雷达场中的用户的反射、分析来自雷达场中的用户的反射,以及基于对反射的分析,提供雷达数据。雷达手势使能的电子设备包括用于在视觉游戏娱玩的背景下,在雷达手势使能的电子设备的显示器上呈现第一视觉游戏元素的装置。雷达手势使能的电子设备还包括用于接收与用户在雷达场中的第一运动相对应的雷达数据的第一子集的装置。雷达手势使能的电子设备还包括用于基于雷达数据的第一子集,确定用户在雷达场中的第一运动是否包括第一雷达手势的装置。雷达手势使能的电子设备还包括用于响应于确定用户在雷达场中的第一运动包括第一雷达手势,呈现第一视觉游戏元素的成功视觉动画的装置,第一视觉游戏元素的成功视觉动画指示视觉游戏娱玩的成功推进。替选地,雷达手势使能的电子设备包括用于响应于确定用户在雷达场中的第一运动不包括第一雷达手势,呈现第一视觉游戏元素的不成功视觉动画的装置,第一视觉元素的不成功视觉动画指示无法推进视觉游戏娱玩。
提供该概述以介绍促进用户熟练使用雷达手势来与电子设备交互的简化概念。在下文中,在详细描述中进一步描述简化概念。该概述不旨在标识所要求保护的主题的必要特征,也不旨在用于确定所要求保护的主题的范围。
附图说明
参考下述附图,描述了促进用户熟练使用雷达手势来与电子设备交互的方面。在整个附图中使用相同的数字来引用相似的特征和组件:
图1示出了示例性操作环境,其中,可以实现使得用户能够熟练使用雷达手势来与电子设备交互的技术。
图2示出了在图1的示例性操作环境中促进用户熟练使用雷达手势来与电子设备交互的示例性实现。
图3示出了在图1的示例性操作环境中促进用户熟练使用雷达手势来与电子设备交互的另一示例性实现。
图4示出了包括雷达***的电子设备的示例性实现,通过该电子设备,可以实现促进用户熟练使用雷达手势来与电子设备交互。
图5示出了图1和图4的雷达***的示例性实现。
图6示出了用于容纳图5的雷达***的天线元件的示例性排列。
图7示出了图1和图4的雷达***的示例性实现的附加细节。
图8示出了可以由图1和图4的雷达***实现的示例性方案。
图9示出了将具有视觉元素和视觉反馈元素的教程环境用于促进用户熟练使用雷达手势来与电子设备交互的示例性方法。
图10至图22示出了与图9中所述的教程环境方法一起使用的视觉元素和视觉反馈元素的示例。
图23示出了将包括视觉游戏元素和视觉游戏元素的动画的游戏环境用于促进用户熟练使用雷达手势来与电子设备交互的另一示例性方法。
图24至图33示出了与图23中所述的游戏环境方法一起使用的视觉游戏元素和视觉游戏元素的动画的示例。
图34示出了一种示例性计算***,其可以被实现为如参考图1至图33所述的任何类型的客户端、服务器和/或电子设备,或者在该***中可以实现使得能够促进用户熟练使用雷达手势来与电子设备交互的技术。
具体实施方式
概述
本文档描述使得促进用户熟练使用雷达手势来与电子设备交互的技术和***。所述的技术可以采用检测和确定由用户做出以与电子设备和在电子设备上运行的应用或程序进行交互的基于雷达的触摸无关的手势(雷达手势)的雷达***。为了将雷达手势用于控制电子设备或与电子设备交互,用户必须正确地做出或执行单个雷达手势(否则,存在雷达手势被忽略或无手势被检测为手势的风险)。因此,所述的技术还使用可以呈现允许用户以自然方式学习和实践雷达手势的教程或游戏环境的应用。教程或游戏环境还提供当正确地做出雷达手势时以及当未正确地做出雷达手势时给出用户反馈的视觉反馈元素,从而使学习和实践对用户来说是愉快和愉悦的体验。
在本描述中,术语“radar-based touch-independent gesture(基于雷达的触摸无关的手势)”、“3D gesture(3D手势)”或“radar gesture(雷达手势)”是指手势在空间上远离电子设备的性质(例如,该手势不需要用户触摸设备,尽管该手势并未排除触摸)。雷达手势本身通常可能仅具有二维的活动信息分量,诸如由飞机上的左上至右下轻扫组成的雷达手势,但是由于雷达手势距电子设备有一定距离(“third(第三)”维或深度),本文讨论的雷达手势通常可以被视为三维。可以通过基于雷达的触摸无关的手势接收控制输入的应用被称为雷达手势应用或雷达使能应用。
考虑包括所述的雷达***和教程(或游戏)应用的示例性智能手机。在该示例中,用户运行教程或游戏并且与电子设备的显示器上呈现的元素交互。用户与元素交互或玩游戏,这要求用户做出雷达手势。当用户正确地做出雷达手势时,教程前进或游戏娱玩(game-play)被扩展(或前行)。当用户不正确地做出雷达手势时,应用会提供其他反馈来帮助用户做出该手势。基于可能根据诸如与该手势一起使用的雷达手势应用的类型或雷达手势的类型(例如,水平轻扫、垂直轻扫或扩大或收缩捏合)的因素而改变的各种标准,确定雷达手势为成功(例如,正确地做出)。例如,标准可以包括雷达手势的形状、雷达手势的速度或在雷达手势完成期间用户的手与电子设备的接近程度。
所述的技术和***采用雷达***以及其他特征,以基于用户的手势和电子设备上的雷达手势应用的操作,提供有用的和有益的用户体验,包括视觉反馈和游戏娱玩。电子设备不是仅依赖于用户对特定雷达手势应用的知识和了解,还向用户提供反馈以指示雷达手势的成功或失败。一些常规的电子设备可以包括用于使用不同输入方法的指令(例如,作为设备包装或文档的一部分)。例如,电子设备可以在包装说明书中提供一些图解或网站地址。在一些情况下,该应用还可能具有“帮助”功能。但是,传统的电子设备通常无法提供可以向用户教导电子设备的能力以及用户与电子设备的交互的有用的和丰富的环境体验。
这些只是所述的技术和***如何可以被用来使能促进用户熟练使用雷达手势来与电子设备交互的一些示例,在本文档中将描述其他示例和实施方式。现在,本文档转向示例性操作环境,在此之后,描述示例性设备、方法和***。
操作环境
图1示出了示例性环境100,其中,可以实现使得促进用户熟练使用雷达手势来与电子设备交互的技术。示例性环境100包括电子设备102,该电子设备102包括持久性雷达***104、持久性手势训练模块106(手势训练模块106)以及可选地一个或多个非雷达传感器108(非雷达传感器108)或与持久性雷达***104、持久性手势训练模块106(手势训练模块106)以及可选地一个或多个非雷达传感器108(非雷达传感器108)相关联。关于雷达***104或手势训练模块106的术语“persistent(持久性)”是指不需要用户交互来激活雷达***104(其可以以各种模式操作,诸如休眠模式、参与模式或活动模式)或手势训练模块106。在一些实施方式中,“persistent”状态可以被(例如,用户)暂停或关闭。在其他实施方式中,可以根据电子设备102(或另一电子设备)的一个或多个参数来排程或以其他方式管理“persistent”状态。例如,即使电子设备102在晚上和整个白天都处于开启状态,用户也可以排程“persistent”状态,使其仅在白天工作。非雷达传感器108可以是多种设备中的任何一种,诸如音频传感器(例如,麦克风)、触摸输入传感器(例如,触摸屏)、运动传感器或图像捕获设备(例如相机或摄像机)。
在示例性环境100中,雷达***104通过发送一个或多个雷达信号或波形来提供雷达场110,如下文参考图5至图8所述。雷达场110是雷达***104可以从中检测到雷达信号和波形的反射(例如,从空间的体积中从物体反射的雷达信号和波形)的空间的体积。雷达场110可以以多种形状(诸如球体、半球、椭圆体、圆锥体、一个或多个波瓣或不对称形状(例如,其可以覆盖雷达不能穿透的障碍物两侧的区域))被配置。雷达***104还使电子设备102或另一电子设备能够感测和分析来自雷达场110中的物体或运动的反射。
雷达***104的一些实施方式可以特别有利地应用地在智能手机(如电子设备102)的场境中,因为这些智能手机存在许多问题,例诸如低功率需求、处理效率需求、天线元件的间距和布局的局限性以及其他问题,并且甚至在希望雷达检测细微手势检测的智能手机的特定场境中会更有利。尽管这些实施方式在所述的需要精细雷达检测手势的智能手机的场境中特别有利,但是应当意识到,本发明的特征和优点的适用性并不一定局限于此,涉及其他类型的电子设备的其他实施方式(例如,如参考图4所述)也在本教导的范围内。
关于与雷达***104交互或通过雷达***104的交互,物体可以是雷达***104可以感测并且分析雷达反射的多种物体中的任何一种,诸如木材、塑料、金属、织物、人体或人体的一部分(例如,电子设备102的用户的脚、手或手指)。如图1所示,物体是用户的手112(用户112)。基于反射的分析,雷达***104可以提供雷达数据,该雷达数据包括与雷达场110相关联的各种类型的信息以及来自用户112(或用户112的一部分)的反射,如参考图5至图8所述(例如,雷达***104可以将雷达数据传递给其他实体,诸如手势训练模块106)。
可以基于所感测和分析的来自物体(例如,雷达场110中的用户112或用户112的一部分)的反射,随时间连续地或周期性地提供雷达数据。用户112的位置可以随时间变化(例如,雷达场中的物体可以在雷达场110内移动),因此,雷达数据可以随时间变化,与改变的位置、反射和分析相对应。因为雷达数据可能随时间变化,所以雷达***104提供包括对应于不同时间段的雷达数据的一个或多个子集的雷达数据。例如,雷达***104可以提供对应于第一时间段的雷达数据的第一子集、对应于第二时间段的雷达数据的第二子集等等。在一些情况下,雷达数据的不同子集可以全部或部分重叠(例如,雷达数据的一个子集可以包括与雷达数据的另一子集相同或部分相同的数据)。
在一些实施方式中,雷达***104可以提供雷达场110,使得视野(例如,电子设备102、雷达***104或手势训练模块106可以在其内确定雷达手势的体积)包括电子设备周围,在从电子设备的显示器的平面测量的、电子设备102的约一米之内以及大于约十度的角度内的体积。例如,可以在(如从显示器114的平面测量的)距电子设备102约1米并且以约十度的角度做出手势。换句话说,雷达***104的视场可以包括大致垂直于电子设备的平面或表面的约160度的雷达场体积。
电子设备102还可以包括显示器114和应用管理器116。显示器114可以包括任何合适的显示设备,诸如触摸屏、液晶显示器(LCD)、薄膜晶体管(TFT)LCD、共面转换(IPS)LCD、电容式触摸屏显示器、有机发光二极管(OLED)显示器、有源矩阵有机发光二极管(AMOLED)显示器、超级AMOLED显示器等。显示器114被用来显示与电子设备102的各种模式相关联的、将参考图10至图33进一步详细描述的视觉元素。应用管理器116可以与在电子设备102上运行的应用通信并且与之交互,以确定并解决应用之间的冲突(例如,处理器资源使用、功率使用或对电子设备102的其他组件的访问)。应用管理器116还可以与应用交互以确定应用的可用输入模式,诸如触摸、语音或雷达手势(以及雷达手势的类型),并且将可用模式传达给手势训练模块106。
电子设备102可以检测用户112在雷达场110内的运动,诸如用于雷达手势检测。例如,手势训练模块106(独立地或通过应用管理器116)可以确定在电子设备上运行的应用具有接收对应于雷达手势的控制输入的能力(例如,为雷达手势应用)以及雷达手势应用可以接收哪些类型的手势。雷达手势可以是基于雷达数据(或通过雷达数据来确定)并且通过雷达***104接收。例如,手势训练模块106可以向用户呈现教程或游戏环境,然后手势训练模块106(或雷达***104)可以使用雷达数据的一个或多个子集来检测在电子设备102的手势区118内、由用户112的一部分(诸如手)或物体执行的运动或移动。然后,手势训练模块106可以确定用户的运动是否是雷达手势。例如,电子设备还包括手势库120。手势库120是可以存储与已知雷达手势或雷达手势模板有关的数据或信息的存储设备或位置。手势训练模块106可以将与用户112在手势区118内的运动相关联的雷达数据与存储在手势库120中的数据或信息进行比较,以确定用户112的运动是否是雷达手势。在下文中,描述手势区118和手势库120的附加细节。
手势区118是雷达***104(或另一模块或应用)可以在其中检测到用户或用户的一部分(例如,用户的手112)的运动并且确定该运动是否为雷达手势的电子设备102周围的区域或体积。雷达场的手势区是比雷达场更小的区或区域(例如,手势区比雷达场具有更小的体积并且在雷达场内)。例如,手势区118可以是电子设备周围的具有预定义的、可变的、用户可选择的或经由另一种方法(例如,基于功率要求、剩余电池寿命、成像/深度传感器或另一因素)确定的静态尺寸和/或形状(例如,电子设备102周围的阈值距离,诸如在3、5、7、9或12英寸内)的固定体积。除了与雷达***104的视野相关的优势外,雷达***104(以及相关联的程序、模块和管理器)还允许电子设备102检测用户的运动并且在弱光或无光环境下确定雷达手势,因为雷达***不需要光即可操作。
在其他情况下,手势区118可以是电子设备周围的能够由电子设备102、雷达***104或手势训练模块106基于诸如电子设备102的速度或位置、时刻、在电子设备102上运行的应用的状态或另一因素的因素动态且自动地调整的体积。尽管雷达***104可以在更远的距离处检测到雷达场110内的物体,但手势区118帮助电子设备102和雷达手势应用区分用户的有意雷达手势和可能类似于雷达手势、但用户并不打算这样做的其他类型的运动。手势区118可以被配置有阈值距离,诸如在约3、5、7、9或12英寸内。在一些情况下,手势区可以在不同方向上从电子设备延伸不同的阈值距离(例如,它可以具有楔形、长方形、椭圆形或不对称形状)。手势区的大小或形状也可以随时间变化或基于其他因素(诸如电子设备的状态(例如,电池电量、方向、锁定或未锁定)或环境(诸如放在口袋或钱包中、车中或平坦的表面上))。
在一些实施方式中,手势训练模块106可以被用来提供用户112可以使用雷达手势与电子设备102交互以便学习和实践做出雷达手势的教程或游戏环境。例如,手势训练模块可以在显示器114上呈现可以被用来教用户如何做出和使用雷达手势的元素。该元素可以是任何合适的元素,诸如视觉元素、视觉游戏元素或视觉反馈元素。图1示出了示例性视觉元素122、示例性视觉游戏元素124和示例性视觉反馈元素126。为图1的视觉简洁,示例以通用形状表示。但是,这些示例性元素可以采用多种形式中的任何一种,诸如抽象形状、几何形状、符号、视频图像(例如,在显示器114上呈现的嵌入式视频),或者一种或多种形式的组合。在其他情况下,元素可以是真实或虚构角色,诸如人或动物(真实或神话),也可以是媒体或游戏角色,诸如PikachuTM。参考图2至图33,描述与这些元素有关的附加示例和细节。
考虑图2所示的示例,其示出了手势区118内的用户112。在图2中,示例性视觉元素122-1(显示为球组件和狗组件)被呈现在显示器114上。在该示例中,假设手势训练模块106正在呈现视觉元素122-1以请求用户112做出左到右的轻扫雷达手势(例如,以训练用户做出该手势)。进一步假设视觉元素122-1最初呈现有在显示器114的左边缘附近的球,如由球组件的虚线表示所示而最初呈现有等在显示器114的右边缘附近的狗。继续该示例,用户112做出从左向右的手运动,如箭头202所示。假设手势训练模块106确定用户的运动是从左向右的轻扫雷达手势。响应于该雷达手势,手势训练模块106可以提供示例性视觉反馈元素126-1,其指示用户成功地执行了所请求的左到右雷达手势。例如,视觉反馈元素126-1可以是视觉元素122-1的动画,其中,视觉元素122-1的球组件朝着视觉元素122-1的狗组件(从左到右)移动,如由另一箭头204所示。
考虑图3所示的另一示例,其示出了手势区118内的用户112。在图3中,示例性视觉游戏元素124-1(显示为篮球组件和篮筐组件)被呈现在显示器114上。在该示例中,假设手势训练模块106正在呈现视觉游戏元素124-1以请求用户112做出左到右的轻扫的雷达手势(例如,以训练用户做出该手势)。进一步假设视觉游戏元素124-1最初呈现有在显示器114的左边缘附近的篮球组件,如由篮球组件的虚线表示所示,并且篮筐组件位于显示器114的右边缘附近。继续该示例,用户112做出左向右的手运动,如箭头302所示。假设手势训练模块106确定用户的运动是左到右的轻扫的雷达手势。响应于该雷达手势,手势训练模块106可以提供示例性视觉反馈元素126-2,其指示用户成功地执行了所请求的左到右的雷达手势。例如,视觉反馈元素126-2可以是视觉游戏元件124-1的成功动画,其中,视觉游戏元件124-1的篮球组件朝着视觉游戏元件124-1的篮筐组件(从左到右)移动,如由另一箭头304所示。
在上述示例200或300中,手势训练模块106还可以确定用户的运动不是所请求的手势。响应于确定该运动不是所请求的雷达手势,手势训练模块106可以提供另一视觉反馈元素,其指示用户没有成功地执行所请求的左到右的雷达手势(图2或图3中未示出)。参考图10至图22至图24至图33描述视觉元件122、视觉游戏元件124和视觉反馈元素126的其他示例。这些示例显示了所述的技术(包括视觉元素122、视觉游戏元素124和视觉反馈元素126)如何被用来为用户提供学习和实践雷达手势的自然而令人愉快的机会,从而可以改善用户使用电子设备102以及在电子设备102上运行的雷达手势应用的体验。
更详细地,考虑图4,其示出了电子设备102(包括雷达***104、手势训练模块106、非雷达传感器108、显示器114、应用管理器116和手势库120)的示例性实现400,可以实现促进用户熟练使用雷达手势来与电子设备交互的方面。通过各种示例性设备例示了图4的电子设备102,包括智能手机102-1、平板电脑102-2、手提电脑102-3、台式计算机102-4、计算手表102-5、游戏***102-6、计算眼镜102-7、家庭自动化和控制***102-8、智能冰箱102-9和汽车102-10。电子设备102还可以包括其他设备,诸如电视、娱乐***、音频***、无人机、触控板、绘图板、上网本、电子阅读器、家庭安全***和其他家用电器。注意,电子设备102可以是可穿戴设备、不可穿戴但移动的设备或相对不移动的设备(例如,台式机和家用电器)。如在本公开中使用的术语“wearable device(可穿戴设备)”是指能够穿戴在人体(诸如,腕部、踝部、腰部、胸部或其他身体部位或义肢)处、上或附近的任何设备(例如手表、手镯、戒指、项链、其他珠宝、眼镜、鞋类、手套、头带或其他头饰、衣服、护目镜、隐形眼镜)。
在一些实施方式中,电子设备102的示例性总体横向尺寸可以为约8厘米乘以约15厘米。雷达***104的示例性覆盖区可以被进一步限制,诸如包括天线在内的约4毫米乘6毫米。对于雷达***104的这种有限的覆盖区的这种要求是在这样的空间受限的封装中容纳电子设备102的许多其他期望特征(例如,指纹传感器、非雷达传感器108等)。结合功率和处理方面的限制,这种尺寸要求可能导致雷达手势检测的准确性和有效性的折衷,鉴于本文的教导至少可以克服其中的一些。
电子设备102还包括一个或多个计算机处理器402和包括存储器介质和存储介质的一个或多个计算机可读介质404。实现为计算机可读介质404上的计算机可读指令的应用和/或操作***(未示出)可以由计算机处理器402执行,以提供本文所述的一些或全部功能。例如,处理器402可以被用来执行计算机可读介质404上的指令以实现手势训练模块106和/或应用管理器116。电子设备102还可以包括网络接口406。电子设备102可以使用网络接口406以通过有线、无线或光网络传送数据。作为示例而非限制,网络接口406可以通过局域网(LAN)、无线局域网(WLAN)、个人局域网(PAN)、广域网(WAN)、内联网、因特网、对等网络、点对点网络或网状网络来传送数据。
雷达***104的各种实现可以包括片上***(SoC)、一个或多个集成电路(IC)、具有嵌入式处理器指令或被配置为访问存储在存储器中的处理器指令的处理器、具有嵌入式固件的硬件、具有各种硬件组件的印刷电路板或其任意组合。雷达***104可以通过发送和接收其自身的雷达信号来操作为单基地雷达。
在一些实施方式中,雷达***104还可以与外部环境内的其他雷达***104合作以实现双基地雷达、多基地雷达或网络雷达。然而,电子设备102的约束或限制可能会影响雷达***104的设计。例如,电子设备102可能具有可用于操作雷达的有限功率、有限计算能力、尺寸约束、布局约束、使雷达信号衰减或失真的外壳等等。雷达***104包括若干特征,这些特征使得在存在这些约束的情况下能够实现先进的雷达功能和高性能,如下文参考图5进一步所述。注意在图1和图4中,雷达***104、手势训练模块106、应用管理器116和手势库120被示为电子设备102的一部分。在其他实施方式中,雷达***104、手势训练模块106、应用管理器116或手势库120中的一个或多个可以与电子设备102分离或远离。
在下文中,更详细地阐述这些和其他能力和配置以及图1的实体动作和交互的方式。这些实体可以被进一步划分、组合等。图1的环境100和图2至图34的详细示例示出了能够采用所述技术的许多可能的环境和设备中的一些。图5至图8描述了雷达***104的另外的细节和特征。在图5至图8中,在电子设备102的场境中描述雷达***104,但是如上所述,所述的***和技术的特征和优点的适用性并不一定因此受到限制,涉及其他类型的电子设备的其他实施方式也在本教导的范围内。
图5示出了雷达***104的示例性实现500,其可以被用来使得促进用户熟练使用雷达手势来与电子设备交互。在示例500中,雷达***104包括下述组件中的每一个的至少一个:通信接口502、天线阵列504、收发器506、处理器508和***介质510(例如,一个或多个计算机可读存储介质)。处理器508可以被实现为数字信号处理器、控制器、应用处理器、另一处理器(例如,电子设备102的计算机处理器402)或其一些组合。可以包括在电子设备102的计算机可读介质404内或与之分离的***介质510包括下述模块中的一个或多个:衰减缓解器514、数字波束形成器516、角度估计器或功率管理器520这些模块可以补偿或减轻将雷达***104集成在电子设备102内的影响,从而使雷达***104能够识别较小或复杂的手势、区分用户的不同方位、持续地监控外部环境,或实现目标误警率。通过这些特征,雷达***104可以在诸如图1所示的设备的各种不同设备内实现。
使用通信接口502,雷达***104可以将雷达数据提供给手势训练模块106。基于雷达***104被实现为与电子设备102分离还是集成在电子设备102内,通信接口502可以是无线或有线接口。取决于应用,雷达数据可以包括原始或最少处理的数据、同相和正交(I/Q)数据、距离多普勒数据、包括目标位置信息(例如,距离、方位角、仰角)的处理数据、杂乱的地图数据等。通常,雷达数据包含可由手势训练模块106使用来促进用户熟练使用雷达手势来与电子设备交互的信息。
天线阵列504包括至少一个发射天线元件(未示出)和至少两个接收天线元件(如图6所示)。在一些情况下,天线阵列504可以包括多个发射天线元件,以实现能够一次发射多个不同波形(例如,每个发射天线元件发射不同的波形)的多输入多输出(MIMO)雷达。使用多个波形可以提高雷达***104的测量精度。对于包括三个或以上接收天线元件的实施方式,可以以一维形状(例如,线)或二维形状放置接收天线元件。一维形状使得雷达***104能够测量一个角度维度(例如,方位角或仰角),而二维形状使得能够测量两个角度维度(例如,方位角和仰角)。参考图6,进一步描述接收天线元件的示例性二维排列。
图6示出了接收天线元件602的示例性排列600。例如,如果天线阵列504包括例如至少四个接收天线元件602,则接收天线元件602可以以如图6的中部所示的矩形排列604-1来放置。替选地,如果天线阵列504包括至少三个接收天线元件602,则可以使用三角形排列604-2或L形排列604-3。
由于电子设备102的尺寸或布局限制,接收天线元件602之间的元件间距或接收天线元件602的数量对于雷达***104所要监视的角度可能不太理想。具体地,元件间距可能导致存在角度模糊性,这对常规雷达估计目标的角度位置是个挑战。因此,常规雷达可能限制视野(例如,要监视的角度),以避免具有角度模糊性的模糊区,从而减少错误检测。例如,常规雷达可以将视场限制约-45度到45度之间的角度,以避免使用5毫米(mm)的波长和3.5mm的元素间距(例如,元素间距为波长的70%)而导致的角度模糊性。因此,常规雷达可能无法检测超出视场的45度限制的目标。相反,雷达***104包括数字波束形成器516和角度估计器518,其解决角度模糊度并使雷达***104能够监视超过45度限制的角度,诸如,在约-90度至90度或达到约-180度和180度之间的角度。可以在一个或多个方向(例如,方位角和/或仰角)上应用这些角度范围。因此,雷达***104可以对各种不同的天线阵列设计(包括小于、大于或等于雷达信号的中心波长的一半的元件间距)实现低的误警率。
使用天线阵列504,雷达***104可以形成被转向或未转向、宽或窄或成形(例如,成形为半球、立方体、扇形、圆锥形或圆柱体)的波束。作为示例,一个或多个发射天线元件(未示出)可以具有未转向的全向辐射图案,或者可以产生宽波束,诸如宽发射波束606。这些技术中的任何一种都能够使雷达***104照射大的空间体积。然而,为了实现目标角度精度和角度分辨率,接收天线元件602和数字波束形成器516可以被用来生成数千个窄波束和转向波束(例如2000个波束、4000个波束或6000个波束),诸如窄接收光束608。以这种方式,雷达***104可以有效地监控外部环境并且准确地确定外部环境内的反射的到达角。
返回图5,收发器506包括用于经由天线阵列504发射和接收雷达信号的电路和逻辑。收发器506的组件可以包括用于调节雷达信号的放大器、混频器、开关、模数转换器、滤波器等。收发器506还可以包括执行同相/正交(I/Q)运算(诸如调制或解调)的逻辑。收发器506可以被配置用于连续波雷达操作或脉冲雷达操作。可以使用各种调制来生成雷达信号,包括线性频率调制、三角频率调制、步进频率调制或相位调制。
收发器506可以生成在频率范围(例如,频谱)内的雷达信号,诸如在1吉赫兹(GHz)与400GHz之间、在4GHz与100GHz之间,或在57GHz与63GHz之间。频谱可以被分为具有相似带宽或不同带宽的多个子频谱。带宽可以约500兆赫兹(MHz)、1GHz、2GHz等。作为示例,不同的频率子频谱可以包括在约57GHz至59GHz、59GHz至61GHz或61GHz至63GHz之间的频率。为相干性,也可以选择具有相同带宽并且可以是连续的或不连续的多个频率子频谱。可以使用单个雷达信号或多个雷达信号同时或在时间上分离地发送多频子频谱。连续频率子频谱使得雷达信号具有更宽的带宽,而非连续频率子频谱可以进一步强调振幅和相位差,这使得角度估计器518能够解决角度模糊性。衰减缓解器514或角度估计器518可以使收发器506利用一个或多个频率子频谱来提高雷达***104的性能,如参考图7和8进一步所述。
功率管理器520使雷达***104能够在电子设备102内部或外部省电。在一些实施方式中,功率管理器520与手势训练模块106通信以在雷达***104或电子设备102的一个或两者内省电。例如,在内部,功率管理器520可以使雷达***104使用预定的功率模式或特定的手势帧更新率来收集数据。手势帧更新率表示雷达***104通过发送和接收一个或多个雷达信号来主动监视外部环境的频率。一般而言,功耗与手势帧更新率成正比。这样,手势帧更新率越高会导致雷达***104消耗的电量越大。
每个预定义的功率模式可以与特定的帧结构、特定的发射功率水平或特定的硬件(例如,低功率处理器或高功率处理器)相关联。调整这些中的一个或多个会影响雷达***104的功耗。但是,降低功耗会影响性能,诸如手势帧更新率和响应延迟。在这种情况下,功率管理器520在不同的功率模式之间动态地切换,使得基于环境内的活动来一起管理手势帧更新率、响应延迟和功耗。通常,功率管理器520确定何时以及如何可以节约功率,并且递增地调整功耗以使雷达***104能够在电子设备102的功率限制内运行。在一些情况下,功率管理器520可以监视剩余的可用电量,并且相应地调整雷达***104的操作。例如,如果剩余电量低,则功率管理器520可以继续在低功率模式下操作而不是切换到高功率模式。
低功率模式例如可以使用约几赫兹(例如,约1Hz或小于5Hz)的较低手势帧更新率,并且消耗约几毫瓦(mW)(例如,在约2mW和4mW之间)的功率。另一方面,高功率模式可以使用约几十赫兹(Hz)(例如,约20Hz或大于10Hz)的较高手势帧更新率,这导致雷达***104消耗约几毫瓦(例如,在约6mW和20mW之间)的功率。虽然低功率模式可以被用来监视外部环境或检测接近的用户,但是如果雷达***104确定用户正在开始执行手势,则功率管理器520可以切换到较高功率模式。不同的触发器可以使功率管理器520在不同的功率模式之间动态切换。示例性触发器包括运动或无运动、用户出现或消失、用户移入或移出指定区域(例如,由范围、方位角或仰角定义的区域)、与用户相关联的运动速度的变化或反射信号强度的变化(例如,由于雷达横截面的变化)。通常,指示用户与电子设备102交互的较低概率或使用较长的响应延迟来收集数据的偏好的触发器可以导致激活较低功率模式以省电。
每个功率模式可以与特定的帧结构相关联。帧结构指定与雷达信号的发射和接收相关联的配置、排程和信号特性。通常,帧结构被设置成使得可以基于外部环境来收集适当的雷达数据。可以定制帧结构,以促进对不同应用(例如,接近检测、特征识别或手势识别)收集不同类型的雷达数据。在整个帧结构的每一级的不活动时间期间,功率管理器520可以关闭图5中的收发器506内的组件以省电。帧结构使得可以在每一帧类型内通过可调占空比来省电。例如,第一占空比可以是基于相对于特征帧的总数的活动特征帧的数量。第二占空比可以基于相对于特征帧的总数的活动雷达帧的数量。第三占空比可以是基于相对于雷达帧的持续时间的雷达信号的持续时间。
考虑用于消耗约2mW的功率并且具有在约1Hz和4Hz之间的手势帧更新率的低功率模式的示例帧结构(未示出)。在该示例中,帧结构包括具有在约250ms与1秒之间的持续时间的手势帧。手势帧包括31个脉冲模式特征帧。31个脉冲模式特征帧之一处于活动状态。这导致占空比为约等于3.2%。每个脉冲模式特征帧的持续时间在约8毫秒到32毫秒之间。每个脉冲模式特征帧由八个雷达帧组成。在活动脉冲模式特征帧内,所有八个雷达帧均处于活动状态。这导致占空比等于100%。每个雷达帧的持续时间在约1毫秒和4毫秒之间。每个活动雷达帧内的活动时间约在32μs至128μs之间。这样,最终占空比约为3.2%。已经发现该示例性帧结构产生了良好的性能结果。这些良好的性能结果体现在良好的手势识别和状态检测方面,同时在低功耗状态下手持智能手机的应用环境中也产生了良好的功率效率结果。基于该示例性帧结构,功率管理器520可以确定雷达***104没有主动收集雷达数据的时间。基于该不活动时间段,功率管理器520可以通过调整雷达***104的工作状态并且关闭收发器506中的一个或多个组件来省电,如下文进一步所述。
功率管理器520还可以通过在不活动时间段期间关闭收发器506中的一个或多个组件(例如,压控振荡器、复用器、模数转换器、锁相环或晶体振荡器)来省电。如果雷达***104没有主动发射或接收雷达信号,则会出现这些不活动的时间段,其可以微秒(μs)、毫秒(ms)或秒(s)为量级。此外,功率管理器520可以通过调整信号放大器提供的放大量来修改雷达信号的发射功率。另外,功率管理器520可以控制雷达***104内的不同硬件组件的使用以省电。例如,如果处理器508包括例如较低功率处理器和较高功率处理器(例如,具有不同存储量和计算能力的处理器),则功率管理器520可以在将较低功率处理器用于低级分析(例如,实施空闲模式、检测运动、确定用户的位置或监视环境)和将较高功率处理器用于通过手势训练模块106请求高保真或准确的雷达数据的情形(例如,用于实现感知模式、参与模式或活动模式、手势识别或用户定向)之间切换。
此外,功率管理器520可以确定电子设备102周围的环境的场境。根据该场境,功率管理器520可以确定使哪些功率状态可用以及如何配置它们。例如,如果电子设备102在用户的口袋中,则尽管将用户检测为接近电子设备102,但是雷达***104不需要在具有高手势帧更新率的较高功率模式下操作。因此,即使用户被检测为接近电子设备102,功率管理器520也可以使雷达***104保持在较低功率模式,并且使显示器114保持关闭或其他较低功率状态。电子设备102可以结合雷达***104,使用任何合适的非雷达传感器108(例如,陀螺仪、加速计、光传感器、接近传感器、电容传感器等)来确定其环境的场境。场境可以包括时刻、日历日、明暗度、用户附近的用户数、周围的噪音水平、周围物体(包括用户)相对于电子设备102的移动速度等)。
图7示出了电子设备102内的雷达***104的示例性实现700的附加细节。在示例700中,天线阵列504被定位在电子设备102的外壳(诸如玻璃盖或外壳)下方。取决于其材料特性,外壳可以充当衰减器702,其使由雷达***104发射和接收的雷达信号衰减或失真。衰减器702可以包括不同类型的玻璃或塑料,其中一些可以在电子设备102的显示屏、外部壳体或其他组件中找到并且具有在约4到10之间的介电常数(例如,相对介电常数)。因此,衰减器702对于雷达信号706是不透明的或半透明的,并且可以使发射或接收的雷达信号706的一部分被反射(如由反射部分704所示)。对于常规雷达,衰减器702可以减小可以被监控的有效范围,防止检测到小的目标,或降低整体精度。
假设雷达***104的发射功率有限,并且不希望重新设计外壳,则调整雷达信号706的一个或多个衰减相关特性(例如,频率子频谱708或转向角710)或衰减器702的衰减相关特性(例如,衰减器702与雷达***104之间的距离712或衰减器702的厚度714)以减轻衰减器702的影响。这些特性中的一些可以在制造期间设置,或者在雷达***104的工作期间由衰减缓解器514调整。例如,衰减缓解器514可以使收发器506使用选定的频率子频谱708或转向角710发射雷达信号706,使得平台将雷达***104移近或远离衰减器702以更改距离712,或提示用户应用另一个衰减器来增加衰减器702的厚度714。
适当的调整可以由衰减缓解器514基于衰减器702的预定特性(例如,存储在电子设备102的计算机可读介质404中或***介质510内的特性)或通过处理雷达信号706的返回信号来进行以测量衰减器702的一个或多个特性。即使一些衰减相关特性是固定的或受约束的,衰减衰减器514也可以考虑这些限制以平衡每个参数并实现目标雷达性能。结果,衰减缓解器514使雷达***104能够实现增强的精度和更大的有效范围,以用于检测和跟踪位于衰减器702的相对侧的用户。这些技术提供了增加发射功率的替代方案,增加了雷达***104的功耗,或改变衰减器702的材料属性,一旦设备投入生产,这可能既困难又昂贵。
图8示出了由雷达***104实现的示例性方案800。方案800的部分可以由处理器508、计算机处理器402或其他硬件电路执行。可以定制方案800以支持不同类型的电子设备和基于雷达的应用(例如,手势训练模块106),并且尽管设计约束,也可以使雷达***104获得目标角精度。
收发器506基于接收天线元件602对所接收的雷达信号的单独响应来产生原始数据802。所接收的雷达信号可以与由角度估计器518选择的一个或多个频率子频谱804相关联,以促进角度模糊性分辨率。例如,可以选择频率子频谱804以减小旁瓣的数量或减小旁瓣的振幅(例如,将振幅减小0.5dB、1dB或更大)。可以基于雷达***104的目标角度精度或计算限制来确定频率子频谱的数量。
原始数据802包含一段时间的数字信息(例如,同相和正交数据)、不同的波数以及分别与接收天线元件602相关联的多个信道。对原始数据802执行快速傅立叶变换(FFT)806以生成预处理数据808。预处理数据808包括跨一段时间、针对不同范围(例如,间距(rangebin))以及针对多个信道的数字信息。对预处理数据808执行多普勒滤波处理810以生成距离多普勒数据812。多普勒滤波处理810可以包括另一FFT,该另一FFT生成针对多个间距、多个多普勒频率以及多个信道的振幅和相位信息。数字波束形成器516基于距离多普勒数据812来产生波束形成数据814。波束形成数据814包含用于一组方位角和/或仰角的数字信息,该数字信息表示数字波束形成器由其形成不同转向角或波束的视场。尽管未示出,但是数字波束形成器516可以备选地基于预处理数据808生成波束形成数据814,并且多普勒滤波处理810可以基于波束形成数据814来生成距离多普勒数据812。为了减少计算量,数字波束形成器516可以基于感兴趣的范围、时间或多普勒频率间隔来处理距离多普勒数据812或预处理数据808的一部分。
可以使用单视波束形成器816、多视干涉仪818或多视波束形成器820来实现数字波束形成器516。通常,单视波束形成器816可以被用于确定性对象(例如,具有单相中心的点源目标)。对于非确定性目标(例如,具有多个相位中心的目标),可以使用多视干涉仪818或多视波束形成器820来相对于单视波束形成器816提高准确性。人类是非确定性目标的示例并且具有可以基于不同的视界角(如824-1和824-2所示)来改变的多个相位中心822。由多个相位中心822产生的相长或相消干涉的变化可能对常规雷达准确地确定角度位置是个挑战。然而,多视干涉仪818或多视波束形成器820执行相干平均以提高波束形成数据814的精度。多视干涉仪818相干地平均两个信道以生成可以被用来精确地确定角信息的相位信息。另一方面,多视波束形成器820可以使用线性或非线性波束形成器(诸如傅立叶、Capon、多信号分类(MUSIC)或最小方差无畸变响应(MVDR))相干地平均两个或多个信道。经由多视波束形成器820或多视干涉仪818提供的增加的准确性使雷达***104能够识别小手势或区分用户的多个部位。
角度估计器518分析波束形成数据814以估计一个或多个角度位置。角度估计器518可以利用信号处理技术、模式匹配技术或机器学习。角度估计器518还解决了可能由雷达***104的设计或雷达***104监视器的视场而导致的角度模糊性。在振幅图826(例如,振幅响应)内示出了示例性角度模糊性。
振幅图826描绘了对目标的不同角度位置和对不同转向角710可能发生的振幅差。示出了对位于第一角度位置830-1的目标,示出了第一振幅响应828-1(用实线示出)。同样地,对位于第二角度位置830-2的目标,示出了第二振幅响应828-2(用虚线示出)。在此示例中,在-180度和180度之间的角度上考虑了差异。
如振幅图826所示,对于两个角度位置830-1和830-2存在模糊区。第一振幅响应828-1在第一角度位置830-1处具有最高峰值,而在第二角度位置830-2处具有较小峰值。虽然最高峰对应于目标的实际位置,但较小的峰值会导致第一角度位置830-1模糊,因为它在常规雷达可能无法确信地确定该目标是处于第一位置角度位置830-1还是第二角度位置830-2的一些阈值之内。相反,第二振幅响应828-2在第二角度位置830-2处具有较小的峰值,而在第一角度位置830-1处具有较高的峰值。在这种情况下,较小的峰值对应于目标的位置。
虽然常规雷达可能限于使用最高峰值振幅来确定角度位置,但是相反,角度估计器518分析振幅响应828-1和828-2的形状的细微差异。形状的特征可以包括例如滚降、峰值或零位宽、峰值或零值的角度位置、峰值和零值的高度或深度、旁瓣形状、振幅响应828-1或828-2内的对称性,或振幅响应828-1或828-2内无对称性。可以在相位响应中分析相似的形状特征,这可以提供附加信息来解决角度模糊性。因此,角度估计器518将唯一角度特征或图案映射到角度位置。
角度估计器518可以包括一套算法或工具,其可以根据电子设备102的类型(例如,计算能力或功率限制)或手势训练模块106的目标角度分辨率来选择。在一些实施方式中,角度估计器518可以包括神经网络832、卷积神经网络(CNN)834或长短期记忆(LSTM)网络836。神经网络832可以具有各种深度或不同数量的隐藏层(例如,3个隐藏层、5个隐藏层或10个隐藏层),并且还可以包括不同数量的连接(例如,神经网络832可以包括全连通神经网络或部分连通神经网络)。在一些情况下,CNN 834可以被用来提高角度估计器518的计算速度。LSTM网络836可以被用来使角度估计器518跟踪目标。使用机器学习技术,角度估计器518采用非线性函数来分析振幅响应828-1或828-2的形状并生成角度概率数据838,其指示用户或用户的一部分在角度盒子内的可能性。角度估计器518可以对几个角度盒子(诸如提供目标位于电子设备102左侧或右侧的概率的两个角度盒子)或对数千个角度盒子(例如,为连续角度测量提供角度概率数据838)提供角度概率数据838。
基于角度概率数据838,***模块840产生角度位置数据842,其识别目标的角度位置。***模块840可以基于角度概率数据838中具有最高概率的角度盒子或基于预测信息(例如,先前测量的角度位置信息)来确定目标的角度位置。***模块840还可以跟踪一个或多个运动目标,以使雷达***104能够可靠地区分或识别目标。其他数据也可以被用来确定角度位置,包括范围、多普勒、速度或加速度。在一些情况下,***模块840可以包括α-β***、卡尔曼滤波器、多假设***(MHT)等等。
量化器模块844获得角度位置数据842,并且量化该数据以产生量化的角度位置数据846。可以基于用于手势训练模块106的目标角度分辨率来执行量化。在一些情况下,可以使用较小的量化级,使得量化的角度位置数据846指示目标是在电子设备102的右侧还是左侧,或者识别目标位于其中的90度象限。这对于一些基于雷达的应用(诸如用户接近检测)就足够了。在其他情况下,可以使用更多量化级,使得量化角度位置数据846指示在几分之一度、1度、五度等的精度内的目标的角度位置。该分辨率可以被用来高分辨率的基于雷达的应用,诸如手势识别,或用在实现如本文所述的手势区、识别区、感知模式、参与模式或活动模式中。在一些实施方式中,数字波束形成器516、角度估计器518、***模块840和量化器模块844一起被实现在单个机器学习模块中。
在下文中阐述这些和其他能力以及配置,以及图1至图8的实体动作和交互的方式。所述实体可以被进一步划分、组合、与其他传感器或组件一起使用等等。以这种方式,可以使用具有雷达***104和非雷达传感器的不同配置的电子设备102的不同实施方式来实现在促进用户熟练使用雷达手势来与电子设备交互的方面。图1的示例性操作环境100和图2至图8的详细图示仅仅示出了能够采用所述技术的许多可能的环境和设备中的一些。
示例性方法
图9至图22和图23至图33描绘了示例性方法900和2300,其使得促进用户熟练雷达手势来与电子设备交互。方法900和2300可以通过电子设备执行,该电子设备包括显示器、计算机处理器和可以提供雷达场的雷达***或与显示器、计算机处理器和可以提供雷达场的雷达***相关联,诸如电子设备102(和雷达***104)。雷达***和雷达场可以基于来自雷达场中的物体(例如,用户112或用户112的一部分,诸如手)的雷达场的反射来提供雷达数据。例如,雷达数据可以由雷达***104生成和/或通过雷达***104接收,如参考图1至图8所述。雷达数据被用来确定用户与电子设备的交互,诸如雷达场中的用户的存在以及用户做出的手势(例如,雷达手势)。基于确定用户的存在、运动和手势,电子设备可以进入和退出不同的功能模式,并在显示器上显示不同的元素,包括视觉元素、视觉游戏元素和视觉反馈元素。
参考方法900和方法2300描述的视觉元素可以使电子设备能够在执行与电子设备的雷达手势交互中向用户提供训练和实践。此外,视觉元素可以向用户提供反馈,以指示用户的雷达手势与电子设备交互的成功和效率。参考图10至图22和图24至图33描述视觉元素的附加示例。
方法900被示为一组框,其指定执行的操作但未必限于用于由各个框执行操作所示出的顺序或组合。此外,可以重复、组合、重新组织或链接一个或多个操作中的任何一个,以提供各种各样的附加和/或替代方法。在下述讨论的部分中,可以参考图1的示例性操作环境100或图2至图8中所述的实体或过程,其仅作为示例进行参考。该技术不限于由在一个设备上操作的一个实体或多个实体来执行。
在902,在雷达手势使能的电子设备的显示器上呈现视觉元素和指令。视觉元素和指令请求用户执行接近电子设备的手势。例如,手势训练模块106可以在电子设备102的显示器114上呈现视觉元素122(其可以包括视觉元素122-1)和指令。所请求的手势可以是基于雷达的触摸无关的雷达手势(如上所述)、触摸手势(例如,在触摸屏上)或另一种手势,诸如基于相机的触摸无关的手势。视觉元素122可以是用户112可以使用所请求的手势(例如,雷达手势)与之交互的多种合适元素中的任何一种。在一些情况下,例如,视觉元素122可以是一组对象,诸如球和狗或迷宫中的老鼠。在其他情况下,视觉元素122可以是游戏环境中的角色或对象,诸如具有要执行的任务的动画角色(例如,皮卡丘)或赛道上的汽车。
与视觉元素122一起包括的指令可以采取各种形式中的任何一种(例如,文本、非文本或隐式指令)。例如,指令可以是呈现在显示器114上、与视觉元素分开的文本(例如,可以与图1所示的球和狗一起呈现一行文本,读成“swipe from left to right to throwthe ball to the dog(从左向右轻扫以将球扔向狗)”)。视觉元素122提供的非文本指令可以是视觉元素122的动画、音频指令(例如,通过与电子设备102相关联的扬声器)或另一种类型的非文本指令。例如,非文本指令可以是其中狗摇着尾巴跳到空中的图1中所示的狗的动画,或者其中球朝着狗移动而狗接住了球的动画。在其他情况下,指令可以隐含在视觉元素122的呈现中(例如,一起呈现的狗和球可以隐含地指示用户尝试将球扔给狗,而无需另外的指令)。
在904处,接收与用户在雷达***提供的雷达场中的运动相对应的雷达数据。该雷达***可以被包括在电子设备中或与电子设备相关联,并且运动接近电子设备。例如,参考图1至图8所述的雷达***104可以提供雷达数据。
在906处,基于雷达数据确定用户在雷达场中的运动是否包括指令请求执行的手势。例如,手势训练模块106可以确定用户在雷达场110中的运动是否是雷达手势(例如,如上所述的基于雷达的触摸无关的手势)。
在一些实施方式中,手势训练模块106可以通过使用雷达数据来确定用户在雷达场110中的运动是否是雷达手势以检测用户在雷达场中的运动相关联的参数集合的值。例如,该参数集合可以包括表示用户在雷达场110中的运动的形状、用户在雷达场110中的运动的路径、用户在雷达场110中的运动的长度、用户在雷达场110中的运动的速度、雷达场110中的用户与电子设备102的距离中的一个或多个的值。然后,手势训练模块106将参数集合的值与用于该参数集合的基准值进行比较。例如,如上所述,手势训练模块106可以将参数集合的值与手势库120存储的基准值进行比较,如上所述。基准值可以是与指令请求执行的手势相对应的参数的值。
当与用户的运动相关联的参数集合的值满足由基准参数定义的标准时,手势训练模块106确定用户在雷达场中的运动是雷达手势。类似地,当与用户的运动相关联的参数集合的值不满足由基准参数定义的标准时,手势训练模块106确定用户在雷达场中的运动不是雷达手势。在一些情况下,手势训练模块106可以使用(例如,由手势库120存储的)一定范围的基准值,该基准值允许使手势训练模块106确定用户的运动是雷达手势的参数集合的值的一些变化。
进一步地,在一些实施方式中,电子设备102可以包括机器学习技术,其可以生成与指令请求执行的手势相关联的自适应或经调整的基准值。经调整的基准值基于表示用户执行指令请求执行的手势的多次尝试的雷达数据来生成。例如,用户可能会反复尝试以做出请求的手势而没有成功(例如,与用户尝试的手势相关联的参数值不落在基准参数的值内)。在这种情况下,机器学习技术可以生成一组经调整的基准值,其包括与用户的不成功手势相关联的参数的值中的至少一些。
然后,手势训练模块106可以接收与(例如,在失败的手势尝试之后)用户在雷达场中的运动相对应的雷达数据,并且检测与用户的运动相关联的另一个参数集合的值。如上所述,然后,手势训练模块106可以将另一个参数集合的检测值与经调整的基准值进行比较,并且基于该比较来确定用户在雷达场中的运动是否是指令请求执行的手势。因为经调整的参数是基于机器学习的参数集合,所以即使当基于与未调整的基准值的比较而用户的手势不是请求的手势时,也可以将用户的手势确定为请求的雷达手势。以这种方式,经调整的基准值允许电子设备和手势训练模块106学习接受用户如何做出雷达手势的更多变化(例如,当变化一致时)。这些技术还可以允许识别特定的用户手势。例如,如果用户在物理上不能做出如由基准参数定义的手势。
在一些实施方式中,视觉元素122和相关联的指令也可以被用来增加经调整的基准值的准确性并减少生成经调整的基准值所花费的时间。例如,机器学习技术可以命令手势训练模块106呈现诸如文本或音频的指令,以询问用户该用户的运动是否旨在作为所请求的手势。用户可以答复(例如,使用雷达手势、触摸输入或语音输入),然后手势训练模块106可以要求用户重复所请求的手势,直到机器学习技术具有足够的数据来生成经调整的基准值。
可选地,在908,响应于确定用户在雷达场中的运动是指令请求执行的手势,在显示器上呈现视觉反馈元素。视觉反馈元素指示用户在雷达场中的运动是指令请求执行的雷达手势。例如,响应于确定用户的运动是所请求的雷达手势,手势训练模块106可以在显示器114上呈现视觉反馈元素126(其可以包括视觉反馈元素126-1和126-2中的一个或两个)。
考虑图10所示的示例,其大体上在1000示出视觉元素122和视觉反馈元素126的附加示例。细节视图1000-1示出了正在呈现示例性视觉元素1002(包括球组件1002-1和狗组件1002-2)的示例性电子设备102(在这种情况下,智能手机102-1)。在细节视图1000-1中,球组件1002-1被呈现在显示器114的左边缘,而狗组件1002-2被呈现在显示器114的右边缘。细节视图1000-1还示出了可以显示与示例性视觉元素1002相关联的可选文本指令(例如,用于执行从左向右轻扫的雷达手势的文本指令)的位置1004。
另一细节视图1000-2示出了示例性视觉反馈元素1006,其包括球组件1006-1和狗组件1006-2。在细节视图1000-2的示例中,假设用户112成功执行了所请求的手势(例如,手势训练模块106基于雷达数据,确定用户在雷达场110中的运动是所请求的雷达手势)。该手势可以是多种手势中的任何一种,包括轻扫手势(例如,从左到右或从右到左)或与方向无关的手势(例如,全手势)。响应于成功执行的雷达手势,手势训练模块106通过对视觉元素1002动画化来呈现视觉反馈元素1006。在示例性动画中,球组件1006-1从显示器114的左边缘向狗组件1006-2移动,如箭头1008所示。随着球组件1006-1接近,狗组件1006-2移动以拾取球组件1006-1。细节视图1000-2还图示了可以显示与示例性视觉反馈元素1006相关联的附加可选文本指令(例如,再次执行所请求的手势的指令或确认所请求的手势的成功执行的消息)的位置1010。
返回图9,可选地,在910处,响应于确定用户在雷达场中的运动不是指令请求执行的手势,在显示器上呈现另一视觉反馈。另一视觉反馈元素指示用户在雷达场中的第一运动不是或不包括指令请求执行的手势。例如,响应于确定用户的运动不是所请求的手势,手势训练模块106可以在显示器114上呈现另一视觉反馈元素。
考虑图11所示的示例,其大体上在1100图示了视觉元素122和视觉反馈元素126的附加示例。细节视图1100-1图示了正在呈现示例性视觉元素1102(包括球组件1102-1和狗组件1102-2)的示例性电子设备102(在这种情况下,智能手机102-1)。在细节视图1100-1中,球组件1102-1被呈现在显示器114的左边缘,而狗组件1102-2被呈现在显示器114的右边缘。细节视图1100-1还图示了可以显示与示例性视觉元素1102相关联的可选文本指令(例如,用于执行从左向右轻扫的雷达手势的文本指令)的位置1104。
另一细节视图1100-2示出了示例性视觉反馈元素1106,其包括球组件1106-1和狗组件1106-2。在细节视图1100-2的示例中,假设用户112无法执行所请求的手势(例如,手势训练模块106基于雷达数据,确定用户在雷达场110中的运动不是所请求的雷达手势)。该手势可以是多种手势中的任何一种,包括轻扫手势(例如,从左到右或从右到左)或与方向无关的手势(例如,全手势)。响应于失败的雷达手势,手势训练模块106通过使视觉元素1102动画化来呈现视觉反馈元素1106。在示例性动画中,球组件1106-1简单地上下弹跳,如由运动指示器1108所示。当球组件1106-1弹跳时,狗组件1106-2坐下。细节视图1100-2还示出了可以显示与示例性视觉反馈元素1106相关联的附加的可选文本指令(例如,再次执行所请求的手势的指令或确认所请求的手势成功执行的消息)的位置1110。
在呈现视觉反馈元素1106一段持续时间后,手势训练模块106可以停止呈现视觉反馈元素1106并且呈现视觉元素1102。该持续时间可以是允许用户查看视觉反馈元素1106的任何合适的持续时间(例如,约两秒、四秒或六秒)。持续时间可以由用户112选择和/或调整。在一些情况下,用户可以尝试另一种手势,在这种情况下,手势训练模块106可以停止呈现视觉反馈元素1106并且呈现视觉元素1102,即使持续时间尚未届满。
在确定用户在雷达场中的运动不是所请求的手势之后并且在呈现视觉元素1102的同时(例如,在持续时间结束之后或当手势训练模块106确定用户正在雷达场中执行运动时),则可以接收附加雷达数据。附加雷达数据可以对应于用户112在雷达场110中的另一运动(例如,在执行所请求的手势的不成功尝试之后,用户112可以进行另一尝试)。基于附加雷达数据,手势训练模块106可以(例如,如上所述,使用基准值)确定用户112的另一运动是所请求的手势。响应于确定用户112的另一运动是所请求的手势,手势训练模块106可以呈现视觉反馈元素1006,以指示用户112的另一运动是所请求的手势。
在一些实施方式中,代替视觉反馈元素1006和1106,或者除了视觉反馈元素1006和1106以外,手势训练模块106可以呈现其他视觉反馈元素。例如,对在电子设备102上运行的雷达手势应用,手势训练模块106可以提供相似或相同的一组***级视觉反馈元素(但不同于视觉反馈元素1006和1106)。
考虑图12,其大体上在1200图示了视觉反馈元素1202的示例。细节视图1200-1图示了正在呈现示例性视觉反馈元素1202(其被示为照明区域(例如,发光区域))的示例性电子设备102(在这种情况下,智能手机102-1)。如同视觉元素1002和1102以及视觉反馈元素1006和1106一样,视觉反馈元素1202可以被呈现在显示器114上的另一位置处、以不同的照明级(例如,更多照明或更少照明)被呈现或呈现为另一形状或类型的元素。细节视图1200-1还示出了可以显示与示例性视觉元素1002相关联的可选文本指令的位置1004。如所示,因为视觉反馈元素1202被呈现在显示器114的顶部,所以位置1004被呈现在不同的位置。
另一个细节视图1200-2示出了示例性视觉反馈元素1202如何响应于成功的雷达手势而变化。在细节视图1200-2的示例中,假设所请求的手势是从左向右轻扫,并且用户112成功执行了所请求的手势(例如,手势训练模块106基于雷达数据,确定用户在雷达场110中的运动就是所请求的雷达手势)。响应于成功执行了雷达手势,手势训练模块106通过将视觉反馈元素1202从左向右移动,绕过显示器114的一个角来使其动画化,如箭头1204所示。视觉反馈元素1202的运动使用户112知道已成功执行所请求的手势。如图12所示,与视觉反馈元素1202一起呈现示例性视觉元件1002和示例性视觉反馈元素1006(以及位置1010)。在其他情况下,可以在不呈现视觉元素1002和视觉反馈元素1006之一或两者的情况下呈现视觉反馈元素1202。在一些情况下,视觉反馈元素1202可以与另一个视觉元素(未示出)一起呈现。
图13大体上在1300示出了当用户112的运动不是或不包括所请求的手势时可以呈现的另一视觉反馈元素1302的示例。细节视图1300-1示出了正在呈现示例性视觉反馈元素1302(被示为照明区域(例如,发光区域))的示例性电子设备102(在这种情况下,智能手机102-1)。如同视觉元素1002和1102以及视觉反馈元素1006、1106和1202,视觉反馈元素1302可以被呈现在显示器114上的另一位置处、以不同的照明级(例如,更多照明或更少照明)被呈现,或者被呈现为另一形状或类型的元素。细节视图1300-1还图示了可以显示与示例性视觉元素1102相关联的可选文本指令的位置1104。如所示,因为视觉反馈元素1302正被呈现在显示器114的顶部,所以位置1104被呈现在不同的位置。
另一细节视图1300-2示出了示例性视觉反馈元素1302如何响应于执行所请求的雷达手势的尝试失败而改变。在细节视图1300-2的示例中,假设所请求的手势是从左向右轻扫并且用户112未能执行所请求的手势(例如,手势训练模块106基于雷达数据,确定用户在雷达场110中的运动不是请求的雷达手势)。响应于失败的手势,手势训练模块106通过将视觉反馈元素1302从左向右移动来使其动画化,如箭头1304所示。在这种情况下,视觉反馈元素1302不会绕过拐角。相反,视觉反馈元素1302在到达拐角之前停止并返回到初始位置,如细节视图1300-1所示(未示出返回)。视觉反馈元素1302的运动使用户112知道没有成功执行所请求的手势。如图13所示,视觉反馈元素1302与示例性视觉元素1102、位置1110以及示例性视觉反馈元素1106(包括动画,诸如球组件1106-1的运动1108)一起呈现。在其他情况下,可以在不呈现视觉元素1102和视觉反馈元素1106之一或两者的情况下呈现视觉反馈元素1302。在一些情况下,可以将视觉反馈元素1302与另一视觉元素(未示出)一起呈现。
在其他实施方式中,视觉反馈元素1202或1302可以以其他方式动画化。例如,考虑图14,其示出了视觉反馈元素的附加示例。细节视图1400-1示出了正在呈现示例性视觉反馈元素1402(其被示为照明区域(例如,发光区域))的示例性电子设备102(在这种情况下为智能手机102-1)。虽然在显示器114的上边缘处示出,但是视觉反馈元素1402可以被呈现在显示器114上的另一位置处、以不同的照明级(例如,更多照明或更少照明)被呈现,或者被呈现为另一形状或类型的元素。细节视图1400-1还示出了可以显示与示例性视觉反馈元素1006相关联的可选文本指令的位置1010。如所示,因为视觉反馈元素1402正被呈现在显示器114的顶部,所以位置1010被呈现在不同的位置。
在细节视图1400-1的示例中,假定所请求的手势是与方向无关的手势(例如,全手势),并且用户112成功执行了所请求的手势(例如,手势训练模块106基于雷达数据,确定用户在雷达场110中的运动是所请求的雷达手势)。响应于成功执行了雷达手势,手势训练模块106通过增加视觉反馈元素1402的大小和亮度(例如,发光度)并且在接近显示器114的边缘添加明线1404(如细节视图1400-2所示)来动画化视觉反馈元素1402。动画序列在另一细节视图1400-3中继续,在该视图中,视觉反馈元素1402开始减小尺寸,如由双箭头1406所示。另一细节视图1400-4示出了连续的动画,其中,视觉反馈元素1402进一步减小尺寸,朝着显示器114的上边缘的中心缩小,如另一双箭头1408所示。动画继续,直到视觉反馈元素1402消失,然后返回到如细节视图1400-1中所示的状态(未示出)为止。视觉反馈元素1402的运动使用户112知道成功执行了所请求的手势。
如图14所示,视觉反馈元素1402与视觉反馈元素1006(包括动画,诸如球组件1006-1的运动1008)一起呈现。在其他情况下,可以在不呈现视觉反馈元素1006的情况下,与其他内容(具有或不具有视觉反馈元素1006)、与视觉元素(例如,视觉元素1002)或在另一配置(未示出)中一起呈现视觉反馈元素1402。
类似地,考虑15,其示出了当用户112的运动不是或不包括所请求的手势时可以呈现的视觉反馈元素的附加示例。细节视图1500-1图示了正在呈现示例性视觉反馈元素1502(其被示为照明区域(例如,发光区域))的示例性电子设备102(在这种情况下,智能手机102-1)。虽然在显示器114的上边缘处示出了视觉反馈元素1502,但是其可以被呈现在显示器114上的另一位置处、以不同的照明级(例如,更多照明或更少照明)被呈现,或者被呈现为另一形状或类型的元素。细节视图1500-1还示出了可以显示与示例性视觉反馈元素1106相关联的可选文本指令的位置1110。如所示,因为视觉反馈元素1502被呈现在显示器114的顶部,所以位置1110被呈现在不同的位置。
在细节视图1500-1的示例中,假设请求的手势是与方向无关的手势(例如,全手势),并且用户112无法执行所请求的手势(例如,手势训练模块106基于雷达数据,确定用户在雷达场110中的运动不是所请求的雷达手势)。响应于未成功执行了雷达手势,手势训练模块106通过减小视觉反馈元素1502的大小和亮度(例如,发光度)来使视觉反馈元素1502动画化,如细节视图1500-2所示。动画序列在另一细节视图1500-3中继续,在该视图中,视觉反馈元素1502停止缩小,并且开始变亮和扩大,如另一双箭头1506所示。另一细节视图1500-4示出了连续的动画,其中,视觉反馈元素1502返回到如细节视图1500-1中所示的状态。视觉反馈元素1502的运动使用户112知道没有成功执行所请求的手势。
如图15所示,与视觉反馈元素1106(包括动画,诸如球组件1106-1的运动1108)一起示出视觉反馈元素1502。在其他情况下,可以在不呈现视觉反馈元素1106的情况下,与其他内容(具有或不具有视觉反馈元素1106)、视觉元素(例如,视觉元素1102)一起,或在另一配置(未示出)中呈现视觉反馈元素1502。
在一些实施方式中,电子设备102和雷达***104可以包括手势暂停模式。在手势暂停模式下,在雷达***正提供雷达场且雷达手势应用在电子设备上正运行的时间段内,检测到手势暂停触发事件。响应于检测到手势暂停触发事件,进入手势暂停模式。在手势暂停模式下,当雷达手势应用正在电子设备上运行时,电子设备提供指示电子设备处于手势暂停模式的另一视觉反馈元素。
电子设备102可以通过来自雷达***104的输入和/或来自其他传感器(例如,相机或非雷达传感器108)的输入来检测手势暂停触发事件。手势暂停触发事件是由于雷达手势应用无法执行与雷达手势相关联的动作而暂停雷达手势的条件、一组条件或状态。通常,手势暂停触发事件是使电子设备102或雷达***104难以准确有效地确定用户的运动是否是雷达手势的条件。例如,手势暂停触发事件可以是电子设备102的超过阈值频率的振荡运动、电子设备以高于阈值速度的速度的运动或者物体(诸如用户112(或用户112的一部分))在雷达场中的超过临界频率的振荡运动。
响应于检测到手势暂停触发事件,电子设备102进入手势暂停模式。如果雷达手势应用(例如,能够接收与雷达手势相对应的控制输入的应用)正在电子设备102上运行同时电子设备102处于手势暂停模式,则手势训练模块106将在电子设备102的显示器114上提供视觉反馈元素。在这种情况下,用户112可能尝试或可以还未尝试做出雷达手势。手势训练模块106基于对手势暂停触发事件的检测来提供视觉反馈元素,并且不需要尝试雷达手势。相反,视觉反馈元素提醒用户雷达手势当前不可用于控制电子设备102上的雷达手势应用。
考虑图16所示的示例,其大体上在1600示出了视觉反馈元素的示例,该视觉反馈元素指示电子设备102和/或雷达***104处于手势暂停模式。细节视图1600-1示出了正呈现示例性视觉反馈元素1602(其被示出为坐下的狗)的示例性电子设备102(在这种情况下为智能手机102-1)。在这种情况下,视觉反馈元素通过消除球组件(例如1002-1或1102-1)并且动画化被呈现以指示手势训练模块106不能接受手势的视觉元素(例如,视觉元素1002或1102)中的狗组件(例如1002-2或1102-2)来指示手势暂停模式。细节视图1600-1还图示了可以显示与示例性视觉反馈元素1602相关联的附加可选文本指令(例如,等待执行所请求的手势的指令和/或说明电子设备102处于手势暂停模式的消息)的位置1010。
在一些实施方式中,代替视觉反馈元素1602或除了视觉反馈元素1602之外,手势训练模块106还可以呈现其他视觉反馈元素。例如,手势训练模块106可以提供另一视觉反馈元素1604,其可以是参考图12至图15所述的***级视觉反馈元素集合的一部分。在图16中,另一视觉反馈元素1604是显示器114的上边缘处的照明区域(例如,发光区域)。在其他情况下,视觉反馈元素1604可以被呈现在显示器114上的另一位置处、以不同照明级(例如,更多照明或更少照明)被呈现,或被呈现为其他形状或类型的元素。
在细节视图1600-1的示例中,以指示电子设备102可以接收雷达手势并受其控制的形式呈现视觉反馈元素1604(例如,类似于视觉反馈元素1202、1302、1402和1502)。当电子设备102进入手势暂停模式时,手势训练模块106动画化视觉反馈元素1604以提醒用户。手势训练模块106通过减小视觉反馈元素1604的大小和亮度(例如,发光度)来开始动画,如细节视图1600-2中的双箭头1606所示。动画序列在另一个细节视图1600-3中继续,其中,视觉反馈元素1604已停止缩小,并且显示在显示器114的上边缘的中心附近。较小、较暗的视觉反馈元素1604指示处于手势暂停模式。细节视图1600-4图示了动画的结束(例如,手势暂停模式的结束),显示视觉反馈元素1604通过增大大小和亮度正回到细节视图1600-1中所示的状态,如另一双箭头1608所示。如图16所示,视觉反馈元素1604与视觉反馈元素1602一起呈现。在其他情况下,可以在没有视觉反馈元素1602、与其他内容(具有或不具有视觉反馈元素1602)一起、与视觉元素(例如,视觉元素1002和/或1102)一起或在另一配置(未示出)中呈现视觉反馈元素1604。
图10至图16还示出了可以显示与示例性视觉元素1002和1102以及示例性视觉反馈元素1006和1106相关联的可选文本指令的位置(例如,位置1004、1010、1104和1110)。这些文本位置可以包括与请求的手势、用户对所请求的手势的执行等有关的任何合适的指令、说明或消息。例如,文本指令可以包括执行所请求的手势的指令、再次执行所请求的手势的指令、解释所请求的手势或与该手势有关的消息或确认成功执行所请求的手势的消息。
考虑图17,其示出了可以呈现的文本指令的示例。在细节视图1700-1中,位置1004正在显示文本消息(“Throw the ball for the dog(将球扔给狗)”),其指示所请求的手势(例如,从左向右的轻扫手势以使球向狗移动)。文本指令的其他变体包括“Swipe right tothrow the ball to the dog(向右轻扫以将球扔给狗)”或“Use a gesture to send theball to the dog(使用手势来将球发给狗)”。在另一细节视图1700-2中,位置1010正在显示文本消息(“Good Job!(干得好!)”),指示用户112成功执行了所请求的手势。文字指令的其他变体包括“Success!(成功!)”或“That was very good(非常好)”。另一细节视图1700-3图示了指示用户112无法成功执行所请求的手势的示例性指令(“Close,try throwingthe ball again(快了,再次尝试扔球)”)。文本指令的其他变体包括“Almost,try again(快了,再试一次)”或“One more try.You got this(再试一次。你行的)”。
在一些实施方式中(未示出),指令还可以包括与所请求的手势有关的消息或反馈。例如,该指令可以是通知用户112视觉反馈元素1202如何工作的消息(例如,“Make agesture to throw the ball,and the dog will fetch it(做出扔球的手势,狗会去捡球)”)。在另一个示例中,手势训练模块106正在显示参考图12至图16所述的其他视觉反馈元素(例如,***级视觉反馈元素集合)。考虑手势训练模块106正在显示图12所示的视觉元素的情况(例如,在细节视图1200-1和1200-2中)。在这种情况下,手势训练模块106可以在位置1004处呈现文本指令,诸如“Watch the glow at the top of the screen move whenyou try to throw the ball(当您尝试扔球时,观看屏幕上文的辉光)”。类似地,手势训练模块106可以在位置1010上呈现文本指令,诸如“See how the glow went around thecorner to show you made the gesture(查看辉光如何到拐角处来向你显示所做的手势)。”
在首次或随后的尝试成功执行了所请求的手势之后,手势训练模块106可以继续向用户提供训练或停止提供训练。在训练继续的情况下,手势训练模块106可以呈现相同的视觉元素(保持实践相同的手势)或不同的视觉元素和指令(例如,以实践不同的手势或实践不同的环境中的相同的手势)。因此,用户执行所请求的手势的失败尝试使电子设备102重复视觉元素和请求。替代地或附加地,用户对所请求的手势的成功执行可以使电子设备提供不同的视觉元素,以便用户在成功执行先前请求的手势之后,可以接受其他手势的训练。在一些实施方式中,手势训练模块106可以在呈现下一个视觉元素之前,多次(例如,一次、三次、五次或七次)呈现第一视觉反馈元素和指令。呈现每个视觉元素的次数可以是用户可选的。此外,手势训练模块106可以使用文本指令来询问用户训练是否应当停止或继续(例如,“Do you want to throw the ball again(您想再次扔球吗)?”或“Do you want totry a different gesture(您想尝试其他手势吗)?”)。
方法900也可以以其他方式来实现。例如,考虑图18至图22,其示出了教程式实践和训练环境(例如,用户“tip(技巧)”环境)以及附加的示例性视觉元素122和视觉反馈元素126的另一示例。例如,图18在1800描绘了另一示例性环境(例如,技巧环境)的进入顺序。例如,细节视图1800-1图示了(例如,通过手势训练模块106)正在呈现技巧详细页面的示例性显示器114,其包括用户112可以观看以学习有关使用雷达手势的视频。用户可以使用控件1802来访问视频。技巧详细页面(如细节视图1800-1中所示)还可以包括一个或多个文本区域1804,其可以显示描述如何使用雷达手势来跳过歌曲、暂停(snooze)闹铃或使正在响铃的电话静音的文本。
例如,在文本区域1804-1中,手势训练模块106可以呈现标题,诸如“Tips Details(技巧细节)”或“Become an Expert(成为专家)”。类似地,使用另一文本区域1804-2(示为虚线矩形),手势训练模块106可以呈现消息,诸如“Swipe left or right above thephone to skip songs(在电话上方向左或向右轻扫以跳过歌曲)”或“Swipe in anydirection above the phone to snooze alarms or mute the phone ringer(在电话上方在任一方向轻扫以暂停闹铃或使电话铃声静音)”(或两条消息)。在一些情况下,消息可以带有标题,诸如“Use Quick Gestures(使用快速手势)”或“How to Use Radar Gestures(如何使用雷达手势)”。
手势训练模块106还可以呈现可以被用来进入技巧教程(例如,“Try it(尝试)”图标)的控件1806。例如,如果用户112使用控件1806来进入技巧教程,则手势训练模块106可以呈现训练屏幕,如另一细节视图1800-2所示,其解释了如何执行雷达手势以跳过歌曲。细节视图1800-2中的训练屏幕示出了智能手机和智能手机上方的用户的手112的动画。智能手机还显示视觉反馈元素1808(例如,视觉反馈元素1202、1302、1402、1502或1604)。可以响应于用户激活控件1806来呈现训练屏幕和动画。
训练屏幕还可以包括文本区域1810(示为虚线矩形),其可以显示指示用户执行雷达手势以跳过歌曲的文本(例如,“Swipe left or right above the phone(在电话上方向左或向右轻扫”)。文本区域1810还可以被用来显示技巧教程的标题(例如,“Skip songs(跳过歌曲)”或“Music Player(音乐播放器)”)。在一些实施方式中,音频指令也可以是可用的(例如,用户可以选择文本、音频或两者,以及选择默认选项,诸如仅文本)。在一些情况下,可以在智能手机上呈现图标1812以指示诸如音乐播放器的应用正在运行(例如,音符)或启用了雷达手势。当应用是音乐播放器时,技巧环境可以在关闭声音的默认模式(用户可选)下运行,如由声音控件1814所示。声音控件1814使用户知道声音已关闭并且用户可以通过声音控件1814打开和关闭声音。
在另一细节视图1800-3中,当用户伸手去拿电子设备102时,动画序列继续。在连续序列中,用户的手112的动画消失,并且在训练屏幕上显示的智能手机继续显示视觉反馈元素1808,其当用户112伸手去拿电子设备102时展开。训练屏幕仍可以呈现具有指示用户在智能手机上方向左或向右轻扫以跳过歌曲的文本的文本区域1810。另一细节视图1800-4示出了部分手势(例如,如上所述,未成功执行的雷达手势)的结果。在细节视图1800-4中,动画通过使视觉反馈元素1808回到其原始大小并且更改文本区域1810中的教学文字以包括更多细节来帮助用户执行雷达手势以跳过歌曲(例如,从“Swipe left or right abovethe phone(在手机上方向左或向右轻扫)”改变成“Try a sweeping motion past bothedges of the phone(尝试越过手机的两边的轻扫运动)”)来继续。在一些情况下,音频或触感(触觉)反馈(例如,振动)可以被包括有新的文本指令(例如,指示被拒绝的输入的声音或触觉)。
图19在1900示出了可以在技巧教程中呈现的附加训练屏幕。例如,细节视图1900-1示出了在用户执行可选多个部分手势而没有成功轻扫(例如,一个、两个、三个或四个部分手势)之后出现的训练屏幕。细节视图1900-1的训练屏幕图示了智能手机和智能手机上方的用户的部的不同动画,以及在文本区域1810中呈现的指令文字告诉用户“Try asweeping motion past both edges of the phone(尝试越过手机的两边的轻扫运动)”以跳过歌曲。
另一细节视图1900-2示出了轻扫手势(例如,如上所述,成功执行的轻扫雷达手势)的结果。在细节视图1900-2中,动画通过使视觉反馈元素1808朝向示例性智能手机的拐角移动并且绕过该拐角(例如,如图12所示)来继续。在细节视图1900-2中,在文本区域1810中呈现的指令文字变为“Nicely done(做得好)!”,并且歌曲跳到播放列表中的下一首。如参考图18所指出的,技巧环境可以在关闭声音的默认模式(用户可选)下操作,如声音控件1814所示。还可以提供音频或触感(触觉)反馈,如果可用的话(例如,指示确认输入的声音或触觉)。在一些情况下,音乐图标1812还响应于成功的轻扫(未示出),在屏幕上移动或平移。另外,训练屏幕呈现允许用户112退出跳过歌曲教程的返回控件1902(例如,“Got it(知道了)”图标)。
另一细节视图1900-3图示了如果用户112没有激活返回控件1902则呈现的训练屏幕。在细节视图1900-3中,以与细节视图1800-2和1800-4相同的状态,通过智能手机和视觉反馈元素1808呈现动画(同时还呈现了返回控件1902)。另一细节视图1900-4图示了用户112激活返回控件1902之后的训练屏幕。在细节视图1900-4中,动画结束,并且呈现摘要页面。摘要页面包括在文本区域1810中的文本,其告知用户112有关其他训练选项(“TryQuick Gestures for these actions(尝试针对这些动作的快速手势)”)。手势训练模块106还呈现教程控件1904,其允许用户112重新进入跳过歌曲的技巧环境或进入暂停闹铃和使呼叫静音的其他技巧教程。教程控件1904包括文本和图标(例如,用于“Skip songs(跳过歌曲)”的音符、用于“Snooze alarms(暂停闹铃)”的闹钟和用于“Silence calls(静音呼叫)”的经典电话听筒)。教程控件1904呈现有指示器1906(例如,复选标记图标),使用户112知道已经完成了哪些教程。在一些情况下,基于是否已经完成来对教程控件1904进行排序(例如,已完成的教程在列表的顶部,而未完成的教程在列表的底部)。摘要页面还可以包括退出控件1908,其允许用户112退出技巧教程环境(例如,“Finish(完成)”图标)。
图20在2000描绘了可以当用户112激活用于暂时闹铃的教程控件1904时呈现的一系列训练屏幕。例如,手势训练模块106可以呈现如细节视图2000-1中所示的训练屏幕,其解释了如何执行雷达手势以用于暂停闹铃。细节视图2000-1中的训练屏幕示出了智能手机以及智能手机上方的用户的手112的动画。智能手机还显示视觉反馈元素1808和声音控件1814。细节视图2000-1的训练屏幕还在文本区域1810中呈现文本指令,该文本指令向用户解释如何“Snooze alarms”(例如,“Swipe in any direction above the phone(在手机上方的任何方向轻扫)”)。在一些实施方式中,音频指令也可以是可用的(例如,用户可以选择文本、音频或两者,以及选择默认选项,诸如仅文本)。闹铃图标2002(例如,闹钟)也可以呈现在智能手机上。
在另一细节视图2000-2中,当用户伸手去拿电子设备102时,动画继续进行。在连续的动画中,用户的手的动画消失了,并且显示在训练屏幕上的智能手机示出了视觉反馈元素1808,其当用户112伸手去拿电子设备102时会扩展。训练屏幕继续呈现具有用于如何暂停闹铃的指令文字的文本区域1810。在细节视图2000-2中,声音控件1814被显示有“sound on(打开声音)”文字,以示出用户112如何通过声音控件1814开启和关闭声音。另一细节视图2000-3示出了部分手势(例如,未成功执行的雷达手势,如上所述)的结果。在细节视图2000-3中,动画通过将视觉反馈元素1808返回其原始大小并且改变在文本区域1810中呈现的指令文字(例如,从“Swipe in any direction above the phone(在电话上方的任何方向上轻扫)”到“Try a sweeping motion past both edges of the phone(尝试越过手机的两边的轻扫运动)”来继续。在一些情况下,音频或触感(触觉)反馈可以被包括有新的文本指令(例如,指示被拒绝的输入的声音或触觉)。
另一细节视图2000-4示出了成功轻扫手势(例如,如上所述,成功执行的轻扫雷达手势、与方向无关的轻扫或全向轻扫雷达手势)的结果。在细节视图2000-4中,动画通过使视觉反馈元素1808自身塌陷而继续(例如,如图14所示)。在细节视图2000-4中,在文本区域1810中呈现的指令文字改变以向用户112提供手势成功的反馈(例如,“Nicely done(做得好)!”。)。也可以提供音频或触感(触觉)反馈,如果有的话(例如,指示已确认输入的声音或触觉)。用于暂停闹铃的技巧教程的描述在图21的下述描述中继续。
图21在2100示出了可以在用于暂停闹铃的技巧教程中呈现的附加训练屏幕。例如,细节视图2100-1示出了在用户成功执行了轻扫(例如,与方向无关的轻扫或全向轻扫)之后呈现的细节视图2000-4中所述的训练屏幕的附加元素。细节视图2100-1的训练屏幕图示了智能手机,具有在文本区域1810中显示的“Nicely done!”的文本消息、允许用户112退出暂停闹铃教程的返回控件1902(例如,“Got it”图标)、以及声音控件1814。在一些实施方式中,训练屏幕还可以向智能手机显示器呈现有完成图标2102(例如,复选标记)或重启控件2104(例如,“Practice again(再次实践)”图标)之一或两者。
另一细节视图2100-2示出了用户112激活返回控件1902之后的训练屏幕。在细节视图2100-2中,动画结束,并且呈现了摘要页面(例如,图19的细节视图1900-4中所述的摘要页面)。摘要页面可以在文本区域1810中呈现提醒用户112还有其他手势训练选项(“TryQuick Gestures for these actions(尝试这些动作的快速手势)”)的文字。摘要页面还可以呈现教程控件1904,允许用户112重新进入用于暂停闹铃的技巧环境或进入用于跳过歌曲和使呼叫静音的其他技巧教程。摘要页面还包括退出控件1908,其允许用户112退出技巧教程环境(例如,“Finish”图标)。教程控件1904可以呈现有指示器1906(例如,复选标记图标),其使用户112知道已经完成了哪些教程。
图21还在细节视图2100-3描绘了可以当用户112激活用于使呼叫静音的教程控件1904时呈现的一系列训练屏幕。例如,手势训练模块106可以呈现解释了如何执行用于使呼叫静音的雷达手势的一系列训练屏幕。细节视图2100-3中的训练屏幕说明了正在显示视觉反馈元素1808和声音控件1814的智能手机。显示在文本区域1810中的文字向用户解释了如何使呼叫静音(例如,“Swipe in any direction above the phone(在手机上方的任何方中轻扫)”)。在一些实施方式中,音频指令也可以是可用的(例如,用户可以选择文本、音频或两者,以及选择默认选项,诸如仅文本)。在一些情况下,打电话图标2106(例如,经典电话听筒)也可以被呈现在动画智能手机显示器上。
另一细节视图2100-4示出了成功的轻扫手势(例如,成功执行的轻扫雷达手势、与方向无关的轻扫或全向轻扫雷达手势,如上所述)的结果。在细节视图2100-4中,动画通过使视觉反馈元素1808自身塌陷而继续(例如,如图14和图20所示)。在细节视图2100-4中,在文本区域1810中显示的指令文字改变以指示成功执行了手势(例如,从“Swipe in anydirection above the phone(在电话上方的任何方向上轻扫)”改变成“Well done(做得好)!”)。打电话图标2106和声音控件1814也可以被显示。如果可用的话,还可以提供音频或触感(触觉)反馈(例如,指示已确认输入的***声音或触觉)。用于使呼叫静音的技巧教程的描述在图22的下述描述中继续。
图22在2200示出了可以在用于使呼叫静音的技巧教程中呈现的附加训练屏幕。例如,细节视图2200-1示出了在用户成功执行轻扫(例如,与方向无关的轻扫或全向轻扫)之后呈现的、在细节视图2100-4中描述的训练屏幕的其他元素。细节视图2200-1的训练屏幕图示了具有在文本区域1810中呈现的“Well done!”的消息、允许用户112退出静音呼叫教程的返回控件1902(例如,“Got it”图标)以及声音控件1814的智能手机。在一些实施方式中,训练屏幕还可以向智能手机显示器呈现完成图标2102(例如,复选标记)或重启控件2104(例如,“Practice again(再次实践)”图标)中的一个或两个。
另一细节视图2200-2示出了用户112激活返回控件2202之后的训练屏幕。在细节视图2200-2中,动画结束,并且呈现了摘要页面(例如,图19的细节视图1900-4中所述的摘要页面)。摘要页面可以包括提醒用户112其他训练选项(例如,“Try Quick Gestures forthese action(尝试这些动作的快速手势)”)的文本区域1810中的文字以及允许用户112重新输入用于静音呼叫的技巧环境或进入用于跳过歌曲和暂停闹铃的其他技巧教程的教程控件1904。摘要页面还包括退出控件1908,其允许用户112退出技巧教程环境(例如,“Finish”图标)。技巧控件可以呈现有指示器1906(例如,复选标记图标),其使用户112知道哪些教程已经完成。参考图10至图22所述的技术和示例可以使电子设备102和雷达***104促进用户的熟练度、向用户提供反馈,并且在一些实施方式中,学习用户的偏好和习惯(例如,通过参考图9所述的机器学习技术,可以与所述的视觉元素和视觉反馈元素的任何一个一起使用),以提高电子设备102、雷达***104和手势训练模块106的性能、准确性和效率。
图23示出了方法2300,该方法2300被示出为一组框,其指定执行的操作但是不必限于所示的用于由各个框执行操作的顺序或组合。此外,可以重复、组合、重新组织或链接一个或多个操作中的任何一个,以提供各种各样的附加和/或替代方法。在以下讨论的部分中,可以参考图1的示例性操作环境100或图2至图22详细描述的实体或过程,其仅作为示例进行参考。该技术不限于由在一个设备上操作的一个实体或多个实体来执行。
在框2302,在雷达手势使能的电子设备的显示器上呈现视觉游戏元素。例如,手势训练模块106可以在电子设备102的显示器114上呈现视觉游戏元素124(其可以包括视觉游戏元素124-1)。视觉游戏元素124可以是作为游戏或游戏环境的一部分的用户(例如,使用手势,诸如雷达手势)与之交互的多种合适的元素的任何一种。在一些情况下,例如,视觉游戏元素124可以是角色(例如,皮卡丘、英雄、生物或冒险家)或车辆(例如,赛车或飞机)。在其他情况下,视觉游戏元素124可以是一组对象,例如球和狗、篮球和篮球筐或迷宫中的鼠标,用户112可以使用手势与它们交互。另外,视觉游戏元素可以包括描述游戏娱玩、描述可以被用来与视觉游戏元素124交互的手势或请求用户执行特定手势的指令(文本、非文本或隐式,如参考方法900所述)。
在一些情况下,指令或视觉游戏元素本身可以包括对用户执行接近电子设备的手势的请求。所请求的手势可以是基于雷达的触摸无关的雷达手势(如上所述)、触摸手势(例如,在触摸屏上)或另一种手势,诸如基于相机的触摸无关的手势。
在2304,接收与用户在雷达***提供的雷达场中的运动相对应的雷达数据。该雷达***可以被包括有电子设备或与电子设备相关联,并且运动可以接近电子设备。例如,参考图1至图8所述的雷达***104包括可以提供雷达数据。
在2306,基于雷达数据,确定用户在雷达场中的运动是否包括手势(例如,指令描述或请求执行的手势)。例如,手势训练模块106可以确定用户在雷达场110中的运动是否包括或者是雷达手势(例如,如上所述的基于雷达的触摸无关的手势)。
在一些实施方式中,如上所述,手势训练模块106可以通过使用雷达数据来检测与用户在雷达场中的运动相关联的参数集合的值,确定用户在雷达场110中的运动是否是雷达手势。例如,该参数集合可以包括表示用户的运动的形状或路径、运动的长度或速度或用户与电子设备102的距离中的一个或多个的值。然后,手势训练模块106将参数集合的值与该参数集合的基准值进行比较。例如,如上所述,手势训练模块106可以将参数集合的值与由手势库120存储的基准值进行比较。
当与用户的运动相关联的参数集合的值满足由基准参数定义的标准时,手势训练模块106确定用户在雷达场中的运动是或包括雷达手势。替选地,当与用户的运动相关联的参数集合的值不满足由基准参数定义的标准时,手势训练模块106确定用户在雷达场中的运动不是或没有包括雷达手势。如所述,手势训练模块106可以使用基准值的范围,该基准值的范围允许参数集合的值的一些变化,从而使得手势训练模块106确定用户的运动是雷达手势。参考图9描述与用于确定用户的运动是否是手势的技术有关的附加细节。
此外,在上述一些实施方式中,电子设备102可以包括机器学习技术,其可以生成与指令请求执行的第一手势相关联的自适应或经调整的基准值。然后,当手势训练模块106接收到与用户在雷达场中的运动相对应的雷达数据时,手势训练模块106可以将检测到的值与经调整的基准值进行比较,并确定用户的运动是否为雷达手势。由于经调整的参数是基于机器学习的参数集合,因此即使基于与未调整的基准值的比较,用户的手势不是请求的手势时,也可以将用户的手势确定为所请求的雷达手势。因此,经调整的基准值允许电子设备和手势训练模块106学习来接受用户如何做出雷达手势的更多变化(例如,当变化一致时)。参照图9描述与使用机器学习技术有关的附加细节。
可选地,在2308,响应于确定用户在雷达场中的运动是或包括雷达手势(例如,指令请求执行的手势),在显示器上呈现视觉游戏元素的成功视觉动画。视觉游戏元素的成功视觉动画指示游戏娱玩的成功推进、肯定结果或其他积极的反馈(例如,呈现文本,诸如“good job!”或视觉角色,例如,诸如动物或PokemonTM角色(例如,PikachuTM)、微笑、跳跃或以肯定方式表现)。因此,在显示器上呈现视觉反馈元素(例如,视觉动画)。视觉动画或视觉反馈元素指示用户在雷达场中的运动是指令请求执行的雷达手势。例如,响应于确定用户的运动是所请求的雷达手势,手势训练模块106可以在显示器114上呈现视觉游戏元素124的成功视觉动画。
可选地,在2310,响应于确定用户在雷达场中的运动不是或不包括雷达手势,在显示器上呈现视觉游戏元素的不成功视觉动画。视觉元素的不成功视觉动画指示不能推进游戏娱玩、游戏进程失败、否定结果或其他负面反馈(呈现文字“try again!”或视觉角色,例如正在等待、显示悲伤表情或以中性或负面方式表现的动物或PokemonTM角色(例如,PikachuTM),或不同于确定成功手势的响应的任何非肯定响应)。例如,响应于确定用户的运动不是所请求的雷达手势,手势训练模块106可以在显示器114上呈现视觉游戏元素124的不成功视觉动画。
当用户112未能做出成功的手势(例如,如上所述,手势训练模块106确定用户的运动不是雷达手势)并且手势训练模块106呈现视觉游戏元素的不成功视觉动画时,用户112可以再次尝试雷达手势(例如,用户自身的意愿或响应于指令,诸如可以在文本区域1810中显示的文本指令,如上所述)。当用户112再次尝试手势时,雷达***生成对应的雷达数据,并且电子设备102(例如,使用雷达***104和/或手势训练模块106)可以确定用户的运动是雷达手势,并且在显示器114上呈现视觉游戏元素124的成功视觉动画。此外,在手势训练模块106确定用户的运动是雷达手势之后(例如,在第一次、第二次或后续尝试之后),手势训练模块106可以呈现视觉游戏元素的另一成功视觉动画,从而推进游戏娱玩。
视觉游戏元素的另一成功视觉动画可以推进游戏娱玩,从而呈现视觉游戏元素(例如,原始视觉游戏元素或新的视觉游戏元素)。视觉游戏元素可以包括描述游戏娱玩、描述可以被用来与视觉游戏元素交互的手势或请求用户特定手势的指令(如参考方法900所述的文本、非文本或隐式)。通过不同的视觉游戏元素和视觉游戏元素的不同的成功和不成功视觉动画,可以重复执行基于用户执行的手势、推进或推进游戏的过程。
不同的视觉游戏元素以及视觉游戏元素的不同的成功和不成功视觉动画可以与不同的手势(诸如方向相关手势(例如,从左向右轻扫、从右向左轻扫、从下向上轻扫或从上向下轻扫)或方向无关的手势(例如,上述的全向轻扫))相关联。因此,电子设备102可以使用游戏环境来教导用户手势或者允许用户以令人愉悦和有效的方式实践手势。作为示例,考虑下述图24至图33,其示出了视觉游戏元素124的成功和失败的视觉动画的各种示例。
图24在2400描绘了可以当用户112进入参考图23所述的游戏环境时呈现的一系列训练屏幕。考虑用户执行手势或一系列手势来打开藏宝箱的简单的游戏。替代地或附加地,游戏环境可以采用具有简单或直观操作的其他常见对象,诸如拨动开关、旋转拨盘、轻扫控件、书页等。手势可以是任何合适类型的手势,诸如基于雷达的触摸无关的雷达手势(如上所述)、触摸手势(例如,在触摸屏上执行的触摸手势)或另一种手势(诸如基于相机的触摸无关的手势),对该示例,假设游戏手势为雷达手势。
例如,手势训练模块106可以呈现训练游戏屏幕(训练屏幕),如细节视图2400-1所示,其解释了如何执行手势来打开藏宝箱2402。在细节视图2400-1中的训练屏幕示出了示例性智能手机102以及在该智能手机附近的用户的手112的动画。细节视图2400-1的训练屏幕还包括文本区域2404(显示为虚线矩形),该文本区域可以显示指示用户执行雷达手势来玩游戏或操纵游戏元素(例如,“Swipe up on the treasure chest(在藏宝箱上向上轻扫)”或“Swipe up above the smartphone(在智能手机上方向上轻扫)”)的文本。文本区域2404还可以被用来显示教程的标题或成功手势例如,“(Swipe up to open(向上轻扫以打开)”)将导致什么动作的解释。在一些实施方式中,音频指令也可以是可用的(例如,用户可以选择文本、音频或两者,以及选择默认选项,诸如仅文本)。在一些实施方式中,游戏环境还包括退出控件2406,其允许用户退出训练屏幕和游戏环境以返回到电子设备102的正常操作。
动画序列在另一细节视图2400-2中开始,其中,用户112开始做出所请求的手势(向上轻扫),如由箭头2408所示。随着用户开始手势,藏宝箱2402开始向上升,如由另一箭头2410所示。动画在细节视图2400-3中继续,其中,手势随着用户的手到达示例性智能手机102的顶部而继续(如箭头2412所示)并且藏宝箱2402继续上升(如箭头2414所示)。藏宝箱游戏环境中的训练屏幕的描述在图25的下述描述中继续。
图25在2500示出了可以在藏宝箱游戏环境中呈现的附加训练屏幕。在该示例中,附加训练屏幕示出了成功的“swipe up(向上轻扫)”雷达手势的结果(例如,视觉游戏元素的成功动画,如参考图23所述)。例如,细节视图2500-1示出了开始打开的藏宝箱2402(由双箭头2502所示)。细节视图2500-1还包括带有文本指令的文本区域2404。在另一细节视图2500-2中,成功动画继续,随着文本指令消失并且藏宝箱2402***打开,释放珍宝硬币2504。
在两个细节视图2500-1和2500-2中,训练屏幕均包括可选的退出控件2406。此外,在图24和图25中呈现的训练屏幕中,如果可用的话还可以提供音频或触感(触觉)反馈,(例如,指示已确认输入的声音或触觉)。在用户做出不成功的手势(未示出)的情况下,藏宝箱2402不会升起或打开,并且手势训练模块106可以呈现另一个动画,其示出了失败的手势尝试,诸如藏宝箱2402正在被潮汐带走或沉入地下(例如,手势训练模块106可能呈现视觉游戏元素的不成功动画,如参考图23所述)。
图26在2600示出了可以当用户112进入参考图23所述的游戏环境时呈现的训练屏幕的另一序列。例如,考虑用户执行手势或一系列手势来向宠物2602(例如,猫,狗或皮卡丘TM)打招呼的游戏。手势可以是任何合适类型的手势,诸如基于雷达的触摸无关的雷达手势(如上所述)、触摸手势(例如,在触摸屏上执行的触摸手势)或另一种手势,(诸如基于相机的触摸无关的手势),对该示例,假设游戏手势为雷达手势。
例如,手势训练模块106可以呈现在细节视图2600-1中所示的训练游戏屏幕(训练屏幕),其解释了如何执行手势来向宠物2602(在该情况下,为小猫)打招呼。细节视图2600-1中的训练屏幕图示了示例性智能手机102和在该智能手机附近的用户的手112的动画。细节视图2600-1的训练屏幕还包括文本区域2404(示为虚线矩形),其可以显示指示用户执行雷达手势以玩游戏的文本(例如,“Swipe a finger across the screen(将手指滑过屏幕)”或“Swipe left or right above the phone(在手机上方向左或向右轻扫)”)。文本区域2404还被用来显示教程的标题或对成功手势(例如,“Swipe to say hello(轻扫打招呼)”)的目的(或将导致什么动作)的解释。在一些实施方式中,音频指令也可以是可用的(例如,用户可以选择文本、音频或两者,以及选择默认选项,诸如仅文本)。在一些实施方式中,游戏环境还包括退出控件2406,其允许用户退出训练屏幕和游戏环境以返回到电子设备的正常操作。
在另一细节视图2600-2中,用户112开始做出所请求的手势(在屏幕上轻扫),如箭头2604所示。宠物2602和退出控件2406也呈现在细节视图2600-2中的训练屏幕上。动画(例如,参考图23所述的视觉游戏元素的不成功动画)在细节视图2600-3中继续,其中,宠物2602坐起并张开嘴(例如说“hello(你好)”)。在细节视图2600-1至2600-3中,如果可用,也可以提供音频或触感(触觉)反馈(例如,指示成功手势的声音或触觉)。在用户做出不成功手势(未示出)的情况下,宠物2602不会说“hello”,并且手势训练模块106可以呈现示出失败的手势尝试的另一动画,诸如宠物2602走开或开始睡觉(例如,手势训练模块106可以呈现视觉游戏元素的不成功动画,如参考图23所述)。
图27在2700示出了可以当用户112进入参考图23所述的游戏环境时呈现的训练屏幕的另一序列。例如,考虑用户执行手势或一系列手势来抚摸动物或宠物2702(例如,猫、雪貂或皮卡丘TM)的游戏。手势可以是任何合适类型的手势,诸如基于雷达的触摸无关的雷达手势(如上所述)、触摸手势(例如,在触摸屏上执行的触摸手势)或另一种手势(诸如基于相机的触摸无关的手势),对该示例,假设游戏手势为雷达手势。
例如,手势训练模块106可以呈现在细节视图2700-1中所示的训练游戏屏幕(训练屏幕),其解释了如何执行手势以抚摸动物或宠物2702(在这种情况下为猫2702)。细节视图2700-1中的训练屏幕示出了示例性智能手机102和在该智能手机附近的用户的手112的动画。细节视图2700-1的训练屏幕还包括文本区域2404(显示为虚线矩形),其可以显示指示用户执行雷达手势以玩游戏的文本(例如,“Swipe left and right to pet(在宠物左或右轻扫)”或“Drag finger left and right to pet(左右拖动宠物)”或“Swipe left orright above the phone(在手机上方向左或向右轻扫)”。文本区域2404还可以被用来显示教程的标题或对成功手势(例如,“Swipe to pet(轻扫宠物)”)的目的(或将导致什么动作)的说明。在一些实施方式中,音频指令也可以是可用的(例如,用户可以选择文本、音频或两者,以及选择默认选项,诸如仅文本)。在一些实施方式中,游戏环境还包括退出控件2406,其允许用户退出训练屏幕和游戏环境以返回到电子设备的正常操作。
在另一细节视图2700-2中,用户112开始做出所请求手势的第一部分(在屏幕上方向右轻扫),如箭头2704所示。猫2702和退出控件2406也被呈现在细节视图2700-2中的训练屏幕上。动画在细节视图2700-3中继续,其示出用户做出所请求的手势的第二部分(在屏幕上方向左轻扫),如另一箭头2706所示。细节视图2700-2和2700-3中的训练屏幕还示出了文本区域2404(具有指令)和退出控件2406。在细节视图2700-1至2700-3中,如果可用的话,还可以提供音频或触感(触觉)反馈(例如,指示成功手势的声音或触觉)。在抚摸宠物游戏环境中的训练屏幕的描述在图28的下文描述中继续。
图28在2800示出了可以在抚摸宠物游戏环境中呈现的附加训练屏幕。在该示例中,附加训练屏幕示出成功的“swipe left and right(向左和向右轻扫)”手势的结果(例如,如参考图23所述的视觉游戏元素的成功动画)。例如,细节视图2800-1示出了猫2702闭上眼睛并改变其面部表情。细节视图2800-1还包括带有文本指令的文本区域2404。用户112继续向左和向右轻扫,如双箭头2802所示。
在另一细节视图2800-2中,随着猫2702睁开眼睛,动画的心形2804出现在猫2702上方,成功动画继续。在细节视图2800-1和2800-2中,训练屏幕均包括可选的文本控件2406。另外,在图28呈现的训练屏幕中,如果可用的话,也可以提供音频或触感(触觉)反馈(例如,指示已确认输入的声音或触觉)。在用户做出不成功手势(未示出)的情况下,猫2702不会闭上眼睛,并且不会呈现心形。此外,手势训练模块106可以呈现另一动画,该动画显示失败的手势尝试,例如猫2702走开或去睡觉(例如,手势训练模块106可能呈现视觉游戏元素的失败动画,如参考图23所述)。
图29在2900示出了可以当用户112进入参考图23所述的游戏环境时呈现的训练屏幕的另一序列。例如,考虑用户执行手势或一系列手势以导致角色或动物2902(例如,狐猴、猫或皮卡丘TM)的游戏。手势可以是任何合适类型的手势,例如基于雷达的触摸无关的雷达手势(如上所述)、触摸手势(例如,在触摸屏上执行的触摸手势)或另一种手势(诸如基于相机的触摸无关的手势),对该示例,假设游戏手势为雷达手势。
例如,手势训练模块106可以呈现在细节视图2900-1中所示的训练游戏屏幕(训练屏幕),其解释了如何执行手势以抚摸角色或动物2902(在这种情况下为狐猴2902)。细节视图2900-1中的训练屏幕示出了示例性智能手机102和在该智能手机附近的用户的手112的动画。细节视图2900-1的训练屏幕还包括文本区域2404(示为虚线矩形),其可以显示指示用户执行雷达手势以玩游戏的文本(例如,“Swipe up to charge(向上轻扫以充电)”或“Swipe up to spring(向上轻扫以弹跳)”)。文本区域2404还可以被用来显示教程的标题或对成功手势(例如,“Swipe to jump(轻扫跳跃)”)的目的(或将导致什么动作)的说明。在一些实施方式中,音频指令也可以是可用的(例如,用户可以选择文本、音频或两者,以及选择默认选项,诸如仅文本)。在一些实施方式中,游戏环境还包括退出控件2406,其允许用户退出训练屏幕和游戏环境以返回到电子设备的正常操作。
在另一细节视图2900-2中,用户112开始做出所请求的手势(在屏幕上方向上轻扫),如箭头2904所示。狐猴2902和退出控件2406也被呈现在细节视图2900-2中的训练屏幕上。动画在细节视图2900-3中继续,其示出用户继续做出请求的手势,如另一箭头2906所示。细节视图2900-2和2900-3中的训练屏幕还示出了文本区域2404(带有指令)和退出控件2406。在轻扫跳跃游戏环境中的训练屏幕的描述在图30的下述描述中继续。
图30在3000示出了可以在轻扫跳跃游戏环境中呈现的附加训练屏幕。在该示例中,附加训练屏幕示出了成功的“swipe up(向上轻扫)”手势的结果(例如,视觉游戏元素的成功动画,如参考图23所述)。例如,细节视图3000-1示出狐猴2902改变其面部表情并跳到空中。细节视图3000-1还包括游戏娱玩指示器3002,被示为小火焰。游戏娱玩指示器3002向用户示出使狐猴跳跃多少次以完成游戏。在细节视图3000-1的示例中,第一跳已完成,如由被示为更大并且具有光环3004的最左侧的游戏娱玩指示器3002所示。
在另一细节视图3000-2中,当狐猴2902返回地面并且回到其原始面部表情时,成功动画继续进行。此外,光环3004正在逐渐消失,如由较细的和部分虚线所示。在细节视图3000-1和3000-2中,训练屏幕均包括可选的退出控件2406。此外,在图29和图30中呈现的训练屏幕中,如果可用的话,也可以提供音频或触感(触觉)反馈(例如,指示成功手势的声音或触觉)。在用户做出不成功手势(未示出)的情况下,狐猴2902不会跳跃,并且手势训练模块106可以呈现示出失败的手势尝试的另一动画,诸如狐猴2902耸耸肩膀或躺下睡眠(例如,手势训练模块106可以呈现视觉游戏元素的不成功动画,如参考图23所述)。
图31在3100示出了可以当用户112进入参考图23所述的游戏环境时呈现的训练屏幕的另一序列。例如,考虑用户执行手势或一系列手势以飞溅企鹅3102(或另一角色,诸如猫、狗或皮卡丘TM)的游戏。手势可以是任何合适类型的手势,诸如基于雷达的触摸无关的雷达手势(如上所述)、触摸手势(例如,在触摸屏上执行的触摸手势)或另一种手势(诸如基于相机的触摸无关的手势),对该示例,假设游戏手势为雷达手势。
例如,手势训练模块106可以呈现如细节视图3100-1所示的训练游戏屏幕(训练屏幕),其解释了如何执行手势以将水溅到企鹅3102上。细节视图3100-1中的训练屏幕示出了示例性智能手机102以及在该智能手机附近的用户的手112的动画。细节视图3100-1的训练屏幕还包括文本区域2404(显示为虚线矩形),其可以显示指示用户执行雷达手势以玩游戏的文本(例如,“Swipe a finger across the screen to splash(在屏幕上轻扫手指来飞溅)”或“Swipe left or right above the phone(在手机上方向左或向右轻扫)”。文本区域2404还可以被用来显示教程的标题或对成功手势(例如,“Swipe to splash water(轻扫以溅水)”的目的(或将导致什么动作)的说明。
在该示例中,训练屏幕还包括太阳3104,其可以帮助用户理解游戏的目的是通过向企鹅3102泼水来使其降温。在一些实施方式中,音频指令也可以是可用的(例如,用户可以选择文本、音频或两者,以及选择默认选项,诸如仅文本)。游戏环境还包括退出控件2406,其允许用户退出训练屏幕和游戏环境以返回到电子设备的正常操作。
在另一细节视图3100-2中,用户112开始做出所请求的手势(在屏幕上或上方轻扫),如箭头3106所示。还在细节视图3100-2的训练屏幕上呈现企鹅3102、太阳3104和退出控件2406。动画(例如,视觉游戏元素的成功动画,如参考图23所述)在细节视图3100-3中继续,其中,飞溅3108水在企鹅3102上。细节视图3100-3还包括示出为小水滴的游戏娱玩指示器3110。游戏娱玩指示器3110向用户示出飞溅企鹅多少次以完成游戏。在细节视图3100-3的示例中,第一飞溅已完成,如由正显为较大并且具有光环3112的最左游戏娱玩指示器3110所示。
在细节视图3100-1至3100-3中,如果可用的话,还可以提供音频或触感(触觉)反馈(例如,指示成功手势的声音或触觉)。在用户做出不成功手势(未示出)的情况下,企鹅3102不会被溅到,并且手势训练模块106可能会呈现另一动画,其示出失败的手势尝试,诸如企鹅3102走远或游远或哭泣(例如,手势训练模块106可能呈现视觉游戏元素的不成功动画,如参考图23所述)。
图32在3200示出了可以当用户112进入参考图23所述的游戏环境时呈现的训练屏幕的另一序列。例如,考虑用户执行手势或一系列手势,以使熊3202(或其他角色,诸如猫、狗、神话或虚构的角色)通过魔杖3204使草生长的游戏。手势可以是任何合适类型的手势,诸如基于雷达的触摸无关的雷达手势(如上所述)、触摸手势(例如,在触摸屏上执行的触摸手势)或另一种手势(诸如基于相机的触摸无关的手势),对该示例,假定游戏手势为雷达手势。
例如,手势训练模块106可以呈现如在细节视图3200-1中所示的训练游戏屏幕(训练屏幕),其解释了如何执行手势以使熊3202使用棒3204。细节视图3200-1中的训练屏幕示出了示例性智能手机102以及在该智能手机附近的用户的手112的动画。细节视图3200-1的训练屏幕还包括文本区域2404(显示为虚线矩形),该区域可以显示指示用户执行雷达手势来玩游戏的文本(例如,“Swipe a finger down the screen(在屏幕上向下轻扫手指)”或“Swipe down above the phone(在手机上方向下轻扫)”)。文本区域2404还可以被用来显示教程的标题或对成功手势(例如,“Swipe down to help the grass grow(向下轻扫以帮助草生长)”)的目的(或将导致什么动作)的解释。
在该示例中,训练屏幕还包括被示为小圆圈的游戏娱玩指示器3206。游戏娱玩指示器3206向用户示出使熊3202使用棒3204来完成游戏的次数。在一些实施方式中,音频指令也可以是可用的(例如,用户可以选择文本、音频或两者,以及选择默认选项,诸如仅文本)。游戏环境还包括退出控件2406,其允许用户退出训练屏幕和游戏环境以返回到电子设备的正常操作。
在另一细节视图3200-2中,用户112开始做出所请求的手势(在屏幕上方向下轻扫),如箭头3208所示。在细节视图3200-2中的训练屏幕上还呈现熊3202、魔杖3204、游戏娱玩指示器3206和退出控件2406。动画(例如,视觉游戏元素的成功动画,如参考图23所述)在细节视图3200-3中继续,其中,熊3202开始用魔杖3204击中地面并且草3210生长(例如,用户向下轻扫并且熊3202触地)。在细节视图3200-3中,文本区域2404中的文本已经改变以使用户112知道尝试的手势成功(例如,“Great!Big Bear loves to play around(好!大熊喜欢玩耍)”)。细节视图3200-3还包括游戏娱玩指示器3206和退出控件2406。在细节视图3200-3的示例中,草的第一生长已经完成,如正为比其他游戏娱玩指示器3206更大的最左游戏娱玩指示器3206所示。
在细节视图3200-1至3200-3中,如果可用的话,还可以提供音频或触感(触觉)反馈(例如,指示成功手势的声音或触觉)。在用户做出不成功手势的情况下(未示出),熊3202不使用魔杖3204来使草3210生长,并且手势训练模块106可以呈现另一动画,该动画示出了失败的手势尝试,诸如熊3202走开或睡觉(例如,手势训练模块106可能呈现视觉游戏元素的不成功动画,如参考图23所述)。
图33在3300示出了可以当用户112进入参考图23所述的游戏环境时呈现的训练屏幕的另一序列。例如,考虑用户执行手势或一系列手势来抚摸或逗狗3303(或另一个角色,例如猫或蜥蜴)的游戏。手势可以是任何合适类型的手势,诸如基于雷达的触摸无关的雷达手势(如上所述)、触摸手势(例如,在触摸屏上执行的触摸手势)或另一种手势(诸如基于相机的触摸无关的手势),对该示例,假设游戏手势为雷达手势。
例如,手势训练模块106可以呈现如在细节视图3300-1中所示的训练游戏屏幕(训练屏幕),其解释了如何执行手势以抚摸狗3302。细节视图3300-1示出了示例性智能手机102以及在该智能手机附近的用户的手112的动画。细节视图3300-1的训练屏幕还包括文本区域2404(显示为虚线矩形),该区域可以显示指示用户执行雷达手势来玩游戏的文本(例如,“Swipe left and right to pet(在宠物的左右轻扫)”或“Swipe left and rightabove the phone(在手机上方左右轻扫)”或“reach in and move your fingers totickle(伸手并移动手指以挠痒痒)”)。文本区域2404还可以被用来显示教程的标题或对成功手势(例如,“Swipe to pet(轻拂宠物)”或“Wave your fingers to tickle(挥动手指挠痒痒)”)的目的(或将产生什么动作)的说明。
在该示例中,训练屏幕还包括被示为心形的游戏娱玩指示器3204。游戏娱玩指示器3204向用户示出爱抚狗3302多少次以完成游戏。在一些实施方式中,音频指令也可以是可用的(例如,用户可以选择文本、音频或两者,以及选择默认选项,诸如仅文本)。游戏环境还包括退出控件2406,其允许用户退出训练屏幕和游戏环境以返回到电子设备的正常操作。
在另一细节视图3300-2中,用户112开始做出请求的手势(在屏幕上或屏幕上方左右轻扫),如箭头3306所示。还在细节视图3300-2中的训练屏幕上呈现狗3302、游戏娱玩指示器3304和退出控件2406。动画(例如,参考图23描述的视觉游戏元素的成功动画)在细节视图3300-3中继续,其中,狗3302改变其手势和面部表情以指示成功手势(例如,轻扫或挠痒痒)。细节视图3300-3还包括退出控件2406和游戏娱玩指示器3304。在这种情况下,游戏娱玩指示器3304向用户示出已经完成第一次抚摸,如显示为更大并且被光环3308包围的最左游戏娱玩指示器3304所示。此外,为了帮助用户理解雷达手势是成功的,手势训练模块106在狗3302上方呈现了小心形3310。此外,为了让用户知道再次玩耍,文本区域2404中的文本会更改(例如,从“Swipe to pet”和“Swipe left and right to pet”改变成“Socute!Reach again to make Rover happy(太可爱了!再次伸手让罗孚开心)”或“Reach inagain and move your fingers to tickle Rover(再次伸手来用手指给罗孚挠痒痒)”)。
在细节视图3300-1至3300-3中,如果可用的话,也可以提供音频或触感(触觉)反馈(例如,指示成功手势的声音或触觉)。在用户做出不成功手势的情况下(未示出),狗3302不改变其姿势或面部表情,并且手势训练模块106可以呈现示出失败的手势尝试的另一动画,诸如狗3302行走或睡觉(例如,手势训练模块106可能会呈现视觉游戏元素的不成功动画,如参考图23所述)。
示例性计算***
图34示出了示例性计算***3400的各种组件,其可以被实现为如参考图1至图33所述的任何类型的客户端、服务器和/或电子设备以实现在促进用户熟练使用雷达手势来与电子设备交互的方面。
计算***3400包括通信设备3402,该通信设备3402能够允许设备数据3404(例如,雷达数据、认证数据、参考数据、所接收的数据、正在接收的数据、计划广播的数据和数据的数据包)的有线和/或无线通信。设备数据3404或其他设备内容可以包括设备的配置设置、存储在设备上的媒体内容和/或与设备的用户相关联的信息(例如,雷达场内的人的身份或定制的手势数据))。存储在计算***3400上的媒体内容可以包括任何类型的雷达、生物统计、音频、视频和/或图像数据。计算***3400包括一个或多个数据输入3406,经由该数据输入3406,可以接收任何类型的数据、媒体内容和/或输入,诸如人的言语、与雷达场的交互(例如,雷达手势)、触摸输入、用户可选的输入或交互(显式或隐式)、消息、音乐,电视媒体内容,录制的视频内容以及从任何内容和/或数据源接收的任何其他类型的音频、视频和/或图像数据。
计算***3400还包括通信接口3408,其可以被实现为串行和/或并行接口、无线接口、任何类型的网络接口、调制解调器以及任何其他类型的通信接口中的任何一个或多个。通信接口3408提供计算***3400与通信网络之间的连接和/或通信链路,通过通信网络,其他电子、计算和通信设备与计算***3400传送数据。
计算***3400包括一个或多个处理器3410(例如,微处理器、控制器或其他控制器中的任何一个),其可以处理各种计算机可执行指令以控制计算***3400的操作并且使能用于或其中可以实现促进用户熟练使用雷达手势来与电子设备交互的技术。替代地或附加地,计算***3400可以通过结合通常在3412标识的、处理和控制电路实现的硬件、固件或固定逻辑电路中的任何一种或组合来实现。尽管未示出,但是该计算***3400可以包括用于耦合设备内的各个组件的***总线或数据传输***。***总线可以包括不同总线结构的任何一种或组合,诸如存储器总线或存储器控制器、***总线、通用串行总线和/或利用多种总线体系结构中的任何一种的处理器或本地总线。同样未示出,计算***3400可以包括一个或多个非雷达传感器,诸如非雷达传感器108。
计算***3400还包括计算机可读介质3414,诸如使能永久和/或非瞬时性数据存储(例如,与仅信号传输相反)的一个或多个存储设备,其示例包括随机存取存储器(RAM)、非易失性存储器(例如,只读存储器(ROM)、闪存、EPROM,EEPROM等中的任何一个或多个)以及磁盘存储设备。磁盘存储设备可以被实现为任何类型的磁性或光学存储设备,诸如硬盘驱动器、可记录和/或可重写光盘(CD)、任何类型的数字通用盘(DVD)等。计算***3400还可以包括大容量存储介质设备(存储介质)3416。
计算机可读介质3414提供数据存储机制以存储设备数据3404,以及各种设备应用3418和与计算***3400的操作方面有关的任何其他类型的信息和/或数据。例如,操作***3420可以通过计算机可读介质3414被维护为计算机应用,并且在处理器3410上执行。设备应用3418可以包括设备管理器,诸如任何形式的控制应用、软件应用、信号处理控制模块、特定设备固有的代码、抽象模块、手势识别模块和/或其他模块。设备应用3418还可以包括***组件、引擎、模块或管理器,以实现促进用户熟练使用雷达手势来与电子设备(诸如雷达***104、手势训练模块106、应用管理器116或手势库120)交互。计算***3400还可以包括或有权访问一个或多个机器学习***。
尽管已经以特定于特征和/或方法的语言描述了促进用户熟练使用雷达手势来与电子设备交互的方面,但是所附权利要求的主题不必限于所述的特定特征或方法。相反,特定特征和方法被公开为促进用户熟练使用雷达手势来与电子设备交互的示例性实施方式,其他等效的特征和方法旨在在所附权利要求的范围内。此外,描述了各种不同的方面,应当意识到,每个所述的方面可以独立地或结合一个或多个其他所述的方面来实现。

Claims (20)

1.一种由雷达手势使能的电子设备执行的方法,所述方法用于促进用户熟练使用利用雷达接收到的手势,所述促进通过视觉游戏娱玩进行,所述方法包括:
在所述雷达手势使能的电子设备的显示器上呈现第一视觉游戏元素;
接收与用户在雷达***提供的雷达场中的第一运动相对应的第一雷达数据,所述雷达***包括在所述雷达手势使能的电子设备中或与所述雷达手势使能的电子设备相关联;
基于所述第一雷达数据,确定所述用户在所述雷达场中的所述第一运动是否包括第一雷达手势;以及
响应于确定所述用户在所述雷达场中的所述第一运动包括所述第一雷达手势,呈现所述第一视觉游戏元素的成功视觉动画,所述第一视觉游戏元素的所述成功视觉动画指示所述视觉游戏娱玩的成功推进;或者
响应于确定所述用户在所述雷达场中的所述第一运动不包括所述第一雷达手势,呈现所述第一视觉游戏元素的不成功视觉动画,所述第一视觉游戏元素的所述不成功视觉动画指示不能推进所述视觉游戏娱玩。
2.如权利要求1所述的方法,进一步包括:
响应于确定所述用户在所述雷达场中的所述第一运动不包括所述第一雷达手势,接收与所述用户在所述雷达场中的第二运动相对应的第二雷达数据;
基于所述第二雷达数据,确定所述用户在所述雷达场中的所述第二运动是否包括所述第一雷达手势;以及
响应于确定所述用户在所述雷达场中的所述第二运动包括所述第一雷达手势,呈现所述第一视觉游戏元素的所述成功视觉动画。
3.如权利要求2所述的方法,其中,基于所述第二雷达数据来确定所述用户在所述雷达场中的所述第二运动是否包括所述第一雷达手势进一步包括:
使用所述第二雷达数据来检测与所述用户在所述雷达场中的所述第二运动相关的参数集合的值;
将所检测到的所述参数集合的值与用于所述参数集合的基准值进行比较,所述基准值对应于所述第一雷达手势。
4.如权利要求2所述的方法,进一步包括:
响应于确定所述用户在所述雷达场中的所述第一运动或所述第二运动包括所述第一雷达手势,呈现第二视觉游戏元素;
接收与所述用户在所述雷达场中的第三运动相对应的第三雷达数据,所述第三雷达数据在所述第一雷达数据和所述第二雷达数据之后被接收;
基于所述第三雷达数据,确定所述用户在所述雷达场中的所述第三运动是否包括第二雷达手势;以及
响应于确定所述用户在所述雷达场中的所述第三运动包括所述第二雷达手势,呈现所述第二视觉游戏元素的成功视觉动画,所述第二视觉游戏元素的所述成功视觉动画指示所述视觉游戏娱玩的另一成功推进。
5.如权利要求4所述的方法,其中,基于所述第三雷达数据确定所述用户在所述雷达场中的所述第三运动是否包括所述第二雷达手势进一步包括:
使用所述第三雷达数据来检测与所述用户在所述雷达场中的所述第三运动相关联的参数集合的值;
将所检测到的所述参数集合的值与用于所述参数集合的基准值进行比较,所述基准值对应于所述第二雷达手势。
6.如权利要求4所述的方法,其中,在其内确定所述第一雷达手势或所述第二雷达手势的视场包括在所述雷达手势使能的电子设备的一米之内并且在自所述雷达手势使能的电子设备的显示器的平面测量的大于10度的角度内的体积。
7.如权利要求4所述的方法,进一步包括:
利用机器学习模型,生成与所述第一雷达手势或所述第二雷达手势相关联的经调整的基准值;
接收与所述用户在所述雷达场中的第四运动相对应的第四雷达数据;
使用所述第四雷达数据来检测与所述用户在所述雷达场中的所述第四运动相关联的参数集合的值;
将所检测到的所述参数集合的值与所述经调整的基准值进行比较;
基于所述比较,确定所述用户在所述雷达场中的所述第四运动是否包括所述第一雷达手势或所述第二雷达手势,以及其中,基于所检测到的所述参数集合的值与默认基准值的比较,所述用户在所述雷达场中的所述第四运动被确定为不是所述第一雷达手势或所述第二雷达手势。
8.如权利要求1所述的方法,其中,基于所述第一雷达数据,确定所述用户在所述雷达场中的第一运动是否包括所述第一雷达手势进一步包括:
使用所述第一雷达数据来检测与所述用户在所述雷达场中的所述第一运动相关联的第一参数集合的值;
将所检测到的所述第一参数集合的值与用于所述第一参数集合的第一基准值进行比较,所述第一基准值对应于所述第一雷达手势。
9.如权利要求1所述的方法,其中,所述第一视觉游戏元素被呈现为不带有与如何执行所述第一雷达手势相关联的文本指令或非文本指令。
10.如权利要求1所述的方法,其中,所述第一视觉游戏元素被呈现为与描述如何执行所述第一雷达手势的补充指令。
11.一种雷达手势使能的电子设备,包括:
计算机处理器;
至少部分以硬件实现的雷达***,所述雷达***被配置为:
提供雷达场;
感测来自所述雷达场中的用户的反射;
分析来自所述雷达场中的所述用户的反射;以及
基于对所述反射的分析,提供雷达数据;以及
其上存储有指令的计算机可读介质,所述指令在由所述计算机处理器执行时实现手势训练模块,所述手势训练模块被配置为:
在视觉游戏娱玩的背景下,在所述雷达手势使能的电子设备的显示器上呈现第一视觉游戏元素;
接收与所述用户在所述雷达场中的第一运动相对应的所述雷达数据的第一子集;
基于所述雷达数据的所述第一子集,确定所述用户在所述雷达场中的所述第一运动是否包括第一雷达手势;
响应于确定所述用户在所述雷达场中的所述第一运动包括所述第一雷达手势,呈现所述第一视觉游戏元素的成功视觉动画,所述第一视觉游戏元素的所述成功视觉动画指示所述视觉游戏娱玩的成功推进;或者
响应于确定所述用户在所述雷达场中的所述第一运动不包括所述第一雷达手势,呈现所述第一视觉游戏元素的不成功视觉动画,所述第一视觉元素的所述不成功视觉动画指示无法推进所述视觉游戏娱玩。
12.如权利要求11所述的雷达手势使能的电子设备,其中,所述手势训练模块被进一步配置为:
响应于确定所述用户在所述雷达场中的所述第一运动不包括所述第一雷达手势,接收与所述用户在所述雷达场中的第二运动相对应的所述雷达数据的第二子集;
基于所述雷达数据的所述第二子集,确定所述用户在所述雷达场中的所述第二运动是否包括所述第一雷达手势;以及
响应于确定所述用户在所述雷达场中的所述第二运动包括所述第一雷达手势,呈现所述第一视觉游戏元素的所述成功视觉动画。
13.如权利要求12所述的雷达手势使能的电子设备,其中,基于所述雷达数据的所述第二子集,确定所述用户在所述雷达场中的所述第二运动是否包括所述第一雷达手势进一步包括:
使用所述第二雷达数据来检测与所述用户在所述雷达场中的所述第二运动相关的参数集合的值;
将所检测到的所述参数集合的值与用于所述参数集合的基准值进行比较,所述基准值对应于所述第一雷达手势。
14.如权利要求12所述的雷达手势使能的电子设备,其中,所述手势训练模块被进一步配置为:
响应于确定所述用户在所述雷达场中的所述第一运动或所述第二运动包括所述第一雷达手势,呈现第二视觉游戏元素;
接收与所述用户在所述雷达场中的第三运动相对应的所述雷达数据的第三子集,所述雷达数据的所述第三子集在所述雷达数据的所述第一子集或所述第二子集之后被接收;
基于所述雷达数据的所述第三子集,确定所述用户在所述雷达场中的所述第三运动是否包括第二雷达手势;以及
响应于确定所述用户在所述雷达场中的所述第三运动包括所述第二雷达手势,呈现所述第二视觉游戏元素的成功视觉动画,所述第二视觉游戏元素的所述成功视觉动画指示所述视觉游戏娱玩的另一成功推进。
15.如权利要求14所述的雷达手势使能的电子设备,其中,基于所述雷达数据的所述第三子集,确定所述用户在所述雷达场中的所述第三运动是否包括所述第二雷达手势进一步包括:
使用所述雷达数据的所述第三子集来检测与所述用户在所述雷达场中的所述第三运动相关联的参数集合的值;
将所检测到的所述参数集合的值与用于所述参数集合的基准值进行比较,所述基准值对应于所述第二雷达手势。
16.如权利要求14所述的雷达手势使能的电子设备,其中,在其内确定所述第一雷达手势或所述第二雷达手势的视场包括在所述雷达手势使能的电子设备的一米之内并且在自所述雷达手势使能的电子设备的所述显示器的平面测量的大于10度的角度内的体积。
17.如权利要求14所述的雷达手势使能的电子设备,其中,所述手势训练模块被进一步配置为:
利用机器学习模型,生成与所述第一雷达手势或所述第二雷达手势相关联的经调整的基准值;
接收与所述用户在所述雷达场中的第四运动相对应的所述雷达数据的第四子集;
使用所述雷达数据的所述第四子集来检测与所述用户在所述雷达场中的所述第四运动相关联的参数集合的值;
将所检测到的所述参数集合的值与所述经调整的基准值进行比较;
基于所述比较,确定所述用户在所述雷达场中的所述第四运动是否包括所述第一雷达手势或所述第二雷达手势,以及其中,基于所检测到的所述参数集合的值与默认基准值的比较,所述用户在所述雷达场中的所述第四运动被确定为不是所述第一雷达手势或所述第二雷达手势。
18.如权利要求11所述的雷达手势使能的电子设备,其中,基于所述雷达数据的所述第一子集,确定所述用户在所述雷达场中的所述第一运动是否包括所述第一雷达手势进一步包括:
使用所述雷达数据的所述第一子集来检测与所述用户在所述雷达场中的所述第一运动相关联的参数集合的值;
将所检测到的所述参数集合的值与用于所述参数集合的基准值进行比较,所述基准值对应于所述第一雷达手势。
19.如权利要求11所述的雷达手势使能的电子设备,其中,所述第一视觉游戏元素被呈现为不带有与如何执行所述第一雷达手势相关联的文本指令或非文本指令。
20.如权利要求11所述的雷达手势使能的电子设备,其中,所述第一视觉游戏元素被呈现为带有与描述如何执行所述第一雷达手势的补充指令,所述补充指令包括文本指令和非文本指令中的一个或两个。
CN201911194059.8A 2019-10-03 2019-11-28 促进用户熟练使用雷达手势来与电子设备交互 Pending CN110908516A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201962910135P 2019-10-03 2019-10-03
US62/910,135 2019-10-03
US16/601,452 2019-10-14
US16/601,452 US20210103337A1 (en) 2019-10-03 2019-10-14 Facilitating User-Proficiency in Using Radar Gestures to Interact with an Electronic Device

Publications (1)

Publication Number Publication Date
CN110908516A true CN110908516A (zh) 2020-03-24

Family

ID=69820340

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911194059.8A Pending CN110908516A (zh) 2019-10-03 2019-11-28 促进用户熟练使用雷达手势来与电子设备交互

Country Status (1)

Country Link
CN (1) CN110908516A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112774181A (zh) * 2021-01-11 2021-05-11 浙江星汉云图人工智能科技有限公司 雷达数据的处理方法、处理***以及计算机存储介质

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150346820A1 (en) * 2014-06-03 2015-12-03 Google Inc. Radar-Based Gesture-Recognition through a Wearable Device
US20160189469A1 (en) * 2014-09-22 2016-06-30 Gtech Canada Ulc Gesture-based navigation on gaming terminal with 3d display
US9448634B1 (en) * 2013-03-12 2016-09-20 Kabam, Inc. System and method for providing rewards to a user in a virtual space based on user performance of gestures
CN106537173A (zh) * 2014-08-07 2017-03-22 谷歌公司 基于雷达的姿势识别
US20170243433A1 (en) * 2011-10-20 2017-08-24 Robert A. Luciano, Jr. Gesture based gaming controls for an immersive gaming terminal
CN107589829A (zh) * 2016-07-07 2018-01-16 迪斯尼实业公司 对互动商品的基于位置的体验
CN108287608A (zh) * 2017-01-09 2018-07-17 英飞凌科技股份有限公司 用于远程设备的姿势检测的***和方法
US10088908B1 (en) * 2015-05-27 2018-10-02 Google Llc Gesture detection and interactions
CN108958490A (zh) * 2018-07-24 2018-12-07 Oppo(重庆)智能科技有限公司 电子装置及其手势识别方法、计算机可读存储介质
CN109857251A (zh) * 2019-01-16 2019-06-07 珠海格力电器股份有限公司 智能家电的手势识别控制方法、装置、存储介质及设备
US20200081560A1 (en) * 2018-09-09 2020-03-12 Microsoft Technology Licensing, Llc Changing a mode of operation of a computing device by a pen device

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170243433A1 (en) * 2011-10-20 2017-08-24 Robert A. Luciano, Jr. Gesture based gaming controls for an immersive gaming terminal
US9448634B1 (en) * 2013-03-12 2016-09-20 Kabam, Inc. System and method for providing rewards to a user in a virtual space based on user performance of gestures
US20150346820A1 (en) * 2014-06-03 2015-12-03 Google Inc. Radar-Based Gesture-Recognition through a Wearable Device
CN105278674A (zh) * 2014-06-03 2016-01-27 谷歌公司 通过穿戴式设备的基于雷达的手势识别
CN106537173A (zh) * 2014-08-07 2017-03-22 谷歌公司 基于雷达的姿势识别
US20160189469A1 (en) * 2014-09-22 2016-06-30 Gtech Canada Ulc Gesture-based navigation on gaming terminal with 3d display
US10088908B1 (en) * 2015-05-27 2018-10-02 Google Llc Gesture detection and interactions
CN107589829A (zh) * 2016-07-07 2018-01-16 迪斯尼实业公司 对互动商品的基于位置的体验
CN108287608A (zh) * 2017-01-09 2018-07-17 英飞凌科技股份有限公司 用于远程设备的姿势检测的***和方法
CN108958490A (zh) * 2018-07-24 2018-12-07 Oppo(重庆)智能科技有限公司 电子装置及其手势识别方法、计算机可读存储介质
US20200081560A1 (en) * 2018-09-09 2020-03-12 Microsoft Technology Licensing, Llc Changing a mode of operation of a computing device by a pen device
CN109857251A (zh) * 2019-01-16 2019-06-07 珠海格力电器股份有限公司 智能家电的手势识别控制方法、装置、存储介质及设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112774181A (zh) * 2021-01-11 2021-05-11 浙江星汉云图人工智能科技有限公司 雷达数据的处理方法、处理***以及计算机存储介质
CN112774181B (zh) * 2021-01-11 2023-11-10 北京星汉云图文化科技有限公司 雷达数据的处理方法、处理***以及计算机存储介质

Similar Documents

Publication Publication Date Title
KR102320754B1 (ko) 전자 디바이스와 인터렉션하기 위해 레이더 제스처를 사용하는 것에서 사용자 숙련도 지원
CN112753005B (zh) 移动设备的输入方法
KR102479012B1 (ko) 일시정지된 레이더 제스처에 대한 시각적 표시자
US20210064145A1 (en) Detecting and Processing Unsuccessfully Recognized or Unsuccessfully Utilized Non-Contact Gestures for a Computing System
US11841933B2 (en) Radar-based authentication status feedback
US20210064144A1 (en) Methods for Reliable Acceptance of User Non-Contact Gesture Inputs for a Mobile Device
CN113614676B (zh) 用于提供多模式界面的基于移动设备的雷达***及其方法
US11169615B2 (en) Notification of availability of radar-based input for electronic devices
JP7433397B2 (ja) 異なる電力モードをマルチモードインターフェイスに適用するためのモバイルデバイスベースのレーダーシステム
CN111812633B (zh) 检测基于智能设备的雷达***中的参考系变化
CN111868664A (zh) 用于在较低功率模式下确定用户意图的基于智能电话的雷达***
CN113853567A (zh) 基于imu和雷达降低状态
CN113906367A (zh) 通过imu和雷达的认证管理
CN110908516A (zh) 促进用户熟练使用雷达手势来与电子设备交互
CN110989836A (zh) 促进用户熟练使用雷达手势来与电子设备交互

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200324