CN106662926A - 普适计算环境中的姿势交互的***和方法 - Google Patents

普适计算环境中的姿势交互的***和方法 Download PDF

Info

Publication number
CN106662926A
CN106662926A CN201580041594.3A CN201580041594A CN106662926A CN 106662926 A CN106662926 A CN 106662926A CN 201580041594 A CN201580041594 A CN 201580041594A CN 106662926 A CN106662926 A CN 106662926A
Authority
CN
China
Prior art keywords
posture
equipment
smart phone
user
methods according
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201580041594.3A
Other languages
English (en)
Inventor
R·S·戈登
M·西尔斯
P·A·杜尔迪克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Leap Motion Inc
Original Assignee
Leap Motion Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Leap Motion Inc filed Critical Leap Motion Inc
Publication of CN106662926A publication Critical patent/CN106662926A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B15/00—Systems controlled by a computer
    • G05B15/02—Systems controlled by a computer electric
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L12/2807—Exchanging configuration information on appliance services in a home automation network
    • H04L12/2809—Exchanging configuration information on appliance services in a home automation network indicating that an appliance service is present in a home automation network
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/20—Pc systems
    • G05B2219/26—Pc applications
    • G05B2219/2642—Domotique, domestic, home control, automation, smart house

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

所公开的技术涉及在房间中的设备中选择与其交互的设备。它还涉及使用降低的功耗来操作智能电话。它还涉及与缺乏姿势响应的设备姿势地交互。所公开的技术还涉及在普适三维(3D)感觉空间中区分控制姿势与接近的非控制姿势。所公开的技术还涉及在虚拟交互模态中选择与其交互的虚拟交互模态。

Description

普适计算环境中的姿势交互的***和方法
技术领域
所公开的技术总体上涉及普适计算环境中的运动捕获和姿势识别和解释，并且在具体实现中涉及便于用于家庭自动化的姿势环境服务。
优先权数据
本申请要求于2014年5月27日提交的名称为“SYSTEMS AND METHODS OF GESTURALINTERACTION IN A PERVASIVE COMPUTING ENVIRONMENT”的美国临时专利申请第62/003,298号(代理人案卷号LEAP 1032-1/LPM-1032PR)的权益。出于所有目的，本临时申请由此通过引用被合并于此。
合并
在本提交中通过引用被合并的材料包括以下各项：
“DETERMINING POSITIONAL INFORMATION FOR AN OBJECT IN SPACE”，于2013年10月25日提交的美国临时申请第61/895,965号(代理人案卷号LEAP 1015-1/LPM-1015PR)，
“DRIFT CANCELATION FOR PORTABLE OBJECT DETECTION AND TRACKING”，于2014年2月11日提交的美国临时申请第61/938,635号(代理人案卷号LEAP 1037-1/LPM-1037PR)，
“BIOMETRIC AWARE OBJECT DETECTION AND TRACKING”，于2014年3月13日提交的美国临时申请第61/952,843号(代理人案卷号LEAP 1043-1/LPM-1043PR)，
“DYNAMIC USER INTERACTIONS FOR DISPLAY CONTROL”，于2014年3月14日提交的美国非临时申请第14/214,336号(代理人案卷号LEAP 1039-2/LPM-012US)，
“RESOURCE-RESPONSIVE MOTION CAPTURE”，于2014年3月14日提交的美国非临时申请第14/214,569号(代理人案卷号LEAP 1041-2/LPM-017US)，以及
“SAFETY FOR WEARABLE VIRTUAL BEALITY DEVICES VIA OBJECT DETECTION ANDTRACKING”，于2014年4月17日提交的美国临时申请第61/981,162号(代理人案卷号LEAP1050-1/LPM-1050PR)。
背景技术
本部分中讨论的主题不应当仅仅由于其在本部分中的提及而被假定为现有技术。类似地，本部分中提及的或者作为背景提供的与主题相关联的问题不应当被假定为先前在现有技术中已经被识别。本部分中的主题仅代表不同的方法，其本身也可以对应于所要求保护的技术的实现。
在开发与支持直观性并且增强用户体验的电子设备的自然交互方面已经有越来越多的兴趣。例如，用户可能想要在空中以自由形态姿势烹饪的同时控制音乐音量，或者在烹饪的同时改变在起居室中的娱乐***上播放的歌曲，或者在床上的同时调高恒温器，或者在坐在长沙发上的同时打开灯。
现有的家庭自动化技术利用传统的运动捕获方法，其在执行活动时依赖于占用者佩戴的标记或传感器和/或在专用智能家庭环境中依赖于多个庞大和/或复杂的设备的战略布置以捕获占用者移动。不幸的是，这样的***构造起来往往昂贵。此外，占用者佩戴的标记或传感器可能很麻烦，并且干扰占用者的自然移动。此外，由于需要分析的和相关的数据量，涉及大量相机的***不倾向于实时地操作。这样的考虑限制了运动捕获技术的部署和使用。
因此，需要改进的技术来实时地捕获对象的运动，而不在其上附接传感器或标记，并且支持在普适计算环境中的环境智能。
发明内容
所公开的技术涉及通过使用配备有检测三维(3D)感觉空间中的姿势的运动感觉控制设备的智能电话来在房间中的设备中选择要与其交互的设备，检测接受运动控制命令的一个或多个异构设备，检测3D感觉空间中的姿势，并且将姿势解释为选择异构设备中的一个异构设备，以及在智能电话与所选择的设备之间建立通信信道。
所公开的技术还涉及通过以下各项来以降低的功耗操作智能电话：监测配备有检测三维(3D)传感空间中的姿势的运动感觉控制设备的智能电话的至少一个物理或环境参数，以及响应于检测到物理或环境参数的变化超过规定的阈值，将智能电话(经由嵌入式运动感觉控制设备)从一个操作模式自动地切换至另一操作模式。
所公开的技术还涉及通过向传统设备供应基于姿势的信号来与缺乏姿势响应的设备姿势地交互，基于姿势的信号至少基于检测的和从类似姿势库标识的姿势模仿标准输入命令，类似姿势与使用由传统设备接受的标准输入命令执行的控制操纵相类似于或相对应。
所公开的技术还涉及通过检测由不同用户在普适三维(3D)感觉环境中执行的姿势的集合来区分普适3D感觉空间中的控制姿势与接近的非控制姿势，以及通过至少基于用户在3D感觉空间中的一个或多个空间行为从用户中确定主导用户来标识姿势的集合中控制3D感觉空间中的一个或多个设备的响应的控制姿势，并且触发对由主导用户执行的姿势的响应，而不触发对由非主导用户执行的姿势的响应。
所公开的技术还涉及通过基于初始化信号的检测使用智能电话触发增强环境来在虚拟交互模态中选择要与其交互的虚拟交互模态，其中增强环境包括被集成到物理空间的增强绘制中并且接受运动控制命令的一个或多个虚拟交互模态，使用嵌入在智能电话中的运动感觉控制设备来检测3D感觉空间中的姿势，将姿势解释为选择虚拟交互模态中的一个虚拟交互模态，以及在智能电话与所选择的虚拟交互模态之间建立通信信道。
在阅读了下面的附图、详细描述和权利要求之后，可以明白所公开的技术的其它方面和优点。
附图说明
在附图中，相同的附图标记在不同的视图中通常指代相同的部件。此外，附图不一定按比例，而是通常重点放在说明所公开的技术的原理上。在下面的描述中，参考以下附图来描述所公开的技术的各种实现，在附图中：
图1A示出根据所公开的技术的实现的用于捕获图像数据的***。
图1B是根据所公开的技术的实现的实现图像分析装置的计算机***的简化框图。
图2示出了在普适计算环境中选择设备的一个实现。
图3示出了使用语音命令来在普适计算环境中从异构设备中选择设备的一个实现。
图4是使用触摸命令来在普适计算环境中从异构设备中选择设备的一个实现。
图5示出了设置设备特定的控制范例以控制普适计算环境中的各种设备的响应的不同的范例设置姿势的一个实现。
图6是检测三维(3D)感觉空间中的姿势的运动感觉控制设备的一个实现。
图7A是从根据所公开的技术的运动感觉控制设备的顶部的透视图，其中运动传感器沿着其边缘表面。
图7B是从根据所公开的技术的运动感觉控制设备的底部的透视图，其中运动传感器沿着其底部表面。
图7C是从根据所公开的技术的运动感觉控制设备的顶部的透视图，其中可拆卸运动传感器被配置用于放置在表面上。
图8A示出了配备有运动感觉控制设备的智能电话的一个实现。
图8B示出了嵌入在智能电话的旋转相机中的运动感觉控制设备的一个实现。
图8C示出了嵌入在智能电话的移动壳体中的运动感觉控制设备的一个实现。
图8D示出了嵌入在智能电话的纵向移动壳体中的运动感觉控制设备的一个实现。
图8E示出了嵌入在智能电话的横向移动壳体中的运动感觉控制设备的一个实现。
图8F示出了嵌入在计算机平板的无键盘平板壳体中的运动感觉控制设备的一个实现。
图8G示出了嵌入在计算机平板的平板壳体中的运动感觉控制设备的一个实现。
图9示出了在***连接至智能电话的运动感觉控制设备的一个实现。
图10是当嵌入式运动感觉控制设备直立并移动时将智能电话切换至手持操作模式的一个实现。
图11示出了当嵌入式运动感觉控制设备平放并静止时将智能电话切换至广域操作模式的一个实现。
图12A描绘了将智能电话切换至跨房间操作模式的一个实现。
图12B描绘了根据所公开的技术的实现的运动捕获和图像分析中涉及的基本操作和功能单元。
图12C是将椭圆跨xy平面特征化为不同的参数。
图13示出了将智能电话切换至配对操作模式的一个实现。
图14A示出了将智能电话切换至漂移补偿操作模式的一个实现。
图14B示出了根据所公开的技术的从虚拟环境启用的设备的用户的角度来看的对象的视在移动。
图15示出了根据所公开的技术的从虚拟环境启用的设备的用户的角度来看的对象的视在移动。
图16示出了在普适计算环境中通过超短距离通信信道从异构电器广播设备身份令牌的一个实现。
图17示出了在普适计算环境中的通过指向的选择技术的一个实现。
图18示出了基于设备的接近水平在普适计算环境中选择设备的一个实现。
图19描绘了基于设备的位置信息在普适计算环境中选择设备的一个实现。
图20示出了与缺乏姿势响应的设备姿势地交互的一个实现。
图21A、21B和21C示出了区分在普适三维(3D)感觉环境中发出姿势命令的用户的一个实现。
图22是在普适增强环境中在虚拟交互模态中选择要与其交互的虚拟交互模态的一个实现。
图23A、23B、23C、23D和23E示出了与在普适虚拟环境中触发增强幻觉的标记图像交互的一个实现。
图24是修改用户的手的表示的“操控手”方法的一个实现。
图25A、25B、25C、25D、25E、25F、25G、25H和25I示出了将运动感觉控制设备嵌入各种设备中的不同实现。
具体实施方式
如本文中使用的，给定的信号、事件或值“基于”受给定的信号、事件或值影响的前面的信号、事件或值的前面的信号、事件或值。如果存在中间处理元件、步骤或时间段，则给定的信号、事件或值仍然可以“基于”前面的信号、事件或值。如果中间处理元件或步骤组合了多于一个信号、事件或值，则处理元件或步骤的信号输出被认为“基于”每个信号、事件或值输入。如果给定的信号、事件或值与前面的信号、事件或值相同，则这仅仅是退化的情况，其中给定的信号、事件或值仍然被认为“基于”前面的信号、事件或值。类似地定义给定的信号、事件或值对另一信号、事件或值的“响应”或“依赖性”。
如本文中使用的，信息项的“标识”不一定需要直接规定该信息项。通过简单地通过一个或多个间接层来指代实际信息、或者通过标识一起足以确定实际信息项的一个或多个不同信息项，可以在字段中“标识”信息。此外，术语“规定”在本文中用于表示与“标识”相同。
首先参考图1A，图1A示出了包括耦合至感觉分析***106的任何数量的相机102、104的示例性姿势识别***100A。相机102、104可以是任何类型的相机，包括跨可见光谱敏感的相机，或者更典型地，具有对受限波长频带(例如，红外(IR)或紫外频带)的增强的灵敏度的相机；更一般地，术语“相机”在本文中是指能够捕获对象的图像并且以数字数据的形式表示该图像的任何设备(或设备的组合)。尽管使用两个相机实现的示例来示出，但是可以容易地实现使用不同数量的相机或非相机光敏图像传感器(例如118)或其组合的其他实现。例如，可以采用线传感器或线相机而不是捕获二维(2D)图像的传统设备。术语“光”通常用于指代任何电磁辐射，其可以或可以不在可见光谱内，并且可以是宽带(例如，白光)或窄带(例如，单个波长或窄的波长频带)。
相机102、104优选地能够捕获视频图像(即，以每秒至少15帧的恒定速率的连续图像帧)；然而不需要特定的帧速率。相机102、104的能力对于所公开的技术不是关键的，并且相机可以关于帧速率、图像分辨率(例如，每图像的像素)、颜色或强度分辨率(例如，每像素的强度数据的位数)、透镜的焦距、景深等变化。通常，对于特定应用，可以使用能够聚焦在感兴趣的空间体积内的对象上的任何相机。例如，为了捕获否则静止的人的手的运动，感兴趣的体积可以被定义为在一侧大约一米的立方体。
在一些实现中，所示***100A包括一个或多个源108、110，其可以被布置在相机102、104的任一侧，并且由感觉分析***106控制。在一个实现中，源108、110是光源。例如，光源可以是红外光源，例如红外发光二极管(LED)，并且相机102、104可以对红外光敏感。使用红外光可以使得姿势识别***100A能够在宽范围的照明条件下操作，并且可以避免可能与将可见光引导到人正在移动的区域中相关联的各种不便或干扰。然而，可能需要电磁谱的特定波长或区域。在一个实现中，滤波器120、122被放置在相机102、104前面，以滤除可见光，使得只有红外光被记录在由相机102、104捕获的图像中。在另一实现中，源108、110是提供适合于结合或代替相机102、104使用的一个或多个声音传感器(为了清楚起见在图1A中未示出)的声能的声源。声源向用户传输声波；用户或者阻挡(或者“声音阴影”)或者改变撞击她的声波(或者“声音偏转”)。这样的声音阴影和/或偏转也可以用于使用本领域已知的测距技术来检测用户的姿势和/或提供存在信息和/或距离信息。在一些实现中，声波是例如人类不可听见的超声波。
应当强调的是，图1A所示的布置是代表性的而非限制性的。例如，可以使用激光器或其他光源代替LED。在包括(多个)激光器的实现中，可以采用额外的光学器件(例如，透镜或漫射器)来加宽激光束(并且使得其视场类似于相机的视场)。有用的布置还可以包括用于不同范围的短角和广角照明器。光源通常是漫射而不是镜面点光源；例如，具有光扩散封装的封装LED是合适的。
在操作中，光源108、110被布置成照射感兴趣的区域112，感兴趣的区域112包括可以可选地保持工具或其他感兴趣对象的控制对象部分114(在本示例中为手)，并且相机102、104被定向为朝着区域112以用背景116捕获手114的视频图像。在一些实现中，光源108、110和相机102、104的操作由感觉分析***106控制，感觉分析***106可以是例如计算机***、以硬件和/或软件或其组合实现的控制逻辑。基于捕获的图像，感觉分析***106确定对象114的位置和/或运动。
图1B是根据所公开的技术的实现的实现感觉分析***106(也称为图像分析器)的计算机***100B的简化框图。感觉分析***106可以包括能够捕获和处理图像数据的任何设备或设备部件，或者由其组成。在一些实现中，计算机***100B包括处理器132、存储器134、传感器接口136、显示器138(或(多个)其它呈现机制，例如全息投影***、可佩戴护目镜或其他头戴式显示器(HMD)、平视显示器(HUD)、其它视觉呈现机制或其组合、扬声器139、键盘140和鼠标141。存储器134可以用于存储要由处理器132执行的指令以及与这些指令的执行相关联的输入和/或输出数据。具体地，存储器134包含在概念上被示出为下面更详细描述的模块组的指令，这些指令控制处理器132的操作以及处理器132与其它硬件部件的交互。操作***指示执行低级别的基本***功能，诸如存储器分配、文件管理和大容量存储设备的操作。操作***可以是或包括各种操作***，诸如Microsoft WINDOWS操作***、Unix操作***、Linux操作***、Xenix操作***、IBM AIX操作***、Hewlett Packard UX操作***、Novell NETWARE操作***、Sun Microsystems SOLARIS操作***、OS/2操作***、BeOS操作***、MAC OS操作***、APACHE操作***、OPENACTION操作***、iOS、Android或其他移动操作***或另一操作***平台。
计算环境还可以包括其他可移除/不可移除、易失性/非易失性计算机存储介质。例如，硬盘驱动器可以读或写到不可移除、非易失性磁介质。磁盘驱动器可以从可移除、非易失性磁盘读取或向其写入，并且光盘驱动器可以从诸如CD-ROM或其他光学介质等可移除、非易失性光盘读取或向其写入。可以在示例性操作环境中使用的其他可移除/不可移除、易失性/非易失性计算机存储介质包括但不限于磁带盒、闪存卡、数字多功能盘、数字视频磁带、固态RAM、固态ROM等。存储介质通常通过可移除或不可移除存储器接口连接至***总线。
处理器132可以是通用微处理器，但是取决于实现，可以备选地是微控制器、***集成电路元件、CSIC(客户特定的集成电路)、ASIC(专用集成电路)、逻辑电路、数字信号处理器、可编程逻辑器件(诸如FPGA(现场可编程门阵列)、PLD(可编程逻辑器件)、PLA(可编程逻辑阵列))、RFID处理器、智能芯片、或者能够实现所公开的技术的过程的动作的任何其它设备或设备的布置。
传感器接口136可以包括实现计算机***100B与相机(诸如图1所示的相机102、104)以及相关联的光源(诸如图1A的光源108、110)之间的通信的硬件和/或软件。因此，例如，传感器接口136可以包括相机可以连接至的一个或多个数据端口146、148以及硬件和/或软件信号处理器，硬件和/或软件信号处理器用于在将信号作为输入提供给在处理器132上执行的运动捕获(“mocap”)程序144之前，修改从相机接收到的数据信号(例如以减少噪声或重新格式化数据)。在一些实现中，传感器接口136还可以向相机传输信号，例如以激活或去激活相机，以控制相机设置(帧速率、图像质量、灵敏度等)等。这样的信号可以例如响应于来自处理器132的控制信号而被传输，这些控制信号又可以响应于用户输入或其他检测到的事件而生成。
传感器接口136还可以包括控制器147、149，光源(例如，光源108、110)可以连接至控制器147、149。在一些实现中，控制器147、149例如响应于来自执行mocap程序144的处理器132的指令而向光源提供工作电流。在其他实现中，光源可以从外部电源汲取工作电流，并且控制器147、149可以生成用于光源的控制信号，例如指令光源打开或关闭或者改变亮度。在一些实现中，单个控制器可以用于控制多个光源。
定义mocap程序144的指令被存储在存储器134中，并且这些指令在被执行时对从连接至传感器接口136的相机供应的图像执行运动捕获分析。在一个实现中，mocap程序144包括各种模块，诸如对象检测模块152、对象/路径分析模块154和姿势识别模块156。对象检测模块152可以分析图像(例如，经由传感器接口136捕获的图像)以检测其中的对象的边缘和/或其他有关对象位置的信息。对象/路径分析模块154可以分析由对象检测模块152提供的对象信息，以确定对象(例如，用户的手)的3D位置和/或运动。下面描述可以在mocap程序144的代码模块中实现的操作的示例。存储器134还可以包括由mocap程序144使用的其他信息和/或代码模块，诸如应用平台166，应用平台166使得用户能够使用如应用程序1(应用1)、应用程序2(应用2)和应用程序N(应用N)等不同的应用与mocap程序144交互。
显示器138、扬声器139、键盘140和鼠标141可以用于支持用户与计算机***100B的交互。在一些实现中，使用传感器接口136和mocap程序144的姿势捕获的结果可以被解释为用户输入。例如，用户可以执行使用mocap程序144分析的姿势，并且该分析的结果可以被解释为对在处理器132(例如，web浏览器、文字处理器或其他应用)上执行的某个其他程序的指令。因此，作为说明，用户可以使用向上或向下滑动姿势来“滚动”当前显示在显示器138上的网页，以使用旋转姿势来增加或减少来自扬声器139的音频输出的音量等等。
应当理解，计算机***100B是说明性的，并且变化和修改是可能的。计算机***可以以各种形状因子来实现，包括服务器***、桌面***、膝上型***、平板计算机、智能电话或个人数字助理、可穿戴设备(例如护目镜、头戴式显示器(HMD)、腕式计算机)等。具体实现可以包括本文中未描述的其它功能，例如有线和/或无线网络接口、媒体播放和/或记录能力等。在一些实现中，一个或多个相机可以内置在计算机或者传感器被嵌入其中的其他设备中，而不是作为单独的部件来供应。此外，可以仅使用计算机***部件(例如，作为执行程序代码的处理器、ASIC或固定功能数字信号处理器，其具有适当的I/O接口以接收图像数据和输出分析结果)的子集来实现图像分析器。
尽管本文中参考特定框描述计算机***100B，但是应当理解，框是为了方便描述而定义的而非旨在暗示部件部分的特定物理布置。此外，框不需要对应于物理上不同的部件。在使用物理上不同的部件的程度上，部件之间的连接(例如，用于数据通信)根据需要可以是有线的和/或无线的。
参考图1A和1B，用户执行由相机102、104作为一系列时间顺序图像捕获的姿势。在其他实现中，相机102、104可以捕获用户的任何可观察的姿态或部分。例如，如果用户走进相机102、104附近的视场，则相机102、104不仅可以捕获用户的整个身体，而且可以捕获手臂和腿相对于人的核心或躯干的位置。这些由姿势识别模块156分析，姿势识别模块156可以被实现为mocap 144的另一模块。姿势识别模块156向电子设备提供输入，以使得用户能够在显示器138上显示的虚拟环境中远程地控制电子设备和/或操纵虚拟对象，诸如原型/模型、块、球体或其他形状、按钮、杆或其他控件。用户可以使用她的身体的任何部分、诸如手指、手、或手臂来执行姿势。作为姿势识别的一部分或独立地，感觉分析***106可以在3D空间中并且实时地确定用户的手的形状和位置；参见例如分别于2012年1月17日、2012年3月7日、2012年11月8日和2012年12月21日提交的美国序列号61/587,554、13/414,485、61/724,091和13/724,357，其整个公开内容由此通过引用被合并于此。因此，感觉分析***106不仅可以出于向电子设备提供输入的目的而识别姿势，而且还可以在连续的视频图像中捕获用户的手的位置和形状，以便在3D空间中对手的姿势进行特征化并且将其再现在诸如显示器138的显示屏幕上。
在一个实现中，姿势识别模块156将检测到的姿势与作为记录电子地存储在数据库中的姿势库相比较，该数据库在感觉分析***106中、电子设备中或外部存储***上实现。(如本文中使用的，术语“电子地存储”包括在易失性或非易失性存储装置(后者包括磁盘、闪存等)中的存储，并且扩展到任何计算上可寻址的存储介质(包括例如光学存储装置)。)例如，姿势可以被存储为向量，即，数学上规定的空间轨迹，并且姿势记录可以具有规定做出姿势的用户身体的相关部分的字段；因此，由用户的手和头执行的类似轨迹可以作为不同的姿势存储在数据库中，使得应用可以不同地解释它们。
普适计算环境
图2示出了在普适计算环境200中选择设备的一个实现。在一个实现中，普适计算环境200可以包括各种家庭自动化***，诸如照明***、家庭监测***、安全***、电器***、VoIP电话***、其他电话***、其他家庭自动化***或其任何组合。在具体实现中，配备有运动感觉控制设备的智能电话216被适配成控制每个家庭自动化***，包括但不限于娱乐单元206、恒温器和HVAC控件204、膝上型计算机208、台式计算机210、电视212和冰箱214。
在其它实现中，智能电话216可以包括一个或多个传感器，以例如检测加速度、温度、湿度、水、供应的功率、接近、外部运动、装置运动、声音信号、超声信号、光信号、火、烟、一氧化碳、全球卫星定位(GPS)信号或射频(RF)、WiFi或者其它电磁信号或场。因此，例如，智能电话216可以包括(多个)温度传感器、(多个)湿度传感器、(多个)危险相关传感器或(多个)其他环境传感器、(多个)加速度计、(多个)麦克风、相当于并且包括(多个)相机(例如，电荷耦合器件或视频相机)的(多个)光学传感器、有源或无源辐射传感器、(多个)GPS接收器或(多个)射频标识检测器。虽然图2示出了使用运动感觉控制设备的实现，然而很多实现可以包括多个传感器。在一些情况下，智能电话216包括一个或多个主传感器以及一个或多个辅助传感器。(多个)主传感器可以感测对设备的核心操作(例如，解释在环境200中执行的姿势)极为重要的数据。(多个)辅助传感器可以感测其它类型的数据(例如，光、加速度或声音)。
在其它实现中，智能电话216中的一个或多个用户接口部件(例如138)可以用于经由视觉显示器(例如，薄膜晶体管显示器或有机发光二极管显示器)和/或音频扬声器向用户202呈现信息。在一个实现中，用户界面部件(例如138)可以通过触摸屏、按钮、滚动部件(例如，可移动或虚拟环部件)、麦克风和/或相机从用户202接收信息(例如，以检测姿势)。
如图2所示，用户202可以通过执行姿势和/或其他身体移动来在环境200中从不同的设备中选择设备。在一个实现中，可以使用纯姿势或结合语音识别的姿势、和/或结合姿势的虚拟或实际键盘来选择设备。在另一实现中，可以使用识别姿势的控制台来控制整个家庭。
在一些实现中，用户202可以举起手臂、说出声音命令、执行光学命令或使用手和手指做出不同的姿态(例如，“一个手指指向”、“一个手指点击”、“两个手指指向”、“两个手指点击”、“俯卧的(prone)一个手指指向”、“俯卧的一个手指点击”、“俯卧的两个手指指向”、“俯卧的两个手指点击”、“中间的一个手指指向”、“中间的两个手指指向”)来指示与环境200中的特定设备交互的意图。在其他实现中，可以使用指向和抓握姿势来在环境200中的设备的显示器上移动光标，可以使用声音命令来选择功能，可以使用眼睛移动来移动光标，并且闪烁可以指示选择。
在其他实现中，姿势可以使用图形显示器或其他反馈设备、菜单元件的集合、选择元件以及平移和缩放能力来控制环境200中的不同设备。通过设备的导航可以从目标设备的高级选择向下到单个选择元件的操纵是一致的。在一个示例中，通过在检测垂直、拇指向上、单指指向之后选择的特定设备，激活当前设备的指向光标和上下文菜单元件。光标位置由食指的移动和/或目标驱动。对按钮、滑块和菜单元件的基本选择和控制通过将指针定位在元件内并将拇指移动到向下/点击(与食指对准)位置来实现。将光标从屏幕移动到中间侧带来高级菜单列表，其中光标移动被限制在两个维度(上和下)。从高级菜单中选择一个选项用于改变设备(例如，从电视到冰箱)。
在一些其它实现中，也可以使用姿势或身体移动来打开或关闭设备。在选择设备之后，用户202执行随后的姿势，诸如向下或向上滑动手和/或手指以打开或关闭设备。例如，可以使用手指向上或向下轻弹来打开或关闭灯、电视或冰箱。
使用环境200中的姿势交互执行的环境服务的其他示例可以包括填充浴池、水池和矿泉以及在这些设施中维持期望的温度、以及控制与这些设施相关联的任何泵。它们还可以控制各个设备和电器，诸如厨房电器、排气扇、加湿器和除湿器。在一些实现中，它们可以控制机动化设备，诸如天窗、帷幕、家具、墙壁、屏幕、天花板、遮篷、物理安全屏障、门锁等。在其他实现中，它们还可以控制应答机、语音邮件***，并且提供维护提醒和执行以下功能，诸如电话应答、控制喷泉或地下喷水***、控制厨房和其他电器、控制机动化窗帘、窗户和天窗、打开锁定的门、以及这些功能的调度。在其他实现中，这些环境服务可以应用于其他普适环境，诸如船、飞机、办公套房、会议室、礼堂、教室、剧院、酒店、医院和养老院。
图3示出了使用语音命令330在普适计算环境300中从多个异构设备中选择设备的一个实现。在一个实现中，用户302可以说出设备的名称以进行设备选择。例如，如图3所示，用户302通过发出声音命令“TV”来选择电视312。在其他实现中，用户302可以说出一系列命令以选择设备并且进一步控制所选择的设备。在一些其他实现中，用户302可以使用姿势来控制声音选择的设备。在具体实现中，配备有运动感觉控制设备的智能电话316被适配成控制每个家庭自动化***，包括但不限于娱乐单元306、恒温器和HVAC控件304、膝上型计算机308、台式计算机310、电视312和冰箱314。
图4是使用触摸命令在普适计算环境400中从多个异构设备中选择设备的一个实现。在一些实现中，创建标识异构设备的数据以由环境400中的智能电话416或另一设备或虚拟屏幕来显示。在其他实现中，接收选择所标识的异构设备中的一个异构设备的随后的触摸命令402，如图4所示。在具体实现中，配备有运动感觉控制设备的智能电话416被适配成控制每个家庭自动化***，包括但不限于娱乐单元406、恒温器和HVAC控件404、膝上型计算机408、台式计算机410、电视412和冰箱414。
图17示出了在普适计算环境1700中的通过指向的选择技术的一个实现。在一个实现中，通过使设备进入智能电话1716的相机的视场或者在如平板计算机1716的用户计算设备的线中，自动地从异构设备(1704、1706、1708、1712、1710、1714)中选择设备。
图5示出了设置设备特定的控制范例以控制普适计算环境500中的各种设备的响应的不同的范例设置姿势(514、526、518、512、520、524)的一个实现。如图5所示，不同的姿势(诸如手的两个手指的抓握和再次伸出运动、手的手指的抓握和再次伸出运动、或者保持第一手指向下和伸出第二手指)可以用于确定用于解释随后的姿势并且控制所选择的设备的上下文。例如，垂直手指滑动可以指示用户意图增加电视的音量或增加电视显示器的亮度。然而，范例设置姿势(514、526、518、512、520、524)定义各种姿势如何在不同设备上引起屏幕上动作和/或控制其手动响应。在涉及普适增强环境的另一示例中，范例设置姿势(514、526、518、512、520、524)可以定义交互模式以与不同的虚拟屏幕或对象交互。例如，当用户正在与在虚拟屏幕上活动的虚拟报纸交互时，正手扫描可以导致虚拟报纸中的电子页面的增量改变，而相同的姿势可以导致虚拟汽车在由相同的虚拟屏幕生成的虚拟游戏环境中的碰撞。在具体实现中，配备有运动感觉控制设备的智能电话516被适配成控制每个家庭自动化***，包括但不限于娱乐单元536、恒温器和HVAC控件504、膝上型计算机508、台式计算机510、电视532和冰箱534。
图6是检测三维(3D)感觉空间中的姿势的运动感觉控制设备600的一个实现。图7A、7B和7C参考在单个壳体内封装为集成传感器的示例实现示出了运动感觉控制设备700的三种不同配置。在所有情况下，运动感觉控制设备700A、700B、700C包括顶部表面705、底部表面707和跨越顶部表面705和底部表面707的侧壁710。还参考图7A，运动感觉控制设备700A的顶部表面705包含用于允许光到达相机102、104的一对窗口715，其中一个窗口与窗口715、717中的每个窗口光学对准。如果***包括光源108、110，则表面705可以包含用于将光传递给被跟踪的(多个)对象的额外的窗口。在运动感觉控制设备700A中，源108、110位于侧壁710上。理想地，运动传感器与侧壁710的表面齐平，使得运动传感器被布置成感测围绕运动感觉控制设备700A的纵轴的运动。当然，运动传感器可以从在装置内部的侧壁710凹进，以便在可用封装空间内容纳传感器操作和放置，只要与运动感觉控制设备700A的外壳耦合。在传感器700B中，源108、110位于接近底部表面707，再次处于齐平或凹陷构造。运动感觉控制设备700B(为了清楚起见在图中未示出)的顶部表面包含如图7A所示的相机窗口715。在图7C中，源108、110是经由插孔720连接至运动感觉控制设备700C的外部接触换能器。该配置使得能够将运动传感器远离运动感觉控制设备700C定位，例如，如果与运动感觉控制设备700C的封装允许的相比，运动传感器被期望地进一步间隔远离。
在其他实现中，图1B的可移动传感器部件1B可以嵌入在便携式(例如，头戴式显示器(HMD)、可佩戴护目镜、手表计算机、智能电话等)或可移动(例如，自主机器人、材料运输、汽车(人或机器驱动))设备中。图8A示出了配备有运动感觉控制设备的智能电话800A的一个实现。图8B示出了嵌入在智能电话的旋转相机800B中的运动感觉控制设备的一个实现。图8C示出了嵌入在智能电话810的移动壳体814中的运动感觉控制设备812的一个实现800C。图8D示出了嵌入在智能电话810的纵向移动壳体816中的运动感觉控制设备818的一个实现800D。图8E示出了嵌入在智能电话820的横向移动壳体822中的运动感觉控制设备824的一个实现800E。图8F示出了嵌入在计算机平板826的无键盘平板壳体828中的运动感觉控制设备830的一个实现800F。图8G示出了嵌入在计算机平板832的平板壳体834中的运动感觉控制设备836的一个实现800G。
图9示出了通过数据线缆904***地连接至智能电话902的运动感觉控制设备906的一个实现900。在一个实现中，由运动感觉控制设备906收集的运动和感觉信息通过数据线缆904被传送给智能电话902。在另一实现中，由运动感觉控制设备906检测到的姿势被预处理以减小所需要的带宽，并且预处理的姿势经由通信信道被发送给智能电话902。
运动捕获***使用连接至一个或多个相机的计算设备来捕获用户、用户身体的一部分(通常是用户的手中的一个或多个手)和/或对象在三维(“3D”)空间中的移动。一旦捕获到移动，计算设备可以将移动解释为用户输入命令并且相应地更新计算机显示器。例如，计算机显示器可以示出用户的手的虚拟表示，并且在用户移动他的手时更新该表示。在另一示例中，计算机显示器可以示出当用户的手移动时***纵(例如，旋转或重新定尺寸)的虚拟对象。
足够快地处理捕获图像序列以检测和特征化其中的对象(例如，在其轮廓方面)、并且通过图像序列实时跟踪它们的运动需要大量的计算资源，这当运动感觉控制设备被嵌入在具有功率限制的智能电话中时是特别关注的。为了准确地实时或接近实时地跟踪运动，运动捕获***的(多个)相机通常以每秒至少15个图像帧的帧速率操作。在这样的高速率下的图像获取需要显著的功率需求；一般来说，一方面在帧速率相关的精度与运动捕获***的响应之间以及另一方面在帧速率相关的精度与功耗之间存在折衷。然而，功率要求可能对如配备有运动感觉控制设备的智能电话的运动捕获***的应用范围提出实际限制，因为过度的功耗可能使其使用不切实际或在经济上不可行。因此，期望减少配备有运动感觉控制设备的智能电话的功耗，优选地以不影响运动跟踪性能的方式。
这通过以下来实现：监测配备有运动感觉控制设备的智能电话的至少一个物理和/或环境参数，并且响应于检测到物理和/或环境参数的变化超过规定的阈值而将智能电话从一个操作模式自动地切换至另一操作模式，诸如高功耗模式到低功耗模式。
手持模式
图10是当嵌入式运动感觉控制设备直立并移动时将智能电话1002切换至手持操作模式1000的一个实现。在一个实现中，智能电话1002包括陀螺仪、加速度计、倾斜传感器和/或其他这样的设备中的至少一个。当嵌入智能电话1002中时，这些定向和加速度测量设备可以生成一个或多个输出信号，如指示智能电话1002的物理定向的正交的x轴、y轴和z轴的三轴信号。在这样的实现中，当用户持有智能电话1002使得其面部接近在头部一侧处的用户的耳朵时(如同传统的电话手机)，并且其定向和加速度超过特定阈值时，嵌入在智能电话1002中的运动感觉控制设备被切换至手持操作模式1000。
广域模式
图11示出了当嵌入式运动感觉控制设备平放并静止时将智能电话切换至广域操作模式1100的一个实现。如上所述，可以使用陀螺仪、加速度计、倾斜传感器和/或嵌入在智能电话1002中的其它这样的设备中的至少一个来测量智能电话1002的定向和加速度，并且将智能电话1002切换至广域操作模式1100。
跨房间模式
图12A描绘了将智能电话1206切换至跨房间操作模式1200A的一个实现。在一个实现中，当智能电话1206处于广域操作模式1200并且其嵌入式运动感觉控制设备检测到姿势1202时，将智能电话1206切换至跨房间操作模式。
模式间操作
在一个实现中，在配备有运动感觉控制设备的智能电话上节省电力包括标识智能电话的操作模式。在一个示例中，当操作模式是“手持”时，推断用户处于电话对话中并且不打算使用嵌入式运动感觉控制设备的姿势识别和解释能力。因此，在手持操作模式下，可以降低或去激活嵌入式运动感觉控制设备的识别和解释能力以节省电力。相反，当电话是“广域”或“跨房间”操作模式时，可以增加或激活这样的能力。这通过调整嵌入式运动感觉控制设备的一个或多个图像获取参数和/或图像分析参数来实现。一旦被调整，通过智能电话的运动感觉控制设备或其他传感器的图像数据的获取和/或分析符合调整后的图像获取参数和/或图像分析参数。在一些实现中，图像获取参数包括帧分辨率和帧捕获速率，并且图像分析参数包括分析算法和分析密度。
在一些其它实现中，“手持”操作模式可以发起姿势识别和解译能力以及如本申请中稍后描述的“抗抖动”效果或“漂移补偿”模式。在其它实现中，结合运动感觉设备的照明源的功率可以被定制用于长距离操作，例如，照明源可以被“选通”(例如施加脉冲)以在更短的时间段内提供强烈的照明突发，以有效地在降低的功耗下提供更大的照明。
在各种实现中，嵌入式运动感觉控制设备的操作被定制和理想地调节到智能电话的一个或多个操作模式。一般来说，图像由智能电话的一个或多个相机捕获并且存储在“帧缓冲器”中——即，计算机存储器的分区或专用段，其将数字图像存储为图像点或“像素”的有序阵列。运动感觉控制设备可以包括图像分析算法的集合，其在图像中定位与所记录的场景中的对象(例如，用户的移动的手)相对应的像素组或区域。数字图像具有大小(以像素为单位)和分辨率，并且图像分析算法得到图像输入并且将其处理成定义图像中的对象及其从图像到图像的移动的输出。一旦确定了智能电话的操作模式，就选择合适的(并且理想地适当的)参数组合，参数组合规定例如图像的特性、它们的获取速率以及图像分析算法如何处理它们使得提供充分的总体性能。
图12B描绘了根据所公开的技术的实现的运动捕获和图像分析中涉及的基本操作和功能单元1200B。如图12所示，(多个)相机1200记录场景的数字图像1210。每个数字图像由相关联的相机的图像传感器捕获作为像素值阵列，并且数字图像——以“原始”格式或在传统的预处理之后——被传送给一个或多个帧缓冲器1215。帧缓冲器是易失性存储器的分区或专用段，其存储与如由记录图像的像素值的相机1200输出的图像的像素值相对应的“位图”图像帧1220。位图通常在概念上被组织为网格，其中每个像素被一对一映射或以其它方式映射到显示器的输出元件。然而，应当强调，存储器单元如何在帧缓冲器1215内在物理上被组织的拓扑并不重要，并且不需要直接符合概念组织。
被包括在***中的帧缓冲器的数量通常反映由分析***或模块1230同时分析的图像的数量，这将在下面更详细地描述。简要地，分析模块1230分析图像帧1220的序列中的每个图像帧中的像素数据，以定位其中的对象并且跟踪它们随时间的移动(如1240所示)。该分析可以采取各种形式，并且执行分析的算法指示如何处理图像帧1220中的像素。例如，由分析模块1230实现的算法可以逐行地处理每个帧缓冲器的像素——即，连续地分析像素网格的每行。其他算法可以分析列、平铺区域或其他组织格式的像素。
这些操作必然是计算密集型的；所公开的技术的方法是，根据负责的部件确定整个智能电话的能力，并且定制图像分析以适应电话限制同时遵守最低性能要求。参考智能电话(其建立计算能力)的代表性实现和图像分析算法(其执行可以响应于***能力限制而改变)来最好地理解该方法。
在各种实现中，在一系列相机图像中捕获的运动用于计算相应的一系列输出图像用于在显示器308上显示。例如，移动的手的相机图像可以被处理器132转换成线框或对手的其它图形描绘。备选地，手的姿势可以被解释为用于控制单独的视觉输出的输入；通过示例的方式，用户能够使用向上或向下滑动姿势来“滚动”当前显示的网页或其他文档，或者打开和关闭她的手以放大和缩小页面。在任何情况下，输出图像通常以像素数据的形式存储在帧缓冲器(例如帧缓冲器1205中的一个)中。视频显示器控制器读出帧缓冲器以生成数据流和相关联的控制信号以将图像输出给显示器138。视频显示器控制器可以与计算机100B的主板上的处理器132和存储器134一起提供，并且可以与处理器132集成或者实现为协处理器，协处理器操纵单独的视频存储器。如上所述，计算机100B可以配备有辅助生成用于显示器138的输出图像的馈送的单独的图形或视频卡。视频卡通常包括图形处理单元(GPU)和视频存储器，并且具体地对于复杂和计算昂贵的图像处理和绘制是有用的。图形卡可以包括帧缓冲器和视频显示器控制器的功能(并且可以禁用板载视频显示器控制器)。通常，***的图像处理和运动捕获功能可以以各种方式分布在GPU与主处理器132之间。
下面以及更详细地在2012年3月7日提交的美国专利申请第13/414,485号和2013年1月16日提交的美国专利申请第13/742,953号以及2012年11月8日提交的美国临时专利申请第61/724,091号中描述运动捕获程序335的合适算法，这些申请的全部内容由此通过引用被合并于此。各种模块可以用任何合适的编程语言来编程，包括但不限于诸如C、C++、C#、OpenGL、Ada、Basic、Cobra、FORTRAN、Java、Lisp、Perl、Python、Ruby或Object Pascal等高级语言、或低级汇编语言。
在一个实现中，操作相机102、104以收集对象114的图像序列。图像是时间相关的，使得来自相机102的图像可以与在相同时间(或在几毫秒内)捕获的来自相机104的图像配对。然后，这些图像由图像分析模块1230分析；具体地，对象检测例程检测图像中的一个或多个对象的存在，并且对象分析例程分析检测到的对象以确定它们在3D空间中的位置和形状。在一些实现中，分析例程考虑通过相机的3D空间视场的2D横截面的堆叠。这些横截面在本文中称为“切片”。切片可以是任何平面，其至少部分在相机102、104的视场中。出于运动捕获分析的目的，可以在视场中以规则的间隔来选择切片。例如，如果接收到的图像包括固定数量的像素行(例如，1080行)，则每行可以是切片，或者行的子集可以用于更快的处理。在使用行的子集的情况下，来自相邻行的图像数据可以例如以两个或三个的组一起被平均。
一般来说，如图12C所示，xy平面中的椭圆可以由五个参数来特征化：中心的x和y坐标(xC，yC)、半长轴(a)、半短轴(b)和旋转角度(θ)(例如，半长轴相对于x轴的角度)。只有四个切线，椭圆是欠定的。然而，尽管如此已经开发了用于估计椭圆的有效过程1200C。在如下所述的各种实现中，这涉及做出关于参数之一的初始工作假定(或“猜测”)，并且在分析期间收集到额外的信息时重新访问假定。该额外的信息可以包括例如基于相机和/或对象的属性的物理限制。
在一些实现中，对象的多于四个切线可以对于一些或所有切片可用，例如，因为多于两个有利点是可用的。仍然可以确定椭圆形横截面，并且在一些情况下过程在某种程度上被简化，因为不需要假定参数值。在一些情况下，额外的切线可以产生额外的复杂性。在一些实现中，对象的少于四个切线可以对于一些或所有切片可用，例如，因为对象的边缘在一个相机的视场的范围之外，或者因为未检测到边缘。可以分析具有三个切线的切片。例如，使用来自拟合于(fit to)相邻切片(例如，具有至少四个切线的切片)的椭圆的两个参数，足够确定可以求解的椭圆和三个切线的方程组。作为另一选择，圆可以拟合于三个切线；在平面中定义圆仅需要三个参数(中心坐标和半径)，因此三个切线足以拟合圆。具有少于三个切线的切片可以被丢弃或与相邻切片组合。
在一些实现中，单独地分析若干个切片中的每个切片以确定该切片中的对象的椭圆形横截面的大小和位置。这提供了初始3D模型(具体地，椭圆形横截面的堆叠)，其可以通过跨不同切片使横截面相关而被细化。例如，期望对象的表面将具有连续性，并且因此不连续的椭圆可以被忽略(discount)。可以通过例如基于与运动和变形的连续性相关的期望使3D模型与其自身在时间上相关来获得进一步的细化。
配备有运动感觉控制设备的智能电话的操作模式可以根据性能数据库中的条目来确定提供给图像分析模块1230的数据的粗糙度、其分析的粗糙度或这二者。例如，在广域操作模式1100期间，图像分析模块1230可以对每个图像帧以及对帧内的所有数据进行操作，能力限制可以规定对减少的每帧的图像数据量(即，分辨率)的分析或一些帧的丢弃。如果每个帧缓冲器1205中的数据被组织为数据线序列。从分析中丢弃数据的方式可以取决于图像分析算法或运动捕获输出的用途。在一些实现中，以对称或均匀的方式丢弃数据——例如，每隔一行、每三行等丢弃直到图像分析算法或利用其输出的应用的容许限。在其他实现中，丢弃线的频率可以朝向帧的边缘增加。可以改变的其他图像获取参数包括帧大小、帧分辨率和每秒获取的帧数。具体地，可以通过例如丢弃边缘像素或通过重新采样到较低的分辨率(并且仅利用帧缓冲器能力的一部分)来减小帧大小。与图像数据的获取相关的参数(例如，大小和帧速率和特性)被统称为“获取参数”，而与图像分析模块1230的操作相关的参数(例如，在定义对象的轮廓时)被统称为“图像分析参数”。上述获取参数和图像分析参数的示例仅是代表性的，而不是限制性的。
获取参数可以应用于相机1200和/或帧缓冲器1205。相机1200例如可以响应于操作相机102、104来以命令的速率获取图像时的获取参数，或者可以代替地限制(每单位时间)传递给帧缓冲器1205的所获取的帧的数量。图像分析参数可以应用于图像分析模块1230作为影响轮廓定义算法的操作的数值量。
适合于给定水平的可用资源的获取参数和图像分析参数的期望值可以例如取决于图像分析模块1230的特性、利用mocap输出的应用的性质、以及设计偏好。虽然一些图像处理算法能够在宽范围上针对输入帧分辨率折衷轮廓逼近的分辨率，但是其他算法可能根本不表现出很大的容忍性——例如需要最小图像分辨率，在该最小图像分辨率以下算法完全失败。
配对模式
图13示出了将智能电话1302切换至配对操作模式1300的一个实现。在这样的实现中，当智能电话1302平放并静止时，设备(1304、1306、1308、1310、1312、1314)和智能电话1302可以使用蓝牙技术来在智能电话1302与所发现的设备中的所选择的设备之间建立通信信道。这通过交换设备标识令牌来实现，设备标识令牌在如图13中示出为1330的它们各自的发现信标中包括数据有效载荷。在一些实现中，蓝牙技术可以包括标识阶段和配对阶段。在标识阶段期间，智能电话1302可以设置跳频图案，设备(1304、1306、1308、1310、1312、1314)可以将其信号与该跳频图案同步。在配对阶段中，设备(1304、1306、1308、1310、1312、1314)和智能电话1302可以传输低功率短距离RF信号和广播设备身份令牌。备选地，可以在无连接模式下接收和处理设备标识令牌而不进行配对。
漂移补偿模式
所公开的技术的实现可以应用于确定相对于与一个或多个光学、声学或振动传感器相关联的可移动或移动的参考系行进的对象的路径。有利地，一些实现可以使得姿势识别能够用于智能电话中。该能力使得用户能够通过使用智能电话与真实世界或虚拟对象进行虚拟化或真实世界接触来执行直观姿势，同时通过将对象的运动与智能电话自身的运动区分开来补偿智能电话的抖动运动以便支持正确的姿势识别。
图14A示出了将智能电话切换至漂移补偿操作模式1400A的一个实现。具体地，图14A示出了根据所公开的技术的一个实现的用于捕获图像数据的***。在一个实现中，姿势识别***100A优选地被结合到智能电话1430或其他类型的便携式设备中。
图14B示出了根据所公开的技术的从虚拟环境1400B启用的设备的用户的角度看的对象的视在移动。图14B示出了在两个不同时间观察视场1413的设备1410的用户的两个视图。如框1401所示，在初始时间t0，用户在特定初始位置使用设备1101观看视场1113a以观看区域1413a。如框1402所示，设备1410向用户呈现包括特定姿势的对象1414(剪刀)的设备视场1413a的显示。如框1403所示，随后在时间t1，用户已经重新定位了设备1410。因此，在框剪刀1404中示出的视场1413b中的对象1414的视在位置已经从视场1413a中的对象1414的视在位置发生改变。即使在剪刀1414未在空间中移动的情况下，由于设备的位置变化，用户看到剪刀1414的视在移动。
图15示出了根据所公开的技术的从虚拟环境1500启用的设备的用户的角度看的对象的视在移动。如框剪刀1502所示，设备1410在时间t0呈现的视场1413a包括对象1414。在时间t0，已知在时间t0被跟踪对象1414相对于设备参考系1420a的位置和定向。如框1504所示，在时间t1，设备参考系1420b和被跟踪对象1414二者的位置和定向已经改变。如框1504所示，设备1410在时间t1呈现的视场1413b包括处于新的视在位置的对象1414。因为设备1410已经移动，所以设备参考系1420已经从原始或开始设备参考系1420a移动到当前或最终参考系1420b，如变换T所示。值得注意的是，设备1410可以旋转以及平移。实现可以提供感测参考系1420b相对于参考系1420a的位置和旋转，并且感测在时间t1被跟踪对象1414相对于1420b的位置和旋转。实现可以根据参考框架1420b相对于参考框架1420a的感测的位置和旋转、以及被跟踪对象1414相对于参考框架1420b的感测的位置和旋转来确定被跟踪对象1414相对于1420a的位置和旋转。
在实现中，确定将虚线参考系1420a移动到点线参考系1420b的变换RT。应用逆变换-RT使得点线参考系1420b位于虚线参考系1420a上。然后，被跟踪对象1414将从虚线参考系1420a的视角来看处在正确的位置。在确定对象1414的运动时，***100A可以通过在计算上分析由相机102、104捕获的图像和由运动感觉控制设备600捕获的运动信息来确定其位置和方向。例如，使用仿射变换将对象上的任何点(在3D空间中)在时间t＝t1时的视在位置转换为对象上的点在时间t＝t1时的真实位置：被跟踪对象上的点相对于设备参考系1420a在时间t＝t1时的正确位置由等式(1)给出：
获得仿射变换R(根据轴单位矢量u＝(ux，uy，uz)、旋转角θ)方法的一种传统的方法。***，在http://en.wikipedia.org/wiki/Rotation_matrix，根据轴和角的旋转矩阵，在2014年1月30日，20:12UTC，计算方程(2)至少部分地基于其而被启发：
在另一示例中，可以使用仿射变换将对象在时间t＝t1时的视在定向和位置、仿射变换转换为对象在时间t＝t1时的实际定向和位置被跟踪对象在时间t＝t0时相对于设备参考系(1420a)的正确定向和位置由等式(3)给出：
在又一示例中，可以使用仿射变将对象在时间t＝t1时的视在定向和位置、仿射变换转换为对象在时间t＝t1时的实际定向和位置此外，可以使用仿射变换来确定初始参考系相对于在空间中(典型地)固定的参考点的位置和定向。被跟踪对象在时间t＝t0时相对于设备参考系(1420a)的正确定向和位置由等式(4)给出：
近场通信
图16示出了在普适计算环境中通过超短距离通信信道从异构电器广播设备身份令牌的一个实现1600。在一些实现中，设备(1604、1606、1608、1610、1612、1614)和智能电话1616可以使用近场通信(NFC)用于超短距离通信，并且使用在设备(1604、1606、1608、1610、1612、1614)与智能电话1616之间的简单敲击来代替蓝牙技术的标识阶段。在NFC的情况下，设备(1604、1606、1608、1610、1612、1614)和智能电话1616可以包括天线，天线用作变压器的绕组以生成用于广播设备身份令牌(1、2、3、4、5、6)的高功率超短距离RF信号。在其他实现中，设备身份令牌(1、2、3、4、5、6)中可以包括射频标识符(RFID)或NFC标识符，其由设备(1604、1606、1608、1610、1612、1614)传输给智能电话1616。RFID或NFC标识符可以由集成在智能电话1616中的RFID或NFC读取器来接收或读取。
在一些实现中，设备(1604、1606、1608、1610、1612、1614)和智能电话1616可以经由接入点(AP)通过Wi-Fi参与无线局域网(WLAN)，该接入点在中距离区域上广播可用的Wi-Fi信号。响应于由设备(1604、1606、1608、1610、1612、1614)和智能电话1616发起的基于媒体访问控制(MAC)地址的地址解析协议(ARP)扫描，AP可以生成连接至它的设备的列表及其MAC地址、名称、格式、Internet协议(IP)等。
在一些实现中，可以以条形码的形式(诸如快速响应(QR)码)来生成设备标识令牌。QR码可以以电子形式存储在智能电话1616中和/或进一步被打印/标记/贴附。然后可以在附加至设备(1604、1606、1608、1610、1612、1614)的RFID读取器或扫描器上扫描QR码。在其他实现中，QR码可以是指向包括关于用户定制饮料配方的信息的网站或网页地址的可扫描URL。
当设备(1604、1606、1608、1608、1610、1612、1614)和智能电话1616彼此在物理上接近时，诸如蓝牙、近场通信(NFC)、RFID、Z-Wave、ZigBee等短距离通信***可以在设备(1604、1606、1608、1608、1610、1612、1614)与智能电话1616之间建立对等(P2P)连接。在P2P连接期间，设备(1604、1606、1608、1610、1612、1614)和智能电话1616当在彼此的传输范围内时，广播设备身份令牌。在P2P无源或无连接模式下，设备之一可以发起广播，而其他设备可以作为接收器而不进行配对。在P2P活动模式下，其中设备被配对或已经建立了连接，两个设备(1604、1606、1608、1610、1612、1614)和智能电话1616可以传输和接收身份设备身份令牌(1、2、3、4、5、6)。
诸如Wi-Fi的WLAN可以使用中距离信号将设备(1604、1606、1608、1610、1612、1614)和智能电话1616连接至AP。在WLAN连接期间，设备(1604、1606、1608、1610、1612、1614)和智能电话1616可以以广播(无连接)或连接模式操作。在广播模式下，可以假定连接至共享AP的广播设备(1604、1606、1608、1610、1612、1614)和智能电话1616非常接近。令牌可以例如被广播给MAC地址或所定义的网段范围的另一MAC或IP地址。广播给MAC地址由IPv4和IEEE 802.11支持。在IPv6中，多播代替广播。令牌可以嵌入在识别的广播消息类型中。广播协议的一个示例是互联网控制消息协议，其在IPv4和IPv6二者中实现。可以使用各种类型的ICMP消息或从类型代码的保留范围中选择新的类型。由IPv4支持的广播协议的另一示例是地址解析协议(ARP)。查询消息可以用于扫描WLAN段。根据对查询的响应，可以编译连接的设备的唯一媒体访问控制(MAC)地址的列表。在IPv6中，邻居发现协议(NDP)规定可以被适配用于传输身份令牌信息的各种多播消息类型。当设备(1604、1606、1608、1610、1612、1614)和智能电话1616可以广播ARP消息或设备身份令牌(1、2、3、4、5、6)时，AP可以将广播转发给其他连接的设备。在一些实现中，覆盖单个位置(诸如大型会议室)的多个AP可以作为组进行中继广播，或者可以被视为单个AP。
基于接近的选择
图18是示出基于设备的接近水平在普适计算环境1800中选择设备的一个实现的一个实现。在一些实现中，可以设置阈值或超时限制以帮助智能电话1802聚合由连续接收到相同的设备身份令牌而导致的连接事件。在由接收到多个设备身份令牌而导致的聚合的连接事件中，具有更高计数、更长时间戳读数或更大接收信号强度指示(RSSI)的设备身份令牌可以指示两个设备的持续和紧密接近。
RSSI
在一个实现中，接近度水平是基于设备(1804、1806、1808、1820、1822、1824)的RSSI(1814、1816、1818、1830、1812、1834)来计算的。在一些实现中，基于智能电话1802与设备(1804、1806、1808、1820、1822、1824)之间的传输的持续时间来测量RSSI。在由接收到多个设备身份令牌而导致的聚合的连接事件中，具有更高计数或更长时间戳读数的设备身份令牌可以指示两个设备的持续和紧密接近。
聚合可以在智能电话1802和设备(1804、1806、1808、1820、1822、1824)或这两者上执行。例如，智能电话1802和设备(1804、1806、1808、1820、1822、1824)可以聚合接收到的设备身份令牌以确定时间戳持续时间。在一些实现中，在预设的时间窗口内没有从广播设备接收到设备身份令牌可以导致接收设备关闭并总结连接事件。在没有接收到另外的设备身份令牌的情况下在超时持续时间之后，智能电话1802和设备(1804、1806、1808、1820、1822、1824)可以在存储器中存储所收集的设备身份令牌的批量和相关联的元数据，包括时间戳持续时间和RSSI值。智能电话1802和设备(1804、1806、1808、1820、1822、1824)可以基于收集的设备身份令牌的数量和相关联的元数据值来将传输的质量指示为“强”或“平均”。广播的质量可以指示广播设备的紧密接近，并且用于计算接近度。
位置信息
图19描绘了基于设备的位置信息在普适计算环境1900中选择设备的一个实现。根据一些实现，智能电话1916和设备(1904、1906、1908、1912、1910、1914)的位置信息可以用于确定它们之间的接近水平。在一些实现中，耦合至在智能电话1916和设备(1904、1906、1908、1912、1910、1914)上运行的相应处理器的位置数据收发器和网络适配器可以生成对应的位置数据(d、d1、d2、d3、d4、d5)。在一些实现中，可以使用实时GPS或GNSS报告来计算该位置数据。
在一些实现中，当智能电话1916在设备(1904、1906、1908、1912、1910、1914)的传输范围内时，物理接近事件可以自动地创建并且存储在智能电话1916的存储器单元中。物理接近事件的创建可以在智能电话1916的位置与设备(1904、1906、1908、1912、1910、1914)的位置匹配时触发。在其他实现中，其可以在智能电话1916与设备(1904、1906、1908、1912、1910、1914)之间发起对等通信时创建。
在一个实现中，通过根据有序扫描模式利用来自传输区域的发射进行普适计算环境1900的扫描来确定设备(1904、1906、1908、1912、1910、1914)的位置信息。扫描可以是连续的或不连续的。可以接收发射以基于在设备(1904、1906、1908，1912，1910，1914)处的随时间变化的发射的至少一个突出属性(例如，强度、幅度、频率、极化、相位或其他可检测特征)来形成信号。关于有序扫描模式的同步信息(例如，在从发射器看来在已知时间在空间中的已知点处的总和发射的特定角度)可以从源(例如，发射本身、发射的分量(即，子信道等)、单独广播的第二信号、社交媒体共享、其他，和/或其组合)来导出。可以建立信号的至少一个特性与同步信息之间的对应关系。可以至少部分地基于该对应关系来确定位置信息。
在一个实现中，通过确定一些信号特性(例如，强度对时间信号中的双峰)对应于同步“啁啾”(即，最近的同步最大值到最近的同步啁啾给出在0-360度之间的某个数字)来建立对应关系。
在另一实现中，通过将对应关系(例如，从0到360的某个度数)转换成关于发射器的角位置来导出位置信息。
在一些实现中，普适计算环境1900中的一个或多个发射器可以被选择性地被上电(例如一次一个、成组地、顺序地或根据一些模式)，被脉冲，被叠象渐变或其任何组合以有利地“扫描”普适计算环境1900。扫描可以包括数字脉冲、幅度或强度的连续变化、或其任何组合。扫描可以包括排序，使得感兴趣的场中的不同区域从对应于扫描模式的排序的传输区域接收特征发射。在一个实现中，有序扫描模式中的发射的排序反映“定时”，其可以包括但不一定限于发生某些发射的时间。接近感兴趣对象的接收器捕获发射(例如，无线电天线、麦克风、光电二极管、CCD阵列和/或CMOS阵列和/或能够将接收到的发射的突出特征随时间转换成电流或电压的其它类型的设备和/或其组合)作为随时间的信号。可以使用同步方法来获得关于有序扫描模式的定时的信息。可以使用硬件或软件机制来将定时信息与随时间的信号相比较并且提取位置信息。
将姿势无响应的设备转换为姿势响应
传统上，用户已经经由间接输入设备(包括例如键盘、操纵杆、或遥控器)与电子设备(诸如计算机或电视)或计算应用(诸如计算机游戏、多媒体应用或办公应用)交互。用户操纵输入设备以执行特定操作，诸如从操作菜单中选择特定条目。然而，现代输入设备包括通常具有复杂配置的多个按钮，以支持用户命令到电子设备或计算应用的通信；这些输入设备的正确操作对于用户通常是挑战性的。另外，在输入设备上执行的动作通常不以任何直观的意义对应于例如由设备控制的屏幕显示器上的所得变化。输入设备也可能丢失，并且搜索错误地放置的设备的频繁的经验已经成为现代生活的挫折。
直接在用户控制的设备上实现的触摸屏已经避免了对单独的输入设备的需要。触摸屏检测由用户的手指或其他对象在显示屏上执行的“触摸”的存在和位置，使得用户能够通过简单地触摸屏幕的适当区域来输入期望的输入。虽然适合于诸如平板计算机和无线电话的小型显示设备，但是触摸屏对于用户从远处观看的大型娱乐设备是不切实际的。特别是对于在这样的设备上实现的游戏，电子制造商已经开发了检测用户的移动或姿势并且使得显示器以上下文相关的方式进行响应的***。可以使用光学成像***来检测用户的姿势，并且通过合适的计算资源来特征化和解释用户的姿势。例如，TV附近的用户可以执行滑动手部姿势，其由姿势识别***检测；响应于检测到的姿势，TV可以激活并且在屏幕上显示控制面板，以使得用户能够使用随后的姿势在其上进行选择；例如，用户可以沿“上”或“下”方向移动她的手，这再次被检测和解释以支持频道选择。
尽管这些姿势识别***已经生成了大量的消费者刺激，习惯于传统输入设备的用户必须放弃熟悉的交互模式，以支持具有其自己的命令和响应的“词汇”的新模式。实际上，姿势词汇可以随***而变化。特别是对于传统应用——诸如web浏览器和文字处理器，其操作严重依赖于熟悉的控制器——消费者对采用基于姿势的控制的抵制可能是相当大的。
因此，需要一种姿势识别***，其以类似于传统的控制设备的行为的方式进行响应，并且理想地响应于用户对构成相似性的内容的感知。
所公开的技术总体上涉及使用配备有运动感觉控制设备的智能电话来与缺乏姿势响应的设备进行姿势交互。本发明还涉及使用姿势来控制显示器。具体地，本发明涉及检测标准输入设备，标准输入设备响应于使用标准输入设备执行的控制操纵而在显示器上引起屏幕上动作。此外，标识类似姿势库，其包括类似于控制操纵并且还响应于控制操纵而导致屏幕上的动作的姿势。因此，当检测到来自类似姿势库的姿势时，生成模仿来自标准输入设备的标准信号并且引起至少一个屏幕上动作的信号。
所公开的技术的实现还涉及识别姿势并且导致在直观水平上模仿传统输入设备的行为的屏幕上行为的方法和***。认识到不同的个体可以将不同的姿势等同于传统的输入设备操纵，所公开的技术的实现理想地(尽管不一定)允许用户定义这些姿势和所采取的相关联的动作。根据此的实现可以在视觉上通过对象识别或通过查询操作***以确定什么设备被连接来检测传统的输入设备的存在。该确定驱动姿势控制范例——即，基于在监测空间内观察到的运动而响应地遵循的所采取的动作或(多个)规则，并且其通常将姿势与显示的屏幕内容的操纵相关联。姿势控制范例也可以基于当前活动的应用。例如，如果用户正在玩专门被开发用于姿势交互的游戏，则鼠标的存在将被忽略；但是如果用户正在浏览web，则可以遵循鼠标类似的控制范例。
因此，所公开的技术的实现实际上可以“到达”设备驱动器和显示器之间。例如，使用文字处理程序的用户将期望在屏幕上看到光标和控制箭头。感测鼠标的存在和文字处理器的使用的所公开的技术的实现可以加载保持光标和控制箭头的屏幕上存在的姿势控制范例，并且将用户姿势与鼠标操作相关联。在一些实现中，用户可以定义姿势词汇——选择例如对应于鼠标左点击、右点击等的姿势。***还可以允许用户关闭姿势识别和释放控制回到鼠标驱动器。类似地，***可以响应于有意识的姿势以通过姿势识别来覆盖输入设备驱动器。
在一些实现中，可以将用户的手(或基于用户的手)的副本或其他表示***到显示器中，作为传统控制图形的替代或增强它们。例如，用户的手的副本可以替代在ADOBE和其他应用中使用的传统手的图标，并且以类似的方式表现(在由抓取、移动等引起的屏幕上动作方面)。备选地，手的副本可以“粘贴”到在屏幕上移动的传统图标，诸如箭头或光标，以跟随用户在空间中的手的移动——实际上，用户的空间手的移动取代了传统鼠标的相应移动。
手指
在其他实现中，用户可以使用图24中所示的“操控手”2414方法2400来修改他们的手的副本或其他表示。在一个实现中，用户可以定义他们的手的副本的“皮肤”、“表面外观”和/或“骨架或结构”，以便创建额外的人类四肢，诸如猫的爪子、僵尸的手或海盗的钩子。在一个实现中，可以操纵所检测的手的获取的数据。例如，所获取的手的数据中的“方向”数组描述从手掌位置指向手指的方向单位向量。此外，“手掌位置”数组用作x、y、z格式的中心。“可指向”数组用作可指向对象的列表，诸如手指和工具(笔、游乐场的枪)。此外，“可指向”对象的“方向”数组描述手指或工具指向的方向单位向量。用户可以操纵一个或多个这样的数组以创建与其他真实或虚拟对象交互的用户的手的操控副本或表示(例如2416)。
在另一示例中，在包括像会议室中的呈现电视一样缺乏姿势响应的传统设备的普适计算环境中，配备有运动感觉控制设备的智能电话可以用于从用户接收姿势命令，以及将运动和感觉数据从智能电话转发给呈现电视，如下所述。
图20示出了与缺乏姿势响应的设备进行姿势交互的一个实现2000。参考图20，在操作中，图像分析***106操作相机102、104以捕获视场112中的至少一个图像。图像可以包含对象114，对象114可以是用户的身体部分2002和/或输入设备2004(诸如遥控器、键盘或PC鼠标)。在一些实现中，对象检测模块152分析所捕获的图像以检测其中的对象的边缘和/或关于对象的位置的其他信息；随后，对象/路径分析模块154分析由对象检测模块152提供的对象信息，以确定对象的3D形状、大小和/或位置。姿势识别模块156可以使用传统的比较算法(诸如数据库查找)将检测到的对象114与电子地存储在对象数据库2014中的参考图像或对象模板相比较。(如本文中使用的，术语“电子地存储”包括在易失性或非易失性存储装置(后者包括磁盘、闪存等)中的存储，并且扩展到任何计算上可寻址的存储介质(包括例如光学存储装置)。)对象数据库2014可以例如在***100B的存储器134、大容量存储设备中或在外部存储***2016上实现。
在一个实现中，在将检测到的对象114与数据库2014中的对象模板匹配时，姿势识别模块156将匹配报告给显示逻辑162。由显示逻辑执行的初始任务是获得与要控制的***(或者是***100B，或者在***100B本身用于向诸如游戏控制台、“智能”电视或计算机的单独设备2018提供输入的情况下，则为该设备)相关联的输入设备的清单(inventory)；下文中，将响应于用户姿势的设备统称为“受控设备”。显示逻辑通过以下方式来获得该清单：查询操作***以确定什么输入设备当前连接至受控***；确定由姿势识别模块156识别和报告的任何对象是否是输入设备；或这两者。例如，如果连接至受控***的输入设备在视场112之外，则显示逻辑可以忽略它。
姿势识别模块156可以响应于对象检测模块152，并且仅评估其移动可能被预期作为姿势的对象(例如，视场112内的主导对象、首先检测到的移动的对象、被识别为用户的手2002的对象、手指等)的移动。一旦识别出产生姿势的对象，则之后可以由姿势识别模块158通过由相机102、104捕获的一系列时间顺序图像以便识别姿势。如下面更详细地讨论的，检测到的姿势用于控制在受控***上运行的应用。姿势识别模块158可以结合基于3D模型(即，体积或骨架模型)、使用人体或姿势相关的身体部位的简化表示的简化骨架模型、或基于例如姿势相关的身体部位的可变形模板的基于图像的模型的算法来使用。对于关于视觉手部姿势识别的额外的背景信息，可以参考例如Gesture-Based Communication inHuman-Computer Interaction(Springer 1999)中的Wu等人的“Vision-Based GestureRecognition:A Review”；IEEE Trans.Pattern Analysis and Machine Intelligence(19(7):677-695，1997年7月)的Pavlovic等人的“Visual Interpretation of Hand Gesturesfor Human-Computer Interaction：A Review”。可以使用传统的方法或专用于应用的方法来执行图像分析(包括3D空间中和实时的对象检测、对象分析和对象识别)(参见例如，2013年1月16日提交的美国序列号13/742,953，其全部公开内容由此通过引用被合并)。
因此，姿势识别模块158通过将检测到的姿势与数据库2032中的姿势库相比较来标识用户的姿势，数据库2032再次可以在图像分析***106、电子设备2018中或在外部存储***2016上实现。例如，姿势可以被存储为向量，即，数学上规定的空间轨迹，并且姿势记录可以具有指定进行姿势的用户身体的相关部分的字段；因此，由用户的手和头执行的类似轨迹可以作为不同的姿势存储在数据库2032中，使得应用可以不同地解释它们。通常，将所感测的姿势的轨迹与存储的轨迹进行数学比较以找到最佳匹配，并且只有在匹配度超过阈值时，姿势才被识别为对应于所定位的数据库条目。向量可以被缩放，使得例如由用户的手所跟踪的大和小弧将被识别为相同的姿势(即，对应于相同的数据库记录)，但是姿势识别模块将返回身份和姿势的反映比例的值。该比例可以对应于在执行姿势时所经过的实际姿势距离，或者可以被标准化为某种规范距离。
虽然姿势可以用于很多控制和绘制目的，但是本讨论主要涉及它们在控制例如受控设备2018的屏幕2022上采取的动作时的使用。具体地，姿势识别模块158包含将模板姿势关联到由显示逻辑(或至少视场112内的显示设备)标识的所有活动输入设备执行的动作的记录。例如，假定所标识的对象2004是连接至受控设备2018的传统的PC鼠标。与鼠标2004相关联的驱动器支持右点击、右双击和左点击命令等。因此，姿势识别模块158确保数据库2032包含对应于这些命令的存储的记录——即，对于每个命令，包含以下各项的记录：(i)对应于命令的姿势模板和(ii)对复制鼠标2004将产生的命令信号的输出信号进行编码的比特(例如，脉冲序列)。如果找到这样的记录，则显示逻辑可以确定这些姿势是否将覆盖鼠标驱动器，如下所述。如果没有找到相应的记录，则将提示用户执行姿势并且将其与鼠标功能相关联。具体地，姿势识别模块158可以使控制面板2034绘制在屏幕2022上。控制面板2034示出列出与鼠标驱动器相关联的命令的表格。用户顺序地选择条目中的一个条目并且为其分配姿势。在一个实现中，用户通过姿势进行选择——例如，在监测空间112中垂直移动她的手，直到(垂直)列表中的期望条目被突出显示，然后进行就像按压按钮的姿势。姿势识别模块158将用户的手的高度与所显示的条目中的一个条目相关联，其在屏幕2022上被突出显示，并且进一步识别选择姿势。备选地，用户可以使用鼠标2004或键盘进行选择。
一旦选择了条目，用户就通知***130她将要执行她希望与所选择的命令相关联的姿势。该信号可以是例如语音命令(“开始”)或击键。备选地，姿势识别模块158可以使屏幕2022显示倒计时图形(“3...2...1...开始！”)。在用户的信号之后或在倒计时结束时，用户的姿势由相机102、104记录，并且与其对应的图像帧被存储帧缓冲器中(在传感器接口136中或在存储器134中)。用户可以通过语音命令(“完成”)或简单地通过暂时冻结由姿势识别模块158感测的她的动作或通过任何其他合适的动作来通知姿势的完成。在姿势执行的时间段期间捕获的帧缓冲器由姿势识别模块158分析并且被转换为姿势模板以存储在姿势数据库2032中。在一些实现中，姿势被如上所述地向量化并且作为向量存储在数据库2032中的相关联记录中(或链接到其)。
应当强调的是，尽管已经关于输入设备命令讨论了定义姿势并且将它们与命令相关联的过程，但是该方法适用于用于任何目的的任何类型的姿势。例如，如果姿势识别模块158被实现为特定应用(诸如用于电视的游戏或控制器逻辑)的一部分，则数据库姿势记录可以继承特定于该应用的属性(诸如比例值或映射参数)。否则，当应用调用姿势识别模块158时，它根据其自己的编程解释所标识的姿势，并且可以允许用户修改如上所述的默认姿势库。
在一些实现中，传统的控制图标(例如，光标2036、箭头2038和/或圆圈2024)以通常的方式保留在屏幕上。在其他实现中，图像生成模块164生成将补充或替换传统的图标的图像2040(例如，用户的手的图像)，如下所述。图像生成模块2040可以是直接或间接利用姿势对象作为图像2040的基础的传统的绘制程序。例如，图像生成模块2040可以利用由对象检测模块152检测到的手2002，并且从关联的图像帧中简单地提取对应的像素，以重新采样像素，使得手的图像被适当地定尺寸以用于显示——例如，使得绘制的图像2040的大小与传统的图标的大小相当。实际上，所绘制的手可以在大小上精确地匹配传统的屏幕上的手的图标，使得已经与手的图标相关联(并且通常受鼠标影响)的挤压和拖动命令可以由用户进行姿势。
备选地，图像生成模块可以在基于用户的姿势绘制图像时利用更复杂的映射。根据传统的图形技术(例如，仿射映射)，可以将检测到的对象或身体部分映射到实际上任何图像。换句话说，可以将用户的手绘制为动物的爪子、卡通人物或其屏幕外观响应于根据映射改变的用户的手的定向和配置而变化的其他图像。
生物计量
在一个实现中，一种认证感觉机器控制***的用户的方法包括捕获感兴趣的场内的人体部分的感觉信息。根据感觉信息确定跟踪模型和生物计量模型。
通过识别由跟踪模型随时间的变化指示的姿势来确定命令，并且将生物计量模型与已知用户的生物计量信息相比较。当生物计量模型对应于已知用户的生物计量信息时，授权的命令被传送给受控制的***。授权命令使得用户能够登录到机器和/或***，实现事务，调用特征/功能和/或交换信息。
可以通过以下方式来确定生物计量模型：分析(多个)图像以确定图像特征(例如，强度、亮度、颜色、其他特征、其组合)和确定图像特征的属性(例如，变化率、最大、最小、平均或其他统计特性、其组合等)。可以分析属性以确定指示对应于图像中的感兴趣点的生物计量特征的属性的改变。例如，可以为图像中的点计算海赛函数(Hessian)，海赛函数指示亮度(或其他特性)如何改变。可以至少部分地基于定向/旋转/平移信息来变换生物计量特征，以形成标准化的生物计量特征。可以根据一个或多个所标识的生物计量特征构建生物计量简档集合；以及根据一个或多个生物计量简档集合为个体构建生物计量模型。
如果有的话，可以通过以下方式来验证额外的命令：识别由跟踪模型的变化指示的第二姿势并且将在第二姿势期间捕获的手的生物计量信息与先前捕获的手的生物计量信息相比较以验证连续性；例如，确定用户没有改变。在第二姿势期间捕获的手的生物计量信息不对应于先前捕获的手的生物计量信息的事件中，可以丢弃与第二姿势相关联的命令信息。
命令授权可以包括根据被存储用于已知用户的简档信息来确定具有生物计量简档的认证用户是否具有被授权发出通过跟踪用户的手的(或其他身体的)活动而确定的命令的角色(例如，***管理员、开发者、管理者等)。如果至少部分地基于角色确定用户被授权发出命令，则将授权的命令传达给正被控制的***。
有利地，一些实现可以使得能够响应于姿势识别而发出授权命令，以基于授权使用在智能电话或其他设备中使用。该功能使得用户能够在执行直观姿势以命令设备的同时进行“自我验证”。实现可以在智能电话中启用姿势检测、用户标识、用户授权和其他机器控制和/或机器通信应用。
用户消歧
图21A-C示出了区分在普适三维(3D)感觉环境2100A中发出姿势命令的用户的一个实现。在一个实现中，可以在包括多个用户(2112、2122、2132、2142、2152)的普适三维(3D)感觉环境2100A中标识主导用户，使得由主导用户执行的姿势由配备有运动感觉控制设备的智能电话2106来解释，并且用于控制像会议室中的呈现电视2202一样的共享工作空间的响应。在一些实现中，可以基于在普适三维(3D)感觉环境2100A中展示的用户的空间行为来标识主导用户。在一个示例中，用户的某些姿势(指向的手指、举起的手、高音调语音)可以指示如说话者或演讲者的主导用户，而其他姿势(折叠的手臂、断续的音区(intermittent voice registry))可以指示如听众或观众成员的非主导用户。
图21B示出了根据所公开的技术的训练2100B配备有运动感觉控制设备600的智能电话，以通过从用户身体的一部分标识的生物计量特征来识别用户，并且通过将根据用户的生物计量特征构建的生物计量简档集合与用户的先前识别的生物计量特征相比较来识别用户。图21B示出了在两个不同的时间——训练时间t0(2102)和认证时间t1(2104)(其可以是相隔几个片刻或几个月)——处的设备600的感兴趣区域112内的手2114的两个视图2102、2104。此外，视图2102、2104可以在不同的设备600实例处，其可以被耦合以通过网络等共享数据。换句话说，用户可以训练第一设备600实例以在框2102中识别用户的手2114，并且随后在框2104中在第二设备700A实例处进行认证。如框2102所示，在初始训练时间t0，手2114处于感兴趣区域112中的特定位置和配置。框2102示出了在学习阶段期间特定用户的手2114的代表性姿态，其中由相机102、104可见的手2114的生物计量特征由***100标识并且被使用以基于用户的手2114的一个或多个生物计量特征来构建生物计量模型。在训练期间，用户的手可以采用各种姿态，例如手掌面向相机、手掌面向远离相机)等，但是为了清楚起见，在框2102中仅示出了一个训练姿态。可以提示用户假定各种手的姿态以及处于相对于设备600的各种位置和距离。设备600捕获存在于感兴趣区域112内的(多个)特定姿态的对象2114(手)的一个或多个图像。根据手2114的图像，基于一个或多个图像特性标识相机102、104可见的一个或多个生物计量特征(例如，血管图案2113、手掌或其它特定位置处的测量2116、掌纹或图案、肤色、由视觉提示指示的体温、其他个体特定特征及其任何组合)。用于标识手2114的一个或多个标识的生物计量特征包括生物计量简档集合。可以根据一个或多个生物计量简档集合(例如，个体的手的手掌视图的生物计量特征的第一简档集合、个体的手的反手视图的特征的第二简档集合等)来构建特定于个体的生物计量模型。另外，生物计量模型可以包括单独使用其它源108、110或者结合相机102、104为个体确定的不可见生物计量特征。
现在再次参考图21B，在框2104中，在认证时间t1在认证期间捕获用户的手2114。某些生物计量特征2113、2116(血管图案、掌纹、指纹、其他特征、其组合)可以提供用于认证的有用的生物计量特征。在认证期间，设备700A捕获正被认证的手2114的一个或多个图像。关于一个或多个属性分析图像的特性以确定生物特征。将来自认证的手2114的生物计量特征与在框2102中在训练期间为用户构建的一个或多个生物计量特征的标准化生物计量特征相比较。使用例如类似于下面参考图21C讨论的那些(多个)技术来对生物计量特征进行标准化(例如，补偿旋转、平移和深度)，因为用户的手2114在认证时间t1时不处于与在训练时间t0期间相同的姿态(并且甚至可能不被同一设备600观看)。因此，框2104中的感兴趣区域112中的生物计量特征2113、2116的视在位置将从框2102中感兴趣区域112中的生物计量特征2113、2116的视在位置发生改变。因此，通过以下方式来将由于手2114相对于设备600的位置的改变、和/或设备600的各种实现之间的构造的差异而导致的生物计量特征2113、2116的视在差异考虑在内：在认证期间标准化生物计量特征，以使得设备600能够使用类似于下面参考图21C描述的过程将以框2104的姿态的手2114标识为以框2102的姿态训练的手2114。
现在参考图21C，图21C示出了在训练和比较从正被认证的主体的手捕获的生物计量特征期间由设备600获取一个或多个标准化生物计量特征。在获取生物计量特征以建立生物计量简档集合期间，如框2102所示，在训练时间t0呈现给设备101的视场2112a包括要进行生物计量建模的手2114。在训练时间t0，例如通过处理来自观察手2114的相机102、104的图像数据，相对于模型参考系2120a来确定生物计量特征2113、2116(例如，手2114的生物计量特征2113、2116)。包括标准化到模型参考系2120a的一个或多个生物计量特征的生物计量简档集合是根据生物特征构建的。可以基于一个或多个生物计量简档集合来构造用户的生物计量模型。
当比较来自要被认证的手2114的捕获姿态的生物计量特征时，如框2104所示，在认证时间t1，在认证时间t1由设备600呈现的视场2112b包括处于新的视在位置的手2114。不仅与当被教导时相比，当被认证时手2114处于不同的位置，而且与手2114的特性最初被教导给设备600的安装之一相比，当使用设备600时，手2114在不同位置在设备600的不同安装处被认证。因此，在认证期间捕获的手的参考系2120b将从原始或开始的手的参考系2120a移动，如变换RT所描述的。值得注意的是，变换RT的应用使得手2114能够在相对于手2114的教导姿势被旋转以及被平移时被比较和/或识别。实现可以提供相对于参考系2120a来变换参考系2120b的位置和旋转，因此，在认证时间t1，相对于2120b变换被跟踪主体2113的位置和旋转。实现可以根据参考系2120b相对于参考系2120a的变换后的位置和旋转以及被跟踪主体2113相对于2120b的变换后的位置和旋转来确定被跟踪主体2113相对于2120a的位置和旋转。
在实现中，确定将捕获的(红色)参考系2120b移动到模型(黑色)参考系2120a的变换RT。将变换RT应用于相对于捕获的(红色)参考系2120b捕获的任何(多个)点使得该(多个)点相对于模型(黑色)参考系2120a位于对应(多个)点的顶部。然后，被跟踪对象2114将从模型(黑色)参考系2120a的观点来看在正确的位置，以支持识别、比较等。在确定对象2114的运动时，图像处理***106可以通过计算分析由相机102、104捕获的图像和由源108、110捕获的运动信息来确定其位置和方向。例如，可以使用仿射变换将对象上的任何点在捕获时间t＝t1时的视在位置(在3D空间中)转换为原始模型对象上的点在训练时间t＝t0时的位置在被跟踪对象上的点在捕获时间t＝t1时相对于模型参考系120a的正确位置由等式(3)给出：
再次参考图21C，框2104示出了可以由3×3矩阵R′＝[u1′，u2′，u3′]表示的手的参考系2120b和可以由3×3矩阵R＝[u1，u2，u3]表示模型帧2120a。目标是将R′(参考系2120b)变换为R(参考系2120a)，使得关于参考系2120b已知的正被认证的手2114上的任何点可以与参考参考系2120a所教导(即，已知)的手2114的一个或多个点相比较。因此，仿射变换RT ref＝R(R′)T将实现该目标。仿射变换RT ref可以用R和R′表示，如等式(4)所示：
增强现实
图22是在虚拟交互模态中选择在普适增强环境2200中要与其交互的虚拟交互模态的一个实现方式。普适增强环境2200利用看起来与现实世界共存于相同空间中的虚拟的、计算机生成的对象来补充现实世界。根据一个实现，通过在真实世界空间2290中显示投影图像或图形(2212、2214、2216)，智能电话2202或平视显示器2204可以用于实现增强现实功能，投影图像或图形重叠在由用户通过智能电话2202的镜头元件或平视显示器2204所感知的真实世界视图2290上。
在一些实现中，普适增强环境2200的计算机生成的图形(2212、2214、2216)可以使用姿势(2206、2208)或其他身体移动与用户对真实世界环境2290的感知交互。在其他实现中，集成到真实环境的增强绘制中的虚拟对象可以被投影到智能电话2202的用户或者平视显示器2204。可以至少部分地基于从成像102、104或声学或其它感觉装置接收的感觉信息来确定用户身体部分的运动信息。至少部分地基于智能电话2202或平视显示器2204的运动和根据从成像102、104或声学或其他感觉装置接收的感觉信息确定的用户的检测到的运动的组合，将控制信息传送给***。在一些实现中，可以通过添加触觉、听觉和/或其它感觉信息投影仪来增强虚拟设备体验。例如，参考图22，可选的视频投影仪可以投影重叠在用户的起居室2290中的报纸(例如，虚拟对象2212)的图像；从而创建读取实际报纸的虚拟体验，即使没有报纸存在。在一些实现中，可选的触觉投影仪可以将“虚拟报纸”的纹理的感觉投影到读者的手指。在其它实现中，可选的音频投影仪可以响应于检测到读者做出滑动以翻动报纸页面而投影报纸页面翻动的声音。
在其他实现中，多个虚拟对象或虚拟交互空间可以在现实世界空间中重叠以创建用户的增强体验。在这样的实现中，可以检测在普适增强环境2200中选择一个或多个虚拟对象或虚拟交互空间的姿势。此外，随后的姿势可以被解释为与一个或多个所选择的虚拟对象或虚拟交互空间虚拟地交互，如上所述。
图23A-E示出了当在智能电话2396的相机的视场2315中时，在普适虚拟环境2300A-E中触发增强幻觉2312和2316的在图像板2304上与标记图像2302和2314交互的一个实现。在一个实现中，智能电话2396可以检测真实世界空间中的一个或多个标记图像或初始化信号源，并且响应于检测触发增强幻觉2312和2316。在一些实现中，通过由用户执行并且由智能电话2396解释的姿势来选择一个或多个标记图像或初始化信号源。此外，可以检测随后的姿势以与相应的增强幻觉2312和2316交互。在其他实现中，检测到特定于所生成的增强幻觉2312和2316中的每个增强幻觉并且唯一地控制它们的响应的范例设置姿势。
例如，如图23C-E所示，通过智能电话2396检测剪刀2302的图像标记和鼓垫(drumpad)2314。此外，用户执行姿势2338，诸如向前指向手指，以选择标记图像之一。一旦选择，就为所选择的标记图像生成相应的增强幻觉。随后，检测随后的范例设置姿势2338以设置用于与所生成的增强幻觉交互的上下文。在一个实例中，双指移动可以意味着用虚拟剪刀2326B切割虚拟纸张2326A或用虚拟棒2327B击打虚拟鼓垫2327A。
嵌入架构
图25A-I示出了将运动感觉控制设备嵌入各种设备中的不同实现2500A、2500B、2500C、2500D、2500E、2500F、2500G、2500H和2500I。在一个实现中，运动感觉控制设备可以根据图25A-I所示的架构嵌入各种计算设备中，诸如移动或平板计算机配件、笔记本计算机、键盘、AIO、显示器、TV、STB或游戏控制台。
具体实现
在本部分和所公开的技术的其他部分中描述的方法可以包括以下特征和/或结合所公开的额外的方法描述的特征中的一个或多个特征。为了简明起见，本申请中公开的特征的组合不是单独列举的，并且不对每个基本特征集合重复。读者将理解本部分中标识的特征如何可以容易地与被标识为诸如普适计算环境、手持模式、广域模式、增强现实、嵌入架构、操控手、生物计量等实现的基本特征的集合组合。
这些方法可以至少部分地利用数据库***来实现，例如通过一个或多个处理器，处理器被配置为接收或检索信息，处理信息，存储结果以及传输结果。其他实现可以以不同于所讨论的顺序和/或以不同的、更少的或额外的动作来执行动作。在一些实现中可以组合多个动作。为了方便起见，参考执行方法的***来描述这些方法。该***不一定是该方法的一部分。
本部分中描述的方法的其它实现可以包括存储可由处理器执行以执行上述任何方法的指令的非暂态计算机可读存储介质。本部分中描述的方法的另一实现可以包括包含存储器和一个或多个处理器的***，处理器可操作以执行存储在存储器中的指令，以执行上述任何方法。
下面列出了一些示例实现，其中某些实现取决于它们所涉及的实现：
1.一种在设备中选择要与其交互的设备的方法，所述方法包括：
使用配备有检测三维(3D)感觉空间中的姿势的运动感觉控制设备的智能电话，检测接受运动控制命令的一个或多个异构设备；
检测所述3D感觉空间中的姿势并且将所述姿势解释为选择所述异构设备中的一个异构设备；以及
在所述智能电话与所选择的设备之间建立通信信道。
2.根据实现1所述的方法，还包括创建用于由所述智能电话显示的标识所述异构设备的数据，并且将所述姿势解释为选择所标识的异构设备中的一个异构设备。
3.根据实现1所述的方法，还包括检测一个或多个随后的姿势，对所述一个或多个随后的姿势进行预处理以减小所需要的带宽，并且经由所述通信信道向所选择的设备发送经预处理的姿势。
4.根据实现1所述的方法，还包括检测范例设置姿势，所述范例设置姿势设置控制范例，所述控制范例用于预处理一个或多个随后的姿势以经由所述通信信道向所选择的设备发送。
5.根据实现4所述的方法，还包括至少基于所设置的控制范例来控制所选择的设备对所述随后的姿势的屏幕上响应。
6.根据实现1所述的方法，还包括检测所述3D感觉空间中的姿势，并且至少基于执行所述姿势的用户的生物计量信息来从所述异构设备中自动选择特定设备。
7.根据实现6所述的方法，其中所述生物计量信息包括所述用户的血管图案、掌纹和指纹中的至少一项。
8.一种在起居室中的设备中选择要与其交互的设备的方法，所述方法包括：
使用配备有检测三维(3D)感觉空间中的姿势的运动感觉控制设备的智能电话，检测起居室中接受运动控制命令的异构设备；
检测语音命令并且将所述语音命令解释为选择所述异构设备中的一个异构设备；以及
在所述智能电话与所选择的设备之间建立通信信道。
9.根据实现8所述的方法，还包括检测所述3D感觉空间中的一个或多个姿势，对所述一个或多个姿势进行预处理以减小所需要的带宽，并且经由所述通信信道向所选择的设备发送经预处理的姿势。
10.根据实现8所述的方法，还包括创建用于由所述智能电话显示的标识所述异构设备的数据，并且将所述语音命令解释为选择所标识的异构设备中的一个异构设备。
11.根据实现8所述的方法，还包括检测范例设置姿势，所述范例设置姿势设置控制范例，所述控制范例用于预处理所述3D感觉空间中的一个或多个姿势以经由所述通信信道向所选择的设备发送。
12.根据实现11所述的方法，还包括至少基于所设置的控制范例来控制所选择的设备对所述姿势的屏幕上响应。
13.一种在起居室中的设备中选择要与其交互的设备的方法，所述方法包括：
使用配备有检测三维(3D)感觉空间中的姿势的运动感觉控制设备的智能电话，检测起居室中接受运动控制命令的异构设备；
创建用于由所述智能电话显示的标识所述异构设备的数据，并且将所述显示器上的触摸命令解释为选择所标识的异构设备中的一个异构设备；以及
在所述智能电话于所选择的设备之间建立通信信道。
14.根据实现13所述的方法，还包括检测所述3D感觉空间中的一个或多个姿势，对所述一个或多个姿势进行预处理以减小所需要的带宽，并且经由所述通信信道向所选择的设备发送经预处理的姿势。
15.根据实现13所述的方法，还包括检测范例设置姿势，所述范例设置姿势设置控制范例，所述控制范例用于预处理所述3D感觉空间中的一个或多个姿势以经由所述通信信道向所选择的设备发送。
16.根据实现15所述的方法，还包括至少基于所设置的控制范例来控制所选择的设备对所述姿势的屏幕上响应。
17.一种与触发增强幻觉的标记图像交互的方法，所述方法包括：
使用配备有检测三维(3D)感觉空间中的姿势的运动感觉控制设备的智能电话，响应于所述智能电话的标识来检测触发增强幻觉的异构标记图像；
检测所述3D感觉空间中的姿势并且将所述姿势解释为选择所述异构标记图像中的一个异构标记图像；以及
在智能电话的显示器上覆盖由所选择的标记图像绘制的增强幻觉。
18.根据实现17所述的方法，还包括检测所述3D感觉空间中改变在所述覆盖的增强幻觉上显示的内容的响应的一个或多个姿势。
19.根据实现17所述的方法，还包括检测范例设置姿势，所述范例设置姿势设置用于解释所述3D感觉空间中操纵所述覆盖的增强幻觉的一个或多个姿势的控制范例。
20.一种使用降低的功耗来操作智能电话的方法，所述方法包括：
监测智能电话的至少一个物理参数，所述智能电话配备有检测三维(3D)感觉空间中的姿势的运动感觉控制设备；以及
响应于检测到所述物理参数的变化超过规定的阈值，将所述智能电话从一个操作模式自动切换至另一操作模式。
21.根据实现20所述的方法，其中所述物理参数是所述智能电话的定向、加速度、速度、角加速度和角速度中的至少一项。
22.根据实现20所述的方法，其中使用加速度计、陀螺仪、磁力计和倾斜传感器中的至少一项来监测所述物理参数。
23.根据实现20所述的方法，还包括响应于人类规定将智能电话从一个操作模式切换至另一操作模式。
24.根据实现21所述的方法，还包括：
当所述运动感觉控制设备直立并移动时，确定手持操作模式；以及
将智能电话切换至所述手持操作模式。
25.根据实现24所述的方法，还包括：
响应于将所述智能电话切换至所述手持操作模式，调整嵌入在所述智能电话中的所述运动感觉控制设备的一个或多个图像获取参数；以及
获取捕获感兴趣对象的数字图像帧序列中的图像数据，所述图像帧符合经调整的图像获取参数。
26.根据实现25所述的方法，其中所述可调整的图像获取参数包括帧大小和帧捕获速率。
27.根据实现25所述的方法，其中调整所述图像获取参数至少包括通过减少每单位时间向存储所述数字图像帧的成帧器缓冲器传递的数字图像帧的数量来减小帧大小。
28.根据实现25所述的方法，其中调整所述图像获取参数至少包括通过将图像数据获取限制到非边缘像素来减小帧大小。
29.根据实现25所述的方法，其中调整所述图像获取参数至少包括使用存储数字图像帧的成帧缓冲器的一部分。
30.根据实现25所述的方法，其中调整所述图像获取参数至少包括通过减少每秒获取的帧的数量来降低帧捕获速率。
31.根据实现24所述的方法，还包括：
响应于将所述智能电话切换至所述手持操作模式，调整嵌入在所述智能电话中的所述运动感觉控制设备的一个或多个图像分析参数；
获取捕获感兴趣对象的数字图像帧序列中的图像数据；以及
分析符合经调整的图像分析参数的所述图像帧，以检测所述对象并且逼近对象轮廓。
32.根据实现31所述的方法，其中所述可调整的图像分析参数包括分析算法和分析密度。
33.根据实现31所述的方法，其中调整所述图像分析参数还包括通过重新采样到较低分辨率来减小帧大小。
34.根据实现31所述的方法，其中所述分析还包括逼近述被检测对象上的多个闭合曲线，所述多个闭合曲线共同地定义逼近的对象轮廓。
35.根据实现34所述的方法，其中所述图像分析参数是所述闭合曲线的密度。
36.根据实现31所述的方法，其中所述数字图像帧中的每个数字图像帧包括数据线序列，至少一个图像分析参数规定在逼近对象轮廓时每个数字图像帧分析的数据线的数量。
37.根据实现36所述的方法，其中调整所述图像分析参数至少包括分析每数字图像帧的减少的图像数据量。
38.根据实现24所述的方法，还包括响应于将所述智能电话切换至所述手持操作模式，终止图像数据的获取。
39.根据实现24所述的方法，还包括响应于将所述智能电话切换至所述手持操作模式，终止图像数据的分析。
40.根据实现21所述的方法，还包括：
当所述运动感觉控制设备在所述3D感觉空间中平放并静止时，确定广域操作模式；以及
将所述智能电话切换至所述广域操作模式。
41.根据实现40所述的方法，还包括：
响应于将所述智能电话切换至所述广域操作模式，调整嵌入在所述智能电话中的所述运动感觉控制设备的一个或多个图像获取参数；以及
获取捕获感兴趣对象的数字图像帧序列中的图像数据，所述图像帧符合经调整的图像获取参数。
42.根据实现41所述的方法，其中所述可调整的图像获取参数包括帧大小和帧捕获速率。
43.根据实现41所述的方法，其中调整所述图像获取参数至少包括通过增加每单位时间向存储所述数字图像帧的成帧器缓冲器传递的数字图像帧的数量来使帧大小上升(spike)。
44.根据实现41所述的方法，其中调整所述图像获取参数至少包括通过将图像数据获取扩展到边缘像素来使帧大小上升。
45.根据实现41所述的方法，其中调整所述图像获取参数至少包括使用存储数字图像帧的成帧器缓冲器的放大部分。
46.根据实现41所述的方法，其中调整所述图像获取参数至少包括通过增加每秒获取的帧的数量来使帧捕获速率上升。
47.根据实现40所述的方法，还包括：
响应于将所述智能电话切换至所述广域操作模式，调整嵌入在所述智能电话中的所述运动感觉控制设备的一个或多个图像分析参数；
获取捕获感兴趣对象的数字图像帧序列中的图像数据；以及
分析符合经调整的图像分析参数的所述图像帧，以检测所述对象并且逼近对象轮廓。
48.根据实现47所述的方法，其中所述可调整的图像分析参数包括分析算法和分析密度。
49.根据实现47所述的方法，其中调整所述图像分析参数还包括通过重新采样到较高分辨率来增加帧大小。
50.根据实现47所述的方法，其中所述分析还包括逼近所述被检测对象上的多个闭合曲线，所述多个闭合曲线共同地定义逼近的对象轮廓。
51.根据实现50所述的方法，其中所述图像分析参数是所述闭合曲线的密度。
52.根据实现47所述的方法，其中所述数字图像帧中的每个数字图像帧包括数据线序列，至少一个图像分析参数规定在逼近对象轮廓时每个数字图像帧分析的数据线的数量。
53.根据实现52所述的方法，其中调整所述图像分析参数至少包括分析每数字图像帧的增加的图像数据量。
54.根据实现40所述的方法，还包括响应于将所述智能电话切换至所述广域操作模式，启动图像数据的获取。
55.根据实现40所述的方法，还包括响应于将所述智能电话切换至所述广域操作模式，启动图像数据的分析。
56.根据实现40所述的方法，还包括响应于将所述智能电话切换至所述广域操作模式并且检测所述3D感觉空间中的姿势，启动图像数据的获取。
57.根据实现40所述的方法，还包括响应于将所述智能电话切换至所述广域操作模式并且检测所述3D感觉空间中的姿势，启动图像数据的分析。
58.根据实现40所述的方法，还包括响应于将所述智能电话切换至所述广域操作模式而发起一个或多个设备的发现，以在所述智能电话与所发现的设备中的所选择的设备之间建立通信信道。
59.根据实现58所述的方法，还包括创建用于由所述智能电话显示的标识所发现的一个或多个设备的数据。
60.根据实现59所述的方法，还包括检测所述3D感觉空间中的姿势，并且将所述姿势解释为选择所发现的设备中的一个设备。
61.根据实现60所述的方法，还包括检测一个或多个随后的姿势，对所述一个或多个随后的姿势进行预处理以减小所需要的带宽，并且经由通信信道向所选择的设备发送经预处理的姿势。
62.根据实现60所述的方法，还包括检测范例设置姿势，所述范例设置姿势设置控制范例，所述控制范例用于预处理一个或多个随后的姿势以经由所述通信信道向所选择的设备发送。
63.根据实现62所述的方法，还包括至少基于所设置的控制范例来控制所选择的设备对所述随后的姿势的屏幕上响应。
64.根据实现21所述的方法，还包括：
当所述运动感觉控制设备正移动时，确定漂移补偿操作模式；以及
将所述智能电话切换至所述漂移补偿操作模式。
65.根据实现64所述的方法，还包括：
响应于将所述智能电话切换至所述漂移补偿操作模式，区分所述运动感觉控制设备的运动信息与使用所述运动感觉控制设备跟踪的一个或多个感兴趣对象的运动信息；以及
在捕获感兴趣对象的数字图像帧序列中的图像数据的分析中自动地考虑所述运动感觉控制设备的运动信息。
66.根据实现65所述的方法，还包括：
检测由所述运动感觉控制设备的重新定位引起的所述被跟踪的感兴趣对象的视在位置和定向；以及
通过彼此数字地覆盖初始数字图像帧和最终数字图像帧来计算所述被跟踪的感兴趣对象的实际位置和定向。
67.根据实现66所述的方法，其中所述初始数字图像帧在所述运动感觉控制设备的重新定位之前立即捕获所述感兴趣对象。
68.根据实现66所述的方法，其中所述最终数字图像帧在所述运动感觉控制设备的重新定位之后立即捕获所述感兴趣对象。
69.一种在设备中选择要与其交互的设备的方法，所述方法包括：
使用配备有检测三维(3D)感觉空间中的姿势的运动感觉控制设备的智能电话，检测起居室中接受运动控制命令的异构设备；
针对所述异构设备中的每个异构设备计算所述智能电话与所述异构设备之间的接近水平，其中所述接近水平至少基于相应异构设备的接收信号强度指示器(RSSI)；
自动选择具有最高接近水平的特定设备；以及
在所述智能电话与所选择的设备之间建立通信信道。
70.根据实现69所述的方法，还包括检测一个或多个随后的姿势，对所述一个或多个随后的姿势进行预处理以减小所需要的带宽，并且经由所述通信信道向所选择的设备发送经预处理的姿势。
71.根据实现69所述的方法，还包括创建用于由所述智能电话显示的标识异构设备的数据，并且将所述姿势解释为选择所标识的异构设备中的一个异构设备。
72.根据实现69所述的方法，还包括检测范例设置姿势，所述范例设置姿势设置控制范例，所述控制范例用于预处理一个或多个随后的姿势以经由通信信道向所选择的设备发送。
73.根据实现72所述的方法，还包括至少基于所设置的控制范例来控制所选择的设备对所述随后的姿势的屏幕上响应。
74.一种在设备中选择要与其交互的设备的方法，所述方法包括：
使用配备有检测三维(3D)感觉空间中的姿势的运动感觉控制设备的智能电话，检测接受运动控制命令的异构设备；
针对所述异构设备中的每个异构设备计算所述智能电话与所述异构设备之间的接近水平，其中所述接近水平至少基于所述异构设备的位置信息；
自动选择具有最高接近水平的特定设备；以及
在所述智能电话与所选择的设备之间建立通信信道。
75.根据实现74所述的方法，还包括通过以下步骤确定所述3D感觉空间内的异构设备的位置信息：
以有序扫描模式广播来自所述设备中的每个设备的一个或多个发射；
检测所述发射并且识别使用所述运动控制感觉装置发射的所述扫描模式；
计算被结合在所述有序扫描模式中的关于参考点的同步信息；以及
至少基于关于相应发射中的一个或多个兴趣点的信息和所述同步信息来确定关于所述设备中的每个设备的位置信息。
76.根据实现75所述的方法，其中所述同步信息包括空间中的参考点与所述有序扫描模式下的事件的定时信息之间的对应关系，所述定时信息标识所述事件何时发生在空间中的所述参考点处。
77.根据实现76所述的方法，其中所述事件是所述有序扫描模式下的脉冲。
78.根据实现76所述的方法，其中所述事件是所述有序扫描模式下的暂停。
79.根据实现76所述的方法，其中所述事件是所述有序扫描模式下的循环重启。
80.根据实现76所述的方法，还包括：通过将由所述智能电话接收的信号的至少一个特性与空间中的所述参考点的有序扫描模式下的事件的定时信息相比较，至少基于所述有序扫描模式来确定所述设备中的每个设备的位置信息。
81.根据实现80所述的方法，其中所述信号的特性是所述发射的强度、幅度、频率、极化和相位中的至少一项。
82.根据实现75所述的方法，其中关于所述兴趣点的信息包括峰值幅度。
83.根据实现75所述的方法，其中关于所述兴趣点的信息包括频率变化。
84.根据实现75所述的方法，其中关于所述兴趣点的信息包括相位变化。
85.根据实现74所述的方法，还包括检测范例设置姿势，所述范例设置姿势设置控制范例，所述控制范例用于预处理一个或多个随后的姿势以经由所述通信信道向所选择的设备发送。
86.根据实现74所述的方法，还包括通过至少基于所设置的控制范例来控制所选择的设备对随后的姿势的屏幕上响应。
87.一种在设备中选择要与其交互的设备的方法，所述方法包括：
使用配备有检测三维(3D)感觉空间中的姿势的运动感觉控制设备的智能电话，检测接受运动控制命令的异构设备；
从所述异构设备中自动选择最频繁交互的设备；以及
在所述智能电话与所选择的设备之间建立通信信道。
88.根据实现87所述的方法，还包括检测一个或多个随后的姿势，对所述一个或多个随后的姿势进行预处理以减小所需要的带宽，并且经由所述通信信道向所选择的设备发送经预处理的姿势。
89.根据实现87所述的方法，还包括创建用于由所述智能电话显示的标识所述异构设备的数据，并且将所述姿势解释为选择所标识的异构设备中的一个异构设备。
90.根据实现87所述的方法，还包括检测范例设置姿势，所述范例设置姿势设置控制范例，所述控制范例用于预处理一个或多个随后的姿势以经由所述通信信道向所选择的设备发送。
91.根据实现90所述的方法，还包括通过至少基于所设置的控制范例来控制所选择的设备对随后的姿势的屏幕上响应。
92.一种在设备中选择要与其交互的设备的方法，所述方法包括：
使用配备有检测三维(3D)感觉空间中的姿势的运动感觉控制设备的智能电话，检测接受运动控制命令的异构设备；
从所述异构设备中自动选择最近交互的设备；以及
在所述智能电话与所选择的设备之间建立通信信道。
93.根据实现92所述的方法，还包括检测一个或多个随后的姿势，对所述一个或多个随后的姿势进行预处理以减小所需要的带宽，并且经由所述通信信道向所选择的设备发送经预处理的姿势。
94.根据实现92所述的方法，还包括创建用于由所述智能电话显示的标识所述异构设备的数据，并且将所述姿势解释为选择所标识的异构设备中的一个异构设备。
95.根据实现92所述的方法，还包括检测范例设置姿势，所述范例设置姿势设置控制范例，所述控制范例用于预处理一个或多个随后的姿势以经由所述通信信道向所选择的设备发送。
96.根据实现95所述的方法，还包括通过至少基于所设置的控制范例来控制所选择的设备对随后的姿势的屏幕上响应。
97.一种在设备中选择要与其交互的设备的方法，所述方法包括：
使用配备有检测三维(3D)感觉空间中的姿势的运动感觉控制设备的智能电话，检测接受运动控制命令的异构设备；
至少基于预定的用户规定，从所述异构设备中自动选择特定设备；以及
在所述智能电话与所选择的设备之间建立通信信道。
98.根据实现97所述的方法，其中所述预定用户规定标识特定设备和时间特定的信息，以在用户规定的时间自动选择所述设备。
99.根据实现97所述的方法，还包括检测一个或多个随后的姿势，对所述一个或多个随后的姿势进行预处理以减小所需要的带宽，并且经由所述通信信道向所选择的设备发送经预处理的姿势。
100.根据实现97所述的方法，还包括创建用于由所述智能电话显示的标识所述异构设备的数据，并且将所述姿势解释为选择所标识的异构设备中的一个异构设备。
101.根据实现97所述的方法，还包括检测范例设置姿势，所述范例设置姿势设置控制范例，所述控制范例用于预处理一个或多个随后的姿势以经由所述通信信道向所选择的设备发送。
102.根据实现101所述的方法，还包括通过至少基于所设置的控制范例来控制所选择的设备对随后的姿势的屏幕上响应。
103.根据实现97所述的方法，还包括：
标识所选择的设备的至少一个地理位置；以及
以至少基于所标识的地理位置确定的本地化格式经由所述通信信道向所选择的设备发送由所述智能电话检测到的姿势。
104.根据实现103所述的方法，还包括：
将检测到的姿势转换成使用所选择的设备的所标识的地理位置的本地语言发声的语音；以及
向所选择的设备发送所述语音。
105.根据实现103所述的方法，还包括：
将检测到的姿势转换成使用所选择的设备的所标识的地理位置的本地语言编写的文本；以及
向所选择的设备发送所述文本。
106.根据实现103所述的方法，还包括：
将检测到的姿势转换成使用用户规定的语言发声的语音；以及
向所选择的设备发送所述语音。
107.根据实现103所述的方法，还包括：
将检测到的姿势转换成使用用户规定的语言编写的文本；以及
向所选择的设备发送所述文本。
108.一种在设备中选择要与其交互的设备的方法，所述方法包括：
使用配备有检测三维(3D)感觉空间中的姿势的运动感觉控制设备的智能电话，检测接受运动控制命令的异构设备；
至少基于一天中的时间从所述异构设备中自动选择特定设备；以及
在所述智能电话与所选择的设备之间建立通信信道。
109.根据实现108所述的方法，还包括当所述一天中的时间是上午时，从所述异构设备自动选择电器。
110.根据实现108所述的方法，还包括当所述一天中的时间是中午时，从所述异构设备自动选择计算设备。
111.根据实现108所述的方法，还包括当所述一天中的时间是晚上时，从所述异构设备自动选择娱乐设备。
112.根据实现108所述的方法，还包括检测一个或多个随后的姿势，对所述一个或多个随后的姿势进行预处理以减小所需要的带宽，并且经由所述通信信道向所选择的设备发送经预处理的姿势。
113.根据实现108所述的方法，还包括创建用于由所述智能电话显示的标识所述异构设备的数据，并且将所述姿势解释为选择所标识的异构设备中的一个异构设备。
114.根据实现108所述的方法，还包括检测范例设置姿势，所述范例设置姿势设置控制范例，所述控制范例用于预处理一个或多个随后的姿势以经由所述通信信道向所选择的设备发送。
115.根据实现114所述的方法，还包括通过至少基于所设置的控制范例来控制所选择的设备对随后的姿势的响应。
116.一种与缺乏姿势响应的设备进行姿势交互的方法，所述方法包括：
使用配备有检测三维(3D)感觉空间中的姿势的运动感觉控制设备的智能电话，检测对运动控制命令无响应的一个或多个异构设备；
检测所述3D感觉空间中的姿势并且将所述姿势解释为选择所述设备中的一个设备；以及
在所述智能电话与所选择的设备之间建立通信信道。
117.根据实现116所述的方法，还包括：
标识类似于使用由所述设备接受的标准输入命令执行的控制操纵的类似姿势库；
检测3D感觉空间中的姿势并且从所述类似姿势库中标识所述姿势；以及
至少基于所检测和标识的姿势，向所选择的设备提供模仿标准输入命令的信号。
118.根据实现117所述的方法，还包括通过以下操作来填充所述类似姿势库：
从用户接收对使用由所选择的设备接受的标准输入命令执行的控制操纵的选择；
提示所述用户执行姿势；以及
将所述姿势分配为类似于所选择的控制操纵并且更新所述类似姿势库以包括所分配的姿势。
119.根据实现116所述的方法，其中执行来自所述类似姿势库的所标识的姿势导致由使用所选择的设备可接受的标准输入命令执行的相应控制操纵所产生的屏幕上响应。
120.根据实现116所述的方法，还包括创建用于由实时智能电话显示的标识所述设备的数据，并且将所述姿势解释为选择所标识的设备中的一个设备。
121.根据实现116所述的方法，还包括检测一个或多个随后的姿势，对所述一个或多个随后的姿势进行预处理以减小所需要的带宽，并且经由所述通信信道向所选择的设备发送经预处理的姿势。
122.根据实现116所述的方法，还包括检测范例设置姿势，所述范例设置姿势设置控制范例，所述控制范例用于预处理一个或多个随后的姿势以经由所述通信信道向所选择的设备发送。
123.根据实现122所述的方法，还包括至少基于所设置的控制范例来控制所选择的设备对随后的姿势的屏幕上响应。
124.一种与缺乏姿势界面的设备进行姿势交互的方法，所述方法包括：
使用配备有检测三维(3D)感觉空间中的姿势的运动感觉控制设备的智能电话，检测对运动控制命令无响应且缺乏姿势界面的一个或多个异构电器；
检测所述3D感觉空间中的姿势并且将所述姿势解释为选择所述电器中的一个电器；以及
在所述智能电话与所选择的电器之间建立通信信道。
125.根据实现124所述的方法，还包括：
创建用于由所述智能电话显示的标识类似姿势库的数据，所述类似姿势库类似于使用由所述电器接受的标准输入命令执行的控制操纵；
检测3D感觉空间中的姿势并且从所述类似姿势库中标识所述姿势；以及
至少基于所检测和标识的姿势来向所选择的电器提供模仿标准输入命令的信号。
126.根据实现125所述的方法，其中由所述智能电话创建的用于显示的所述数据专用于特定电器，使得所述类似姿势类似于使用由所述特定电器接受的标准输入命令执行的控制操纵。
127.根据实现125所述的方法，还包括通过以下操作来填充所述类似姿势库：
从用户接收对使用由所选择的设备接受的标准输入命令执行的控制操纵的选择；
提示所述用户执行姿势；以及
将所述姿势分配为类似于所选择的控制操纵并且更新所述类似姿势库以包括所分配的姿势。
128.根据实现124所述的方法，其中执行来自所述类似姿势库的所标识的姿势导致由使用由所选择的电器可接受的标准输入命令执行的相应控制操纵所产生的响应。
129.根据实现124所述的方法，还包括创建用于由所述智能电话显示的标识所述电器的数据，并且将所述姿势解释为选择所标识的电器中的一个电器。
130.根据实现124所述的方法，还包括检测一个或多个随后的姿势，对所述一个或多个随后的姿势进行预处理以减小所需要的带宽，并且经由所述通信信道向所选择的电器发送经预处理的姿势。
131.根据实现124所述的方法，还包括检测范例设置姿势，所述范例设置姿势设置控制范例，所述控制范例用于预处理一个或多个随后的姿势以经由所述通信信道向所选择的电器发送。
132.根据实现131所述的方法，还包括至少基于所设置的控制范例来控制所选择的电器对随后的姿势的响应。
133.根据实现124所述的方法，还包括：
将所述智能电话指向特定电器，使得所述特定电器在所述智能电话的视场中；以及
将所述特定电器自动标识为用于姿势交互的所述异构电器中的所选择的一个异构电器。
134.根据实现124所述的方法，还包括：
通过超短距离通信信道从所述异构电器广播设备身份令牌，其中所述设备身份令牌被所述智能电话接受；以及
至少基于被包括在由特定电器广播的设备身份令牌中的设备信息，将所述特定电器自动标识为用于姿势交互的所述异构电器中的所选择的一个异构电器。
135.根据实现134所述的方法，还包括：通过针对所述电器敲击所述智能电话通过所述超短距离通信信道在所述异构电器与所述智能电话之间交换所述设备身份令牌。
136.根据实现134所述的方法，其中被包括在所述设备身份令牌中的所述设备信息规定自动选择所述设备的预定时间。
137.根据实现134所述的方法，其中被包括在所述设备身份令牌中的所述设备信息规定控制所述特定电器对在所述3D感觉空间中检测到的姿势的响应的控制范例。
138.一种在异构设备中选择要与其交互的异构设备的方法，所述方法包括：
使用配备有检测三维(3D)感觉空间中的姿势的运动感觉控制设备的智能电话，检测对运动控制命令无响应的一个或多个异构设备；
接收对特定设备执行一个或多个控制操纵的标准输入命令；
响应于所述控制操纵将所述特定设备标识为所述设备中的所选择的一个设备；以及
在所述智能电话与所选择的设备之间建立通信信道。
139.根据实现138所述的方法，还包括：当标准输入命令的计数超过规定的阈值时，响应于所述控制操纵，将所述特定设备标识为所述设备中的所选择的一个设备。
140.根据实现138所述的方法，还包括：当所述控制操纵的计数超过规定的阈值时，响应于所述控制操纵，将所述特定设备标识为所述设备中的所选择的一个设备。
141.根据实现138所述的方法，其中所述标准输入命令是光学命令。
142.根据实现138所述的方法，其中所述标准输入命令是触觉命令。
143.根据实现138所述的方法，其中所述标准输入命令是音频命令。
144.根据实现138所述的方法，其中所述标准输入命令是由标准输入设备生成的信号。
145.根据实现138所述的方法，还包括检测一个或多个随后的姿势，对所述一个或多个随后的姿势进行预处理以减小所需要的带宽，并且经由所述通信信道向所选择的设备发送经预处理的姿势。
146.根据实现138所述的方法，还包括检测范例设置姿势，所述范例设置姿势设置控制范例，所述控制范例用于预处理一个或多个随后的姿势以经由所述通信信道向所选择的设备发送。
147.根据实现146所述的方法，还包括至少基于所设置的控制范例来控制所选择的设备对随后的姿势的响应。
148.一种在设备中选择要与其交互的设备的方法，所述方法包括：
使用配备有检测三维(3D)感觉空间中的姿势的运动感觉控制设备的智能电话，检测接受运动控制命令的一个或多个异构设备；
检测所述3D感觉空间中的姿势并且至少基于执行所述姿势的用户的生物计量信息来从所述异构设备中自动选择特定设备；以及
在所述智能电话与所选择的设备之间建立通信信道。
149.根据实现148所述的方法，其中所述生物计量信息包括用户的血管图案、掌纹和指纹中的至少一项。
150.根据实现148所述的方法，还包括响应于基于所述生物计量信息标识所述用户，设置用户特定的控制范例以解释来自所述用户的一个或多个随后的姿势，其中所述用户特定的控制范例控制所选择的设备的响应。
151.根据实现148所述的方法，还包括基于由所述生物计量信息确定的所述用户的身份，控制与异构设备交互的授权。
152.根据实现148所述的方法，还包括响应于基于所述生物计量信息标识用户，设置角色特定的控制范例以解释来自所述用户的一个或多个随后的姿势，其中所述用户特定的控制范例控制所选择的设备的响应。
153.根据实现152所述的方法，其中所述角色特定的控制范例基于所述用户的工作职能、职称、部门、行业类型和预定指定中的至少一项。
154.根据实现148所述的方法，还包括创建用于由所述智能电话显示的标识所述异构设备的数据，并且将所述姿势解释为选择所标识的异构设备中的一个异构设备。
155.根据实现148所述的方法，还包括检测一个或多个随后的姿势，对所述一个或多个随后的姿势进行预处理以减小所需要的带宽，并且经由所述通信信道向所选择的设备发送经预处理的姿势。
156.根据实现148所述的方法，还包括检测范例设置姿势，所述范例设置姿势设置控制范例，所述控制范例用于预处理一个或多个随后的姿势以经由所述通信信道向所选择的设备发送。
157.根据实现156所述的方法，还包括至少基于所设置的控制范例来控制所选择的设备对随后的姿势的屏幕上响应。
158.一种在普适三维(3D)感觉环境中区分发出姿势命令的用户的方法，所述方法包括：
使用检测普适三维(3D)感觉环境中的姿势的至少一个运动感觉控制***，检测接受运动控制命令的一个或多个异构设备；
检测所述3D感觉环境中的多个用户，并且至少基于所述用户的相应生物计量信息来标识所述用户中的每个用户；以及
确定特定于所标识的用户中的每个用户的姿势控制范例，并且基于所确定的姿势控制范例来解释来自所述用户的姿势，其中所述姿势控制范例控制所述异构设备的响应。
159.根据实现158所述的方法，还包括：基于所述用户的相应偏好，为所标识的用户中的每个用户从所述异构设备中自动选择要与其交互的特定设备。
160.根据实现159所述的方法，其中所述用户偏好规定从所述异构设备中自动选择特定设备的预定时间。
161.根据实现158所述的方法，其中所述生物计量信息包括所述用户的血管图案、掌纹和指纹中的至少一项。
162.根据实现158所述的方法，其中所述运动感觉控制***嵌入在便携式设备中。
163.根据实现158所述的方法，其中所述运动感觉控制***包括一个或多个运动感觉控制设备。
164.一种在普适三维(3D)感觉空间中区分控制姿势与接近的非控制姿势的方法，所述方法包括：
检测由普适3D感觉环境中的不同用户执行的姿势的集合，并且通过以下方式标识所述姿势的集合中的控制所述3D感觉空间中的一个或多个设备的响应的控制姿势：
至少基于所述用户在所述3D感觉空间中的一个或多个空间行为，从所述用户中确定主导用户；以及
触发对由所述主导用户执行的姿势的响应，而不触发对由非主导用户执行的姿势的响应。
165.根据实现164所述的方法，其中所述空间行为包括所述用户在所述3D感觉空间中的位置。
166.根据实现164所述的方法，其中所述空间行为包括所述用户在所述3D感觉空间中的姿势。
167.根据实现164所述的方法，其中所述空间行为包括所述用户在所述3D感觉空间中的语音频率。
168.根据实现164所述的方法，其中所述空间行为包括所述用户在所述3D感觉空间中的语音长度。
169.根据实现164所述的方法，还包括至少基于所述用户在3D感觉空间中的一个或多个空间行为来标识非主导用户。
170.一种在虚拟交互模态中选择要与其交互的虚拟交互模态的方法，所述方法包括：
使用智能电话基于初始化信号的检测来触发增强环境，其中所述增强环境包括集成到物理空间的增强绘制中并且接受运动控制命令的一个或多个虚拟交互模态；
使用嵌入在所述智能电话中的运动感觉控制设备来检测所述3D感觉空间中的姿势；
将所述姿势解释为选择所述虚拟交互模态中的一个虚拟交互模态；以及
在所述智能电话与所选择的虚拟交互模态之间建立通信信道。
171.根据实现170所述的方法，其中所述初始化信号由所述物理空间中的标记图像生成。
172.根据实现170所述的方法，其中所述初始化信号由所述物理空间的空间元素生成。
173.根据实现170所述的方法，还包括创建用于由所述智能电话显示的标识所述虚拟交互模态的数据，并且将所述姿势解释为选择所标识的虚拟交互模态中的一个虚拟交互模态。
174.根据实现170所述的方法，还包括检测所述3D感觉空间中的触觉命令，并且将所述触觉命令解释为选择所述虚拟交互模态中的一个虚拟交互模态。
175.根据实现170所述的方法，还包括检测所述3D感觉空间中的声音命令，并且将所述声音命令解释为选择所述虚拟交互模态中的一个虚拟交互模态。
176.根据实现170所述的方法，还包括检测所述3D感觉空间中的光学命令，并且将所述光学命令解释为选择所述虚拟交互模态中的一个虚拟交互模态。
177.根据实现170所述的方法，还包括检测所述3D感觉空间中的姿势，并且至少基于执行所述姿势的用户的生物计量信息，从所述虚拟交互模态中自动选择特定虚拟交互模态。
178.根据实现177所述的方法，其中所述生物计量信息包括所述用户的血管图案、掌纹和指纹中的至少一项。
179.根据实现170所述的方法，还包括：
针对所述虚拟交互模态中的每个虚拟交互模态计算所述智能电话与所述虚拟交互模态之间的接近水平，其中所述接近水平至少基于所述虚拟交互模态的位置信息；以及
自动选择具有最高接近度的特定虚拟交互模态。
180.根据实现170所述的方法，还包括至少基于一天中的时间自动选择特定虚拟交互模态。
181.根据实现170所述的方法，还包括从所述虚拟交互模态中自动选择最频繁交互的虚拟交互模态。
182.根据实现170所述的方法，还包括从所述虚拟交互模态中自动选择最近交互的虚拟交互模态。
183.根据实现170所述的方法，还包括检测设置特定于所选择的虚拟交互模态的控制范例的范例设置姿势。
184.根据实现183所述的方法，还包括至少基于所设置的控制范例来控制所选择的虚拟交互模态对随后的姿势的响应。
本文中使用的术语和表达被用作描述的术语和表达，而不是限制，并且在使用这样的术语和表达时，不排除所示和所描述的特征的任何等同物或其部分。另外，已经描述了所公开的技术的某些实现，对于本领域普通技术人员将显而易见的是，在不脱离所公开的技术的精神和范围的情况下，可以使用合并本文中所公开的概念的其他实现。因此，所描述的实现在所有方面被认为仅是说明性的而不是限制性的。

Claims (20)

1.一种在设备中选择要与其交互的设备的方法，所述方法包括：
使用配备有检测三维(3D)感觉空间中的姿势的运动感觉控制设备的智能电话，检测接受运动控制命令的一个或多个异构设备；
检测所述3D感觉空间中的姿势并且将所述姿势解释为选择所述异构设备中的一个异构设备；以及
在所述智能电话与选择的所述设备之间建立通信信道。
2.根据权利要求1所述的方法，还包括创建用于由所述智能电话显示的、标识所述异构设备的数据，并且将所述姿势解释为选择标识的所述异构设备中的一个异构设备。
3.根据权利要求1所述的方法，还包括检测一个或多个随后的姿势，对所述一个或多个随后的姿势进行预处理以减小需要的带宽，并且经由所述通信信道向选择的所述设备发送经预处理的所述姿势。
4.根据权利要求1所述的方法，还包括检测范例设置姿势，所述范例设置姿势设置控制范例，所述控制范例用于预处理一个或多个随后的姿势以经由所述通信信道发送到选择的所述设备。
5.根据权利要求4所述的方法，还包括至少基于设置的所述控制范例来控制选择的所述设备对所述随后的姿势的屏幕上响应。
6.根据权利要求1所述的方法，还包括检测所述3D感觉空间中的姿势，并且至少基于执行所述姿势的用户的生物计量信息来从所述异构设备中自动选择特定设备。
7.根据权利要求6所述的方法，其中所述生物计量信息包括所述用户的血管图案、掌纹和指纹中的至少一项。
8.一种在起居室中的设备中选择要与其交互的设备的方法，所述方法包括：
使用配备有检测三维(3D)感觉空间中的姿势的运动感觉控制设备的智能电话，检测起居室中接受运动控制命令的异构设备；
检测语音命令并且将所述语音命令解释为选择所述异构设备中的一个异构设备；以及
在所述智能电话与选择的所述设备之间建立通信信道。
9.根据权利要求8所述的方法，还包括检测所述3D感觉空间中的一个或多个姿势，对所述一个或多个姿势进行预处理以减小需要的带宽，并且经由所述通信信道向选择的所述设备发送经预处理的所述姿势。
10.根据权利要求8所述的方法，还包括创建用于由所述智能电话显示的、标识所述异构设备的数据，并且将所述语音命令解释为选择标识的所述异构设备中的一个异构设备。
11.根据权利要求8所述的方法，还包括检测范例设置姿势，所述范例设置姿势设置控制范例，所述控制范例用于预处理所述3D感觉空间中的一个或多个姿势以经由所述通信信道发送到选择的所述设备。
12.根据权利要求11所述的方法，还包括至少基于设置的所述控制范例来控制选择的所述设备对所述姿势的屏幕上响应。
13.一种在起居室中的设备中选择要与其交互的设备的方法，所述方法包括：
使用配备有检测三维(3D)感觉空间中的姿势的运动感觉控制设备的智能电话，检测起居室中接受运动控制命令的异构设备；
创建用于由所述智能电话显示的、标识所述异构设备的数据，并且将跨所述显示器的触摸命令解释为选择标识的所述异构设备中的一个异构设备；以及
在所述智能电话与选择的所述设备之间建立通信信道。
14.根据权利要求13所述的方法，还包括检测所述3D感觉空间中的一个或多个姿势，对所述一个或多个姿势进行预处理以减小需要的带宽，并且经由所述通信信道向选择的所述设备发送经预处理的所述姿势。
15.根据权利要求13所述的方法，还包括检测范例设置姿势，所述范例设置姿势设置控制范例，所述控制范例用于预处理所述3D感觉空间中的一个或多个姿势以经由所述通信信道发送到选择的所述设备。
16.根据权利要求15所述的方法，还包括至少基于设置的所述控制范例来控制选择的所述设备对所述姿势的屏幕上响应。
17.一种与触发增强幻觉的标记图像交互的方法，所述方法包括：
使用配备有检测三维(3D)感觉空间中的姿势的运动感觉控制设备的智能电话，响应于通过所述智能电话的标识来检测触发增强幻觉的异构标记图像；
检测所述3D感觉空间中的姿势并且将所述姿势解释为选择所述异构标记图像中的一个异构标记图像；以及
在智能电话的显示器上覆盖由选择的所述标记图像绘制的增强幻觉。
18.根据权利要求17所述的方法，还包括检测所述3D感觉空间中改变在覆盖的所述增强幻觉上显示的内容的响应的一个或多个姿势。
19.根据权利要求17所述的方法，还包括检测范例设置姿势，所述范例设置姿势设置控制范例，所述控制范例用于解释所述3D感觉空间中操纵覆盖的所述增强幻觉的一个或多个姿势。
20.一种使用减小的功耗来操作智能电话的方法，所述方法包括：
监测智能电话的至少一个物理参数，所述智能电话配备有检测三维(3D)感觉空间中的姿势的运动感觉控制设备；以及
响应于检测到所述物理参数的变化超过规定的阈值，将所述智能电话从一个操作模式自动切换至另一操作模式。
CN201580041594.3A 2014-05-27 2015-05-27 普适计算环境中的姿势交互的***和方法 Pending CN106662926A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201462003298P 2014-05-27 2014-05-27
US62/003,298 2014-05-27
US14/625,635 2015-02-19
US14/625,635 US10782657B2 (en) 2014-05-27 2015-02-19 Systems and methods of gestural interaction in a pervasive computing environment
PCT/US2015/032705 WO2015183979A1 (en) 2014-05-27 2015-05-27 Systems and methods of gestural interaction in a pervasive computing environment

Publications (1)

Publication Number Publication Date
CN106662926A true CN106662926A (zh) 2017-05-10

Family

ID=54699723

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580041594.3A Pending CN106662926A (zh) 2014-05-27 2015-05-27 普适计算环境中的姿势交互的***和方法

Country Status (4)

Country Link
US (3) US10782657B2 (zh)
CN (1) CN106662926A (zh)
DE (1) DE112015002463T5 (zh)
WO (1) WO2015183979A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109358525A (zh) * 2018-12-26 2019-02-19 深圳Tcl新技术有限公司 智能家居设备的控制方法、智能家居***及存储介质
CN111459263A (zh) * 2019-01-21 2020-07-28 广东虚拟现实科技有限公司 虚拟内容的显示方法、装置、终端设备及存储介质
CN112771454A (zh) * 2018-10-09 2021-05-07 美的集团股份有限公司 为家用电器提供控制用户界面的方法和***

Families Citing this family (81)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150317516A1 (en) * 2012-12-05 2015-11-05 Inuitive Ltd. Method and system for remote controlling
WO2014178047A1 (en) 2013-04-30 2014-11-06 Inuitive Ltd. System and method for video conferencing
US20150124566A1 (en) 2013-10-04 2015-05-07 Thalmic Labs Inc. Systems, articles and methods for wearable electronic devices employing contact sensors
US11921471B2 (en) 2013-08-16 2024-03-05 Meta Platforms Technologies, Llc Systems, articles, and methods for wearable devices having secondary power sources in links of a band for providing secondary power in addition to a primary power source
US10042422B2 (en) 2013-11-12 2018-08-07 Thalmic Labs Inc. Systems, articles, and methods for capacitive electromyography sensors
US10188309B2 (en) 2013-11-27 2019-01-29 North Inc. Systems, articles, and methods for electromyography sensors
US10092236B2 (en) * 2013-09-25 2018-10-09 Zoll Medical Corporation Emergency medical services smart watch
US9880632B2 (en) 2014-06-19 2018-01-30 Thalmic Labs Inc. Systems, devices, and methods for gesture identification
KR20160014418A (ko) 2014-07-29 2016-02-11 삼성전자주식회사 유저 인터페이스 장치 및 유저 인터페이스 방법
DE202014103729U1 (de) 2014-08-08 2014-09-09 Leap Motion, Inc. Augmented-Reality mit Bewegungserfassung
US9778749B2 (en) 2014-08-22 2017-10-03 Google Inc. Occluded gesture recognition
US20160056629A1 (en) * 2014-08-22 2016-02-25 Lutron Electronics Co., Inc. Load control system responsive to location of an occupant and mobile devices
US11169988B2 (en) 2014-08-22 2021-11-09 Google Llc Radar recognition-aided search
US9600080B2 (en) * 2014-10-02 2017-03-21 Google Inc. Non-line-of-sight radar-based gesture recognition
US9811312B2 (en) 2014-12-22 2017-11-07 Intel Corporation Connected device voice command support
US10359744B2 (en) * 2015-01-28 2019-07-23 GOJO Indutries, Inc. System and method for programming a setting of a fluid dispenser
CN104699244B (zh) * 2015-02-26 2018-07-06 小米科技有限责任公司 智能设备的操控方法及装置
US20160278044A1 (en) * 2015-03-18 2016-09-22 Panasonic Intellectual Property Management Co., Ltd. Wireless communicating apparatus
US10016162B1 (en) 2015-03-23 2018-07-10 Google Llc In-ear health monitoring
WO2016157283A1 (ja) * 2015-03-27 2016-10-06 三菱電機株式会社 端末装置、空調機およびウェアラブル端末
TWI552001B (zh) * 2015-04-13 2016-10-01 聚眾聯合科技股份有限公司 連線資料分享系統、電腦程式軟體及其連線資料分享方法
KR102328589B1 (ko) 2015-04-30 2021-11-17 구글 엘엘씨 제스처 추적 및 인식을 위한 rf―기반 마이크로―모션 추적
US10817065B1 (en) 2015-10-06 2020-10-27 Google Llc Gesture recognition using multiple antenna
US11740782B2 (en) * 2016-01-06 2023-08-29 Disruptive Technologies Research As Out-of-band commissioning of a wireless device through proximity input
DE102016102402A1 (de) * 2016-02-11 2017-08-17 Rwe Effizienz Gmbh Heimautomatisierungssystem
US10492302B2 (en) 2016-05-03 2019-11-26 Google Llc Connecting an electronic component to an interactive textile
TWI599966B (zh) * 2016-05-10 2017-09-21 H P B Optoelectronic Co Ltd 手勢控制模組化系統
US10285456B2 (en) 2016-05-16 2019-05-14 Google Llc Interactive fabric
EP3483702A4 (en) * 2016-07-05 2019-07-24 Sony Corporation INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD, AND PROGRAM
US11216069B2 (en) 2018-05-08 2022-01-04 Facebook Technologies, Llc Systems and methods for improved speech recognition using neuromuscular information
CN110300542A (zh) 2016-07-25 2019-10-01 开创拉布斯公司 使用可穿戴的自动传感器预测肌肉骨骼位置信息的方法和装置
WO2018022597A1 (en) 2016-07-25 2018-02-01 Ctrl-Labs Corporation Methods and apparatus for inferring user intent based on neuromuscular signals
US11331045B1 (en) 2018-01-25 2022-05-17 Facebook Technologies, Llc Systems and methods for mitigating neuromuscular signal artifacts
WO2018022658A1 (en) 2016-07-25 2018-02-01 Ctrl-Labs Corporation Adaptive system for deriving control signals from measurements of neuromuscular activity
US11337652B2 (en) 2016-07-25 2022-05-24 Facebook Technologies, Llc System and method for measuring the movements of articulated rigid bodies
US10880284B1 (en) * 2016-08-19 2020-12-29 Amazon Technologies, Inc. Repurposing limited functionality devices as authentication factors
US10783883B2 (en) * 2016-11-03 2020-09-22 Google Llc Focus session at a voice interface device
US10764281B1 (en) * 2017-01-09 2020-09-01 United Services Automobile Association (Usaa) Systems and methods for authenticating a user using an image capture device
WO2018190847A1 (en) * 2017-04-13 2018-10-18 Hewlett-Packard Development Company, L.P. Providing content from mobile devices to proximate kiosk computers
US11048329B1 (en) 2017-07-27 2021-06-29 Emerge Now Inc. Mid-air ultrasonic haptic interface for immersive computing environments
WO2019050535A1 (en) * 2017-09-08 2019-03-14 Hewlett-Packard Development Company, L.P. DETECTION OF GESTURE IN AN INTERACTIVE ENVIRONMENT
US11290518B2 (en) * 2017-09-27 2022-03-29 Qualcomm Incorporated Wireless control of remote devices through intention codes over a wireless connection
EP3697297A4 (en) 2017-10-19 2020-12-16 Facebook Technologies, Inc. SYSTEMS AND METHODS FOR IDENTIFYING BIOLOGICAL STRUCTURES ASSOCIATED WITH NEUROMUSCULAR SOURCE SIGNALS
CN111902077B (zh) 2018-01-25 2023-08-04 元平台技术有限公司 利用神经肌肉信号进行手部状态表示建模的校准技术
US11961494B1 (en) 2019-03-29 2024-04-16 Meta Platforms Technologies, Llc Electromagnetic interference reduction in extended reality environments
US11907423B2 (en) 2019-11-25 2024-02-20 Meta Platforms Technologies, Llc Systems and methods for contextualized interactions with an environment
US10504286B2 (en) 2018-01-25 2019-12-10 Ctrl-Labs Corporation Techniques for anonymizing neuromuscular signal data
EP3743892A4 (en) 2018-01-25 2021-03-24 Facebook Technologies, Inc. VISUALIZATION OF INFORMATION ON THE STATE OF A RECONSTRUCTED HAND
EP3743790A4 (en) 2018-01-25 2021-03-17 Facebook Technologies, Inc. RECONSTRUCTION OF HAND STATE ON THE BASIS OF MULTIPLE ENTRIES
EP3743901A4 (en) 2018-01-25 2021-03-31 Facebook Technologies, Inc. REAL-TIME PROCESSING OF HAND REPRESENTATION MODEL ESTIMATES
US10937414B2 (en) 2018-05-08 2021-03-02 Facebook Technologies, Llc Systems and methods for text input using neuromuscular information
WO2019147958A1 (en) 2018-01-25 2019-08-01 Ctrl-Labs Corporation User-controlled tuning of handstate representation model parameters
US11493993B2 (en) 2019-09-04 2022-11-08 Meta Platforms Technologies, Llc Systems, methods, and interfaces for performing inputs based on neuromuscular control
US11150730B1 (en) 2019-04-30 2021-10-19 Facebook Technologies, Llc Devices, systems, and methods for controlling computing devices via neuromuscular signals of users
US11481030B2 (en) 2019-03-29 2022-10-25 Meta Platforms Technologies, Llc Methods and apparatus for gesture detection and classification
US11301087B2 (en) * 2018-03-14 2022-04-12 Maxell, Ltd. Personal digital assistant
US11151791B2 (en) * 2018-04-17 2021-10-19 Edx Technologies, Inc. R-snap for production of augmented realities
US10592001B2 (en) 2018-05-08 2020-03-17 Facebook Technologies, Llc Systems and methods for improved speech recognition using neuromuscular information
EP3801743B1 (en) 2018-05-25 2024-07-03 Meta Platforms Technologies, LLC Methods and apparatus for providing sub-muscular control
EP3801216A4 (en) 2018-05-29 2021-04-14 Facebook Technologies, LLC. SHIELDING TECHNIQUES FOR NOISE REDUCTION IN SURFACE ELECTROMYOGRAPHY SIGNAL MEASUREMENT AND RELATED SYSTEMS AND METHODS
JP7135444B2 (ja) * 2018-05-29 2022-09-13 富士フイルムビジネスイノベーション株式会社 情報処理装置及びプログラム
US10970374B2 (en) 2018-06-14 2021-04-06 Facebook Technologies, Llc User identification and authentication with neuromuscular signatures
WO2020018892A1 (en) 2018-07-19 2020-01-23 Ctrl-Labs Corporation Methods and apparatus for improved signal robustness for a wearable neuromuscular recording device
CN112566553A (zh) 2018-08-13 2021-03-26 脸谱科技有限责任公司 实时尖峰检测和识别
US10905350B2 (en) 2018-08-31 2021-02-02 Facebook Technologies, Llc Camera-guided interpretation of neuromuscular signals
WO2020061451A1 (en) 2018-09-20 2020-03-26 Ctrl-Labs Corporation Neuromuscular text entry, writing and drawing in augmented reality systems
WO2020069181A1 (en) 2018-09-26 2020-04-02 Ctrl-Labs Corporation Neuromuscular control of physical objects in an environment
CN112822992A (zh) 2018-10-05 2021-05-18 脸谱科技有限责任公司 在增强现实环境中使用神经肌肉信号来提供与物理对象的增强交互
US11797087B2 (en) 2018-11-27 2023-10-24 Meta Platforms Technologies, Llc Methods and apparatus for autocalibration of a wearable electrode sensor system
JP2022521360A (ja) * 2019-02-18 2022-04-06 アーク リソー ホールディングス， エルエルシー ポインティングコントローラを使用したスマートデバイスとの相互作用
US10905383B2 (en) 2019-02-28 2021-02-02 Facebook Technologies, Llc Methods and apparatus for unsupervised one-shot machine learning for classification of human gestures and estimation of applied forces
US11521384B1 (en) * 2019-07-01 2022-12-06 Alarm.Com Incorporated Monitoring system integration with augmented reality devices
WO2021029449A1 (ko) * 2019-08-12 2021-02-18 엘지전자 주식회사 이동 단말기
US11714121B2 (en) * 2020-07-09 2023-08-01 Tektronix, Inc. Indicating a probing target for a fabricated electronic circuit
US11423585B2 (en) * 2020-11-30 2022-08-23 Microsoft Technology Licensing, Llc Velocity-based controls
US11868531B1 (en) 2021-04-08 2024-01-09 Meta Platforms Technologies, Llc Wearable device providing for thumb-to-finger-based input gestures detected based on neuromuscular signals, and systems and methods of use thereof
US20230032735A1 (en) * 2021-07-30 2023-02-02 Johnson Controls Tyco IP Holdings LLP Next generation touchless building controls
US11941231B2 (en) * 2021-08-29 2024-03-26 Snap Inc. Camera interfaces to interact with IoT devices
US11954774B2 (en) 2021-08-29 2024-04-09 Snap Inc. Building augmented reality experiences with IoT devices
US12019838B2 (en) * 2022-06-15 2024-06-25 Snap Inc. Standardized AR interfaces for IOT devices
CN115346295A (zh) * 2022-10-19 2022-11-15 中国信息通信研究院 基于标识解析和区块链的门锁状态搜集方法、介质及设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101124534A (zh) * 2005-02-24 2008-02-13 诺基亚公司 用于计算终端的运动输入设备及其操作方法
CN102184014A (zh) * 2011-05-12 2011-09-14 浙江大学 基于移动设备指向的智能家电交互控制方法及装置
CN102696057A (zh) * 2010-03-25 2012-09-26 比兹摩德莱恩有限公司 增强现实***
CN103090862A (zh) * 2013-01-18 2013-05-08 华为终端有限公司 一种终端设备及终端设备的导航模式切换方法

Family Cites Families (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6002808A (en) 1996-07-26 1999-12-14 Mitsubishi Electric Information Technology Center America, Inc. Hand gesture control system
US6421453B1 (en) 1998-05-15 2002-07-16 International Business Machines Corporation Apparatus and methods for user recognition employing behavioral passwords
US6937742B2 (en) * 2001-09-28 2005-08-30 Bellsouth Intellectual Property Corporation Gesture activated home appliance
JP2005277445A (ja) * 2004-03-22 2005-10-06 Fuji Xerox Co Ltd 会議映像処理装置、会議映像処理方法およびプログラム
US7325735B2 (en) * 2004-04-02 2008-02-05 K-Nfb Reading Technology, Inc. Directed reading mode for portable reading machine
CN101273368A (zh) * 2005-08-29 2008-09-24 埃韦里克斯技术股份有限公司 经由移动图像识别的交互
JP4622763B2 (ja) * 2005-09-14 2011-02-02 日本電気株式会社 携帯通信端末装置及び認証方法
KR20070083436A (ko) 2006-02-21 2007-08-24 삼성전자주식회사 객체인증장치 및 방법
US7983451B2 (en) 2006-06-30 2011-07-19 Motorola Mobility, Inc. Recognition method using hand biometrics with anti-counterfeiting
KR100776801B1 (ko) * 2006-07-19 2007-11-19 한국전자통신연구원 화상 처리 시스템에서의 제스처 인식 장치 및 방법
US7971156B2 (en) * 2007-01-12 2011-06-28 International Business Machines Corporation Controlling resource access based on user gesturing in a 3D captured image stream of the user
US8027518B2 (en) 2007-06-25 2011-09-27 Microsoft Corporation Automatic configuration of devices based on biometric data
US9503562B2 (en) * 2008-03-19 2016-11-22 Universal Electronics Inc. System and method for appliance control via a personal communication or entertainment device
US9952673B2 (en) * 2009-04-02 2018-04-24 Oblong Industries, Inc. Operating environment comprising multiple client devices, multiple displays, multiple users, and gestural control
EP2389622A1 (en) 2009-01-26 2011-11-30 Zrro Technologies (2009) Ltd. Device and method for monitoring an object's behavior
US8448094B2 (en) * 2009-01-30 2013-05-21 Microsoft Corporation Mapping a natural input device to a legacy system
US9594431B2 (en) 2009-06-19 2017-03-14 Hewlett-Packard Development Company, L.P. Qualified command
US8356261B1 (en) 2009-07-02 2013-01-15 Asml Netherlands B.V. Determining the gradient and hessian of the image log slope for design rule optimization for accelerating source mask optimization (SMO)
US8593576B2 (en) * 2009-10-15 2013-11-26 At&T Intellectual Property I, L.P. Gesture-based remote control
US8542320B2 (en) * 2010-06-17 2013-09-24 Sony Corporation Method and system to control a non-gesture controlled device using gesture interactions with a gesture controlled device
US20130241832A1 (en) 2010-09-07 2013-09-19 Zrro Technologies (2009) Ltd. Method and device for controlling the behavior of virtual objects on a display
US8781234B2 (en) 2010-10-01 2014-07-15 Intel Corporation Optimized fast hessian matrix computation architecture
US8824749B2 (en) 2011-04-05 2014-09-02 Microsoft Corporation Biometric recognition
US8718334B2 (en) 2011-05-05 2014-05-06 Honeywell International Inc. System for biometric hand analysis
US8773512B1 (en) * 2011-06-30 2014-07-08 Aquifi, Inc. Portable remote control device enabling three-dimensional user interaction with at least one appliance
US8881051B2 (en) * 2011-07-05 2014-11-04 Primesense Ltd Zoom-based gesture user interface
JP5547139B2 (ja) * 2011-07-29 2014-07-09 株式会社東芝 認識装置、方法及びプログラム
US20130080898A1 (en) * 2011-09-26 2013-03-28 Tal Lavian Systems and methods for electronic communications
EP2602691A1 (en) * 2011-12-05 2013-06-12 Alcatel Lucent Method for gesture control, gesture server device and sensor input device
US9170674B2 (en) * 2012-04-09 2015-10-27 Qualcomm Incorporated Gesture-based device control using pressure-sensitive sensors
JP6024952B2 (ja) * 2012-07-19 2016-11-16 パナソニックＩｐマネジメント株式会社 画像送信装置、画像送信方法、画像送信プログラム及び画像認識認証システム
US9274742B2 (en) * 2012-10-25 2016-03-01 PixiOnCloud, Inc. Visual-symbolic control of remote devices having display-based user interfaces
US9483934B2 (en) * 2012-12-26 2016-11-01 Oren Kotlicki Presence based system and method for controlling devices
TW201426404A (zh) * 2012-12-28 2014-07-01 Hon Hai Prec Ind Co Ltd 電子裝置及手勢控制方法
US20140189579A1 (en) 2013-01-02 2014-07-03 Zrro Technologies (2009) Ltd. System and method for controlling zooming and/or scrolling
US20140253711A1 (en) 2013-03-07 2014-09-11 Advanced Optical Systems, Inc. Agile non-contact biometric sensor
US9766855B2 (en) * 2013-09-10 2017-09-19 Avigilon Corporation Method and apparatus for controlling surveillance system with gesture and/or audio commands

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101124534A (zh) * 2005-02-24 2008-02-13 诺基亚公司 用于计算终端的运动输入设备及其操作方法
CN102696057A (zh) * 2010-03-25 2012-09-26 比兹摩德莱恩有限公司 增强现实***
CN102184014A (zh) * 2011-05-12 2011-09-14 浙江大学 基于移动设备指向的智能家电交互控制方法及装置
CN103090862A (zh) * 2013-01-18 2013-05-08 华为终端有限公司 一种终端设备及终端设备的导航模式切换方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112771454A (zh) * 2018-10-09 2021-05-07 美的集团股份有限公司 为家用电器提供控制用户界面的方法和***
CN109358525A (zh) * 2018-12-26 2019-02-19 深圳Tcl新技术有限公司 智能家居设备的控制方法、智能家居***及存储介质
CN111459263A (zh) * 2019-01-21 2020-07-28 广东虚拟现实科技有限公司 虚拟内容的显示方法、装置、终端设备及存储介质
CN111459263B (zh) * 2019-01-21 2023-11-03 广东虚拟现实科技有限公司 虚拟内容的显示方法、装置、终端设备及存储介质

Also Published As

Publication number Publication date
US10782657B2 (en) 2020-09-22
US20230205151A1 (en) 2023-06-29
WO2015183979A1 (en) 2015-12-03
US20210003977A1 (en) 2021-01-07
DE112015002463T5 (de) 2017-02-16
US11561519B2 (en) 2023-01-24
US20150346701A1 (en) 2015-12-03

Similar Documents

Publication Publication Date Title
CN106662926A (zh) 普适计算环境中的姿势交互的***和方法
US11914792B2 (en) Systems and methods of tracking moving hands and recognizing gestural interactions
US11599237B2 (en) User interface for integrated gestural interaction and multi-user collaboration in immersive virtual reality environments
JP6889293B2 (ja) レーダ対応センサフュージョン
US11257292B2 (en) Object holographic augmentation
CN102222329B (zh) 深度检测的光栅扫描
CN107430437A (zh) 在虚拟现实/增强现实环境中创建真实的抓取体验的***和方法
CN110168475A (zh) 将用户接口装置导入虚拟现实/增强现实的***
Rahman Towards Internet of Things Interaction Framework Using Geometric Annotated Multimedia Objects

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20170510

WD01 Invention patent application deemed withdrawn after publication