CN107852566B - 基于背景的手势识别和控制 - Google Patents

基于背景的手势识别和控制 Download PDF

Info

Publication number
CN107852566B
CN107852566B CN201580071868.3A CN201580071868A CN107852566B CN 107852566 B CN107852566 B CN 107852566B CN 201580071868 A CN201580071868 A CN 201580071868A CN 107852566 B CN107852566 B CN 107852566B
Authority
CN
China
Prior art keywords
mobile device
gesture
user
remote system
action
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201580071868.3A
Other languages
English (en)
Other versions
CN107852566A (zh
Inventor
S·D·小罗斯威尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tyco Fire And Safety Co ltd
Original Assignee
Tyco Fire And Safety Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tyco Fire And Safety Co ltd filed Critical Tyco Fire And Safety Co ltd
Publication of CN107852566A publication Critical patent/CN107852566A/zh
Application granted granted Critical
Publication of CN107852566B publication Critical patent/CN107852566B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/46—Interconnection of networks
    • H04L12/4604—LAN interconnection over a backbone network, e.g. Internet, Frame Relay
    • H04L12/462—LAN interconnection over a bridge based backbone
    • H04L12/4625—Single bridge functionality, e.g. connection of two networks over a single bridge
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C17/00—Arrangements for transmitting signals characterised by the use of a wireless electrical link
    • G08C17/02—Arrangements for transmitting signals characterised by the use of a wireless electrical link using a radio link
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W12/00—Security arrangements; Authentication; Protecting privacy or anonymity
    • H04W12/06—Authentication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W12/00—Security arrangements; Authentication; Protecting privacy or anonymity
    • H04W12/08—Access security
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/025—Services making use of location information using location based information parameters
    • H04W4/027—Services making use of location information using location based information parameters using movement velocity, acceleration information
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • G08B25/008—Alarm setting and unsetting, i.e. arming or disarming of the security system
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • G08B25/14—Central alarm receiver or annunciator arrangements
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00—Transmission systems of control signals via wireless link
    • G08C2201/30—User interface
    • G08C2201/32—Remote control based on movements, attitude of remote control device
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00—Transmission systems of control signals via wireless link
    • G08C2201/50—Receiving or transmitting feedback, e.g. replies, status updates, acknowledgements, from the controlled devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W12/00—Security arrangements; Authentication; Protecting privacy or anonymity
    • H04W12/60—Context-dependent security
    • H04W12/63—Location-dependent; Proximity-dependent
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W12/00—Security arrangements; Authentication; Protecting privacy or anonymity
    • H04W12/60—Context-dependent security
    • H04W12/68—Gesture-dependent or behaviour-dependent
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/029—Location-based management or tracking services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/33—Services specially adapted for particular environments, situations or purposes for indoor environments, e.g. buildings

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Telephonic Communication Services (AREA)
  • Selective Calling Equipment (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)

Abstract

描述了由用户设备接收位置数据的移动设备和方法，其中用户设备被配置为对一个或多个不同的远程***/设备执行多个不同的控制动作，从传感器接收手势数据，处理位置数据和手势数据以确定执行控制动作的命令并且确定所述远程***/设备中的要在其上执行命令的特定的远程***/设备，并且使包括所确定的命令的消息被发送到所述远程***/设备中所确定的特定的***/设备以由所述***/设备中的特定的***/设备执行所确定的控制动作。

Description

基于背景的手势识别和控制
优先权要求
本申请依据35 U.S.C.§119(e)要求于2014年12月30日提交的标题为“ContextualBased Gesture Recognition and Control”的临时美国专利申请62/097,648以及标题为“Contextual Based Gesture Recognition and Control”的美国专利申请14/982,113的优先权，两者的全部内容通过引用并入本文。
背景技术
本发明书涉及对电子设备和***(诸如报警/入侵***)的控制。
企业和消费者常常有需要用户输入以进行控制/管理的***。这种用户***是普遍存在的。这种***的示例包括商业/住宅监控和/或入侵和/或报警***，用于检测处所的状况的存在，以及用于向中央监控站发送信息(诸如来自相机的视频或来自检测器/传感器设备的消息)。
在这些监控和/或入侵和/或报警类型的***中，存在用于移动安全管理***/应用的开发技术。目前一种此类方法是
Figure GDA0002580857660000011
集成安全移动安全管理应用，其提供直观的安全***控制、用户管理和远程位置管理特征。该应用将远程控制安全性与在AndroidTM智能电话或平板电脑上查看直播流媒体视频的功能相结合。该应用还允许诸如从移动设备对入侵***进行布防和解除布防、接收文本和电子邮件警报、管理和绕过区域(zone)、对用户访问的远程管理等功能。
发明内容
但是，移动安全管理应用的常规做法的主要限制之一是，为了使用户与例如家庭内的各种可控物品进行交互，需要用户手动地交互或执行应用，例如使用移动计算机***或固定计算机***的web应用或移动智能电话设备上的移动应用的执行。这种类型的交互常常导致消费者决定设备应当反应的时间与设备实际反应的时间之间的滞后。这种类型的交互可能会让一些用户感到困惑或难以学习，因为许多***需要通过移动安全管理应用的菜单等进行复杂的用户交互。
根据一方面，移动设备包括被配置为接收移动设备的位置数据的电路***，该设备被配置为对一个或多个远程***和/或设备执行多个不同的控制动作(其中所述***和/或设备远离用户的身体)，从内置在移动设备中的传感器接收手势数据，确定一个或多个远程***和/或设备中的要对其执行命令的至少一个，处理位置数据和手势数据以确定对一个或多个远程***和/或设备中所确定的至少一个执行控制动作的命令，以及使包括所确定的命令的消息从移动设备被发送到***/设备中所确定的特定的一个以便由***/设备中的该特定的一个执行所确定的控制动作。
附加的方面包括存储在计算机可读硬件设备上的方法、***和计算机程序产品，其中计算机可读硬件设备可以包括各种类型的计算机存储设备，包括存储器和磁盘存储。
上述方面中的一个或多个可以提供以下一个或多个优点。
这些技术提高了设备/***对用户要在特定的设备/***上执行的期望操作的响应时间，从而使用户的体验更加无缝且直观。
在附图和下面的描述中阐述本发明的一个或多个实施例的细节。根据说明书和附图以及根据权利要求和本文所讨论的各种示例，本发明的其它特征、目的和优点是清楚的。
附图说明
图1是在处所的示例安全***的示意图。
图2是描绘用户移动设备的细节的框图。
图3、4和4A-4B是示出由用户移动设备中的处理器执行的示例处理的流程图。
图5A-5H是示出由智能手表设备的处理器执行各种处理的界面的示例的智能手表设备显示面的图示。
具体实施方式
下面描述的是允许用户通过与客户端、移动设备的间接用户交互来与远程设备/***进行交互的技术。为了解释的目的，移动设备是蜂窝电话或智能手表，并且示例性设备/***是通常在用户的房屋内可见的设备/***，诸如门上的电子锁、安全***、遥控扬声器、遥控窗帘/百叶窗等。在下面的示例中，被远程控制的***是安全*** (例如，物理入侵检测***)。其它***/设备可以以下述方式进行控制。
现在参考图1，布置10包括在处所14的安全***12。在这种布置10中，处所14是住宅，但处所可以替代地是任何类型的处所，例如商业、工业建筑物等。安全***12包括控制面板16和分散在整个处所中的各种可能的多个传感器/检测器28，以及小键盘30。术语“传感器”和“检测器”在本文中可互换使用。传感器/检测器28无线(或有线)耦接到面板16。安全***12通过一个或多个数据网络 24(仅示出了一个)(诸如互联网)与中央监控站18和一个或多个授权的用户设备20(仅示出了一个)通信。控制面板16与一个或多个检测器28通信，并从检测器28接收关于被监控的处所的状态的信息。
检测器28的示例包括运动检测器、摄像机、玻璃破裂检测器、有毒气体传感器、烟/火检测器、麦克风、接触/接近开关等。检测器 28可以硬连线到控制面板16或者可以无线地与控制面板16通信。检测器28感测/检测其中状况(诸如运动、玻璃破裂、气体泄漏、火灾和/或进入点的破坏等)的存在，并且例如经由有线或无线地向控制面板16发送电子消息。基于从检测器接收的信息，控制面板16确定是否触发报警，例如通过触发在处所14的一个或多个警报器(未示出)和/或向监控站18和/或向用户设备20发送警报消息。在一些实现方式中，一些检测器28可以无线地向用户设备20发送电子消息。
用户访问控制面板16以控制安全***12。示例性控制动作包括使安全***解除布防、使安全***布防、输入控制面板16的预定的标准以触发警报、停止已被触发的警报、添加新的检测器、改变检测器设置、实时观看监控状态等。
用户可以直接在处所14访问安全***12，例如通过连接到控制面板16的小键盘30。在一些实现方式中，控制面板16还可以包括示出图形用户界面的显示器(未示出)，以辅助用户对安全***12 的控制。显示器可以是触摸屏显示器类型，使得用户可以通过显示器直接与控制面板和安全***交互。
用户还可以通过用户设备20访问控制面板16，用户设备20可以在处所14或者远离处所14。与控制面板交互的一种常规方法是经由在用户设备20上呈现用户界面屏幕或窗口的常规应用。为了允许用户通过用户设备20访问控制面板16，并且为了保护安全***12 免受未经授权的访问，控制面板16、监控中心18和/或用户设备20 实现一个或多个认证级别。认证可以是各种类型，包括用户生物认证、来自用户的输入(例如提供给用户的安全码或PIN)、由用户创建的密码，和/或提供给用户的RFID芯片。在一些实现方式中，可以使用主要和次要级别的认证。
经授权的用户获得对安全***12的访问权，以请求安全***12 执行上述控制动作(或其它控制/管理动作)中的一个或多个。无论访问是通过与安全***12的控制面板16的本地(或直接)物理交互进行、经由小键盘30进行还是通过用户设备20远程(或间接)进行，安全***12都经由控制面板16上的网络连接来接收命令并接收配置***12的消息，以便在用户被确定为针对这些请求被授权的人时执行在请求中指定的控制动作。
在图1中还示出，移动设备访问管理应用21驻留在用户设备20 上，移动设备访问管理应用21产生允许用户通过与一个或多个客户端、移动设备(例如，在其上执行移动设备访问管理应用21的设备20)的间接交互来(通过控制面板16)与远程设备/***(例如，***12)交互的消息。在一些实现方式中，移动设备访问管理应用21 还可以经由使用用户设备20上的图形用户界面等的常规直接交互来提供访问。移动设备访问管理应用21在用户设备20上执行并且与用户存在和用户手势相结合来产生控制***12的这种命令。用户设备可以是智能电话或可穿戴部件，诸如智能手表(如图5A-5H所示)。
现在参考图2，用户设备20(智能手表或智能电话、平板计算设备或其它便携式移动手持用户设备)包括处理器设备32、可操作地耦接到处理器设备32的存储器34、存储装置36、接口38、显示器 33、网络接口卡35、经由接口38耦接的用户设备(例如小键盘38a 和相机38b)、一个或多个总线37等，以及GPS(全球定位)***收发器39。
由处理器设备32与存储器34和/或存储装置36相关联地执行移动设备访问管理应用21。移动设备访问管理应用21从用户设备接收用户输入并产生控制消息，该控制消息经由在***12和用户设备20 之间建立的网络连接经由网络接口卡35发送到控制面板16(图1)。网络接口卡35向/从由用户设备20远程控制并连接到网络的*** (或设备)发送数据。网络可以是本地网络和/或互联网的一部分。
使用户设备“智能”的要求(例如，在智能电话或智能手表中) 要求设备20具有能够在移动操作***(例如，智能电话、平板电脑、 PDA或其它移动设备的操作***)的控制下执行应用21(并且一般而言可以执行其它类型的应用)的处理器设备。移动操作***支持特定的“移动”特征，诸如运动控制和GPS。移动操作***包括在个人计算机操作***中发现的一些特征以及其它特征(诸如对显示器 25的触摸屏控制、蜂窝和/或蓝牙、连接Wi-Fi、连接、GPS移动导航、相机/摄像机等)。
移动设备访问管理应用21经由运行内置在移动设备(诸如智能电话和手表)中的应用的加速度计、红外检测器来将存在识别(例如，基于射频或基于运动检测器或诸如GPS的其它技术)与手势或运动识别捕获相结合。通过结合存在和手势的这些元素，向用户提供在特定位置做手势并让特定设备/***在最短时间内对手势作出反应并提供期望行为的能力。移动设备访问管理应用21使得能够通过将存在识别与手势或运动识别相结合来在用户的整个处所中利用手势进行对设备/***的控制。
一种类型的手势是用户的移动设备20以若干预定义的模式中的一种来移动。另一种类型的手势是指点设备的用户划过移动设备的触摸屏显示部分的移动，如下面将在图5A-5H中讨论的。
移动设备访问管理应用21可以是提供安全***控制和用户管理特征的安全管理应用的一部分，其中移动设备访问管理应用21与安全管理应用集成。可替代地，移动设备访问管理应用21可以是独立的应用。
在一方面，移动设备访问管理应用21处理被动请求和主动请求。移动设备访问管理应用21的这种实现方式将被在本文的描述中被用作实施例，注意移动设备访问管理应用21可以被配置为仅处理被动请求。
被动请求不涉及由用户做出的显式请求，而是通过客户端设备 20中的处理来推断请求。被动请求的示例包括用户设备20的存在检测，检测到用户设备(并且可能是用户)正在接近可以由移动设备访问管理应用22控制或交互的设备/***。用户设备接近设备/***的检测也可以涉及用户设备20识别出用户已经执行了设备20捕获并识别的手势。由发送消息以在设备/***上进行控制(或以其它方式执行动作)的设备20处理存在检测以及适当的手势检测。
请求可以是主动请求。主动请求涉及由用户在客户端设备20上执行的显式请求动作。主动请求的示例包括用户访问显示用于要被控制的设备/***的控制功能的常规图形用户界面、主动将数据输入到设备并使设备20向要被控制的设备/***发送消息。
现在参考图3，示出了移动设备访问管理应用21的细节。在一方面，用户设备20上的移动设备访问管理应用21接收42在***/设备上执行动作的主动请求。客户端设备20上的服务器进程确定44对控制动作的请求是否伴随着手势，即，是否做出了主动请求。
当客户端设备20上的服务器进程确定已经做出了主动请求(手势+存在)时，服务器进程根据存在和手势来解译46b请求(参见图 4)。否则，当客户端设备20上的服务器进程确定所做的请求不伴随有手势(仅存在)时，服务器进程将请求解译46a为被动请求。
无论是被动还是主动请求，客户端设备20上的服务器进程针对该请求确定48任何(一个或多个)附加动作是否存在，并且，当该确定被满足时，服务器进程根据被动请求执行50处理。当由于未能满足(一个或多个)附加动作中的任何一个或多个，客户端设备20 上的服务器进程没有完全确定该被动或主动请求时，服务器进程执行根据请求向用户发送重试的消息54的指令，并且，如果操作未成功完成，则执行其它动作。
无论是作为解译46b请求的服务器进程的一部分，还是作为确定是否需要附加动作的服务器进程的一部分，移动设备访问管理应用 21还将使用位置数据来确定移动设备是否在距离移动设备访问管理应用21寻求控制的设备的预定义距离内。例如，如果需要设备/***与移动设备的接近度，则移动设备20可以存储指示每个设备/***是否存在对设备/***与移动设备的接近度的需要的参数。如果有该需要，则将包括值。因此，例如，可以设置指示控制安全***的移动设备必须在处所的50英尺内的协议。
例如，如果处理是要使***12解除布防并且***12在执行动作之前需要其它信息(诸如认证)，或者如果***12需要确定该动作对于用户是否被授权或有效，则***12将在执行与接收到的请求相关联的动作之前将该处理作为确定特征48的一部分来执行。如果附加处理被成功执行，则执行50与该请求对应的动作。否则，***12 可以采取其它动作，诸如重试或锁定或仅退出。
依赖于要由客户端设备20控制的***的性质，客户端设备上的移动设备访问管理应用21与要被控制的设备/***上的对应的应用相关联地执行必要的处理。
现在参考图4，移动设备访问管理应用21处理被动请求以及上面讨论的主动请求。在该模式下，客户端设备20上的服务器进程接收62指示用户在地理位置中的存在的信息。移动设备访问管理应用 21使用一个或多个算法基于存在信息来确定64被动请求的存在。这些算法依赖于移动设备访问管理应用21寻求控制的设备/***、要控制的设备/***的当前状态以及用户设备20相对于要控制的设备/***的位置，如由存在数据确定的。即，为了处理接收到的存在数据以确定用户是否已经做出隐式请求，服务器进程确定距离要被控制的设备/***的距离和/或确定用户设备20在特定位置内的存在。
服务器进程还确定56所做出的被动请求是否需要手势66。如果服务器进程确定所做出的被动请求不需要手势，则服务器进程确定或执行68控制动作所需的任何其它处理。对“控制动作所需的其它处理”的需求依赖于请求中涉及的特定控制动作并且可能不是所有请求所需的处理。
另一方面，如果服务器进程确定所做出的被动请求需要手势，则服务器进程捕获70用户手势(如果没有捕获任何手势，则进程可以退出或等待捕获手势或采取未示出的其它动作)。执行动作的一些请求要求同时接收手势，而其它请求可能不要求。要求后续接收手势的那些请求处理手势以使应用21确定请求具体需要什么动作。为了处理捕获的手势，服务器进程应用以下规则集合：首先检测手势，然后将检测到的手势映射成识别出的手势并识别手势72。
服务器进程基于请求、存在信息和识别的手势来应用规则集合以确定或解译74请求，从而确定或解译在请求中涉及什么特定的控制动作。如果移动设备访问管理应用21确定76由请求指定的唯一动作，则移动设备访问管理应用21确定动作是否需要其它处理68。
因此，不论是对于仅需要存在信息的动作还是需要存在数据和手势数据二者的动作，通过发送78执行命令的消息并在用户设备20上从被控制的***/设备接收80确认该动作的执行的消息，移动设备访问管理应用21采取适当的预定义动作来控制远程***/设备。如果没有从存在数据和手势数据确定请求，则进程使用户设备20发出重试消息或以其它方式退出请求处理82。
现在参考图4A和4B，所描述的技术涉及识别用户位置并提供用户目前在哪里以及在做什么的背景的计算机处理。可以使用若干方式来识别用户的设备在处所内的位置(例如，包括使用射频(r.f)检测器、运动检测器和其它存在传感器技术的房屋)。可以使用若干方式来识别手势或识别要与其进行交互的设备，方式包括特定于手势的动作(运动)，以及内置在例如手表和智能电话中的图像识别。
如图4A中所示，客户端设备20上的处理64(图3)包括从位置传感器类型传感器接收存在数据62(图3)。处理64处理来自许多不同类型的传感器的数据，包括Wi-Fi(或其它R.F.信号)以用于利用部署在处所中的对应传感器进行三角测量，以及处理全球定位***数据(GPS)以找出与消费者的当前位置关联的坐标。可以使用其它传感器，尤其是当有用户在某个位置的存在的一些现有知识时。因此，例如，可以使用处理湿度的传感器来指示用户处于高湿度区域中，其中，如果先前通过Wi-Fi或GPS确定用户在用户的家中，则可以使用该设备推断用户在浴室或厨房里。
客户端设备上的处理64还包括处理64a来自这些传感器的这种数据，以建立用户在处所的空间内的位置坐标。客户端设备20上的处理64a处理来自数据库的数据，该数据库保存关于用户可以通过被动请求来控制的设备/***的数据。移动设备访问管理应用21的处理 64还确定64b客户端设备20是否在可以经由被动请求来控制的此类设备/***中的一个或多个的范围内。若否，则客户端设备继续64a 处理来自传感器的数据。处理64从数据库中检索64c被确定为在客户端设备的范围内并且可以利用被动请求来控制的设备的那些记录。
如图4B中所示，除了处理存在数据(图4A)，客户端设备20 上的处理64(图3)还可以处理64d来自其它不同类型的传感器的数据，包括来自气压计、光度计、湿度检测器和温度计的传感器数据，以提供对用户的当前状态的洞察。例如，客户端设备上的光度计确定环境光照条件，并且，例如，处理可以确定用户的位置在黑暗的位置并且手势为向上，因此处理可以推断用户希望灯打开。另一个例子是温度计指示温度低于正常舒适阈值，并且用户执行处理推测为增加热量的命令的圆形顺时针手势。
各种其它传感器包括用户设备20上的陀螺仪传感器、重力传感器、磁力计以及旋转矢量传感器或取向传感器。这些后述的传感器是具有过滤和净化的数据以便于解译的传感器的组合。其它传感器包括加速度计，以便获知倾斜、俯仰、滚动，以及用于取向数据的其它传感器。
对于由用户通过用户设备请求的所选择的控制动作，在实现一个或多个认证过程之前或之后，用户设备20可以被配置为通过移动设备访问管理应用22来执行此类动作。移动设备访问管理应用从例如内置在设备中的r.f.检测器接收存在识别数据，或者从运动检测器设备接收运动识别数据。可以使用其它存在识别方法。移动设备访问管理应用21在接收到存在信息时可以确定客户端设备20的位置。在某个时间点，移动设备访问管理应用21接收手势并处理手势以识别手势，诸如利用图像识别，或者使用其它传感器(诸如加速度计，以便实现倾斜、俯仰、滚动)，或者在手表上的表盘等上执行简单的手表自动化控制操作。
可以被控制的示例性物品包括
Figure GDA0002580857660000101
设备(诸如音频设备，以使设备播放、暂停、移动到下一个或前一个轨道、静音等)、车库门开启***、具有电子锁的外门、灯、百叶帘/窗帘、恒温器、电器继电器以及使安全***布防/解除布防并在安全***上执行其它动作，如图1中那样。
使用示例场景：
用户走到用户的房屋，并且当用户接近房屋的前门时，用户客户端设备20(例如，用户的智能手表)具有接收例如从门上的电子锁发送的信号的蓝牙接收器/发送器。因此，在手表上执行的移动设备访问管理应用21识别例如从门上的电子锁发送的信号，并将该信号作为请求来处理。移动设备访问管理应用21确定用户的手表是否在前门的预定距离内(例如通过GPS坐标，以及或者通过用户例如扭动他/她的手来提供手势以模拟开门或者仅仅通过走向门的动作)，移动设备访问管理应用处理请求，并且在手表上执行的移动设备访问管理应用21将信号发送到门上的电子锁，从而使门上的电子锁解锁。在手表上执行的移动设备访问管理应用21可以是认证过程，该认证过程使用户能够并且只有用户能够让移动设备访问管理应用21执行。
继续该示例，手表内部的运动检测器识别运动，也识别手表的存在，从而向手表发送通知消息，以便让用户解除布防(例如，使发出警报延迟30秒)，提示用户在手表上输入代码，一旦输入，房屋报警器就被解除布防。
用户走进厨房并且用户在厨房中的存在被识别出。用户向上挥动一只手并且手表将该手势识别为打开厨房中的灯光的命令。手表向***发送打开灯的命令。用户将他的手朝着蓝牙控制的音频设备向前推。手表和设备进行连接，并且默认的播放列表开始播放。用户离开房间并且灯关闭(手表的存在已被移除)，音乐停止。用户在起居室里将他/她的手向外挥动，并且百叶窗打开以允许光进入。用户旋转他/她的手(以用于唤醒的命令手势)，然后顺时针旋转，以使用手表上可视地显示的界面来增加房间的温度。用户决定离开房屋。用户的存在已被移除，因此门锁上，百叶窗关闭，灯关闭，恒温器调节，并且用户的手表接收到用户已离开房屋并且应当使房屋报警***“布防”的通知消息。用户确认并输入他/她的个人识别码(pin)，以使报警***布防。
现在参考图5A-5H，示出了作为智能手表90的用户设备20的示例。智能手表90可以是对于用户设备20具有图2中所讨论的特征的功能的任何商业可用的智能手表。智能手表90具有面显示器部92。面显示器92经由LCD、LED、电子墨水或其它合适的显示技术电子地生成。所示出的智能手表90的面92将呈现各种屏幕，一般而言，如下面所讨论的，在选择来自较高级屏幕的图标时，在顶级或高级屏幕的层次结构中呈现下级屏幕。
图5A示出了如正常手表那样具有面92的智能手表90，其中外观是面92显示具有当前时间的屏幕94a。
图5B示出了具有面92的智能手表90，其中移动设备访问管理应用21正呈现出现在面92上的界面94b(顶级或高级屏幕)。在该实现方式中，通过用户滑动(例如表面92上的箭头96b所指示的向上滑动)，移动设备访问管理应用21进入安全应用，其中用户可以提供密码(如果应用被这样配置)。可替代地，可以通过语音识别命令来调用安全应用。
图5C示出了具有面92的智能手表90，其中移动设备访问管理应用21呈现显示在面显示器上的界面(替代的上级屏幕)，从而提供与自动化和安全操作相关联的可滚动项目94c(图标)。在该实现方式中，显示电子锁应用图标96c-1、灯应用图标96c-3、相机应用图标96c-2和恒温器应用图标96c-4。其它应用(app)可以通过向上 /向下滑动来提供和显示，诸如通过移动设备访问管理应用21来控制安全***的安全应用。
图5D示出了具有面92的智能手表90，其中面92具有通过选择恒温器应用96c-4(图5C)产生的恒温器界面94d。从恒温器界面 94d，可以通过在面显示器92上显示的移动设备访问管理应用21来控制恒温器。从这个屏幕，利用在合适的可控恒温器(未示出)附近的智能手表90或者直接控制这种恒温器的计算设备(未示出)，通过用户从白色刻度向左或向右滑动他/她的手指来调节温度点，背景基于制热、制冷而改变颜色。
图5E示出了具有面92的智能手表90，其中面92呈现界面屏幕 94e，界面屏幕94e来自移动设备访问管理应用21的锁应用96c-1 (图5C)的选择。通过靠近门的智能手表90，通过用户在门图标上滑动他/她的手指，锁将解锁。可替代地，在锁应用模式下，用户可以仅仅接近门，并且最靠近的门的门上的锁将通过智能手表解锁，从而使面92显示具有被编程为由应用21控制的电子锁(未示出)的门的图标。应用将产生被发送到电子锁的适当消息，从而使门(最靠近智能手表90的门)被显示(例如前门96e以绿色显示)，基于处理器根据手表和锁应用的配置处理接近度数据和/或接近度和手势数据而被自动解锁。
图5F示出了具有面92的智能手表90，其中面92呈现移动设备访问管理应用21的灯应用，从而在面显示器上显示图标94f。在客户端设备20在灯附近的情况下，通过在灯图标上滑动用户的手指，灯将打开。可替代地，用户通过仅接近灯将使面显示被编程的灯图标，从而使其中一个灯(例如，对于前门以绿色显示的灯)基于处理器根据手表和灯应用的配置处理接近度数据和/或接近度和手势数据而被自动打开。
图5G-5H示出了智能手表面，其具有启用的移动设备访问管理应用的安全应用以及在面显示器上显示的用于使图1中的安全***布防和解除布防的图标。通过轻击智能手表的面92，移动设备访问管理应用21产生适当的信号，以将图1的安全***在布防状态与解除布防状态之间切换。
一般而言，***的使用示例包括防盗报警器、火灾报警器(用于检查确认报警器的核对标记手势)、停车或门禁控制设备，以及照明、闭路电视(CCTV)(如果用户被授权访问并且用户位于相机附近，则用户可指向相机以流传输视频)。可以使用视频流传输技术将视频作为小剪辑流传输到移动设备。
其它使用示例包括访问控制、恒温控制，例如，如上面所讨论的，示出基于顺时针或逆时针旋转上升或下降的数字的圆形手势(或者在手表的表盘上，或者通过用户的持有附接到用户的手腕的移动设备或手表的手)，以改变恒温器上的温度以及控制音乐。另一个使用示例是对对讲机的控制，例如，用户不在对讲机按钮附近，但是手表具有麦克风和扬声器，并且来自对讲机的信号被转发到手表，并且信号从手表发送到对讲机的情况。其它控制场景包括对车库、百叶窗、残疾人便利设施、电器和电视或其它娱乐电子产品的控制。其它示例包括电气池盖(手臂在池附近挥动启用马达来打开或关闭池)、解锁计算机工作站(示例-当用户在附近时上下上下的拍击可以解锁我们的工作站)、解锁电话或其它设备(示例-在电话的4英寸以内轻轻地左右左右摇晃手腕以解锁屏幕)。在两个智能设备之间交换数据或信息(示例-握手提示手表接受接触卡)。其它使用示例包括利用接近和向上扫过或画圆的用户手势进行车辆解锁，以基于车辆和用户的GPS坐标远程启动。
在每个使用示例中，远程受控的***和/或设备中特定的一个对于可以由用户设备控制的每个命令具有格式以及该***/设备可以在其上接收命令的IP地址。智能手表处理器根据针对特定***/设备指定的格式的命令产生消息，以执行由***/设备中特定的一个确定的控制动作。
因此，所描述的实现方式涉及识别用户的当前位置以及响应于手势而基于手势和位置来执行智能的动作。
其它使用示例可以涉及办公楼自动化、安全和防火***、家庭自动化及其它行业。各种可穿戴传感器和基于位置的技术的使用使用户设备能够做出智能的决策，这将使作业、生活和交互更加无缝和高效。
对于控制安全***的安全应用，由/从用户设备20生成的信息被发送到中央监控站。示例监控站可以是图1中的单个物理监控站或中心。但是，它也可以可替代地由多个监控中心/站形成，其中每一个位于不同的物理位置，并且每一个都与数据网络通信。中央监控站 18包括一个或多个监控服务器，每个监控服务器处理来自由该监控站服务的订户的面板和/或用户设备的消息。可选地，监控服务器还可以参与双向音频通信或以其它方式经网络与适当装备的互连面板和 /或用户设备通信。
监控服务器可以包括处理器、网络接口和存储器(未示出)。监控服务器可以物理地采取机架安装的卡的形式，并且可以与一个或多个操作员终端通信。示例监控服务器是SURGARDTMSG-System III Virtual或类似的接收器。
每个监控服务器的处理器充当每个监控服务器的控制器，并且与每个服务器通信并控制整体操作。处理器可以包括存储处理器可执行指令的存储器或者与其通信，其中指令控制监控服务器的整体操作。合适的软件可以存储在每个监控服务器的存储器中，该合适的软件使每个监控服务器能够针对不同的安全***认证用户，确定所请求的控制动作是否可以基于从其发送请求的用户设备的位置在安全***执行，或者执行其它功能。软件可以包括合适的互联网协议(IP)栈和应用 /客户端。
示例用户设备包括显示器和小键盘，并且，在一些实现方式中，用户设备是智能电话。小键盘可以是物理小键盘，或者可以是在显示器的一部分中显示的虚拟小键盘。用户可以通过小键盘和显示器与在用户设备上运行的(一个或多个)应用交互。用户设备还包括相机、免提电话和麦克风。
在结构上，用户设备还包括用于执行软件指令并执行功能的处理器，其中功能诸如用户设备的原始预期功能(诸如蜂窝电话呼叫、互联网浏览等)以及附加功能(诸如对于安全***的用户认证过程、与安全***和/或安全***的监控站的通信，和/或地理限制的应用以控制要由安全***执行的动作。用户设备的存储器存储与执行软件指令相关联的软件指令和/或操作数据。可选地，指令和数据也可以存储在用户设备的存储设备(未示出)中。用户设备还包括在不同元件 (诸如用户设备的相机、显示器、小键盘、处理器、存储器等)之间提供连接的一个或多个设备接口。用户设备还包括用于与(一个或多个)外部网络(诸如图1的网络)以及其它设备进行通信的一个或多个网络接口。
存储器存储用户设备和服务器使用的程序指令和数据。所存储的程序指令可以在用户设备上执行功能。存储在存储器中的程序指令还存储允许网络通信和建立与网络的连接的软件部件。例如，软件部件可以包括互联网协议(IP)栈，以及用于各种接口(包括接口和小键盘)的驱动器部件。适用于用户设备的操作、建立连接和经网络通信的其它软件部件(诸如操作***)对于普通技术人员将是清楚的。
虽然描述了方法和***的某些实施例，但是这些实施例中可以包括变化，或者也可以使用其它实施例。其它实施例在以下权利要求的范围内。

Claims (12)

1.一种移动设备，包括：
运动传感器，被配置为检测移动设备的运动；
全球定位收发器，被配置为收集移动设备的位置数据；和
处理电路，被配置为：
从全球定位收发器接收第一位置数据；
基于第一位置数据，识别位于距移动设备第一预定距离处的第一远程***；
确定对第一远程***的第一被动请求，其中第一被动请求不要求附加动作；
确定要从移动设备自动发送到第一远程***的与第一被动请求相关联的被动控制命令；
从全球定位收发器接收第二位置数据；
基于第二位置数据，识别位于距移动设备第二预定距离处的第二远程***；
确定对第二远程***的第二被动请求，其中第二被动请求要求附加动作；
响应于第二被动请求要求附加动作的指示，从运动传感器接收手势数据，该手势数据与移动设备的用户做出的手势相关联；
通过根据一组规则映射手势数据来识别手势；
确定手势是否满足第二被动请求的附加动作要求；
响应于确定手势不满足附加动作要求，向移动设备的用户呈现提示用户重试附加动作的重试消息；
响应于确定手势满足附加动作要求并基于手势和第二被动请求，确定要从移动设备发送到第二远程***的与控制动作相关联的控制命令；以及
使包含控制命令的消息从移动设备发送到第二远程***，以由第二远程***执行控制动作。
2.如权利要求1所述的移动设备，其中第二远程***是安全***，并且所述处理电路包括处理器，并且所述处理器还被配置为针对访问第二远程***并对其执行控制动作来认证用户。
3.一种移动设备，包括：
运动传感器，被配置为检测移动设备的运动；
处理器设备；
全球定位收发器设备，被配置为收集移动设备的位置数据；
存储器，与所述处理器设备通信；以及
存储设备，存储用于由所述处理器设备使用所述存储器执行的计算指令的程序，所述程序包括被配置为使所述处理器设备执行以下操作的指令：
从全球定位收发器设备接收第一位置数据；
基于第一位置数据，识别位于距移动设备第一预定距离处的第一远程***；
确定对第一远程***的第一被动请求，其中第一被动请求不要求附加动作；
确定要从移动设备自动发送到第一远程***的与第一被动请求相关联的被动控制命令；
从全球定位收发器设备接收第二位置数据；
基于第二位置数据，识别位于距移动设备第二预定距离处的第二远程***；
确定对第二远程***的第二被动请求，其中第二被动请求要求附加动作；
响应于第二被动请求要求附加动作的指示，从运动传感器接收手势数据，该手势数据与移动设备的用户做出的手势相关联；
通过根据一组规则映射手势数据来识别手势；
确定手势是否满足第二被动请求的附加动作要求；
响应于确定手势不满足附加动作要求，向移动设备的用户呈现提示用户重试附加动作的重试消息；
响应于确定手势满足附加动作要求并基于手势和第二被动请求，确定要从移动设备发送到第二远程***的与控制动作相关联的控制命令；以及
使包含控制命令的消息从移动设备发送到第二远程***，以由第二远程***执行控制动作。
4.如权利要求3所述的移动设备，其中所述运动传感器是加速度计。
5.如权利要求3所述的移动设备，其中所述设备包括近场收发器，该近场收发器被配置为确定接收手势数据的用户的存在。
6.如权利要求3所述的移动设备，其中所述处理器设备还被配置为在第二远程***执行控制动作之后从第二远程***接收消息。
7.如权利要求3所述的移动设备，其中所述移动设备是智能手表，并且所述智能手表执行访问管理应用，所述访问管理应用应用一组基于规则的存在信息来确定第二被动请求以及该请求所要求的附加动作。
8.如权利要求3所述的移动设备，其中所述移动设备是包括显示设备的智能手表，并且所述程序包括在所述显示设备上呈现图形用户界面的指令，所述图形用户界面显示用于用户执行手势的指令。
9.如权利要求8所述的移动设备，其中呈现所述图形用户界面的指令包括呈现屏幕的指令，该屏幕包括与由所述处理器设备执行以控制第一远程***或第二远程***中的至少一个的应用对应的图标。
10.如权利要求9所述的移动设备，其中呈现所述图形用户界面的指令包括在选择所述图标中的一个时呈现第二屏幕集合的指令，其中所述第二屏幕集合包括被用来执行所述控制动作的第二图标集合。
11.一种控制***，包括：
第一远程子***；
第二远程子***；以及
移动设备，远离第一远程子***和第二远程子***，所述移动设备包括：
处理器设备；
运动传感器，被配置为感测移动设备的运动；
全球定位收发器设备，被配置为收集移动设备的位置数据；
存储器，与所述处理器设备通信；以及
存储设备，存储用于由所述处理器设备使用所述存储器执行的计算指令的程序，所述程序包括被配置为使所述处理器设备执行以下操作的指令：
从全球定位收发器设备接收第一位置数据；
基于第一位置数据，识别位于距移动设备第一预定距离处的第一远程***；
确定对第一远程***的第一被动请求，其中第一被动请求不要求附加动作；
确定要从移动设备自动发送到第一远程***的与第一被动请求相关联的被动控制命令；
从全球定位收发器设备接收第二位置数据；
基于第二位置数据，识别位于距移动设备第二预定距离处的第二远程***；
确定对第二远程***的第二被动请求，其中第二被动请求要求附加动作；
响应于第二被动请求要求附加动作的指示，从运动传感器接收手势数据，该手势数据与移动设备的用户做出的手势相关联；
通过根据一组规则映射手势数据来识别手势；
确定手势是否满足第二被动请求的附加动作要求；
响应于确定手势不满足附加动作要求，向移动设备的用户呈现提示用户重试附加动作的重试消息；
响应于确定手势满足附加动作要求并基于手势和第二被动请求，确定要从移动设备发送到第二远程***的与控制动作相关联的控制命令；以及
使包括所确定的主动控制命令的消息从移动设备发送到第二远程***，以使第二远程***执行与所确定的主动控制命令相关联的所确定的控制动作。
12.如权利要求11所述的***，其中所述第二远程***是安全***并且所述移动设备是智能手表，其中，当所述移动设备在所述安全***的限定的接近度以内并且已经基于手势确定了控制动作时，所述移动设备使所述安全***布防或解除布防。
CN201580071868.3A 2014-12-30 2015-12-30 基于背景的手势识别和控制 Active CN107852566B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201462097648P 2014-12-30 2014-12-30
US62/097,648 2014-12-30
US14/982,113 2015-12-29
US14/982,113 US20160187995A1 (en) 2014-12-30 2015-12-29 Contextual Based Gesture Recognition And Control
PCT/US2015/068013 WO2016109636A1 (en) 2014-12-30 2015-12-30 Contextual based gesture recognition and control

Publications (2)

Publication Number Publication Date
CN107852566A CN107852566A (zh) 2018-03-27
CN107852566B true CN107852566B (zh) 2020-12-18

Family

ID=56164091

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580071868.3A Active CN107852566B (zh) 2014-12-30 2015-12-30 基于背景的手势识别和控制

Country Status (4)

Country Link
US (1) US20160187995A1 (zh)
EP (1) EP3241372B1 (zh)
CN (1) CN107852566B (zh)
WO (1) WO2016109636A1 (zh)

Families Citing this family (84)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10237237B2 (en) 2007-06-12 2019-03-19 Icontrol Networks, Inc. Communication protocols in integrated systems
US10721087B2 (en) 2005-03-16 2020-07-21 Icontrol Networks, Inc. Method for networked touchscreen with integrated interfaces
US11916870B2 (en) 2004-03-16 2024-02-27 Icontrol Networks, Inc. Gateway registry methods and systems
US11343380B2 (en) 2004-03-16 2022-05-24 Icontrol Networks, Inc. Premises system automation
US11811845B2 (en) 2004-03-16 2023-11-07 Icontrol Networks, Inc. Communication protocols over internet protocol (IP) networks
US11677577B2 (en) 2004-03-16 2023-06-13 Icontrol Networks, Inc. Premises system management using status signal
US11244545B2 (en) 2004-03-16 2022-02-08 Icontrol Networks, Inc. Cross-client sensor user interface in an integrated security network
US11368327B2 (en) 2008-08-11 2022-06-21 Icontrol Networks, Inc. Integrated cloud system for premises automation
JP2007529826A (ja) 2004-03-16 2007-10-25 アイコントロール ネットワークス， インコーポレイテッド 対象事項管理ネットワーク
US20120324566A1 (en) 2005-03-16 2012-12-20 Marc Baum Takeover Processes In Security Network Integrated With Premise Security System
US11700142B2 (en) 2005-03-16 2023-07-11 Icontrol Networks, Inc. Security network integrating security system and network devices
US20110128378A1 (en) 2005-03-16 2011-06-02 Reza Raji Modular Electronic Display Platform
US7633385B2 (en) 2007-02-28 2009-12-15 Ucontrol, Inc. Method and system for communicating with and controlling an alarm system from a remote server
US8451986B2 (en) 2007-04-23 2013-05-28 Icontrol Networks, Inc. Method and system for automatically providing alternate network access for telecommunications
US11212192B2 (en) 2007-06-12 2021-12-28 Icontrol Networks, Inc. Communication protocols in integrated systems
US11646907B2 (en) 2007-06-12 2023-05-09 Icontrol Networks, Inc. Communication protocols in integrated systems
US11218878B2 (en) 2007-06-12 2022-01-04 Icontrol Networks, Inc. Communication protocols in integrated systems
US12003387B2 (en) 2012-06-27 2024-06-04 Comcast Cable Communications, Llc Control system user interface
US10223903B2 (en) 2010-09-28 2019-03-05 Icontrol Networks, Inc. Integrated security system with parallel processing architecture
US11831462B2 (en) 2007-08-24 2023-11-28 Icontrol Networks, Inc. Controlling data routing in premises management systems
US11916928B2 (en) 2008-01-24 2024-02-27 Icontrol Networks, Inc. Communication protocols over internet protocol (IP) networks
US20170185278A1 (en) * 2008-08-11 2017-06-29 Icontrol Networks, Inc. Automation system user interface
US11729255B2 (en) 2008-08-11 2023-08-15 Icontrol Networks, Inc. Integrated cloud system with lightweight gateway for premises automation
US10530839B2 (en) 2008-08-11 2020-01-07 Icontrol Networks, Inc. Integrated cloud system with lightweight gateway for premises automation
US11792036B2 (en) 2008-08-11 2023-10-17 Icontrol Networks, Inc. Mobile premises automation platform
US11758026B2 (en) 2008-08-11 2023-09-12 Icontrol Networks, Inc. Virtual device systems and methods
US8638211B2 (en) 2009-04-30 2014-01-28 Icontrol Networks, Inc. Configurable controller and interface for home SMA, phone and multimedia
TWI439960B (zh) 2010-04-07 2014-06-01 Apple Inc 虛擬使用者編輯環境
US8836467B1 (en) 2010-09-28 2014-09-16 Icontrol Networks, Inc. Method, system and apparatus for automated reporting of account and sensor zone information to a central station
US11750414B2 (en) 2010-12-16 2023-09-05 Icontrol Networks, Inc. Bidirectional security sensor communication for a premises security system
US9804759B2 (en) 2012-05-09 2017-10-31 Apple Inc. Context-specific user interfaces
US9594567B2 (en) 2013-02-21 2017-03-14 Dell Products, Lp Configuring a trusted platform module
US11017069B2 (en) * 2013-03-13 2021-05-25 Lookout, Inc. Method for changing mobile communications device functionality based upon receipt of a second code and the location of a key device
US9763097B2 (en) * 2013-03-13 2017-09-12 Lookout, Inc. Method for performing device security corrective actions based on loss of proximity to another device
US10360364B2 (en) 2013-03-13 2019-07-23 Lookout, Inc. Method for changing mobile communication device functionality based upon receipt of a second code
US9786997B2 (en) 2013-08-01 2017-10-10 Centurylink Intellectual Property Llc Wireless access point in pedestal or hand hole
US10154325B2 (en) 2014-02-12 2018-12-11 Centurylink Intellectual Property Llc Point-to-point fiber insertion
US10276921B2 (en) 2013-09-06 2019-04-30 Centurylink Intellectual Property Llc Radiating closures
US9780433B2 (en) 2013-09-06 2017-10-03 Centurylink Intellectual Property Llc Wireless distribution using cabinets, pedestals, and hand holes
US11405463B2 (en) 2014-03-03 2022-08-02 Icontrol Networks, Inc. Media content management
US10452253B2 (en) 2014-08-15 2019-10-22 Apple Inc. Weather user interface
US20160217631A1 (en) * 2015-01-27 2016-07-28 Robert Bosch Gmbh Method and system for integrating wearable articles into operation of building management systems
KR102354943B1 (ko) * 2015-05-20 2022-01-25 삼성전자주식회사 전자 장치가 외부 기기를 제어하는 방법 및 상기 전자 장치
US10375172B2 (en) 2015-07-23 2019-08-06 Centurylink Intellectual Property Llc Customer based internet of things (IOT)—transparent privacy functionality
US10623162B2 (en) 2015-07-23 2020-04-14 Centurylink Intellectual Property Llc Customer based internet of things (IoT)
WO2017017115A1 (en) * 2015-07-28 2017-02-02 Koninklijke Philips N.V. Check-in service on personal help button
CN107921317B (zh) 2015-08-20 2021-07-06 苹果公司 基于运动的表盘和复杂功能块
KR102406307B1 (ko) * 2016-01-05 2022-06-08 삼성전자주식회사 잠금 장치 제어를 위한 방법 및 그 장치
US10412064B2 (en) 2016-01-11 2019-09-10 Centurylink Intellectual Property Llc System and method for implementing secure communications for internet of things (IOT) devices
KR20180089907A (ko) * 2016-02-04 2018-08-09 애플 인크. 무선 레인징에 기초한 전자 디바이스들의 제어 및 정보의 디스플레이
US10832665B2 (en) * 2016-05-27 2020-11-10 Centurylink Intellectual Property Llc Internet of things (IoT) human interface apparatus, system, and method
US10389987B2 (en) * 2016-06-12 2019-08-20 Apple Inc. Integrated accessory control user interface
US10249103B2 (en) 2016-08-02 2019-04-02 Centurylink Intellectual Property Llc System and method for implementing added services for OBD2 smart vehicle connection
US11117535B2 (en) * 2016-08-18 2021-09-14 Apple Inc. System and method for interactive scene projection
US10110272B2 (en) 2016-08-24 2018-10-23 Centurylink Intellectual Property Llc Wearable gesture control device and method
US10687377B2 (en) 2016-09-20 2020-06-16 Centurylink Intellectual Property Llc Universal wireless station for multiple simultaneous wireless services
JP6517179B2 (ja) * 2016-11-15 2019-05-22 京セラ株式会社 電子機器、プログラムおよび制御方法
US9867112B1 (en) 2016-11-23 2018-01-09 Centurylink Intellectual Property Llc System and method for implementing combined broadband and wireless self-organizing network (SON)
US10426358B2 (en) 2016-12-20 2019-10-01 Centurylink Intellectual Property Llc Internet of things (IoT) personal tracking apparatus, system, and method
US10193981B2 (en) 2016-12-23 2019-01-29 Centurylink Intellectual Property Llc Internet of things (IoT) self-organizing network
US10222773B2 (en) 2016-12-23 2019-03-05 Centurylink Intellectual Property Llc System, apparatus, and method for implementing one or more internet of things (IoT) capable devices embedded within a roadway structure for performing various tasks
US10150471B2 (en) 2016-12-23 2018-12-11 Centurylink Intellectual Property Llc Smart vehicle apparatus, system, and method
US10637683B2 (en) 2016-12-23 2020-04-28 Centurylink Intellectual Property Llc Smart city apparatus, system, and method
US10735220B2 (en) 2016-12-23 2020-08-04 Centurylink Intellectual Property Llc Shared devices with private and public instances
US10146024B2 (en) 2017-01-10 2018-12-04 Centurylink Intellectual Property Llc Apical conduit method and system
KR102638911B1 (ko) * 2017-02-24 2024-02-22 삼성전자 주식회사 복수의 IoT 장치들을 제어하기 위한 방법 및 장치
DK179412B1 (en) 2017-05-12 2018-06-06 Apple Inc Context-Specific User Interfaces
US10627794B2 (en) 2017-12-19 2020-04-21 Centurylink Intellectual Property Llc Controlling IOT devices via public safety answering point
US10629041B2 (en) * 2018-04-19 2020-04-21 Carrier Corporation Biometric feedback for intrusion system control
CN110415391B (zh) * 2018-04-27 2024-03-05 开利公司 使用可佩戴设备的无缝进入控制***
US11722764B2 (en) 2018-05-07 2023-08-08 Apple Inc. Creative camera
US11327650B2 (en) 2018-05-07 2022-05-10 Apple Inc. User interfaces having a collection of complications
US11960701B2 (en) 2019-05-06 2024-04-16 Apple Inc. Using an illustration to show the passing of time
US11363071B2 (en) 2019-05-31 2022-06-14 Apple Inc. User interfaces for managing a local network
US10904029B2 (en) 2019-05-31 2021-01-26 Apple Inc. User interfaces for managing controllable external devices
US11287895B2 (en) * 2020-02-21 2022-03-29 Toyota Motor Engineering & Manufacturing North America, Inc. System for remote vehicle door and window opening
CN115904596B (zh) 2020-05-11 2024-02-02 苹果公司 用于管理用户界面共享的用户界面
US11921998B2 (en) 2020-05-11 2024-03-05 Apple Inc. Editing features of an avatar
DK202070625A1 (en) * 2020-05-11 2022-01-04 Apple Inc User interfaces related to time
US11589010B2 (en) 2020-06-03 2023-02-21 Apple Inc. Camera and visitor user interfaces
US11921992B2 (en) 2021-05-14 2024-03-05 Apple Inc. User interfaces related to time
US20220365667A1 (en) * 2021-05-15 2022-11-17 Apple Inc. User interfaces for managing accessories
US11938376B2 (en) 2021-05-15 2024-03-26 Apple Inc. User interfaces for group workouts
US11776190B2 (en) 2021-06-04 2023-10-03 Apple Inc. Techniques for managing an avatar on a lock screen

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1680931A2 (en) * 2003-11-04 2006-07-19 Universal Electronics, Inc. System and method for controlling device location determination
CN102789218A (zh) * 2012-07-20 2012-11-21 大连理工大学 一种基于多控制器的Zigbee智能家居***
CN102939576A (zh) * 2010-06-16 2013-02-20 高通股份有限公司 用于基于手势的远程控制的方法和装置
CN103155428A (zh) * 2010-10-06 2013-06-12 三星电子株式会社 便携式终端中用于自适应手势识别的装置和方法
CN103324425A (zh) * 2012-12-13 2013-09-25 重庆优腾信息技术有限公司 一种基于手势的命令执行的方法与装置
CN103377671A (zh) * 2012-04-20 2013-10-30 鸿富锦精密工业（深圳）有限公司 远程控制方法与***以及使用所述方法之移动设备

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102007009870B4 (de) * 2007-02-28 2018-05-17 Bayerische Motoren Werke Aktiengesellschaft Verfahren zur Steuerung eines automatischen Abschaltvorgangs und/oder Anschaltvorgangs einer Brennkraftmaschine in einem Kraftfahrzeug
US20080238667A1 (en) * 2007-03-30 2008-10-02 Proxwear, Llc Clothing and Accessories that Operate Radio Frequency Identification Enabled Security Devices
US8224313B2 (en) * 2008-09-24 2012-07-17 Centurylink Intellectual Property Llc System and method for controlling vehicle systems from a cell phone
KR101565768B1 (ko) * 2008-12-23 2015-11-06 삼성전자주식회사 휴대단말의 잠금 모드 해제 방법 및 장치
US8350694B1 (en) * 2009-05-18 2013-01-08 Alarm.Com Incorporated Monitoring system to monitor a property with a mobile device with a monitoring application
US8494544B2 (en) * 2009-12-03 2013-07-23 Osocad Remote Limited Liability Company Method, apparatus and computer program to perform location specific information retrieval using a gesture-controlled handheld mobile device
US8964298B2 (en) * 2010-02-28 2015-02-24 Microsoft Corporation Video display modification based on sensor input for a see-through near-to-eye display
US9141150B1 (en) * 2010-09-15 2015-09-22 Alarm.Com Incorporated Authentication and control interface of a security system
US20120254032A1 (en) * 2011-03-29 2012-10-04 Research In Motion Limited Mobile wireless communications device configured to authorize transaction based upon movement sensor and associated methods
EP2710562A1 (en) * 2011-05-02 2014-03-26 Apigy Inc. Systems and methods for controlling a locking mechanism using a portable electronic device
US8489065B2 (en) * 2011-05-03 2013-07-16 Robert M Green Mobile device controller application for any security system
US20130053007A1 (en) * 2011-08-24 2013-02-28 Microsoft Corporation Gesture-based input mode selection for mobile devices
US20130083003A1 (en) * 2011-09-30 2013-04-04 Kathryn Stone Perez Personal audio/visual system
US9462210B2 (en) * 2011-11-04 2016-10-04 Remote TelePointer, LLC Method and system for user interface for interactive devices using a mobile device
US9298912B2 (en) * 2012-04-24 2016-03-29 Behaviometrics Ab System and method for distinguishing human swipe input sequence behavior and using a confidence value on a score to detect fraudsters
US9330514B2 (en) * 2012-07-25 2016-05-03 Utc Fire & Security Corporation Systems and methods for locking device management
US9122966B2 (en) * 2012-09-07 2015-09-01 Lawrence F. Glaser Communication device
US9208676B2 (en) * 2013-03-14 2015-12-08 Google Inc. Devices, methods, and associated information processing for security in a smart-sensored home
US9600645B2 (en) * 2012-09-21 2017-03-21 Google Inc. Smart invitation handling at a smart-home
US11237719B2 (en) * 2012-11-20 2022-02-01 Samsung Electronics Company, Ltd. Controlling remote electronic device with wearable electronic device
US9477313B2 (en) * 2012-11-20 2016-10-25 Samsung Electronics Co., Ltd. User gesture input to wearable electronic device involving outward-facing sensor of device
WO2015112108A1 (en) * 2012-11-28 2015-07-30 Visa International Service Association Multi disparate gesture actions and transactions apparatuses, methods and systems
US9119068B1 (en) * 2013-01-09 2015-08-25 Trend Micro Inc. Authentication using geographic location and physical gestures
US9680726B2 (en) * 2013-02-25 2017-06-13 Qualcomm Incorporated Adaptive and extensible universal schema for heterogeneous internet of things (IOT) devices
US20140279508A1 (en) * 2013-03-14 2014-09-18 TollShare, Inc. Selective operation of executable procedures based on detected gesture and context
US8972722B2 (en) * 2013-07-30 2015-03-03 Google Inc. Controlling a current access mode of a computing device based on a state of an attachment mechanism
US10139914B2 (en) * 2013-09-13 2018-11-27 Nod, Inc. Methods and apparatus for using the human body as an input device
US9111214B1 (en) * 2014-01-30 2015-08-18 Vishal Sharma Virtual assistant system to remotely control external services and selectively share control
US9584503B2 (en) * 2014-06-19 2017-02-28 Vmware, Inc. Authentication to a remote server from a computing device having stored credentials
US20160178906A1 (en) * 2014-12-19 2016-06-23 Intel Corporation Virtual wearables

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1680931A2 (en) * 2003-11-04 2006-07-19 Universal Electronics, Inc. System and method for controlling device location determination
CN102939576A (zh) * 2010-06-16 2013-02-20 高通股份有限公司 用于基于手势的远程控制的方法和装置
CN103155428A (zh) * 2010-10-06 2013-06-12 三星电子株式会社 便携式终端中用于自适应手势识别的装置和方法
CN103377671A (zh) * 2012-04-20 2013-10-30 鸿富锦精密工业（深圳）有限公司 远程控制方法与***以及使用所述方法之移动设备
CN102789218A (zh) * 2012-07-20 2012-11-21 大连理工大学 一种基于多控制器的Zigbee智能家居***
CN103324425A (zh) * 2012-12-13 2013-09-25 重庆优腾信息技术有限公司 一种基于手势的命令执行的方法与装置

Also Published As

Publication number Publication date
US20160187995A1 (en) 2016-06-30
EP3241372A1 (en) 2017-11-08
CN107852566A (zh) 2018-03-27
EP3241372A4 (en) 2018-08-01
WO2016109636A1 (en) 2016-07-07
EP3241372B1 (en) 2020-09-23

Similar Documents

Publication Publication Date Title
CN107852566B (zh) 基于背景的手势识别和控制
US10902707B1 (en) Video monitoring and alarm verification technology
US8730029B2 (en) Tablet computer as user interface of security system
US8988215B1 (en) Monitoring system which tracks and analyzes characteristics of a mobile device that monitors a property with a monitoring application
US10991218B2 (en) Sharing video stream during an alarm event
US10223878B2 (en) Automatic illuminating user interface device
US10627999B2 (en) Method and system of interacting with building security systems
WO2020096969A1 (en) System and apparatus for a home security system
US10062265B2 (en) Adaptive exit arm times based on real time events and historical data in a home security system
US20150288764A1 (en) Method and apparatus for controlling smart terminal
US20170193809A1 (en) Adaptive Exception Handling in Security System
EP3188148B1 (en) Intrusinon alarm system with learned and dynamic entry delays
US10452963B2 (en) Arming and/or altering a home alarm system by specified positioning of everyday objects within view of a security camera
JP4402135B2 (ja) 機器制御システム、携帯端末及び制御装置
US10303137B2 (en) Structure modes for controlling various systems in closed environments
JP7361269B2 (ja) 制御システム、及び、制御方法
JP6776167B2 (ja) 警備システム、携帯端末、警備装置、警備方法及びプログラム
CN113811925A (zh) 安全***的动态分区
JP2019191959A (ja) 管理システム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant