CN104995581B - 电子设备的手势检测管理 - Google Patents
电子设备的手势检测管理 Download PDFInfo
- Publication number
- CN104995581B CN104995581B CN201380061436.5A CN201380061436A CN104995581B CN 104995581 B CN104995581 B CN 104995581B CN 201380061436 A CN201380061436 A CN 201380061436A CN 104995581 B CN104995581 B CN 104995581B
- Authority
- CN
- China
- Prior art keywords
- sensor
- microcontroller
- processing component
- action
- computing device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/26—Power supply means, e.g. regulation thereof
- G06F1/32—Means for saving power
- G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
- G06F1/3206—Monitoring of events, devices or parameters that trigger a change in power modality
- G06F1/3212—Monitoring battery levels, e.g. power saving mode being initiated when battery voltage goes below a certain level
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/26—Power supply means, e.g. regulation thereof
- G06F1/32—Means for saving power
- G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
- G06F1/3206—Monitoring of events, devices or parameters that trigger a change in power modality
- G06F1/3215—Monitoring of peripheral devices
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/26—Power supply means, e.g. regulation thereof
- G06F1/32—Means for saving power
- G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
- G06F1/3206—Monitoring of events, devices or parameters that trigger a change in power modality
- G06F1/3228—Monitoring task completion, e.g. by use of idle timers, stop commands or wait commands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/26—Power supply means, e.g. regulation thereof
- G06F1/32—Means for saving power
- G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
- G06F1/3234—Power saving characterised by the action undertaken
- G06F1/3293—Power saving characterised by the action undertaken by switching to a less power-consuming processor, e.g. sub-CPU
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/0304—Detection arrangements using opto-electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
- G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
- Y02D30/50—Reducing energy consumption in communication networks in wire-line communication networks, e.g. low power modes or reduced link rate
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- User Interface Of Digital Computer (AREA)
- Power Sources (AREA)
Abstract
通过在不同的处理部件当中***用于检测输入的传感器的管理来减小处理计算设备的手势输入所需的功率和处理容量的数量。相对高功率处理器***可监测传感器并当设备在活动状态中时确定手势的存在。当设备或至少处理器***进入睡眠模式时,传感器管理被转移到连接到传感器的至少一部分的微控制器,使得微控制器可分析传感器数据以确定唤醒行动被执行的可能性。响应于检测到唤醒行动,微控制器可接触部件例如功率管理部件以将处理器***置于活动状态中,并使处理器***能够重新开始传感器的管理。
Description
技术领域
本发明涉及电子设备识别技术领域,特别涉及一种电子设备的手势检测管理。
背景技术
人们越来越多地以新的和有趣的方式与计算机和其它电子设备交互。一种这样的交互方法涉及产生关于设备的可检测的运动或手势,其可使用照相机或其它这样的元件来检测。虽然图像识别可与现有的照相机一起用于确定各种类型的运动,但是分析全色高分辨率图像所需的处理的量通常非常高。这对于可具有有限的处理能力和/或有限的电池寿命的便携式设备可能特别成问题,使得图像捕获和处理总是不实际的。在很多情况中,设备将进入低功率或“睡眠”模式中,以便节约功率,其中设备的很多部件(包括各种处理器)将在低功率模式中,如果不是完全断电。由于在这样的低功率模式中处理器可阻止设备检测手势,然而,这可阻止使用手势来唤醒设备或以其它方式向设备指示回到活动状态中的能力。
发明内容
为了解决电子设备在低功率或“睡眠”模式中处理器阻止手势来唤醒设备或以其它方式向设备指示回到活动状态的问题,本发明一方面提供了一种计算设备,其包括:
至少一个设备传感器;
处理器子***,其至少包括连接到所述至少一个设备传感器的传感器处理部件;
微控制器,其连接到所述至少一个设备传感器和所述处理器子***;以及
至少一个存储器设备,其包括可操作来被执行以执行一组行动的指令,使所述计算设备:
使用所述传感器处理部件在所述传感器处理部件在活动状态中操作时的时间间隔的至少一部分期间监测由所述至少一个设备传感器捕获的传感器数据;
响应于所述传感器处理部件被指示在比所述活动状态低的功率状态中操作而使所述微控制器监测所述传感器数据;以及
当所述微控制器正监测所述传感器数据时,响应于所述微控制器检测到潜在唤醒行动,使所述传感器处理部件监测所述传感器数据,并重新开始在所述活动状态中操作;
其中所述微控制器配置成只响应于所述传感器数据使潜在唤醒行动存储的信息与至少最小置信度水平匹配而确定潜在唤醒行动的检测。
本发明另一方面提供了一种计算机实现的方法,其包括:
使用计算设备的处理器子***的传感器处理部件在所述传感器处理部件在活动状态中时的时间间隔的至少一部分期间监测由所述计算设备的至少一个设备传感器捕获的传感器数据;
响应于所述传感器处理部件被指示进入睡眠状态而使用所述传感器处理部件将监测所述传感器数据的责任转移到所述计算设备的微控制器;以及
在所述微控制器正执行所述传感器数据的所述监测时,响应于所述微控制器检测到潜在唤醒行动,使所述传感器处理部件重新进入所述活动状态并监测所述传感器数据;
其中所述微控制器配置成只响应于所述传感器数据使潜在唤醒行动存储的信息与至少最小置信度水平匹配而确定潜在唤醒行动的检测。
本发明提供的电子设备的手势检测管理,使传感器管理被转移到连接到传感器的至少一部分的微控制器,使得微控制器可分析传感器数据以确定唤醒行动被执行的可能性。
附图说明
将参考附图描述根据本公开的各种实施方案,其中:
图1示出示例环境,其中可根据各种实施方案实现各种方面;
图2示出可根据各种实施方案使用的示例计算设备;
图3示出可根据各种实施方案使用的计算设备的部件的示例配置;
图4示出可根据各种实施方案使用的用于监测手势的示例过程;
图5(a)、5(b)和5(c)示出可根据各种实施方案捕获的在运动中的手的图像的例子;
图6示出可根据各种实施方案使用的计算设备的部件的第一示例配置;以及
图7示出示例环境,其中各种实施方案可被实现。
具体实施方式
根据本公开的各种实施方案的***和方法可克服在与电子环境交互的常规方法中经历的一个或多个前面提到的和其它缺点。特别是,各种方法使基于手势、行动和/或运动的输入能够提供到电子设备,即使设备在低功率、睡眠或其它这样的模式中,其中设备的至少一些部件或功能可能不是容易得到的。在至少一些实施方案中,设备包括应用处理器、主传感器处理核心、传感器处理部件或可管理设备上的一个或多个传感器并分析来自一个或多个传感器的数据以试图检测由用户执行或提供的一个或多个手势或输入的其它这样的处理部件。当部件例如传感器处理部件进入睡眠模式或其它这样的低功率操作状态时,可在至少一些实施方案中执行主传感器处理代码的传感器处理部件可接触与传感器相关的微控制器(或微处理器等)以使微控制器承担管理传感器的责任。在一些实施方案中,主传感器处理代码可由应用处理器或其它这样的部件执行以执行类似的功能。微控制器可至少进行基本分析,以便可能确定例如由用户执行的唤醒行动,且当置信度水平或其它这样的度量满足至少最小阈值或其它这样的标准时,微控制器可使传感器处理部件进入活动模式并重新开始传感器的管理。如果事件被确定为对应于唤醒行动,则传感器处理部件可重新开始传感器的管理。如果事件被确定为不对应于唤醒行动,则传感器的管理可留在微控制器,且传感器处理部件可返回到睡眠状态。这样的方法使设备能够在低功率模式中时检测唤醒行动,即使用于确定这样的手势的一般设备处理器也在低功率状态中且因此不可用来检测唤醒事件。
下面关于各种实施方案提出各种其它应用、过程和使用。
图1示出示例情况100,其中用户102想要向计算设备104提供基于手势和/或运动的输入。虽然示出了便携式计算设备(例如智能电话、电子书阅读器或平板计算机),但是应理解,可根据本文讨论的各种实施方案使用能够确定和处理输入的各种其它类型的电子设备。这些设备可包括例如笔记本计算机、个人数据助理、蜂窝电话、视频游戏控制台或控制器和便携式媒体播放器等。在这个例子中,计算设备104具有可操作来为了诸如自拍像捕获或视频聊天的目的而执行功能例如图像和/或视频捕获的至少一个照相机106。设备还包括可操作来为了诸如手势检测的目的而捕获较低分辨率图像的至少两个手势传感器108、110。照相机、手势传感器和在设备上的任何其它这样的图像捕获元件可以是例如照相机、电荷耦合器件(CCD)、运动检测传感器或红外传感器,或可利用另一适当的图像捕获技术。此外,也可在各种实施方案的范围内使用其它数量的部件,例如一个或四个手势传感器。
在这个例子中,用户102使用用户的手110来执行选定的运动或手势,例如以执行“挥动以唤醒”或可使设备从低功率、睡眠或其它这样的状态进入活动、正常或其它这样的状态的类似手势。运动可以是特定的运动或由设备识别为对应于特定的输入或行动的一组运动或手势之一。如果运动在设备上的一对手势传感器108、110的可见区域或角范围112内被执行,则传感器可捕获包括运动的一个或多个图像,使得设备可使用至少一个图像分析或特征识别算法来分析图像,并确定在随后的帧之间的用户的特征的运动。这可使用已知的或用于确定运动例如找出在一个或多个初始图像中的“唯一”特征并接着在随后的图像中跟踪那些特征的位置的任何过程来执行,由此,那些特征的运动可与对应于这组运动或手势等的一组运动比较。可例如在2008年12月10日提交的且标题为“MovementRecognition and Input Mechanism”的共同未决的美国专利申请号12/332,049中找到用于确定基于运动或手势的输入的其它方法,该专利申请特此通过引用被并入本文。如果检测到匹配已知的运动或手势的运动或手势,则可确定相应的输入提供到在计算设备上执行的软件。这可包括例如将输入发送到在设备上执行的用户界面应用,由此,用户可通过在一个或多个手势照相机或其它这样的元件的视场内执行一个或多个手势来向用户界面应用提供输入。
也可在各种实施方案的范围内检测其它类型的唤醒行动。这些可包括例如由用户发出的音频命令,其可由至少一个麦克风或设备的其它音频传感器检测。另一唤醒行动可包括设备的特定运动或重定向,如可使用至少一个运动或方位传感器检测的。又一唤醒行动可涉及用户触摸或几乎触摸设备,如可使用压力传感器、电容触摸传感器、超声传感器等检测的。
图2示出可根据各种实施方案使用的示例计算设备200。在这个例子中,设备具有在与显示元件202的设备的相同侧上的常规数字照相机204,使设备能够在一般操作期间捕获关于设备的用户的图像信息,其中用户至少部分地在显示元件的前方。此外,存在位于设备的同一侧上的两个手势传感器210、212,其当在相对相同的位置处时可用于确定来自用户的手势输入。应理解,在各种实施方案的范围内也可以有在设备的相同或其它侧或位置上的额外的照相机、手势传感器或其它这样的元件,例如可使相对于设备来自任何期望方向或位置的手势或图像输入变得可能。可在各种情况中有利地一起使用照相机和至少一个手势传感器,例如其中设备想要使用手势传感器在延长的一段时间期间以相对低的功率使手势识别变得可能,并使用常规较高分辨率照相机在特定的时间执行面部识别或其它处理器和功率密集过程。
这个示例设备还示出可如在本文稍后讨论使用的额外元件,包括用于确定在待捕获的图像的大致方向上的光的数量的光传感器206和用于在例如存在由光传感器确定的不足的环境光时提供在特定范围的方向上的照明的照明元件208,例如,如在本文稍后将讨论的白色发光二极管(LED)或红外(IR)发射器。设备还包括使语音或音频输入能够被提供到设备的麦克风214。在各种实施方案的范围内也可使用各种其它元件和元件的组合,如按照教导和包含在其中的建议应明白的。
然而如上面讨论的,分析数据例如由一个或多个照相机捕获的图像数据可以是非常处理器、资源和功率密集的,特别是对于移动设备,使得对于至少一些设备,连续地操作用于手势检测的常规部件不实际。当设备进入低功率模式中时,具有最高功率消耗速率的部件进入低功率模式、睡眠状态或其它这样的配置中可能是合乎需要的,其中部件消耗很少功率到不消耗功率。虽然将部件例如处理器置于低功率状态中可节约相当大数量的功率,但是这样的使用可阻碍设备执行特定任务的能力。例如,在常规设备中,部件例如应用处理器(即,处理数据而不是控制功能的处理器,如数据库服务器)可用于监测和分析传感器数据,以便确定运动何时被执行,以便确定将被提供到在设备上执行的应用的相应输入信号。然而,如果处理器不在正常或活动操作状态中,则处理器可能不能够评估传感器数据以确定手势例如“唤醒”手势是否正被执行。
在一些实施方案中,传感器对运动的检测可使应用处理器或另一这样的部件进入正常操作模式中,以便确定运动是否对应于唤醒手势,且如果不,则部件可返回到低功率模式中。这样的方法可导致处理器被连续置于正常操作模式中,特别是对于便携式设备,其中设备的运动可使传感器检测运动,这可能不仅在处理器处于正常操作状态中的时间期间而且在处理器正改变到操作状态中的时间期间浪费相当大数量的功率和资源,并接着回到低功率状态。虽然额外的传感器数据的使用可潜在地限制这些和其它误报(false positive)的数量,但是来自传感器的数据仍然需要被分析,这将需要处理器停留在操作状态中。
图3示出根据各种实施方案可与计算设备一起使用的部件的示例配置300。应理解,在各种配置中可以有也被使用的各种其它部件,如对提供计算设备中的各种类型的功能已知的。在这个例子中,计算设备包含处理器子***304,例如芯片组或多处理器核心,其包含可用于特定类型的功能的各种处理器或处理器核心。例如,如所示的处理器子***包含用于处理数据和指令的至少一个应用处理器306,如在计算设备中的常规应用处理器可实现的。在这个例子中的子***也包含专用传感器处理器308、协处理器、处理器核心或配置成执行主传感器处理器代码的传感器处理部件,例如主传感器处理器代码可用于为了诸如手势识别的目的而分析从在设备302上的各种传感器314、316、318接收的数据。
专用传感器处理部件的使用可具有各种优点,包括手势识别的提高的速度和应用处理器聚焦于其它任务的能力。潜在的不利方面是,传感器处理器308可能是相对重负荷处理器核心,其可仍然消耗相当大数量的功率。此外,当处理器子***进入低功率模式时,传感器处理器308将连同应用处理器306一起进入睡眠模式,且因此不能支持可在处理器子***在较低功率模式中时执行的事件或行动,例如“挥动以唤醒”手势。
图3的设备使计算设备能够利用单独的微控制器312,以便在设备的处理器子***304在低功率模式中时的时期期间提供手势检测。在至少一些实施方案中,微控制器312可使用适当的线或传感器总线320例如I2C总线连接到处理器子***304,使在微控制器310和例如传感器处理器308之间的通信变得可能。微处理器可配置成在正常模式中操作,即使设备和/或处理器子***在低功率模式中,且微控制器相对于处理器子***的处理器或处理器核心可消耗相对少的功率。微控制器312同传感器314、316、318一起可被称为可由传感器处理器308控制的微传感器集线器。
如所示,可以有使用至少一个传感器总线320连接到微控制器312和传感器处理器308的相同或不同类型的多个传感器314、316、318。当设备在醒着状态中时,传感器处理器308可控制传感器,例如以当传感器应试图捕获数据等时确定传感器的操作状态。传感器处理器308接着可接收并分析由一个或多个传感器捕获的数据。当设备进入睡眠模式中时,例如传感器处理器308可接触微控制器312以指示微控制器现在负责管理传感器。微控制器然后可管理和/或控制传感器并分析传感器数据,以便试图检测唤醒事件或其它这样的事件。如在本文其它地方更详细讨论的,唤醒事件可不仅包括由用户执行的挥动以唤醒运动,而且可对应于由用户发出的唤醒话音命令、计算设备的特定运动例如轻击或倾斜或可由设备的至少一个传感器检测的另一这样的事件。
当处理器子***在活动状态中时,传感器处理器可通过I2C总线320与传感器和微控制器312通信以得到传感器数据并管理传感器操作连同其它这样的方面。在这个状态中,微控制器312像在I2C总线上的另一设备一样起作用。然而当传感器处理器308在睡眠状态中时,控制传递到微控制器312,且微控制器然后充当传感器的主设备,通过同一I2C总线320与传感器通信(在至少这个例子中)。在至少一些实施方案中可能必须将传感器管理传递到微控制器,因为当处理器子***在睡眠状态中时,在处理器子***304内的所有核心(包括应用处理器306、功率管理部件310和传感器处理器308)将在睡眠状态中。在这个状态中的应用处理器或传感器处理器不能确定唤醒手势,因为处理器没有得到传感器数据。
在这个例子中,一对通用输入/输出线(GPIO)322使传感器处理器308能够直接与微控制器312通信。可通过软件来控制GPIO(每个起在芯片组304上的一般管脚的作用)以使那些GPIO能够起用于传递传感器控制的请求/应答线的作用。在一些实施方案中,如在本文稍后讨论的,当传感器处理器正控制传感器时,可使用GPIO线中的一个,且当微控制器正管理传感器时,可使用另一GPIO。可在传感器处理器308和微控制器之间发送请求,其请求另一个控制I2C总线320和因而传感器314、316、318。用户或应用可利用接口来激活或去激活在设备上的功能,其可作为一系列消息被接收到传感器处理器308。接口可使与微控制器312的通信变得可能以确定在微控制器级处的相关服务(例如对于唤醒事件)。这样的方法使传感器处理器能够起中间人的作用,用于配置微控制器,而不是应用处理器306或其它这样的部件。
当传感器处理器308在睡眠模式中时,微控制器可得到并分析来自一个或多个设备传感器314、316、318的传感器数据以试图确定唤醒手势。如所讨论的,这可包括使用照相机或超声传感器检测的运动、使用麦克风检测的音频、使用运动传感器的设备方位变化等。当微控制器312分析传感器数据并且例如识别出什么好像是唤醒手势时,微控制器可将中断发送到处理器子***304的功率管理部件310以唤醒处理器子***和处理器或处理器核心。在一些实施方案中,微控制器将只在完整的手势被检测到时才发送中断,而在其它实施方案中,微控制器可能必须以例如规定的最小量的确定性检测什么好像是手势,此时,例如微控制器可唤醒处理器子***并使传感器数据变得可用于由例如传感器处理器308分析,传感器处理器308可执行更鲁棒和/或准确的分析。在一些实施方案中传感器处理器也可从其它传感器得到数据以帮助分析。例如,如果使用照相机检测到运动,则传感器处理器可从设备运动传感器之一得到数据以确定所检测到的运动是否对应于设备的运动,此时,处理器可确定运动不对应于挥动以唤醒或类似的手势。类似地,如果传感器处理器可确定设备在那个时间期间不移动、有很少的运动或在不同的方向上移动,则传感器处理器可能能够以更大的确定性确定所检测的运动是用户所执行的实际唤醒手势。在各种实施方案的范围内,使用这些和其它类型的数据可达到各种其它类型的分析和结论。
因此,在至少一些实施方案中,微控制器可进行来自一个或多个传感器的数据的第一分析以试图检测唤醒行动,且当感兴趣的项目或行动出现时,微控制器可使传感器处理器308进入唤醒状态,由此,传感器处理器可分析来自额外的传感器的数据以及其它信息例如模型、算法等以确定感兴趣的项目或行动是否实际上是唤醒行动,并可然后通知应用处理器306和/或其它部件感兴趣的项目或行动何时被确定为对应于唤醒行动。
在一些实施方案中,微控制器312可从应用处理器和/或传感器处理器卸载一些分析,即使那些处理器在活动状态中。基于当前的设备负荷、配置或其它这样的信息,应用处理器或传感器处理器可决定允许微控制器继续监测传感器,并接着在潜在的手势被检测到时发送中断或其它讯息。在某个时间,处理器或处理器核心之一可决定接管传感器管理,此时,处理器例如传感器处理器308可通过适当的通信信道、信令方案、握手、请求/应答方法或其它这样的机制与微处理器通信,以便引起控制器从微控制器到传感器处理器的移交。类似的通信可用于将控制器从传感器处理器转移到微控制器。在一些实施方案中,传感器处理器可向微控制器指示微控制器应监测某种类型的手势或事件,例如以为特定的运动手势分析所捕获的图像数据,而传感器处理器或另一部件为其它类型的行动或事件监测其它传感器数据。如果多个微控制器被使用,则传感器处理器或应用处理器可确定哪些微控制器或其它这样的部件在不同的时间用于各种目的。
在一些实施方案中,微控制器可检测手势或事件并确定通过经由直接中断线324接触功率管理部件310来唤醒传感器处理器。功率管理部件可唤醒例如传感器处理器308,并使传感器处理器查询微控制器312以确定关于事件的信息并确定是否按照信息来行动。在至少一些实施方案中,数据可存储在具有时间戳的传感器缓冲器中,使数据与特定事件的关联变得可能。在至少一些实施方案中,微控制器可维持传感器和传感器总线的控制,即使传感器处理器在活动状态中,直到例如当传感器处理器向微控制器指示传感器处理器正接管控制或通过相同或不同的通信路径提供另一这样的通信时的时间为止。当应用处理器或传感器处理器由另一机构或部件唤醒到活动状态且至少一个传感器想要控制设备上的传感器管理的至少一部分时,可使用类似的机构。
使用比设备处理器消耗更少的功率的微控制器的增加的益处是,微控制器可充当设备处理器的过滤器,通过首先确定那些所检测的事件不对应于手势或其它这样的输入,防止相当大数量的所检测的事件或行动唤醒设备处理器,或使设备处理器执行一个或多个行动。微控制器可确定大约90%或更多的所检测的事件不对应于合法手势,且因此对于这些事件可通过不接触设备处理器来防止相当大数量的功率消耗。可能仍然有传递到设备处理器的许多误报的信息,但该数量可明显减少,使得对这些误报消耗的功率可明显小于当微控制器不用于过滤出误报的数据时消耗的功率。
在不同的实施方案中,微控制器可具有不同的置信度或确定性阈值,其在至少一些实施方案中可由用户、应用或其它这样的实体配置。在一些实施方案中,确定性阈值可至少部分地取决于可用的传感器数据的类型,例如加速度计或运动数据是否是具有图像数据的微处理器可采用的,等等。改变阈值可减少误报的数量,但阈值不应被设定,使得多个合法唤醒手势作为由于例如诸如房间照明或设备运动的因素而引起的误报而被忽略。在一些情况下,设备可包括两个阈值,其中具有在第一阈值之下的置信度的事件作为误报而被忽略,具有在第二阈值之上的置信度的事件被视为合法手势,且具有在这些阈值之间的置信度的事件被视为需要进一步的分析的潜在手势,且因此可能使用额外的数据由应用处理器或传感器处理器等分析。
在一些实施方案中,某些类型的数据由某些部件更好地操纵,这些部件可确定在某些情况下由每个部件分析的数据的至少部分。例如,由全分辨率照相机捕获的图像数据可有利地由手势传感器操纵,因为所需的带宽和连接性已经存在于照相机和设备处理器之间,但到微控制器的连接可快速被压倒。对于较低分辨率手势传感器,例如微控制器可能能够在至少一些情况下管理检测和分析。微控制器也可包含来自传感器的照明、运动和环境数据,并将该数据的至少一部分放置在例如I2C寄存器中,用于响应于微控制器所检测到的潜在手势由应用或传感器处理器随后检索。
在至少一些实施方案中,在应用处理器和微控制器之间可以有可配置和/或扩展以增加或更新功能的接口。例如,可在处理器被置于活动状态中并想要得到关于当前环境的数据例如可包括照明或运动数据等时的时间期间增加消息发送。所得到的数据可以是经处理的或原始的,且在至少一些实施方案中可以一直被请求回到应用处理器。在各种实施方案的范围内,这个通信信道也可用作用于也传送其它信息的渠道。
在一个实施方案中,微控制器312包括用于执行各种任务的逻辑,如可包括相对于传感器控制充当主设备或从设备、执行手势检测(即,完全或部分的)、执行传感器数据调节和获取以及执行各种调试和/或记录功能。微控制器也可包含各种部件,如可包括传感器数据缓冲器、I2C寄存器映射部件、在识别唤醒和其它手势时使用的手势库等。微控制器也可包括其它部件,例如上传新应用图像和配置数据的引导加载程序以及手势算法管理器和各种通信信道的驱动器连同其它这样的选择。微控制器在一些实施方案中也可包括用于平滑化或以另外方式预先处理从各种传感器接收的数据的逻辑。
在一些实施方案中,各种规则可由微处理器和/或传感器处理器使用来管理主控制连同其它这样的方面。例如,微控制器单元(MCU)可监测参数的值例如SPC_Master,其指传感器处理部件(“SPC”)的状态。如果SPC_Master高,则MCU_Master将立即变低。这可阻碍被驱动以确保它具有优先级。当MCU_Master低且SPC_Master高时,传感器处理部件(例如宏传感器处理器)在这个例子中是唯一的主设备。如所讨论的,SPC_Master可对应于GPIO之一,MCU_Master对应于其它GPIO。
由各种处理器管理的传感器可包括用于检测和/或测量各种类型的信息的各种类型的传感器。这些传感器可包括例如一个或多个照相机、相对低分辨率手势传感器、加速度计、电子陀螺仪、惯性传感器、电子罗盘、麦克风、超声传感器、磁力计、环境或红外光传感器、接近度传感器、温度传感器等。处理器也可控制设备的各种其它部件,例如LED或其它光发射器、照相机闪光机构等。
图4示出可根据各种实施方案使用的用于使手势能够在不同的操作模式中输入到计算设备的示例过程400。应理解,对于在本文讨论的任何过程,在各种实施方案的范围内,可以有以相似或可选的顺序或并行执行的额外的、更少的或可选的步骤,除非另有规定。在这个例子中,接收(402)指示设备或设备的至少处理部件将进入睡眠模式的请求。如所讨论的,这可响应于来自用户或应用的输入或响应于事件例如时间的消逝或达到剩余电池寿命的数量。如所讨论的,在一些实施方案中处理部件可包括应用处理器和传感器处理部件,且睡眠状态可包括将这些处理部件中的每个设置到睡眠状态或其它这样的低功率模式。
响应于接收到请求,在这个例子中传感器处理部件可向与传感器相关的微控制器或例如微传感器集线器的部分通知(404)和/或声明微控制器应控制传感器管理,为了传感器管理的目的而起主设备的作用。微控制器可接着切换(406)为作为主设备来操作并管理传感器,且传感器处理部件可被促使(408)进入睡眠状态。传感器可接着由微控制器监测(410)。
当微控制器监测传感器时,传感器数据可被接收(412)到微控制器,且唤醒手势由传感器检测到的可能性可至少部分地通过分析来自检测潜在手势的至少一些传感器的数据来确定(414)。如果确定该可能性至少不满足最小置信度阈值416或其它这样的度量或标准,则监测可继续。如果另一方面确定该可能性至少满足最小置信度阈值,则可通知(418)与传感器处理部件相关的功率管理部件,这可使(420)传感器处理部件进入活动状态。传感器处理部件可向微控制器通知(422)传感器处理部件将重新开始管理传感器,且传感器处理部件可重新开始监测传感器424。在一些实施方案中,不是传感器处理部件通知微控制器,而是微控制器可释放总线的控制并接着唤醒处理器。传感器处理部件可确定微控制器状态并确定传感器处理部件应接管传感器管理。在各种实施方案的范围内也可使用各种其它方法。
如所提到的,在一些实施方案中,微控制器可以只对手势的可能性进行初始估计,或手势可以只满足最小置信度阈值。在这些和其它这样的情况中,传感器处理部件可得到来自至少一个适当的传感器高速缓存器的传感器数据以及其它相关数据,以确定手势是否可能对应于唤醒手势。如果否,则传感器处理部件可退出对微控制器的控制并重新进入睡眠模式。如果是,则传感器处理部件可向微控制器通知它如上面讨论的进入活动状态,并可在至少最小的时间段期间对手势确定的至少一部分进行控制。
如所讨论的,在至少一些实施方案中,唤醒手势可包括由用户执行的“挥动”运动。在很多情况下,识别这样的手势的能力常常不需要高分辨率图像捕获。例如,考虑在图5(a)中所示的图像500。虽然手的高质量图像的分析可提供准确的手势确定,但是这样的图像的分析可以是相当处理器和功率密集的,如在本文的其它地方讨论的。然而如可在图5(b)的图像520中看到的,甚至极低分辨率图像也可用于以合理的置信度水平确定手势输入。在图5(b)中,设备可能不能识别手是男人的手还是女人的手,但可识别图像中的手的基本形状和位置,使得如图5(c)的图像540中所示的由于挥动或其它这样的运动引起的位置的变化可以以足够的精确度被快速识别出。甚至在这个低分辨率下,设备也可能能够告诉用户是移动单独的手指还是执行另一这样的行动。此外,在各种实施方案中,被检测以遵循特定的路径或模式的任何水平的运动可被识别为潜在手势。在一个实施方案中,具有大约一到三个像素、具有许多级的光传感器可与LED控制装置一起使用。只要手具有足够的尺寸和/或宽度,照明足够,且手在规定的速度范围内移动,手运动就可使用适当的算法来被检测到。检测可涉及在测量信号或其它这样的标准中的尖峰。
在一些实施方案中,多个手势传感器可被利用和同步,以便使在手势传感器的视场之间的物体的跟踪变得可能。在一个实施方案中,可通过I2C总线发送同步命令,或专用线可用于连接两个传感器,以便确保同步。
在一些实施方案中,用户可能能够例如通过说唤醒命令、哼或吹特定的调子、拍击特定的音频节拍模式或执行另一这样的行动来提供音频唤醒事件。麦克风或设备的其它音频传感器可检测音频,其可然后由微控制器或另一这样的处理元件分析以试图使音频输入与唤醒事件的一个或多个音频模式匹配。在一些情况下,音频匹配可使用常规音频匹配算法,如可利用音频频率中的唯一特征的。在其它实施方案中,设备可利用话音和/或语音识别来试图确定所说的词以及可能说词的人的身份。也可利用各种其它音频命令或行动。
在一些实施方案中,用户可执行设备的运动,其可被检测为唤醒事件。例如,用户可快速翻转或倾斜设备,如可由加速度计、电子陀螺仪、电子罗盘、惯性传感器或其它运动传感器检测的,且诸如速度、范围和/或方向的方面可被分析以试图检测唤醒事件。在其它实施方案中,特定的模式例如从表格选取的设备可被分析并与路径或模式库匹配以检测唤醒事件。用户可以可选地执行可由加速度计、惯性传感器或计算设备的其它这样的部件检测的双击或其它这样的行动。
在一些实施方案中,特定的点击、在设备上(或附近)的运动、触摸系列或在特定位置上的触摸可被检测为唤醒事件。传感器在这种情况下可包括传感器,例如电容触摸传感器、压力传感器、超声传感器等。在各种实施方案的范围内也可使用可由至少一个设备传感器检测的各种其它类型的输入。
为了提供本文描述的各种功能,图6示出计算设备600的基本部件的示例集合,例如关于图1描述的设备104。在本例中,设备包括用于执行可存储在至少一个存储器设备或元件604中的指令的至少一个中央处理器602。如对本领域中的普通技术人员明显的,设备可包括很多类型的存储器、数据存储或计算机可读存储介质,例如对用于由处理器602执行的程序指令的第一数据存储装置,相同或分开的存储装置可用于图像或数据,可移动存储存储器可用于与其它设备共享信息,等等。设备一般将包括某种类型的显示元件606,例如触摸屏、电子油墨(e-ink)、有机发光二极管(OLED)或液晶显示器(LCD),但是设备例如便携式媒体播放器可经由其它装置例如通过音频扬声器传送信息。在至少一些实施方案中,显示屏使用例如电容或电阻触摸技术提供基于触摸或滑扫的输入。
如所讨论的,在很多实施方案中,设备将包括多个图像捕获元件608,例如能够使在设备附近的用户、人或物体成像的一个或多个高分辨率照相机。图像捕获元件也可包括可操作来捕获用于在确定用户的手势或运动时使用的图像信息的至少一个单独的手势传感器,其使用户能够通过便携式设备提供输入而不必实际上接触和/或移动便携式设备。图像捕获元件可包括或至少部分地基于任何适当的技术,例如具有确定分辨率、焦点范围、可见区域和捕获速率的CCD或CMOS图像捕获元件。如所讨论的,在手势传感器或照相机设备上或在单独的电路或设备等上可包括各种功能。手势传感器可具有与设备上的至少一个照相机相同或相似的形状因子,但具有不同的方面,例如不同的分辨率、像素尺寸和/或捕获速率。虽然图1中的示例计算设备包括在设备的“正面”上的一个图像捕获元件和两个手势传感器,但是应理解,这样的元件也可以或可选地放置在设备的侧面、背面或角上,以及在各种实施方案中为了任何数量的目的可以有相似或不同类型的任何适当数量的捕获元件。示例设备也可包括其它类型的传感器,例如用于检测设备的位置和/或方位中的变化的一个或多个运动传感器。这些传感器可包括例如加速度计、电子陀螺仪、电子罗盘、惯性传感器等。设备也可包括至少一个环境确定传感器元件612,如可包括用于检测环境光或强度的一个或多个光传感器、温度或压力传感器等。
示例设备可包括能够从用户接收常规输入的至少一个额外的输入设备。这个常规输入可包括例如按钮、触控板、触摸屏、轮、操纵杆、键盘、鼠标、轨迹球、袖珍键盘或任何其它这样的设备或元件,由此,用户可向设备输入命令。在一些实施方案中,这些I/O设备也可甚至由无线红外或蓝牙或其它链接连接。然而在一些实施方案中,这样的设备可能根本不包括任何按钮,且可能只通过视觉(例如手势)和音频(例如口头)命令的组合来控制,使得用户可控制设备而不必与设备接触。
如所讨论的,可根据所述实施方案在各种环境中实现不同的方法。例如,图7示出用于实现根据各种实施方案的方面的环境700的例子。如将认识到的,虽然基于Web的环境用于解释的目的,但是可在适当时使用不同的环境以实现各种实施方案。***包括电子客户端设备702,其可包括可操作来通过适当的网络704发送并接收请求、消息或信息并将信息传送回到设备的用户的任何适当的设备。这样的客户端设备的例子包括个人计算机、蜂窝电话、手持消息发送设备、膝上型计算机、机顶盒、个人数据助理、电子书阅读器等。网络可包括任何适当的网络,包括内联网、互联网、蜂窝网络、局域网或任何其它这样的网络或其组合。用于这样的***的部件可至少部分地取决于所选择的网络和/或环境的类型。用于经由这样的网络进行通信的协议和部件是公知的,且将不在本文被详细讨论。通过网络的通信可经由有线或无线连接及其组合变得可能。在这个例子中,网络包括互联网,因为环境包括用于接收请求并响应于其而提供内容的Web服务器706,但是对于其它网络,可使用提供类似的目的的可选设备,如对本领域中的普通技术人员明显的。
例证性环境包括至少一个应用服务器708和数据存储区710。应理解,可以有几个应用服务器、层或其它元件、过程或部件,其可被链接或另外配置,可相互作用以执行任务例如从适当的数据存储区得到数据。如在本文使用的,术语“数据存储区”指能够存储、访问和检索数据的任何设备或设备的组合,其可包括在任何标准、分布式或群集环境中的任何组合和数量的数据服务器、数据库、数据存储设备和数据存储介质。应用服务器708可包括用于按需要与数据存储区710集成以执行客户端设备的一个或多个应用的方面并操纵应用的大部分数据访问和商业逻辑的任何适当的硬件和软件。应用服务器与数据存储区协作来提供访问控制服务,并能够产生将被传送到用户的内容例如文本、图形、音频和/或视频,其在这个例子中可由Web服务器706以HTML、XML或另一适当的结构化语言的形式提供给用户。所有请求和响应的操纵以及在客户端设备702和应用服务器708之间的内容的递送可由Web服务器706操纵。应理解,Web和应用服务器不是需要的,且仅仅是示例部件,因为本文讨论的结构化代码可在任何适当的设备或主机机器上被执行,如在本文其它地方讨论的。
数据存储区710可包括几个单独的数据表、数据库或用于存储与特定的方面有关的数据的其它数据存储机构和介质。例如,所示数据存储区包括用于存储内容(例如生产数据)712和用户信息716的机构,其可用于为生产侧提供内容。数据存储区也被示为包括用于存储日志或会话数据714的机构。应理解,可以有可能需要存储在数据存储区中的很多其它方面,例如页图像信息和访问权利信息,其可在适当时存储在任何上面列出的机构中或在数据存储区710中的额外机构中。数据存储区710可操作来通过与其相关的逻辑接收来自应用服务器708的指令并响应于其而得到、更新或以另外方式处理数据。在一个例子中,用户可提交对某种类型的项目的搜索请求。在这种情况下,数据存储区可访问用户信息以验证用户的身份并可访问类别细节信息以得到关于那种类型的项目的信息。信息可接着例如在用户能够经由用户设备702上的浏览器观看的网页上列出的结果中返回给用户。可在浏览器的专用页面或窗口中观看感兴趣的特定项目的信息。
每个服务器一般将包括提供用于该服务器的一般管理和操作的可执行程序指令的操作***,并一般将包括存储指令的计算机可读介质,所述指令当由服务器的处理器执行时允许服务器执行其预期功能。操作***的适当实现和服务器的一般功能是已知的或市场上可买到的,并容易由本领域中的普通技术人员实现,特别是根据本文的公开。
在一个实施方案中,环境是利用经由通信链路使用一个或多个计算机网络或直接连接来互连的几个计算机***和部件的分布式计算环境。然而,本领域中的普通技术人员将认识到,这样的***可同样好地在具有比图7所示的更小或更大数量的部件的***中操作。因此,图7中的***700的描绘应被理解为在性质上是例证性的,且不限于本公开的范围。
可进一步在各种各样的操作环境中实现各种实施方案,操作环境在一些情况下可包括可用于操作多个应用中的任一个的一个或多个用户计算机或计算设备。用户或客户端设备可包括多个通用个人计算机中的任一个,例如运行标准操作***的桌上型或膝上型计算机以及运行移动软件并能够支持多个联网和消息发送协议的蜂窝、无线和手持设备。这样的***也可包括运行各种市场上可买到的操作***中的任一个和用于诸如开发和数据库管理的目的的其它已知的应用的多个工作站。这些设备也可包括其它电子设备,例如哑终端、瘦客户端、游戏***和能够经由网络进行通信的其它设备。
大部分实施方案利用本领域中的技术人员将熟悉的、用于使用各种市场上可买到的协议中的任一个例如TCP/IP、OSI、FTP、UPnP、NFS、CIFS和AppleTalk来支持通信的至少一个网络。网络可以是例如局域网、广域网、虚拟专用网、互联网、内联网、外联网、公共交换电话网、红外网络、无线网络和其任何组合。
在利用Web服务器的实施方案中,Web服务器可运行各种服务器或中间层应用中的任一个,包括HTTP服务器、FTP服务器、CGI服务器、数据服务器、Java服务器和商业应用服务器。服务器也可能能够响应于来自用户设备的请求例如通过执行一个或多个Web应用来执行程序或脚本,Web应用可被实现为以任何编程语言例如C、C#或C++或任何脚本语言例如Perl、Python或TCL以及其组合编写的一个或多个脚本或程序。服务器也可包括数据库服务器,没有限制地包括在市场上从和可得到的那些数据库服务器。
环境可包括如上面讨论的各种数据存储区和其它存储器和存储介质。这些可存在于各种位置上,例如在一个或多个计算机本地(和/或存在于一个或多个计算机中)的存储介质上或远离网络中的任何或所有计算机的存储介质上。在特定的一组实施方案中,信息可存在于本领域中的技术人员熟悉的存储区域网络(SAN)中。类似地,用于执行属于计算机、服务器或其它网络设备的功能的任何必要的文件可在适当时被本地和/或远程地存储。在***包括计算机化设备的场合,每个这样的设备可包括可经由总线电气地耦合的硬件元件,元件包括例如至少一个中央处理单元(CPU)、至少一个输入设备(例如鼠标、键盘、控制器、触敏显示元件或袖珍键盘)和至少一个输出设备(例如显示设备、打印机或扬声器)。这样的***也可包括一个或多个存储设备,例如磁盘驱动器、光学存储设备和固态存储设备例如随机存取存储器(RAM)或只读存储器(ROM)以及可移动介质设备、存储卡、闪存卡等。
这样的设备也可包括如上所述的计算机可读存储介质阅读器、通信设备(例如调制解调器、网卡(无线或有线)、红外通信设备)和工作存储器。计算机可读存储介质阅读器可连接到或配置成接收表示远程、本地、固定和/或可移动存储设备的计算机可读存储介质以及用于临时和/或更持久地包含、存储、传输和检索计算机可读信息的存储介质。***和各种设备也一般包括位于至少一个工作存储器设备内的多个软件应用、模块、服务或其它元件,包括操作***和应用程序例如客户端应用或Web浏览器。应认识到,可选的实施方案可具有来自上面描述的实施方案的很多变形。例如,也可使用定制硬件,和/或可在硬件、软件(包括便携式软件例如小应用程序)或这两者中实现特定的元件。此外,也可使用到其它计算设备例如网络输入/输出设备的连接。
用于包含代码或代码的部分的存储介质和计算机可读介质可包括本领域中已知或使用的任何适当的介质,包括存储介质和通信介质,例如但不限于在用于存储和/或传输信息例如计算机可读指令、数据结构、程序模块或其它数据的任何方法或技术中实现的易失性和非易失性、移动和不可移动介质,包括RAM、ROM、EEPROM、闪存或其它存储器技术、CD-ROM、数字通用盘(DVD)或其它光学存储器、盒式磁带、磁带、磁盘存储器或其它磁性存储设备或可用于存储期望信息并可由***设备访问的任何其它介质。基于本文提供的本公开和教导,并领域中的普通技术人员将认识到实现各种实施方案的其它方式和/或方法。
因此在例证性而不是限制性意义上考虑说明书和附图。然而将明显,可对其做出各种修改和变化,而不偏离如在权利要求中阐述的本发明的更宽的精神和范围。
条款
1.一种计算设备,其包括:
多个设备传感器;
处理器子***,其至少包括应用处理器和传感器处理部件;
微控制器,其连接到所述多个设备传感器和所述处理器子***;以及
至少一个存储器设备,其包括可操作来被执行以执行一组行动的指令,使所述计算设备:
使用所述传感器处理部件在所述处理器子***在活动状态中时的时间间隔的至少一部分期间监测由所述多个设备传感器中的至少一个捕获的传感器数据;
在所述处理器子***处接收进入睡眠状态的指令;
响应于接收到所述指令,使所述传感器处理部件通知所述微控制器接管所述传感器数据的监测;
使所述处理器子***进入所述睡眠状态;
当所述处理器子***在所述睡眠状态中时使用所述微控制器来监测所述传感器数据;
至少部分地基于所述传感器数据使用所述微控制器来识别关于所述计算设备执行的唤醒行动;
响应于识别出所述唤醒行动来通知所述处理器子***;以及
使所述处理器子***响应于所述通知而进入活动状态,所述传感器处理部件当在所述活动状态中时重新开始所述传感器数据的监测。
2.如条款1所述的计算设备,其中所述处理器子***还包括功率管理部件,且其中响应于识别出所述唤醒行动来通知所述处理器子***包括通知所述功率管理部件,所述功率管理部件配置成使所述传感器处理部件进入所述活动状态。
3.如条款1所述的计算设备,其中使用连接所述微控制器和所述传感器处理器的一对通用输入/输出线来执行所述微控制器的所述通知和所述传感器处理部件的所述通知。
4.一种计算设备,其包括:
至少一个设备传感器;
处理器子***,其至少包括连接到所述至少一个设备传感器的传感器处理部件;
微控制器,其连接到所述至少一个设备传感器和所述处理器子***;以及
至少一个存储器设备,其包括可操作来被执行以执行一组行动的指令,使所述计算设备:
使用所述传感器处理部件在所述传感器处理部件在活动状态中操作时的时间间隔的至少一部分期间监测由所述至少一个设备传感器捕获的传感器数据;
响应于所述传感器处理部件被指示在比所述活动状态低的功率状态中操作而使所述微控制器监测所述传感器数据;以及
当所述微控制器正监测所述传感器数据时,响应于所述微控制器检测到潜在唤醒行动,使所述传感器处理部件监测所述传感器数据,并重新开始在所述活动状态中操作。
5.如条款4所述的计算设备,其中所述设备包括至少两种类型的多个设备传感器,且其中所述微控制器配置成在所述传感器处理部件在所述较低功率状态中操作时的时间间隔的至少一部分期间监测所述至少两种类型中的至少一个的所述设备传感器。
6.如条款5所述的计算设备,其中所述至少两种类型包括照相机、手势传感器、麦克风、超声传感器、电容传感器、电阻传感器、压力传感器、加速度计、力传感器、电子陀螺仪、磁力计、触觉传感器、温度传感器、惯性传感器或电子罗盘中的至少一个。
7.如条款5所述的计算设备,其中所述微控制器配置成存储被确定为对应于所述潜在唤醒行动的所述传感器数据的至少一部分,且其中所述传感器处理部件配置成得到所存储的传感器数据的至少一部分以确定所述潜在唤醒行动是否对应于实际唤醒行动。
8.如条款7所述的计算设备,其中所述传感器处理部件配置成从至少一种其它类型的设备传感器得到数据以帮助确定所述潜在唤醒行动是否对应于所述实际唤醒行动。
9.如条款4所述的计算设备,其中所述微控制器配置成只响应于所述传感器数据使潜在唤醒行动存储的信息与至少最小置信度水平匹配而确定潜在唤醒行动的检测。
10.如条款4所述的计算设备,其中所述微控制器还配置成监测由所述至少一个设备传感器中的至少一个捕获的所述传感器数据并响应于检测到使所存储的信息与至少最小置信度水平匹配的用户行动而通知所述传感器处理部件,其中所存储的信息至少部分地描述***行动。
11.如条款4所述的计算设备,其中所述潜在唤醒行动包括挥动手势、口头命令、用户与所述计算设备的接触、凝视方向、面部识别、物体与所述计算设备的接近或所述计算设备的运动中的至少一个。
12.如条款4所述的计算设备,其中所述处理器子***还包括至少一个应用处理器,其配置成执行被编程为响应于使用所述微控制器或所述传感器处理部件中的至少一个检测的用户行动来执行行动的应用的指令。
13.如条款4所述的计算设备,其中所述处理器子***还包括功率管理部件,且其中所述微控制器响应于检测到所述潜在唤醒行动而通知所述功率管理部件,所述功率管理部件配置成使所述传感器处理部件重新开始在所述活动状态中操作。
14.如条款4所述的计算设备,其中所述传感器处理部件是应用处理器的至少一部分。
15.如条款4所述的计算设备,其中所述至少一个设备传感器包括照相机和至少一个手势传感器,所述手势传感器具有比所述照相机低的分辨率,所述微控制器配置成捕获由所述至少一个手势传感器而不是由所述照相机捕获的传感器数据。
16.如条款4所述的计算设备,其中使用用于发送通知的至少一对通用输入/输出线来连接所述微控制器和所述传感器处理部件。
17.如条款4所述的计算设备,其中所述传感器处理部件是所述处理器子***的专用处理核心。
18.一种计算机实现的方法,其包括:
使用计算设备的处理器子***的传感器处理部件在所述传感器处理部件在活动状态中时的时间间隔的至少一部分期间监测由所述计算设备的至少一个设备传感器捕获的传感器数据;
响应于所述传感器处理部件被指示进入睡眠状态而使用所述传感器处理部件将监测所述传感器数据的责任转移到所述计算设备的微控制器;以及
在所述微控制器正执行所述传感器数据的所述监测时,响应于所述微控制器检测到潜在唤醒行动,使所述传感器处理部件重新进入所述活动状态并监测所述传感器数据。
19.如条款18所述的计算机实现的方法,其还包括:
使所述微控制器分析所述传感器数据以试图在所述传感器处理部件在所述睡眠状态中时的时间间隔的至少一部分期间检测唤醒行动,其中所述传感器处理部件被促使响应于所述微控制器从所述传感器数据确定所述唤醒行动而重新进入所述活动状态。
20.如条款18所述的计算机实现的方法,其中所述微控制器配置成在所述传感器处理部件在所述活动状态中操作时的时间间隔的至少一部分期间在从模式中操作。
21.如条款18所述的计算机实现的方法,其还包括:
使所述传感器处理部件在所述传感器处理部件在所述活动状态中时的时间间隔的至少一部分期间控制所述至少一个设备传感器。
22.一种包括指令的非临时计算机可读存储介质,所述指令在被执行时使计算设备:
使用计算设备的处理器子***的传感器处理部件在所述传感器处理部件在活动状态中时的时间间隔的至少一部分期间监测由所述计算设备的至少一个设备传感器捕获的传感器数据;
响应于所述传感器处理部件被指示进入睡眠状态而使用所述传感器处理部件将监测所述传感器数据的责任转移到所述计算设备的微控制器;以及
在所述微控制器正执行所述传感器数据的所述监测时,响应于所述微控制器检测到潜在唤醒行动,使所述传感器处理部件重新进入所述活动状态并监测所述传感器数据。
23.如条款22所述的非临时计算机可读存储介质,其中所述指令在被执行时还使所述计算设备:
使所述微控制器分析所述传感器数据以试图在所述传感器处理部件在所述睡眠状态中时的时间间隔的至少一部分期间检测唤醒行动,其中所述传感器处理部件被促使响应于所述微控制器从所述传感器数据确定所述唤醒行动而重新进入所述活动状态。
24.如条款22所述的非临时计算机可读存储介质,其中所述指令在被执行时还使所述微控制器存储被确定为对应于所述潜在唤醒行动的所述传感器数据的至少一部分,所述指令还使所述传感器处理部件得到所存储的传感器数据的至少一部分以确定所述潜在唤醒行动是否对应于实际唤醒行动。
25.如条款24所述的非临时计算机可读存储介质,其中所述指令在被执行时还使所述传感器处理部件从至少一种其它类型的设备传感器得到数据以帮助确定所述潜在唤醒行动是否对应于实际唤醒行动。
Claims (14)
1.一种计算设备,其包括:
至少一个设备传感器;
处理器子***,其至少包括连接到所述至少一个设备传感器的传感器处理部件;
微控制器,其连接到所述至少一个设备传感器和所述处理器子***;以及
至少一个存储器设备,其包括可操作来被执行以执行一组行动的指令,使所述计算设备:
使用所述传感器处理部件在所述传感器处理部件在活动状态中操作时的时间间隔的至少一部分期间监测由所述至少一个设备传感器捕获的传感器数据;
响应于所述传感器处理部件被指示在比所述活动状态低的功率状态中操作而使所述微控制器监测所述传感器数据;以及
当所述微控制器正监测所述传感器数据时,响应于所述微控制器检测到潜在唤醒行动,使所述传感器处理部件监测所述传感器数据,并重新开始在所述活动状态中操作;
其中所述微控制器配置成只响应于所述传感器数据使潜在唤醒行动存储的信息与至少最小置信度水平匹配而确定潜在唤醒行动的检测。
2.如权利要求1所述的计算设备,其中所述设备包括至少两种类型的多个设备传感器,且其中所述微控制器配置成在所述传感器处理部件在较低功率状态中操作时的时间间隔的至少一部分期间监测所述至少两种类型中的至少一个的所述设备传感器。
3.如权利要求2所述的计算设备,其中所述至少两种类型包括照相机、手势传感器、麦克风、超声传感器、电容传感器、电阻传感器、压力传感器、加速度计、力传感器、电子陀螺仪、磁力计、触觉传感器、温度传感器、惯性传感器或电子罗盘中的至少一个。
4.如权利要求2所述的计算设备,其中所述微控制器配置成存储被确定为对应于所述潜在唤醒行动的所述传感器数据的至少一部分,且其中所述传感器处理部件配置成得到所存储的传感器数据的至少一部分以确定所述潜在唤醒行动是否对应于实际唤醒行动。
5.如权利要求1所述的计算设备,其中所述微控制器还配置成监测由所述至少一个设备传感器中的至少一个捕获的所述传感器数据并响应于检测到使所存储的信息与至少最小置信度水平匹配的用户行动而通知所述传感器处理部件,其中所存储的信息至少部分地描述***行动。
6.如权利要求1所述的计算设备,其中所述潜在唤醒行动包括挥动手势、口头命令、用户与所述计算设备的接触、凝视方向、面部识别、物体与所述计算设备的接近或所述计算设备的运动中的至少一个。
7.如权利要求1所述的计算设备,其中所述处理器子***还包括功率管理部件,且其中所述微控制器响应于检测到所述潜在唤醒行动而通知所述功率管理部件,所述功率管理部件配置成使所述传感器处理部件重新开始在所述活动状态中操作。
8.如权利要求1所述的计算设备,其中所述至少一个设备传感器包括照相机和至少一个手势传感器,所述手势传感器具有比所述照相机低的分辨率,所述微控制器配置成捕获由所述至少一个手势传感器而不是由所述照相机捕获的传感器数据。
9.如权利要求1所述的计算设备,其中使用用于发送通知的至少一对通用输入/输出线来连接所述微控制器和所述传感器处理部件。
10.如权利要求1所述的计算设备,其中所述传感器处理部件是所述处理器子***的专用处理核心。
11.一种计算机实现的方法,其包括:
使用计算设备的处理器子***的传感器处理部件在所述传感器处理部件在活动状态中时的时间间隔的至少一部分期间监测由所述计算设备的至少一个设备传感器捕获的传感器数据;
响应于所述传感器处理部件被指示进入睡眠状态而使用所述传感器处理部件将监测所述传感器数据的责任转移到所述计算设备的微控制器;以及
在所述微控制器正执行所述传感器数据的所述监测时,响应于所述微控制器检测到潜在唤醒行动,使所述传感器处理部件重新进入所述活动状态并监测所述传感器数据;
其中所述微控制器配置成只响应于所述传感器数据使潜在唤醒行动存储的信息与至少最小置信度水平匹配而确定潜在唤醒行动的检测。
12.如权利要求11所述的计算机实现的方法,其还包括:
使所述微控制器分析所述传感器数据以试图在所述传感器处理部件在所述睡眠状态中时的时间间隔的至少一部分期间检测唤醒行动,其中所述传感器处理部件被促使响应于所述微控制器从所述传感器数据确定所述唤醒行动而重新进入所述活动状态。
13.如权利要求11所述的计算机实现的方法,其中所述微控制器配置成在所述传感器处理部件在所述活动状态中操作时的时间间隔的至少一部分期间在从模式中操作。
14.如权利要求11所述的计算机实现的方法,其还包括:
使所述传感器处理部件在所述传感器处理部件在所述活动状态中时的时间间隔的至少一部分期间控制所述至少一个设备传感器。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US13/689,078 | 2012-11-29 | ||
US13/689,078 US9081571B2 (en) | 2012-11-29 | 2012-11-29 | Gesture detection management for an electronic device |
PCT/US2013/071538 WO2014085269A1 (en) | 2012-11-29 | 2013-11-22 | Gesture detection management for an electronic device |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104995581A CN104995581A (zh) | 2015-10-21 |
CN104995581B true CN104995581B (zh) | 2018-05-29 |
Family
ID=50774385
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201380061436.5A Active CN104995581B (zh) | 2012-11-29 | 2013-11-22 | 电子设备的手势检测管理 |
Country Status (5)
Country | Link |
---|---|
US (1) | US9081571B2 (zh) |
EP (1) | EP2926213B1 (zh) |
JP (1) | JP6058814B2 (zh) |
CN (1) | CN104995581B (zh) |
WO (1) | WO2014085269A1 (zh) |
Families Citing this family (106)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8635560B2 (en) * | 2011-01-21 | 2014-01-21 | Blackberry Limited | System and method for reducing power consumption in an electronic device having a touch-sensitive display |
US20150253428A1 (en) | 2013-03-15 | 2015-09-10 | Leap Motion, Inc. | Determining positional information for an object in space |
US11493998B2 (en) | 2012-01-17 | 2022-11-08 | Ultrahaptics IP Two Limited | Systems and methods for machine control |
US10691219B2 (en) * | 2012-01-17 | 2020-06-23 | Ultrahaptics IP Two Limited | Systems and methods for machine control |
US8638230B2 (en) | 2012-05-24 | 2014-01-28 | Google Inc. | Hardware attitude detection implementation of mobile devices with MEMS motion sensors |
US9063731B2 (en) | 2012-08-27 | 2015-06-23 | Samsung Electronics Co., Ltd. | Ultra low power apparatus and method to wake up a main processor |
US20140351560A1 (en) | 2013-05-24 | 2014-11-27 | Motorola Mobility Llc | Low Power Management of Multiple Sensor Integrated Chip Architecture |
US9760150B2 (en) | 2012-11-27 | 2017-09-12 | Nvidia Corporation | Low-power states for a computer system with integrated baseband |
CN103857019B (zh) | 2012-11-30 | 2018-01-02 | 辉达公司 | 一种在移动终端中用于省电的方法 |
JP6150503B2 (ja) * | 2012-12-04 | 2017-06-21 | キヤノン株式会社 | 画像処理装置及び画像処理装置の制御方法 |
TW201423484A (zh) | 2012-12-14 | 2014-06-16 | Pixart Imaging Inc | 動態偵測系統 |
DE112012006009T5 (de) * | 2012-12-20 | 2014-11-27 | Intel Corporation | Berührungsbildschirm mit Kraftsensoren |
CN103064624A (zh) * | 2012-12-27 | 2013-04-24 | 深圳市汇顶科技股份有限公司 | 触摸终端及其屏幕激活方法和*** |
US9173199B2 (en) * | 2013-01-07 | 2015-10-27 | Aeris Communications, Inc. | Radio module as web-controllable remote sensor |
US10862950B2 (en) | 2013-01-07 | 2020-12-08 | Aeris Communications, Inc. | Radio module as web-controllable remote sensor |
US9541982B2 (en) | 2013-01-25 | 2017-01-10 | Wisconsin Alumni Research Foundation | Reconfigurable event driven hardware using reservoir computing for monitoring an electronic sensor and waking a processor |
US9300645B1 (en) * | 2013-03-14 | 2016-03-29 | Ip Holdings, Inc. | Mobile IO input and output for smartphones, tablet, and wireless devices including touch screen, voice, pen, and gestures |
CN104102749B (zh) * | 2013-04-11 | 2019-04-23 | 华为技术有限公司 | 终端设备 |
US20140368423A1 (en) * | 2013-06-17 | 2014-12-18 | Nvidia Corporation | Method and system for low power gesture recognition for waking up mobile devices |
US9823728B2 (en) | 2013-09-04 | 2017-11-21 | Nvidia Corporation | Method and system for reduced rate touch scanning on an electronic device |
TW201510772A (zh) * | 2013-09-09 | 2015-03-16 | Novatek Microelectronics Corp | 手勢判斷方法及電子裝置 |
JP5880503B2 (ja) * | 2013-09-11 | 2016-03-09 | コニカミノルタ株式会社 | タッチパネル入力装置 |
US9881592B2 (en) | 2013-10-08 | 2018-01-30 | Nvidia Corporation | Hardware overlay assignment |
US9876966B2 (en) * | 2013-10-18 | 2018-01-23 | Pixart Imaging Inc. | System and method for determining image variation tendency and controlling image resolution |
US10079019B2 (en) | 2013-11-12 | 2018-09-18 | Apple Inc. | Always-on audio control for mobile device |
US20150149801A1 (en) * | 2013-11-26 | 2015-05-28 | Synaptics Incorporated | Complex wakeup gesture framework |
US9552073B2 (en) * | 2013-12-05 | 2017-01-24 | Pixart Imaging Inc. | Electronic device |
US9613202B2 (en) * | 2013-12-10 | 2017-04-04 | Dell Products, Lp | System and method for motion gesture access to an application and limited resources of an information handling system |
US20150193259A1 (en) * | 2014-01-03 | 2015-07-09 | Advanced Micro Devices, Inc. | Boosting the operating point of a processing device for new user activities |
US9836637B2 (en) * | 2014-01-15 | 2017-12-05 | Google Llc | Finger print state integration with non-application processor functions for power savings in an electronic device |
KR101694729B1 (ko) * | 2014-01-20 | 2017-01-10 | 한국전자통신연구원 | 조명 스위치 장치 및 조명 스위칭 방법 |
US11226686B2 (en) * | 2014-01-20 | 2022-01-18 | Lenovo (Singapore) Pte. Ltd. | Interactive user gesture inputs |
US9317129B2 (en) * | 2014-03-25 | 2016-04-19 | Dell Products, Lp | System and method for using a side camera for a free space gesture inputs |
JP6715562B2 (ja) | 2014-03-27 | 2020-07-01 | 任天堂株式会社 | 情報処理システム、情報処理プログラム、情報処理方法、情報処理端末 |
US10845884B2 (en) * | 2014-05-13 | 2020-11-24 | Lenovo (Singapore) Pte. Ltd. | Detecting inadvertent gesture controls |
US9619377B2 (en) | 2014-05-29 | 2017-04-11 | Apple Inc. | System on a chip with always-on processor which reconfigures SOC and supports memory-only communication mode |
US9778728B2 (en) | 2014-05-29 | 2017-10-03 | Apple Inc. | System on a chip with fast wake from sleep |
US10031000B2 (en) | 2014-05-29 | 2018-07-24 | Apple Inc. | System on a chip with always-on processor |
US9933833B2 (en) * | 2014-07-18 | 2018-04-03 | Apple Inc. | Waking a device in response to user gestures |
US9354687B2 (en) * | 2014-09-11 | 2016-05-31 | Nuance Communications, Inc. | Methods and apparatus for unsupervised wakeup with time-correlated acoustic events |
US9335966B2 (en) * | 2014-09-11 | 2016-05-10 | Nuance Communications, Inc. | Methods and apparatus for unsupervised wakeup |
US10416750B2 (en) * | 2014-09-26 | 2019-09-17 | Qualcomm Incorporated | Algorithm engine for ultra low-power processing of sensor data |
US10515284B2 (en) | 2014-09-30 | 2019-12-24 | Qualcomm Incorporated | Single-processor computer vision hardware control and application execution |
US9923004B2 (en) | 2014-09-30 | 2018-03-20 | Qualcomm Incorporated | Hardware acceleration of computer vision feature detection |
US9986179B2 (en) | 2014-09-30 | 2018-05-29 | Qualcomm Incorporated | Sensor architecture using frame-based and event-based hybrid scheme |
US9762834B2 (en) | 2014-09-30 | 2017-09-12 | Qualcomm Incorporated | Configurable hardware for computing computer vision features |
US9940533B2 (en) | 2014-09-30 | 2018-04-10 | Qualcomm Incorporated | Scanning window for isolating pixel values in hardware for computer vision operations |
US10728450B2 (en) | 2014-09-30 | 2020-07-28 | Qualcomm Incorporated | Event based computer vision computation |
US20170132466A1 (en) | 2014-09-30 | 2017-05-11 | Qualcomm Incorporated | Low-power iris scan initialization |
US9838635B2 (en) | 2014-09-30 | 2017-12-05 | Qualcomm Incorporated | Feature computation in a sensor element array |
US9554100B2 (en) | 2014-09-30 | 2017-01-24 | Qualcomm Incorporated | Low-power always-on face detection, tracking, recognition and/or analysis using events-based vision sensor |
US10139897B2 (en) * | 2014-11-10 | 2018-11-27 | Novi Security, Inc. | Power-optimized image capture and push |
WO2016100368A1 (en) | 2014-12-16 | 2016-06-23 | Somatix, Inc. | Methods and systems for monitoring and influencing gesture-based behaviors |
US20160202997A1 (en) * | 2015-01-09 | 2016-07-14 | Sheng-Chia Optical Co., Ltd. | Portable device operating system |
US9704056B2 (en) | 2015-04-02 | 2017-07-11 | Qualcomm Incorporated | Computing hierarchical computations for computer vision calculations |
US11874716B2 (en) * | 2015-08-05 | 2024-01-16 | Suunto Oy | Embedded computing device management |
CN105224063A (zh) * | 2015-10-27 | 2016-01-06 | 上海斐讯数据通信技术有限公司 | 一种电子设备及其应用的唤醒方法 |
US10082878B2 (en) * | 2015-11-11 | 2018-09-25 | Swan Solutions, Inc. | Method for controlling and calibrating a device with a gesture |
US11137820B2 (en) | 2015-12-01 | 2021-10-05 | Amer Sports Digital Services Oy | Apparatus and method for presenting thematic maps |
US11215457B2 (en) | 2015-12-01 | 2022-01-04 | Amer Sports Digital Services Oy | Thematic map based route optimization |
US11144107B2 (en) | 2015-12-01 | 2021-10-12 | Amer Sports Digital Services Oy | Apparatus and method for presenting thematic maps |
US11210299B2 (en) | 2015-12-01 | 2021-12-28 | Amer Sports Digital Services Oy | Apparatus and method for presenting thematic maps |
US11284807B2 (en) | 2015-12-21 | 2022-03-29 | Amer Sports Digital Services Oy | Engaging exercising devices with a mobile device |
US11838990B2 (en) | 2015-12-21 | 2023-12-05 | Suunto Oy | Communicating sensor data in wireless communication systems |
US11541280B2 (en) | 2015-12-21 | 2023-01-03 | Suunto Oy | Apparatus and exercising device |
DE102016015065A1 (de) | 2015-12-21 | 2017-06-22 | Suunto Oy | Aktivitätsintensitätspegel-Bestimmungsfeld |
US11587484B2 (en) | 2015-12-21 | 2023-02-21 | Suunto Oy | Method for controlling a display |
GB2545668B (en) | 2015-12-21 | 2020-05-20 | Suunto Oy | Sensor based context management |
CN105759935B (zh) * | 2016-01-29 | 2019-01-18 | 华为技术有限公司 | 一种终端控制方法及终端 |
US10282579B2 (en) | 2016-01-29 | 2019-05-07 | Synaptics Incorporated | Initiating fingerprint capture with a touch screen |
US10592717B2 (en) | 2016-01-29 | 2020-03-17 | Synaptics Incorporated | Biometric imaging with hover detection |
CN105843365A (zh) * | 2016-03-24 | 2016-08-10 | 广东欧珀移动通信有限公司 | 一种传感器控制方法及装置 |
CN105975073B (zh) * | 2016-04-29 | 2019-07-02 | 广东美的制冷设备有限公司 | 手势识别方法、手势识别装置和设备 |
US11216072B2 (en) | 2016-07-25 | 2022-01-04 | Sony Corporation | Information processing apparatus, information processing method, and program |
US10477328B2 (en) | 2016-08-01 | 2019-11-12 | Qualcomm Incorporated | Audio-based device control |
US10932733B2 (en) * | 2016-09-14 | 2021-03-02 | Dental Imaging Technologies Corporation | Multiple-dimension imaging sensor with operation based on movement detection |
US11703938B2 (en) * | 2016-10-17 | 2023-07-18 | Suunto Oy | Embedded computing device |
DE102017009171A1 (de) * | 2016-10-17 | 2018-04-19 | Amer Sports Digital Services Oy | Eingebettete rechenvorrichtung |
US10984235B2 (en) | 2016-12-16 | 2021-04-20 | Qualcomm Incorporated | Low power data generation for iris-related detection and authentication |
US10614332B2 (en) | 2016-12-16 | 2020-04-07 | Qualcomm Incorportaed | Light source modulation for iris size adjustment |
EP3571626A1 (en) * | 2017-01-23 | 2019-11-27 | Qualcomm Incorporated | Single-processor computer vision hardware control and application execution |
US10332515B2 (en) | 2017-03-14 | 2019-06-25 | Google Llc | Query endpointing based on lip detection |
IT201700086905A1 (it) * | 2017-07-28 | 2019-01-28 | Amiko S R L | Accessorio per inalatore, inalatore e metodo per rilevare un procedimento di somministrazione di farmaco |
JP6546632B2 (ja) * | 2017-09-11 | 2019-07-17 | 京セラ株式会社 | 電子機器、プログラムおよび制御方法 |
US10484530B2 (en) * | 2017-11-07 | 2019-11-19 | Google Llc | Sensor based component activation |
US10613619B2 (en) * | 2017-12-15 | 2020-04-07 | Google Llc | Ultra-low power mode for a low-cost force-sensing device |
CN108108007B (zh) | 2017-12-21 | 2019-11-19 | 维沃移动通信有限公司 | 一种降低功耗的处理方法及移动终端 |
CN108181992A (zh) | 2018-01-22 | 2018-06-19 | 北京百度网讯科技有限公司 | 基于手势的语音唤醒方法、装置、设备及计算机可读介质 |
KR20230173211A (ko) | 2018-05-04 | 2023-12-26 | 구글 엘엘씨 | 감지된 입 움직임 및/또는 시선을 기반으로 자동화된 어시스턴트 적응 |
EP4130941A1 (en) | 2018-05-04 | 2023-02-08 | Google LLC | Hot-word free adaptation of automated assistant function(s) |
JP7277569B2 (ja) * | 2018-05-04 | 2023-05-19 | グーグル エルエルシー | 検出されたジェスチャおよび凝視に基づく自動化アシスタントの機能の呼び出し |
EP3753017B1 (en) * | 2018-06-05 | 2023-08-02 | Samsung Electronics Co., Ltd. | A voice assistant device and method thereof |
US11340709B2 (en) | 2018-10-18 | 2022-05-24 | Hewlett-Packard Development Company, L.P. | Relative gestures |
TWI736045B (zh) * | 2018-12-18 | 2021-08-11 | 芬蘭商亞瑪芬體育數字服務公司 | 嵌入式計算裝置管理 |
KR20200090438A (ko) | 2019-01-21 | 2020-07-29 | 삼성전자주식회사 | 디스플레이의 손상을 방지하기 위한 전자 장치 및 방법 |
CN112014866B (zh) * | 2019-05-28 | 2024-03-26 | 华为技术有限公司 | 运动轨迹记录方法及相关设备 |
CN113924568A (zh) | 2019-06-26 | 2022-01-11 | 谷歌有限责任公司 | 基于雷达的认证状态反馈 |
JP7316383B2 (ja) | 2019-07-26 | 2023-07-27 | グーグル エルエルシー | Imuおよびレーダーを介した認証管理 |
US11868537B2 (en) * | 2019-07-26 | 2024-01-09 | Google Llc | Robust radar-based gesture-recognition by user equipment |
CN110531874A (zh) * | 2019-08-05 | 2019-12-03 | 深圳市千分一智能技术有限公司 | 一种主动式电容笔及其省电控制方法 |
CN113892072A (zh) | 2019-08-30 | 2022-01-04 | 谷歌有限责任公司 | 用于暂停的雷达姿势的视觉指示器 |
CN118192796A (zh) | 2019-08-30 | 2024-06-14 | 谷歌有限责任公司 | 移动设备的输入方法 |
EP3798796B1 (en) * | 2019-09-25 | 2024-03-20 | Netatmo | Low-consumption electronic device and method for powering on an electronic device |
CN111148041A (zh) * | 2019-12-28 | 2020-05-12 | 高树安弗(杭州)科技有限公司 | 一种低功耗位置监视装置、***及方法 |
US11797086B2 (en) * | 2020-04-30 | 2023-10-24 | Tap Systems Inc. | Wearable finger tap detection system with low power mode |
CN111603761A (zh) * | 2020-05-15 | 2020-09-01 | 歌尔智能科技有限公司 | 游戏手柄及其唤醒方法、装置及计算机可读存储介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101083809A (zh) * | 2006-06-01 | 2007-12-05 | 三星电子株式会社 | 使用语音识别来改变操作模式的移动终端及方法 |
US7692627B2 (en) * | 2004-08-10 | 2010-04-06 | Microsoft Corporation | Systems and methods using computer vision and capacitive sensing for cursor control |
CN102461135A (zh) * | 2009-06-05 | 2012-05-16 | 高通股份有限公司 | 基于姿势识别来控制移动设备的功耗 |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10969917B2 (en) | 2008-01-30 | 2021-04-06 | Apple Inc. | Auto scanning for multiple frequency stimulation multi-touch sensor panels |
US8683247B2 (en) * | 2008-06-12 | 2014-03-25 | Advanced Micro Devices, Inc. | Method and apparatus for controlling power supply to primary processor and portion of peripheral devices by controlling switches in a power/reset module embedded in secondary processor |
US8788977B2 (en) | 2008-11-20 | 2014-07-22 | Amazon Technologies, Inc. | Movement recognition as input mechanism |
US9594431B2 (en) * | 2009-06-19 | 2017-03-14 | Hewlett-Packard Development Company, L.P. | Qualified command |
US8364857B2 (en) * | 2009-08-31 | 2013-01-29 | Qualcomm Incorporated | Wireless modem with CPU and auxiliary processor that shifts control between processors when in low power state while maintaining communication link to wireless network |
US8760631B2 (en) | 2010-01-27 | 2014-06-24 | Intersil Americas Inc. | Distance sensing by IQ domain differentiation of time of flight (TOF) measurements |
US8888720B2 (en) * | 2010-04-02 | 2014-11-18 | Stanford P. Hudson | Great toe dorsiflexion detection |
US8954099B2 (en) * | 2010-06-16 | 2015-02-10 | Qualcomm Incorporated | Layout design of proximity sensors to enable shortcuts |
CA2750352C (en) | 2010-09-24 | 2019-03-05 | Research In Motion Limited | Method for conserving power on a portable electronic device and a portable electronic device configured for the same |
US8635560B2 (en) * | 2011-01-21 | 2014-01-21 | Blackberry Limited | System and method for reducing power consumption in an electronic device having a touch-sensitive display |
US8930734B1 (en) | 2011-03-30 | 2015-01-06 | Google Inc. | Managing power states of a computing device |
US9299036B2 (en) * | 2011-08-31 | 2016-03-29 | Striiv, Inc. | Life pattern detection |
-
2012
- 2012-11-29 US US13/689,078 patent/US9081571B2/en active Active
-
2013
- 2013-11-22 JP JP2015545135A patent/JP6058814B2/ja active Active
- 2013-11-22 CN CN201380061436.5A patent/CN104995581B/zh active Active
- 2013-11-22 WO PCT/US2013/071538 patent/WO2014085269A1/en active Application Filing
- 2013-11-22 EP EP13858556.7A patent/EP2926213B1/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7692627B2 (en) * | 2004-08-10 | 2010-04-06 | Microsoft Corporation | Systems and methods using computer vision and capacitive sensing for cursor control |
CN101083809A (zh) * | 2006-06-01 | 2007-12-05 | 三星电子株式会社 | 使用语音识别来改变操作模式的移动终端及方法 |
CN102461135A (zh) * | 2009-06-05 | 2012-05-16 | 高通股份有限公司 | 基于姿势识别来控制移动设备的功耗 |
Non-Patent Citations (1)
Title |
---|
"Minimizing Power Consumption in Micro-Processor Based Systems which Utilize Speech Recognition Devices";IBM等,;《IBM Technical Disclosure Bulletin》;19941001;第37卷(第10期);第151-153页 * |
Also Published As
Publication number | Publication date |
---|---|
EP2926213B1 (en) | 2020-06-03 |
CN104995581A (zh) | 2015-10-21 |
US9081571B2 (en) | 2015-07-14 |
EP2926213A1 (en) | 2015-10-07 |
JP6058814B2 (ja) | 2017-01-11 |
WO2014085269A1 (en) | 2014-06-05 |
US20140149754A1 (en) | 2014-05-29 |
EP2926213A4 (en) | 2016-07-06 |
JP2016502721A (ja) | 2016-01-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104995581B (zh) | 电子设备的手势检测管理 | |
JP6235681B2 (ja) | ユーザの意図および/または識別情報に基づくモバイルデバイス状態の調整のための方法、記憶媒体、及びシステム | |
US8228292B1 (en) | Flipping for motion-based input | |
US9213436B2 (en) | Fingertip location for gesture input | |
GB2498299B (en) | Evaluating an input relative to a display | |
US9268407B1 (en) | Interface elements for managing gesture control | |
CN104919396B (zh) | 在头戴式显示器中利用身体握手 | |
CN103620620A (zh) | 在设备交互中使用空间信息 | |
EP3547107B1 (en) | Method for providing information mapped between a plurality of inputs and electronic device for supporting the same | |
US9400575B1 (en) | Finger detection for element selection | |
WO2017063478A1 (zh) | 健康指数测量方法及装置 | |
CN109976654A (zh) | 一种显示屏内容调整方法、装置、移动终端及存储介质 | |
CN111930509A (zh) | 智能眼镜的数据处理方法、装置、存储介质及电子设备 | |
AU2015252057B2 (en) | Adjusting mobile device state based on user intentions and/or identity | |
CN111027406A (zh) | 图片识别方法、装置、存储介质及电子设备 | |
CN114842961A (zh) | 生理周期预测方法、装置、电子设备及存储介质 | |
CN114205559A (zh) | 安全检测方法、装置、电子设备及存储介质 | |
CN110738258A (zh) | 图像分类方法、装置及终端设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |