CN108399915A - 低功率关键短语检测 - Google Patents
低功率关键短语检测 Download PDFInfo
- Publication number
- CN108399915A CN108399915A CN201810044600.6A CN201810044600A CN108399915A CN 108399915 A CN108399915 A CN 108399915A CN 201810044600 A CN201810044600 A CN 201810044600A CN 108399915 A CN108399915 A CN 108399915A
- Authority
- CN
- China
- Prior art keywords
- integrated system
- pmic
- audio sample
- kpd
- theme
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000004044 response Effects 0.000 claims abstract description 11
- 238000000034 method Methods 0.000 claims description 32
- 239000000872 buffer Substances 0.000 claims description 30
- 238000003860 storage Methods 0.000 claims description 20
- 230000008859 change Effects 0.000 claims description 9
- 238000001514 detection method Methods 0.000 claims description 9
- 230000002093 peripheral effect Effects 0.000 claims description 8
- 230000000712 assembly Effects 0.000 claims description 7
- 238000000429 assembly Methods 0.000 claims description 7
- 238000005516 engineering process Methods 0.000 abstract description 10
- 230000005540 biological transmission Effects 0.000 description 31
- 230000015654 memory Effects 0.000 description 22
- 238000012545 processing Methods 0.000 description 15
- 230000009467 reduction Effects 0.000 description 13
- 238000010586 diagram Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 10
- 230000003068 static effect Effects 0.000 description 10
- 230000008901 benefit Effects 0.000 description 6
- 230000004913 activation Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000004519 manufacturing process Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 230000005611 electricity Effects 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000006073 displacement reaction Methods 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000033001 locomotion Effects 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 230000005236 sound signal Effects 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 241001269238 Data Species 0.000 description 2
- 241000209140 Triticum Species 0.000 description 2
- 235000021307 Triticum Nutrition 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 235000003642 hunger Nutrition 0.000 description 2
- 230000014759 maintenance of location Effects 0.000 description 2
- 239000000047 product Substances 0.000 description 2
- 230000002618 waking effect Effects 0.000 description 2
- YIWGJFPJRAEKMK-UHFFFAOYSA-N 1-(2H-benzotriazol-5-yl)-3-methyl-8-[2-[[3-(trifluoromethoxy)phenyl]methylamino]pyrimidine-5-carbonyl]-1,3,8-triazaspiro[4.5]decane-2,4-dione Chemical compound CN1C(=O)N(c2ccc3n[nH]nc3c2)C2(CCN(CC2)C(=O)c2cnc(NCc3cccc(OC(F)(F)F)c3)nc2)C1=O YIWGJFPJRAEKMK-UHFFFAOYSA-N 0.000 description 1
- MKYBYDHXWVHEJW-UHFFFAOYSA-N N-[1-oxo-1-(2,4,6,7-tetrahydrotriazolo[4,5-c]pyridin-5-yl)propan-2-yl]-2-[[3-(trifluoromethoxy)phenyl]methylamino]pyrimidine-5-carboxamide Chemical compound O=C(C(C)NC(=O)C=1C=NC(=NC=1)NCC1=CC(=CC=C1)OC(F)(F)F)N1CC2=C(CC1)NN=N2 MKYBYDHXWVHEJW-UHFFFAOYSA-N 0.000 description 1
- NEAPKZHDYMQZCB-UHFFFAOYSA-N N-[2-[4-[2-(2,3-dihydro-1H-inden-2-ylamino)pyrimidin-5-yl]piperazin-1-yl]ethyl]-2-oxo-3H-1,3-benzoxazole-6-carboxamide Chemical compound C1CN(CCN1CCNC(=O)C2=CC3=C(C=C2)NC(=O)O3)C4=CN=C(N=C4)NC5CC6=CC=CC=C6C5 NEAPKZHDYMQZCB-UHFFFAOYSA-N 0.000 description 1
- AFCARXCZXQIEQB-UHFFFAOYSA-N N-[3-oxo-3-(2,4,6,7-tetrahydrotriazolo[4,5-c]pyridin-5-yl)propyl]-2-[[3-(trifluoromethoxy)phenyl]methylamino]pyrimidine-5-carboxamide Chemical compound O=C(CCNC(=O)C=1C=NC(=NC=1)NCC1=CC(=CC=C1)OC(F)(F)F)N1CC2=C(CC1)NN=N2 AFCARXCZXQIEQB-UHFFFAOYSA-N 0.000 description 1
- VCUFZILGIRCDQQ-KRWDZBQOSA-N N-[[(5S)-2-oxo-3-(2-oxo-3H-1,3-benzoxazol-6-yl)-1,3-oxazolidin-5-yl]methyl]-2-[[3-(trifluoromethoxy)phenyl]methylamino]pyrimidine-5-carboxamide Chemical compound O=C1O[C@H](CN1C1=CC2=C(NC(O2)=O)C=C1)CNC(=O)C=1C=NC(=NC=1)NCC1=CC(=CC=C1)OC(F)(F)F VCUFZILGIRCDQQ-KRWDZBQOSA-N 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000003139 buffering effect Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 238000009472 formulation Methods 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 230000002045 lasting effect Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 239000011241 protective layer Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 239000012536 storage buffer Substances 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000000153 supplemental effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/26—Power supply means, e.g. regulation thereof
- G06F1/32—Means for saving power
- G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
- G06F1/3234—Power saving characterised by the action undertaken
- G06F1/3296—Power saving characterised by the action undertaken by lowering the supply or operating voltage
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/26—Power supply means, e.g. regulation thereof
- G06F1/32—Means for saving power
- G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
- G06F1/3206—Monitoring of events, devices or parameters that trigger a change in power modality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/26—Power supply means, e.g. regulation thereof
- G06F1/32—Means for saving power
- G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
- G06F1/3234—Power saving characterised by the action undertaken
- G06F1/3287—Power saving characterised by the action undertaken by switching off individual functional units in the computer system
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/26—Power supply means, e.g. regulation thereof
- G06F1/32—Means for saving power
- G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
- G06F1/3234—Power saving characterised by the action undertaken
- G06F1/3293—Power saving characterised by the action undertaken by switching to a less power-consuming processor, e.g. sub-CPU
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/28—Constructional details of speech recognition systems
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L2015/088—Word spotting
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
- Y02D30/50—Reducing energy consumption in communication networks in wire-line communication networks, e.g. low power modes or reduced link rate
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Computer Hardware Design (AREA)
- Computing Systems (AREA)
- Power Sources (AREA)
Abstract
本文公开了用于低功率关键短语检测的***和技术。音频样本可在功率管理集成电路(PMIC)中被捕捉。此处,PMIC在物理上不同于集成***的传感器电路,并且PMIC具有比传感器电路更低的功率泄漏。集成***可基于触发器来唤醒。音频样本可随后被传送到集成***以执行关键短语检测(KPD)。集成***可响应于KPD的完成而被置为睡眠。
Description
技术领域
本文所描述的实施例一般涉及低功率设备,并且更具体地涉及片上***(SOC)低功率关键短语检测(KPD)。
背景技术
存在对可穿戴设备,并且更具体地,对语音激活可穿戴设备的与日俱增的需求。语音激活一般包括用于采样和解释声音数据以实现语音激活的多个传感器和处理器。通常,在诸如目前可用的SoC设计之类的集成处理平台中实现这些功能。SoC常常被设计为处理其他任务,诸如通信、传感器解释、媒体回放或一般处理。如此,SoC倾向于是功率饥饿型(power hungry)的;在低功率设备实现中减小它们的功效常常是关于可穿戴设备的问题。
附图简述
图1是根据实施例的用于KPD的***的框图。
图2是根据实施例的用于KPD的传感器中枢工作流的示图。
图3是根据实施例的用于低功率KPD的***的框图。
图4是根据实施例的用于低功率KPD的传感器中枢工作流的示图。
图5是根据实施例的用于低功率KPD的方法的示例的流程图。
图6是例示可在其上实现一个或多个实施例的机器的示例的框图。
具体实施方式
SoC和其他集成***开发者经常在关键短语检测(KPD)或语音唤醒(WoV)使用情形期间遇到管理平台功率耗尽的问题。这个问题出现在各种应用中,诸如在可穿戴设备、电话、平板、IVI***以及其他应用中。
诸如使用KPD的WoV之类的非接触唤醒已成为标准平台特征并且趋向于成为用于诸如头戴式设备、无线耳塞式耳机、电话以及平板之类的可穿戴设备的普遍选择。而支持KPD的可穿戴产品的欠佳电池寿命可能尤其不受消费者喜欢。本文所描述的针对这些问题的一种解决方案是,从集成***分离KPD实现以便在KPD子***中维持KPD的同时允许功率饥饿型集成***上的更积极(aggressive)的功率节省。在示例中,KPD子***可包括用于捕捉、存储以及处理用于KPD的音频样本的数字麦克风(DMIC)、存储器缓冲器以及数字信号处理器(DSP)。可包括静态随机存取存储器(SRAM)或类似存储器块的组合以便存储声音样本。KPD子***可包括带有DMIC的模拟音频前端、脉冲密度调制(PDM)至脉冲编码调制(PCM)转换器等,且“常开功率阱”中的时钟源用于在诸如例如可穿戴设备的SoC实现之类的许多集成***应用中提供显著功率节省。
以下描述和附图充分例示了具体实施例以使本领域技术人员能理解这些具体实施例。其他实施例可结合结构、逻辑、电气、过程、以及其他变化。各个实施例的多个部分和特征可被包括在其他实施例的多个部分和特征中,或者替换其他实施例的多个部分和特征。在权利要求中所陈述的实施例包括那些权利要求的可用的等效技术方案。
图1是根据实施例的用于KPD的***100的框图。***100包括平台105,诸如电话、平板、主板等,该平台105包括SoC 110和音频子***165。SoC 110包括传感器中枢115。可在单个集成电路(IC)上制造传感器中枢115,及其内部例示的组件。传感器中枢115包括处理器120(例如,中央处理单元(CPU)、数字信号处理器(DSP)等)、***存储器125(例如,静态随机存取存储器(SRAM)、动态RAM(DRAM)等)、功率管理单元(PMU)130以及直接存储器存取(DMA)块135。传感器中枢115还可包括音频子***165的组件,诸如先进先出(FIFO)缓冲器145,以及调制转换器,诸如脉冲密度调制(PDM)块155和PDM到脉冲编码调制(PCM)转换器150。PDM块155可经由控制线170和数据线175被耦合至数字麦克风(DMIC)160和180以完成音频子***。
在操作中,***100包括“常开”或接收功率以便捕捉音频并执行KPD的若干组件。这些组件包括PMU130、处理器120以及DMA块135、PDM块155,以及PDM至PCM转换器150。此外,在***存储器125和FIFO缓冲器145在活跃时,即在它们存储诸如由音频子***165捕捉的音频样本之类的信息的任何时候,向该***存储器125和FIFO缓冲器145提供功率。其余传感器中枢115组件可被断电或被置于降低的功率状态,以实现KPD。
图2是根据实施例的用于KPD的传感器中枢工作流200的示图。该视图包括时间阶段220、225和230,其中时间阶段220在给定时间处开始,时间阶段225在时间阶段220的二十毫秒后开始,而时间阶段230在时间阶段220的四十毫秒后开始。该视图还包括用于在时间阶段220、225和230中在不同组件及其相应的功率状态之间进行区分的三个通道205、210和215。具体而言,通道一205例示在时间阶段225(功率条235)和230(功率条245)中SoC的降低的功率状态(SO或SOi1),同时传感器中枢IC在这些时段中保持在常开状态,如功率条240和241所例示的那样。通道二210和通道三215例示了传感器中枢IC保持通电(powered on)来处理KPD的原因。然而,简言之,在KPD期间,传感器中枢IC组件活动中不存在中断以允许传感器中枢IC进入低功率状态。
通道二210例示与通道三215中例示的用于支持KPD的传感器或混杂任务集成的KPD特定任务。KPD***以诸如每三到五毫秒并且可能高达每二十毫秒的间隔发起对来自麦克风的音频数据的传送(操作255)。数据被传送(操作275)到KPD***,该***包括例如执行PDM至PCM转换(操作270)。因为音频收集是持续不断的(或近似如此),并且FIFO缓冲器趋向于为小的,所以在有足够的音频数据被捕捉来执行KPD之前,音频信息的传送可迭代数次。当存在足够的音频数据时,执行KPD(操作265)并且在时间阶段230中重复该过程。
在示例中,一旦KPD被开启,音频处理获得优先权并且诸如DMA传送请求之类的任务将处于最高优先级。诸如其他传感器数据传送、处理或固件(FW)内务管理(housekeeping)任务之类的其他任务将被限制于音频样本传送之间的时间窗。管芯上的音频FIFO可捕捉样本中高达三到五毫秒(例如,取决于对面积和功率直接作出贡献的FIFO尺寸)的音频并生成DMA请求以将缓冲器冲刷到(flush)***存储器。这在通道二210中被例示为数据传送请求块275。
源自工作流200的观察可包括许多组件在整个时间都处于满功率。归因于SoC中传感器中枢的内含物,SoC倾向于停留在比其原本所在的更高功率状态。通道二210音频和通道三215传感器部分在整个时段(例如,时段260)可以不是活动的,但在两个时段之间,传感器中枢被供电以满足用于KPD的音频捕捉和处理任务。例如,因为FIFO通常较浅,所以音频收集窗口倾向于在三到五毫秒之间并且样本被持续地移动至SoC的更大***存储器。因此,关闭传感器中枢通常是不可能的,因为要么音频正被捕捉,要么存在一些KPD处理要执行。此外,虽然存在其中传感器中枢可能被断电的时段,但是如果窗口太短(这是典型情形),则不会有净能量(net energy)被节省下来。
以上所描述的***100和工作流200表示可在各种应用中发现的KPD操作。此类应用的示例可包括使用利用两个到四个麦克风通道以一采样速率捕捉的音频样本的最小时间片值来检测人类声音的存在。在示例中,可使用针对四个麦克风的十六千比特每秒(Kbps)的二十毫秒样本。在该示例中,二十毫秒的样本消耗***存储器的大约三千比特(KB)空间。
在示例中,数字麦克风可使用诸如PDM之类的过采样数字格式,将此传送到SoC。在示例中,SoC逻辑块可将PDM格式转换成更简单的格式,诸如PCM。PCM音频随后可被传送到SoC***存储器以供由例如DSP进行KPD处理。在示例中,数字处理逻辑可使用它自己的时钟源。在示例中,时钟源可具有38.4兆赫兹(MHz)的频率以用于KPD。
在这些***中,当用户在例如操作***(OS)级打开KPD时,具有音频前端的SoC上的传感器中枢IC将被打开以持续收集音频样本。存储器、DSP以及时钟分布是用于运行KPD的主要功率消耗贡献方。通常,这些配置中的功率消耗在平台级下可在从九到十毫瓦特(mW)的范围内。
智能地划分***100的组件可提供将更多组件带入低功率状态同时仍旧实现稳健KPD的机会。具体而言,音频捕捉前端部分可与常开中枢分开并被重新安置到功率管理IC(PMIC)。PMIC可包括它自己的时钟和非选通功率阱。音频组件与传感器中枢之间的数据交换可经由串行***接口(SPI)来实现。利用这种布置,可在使用PMIC捕捉音频样本的同时完全关闭(例如,断电)传感器中枢。这还将允许SoC进入S0i3或深功率挂起模式(deep powersuspend modes)并且允许将电源轨降至保留电压水平。
因为传感器中枢的部分将仍在KPD中使用,所以例如以三十二千赫兹的频率运行的可编程定时器(例如,实时时钟(RTC))可被用于对传感器中枢生成唤醒信号。当定时器产生唤醒触发时,或其他唤醒触发被发出时,传感器中枢中的处理器可被上电以操作专用SPI端口并将音频样本传送到SRAM存储器以供KPD处理。
例如,通过将PMIC与传感器中枢(以及通常SoC)分开,可使用基于较大特征尺寸的不同的制造工艺。IC中的较大特征尺寸通常具有较低功率泄漏并且由此可能导致对***的额外功率节省。例如,PMIC(其可具有比其位于SoC中时低一数量级的泄漏)中的FIFO或存储器分配可被增加至三KB以容纳整个二十毫秒的音频捕捉。通过减少用于传送到SoC***存储器中的音频样本的数量,减少传感器中枢被唤醒的次数,从而允许SoC在例如S0i3,或其他降低的功率状态中的更长的驻留期。
该布置不会使KPD性能降级,因为传感器中枢仅在音频样本已被收集时睡眠而从以上所讨论的***100的持续传送过程中释放。而且,即使传感器中枢不被置为低功率状态,***也会实现释放传感器中枢来执行诸如运动感测之类的其他任务的优点。无论如何,在功率节省方面,如本文所描述的,通过将音频组件从传感器中枢划分开,可节省大约四毫瓦特。
图3是根据实施例的用于低功率KPD的***300的框图。***300与***100之间的不同在于平台305中与SoC310分开的新的PMIC340。如在***100中,SoC 110包括传感器中枢315,并且传感器中枢315可包括处理器320、PMU330、***存储设备325以及DMA块335。添加到SoC110的是例如PMU330中的定时器345以及SPI350。***300还包括音频子***395,该音频子***395包括PMIC340和集成***310两者中的组件。
如所例示的,PMIC340在物理上与集成***(例如,SoC)310的传感器中枢(例如,电路)315分开,并由此与传感器中枢315的时钟分开。在示例中,(PMIC340的)时钟以与集成***310的集成***时钟相比的降低的频率来操作。在示例中,降低的频率为三十八点四兆赫兹。
在示例中,PMIC340具有比传感器中枢低的功率泄漏。这可通过例如较旧工艺的典型具有更大特征尺寸的制造工艺来实现。在示例中,PMIC具有六十五纳米的特征尺寸(与SoC 310的十四纳米工艺形成对比)。
在操作中,PMIC340可被布置成捕捉音频样本。在示例中,PMIC340包括FIFO缓冲器365。在此示例中,捕捉音频样本包括将来自麦克风(例如,DMIC)阵列的输入存储到FIFO缓冲器365。在示例中,音频样本的一部分被存储在FIFO缓冲器365。在示例中,PMIC340可被布置成确定FIFO触发被激活。例如,如果FIFO是满的,或超过阈值,则该情况可能出现。在示例中,PMIC340被布置成将音频信号的部分(例如,经由DMA块335以及SPI端350和360)传送到集成***310的存储器设备325。在示例中,音频样本的部分处于三到五毫秒的范围(包括三和五毫秒)中。在示例中,音频样本的长度是二十毫秒。在示例中,FIFO缓冲器365的尺寸是三千比特。
PMIC340被布置成将音频样本从第一格式变换为第二格式以创建简化的音频信号。在示例中,第一格式是例如在PDM块处捕捉的PDM。在示例中,第二格式是PCM。变换可例如通过PDM至PCM转换器375来实现。
集成***310可在由定时器345确定的间隔下被整体唤醒或部分地唤醒(例如,仅唤醒传感器中枢315)。在示例中,定时器345位于集成***310中(如所例示的)。在示例中,定时器345位于PMIC 340中。在示例中,定时器345以三十二千赫兹的频率操作。在示例中,间隔为二十毫秒。
简化的音频信号可被传送到集成***310以执行KPD。在示例中,传送使用DMA(例如,块335)将音频样本的部分传送到存储器设备325。在示例中,存储器设备325是SRAM设备。在示例中,集成***310将来自PMIC 340的DMA传送的优先级列为高于其他DMA。在示例中,其他DMA传送被限于由传感器进行的DMA传送。
在示例中,传送简化的音频包括使用SPI。此处,PMIC包括被通信地耦合到集成***中第二SPI端点350的第一SPI端点360。
集成***310响应于KPD的完成而被置为睡眠。在示例中,将集成***310置为睡眠包括使存储器设备325进入保留模式。在示例中,将集成***310置为睡眠包括选通断开(gating off)集成***310的一部分。在示例中,该部分是集成***310的传感器中枢315。
***300提供优于以上所讨论的***100的多个益处。概括地说,基于以上所讨论的各个示例,将功率损耗块从SoC 310划分到PMIC 340可导致显著的功率节省同时仍旧实现常开KPD。例如,所提议的划分允许用于PMIC 340的制造工艺,该制造工艺比SoC 310的制造工艺泄漏更少的功率。此外,这个较低功率泄漏的益处允许较大的FIFO缓冲器365(例如,三千比特而不是一千五百比特),从而减少SoC 310或传感器中枢315被唤醒的次数。因此,相对于***100,SoC 310或传感器中枢315实际上可被置为睡眠。因为划分从SoC310移除音频处理(例如,感测与捕捉)但未移除其他KPD功能,所以SoC310或传感器中枢315被唤醒以完成KPD。如上所述,这可以是(例如,经由定时器345的)自唤醒(self-awaking)或由PMIC340(例如,FIFO触发器)触发。SPI可被用来在唤醒时段期间排空FIFO缓冲器365并且能够在此时段期间传送FIFO缓冲器356的三千比特。
图4是根据实施例的用于低功率KPD的传感器中枢工作流400的示图。该工作流400例示***300跨时间的供电操作,很像针对***100例示的工作流200。与工作流200类似,该例示按二十毫秒时间间隔垂直划分,在时间420处开始,移动至时间425,并在时间430处结束。这些时间周期可针对持续KPD而持续不断地重复。
通道一405例示基于集成***(例如,SoC)的传感器中枢的功率状态转变。这些功率转变还影响(也被例示出的)集成***的功率转变。在示例中,传感器中枢可保存状态并且是功率选通的。在示例中,基于可编程定时器的唤醒脉冲可以功率非选通并恢复传感器中枢的处理器(例如,DSP)状态。
通道二410例示通过SPI的数据传送阶段以及由传感器中枢进行的KPD处理流。
通道三415例示跨不同任务的传感器中枢处理器带宽的时间共享。如上所述,***300允许在SPI发生音频传输的同时的无中断的任务执行。因此,音频传送请求的优先级可被列为高于诸如运动传感器处理之类的其他任务,而没有惩罚。
功率循环和任务性能的示例性能始于集成***处于S0或S0i1的降低功率状态435,同时传感器中枢被通电440以恢复其处理器状态(操作455),传送来自PMIC的音频样本(操作460),从而导致将诸如经由DMA从PMIC传送数据(操作475),执行KPD(操作465),并且保存处理器上下文(操作470)。在该点处,处理器中枢可掉电450,直到例如附加音频样本时段(例如,二十毫秒)或其他触发(例如,FIFO缓冲器装满)发生。随着处理器中枢掉电,集成***可进入例如S0i3的甚至更加降低的功率状态445。
在最后时间阶段430中重复该过程,除了诸如混杂的传感器任务485和495之类的一些操作以外,或者可代替音频样本传送而执行其他传感器任务(例如,操作480处的运动传感器数据处理)。这例示了由***300提供的灵活性。
***300中描述的组件的划分允许在每个音频样本传送间隔期间功率选通集成***上的传感器中枢。这进而允许集成***进入降低的功率状态,诸如S0i3。此外,由于缓冲器重新划分(例如,增加FIFO尺寸),对传感器中枢处理器带宽而言是零惩罚的,而对支持KPD流而言,是零性能改变的。
所描述的划分和组件重定位不应当被解释为将功率问题从集成***移动至平台的另一个区域,因为PMIC很可能早已被供电用于其他任务,诸如通用串行总线缆线检测逻辑。因此,将诸如音频样本捕捉之类的附加常开组件定位到PMIC中是高效功率分配。此外,PMIC通常使用具有比标准SoC集成***低得多的泄漏的制造工艺技术。这在将存储器缓冲器移动至功率阱中;允许增加例如FIFO尺寸以容纳完整音频样本尺寸(例如,20ms的音频样本值)——动态地降低传感器中枢或集成***将在其下唤醒的频率时提供益处。降低的功率状态中的增加的驻留期导致附加功率节省。
关闭传感器中枢通过例如消除诸如时钟维护之类的支持功能来向集成***提供功率节省益处。再者,这允许集成***进入比原本可能的水平更深的功率降低水平。
所有这些益处是在没有KPD性能上的感知到的下降的情况下以及归因于有效利用DMA而在音频样本数据传送期间没有传感器中枢或其处理器上的附加开销的情况下实现的。
图5是根据实施例的用于低功率KPD的方法500的示例的流程图。方法500的操作通过诸如以上或以下所描述的电子硬件(例如,电路)来执行。
在操作505处,可在功率管理集成电路(PMIC)中捕捉音频样本。此处,PMIC在物理上与集成***的(例如,不同IC中的)传感器电路分开并且具有比传感器电路更低的功率泄漏。而且,在示例中,集成***是设备的片上***(SOC)而PMIC是同一设备的部分。
在示例中,PMIC包括与集成***的其它组件分开的FIFO缓冲器在示例中,捕捉音频样本包括将来自麦克风阵列的输入存储到PMIC的FIFO缓冲器中。在示例中,存储来自麦克风阵列的输入包括确定达到FIFO阈值并且作为响应,将FIFO触发器作为触发器激活。在示例中,音频样本的长度是二十毫秒。在示例中,FIFO缓冲器的尺寸是三千比特。
在操作510中,集成***可基于触发器而被唤醒。在示例中,在由定时器确定的间隔处激活触发器。在示例中,定时器位于集成***中。在示例中,定时器位于PMIC中。在示例中,定时器以三十二千赫兹的频率操作。在示例中,间隔为二十毫秒。
在操作515处,音频样本可被传送到集成***310以执行KPD。在示例中,传送音频样本包括使用DMA来影响至存储器设备的传送。在示例中,集成***将来自PMIC的DMA传送的优先级列为高于其他DMA传送。在示例中,其他DMA传送被限于由传感器进行的DMA传送。在示例中,存储器设备是静态随机存取存储器(SRAM)设备。
在示例中,方法500可被扩展成在将音频样本从PMIC传送到集成***之前,将音频信号从第一格式转变成第二格式。在示例中,第一格式是PDM。在示例中,第二格式是PCM。
在示例中,传送音频样本包括使用SPI。此处,PMIC包括被通信地耦合到集成***中第二SPI端点的第一SPI端点。
在操作520处,集成***可响应于KPD的完成而被置为睡眠。在示例中,将集成***置为睡眠包括使存储器设备进入保留模式。在示例中,将集成***置为睡眠包括选通断开集成***的一部分。在示例中,该部分是集成***的传感器电路。
在示例中,PMIC是用六十五纳米工艺来创造的。在示例中,相比于集成***时钟,该时钟在降低的频率下操作。在示例中,其中降低的频率为三十八点四兆赫兹。
图6是例示根据示例实施例的电子设备600的示例形式的可穿戴关键短语检测SOC设备的框图,在该设备内,可执行指令集或或序列以使机器执行本文所讨论的方法中的任何一个。电子设备600作为独立设备进行操作,或可以被连接(如,联网)到其他机器。在被联网的部署中,电子设备600可在服务器-客户机网络环境中作为服务器或客户机来进行操作,或者它可在对等(或分布式)网络环境中担当对等机。电子设备600可以是集成电路(IC)、便携式电子设备、个人计算机(PC)、平板PC、混合式平板、个人数字助理(PDA)、移动电话或能够(顺序地或以其他方式)执行指定将由机器采取以检测用户输入的的动作的指令的任何电子设备600。此外,虽然仅示出单个电子设备600,但是,术语“机器”或“电子设备”也应当被认为包括单独或共同执行一组(或多组)指令以执行本文所讨论的方法中的任何一种或更多种方法的机器或设备的任意集合。类似地,术语“基于处理器的***”应当被认为包括由处理器(例如,计算机)控制或操作以单独地或联合地执行指令来执行本文讨论的方法中的任何一者或多者的一个或多个机器的任何一组。
示例电子设备600至少包括一个处理器602(例如,中央处理单元(CPU)、图形处理单元(GPU)或它们两者、处理器核、计算节点等)、主存储器604以及静态存储器606,它们均经由链路608(例如,总线)彼此通信。
电子设备600可包括显示单元612或另一显示器类型,其中显示单元612可包括提供用户可读显示和保护层的单个组件。电子设备600可进一步包括输入设备614,诸如按钮、键盘、NFC读卡器或用户界面(UI)导航设备(例如,鼠标或触敏输入)。电子设备600可额外包括存储设备616,诸如驱动单元。电子设备600可附加地包括用于提供可听或可视反馈的信号生成设备618,诸如用于提供可听反馈的扬声器或用于提供可视反馈的一个或多个LED。电子设备600可附加地包括网络接口设备620,以及一个或多个附加传感器(未示出),诸如全球定位***(GPS)传感器、罗盘、加速度计或其他传感器。
存储设备616包括机器可读介质622,该机器可读介质622上储存有一组或多组数据结构和指令624(如,软件),该一组或多组数据结构和指令624具体化本文所描述的方法或功能的一个或多个,或为本文所描述的方法或功能的一个或多个所利用。指令624还可在被电子设备600执行期间完全地或至少部分地驻留在主存储器604、静态存储器606内,和/或在处理器602内。主存储器604、静态存储器606和处理器602还可构成机器可读介质。
虽然机器可读介质622在示例实施例中被例示为单个介质,但术语“机器可读介质”可包括存储一条或多条指令624的单个或多个介质(如,集中式或分布式数据库和/或相关联的高速缓存及服务器)。术语“机器可读介质”也应当被认为包括任何有形介质,该有形介质能够存储、编码或携带供机器执行的指令,并且能够使机器执行本公开的方法中的一个或多个,或者能够储存、编码或携带被此类指令利用或与此类指令相关联的数据结构。术语“机器可读介质”应当相应地被认为包括,但不限于:固态存储器以及光和磁介质。
机器可读介质的具体示例包括非易失性存储器,作为示例,包括但不限于半导体存储器设备(例如,电可编程只读存储器(EPROM)、电可擦可编程只读存储器(EEPROM))和闪存设备;诸如内部硬盘及可移动盘之类的磁盘;磁光盘;以及CD-ROM和DVD-ROM盘。可利用若干熟知的传输协议(如,HTTP)中的任何一种,经由网络接口设备620,使用传输介质来在通信网络626上进一步发送或接收指令624。通信网络的示例包括:局域网(LAN)、广域网(WAN)、因特网、移动电话网络、以及无线数据网络(例如:Wi-Fi、NFC、蓝牙、蓝牙LE、3G、3GLTE/LTE-A、WiMAX网络等)。术语“传输介质”应当被认为包括能够存储、编码或携带由机器执行的指令的任何无形的介质,并且包括数字或模拟通信信号或者用于促进此类软件的通信的其他无形的介质。
为了更好地例示本文所公开的方法和装置,此处提供了实施例的非限制性列表。
以上详细描述包括对所附附图的参考,所附附图形成详细描述的一部分。附图借助例示示出可实现本发明的具体实施例。这些实施例在本文中还被称为“示例”。此类示例可包括除所示或所述的那些元件以外的元件。然而,本申请发明人还构想其中只提供所示或所描述的那些元素的示例。而且,本申请发明人还构想相对于特定示例(或者其一个或多个方面)或者相对于本文中所示或所描述的其他示例(或者其一个或多个方面)使用所示或所描述的那些元素(或者其一个或多个方面)的组合或置换的示例。
在本文中,术语“一”或“一个”正如在专利文件中常见的那样用于包括一个或一个以上,与“至少一个”或“一个或多个”的任何其它示例或使用无关。除非另外指示,在本文档中,使用术语“或”来表示非排他的“或”,使得“A或B”包括“A但非B”,“B但非A”,以及“A和B”。在本文档中,术语“包括”和“在其中”用作各个术语“包含”和“其中”的通俗英文的等同词。同样,在所附权利要求中,术语“包括”和“包含”是开放式的,也就是说,包括除了在权利要求中的这种术语之后列出的那些元素以外的元素的***、设备、物品、组合、公式化、或者过程仍然被认为落入该权利要求的范围内。而且,在所附权利要求中,术语“第一”、“第二”、以及“第三”等只用作标记,并且不旨在对其对象施加数值要求。
以上描述是用来说明的而非限制的。例如,上述示例(或者其一个或多个方面)可相互组合使用。诸如,本领域普通技术人员中的一个可通过回顾以上描述来使用其他实施例。提供摘要以允许读者快速地确定本技术公开的性质。提交该摘要,并且理解该摘要将不用于解释或限制权利要求的范围或含义。在以上详细描述中,各种特征可被组合在一起以使本公开流畅。但这不应被解释为意指未要求保护的所公开特征对任何权利要求而言是必要的。相反,发明性主题可在于少于特定的所公开实施例的所有特征。因此,所附权利要求由此结合在详细描述中,且每个权利要求本身作为单独的实施例,且构想到这些实施例可按各种组合或置换彼此组合。本发明的范围应当参考所附权利要求连同这些权利要求赋予的等同物的全部范围而确定。
附加注释和示例
示例1是一种用于低功率关键短语检测(KPD)的***,该***包括:集成***中的传感器电路;功率管理集成电路(PMIC),功率管理集成电路(PMIC)在物理上不同于传感器电路并且与传感器电路相比,具有低功率泄漏,PMIC用于:捕捉音频样本;在集成***唤醒时将音频样本传送到集成***以执行KPD,其中集成***基于触发器而被唤醒,并且其中集成***响应于KPD的完成而被置为睡眠。
在示例2中,示例1的主题可任选地包括:其中集成***是设备的片上***(SOC),而PMIC是该设备的一部分。
在示例3中,示例1-2中的任何一个或多个的主题可任选地包括:其中PMIC包括与集成***的其他组件分开的先进先出(FIFO)缓冲器,并且其中,为了捕捉音频样本,PMIC将把来自麦克风阵列的输入存储到FIFO缓冲器中。
在示例4中,示例3的主题可任选地包括:其中,为了存储来自麦克风阵列的输入,PMIC要:确定达到FIFO阈值;以及将FIFO触发器作为触发器来激活。
在示例5中,示例1-4中的任何一个或多个的主题可任选地包括:其中,为了传送音频样本,PMIC将使用直接存储器存取(DMA)来把音频样本传送到存储器设备。
在示例6中,示例5的主题可任选地包括:其中存储器设备是静态随机存取存储器(SRAM)设备。
在示例7中,示例6的主题可任选地包括:其中,为了将集成***置为睡眠,集成***使SRAM设备进入保留模式。
在示例8中,示例5-7中的任何一个或多个的主题可任选地包括:其中集成***将来自PMIC的DMA传送的优先级列为高于其他DMA。
在示例9中,示例8的主题可任选地包括:其中其他DMA传送被限制于由传感器进行的DMA传送。
在示例10中,示例1-9中的任何一个或多个的主题可任选地包括:其中,为了传送音频样本,PMIC将使用串行***接口(SPI),该PMIC包括通信地耦合至集成***中的第二SPI端点的第一SPI端点。
在示例11中,示例1-10中的任何一个或多个的主题可任选地包括:其中PMIC将在把音频样本传送到集成***之前将音频样本从第一格式转变为第二格式。
在示例12中,示例11的主题可任选地包括:其中第一格式是脉冲密度调制。
在示例13中,示例11-12中的任何一个或多个的主题可任选地包括:其中第二格式是脉冲编码调制。
在示例14中,示例1-13中的任何一个或多个的主题可任选地包括:其中触发器是在由定时器确定的间隔下激活。
在示例15中,示例14的主题可任选地包括:其中定时器以三十二千赫兹的频率来操作。
在示例16中,示例14-15中的任何一个或多个的主题可任选地包括:其中间隔为二十毫秒。
在示例17中,示例14-16中的任何一个或多个的主题可任选地包括:其中定时器位于集成***中。
在示例18中,示例14-17中的任何一个或多个的主题可任选地包括:其中定时器位于PMIC中。
在示例19中,示例1-18中的任何一个或多个的主题可任选地包括:其中音频样本的长度为二十毫秒。
在示例20中,示例1-19中的任何一个或多个的主题可任选地包括:其中PMIC根据与集成***分开的时钟来操作。
在示例21中,示例20的主题可任选地包括:其中与集成***时钟相比,所述时钟以降低的频率来操作。
在示例22中,示例21的主题可任选地包括:其中降低的频率是三十八点四兆赫兹。
在示例23中,示例1-22中的任何一个或多个的主题可任选地包括:其中PMIC是使用六十五纳米工艺来创造。
在示例24中,示例1-23中的任何一个或多个的主题可任选地包括:其中,为了将集成***置为睡眠,集成***将选通断开集成***的一部分。
在示例25中,示例24的主题可任选地包括:其中该部分是集成***的传感器电路。
示例26是一种用于低功率关键短语检测(KPD)的方法,该方法包括:在功率管理集成电路(PMIC)中捕捉音频样本,PMIC在物理上不同于集成***的传感器电路并且具有比传感器电路更低的功率泄漏;基于触发器唤醒集成***;将音频样本传送到集成***以执行KPD;以及响应于KPD的完成,将集成***置为睡眠。
在示例27中,示例26的主题可任选地包括,其中集成***是设备的片上***(SOC),而PMIC是该设备的一部分。
在示例28中,示例26-27中的任何一个或多个的主题可任选地包括:其中PMIC包括与集成***的其他组件分开的先进先出(FIFO)缓冲器,并且其中捕捉音频样本包括将来自麦克风阵列的输入存储到FIFO缓冲器中。
在示例29中,示例28的主题可任选地包括:其中存储来自麦克风阵列的输入包括:确定达到FIFO阈值;以及将FIFO触发器作为触发器来激活。
在示例30中,示例26-29中的任何一个或多个的主题可任选地包括:其中传送音频样本包括使用直接存储器存取(DMA)来将音频样本传送到存储器设备。
在示例31中,示例30的主题可任选地包括:其中存储器设备是静态随机存取存储器(SRAM)设备。
在示例32中,示例31的主题可任选地包括:其中将集成***置为睡眠包括使SRAM设备进入保留模式。
在示例33中,示例30-32中的任何一个或多个的主题可任选地包括:其中集成***将来自PMIC的DMA传送的优先级列为高于其他DMA。
在示例34中,示例33的主题可任选地包括:其中其他DMA传送被限制于由传感器进行的DMA传送。
在示例35中,示例26-34中的任何一个或多个的主题可任选地包括:其中传送音频样本包括使用串行***接口(SPI),PMIC包括通信地耦合至集成***中的第二SPI端点的第一SPI端点。
在示例36中,示例26-35中的任何一个或多个的主题可任选地包括:在将音频样本传送到集成***之前,通过PMIC将音频样本从第一格式转变为第二格式。
在示例37中,示例36的主题可任选地包括:其中第一格式是脉冲密度调制。
在示例38中,示例36-37中的任何一个或多个的主题可任选地包括:其中第二格式是脉冲编码调制。
在示例39中,示例26-38中的任何一个或多个的主题可任选地包括:其中触发器是在由定时器确定的间隔下激活的。
在示例40中,示例39的主题可任选地包括:其中定时器以三十二千赫兹的频率来操作。
在示例41中,示例39-40中的任何一个或多个的主题可任选地包括:其中间隔为二十毫秒。
在示例42中,示例39-41中的任何一个或多个的主题可任选地包括:其中定时器位于集成***中。
在示例43中,示例39-42中的任何一个或多个的主题可任选地包括:其中定时器位于PMIC中。
在示例44中,示例26-43中的任何一个或多个的主题可任选地包括:其中音频样本的长度为二十毫秒。
在示例45中,示例26-44中的任何一个或多个的主题可任选地包括:其中PMIC根据与集成***分开的时钟来操作。
在示例46中,示例45的主题可任选地包括:其中与集成***时钟相比,所述时钟以降低的频率来操作。
在示例47中,示例46的主题可任选地包括:其中降低的频率是三十八点四兆赫兹。
在示例48中,示例26-47中的任何一个或多个的主题可任选地包括:其中PMIC是使用六十五纳米工艺来创造的。
在示例49中,示例26-48中的任何一个或多个的主题可任选地包括:其中将集成***置为睡眠包括选通断开集成***的一部分。
在示例50中,示例49的主题可任选地包括:其中该部分是集成***的传感器电路。
示例51是包括指令的至少一个机器可读介质,该指令在由机器执行时,使机器执行示例26-50中的任一方法。
示例52是一种***,该***包括用于执行示例26-50中的任一方法的装置。
示例53是包括用于低功率关键短语检测(KPD)的指令的至少一种机器可读介质,该指令在由机器执行时,使机器执行以下操作,包括:在功率管理集成电路(PMIC)中捕捉音频样本,PMIC在物理上不同于集成***的传感器电路并且具有比传感器电路更低的功率泄漏;基于触发器唤醒集成***;将音频样本传送到集成***以执行KPD;以及响应于KPD的完成,将集成***置为睡眠。
在示例54中,示例53的主题可任选地包括,其中集成***是设备的片上***(SOC),而PMIC是该设备的一部分。
在示例55中,示例53-54中的任何一个或多个的主题可任选地包括:其中PMIC包括与集成***的其他组件分开的先进先出(FIFO)缓冲器,并且其中捕捉音频样本包括将来自麦克风阵列的输入存储到FIFO缓冲器中。
在示例56中,示例55的主题可任选地包括:其中存储来自麦克风阵列的输入包括:确定达到FIFO阈值;以及将FIFO触发器作为触发器激活。
在示例57中,示例53-56中的任何一个或多个的主题可任选地包括:其中传送音频样本包括使用直接存储器存取(DMA)来将音频样本传送到存储器设备。
在示例58中,示例57的主题可任选地包括:其中存储器设备是静态随机存取存储器(SRAM)设备。
在示例59中,示例58的主题可任选地包括:其中将集成***置为睡眠包括使SRAM设备进入保留模式。
在示例60中,示例57-59中的任何一个或多个的主题可任选地包括:其中集成***将来自PMIC的DMA传送的优先级列为高于其他DMA。
在示例61中,示例60的主题可任选地包括:其中其他DMA传送被限制于由传感器进行的DMA传送。
在示例62中,示例53-61中的任何一个或多个的主题可任选地包括:其中传送音频样本包括使用串行***接口(SPI),PMIC包括通信地耦合到集成***中的第二SPI端点的第一SPI端点。
在示例63中,示例53-62中的任何一个或多个的主题可任选地包括:其中操作包括在将音频样本传送到集成***之前,通过PMIC将音频样本从第一格式转变为第二格式。
在示例64中,示例63的主题可任选地包括:其中第一格式是脉冲密度调制。
在示例65中,示例63-64中的任何一个或多个的主题可任选地包括:其中第二格式是脉冲编码调制。
在示例66中,示例53-65中的任何一个或多个的主题可任选地包括:其中触发器是在由定时器确定的间隔下激活的。
在示例67中,示例66的主题可任选地包括:其中定时器以三十二千赫兹的频率来操作。
在示例68中,示例66-67中的任何一个或多个的主题可任选地包括:其中间隔为二十毫秒。
在示例69中,示例66-68中的任何一个或多个的主题可任选地包括:其中定时器位于集成***中。
在示例70中,示例66-69中的任何一个或多个的主题可任选地包括:其中定时器位于PMIC中。
在示例71中,示例53-70中的任何一个或多个的主题可任选地包括:其中音频样本的长度为二十毫秒。
在示例72中,示例53-71中的任何一个或多个的主题可任选地包括:其中PMIC根据与集成***分开的时钟来操作。
在示例73中,示例72的主题可任选地包括:其中与集成***时钟相比,所述时钟以降低的频率来操作。
在示例74中,示例73的主题可任选地包括:其中降低的频率是三十八点四兆赫兹。
在示例75中,示例53-74中的任何一个或多个的主题可任选地包括:其中PMIC是使用六十五纳米工艺来创造的。
在示例76中,示例53-75中的任何一个或多个的主题可任选地包括:其中将集成***置为睡眠包括选通断开集成***的一部分。
在示例77中,示例76的主题可任选地包括:其中该部分是集成***的传感器电路。
示例78是一种用于低功率关键短语检测(KPD)的***,该***包括:用于在功率管理集成电路(PMIC)中捕捉音频样本的装置,PMIC在物理上不同于集成***的传感器电路并且具有比传感器电路更低的功率泄漏;用于基于触发唤醒集成***的装置;用于将音频样本传送到集成***以执行KPD的装置;以及用于响应于KPD的完成将集成***置为睡眠的装置。
在示例79中,示例78的主题可任选地包括,其中集成***是设备的片上***(SOC),而PMIC是该设备的一部分。
在示例80中,示例78-79中的任何一个或多个的主题可任选地包括:其中PMIC包括与集成***的其他组件分开的先进先出(FIFO)缓冲器,并且其中捕捉音频样本包括将来自麦克风阵列的输入存储到FIFO缓冲器中。
在示例81中,示例80的主题可任选地包括:其中用于存储来自麦克风阵列的输入的装置包括:用于确定已达到FIFO阈值的装置;以及用于将FIFO触发器作为触发器激活的装置。
在示例82中,示例78-81中的任何一个或多个的主题可任选地包括:其中用于传送音频样本的装置包括用于使用直接存储器存取(DMA)来将音频样本传送到存储器设备的装置。
在示例83中,示例82的主题可任选地包括:其中存储器设备是静态随机存取存储器(SRAM)设备。
在示例84中,示例83的主题可任选地包括:其中用于将集成***置为睡眠的装置包括用于使SRAM设备进入保留模式的装置。
在示例85中,示例82-84中的任何一个或多个的主题可任选地包括:其中集成***将来自PMIC的DMA传送的优先级列为高于其他DMA。
在示例86中,示例85的主题可任选地包括:其中其他DMA传送被限制于由传感器进行的DMA传送。
在示例87中,示例78-86中的任何一个或多个的主题可任选地包括:其中用于传送音频样本的装置包括用于使用串行***接口(SPI)的装置,其中PMIC包括通信地耦合至集成***中的第二SPI端点的第一SPI端点。
在示例88中,示例78-87中的任何一个或多个的主题可任选地包括:用于在将音频样本传送到集成***之前通过PMIC将音频样本从第一格式转变为第二格式的装置。
在示例89中,示例88的主题可任选地包括:其中第一格式是脉冲密度调制。
在示例90中,示例88-89中的任何一个或多个的主题可任选地包括:其中第二格式是脉冲编码调制。
在示例91中,示例78-90中的任何一个或多个的主题可任选地包括:其中触发器是在由定时器确定的间隔下激活的。
在示例92中,示例91的主题可任选地包括:其中定时器以三十二千赫兹的频率来操作。
在示例93中,示例91-92中的任何一个或多个的主题可任选地包括:其中间隔为二十毫秒。
在示例94中,示例91-93中的任何一个或多个的主题可任选地包括:其中定时器位于集成***中。
在示例95中,示例91-94中的任何一个或多个的主题可任选地包括:其中定时器位于PMIC中。
在示例96中,示例78-95中的任何一个或多个的主题可任选地包括:其中音频样本的长度为二十毫秒。
在示例97中,示例78-96中的任何一个或多个的主题可任选地包括:其中PMIC根据与集成***分开的时钟来操作。
在示例98中,示例97的主题可任选地包括:其中与集成***时钟相比,所述时钟以降低的频率来操作。
在示例99中,示例98的主题可任选地包括:其中降低的频率是三十八点四兆赫兹。
在示例100中,示例78-99中的任何一个或多个的主题可任选地包括:其中PMIC是使用六十五纳米工艺来创造的。
在示例101中,示例78-100中的任何一个或多个的主题可任选地包括:其中用于将集成***置为睡眠的装置包括用于选通断开集成***的一部分的装置。
在示例102中,示例101的主题可任选地包括:其中该部分是集成***的传感器电路。
示例103是被配置成执行示例1-102中的任何一个或多个的操作的***。
示例104是用于执行示例1-102中的任何一个或多个的操作的方法。
示例105是包括指令的至少一个机器可读介质,该指令在由机器执行时,使机器执行示例1-102中的任何一个或多个的操作。
示例106是一种***,该***包括用于执行示例1-102中的任何一个或多个的操作的装置。
上述具体实施方式包括对所附附图的参考,附图形成具体实施方式的一部分。附图通过说明来示出可实践的特定实施例。这些实施例在本文中还被称为“示例”。此类示例可包括除所示或所述的那些元件以外的元件。然而,本申请发明人还构想其中只提供所示或所描述的那些元素的示例。而且,本申请发明人还构想相对于特定示例(或者其一个或多个方面)或者相对于本文中所示或所描述的其他示例(或者其一个或多个方面)使用所示或所描述的那些元素(或者其一个或多个方面)的组合或置换的示例。
本文献中所涉及的所有公开、专利、和专利文献通过引用整体结合于此,即使通过引用单独地结合。本文献和通过引用所结合的那些文献之间的不一致的用法的情况,在结合的引用中的用法应当被认为是对本文献的用法的补充;对于不可调和的不一致,以本文献中的用法为准。
在本文献中,术语“一”或“一个”正如在专利文献中常见的那样,用于包括一个或多于一个,与“至少一个”或“一个或多个”的任何其他示例或使用无关。在本文档中,使用术语“或”来表示非排他的“或”,使得“A或B”包括“A但非B”,“B但非A”,以及“A和B”,除非另外指示。在所附权利要求书中,术语“包括”和“其特征在于”被用作相应的术语“包含”和“其中”的普通英语等效词。此外,在所附权利要求中,术语“包括”和“包含”是开放式的,即,在权利要求中,在此类术语之后包括除那些列出的元件之外的元件的***、设备、制品或过程仍被视为在那项权利要求的范围之内。而且,在所附权利要求中,术语“第一”、“第二”、以及“第三”等只用作标记,并且不旨在对其对象施加数值要求。
上述描述是用来说明的而非限制的。例如,上述示例(或者其一个或多个方面)可相互组合使用。诸如,本领域普通技术人员中的一个可通过回顾以上描述来使用其他实施例。摘要用于允许读者快速地确认本技术公开的性质,并且提交此摘要需理解:它不用于解释或限制权利要求书的范围或含义。此外,在以上具体实施方式中,各种特征可以共同成组以使本公开流畅。但这不应被解释为意指未要求保护的所公开特征对任何权利要求而言是必要的。相反,发明性主题可在于少于特定的所公开实施例的所有特征。因此,所附权利要求在此被结合到具体描述中,其中每个权利要求独立成为单独实施例。各实施例的范围应当参考所附权利要求连同这些权利要求赋予的等同物的全部范围而确定。
Claims (24)
1.一种用于低功率关键短语检测(KPD)的***,所述***包括:
集成***中的传感器电路;以及
功率管理集成电路(PMIC),所述功率管理集成电路在物理上不同于所述传感器电路并且与传感器电路相比,具有低功率泄漏,所述PMIC用于:
捕捉音频样本;以及
在所述集成***唤醒时将所述音频样本传送到所述集成***以执行KPD,其中所述集成***基于触发器而被唤醒,并且其中所述集成***响应于所述KPD的完成而被置为睡眠。
2.如权利要求1所述的***,其中所述PMIC包括与所述集成***的其他组件分开的先进先出(FIFO)缓冲器,并且其中,为了捕捉所述音频样本,所述PMIC将把来自麦克风阵列的输入存储到所述FIFO缓冲器中。
3.如权利要求1所述的***,其中,为了传送所述音频样本,所述PMIC将使用串行***接口(SPI),所述PMIC包括通信地耦合至所述集成***中的第二SPI端点的第一SPI端点。
4.如权利要求1所述的***,其中所述PMIC将在把所述音频样本传送给所述集成***之前将所述音频样本从第一格式转变为第二格式。
5.如权利要求1所述的***,其中所述触发器是在由定时器确定的间隔下激活的。
6.如权利要求1所述的***,其中所述音频样本的长度是二十毫秒。
7.如权利要求1所述的***,其中所述PMIC根据与所述集成***分开的时钟来操作。
8.如权利要求1所述的***,其中,为了将所述集成***置为睡眠,所述集成***将选通断开所述集成***的一部分。
9.一种用于低功率关键短语检测(KPD)的方法,所述方法包括:
在功率管理集成电路(PMIC)中捕捉音频样本,所述PMIC在物理上不同于集成***的传感器电路并且具有比所述传感器电路更低的功率泄漏。
基于触发器唤醒所述集成***。
将所述音频样本发送到所述集成***以执行KPD;以及
响应于所述KPD的完成,将所述集成***置为睡眠。
10.如权利要求9所述的方法,其中所述PMIC包括与所述集成***的其他组件分开的先进先出(FIFO)缓冲器,并且其中捕捉所述音频样本包括将来自麦克风阵列的输入存储到所述FIFO缓冲器中。
11.如权利要求9所述的方法,其中传送所述音频样本包括使用串行***接口(SPI),所述PMIC包括通信地耦合至所述集成***中的第二SPI端点的第一SPI端点。
12.如权利要求9所述的方法,包括在将所述音频样本传送给所述集成***之前通过所述PMIC将所述音频样本从第一格式转变为第二格式。
13.如权利要求9所述的方法,其中所述触发器是在由定时器确定的间隔下激活的。
14.如权利要求9所述的方法,其中所述音频样本的长度是二十毫秒。
15.如权利要求9所述的方法,其中所述PMIC根据与所述集成***分开的时钟来操作。
16.如权利要求9所述的方法,其中将所述集成***置为睡眠包括选通断开所述集成***的一部分。
17.包括用于低功率关键短语检测(KPD)的指令的至少一种机器可读介质,所述指令在由机器执行时,使所述机器执行包括以下各项的操作:
在功率管理集成电路(PMIC)中捕捉音频样本,所述PMIC在物理上不同于集成***的传感器电路并且具有比所述传感器电路更低的功率泄漏。
基于触发器唤醒所述集成***。
将所述音频样本发送到所述集成***以执行KPD;以及
响应于所述KPD的完成,将所述集成***置为睡眠。
18.如权利要求17所述的至少一种机器可读介质,其中所述PMIC包括与所述集成***的其他组件分开的先进先出(FIFO)缓冲器,并且其中捕捉所述音频样本包括将来自麦克风阵列的输入存储到所述FIFO缓冲器中。
19.如权利要求17所述的至少一种机器可读介质,其中传送所述音频样本包括使用串行***接口(SPI),所述PMIC包括通信地耦合至所述集成***中的第二SPI端点的第一SPI端点。
20.如权利要求17所述的至少一种机器可读介质,其中所述操作包括在将所述音频样本传送给所述集成***之前通过所述PMIC将所述音频样本从第一格式转变为第二格式。
21.如权利要求17所述的至少一种机器可读介质,其中所述触发器是在由定时器确定的间隔下激活。
22.如权利要求17所述的至少一种机器可读介质,其中所述音频样本的长度是二十毫秒。
23.如权利要求17所述的至少一种机器可读介质,其中所述PMIC根据与所述集成***分开的时钟来操作。
24.如权利要求17所述的至少一种机器可读介质,其中将所述集成***置为睡眠包括选通断开所述集成***的一部分。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US15/427,682 US20180224923A1 (en) | 2017-02-08 | 2017-02-08 | Low power key phrase detection |
US15/427,682 | 2017-02-08 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108399915A true CN108399915A (zh) | 2018-08-14 |
CN108399915B CN108399915B (zh) | 2024-05-07 |
Family
ID=62909864
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810044600.6A Active CN108399915B (zh) | 2017-02-08 | 2018-01-17 | 低功率关键短语检测 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20180224923A1 (zh) |
CN (1) | CN108399915B (zh) |
DE (1) | DE102018201593A1 (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111369999A (zh) * | 2020-03-12 | 2020-07-03 | 北京百度网讯科技有限公司 | 一种信号处理方法、装置以及电子设备 |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11735177B2 (en) * | 2019-12-12 | 2023-08-22 | Silicon Laboratories Inc. | Keyword spotting using machine learning |
WO2021175727A1 (de) | 2020-03-02 | 2021-09-10 | Carl Zeiss Meditec Ag | Kopfgetragenes visualisierungssystem |
Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6631156B1 (en) * | 1999-09-27 | 2003-10-07 | The United States Of America As Represented By The Secretary Of The Navy | Digital data communications system |
EP1814109A1 (en) * | 2006-01-27 | 2007-08-01 | Texas Instruments Incorporated | Voice amplification apparatus for modelling the Lombard effect |
CN101071404A (zh) * | 2006-05-09 | 2007-11-14 | 大唐移动通信设备有限公司 | 一种小容量fifo存储器的数据搬移触发装置和方法 |
CN103019373A (zh) * | 2011-11-17 | 2013-04-03 | 微软公司 | 用于设备激活的音频模式匹配 |
CN103959376A (zh) * | 2011-12-06 | 2014-07-30 | 英特尔公司 | 低功率语音检测 |
CN104049707A (zh) * | 2013-03-15 | 2014-09-17 | 马克西姆综合产品公司 | 永远接通低功率关键字检出 |
CN104050973A (zh) * | 2013-03-15 | 2014-09-17 | 英特尔公司 | 经由间歇采样的低功率音频触发器 |
CN104144377A (zh) * | 2013-05-09 | 2014-11-12 | Dsp集团有限公司 | 话音激活设备的低功率激活 |
US20140365225A1 (en) * | 2013-06-05 | 2014-12-11 | DSP Group | Ultra-low-power adaptive, user independent, voice triggering schemes |
CN104603716A (zh) * | 2012-08-27 | 2015-05-06 | 三星电子株式会社 | 用于唤醒处理器的装置和方法 |
US20150268678A1 (en) * | 2014-03-19 | 2015-09-24 | Qualcomm Incorporated | System and method for current management in a portable device |
CN105283836A (zh) * | 2013-07-11 | 2016-01-27 | 英特尔公司 | 利用相同的音频输入的设备唤醒和说话者验证 |
CN105723451A (zh) * | 2013-12-20 | 2016-06-29 | 英特尔公司 | 从低功率始终侦听模式到高功率语音识别模式的转换 |
CN105931640A (zh) * | 2015-02-27 | 2016-09-07 | 想象技术有限公司 | 激活短语的低功率检测 |
-
2017
- 2017-02-08 US US15/427,682 patent/US20180224923A1/en not_active Abandoned
-
2018
- 2018-01-17 CN CN201810044600.6A patent/CN108399915B/zh active Active
- 2018-02-01 DE DE102018201593.7A patent/DE102018201593A1/de active Pending
Patent Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6631156B1 (en) * | 1999-09-27 | 2003-10-07 | The United States Of America As Represented By The Secretary Of The Navy | Digital data communications system |
EP1814109A1 (en) * | 2006-01-27 | 2007-08-01 | Texas Instruments Incorporated | Voice amplification apparatus for modelling the Lombard effect |
CN101071404A (zh) * | 2006-05-09 | 2007-11-14 | 大唐移动通信设备有限公司 | 一种小容量fifo存储器的数据搬移触发装置和方法 |
CN103019373A (zh) * | 2011-11-17 | 2013-04-03 | 微软公司 | 用于设备激活的音频模式匹配 |
CN103959376A (zh) * | 2011-12-06 | 2014-07-30 | 英特尔公司 | 低功率语音检测 |
CN104603716A (zh) * | 2012-08-27 | 2015-05-06 | 三星电子株式会社 | 用于唤醒处理器的装置和方法 |
CN104050973A (zh) * | 2013-03-15 | 2014-09-17 | 英特尔公司 | 经由间歇采样的低功率音频触发器 |
CN104049707A (zh) * | 2013-03-15 | 2014-09-17 | 马克西姆综合产品公司 | 永远接通低功率关键字检出 |
CN104144377A (zh) * | 2013-05-09 | 2014-11-12 | Dsp集团有限公司 | 话音激活设备的低功率激活 |
US20140365225A1 (en) * | 2013-06-05 | 2014-12-11 | DSP Group | Ultra-low-power adaptive, user independent, voice triggering schemes |
CN105283836A (zh) * | 2013-07-11 | 2016-01-27 | 英特尔公司 | 利用相同的音频输入的设备唤醒和说话者验证 |
CN105723451A (zh) * | 2013-12-20 | 2016-06-29 | 英特尔公司 | 从低功率始终侦听模式到高功率语音识别模式的转换 |
US20150268678A1 (en) * | 2014-03-19 | 2015-09-24 | Qualcomm Incorporated | System and method for current management in a portable device |
CN105931640A (zh) * | 2015-02-27 | 2016-09-07 | 想象技术有限公司 | 激活短语的低功率检测 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111369999A (zh) * | 2020-03-12 | 2020-07-03 | 北京百度网讯科技有限公司 | 一种信号处理方法、装置以及电子设备 |
CN111369999B (zh) * | 2020-03-12 | 2024-05-14 | 北京百度网讯科技有限公司 | 一种信号处理方法、装置以及电子设备 |
Also Published As
Publication number | Publication date |
---|---|
DE102018201593A1 (de) | 2018-08-09 |
US20180224923A1 (en) | 2018-08-09 |
CN108399915B (zh) | 2024-05-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102354275B1 (ko) | 음성 인식 방법 및 장치, 그리고 저장 매체 | |
KR102362107B1 (ko) | 기계 학습 기능을 갖는 저전력 앰비언트 컴퓨팅 시스템 | |
CN108399915A (zh) | 低功率关键短语检测 | |
US10854199B2 (en) | Communications with trigger phrases | |
CN107003973A (zh) | 用于模拟前端的低功率情境感知控制 | |
CN106104485A (zh) | 针对多进程应用的动态资源管理 | |
CN110096253A (zh) | 利用相同的音频输入的设备唤醒和说话者验证 | |
KR20160113255A (ko) | 항상-온-항상-청취 음성 인식 시스템을 위한 위치 인식 전력 관리 스킴 | |
WO2015100430A1 (en) | Methods and system for cue detection from audio input, low-power data processing and related arrangements | |
RU2649938C2 (ru) | Управление энергопотреблением посредством динамического разделения функциональности | |
WO2004045127A3 (en) | Wireless sensor apparatus and method | |
EP2214076A3 (en) | Method and device for charging of mobile devices | |
KR20220002750A (ko) | 디지털화된 오디오 스트림을 분석하는 저전력 집적 회로 | |
US10568033B2 (en) | Context-driven connection protocol | |
JP7371075B2 (ja) | 音声データの処理方法、装置、機器及び記憶媒体 | |
CN107402808B (zh) | 进程管理方法、装置、存储介质及电子设备 | |
KR101372675B1 (ko) | 분산된 오디오 처리 | |
WO2005004483A3 (en) | Network recording system and recording device | |
CN103124947A (zh) | 提供低成本可编程模式识别的方法和装置 | |
KR102325453B1 (ko) | 반도체 장치의 동작 방법 | |
CN110347455A (zh) | 一种界面布局方法及终端 | |
US20150220362A1 (en) | Multi-core processor system, electrical power control method, and computer product for migrating process from one core to another | |
US20150177820A1 (en) | Method and appratus to manage power usage in a processor | |
CN102215500A (zh) | Ap与通讯模块的端口服务配置的动态变换方法及装置 | |
US11043158B2 (en) | Video bandwidth optimization for multi-monitor systems |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |