CN111742330A - 始终开启的关键字检测器 - Google Patents

Abstract

本文中提供了一种集成电路，在一些实施例中，该集成电路包括：专用主机处理器；神经形态协处理器；以及主机处理器与协处理器之间的通信接口，其被配置成在它们之间传输信息。专用主机处理器可作为独立的主机处理器而操作。神经形态协处理器包括人工神经网络。协处理器被配置成通过人工神经网络来增强主机处理器的专用处理。在这种实施例中，主机处理器是关键字标识符处理器，其被配置成通过通信接口将一个或多个检测到的单词传输到协处理器。协处理器被配置成将所识别的单词或其他声音传输到主机处理器。

Description

始终开启的关键字检测器

优先权

本申请要求2018年12月28日提交的美国专利申请No.16/235,396的优先权的权益，该美国专利申请要求2017年12月28日提交的题为“Always-On Keyword Detector”的美国临时专利申请No.62/611,512的优先权的权益，这些专利申请在此通过引用整体地并入到本申请中。

技术领域

本公开的领域总体上涉及神经形态计算。更特别地，本发明的领域涉及一种用于低功率、始终开启（always-on）的关键字检测器的装置和方法。

背景技术

传统的中央处理单元（“CPU”）基于“时钟时间”来处理指令。具体地，CPU进行操作使得以有规律的时间间隔来传输信息。基于互补型金属氧化物半导体（“CMOS”）技术，可以将基于硅的芯片制造成每个管芯具有多于50亿个晶体管，这些晶体管具有与10nm一样小的特征。CMOS技术中的进步已经被归结为并行计算中的进步，该并行计算被无处不在地用于包含多个处理器的个人计算机和蜂窝电话中。

然而，随着机器学习对于包括生物信息学、计算机视觉、视频游戏、市场营销、医疗诊断、在线搜索引擎等的众多应用而言变得司空见惯，传统的CPU通常无法在保持功率消耗较低的同时提供足够量的处理能力。特别地，机器学习是计算机科学的子部分，其涉及具有从数据中进行学习并对数据进行预测的能力的软件。此外，机器学习的一个分支包括深度学习，深度学习涉及利用深度（多层）神经网络。

当前，正在进行研究以开发深度神经网络的直接硬件实现方式，该实现方式可以包括试图对“硅”神经元（例如，“神经形态计算”）进行仿真的***。神经形态芯片（例如，被设计成用于神经形态计算的硅计算芯片）通过如下方式来进行操作：通过使用以非均匀间隔传输的电流突发（burst）来并行地处理指令（例如，与传统的顺序计算机形成对照）。作为结果，神经形态芯片需要少得多的功率来处理信息、具体地是人工智能（“AI”）算法。为了实现这一点，神经形态芯片可以包含传统处理器的五倍那么多的晶体管，同时却消耗了达两千分之一的功率。因此，神经形态芯片的开发涉及提供一种具有巨大处理能力的芯片，与常规处理器相比，该芯片消耗少得多的功率。此外，神经形态芯片被设计成支持在复杂和非结构化数据的情境中的动态学习。

存在对于开发并增强专用处理能力的持续需要，该专用处理能力诸如在例如用于移动设备的免提（hands-free）操作的关键字检测器中发现的专用处理能力。本文中提供了一种用于增强专用处理器的专用处理能力的***和方法，该专用处理器可作为利用微控制器接口的独立的（stand-alone）处理器而操作。

发明内容

本文中公开了一种用于检测关键字的集成电路，包括：关键字标识符主机处理器，其可作为独立的主机处理器而操作，并且被配置成标识接收到的音频流中的一个或多个单词；神经形态协处理器，其包括人工神经网络，该人工神经网络被配置成在从主机处理器接收到的一个或多个单词当中标识一个或多个期望关键字；以及主机处理器与协处理器之间的通信接口，其被配置成在它们之间传输信息。

在进一步的实施例中，神经形态协处理器包括由已知关键字组成的数据库，由此可以在一个或多个单词当中标识一个或多个期望关键字。

在另一实施例中，可以将新关键字添加到数据库，并且将新关键与现有关键字区分开。

在仍进一步的实施例中，该集成电路被配置成依靠电池功率进行操作。

本文中进一步公开了一种用于检测音频流内的关键字的方法，包括：接收去往关键字标识符主机处理器的采用电信号形式的音频流；将电信号从主机处理器传输到神经形态协处理器；在电信号内标识一个或多个期望关键字；将一个或多个期望关键字从神经形态协处理器传输到主机处理器；以及在从神经形态协处理器接收到一个或多个期望关键字的情况下，从主机处理器发送一个或多个输出信号。

在仍另一实施例中，该方法进一步包括：神经形态协处理器包括由已知关键字组成的数据库，由此可以在电信号内标识一个或多个期望关键字。

在更多的实施例中，该方法进一步包括：一个或多个关键字由除语音之外的预定义声学信号组成。

本文中仍进一步公开了一种集成电路，包括：专用主机处理器，其可作为独立的主机处理器而操作；神经形态协处理器，其包括人工神经网络，该人工神经网络被配置成增强主机处理器的专用处理；以及主机处理器与协处理器之间的通信接口，其被配置成在它们之间传输信息。

在又进一步的实施例中，主机处理器是关键字标识符处理器，其被配置成通过通信接口将采用电信号形式的音频流传输到协处理器，并且协处理器被配置成通过经由通信接口将一个或多个检测到的关键字提供给主机处理器，来增强主机处理器的专用处理。

在仍又进一步的实施例中，主机处理器与协处理器之间的通信接口是串行***接口（“SPI”）总线或内部集成电路（“I²C”）总线。

在附加的进一步实施例中，人工神经网络被设置在该集成电路的存储器扇区中的多个二象限乘法器的模拟乘法器阵列中。

又附加的实施例包括使人工神经网络的突触权重被存储在该集成电路的固件中，并且该固件被配置成用于基于云的升级以更新人工神经网络的突触权重。

附加的进一步实施例包括使集成电路被配置成依靠电池功率进行操作。

本文中又进一步公开了一种用于检测关键字的集成电路，包括：专用主机处理器，其被配置成标识接收到的音频流内的一个或多个声音，并且将该一个或多个声音传输到神经形态协处理器；人工神经网络，其包括神经形态协处理器，该神经形态协处理器被配置成在从主机处理器接收到的一个或多个声音当中标识一个或多个期望声音；以及主机处理器与协处理器之间的通信接口，其被配置成在它们之间传输信息。

在仍进一步的实施例中，该集成电路被配置成保持在低功率、始终开启的状态中，由此该集成电路保持持续准备好接收音频流。

在仍又附加的实施例中，主机处理器被配置成在检测到一个或多个期望声音的情况下输出一个或多个信号。

在附加的实施例中，该集成电路被配置成用于在移动设备内实现。

在更多的实施例中，该集成电路被配置成由来自包括该移动设备的电池的电流泄漏来供电。

在多个实施例中，该集成电路被配置成保持在全意识（fully-aware）状态中，由此该集成电路保持持续准备好接收音频流。

附图说明

附图参考本公开的实施例，在附图中：

图1提供了图示根据一些实施例的用于设计和更新神经形态集成电路（“IC”）的***的示例性实施例的示意图；

图2提供了图示根据一些实施例的模拟乘法器阵列的示例性实施例的示意图；

图3提供了图示根据一些实施例的模拟乘法器阵列的示例性实施例的示意图；

图4提供了图示根据一些实施例的在神经形态IC的协处理器与专用IC的主机处理器之间的微控制器接口的示例性实施例的示意图；

图5提供了图示根据一些实施例的用于检测口头关键字的神经形态IC的示例性方法的示意图；以及

图6提供了图示根据一些实施例的包括示例性移动设备的组件的框图，该示例性移动设备包括关键字检测器。

虽然本公开易受各种修改和替代形式的影响，但是其具体实施例已经在附图中作为示例而被示出，并且将在本文中被详细描述。应当将本发明理解成不限于所公开的特定形式，而是相反地，本发明要覆盖落入本公开的精神和范围内的全部修改、等同方式和替代方式。

具体实施方式

在以下描述中，某些术语被用来描述本发明的特征。例如，在某些情况下，术语“逻辑”可以表示被配置成实行一个或多个功能的硬件、固件和/或软件。作为硬件，逻辑可以包括具有数据处理或存储功能的电路。这种电路的示例可以包括但不限于或被约束于微处理器、一个或多个处理器核心、可编程门阵列、微控制器、控制器、专用集成电路、无线接收器、发射器和/或收发器电路、半导体存储器或组合逻辑。

术语“过程”可以包括计算机程序的实例（例如，指令集合，在本文中也被称为应用）。在一个实施例中，过程可以包括同时执行的一个或多个线程（例如，每个线程可以同时执行相同或不同的指令）。

术语“处理”可以包括执行二进制文件或脚本，或者启动在其中处理对象的应用，其中启动应当被解释为将该应用置于开启状态中，并且在一些实现方式中，对人类与该应用进行交互典型的动作执行仿真。

术语“对象”通常指代数据集合，无论是在运送中（例如，通过网络）还是在静止时（例如，被存储），该数据集合经常具有使得能够将其分类或键入的逻辑结构或组织。在本文中，术语“二进制文件”和“二进制”将被互换地使用。

术语“文件”在宽泛意义上被用来指代与计算机程序一起使用的数据、信息或其他内容的集或集合。文件可以作为单个实体、对象或单元而被访问、打开、存储、操纵或以其他方式处理。文件可以包含其他文件，并且可以包含相关或不相关的内容，或者根本不包含任何内容。文件还可以具有逻辑格式，和/或是具有多个文件的逻辑结构或组织的文件***的一部分。文件可以具有名称、有时被简称为“文件名”，并且经常具有所附的性质或其他元数据。存在许多类型的文件，诸如数据文件、文本文件、程序文件和目录文件。文件可以由计算设备的用户来生成，或者由计算设备来生成。对文件的访问和/或操作可以由计算设备的操作***和/或一个或多个应用来调和（mediate）。文件***可以对存储设备的计算设备的文件进行组织。文件***可以启用对文件的跟踪并且启用对那些文件的访问。文件***还可以启用对文件的操作。在一些实施例中，对文件的操作可以包括文件创建、文件修改、文件打开、文件读取、文件写入、文件关闭和文件删除。

术语“主机处理器”包括诸如一***中的IC的CPU或数字信号处理器（DSP）之类的主要处理器。主机处理器是可以独立运行但是受益于由神经形态IC或其处理器通过微控制器接口提供的神经形态计算的添加的主机处理器。

术语“协处理器”包括通过微控制器接口与主机处理器对接的附加处理器。该附加处理器可以被配置成实行在单独利用主机处理器的情况下不可能实现的功能、或协处理器可以更快地或以更低功率来实行的功能。

术语“增强滤波器”包括被配置成通过在时变的基础上选择性地使信号中的某些分量衰减或增长来抑制信号中不期望的噪声的滤波器。同样地，“增强滤波”包括用以通过在时变的基础上选择性地使信号中的某些分量衰减或增长来抑制信号中不期望的噪声的滤波。

最后，本文中使用的术语“或”和“和/或”应被解释为包括性的或者意味着任何一个或任何组合。因此，“A、B或C”或“A、B和/或C”意味着“以下各项中的任一个：A；B；C；A和B；A和C；B和C；A、B和C。”仅当元素、功能、步骤或动作的组合以某种方式固有地相互排斥时，才将会出现该定义的例外情况。

现在参考图1，根据一些实施例，提供了图示用于设计和更新神经形态IC的***100的示意图。如所示出的，***100可以包括仿真器110、神经形态合成器120以及云130，云130被配置成用于设计和更新神经形态IC（诸如，神经形态IC 102）。如进一步所示，设计和更新神经形态IC可以包括：基于特定问题、利用仿真器110来创建机器学***台即服务（“PaaS”）和/或基础设施即服务（“IaaS”）资源的***。神经形态合成器120可以随后将该机器学习架构变换成网表，该网表指向神经形态IC 102的电子组件以及电子组件所连接到的节点。另外，神经形态合成器120可以将该机器学习架构变换成图形数据库***（“GDS”）文件，该文件详细描述了神经形态IC 102的IC布局。从神经形态IC 102的网表和GDS文件，可以根据当前IC制造技术来制造神经形态IC 102本身。一旦制造出神经形态IC 102，就可以将其部署成对特定问题进行工作，神经形态IC 102是针对该特定问题而被设计的。虽然最初制造的神经形态IC 102可以包括在节点之间具有自定义突触权重（synaptic weight）的初始固件，但是可以由云130根据需要来更新该初始固件以调整权重。由于云130被配置成更新神经形态IC 102的固件，因此云130对于日常使用而言不是必需的。

在准确性达到或超过可比较的软件解决方案的情况下，神经形态IC（诸如，神经形态IC 102）的能量效率可以是图形处理单元（“GPU”）解决方案的高达100倍或更高，并且其能量效率可以是数字CMOS解决方案的高达280倍或更高。这使得这种神经形态IC适合于电池供电的应用。

神经形态IC（诸如，神经形态IC 102）可以被配置成用于专用标准产品（“ASSP”），包括但不限于关键字检测、语音识别、声音标识、一个或多个音频滤波器、手势识别、图像识别、视频对象分类和分割、或包括无人机的自主载具。例如，如果该特定问题是检测关键字之一，则仿真器110可以关于口头单词标识的一个或多个方面来创建机器学习架构。神经形态合成器120可以随后将该机器学习架构变换成网表和GDS文件，该网表和GDS文件对应于用于单词标识的神经形态IC，该神经形态IC可以根据当前IC制造技术来制造。一旦制造出用于单词标识的神经形态IC，就可以将其部署成：在例如本文中进一步详述的移动设备中或利用该移动设备来对关键字搜寻（spotting）实例进行工作。

神经形态IC（诸如，神经形态IC 102）可以被部署在如下各项中：玩具、传感器、可穿戴设备、增强现实（“AR”）***或设备、虚拟现实（“VR”）***或设备、移动***或设备、电器、物联网（“IoT”）设备、或听觉***或设备。

现在参考图2，根据一些实施例，提供了图示模拟乘法器阵列200的示意图。这种模拟乘法器阵列可以基于数字NOR闪存阵列，这是因为模拟乘法器阵列的核心可以类似于数字NOR闪存阵列的核心，或者与数字NOR闪存阵列的核心相同。就是说，模拟乘法器阵列的至少选择和读出电路与数字NOR阵列是不同的。例如，输出电流作为模拟信号被路由到下一层，而不是通过位线去往感测放大器/比较器从而被转换为位。字线模拟由模拟输入信号而不是由数字地址解码器来驱动。此外，模拟乘法器阵列200可以被用在神经形态IC（诸如，神经形态IC 102）中。例如，神经网络可以被设置在神经形态IC的存储器扇区中的模拟乘法器阵列200中。

由于模拟乘法器阵列200是模拟电路，因此输入和输出电流值（或信号值）可以在连续范围内变化，而不是简单地导通或关断。这对于存储与数字位相对的神经网络的权重或系数而言是有用的。在某些实施例的操作中，在核心中，权重被乘以输入电流值231、232、233、234，以提供输出电流值，该输出电流值被组合以得出神经网络的决策。此外，模拟乘法器阵列200可以利用标准编程和擦除电路来生成隧穿和擦除电压。在许多实施例中，输入电流值231、232、233、234由输入生成器230来提供。本领域技术人员将认识到，可以从该***内的各种设备或其他组件来生成或获得这种输入电流值。此外，在乘法器210内所存储的电荷可以使浮置栅极（floating gate）上的电压移位，并且按权重w_i，j来缩放漏极电流。

现在参考图3，根据一些实施例，提供了图示模拟乘法器阵列300的示意图。模拟乘法器阵列300可以使用两个晶体管（例如，正晶体管和负晶体管），诸如但不限于金属氧化物半导体场效应晶体管（“MOSFET”）或场效应晶体管（“FET”），以便实行有符号的权重（例如，正权重或负权重）与非负输入电流值的二象限乘法。在许多实施例中，输入电流值可以由单独的输入生成器330来提供。在某些实施例中，330的输入生成可以类似于图2中描绘的输入生成器的输入生成。如果由输入生成器330提供的输入电流值被乘以正权重或负权重，则乘积或输出电流值可以分别为正或负。可以将正加权的乘积存储在第一列（例如，对应于模拟乘法器阵列300中的I _Out0+ 的列）中，并且可以将负加权的乘积存储在第二列（例如，对应于模拟乘法器阵列300中的I _Out0- 的列）中。作为示例而非限制，可以将I _Out0+ 和I _Out0- 取作差分电流输出310，然后将其提供给多个电流感测电路，包括但不限于电流镜、电荷积分器和/或跨阻放大器。前述差分输出310、320可以提供正和负加权的乘积，或者输出信号值可以被取作差分电流值以提供对于做出决策而言有用的信息。

因为来自正或负晶体管的每个输出电流都接线到地，并且分别与输入电流值和正或负权重的乘积成比例，因此当输入电流值或权重为零或接近零时，正或负晶体管的功率消耗为零或接近零。即，如果输入信号值为“0”或者如果权重为“0”，则模拟乘法器阵列300的对应晶体管将不会消耗功率。这是重要的，因为在许多神经网络中，这些值或权重的大部分通常为“0”，尤其是在训练之后通常为“0”。因此，在没有什么要做或继续进行的时候，节约了能量。这与基于差分对的乘法器不同，基于差分对的乘法器消耗恒定的电流（例如，借助于尾部偏置电流（tail bias current））而不考虑输入信号。

现在参考图4，提供了图示根据一些实施例的在神经形态IC 402的协处理器与专用IC 404的主机处理器之间的微控制器接口400的示意图。虽然神经形态IC 402和专用IC404在图4中被示为两个有区别的IC，但是应当理解的是，前述IC可以替代地体现在单个单片IC中。由此，关于神经形态IC 402的协处理器与专用IC 404的主机处理器之间的微控制器接口400的描述也应当被采用，以描述单个单片IC的神经形态协处理器与专用主机处理器之间的微控制器接口400；即，除非上下文明确地另行指示。

如图4中所示，专用IC 404可以包括但不限于用于包括关键字搜寻器（spotter）的语音识别***或设备的IC。用于关键字搜寻器的IC可以包括作为专用主机处理器的关键字标识符主机处理器440、以及麦克风410、滤波器组420、滤波器组输出信道430、后处理单词信号输入450和信号输出460。然而，应当理解的是，神经形态协处理器可以与多个专用主机处理器中的任何一个或多个进行对接。与关键字标识符主机处理器对接的神经形态协处理器的示例实施例仅仅被提供以用于阐述。应当理解的是，到其他ASSP的扩展可能需要根据其他ASSP的具体功能来进行某些修改。

如图4中进一步所示的，神经形态IC 402或者上述单个单片IC中与神经形态IC402相对应的一部分可以包括但不限于：接口电路470、具有云可更新的突触权重的深度语音增强网络480、以及期望关键字的数据库490。神经形态IC 402和专用IC 404可以被配置成通过诸如串行***接口（“SPI”）总线或内部集成电路（“I²C”）总线之类的数字芯片间接口405来进行通信。在多个实施例中，可以周期性地或响应于手动更新过程来更新深度语音增强网络480的突触权重。在进一步的实施例中，可以基于用户和/或***给出的反馈来动态地修改突触权重。

关键字标识符主机处理器可以被配置成：通过SPI总线以傅立叶变换或类似频率分解的形式将频率元素或信号频谱信息传输到神经形态协处理器，以用于音频信号处理任务（诸如，音频增强或去噪）。神经形态协处理器可以被配置成随后实行单词识别任务，并且通过SPI总线将结果传输回到关键字标识符主机处理器。在一些实施例中，神经形态协处理器可以有权访问包括关键字列表的数据库，由此口头关键字可以被标识。在一些实施例中，被发送回到关键字标识符主机处理器的结果可以包括针对检测到的期望单词的加权信号。关键字标识符主机处理器可以被配置成随后传输指示检测到期望关键字的一个或多个信号。在一些实施例中，该一个或多个信号可以包括被发送到其他专用IC的信号，该其他专用IC被配置成在检测到期望关键字时实行特定任务。

应设想到的是，可以在单个***或片上***（“SoC”）配置中实现专用IC 404和神经形态IC 402。还应设想到的是，某些实施例可以具有利用数字接口405通过网络连接来远程实现的专用IC 404和/或神经形态IC 402。

现在参考图5，提供了图示根据某些实施例的用于检测口头关键字或其他期望声音的神经形态IC的方法500的示意图。如所示出的，该方法包括：1）第一步骤510，其中关键字标识符主机处理器计算频率分量信号；2）第二步骤520，其中关键字标识符主机处理器将频率分量信号传输到神经形态协处理器；3）步骤530，其中神经形态协处理器通过从频率分量信号中生成所识别的单词信号来处理频率分量信号以推断并标识期望关键字；4）步骤540，其中神经形态协处理器将所识别的关键字信号传输到关键字标识符主机处理器；以及5）步骤550，其中神经形态协处理器进行等待直到下一个时间步骤为止。

应当理解的是，方法500不限于检测语音，而是方法500可以被用来检测任何类型的期望声音。例如，在一些实施例中，可以在安全性能力下实现方法500。在这种实施例中，第一步骤510可以包括：主机处理器标识不利的声音，诸如到限制区域中的不期望侵入。在步骤530中，协处理器可以实行声音识别任务，并且然后在步骤540中将所识别的声音传输到主机处理器。因此，在检测到不利的声音时，主机处理器可以将信号输出到其他IC，该其他IC使警报响起。

图6是图示了示例性移动设备600的组件的框图，该示例性移动设备600可以包括如结合图4公开的关键字检测器。在所图示的实施例中，移动设备600包括一个或多个麦克风604、至少一个处理器608、关键字检测器612、存储器存储装置616、以及一个或多个通信设备620。在一些实施例中，移动设备600还可以包括对于移动设备600的操作所必要的附加或其他组件。在一些实施例中，移动设备600可以包括更少的组件，这些组件实行与本文中中描述的功能类似或等同的功能。

在一些实施例中，声学信号一旦被接收到（例如，如由（一个或多个）麦克风604所捕获）就可以被转换成电信号，电信号进而可以根据一些实施例被关键字检测器612转换成数字信号以用于处理。可以将经处理的信号传输到处理器608以用于进一步处理。在一些实施例中，麦克风604中的一些可以是可操作于捕获声学信号并且输出数字信号的（一个或多个）数字麦克风。（一个或多个）数字麦克风中的一些可以提供语音活动检测或发声（vocalization）检测、以及显著先于发声检测来对音频数据进行缓冲。

关键字检测器612可以可操作于处理声学信号。在一些实施例中，声学信号由（一个或多个）麦克风604来捕获。在一些实施例中，由（一个或多个）麦克风604检测到的声学信号可以由关键字检测器612使用，以便将期望语音（例如，关键字）与环境噪声分离，从而提供更鲁棒的自动语音识别（“ASR”）。

在一些实施例中，关键字检测器612可以包括参考图4所讨论的神经形态IC 402和专用IC 404。关键字检测器612可以被配置成传输指示标识出期望关键字或其他声音的一个或多个信号。在一些实施例中，该一个或多个信号可以被发送到处理器608或其他专用IC，它们被配置成在标识出期望关键字或其他声音时实行特定任务。因此，关键字检测器612可以被配置成提供移动设备600的免提操作。

在一些实施例中，关键字检测器612可以被配置成保持在低功率、始终开启的状态中，由此关键字检测器612保持持续准备好检测关键字或其他声音。如将认识到的那样，常规的DSP关键字搜寻器通常处于意识较少（less-aware）的低功率状态中，直到环境中的某些情况（诸如语音）发生，并且然后整个DSP被通电至全功率。在整个DSP通电的情况下，常规的DSP关键字搜寻器然后通常被置于全意识状态中，由此可以检测关键字。然而，在单词检测的情况下，将DSP从低功率切换到全功率所需的时间导致了时延，其中关键字搜寻器可能会错过最初的一个或多个单词。在一些实现方式中，时延可能导致不利的结果。例如，在针对安全性而配置的DSP检测器的实例中，由于时延而浪费的时间可能会导致丢失关于已经实施的犯罪的重要证据。

与常规的DSP关键字搜寻器不同，关键字检测器612可以被配置成在移动设备600被置于低功率状态中时保持全意识。通过使用本文中描述的组件，关键字检测器612可能能够检测环境中的改变（诸如语音），而无需花费时间以在检测可以发生之前对其他组件进行通电。因此，关键字检测器612可以被配置成以减少的和/或接近零的时延来检测关键字或其他声音。应设想到的是，可以通过在如下功率包络内操作关键字搜寻器来实现关键字检测器612的全意识状态：该功率包络对于包括移动设备600的其余组件而言是微不足道的。例如，在一些实施例中，关键字检测器612可以被实现为包括移动设备600的最小组件，使得关键字检测器可以由来自电池的电流泄漏来供电。由此，当包括移动设备600的组件被置于较低功率的睡眠模式中时，关键字检测器612可以在全意识状态中继续操作，该全意识状态由来自电池的典型泄漏电流来维持。

处理器608可以包括可操作于执行存储在存储器存储装置616中的计算机程序和/或逻辑的硬件和/或软件。处理器608可以使用浮点操作、复杂操作、以及实现本公开的实施例所需的其他操作。在一些实施例中，移动设备600的处理器608可以包括例如DSP、图像处理器、音频处理器、通用处理器等等中的至少一个。

在各种实施例中，示例性移动设备600可以可操作于例如经由通信设备620通过一个或多个有线或无线通信网络来进行通信。在一些实施例中，移动设备600可以通过有线或无线通信网络来发送至少音频信号（语音）。在一些实施例中，移动设备600可以对至少一个数字信号进行封装和/或编码，以用于通过诸如蜂窝网络之类的无线网络进行传输。

此外，应当理解的是，一般的移动设备600、以及特别是关键字检测器612不限于检测用于移动设备的免提操作的关键字。例如，在一些实施例中，移动设备600可以被配置成用于安全性相关的实现方式。由此，移动设备600可以被配置成在限制区域内检测先前定义的不利声音，诸如玻璃破碎的声音。在检测到不利声音时，关键字检测器612可以被配置成向其他组件输出一个或多个信号，该一个或多个信号指示已经检测到不利声音。在一些实施例中，例如，关键字检测器612可以在检测到不利声音时触发警报***。

虽然已经根据特定变化和说明性附图描述了本发明，但是本领域普通技术人员将认识到，本发明不限于所描述的变化或附图。另外，在上述方法和步骤指示了以某个次序发生的某些事件的情况下，本领域普通技术人员将认识到，可以修改某些步骤的次序，并且这种修改是根据本发明的变化而进行的。附加地，在可能的时候，可以在并行过程中同时地实行某些步骤，以及如上所描述的那样顺序地实行某些步骤。在存在处于本公开的精神内或等同于权利要求中找到的发明的本发明的变化的程度上，意图该专利也将覆盖这些变化。因此，要将本公开理解为不受本文中描述的具体实施例所限制，而仅受所附权利要求的范围所限制。

Claims (20)

1.一种用于检测关键字的集成电路，包括：

关键字标识符主机处理器，其可作为独立的主机处理器而操作，并且被配置成标识接收到的音频流中的一个或多个单词；

神经形态协处理器，其包括人工神经网络，人工神经网络被配置成在从主机处理器接收到的一个或多个单词当中标识一个或多个期望关键字；以及

主机处理器与协处理器之间的通信接口，其被配置成在它们之间传输信息。

2.根据权利要求1所述的集成电路，其中神经形态协处理器包括由已知关键字组成的数据库，由此可以在一个或多个单词当中标识一个或多个期望关键字。

3.根据权利要求2所述的集成电路，其中可以将新关键字添加到数据库，并且将新关键字与现有关键字区分开。

4.根据权利要求3所述的集成电路，其中所述集成电路被配置成依靠电池功率进行操作。

5.一种用于检测音频流中的关键字的方法，包括：

接收去往关键字标识符主机处理器的采用电信号形式的音频流；

将电信号从主机处理器传输到神经形态协处理器；

在电信号内标识一个或多个期望关键字；

将一个或多个期望关键字从神经形态协处理器传输到主机处理器；以及

在从神经形态协处理器接收到一个或多个期望关键字的情况下，从主机处理器发送一个或多个输出信号。

6.根据权利要求5所述的方法，其中神经形态协处理器包括由已知关键字组成的数据库，由此可以在电信号内标识一个或多个期望关键字。

7.根据权利要求5所述的方法，其中一个或多个关键字由语音之外的预定义声学信号组成。

8.一种集成电路，包括：

专用主机处理器，其可作为独立的主机处理器而操作；

神经形态协处理器，其包括人工神经网络，人工神经网络被配置成增强主机处理器的专用处理；以及

主机处理器与协处理器之间的通信接口，其被配置成在它们之间传输信息。

9.根据权利要求8所述的集成电路，其中主机处理器是关键字标识符处理器，其被配置成通过通信接口将采用电信号形式的音频流传输到协处理器，并且其中协处理器被配置成通过经由通信接口将一个或多个检测到的关键字提供给主机处理器，来增强主机处理器的专用处理。

10.根据权利要求9所述的集成电路，其中主机处理器与协处理器之间的通信接口是串行***接口（“SPI”）总线或内部集成电路（“I²C”）总线。

11.根据权利要求10所述的集成电路，其中人工神经网络被设置在所述集成电路的存储器扇区中的多个二象限乘法器的模拟乘法器阵列中。

12.根据权利要求11所述的集成电路，其中人工神经网络的突触权重被存储在所述集成电路的固件中，并且其中所述固件被配置成用于基于云的升级以更新人工神经网络的突触权重。

13.根据权利要求12所述的集成电路，其中集成电路被配置成依靠电池功率进行操作。

14.一种用于检测关键字的集成电路，包括：

专用主机处理器，其被配置成标识接收到的音频流中的一个或多个声音，并且将所述一个或多个声音传输到神经形态协处理器；

人工神经网络，其包括神经形态协处理器，神经形态协处理器被配置成在从主机处理器接收到的一个或多个声音当中标识一个或多个期望声音；以及

主机处理器与协处理器之间的通信接口，其被配置成在它们之间传输信息。

15.根据权利要求0所述的集成电路，其中所述集成电路被配置成依靠电池功率进行操作。

16.根据权利要求15所述的集成电路，其中所述集成电路被配置成保持在低功率、始终开启的状态中，由此所述集成电路保持持续准备好接收音频流。

17.根据权利要求0所述的集成电路，其中主机处理器被配置成在检测到一个或多个期望声音的情况下输出一个或多个信号。

18.根据权利要求0所述的集成电路，其中所述集成电路被配置成用于在移动设备内实现。

19.根据权利要求18所述的集成电路，其中所述集成电路被配置成由来自包括所述移动设备的电池的电流泄漏来供电。

20.根据权利要求19所述的集成电路，其中所述集成电路被配置成保持在全意识状态中，由此所述集成电路保持持续准备好接收音频流。

Images