CN105793923A - 本地和远程语音处理 - Google Patents
本地和远程语音处理 Download PDFInfo
- Publication number
- CN105793923A CN105793923A CN201480050711.8A CN201480050711A CN105793923A CN 105793923 A CN105793923 A CN 105793923A CN 201480050711 A CN201480050711 A CN 201480050711A CN 105793923 A CN105793923 A CN 105793923A
- Authority
- CN
- China
- Prior art keywords
- function
- audio frequency
- service
- statement
- speech
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title description 10
- 230000004044 response Effects 0.000 claims abstract description 86
- 238000001514 detection method Methods 0.000 claims abstract description 11
- 230000006870 function Effects 0.000 claims description 135
- 230000009471 action Effects 0.000 claims description 94
- 238000000034 method Methods 0.000 claims description 31
- 238000004891 communication Methods 0.000 claims description 29
- 230000001960 triggered effect Effects 0.000 claims description 12
- 230000005540 biological transmission Effects 0.000 claims description 11
- BYACHAOCSIPLCM-UHFFFAOYSA-N 2-[2-[bis(2-hydroxyethyl)amino]ethyl-(2-hydroxyethyl)amino]ethanol Chemical compound OCCN(CCO)CCN(CCO)CCO BYACHAOCSIPLCM-UHFFFAOYSA-N 0.000 claims description 4
- 230000000712 assembly Effects 0.000 claims description 4
- 238000000429 assembly Methods 0.000 claims description 4
- 230000000694 effects Effects 0.000 abstract description 4
- 230000005236 sound signal Effects 0.000 description 22
- 238000005516 engineering process Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 6
- 230000001755 vocal effect Effects 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000009472 formulation Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- 230000002618 waking effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/28—Constructional details of speech recognition systems
- G10L15/32—Multiple recognisers used in sequence or in parallel; Score combination systems therefor, e.g. voting systems
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/28—Constructional details of speech recognition systems
- G10L15/30—Distributed recognition, e.g. in client-server systems, for mobile phones or network applications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L2015/088—Word spotting
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
- G10L2015/223—Execution procedure of a spoken command
Landscapes
- Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Telephonic Communication Services (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明公开了一种用户设备，所述用户设备可被配置来检测用户说出的触发表述并且通过将随后的单词或短语解释为命令来做出响应。所述命令可通过将包含所述单词或短语的音频发送到远程服务来辨识，所述远程服务被配置来执行语音辨识。某些命令可以被指定为本地命令并且可以在本地检测而不是依赖于所述远程服务。当检测到所述触发表述时，将音频流式传输到所述远程服务并且同样在本地对其进行分析以检测本地命令的说出。当检测到本地命令时，立即启动对应的功能，并且取消或忽略由所述远程服务随后做出的活动或响应。
Description
相关申请
本申请要求2013年9月20日提交的标题为“LocalandRemoteSpeechProcessing(本地和远程语音处理)”的美国专利申请号14/033,302的优先权，所述专利申请以引用的方式整体并入本文。
背景
家庭、办公室、汽车以及公共空间变得与计算设备，诸如笔记本电脑、平板电脑、娱乐***和便携式通信设备的迅速发展联系越来越紧密。随着计算设备的发展，用户与这些设备进行交互的方式也继续发展。例如，人们能够通过机械设备(例如，键盘，鼠标等)、电气设备(例如，触摸屏、触控板等)以及光学设备(例如，运动检测器、摄像机等)与计算设备进行交互。与计算设备进行交互的另一种方式是通过捕获人类语音并对所述人类语音做出响应的音频设备。
附图简述
详细说明参照附图来描述。在图中，参考数字中最左侧的数字标识首次出现所述参考数字的图。在不同的图中使用的相同参考数字指示类似或相同的部件或特征。
图1是包括本地音频设备和远程语音处理服务的说明性话音(voice)交互计算体系结构的框图。
图2-4是示出用于检测可由本地音频设备与远程语音处理服务结合来执行的命令表述的示例性过程的流程图。
详述
本公开总体涉及一种提供或促进与用户的基于语音的交互的语音接口***。所述***包括具有麦克风的本地设备，所述麦克风捕获包含用户语音的音频。口头用户命令之前可带有关键字，被称为触发表述或唤醒表述。触发表述之后的音频可被流式传输到远程服务以便进行语音辨识，并且所述服务可通过执行功能或提供将由音频设备执行的命令来做出响应。
与远程服务的通信可引入响应等待时间，在大多数情况下所述响应等待时间可最小化在可接受限值内。然而，一些口头命令可能要求较少的等待时间。举例来说，关于某些类型的媒体呈现的口头命令，诸如“停止”、“暂停”、“中止”等，可能需要以较少的可感知的等待时间量来执行。
根据各种实施方案，某些命令表述，在本文中被称为本地命令或本地命令表述，由本地设备而非远程服务检测或在本地设备而非远程服务处检测。更具体地，本地设备被配置来检测触发或警示表述，所述触发或警示表述指示随后的语音是用户意图来形成命令的。在检测到触发表述时，本地设备启动与远程服务的通信会话并且开始将所接收的音频流式传输到所述服务。作为响应，远程服务对所接收的音频执行语音辨识并且试图基于所辨识的语音来识别用户意图。响应于所辨识的用户意图，远程服务可执行对应的功能。在一些情况下，可与本地设备结合来执行功能。例如，远程服务可向本地设备发送命令，指示本地设备应执行所述命令以执行对应的功能。
与远程服务的活动同步的是，本地设备监测或分析音频以检测触发表述之后本地命令表述的发生。在检测到音频中的本地命令表述时，本地设备立即实现对应的功能。此外，停止或取消由远程服务执行的其他动作以避免关于单个用户话语的重复动作。可通过以下方式停止由远程服务执行的动作：明确地通知远程服务所述话语已在本地实施、通过终止或取消通信会话、和/或通过放弃由远程服务响应于远程用户语音辨识而指定的任何命令。
图1示出话音交互***100的实例。***100可包括或可利用本地基于话音的音频设备102，所述音频设备102可位于环境104(诸如家庭)内并且可用于与用户106进行交互。话音交互***100还可包括或利用远程基于网络的语音命令服务108，所述语音命令服务108被配置来接收音频、辨识音频中的语音并且响应于所辨识的语音执行功能，在本文中被称为服务识别的功能。服务识别的功能可由语音命令服务108独立于音频设备来实现，和/或可通过向音频设备102提供命令以便在本地执行来实现。
在某些实施方案中，用户与音频设备102的交互的主要模式可以是通过语音。例如，音频设备102可接收来自用户106的口头命令表述并且可响应于所述命令来提供服务。用户可说出预定义的唤醒或触发表述(例如，“醒来”)，所述唤醒或触发表述之后可以是命令或指令(例如，“我想要去看电影。请告诉我当地电影院正在播放什么影片。”)。所提供的服务可包括执行动作或活动、呈现媒体、获取和/或提供信息、通过由音频设备102生成或合成的语音提供信息、代表用户106启动基于互联网的服务等等。
本地音频设备102和语音命令服务108被配置成彼此结合来起作用以接收来自用户106的命令表述并且对其做出响应。命令表述可包括由本地设备102独立于语音命令服务108进行检测并实施的本地命令表述。命令表述还可包括由远程语音命令服务108或与远程语音命令服务108结合来进行解释并实施的命令。
音频设备102可具有一个或多个麦克风110和一个或多个音频扬声器或变换器112，以便促进与用户106的音频交互。麦克风110产生麦克风信号，也被称为输入音频信号，其表示来自环境104的音频，包括由用户106发出的声音或表述。
在一些情况下，麦克风110可包括麦克风阵列，所述麦克风阵列与音频波束形成技术结合来使用以产生集中在可选择方向上的输入音频信号。类似地，可使用多个方向性麦克风110来产生对应于多个可用方向中的一个的音频信号。
音频设备102包括操作逻辑，在许多情况下所述操作逻辑可包括处理器114和存储器116。处理器114可包括多个处理器和/或具有多个核的处理器。处理器114还可包含或包括用于处理音频信号的数字信号处理器。
存储器116可包含呈计算机可执行指令形式的应用和程序，处理器114执行计算机可执行指令以便执行实现音频设备102的期望功能(包括以下明确描述的功能)的操作或动作。存储器116可以是一类计算机可读存储介质并且可包括易失性和非易失性存储器。因此，存储器116可包括但不限于RAM、ROM、EEPROM、快闪存储器或其他存储器技术。
音频设备102可包括可由处理器114执行来提供服务和功能的多个应用、服务和/或功能118，以下统称为功能组件118。应用和其他功能组件118可包括媒体回放服务，诸如音乐播放器。由应用和其他功能组件118执行或提供的其他服务或操作可包括(作为实例)请求和消费娱乐(例如，游戏、查找和播放音乐、电影或其他内容等)、个人管理(例如，日程表制定、便笺制作等)、在线购物、财务交易、数据库查询、人与人之间的话音通信等。
在一些实施方案中，功能组件118可预先安装在音频设备102上，并且可实现音频设备102的核心功能。在其他实施方案中，应用或其他功能组件118中的一个或多个可在用户106已初始化音频设备102之后由用户106进行安装或以其他方式安装，并且可根据用户106的期望实现另外的或定制的功能。
处理器114可由音频处理功能或组件120配置来处理由麦克风110生成的输入音频信号和/或提供到扬声器112的输出音频信号。举例来说，音频处理组件120可实现声学回声消除以减少由麦克风110与扬声器112之间的声学耦合生成的音频回声。音频处理组件120还可实现噪声减少以减少所接收音频信号中的噪声，诸如输入音频信号而非用户语音的元素。在某些实施方案中，音频处理组件120可包括一个或多个音频波束形成器，所述音频波束形成器响应于多个麦克风110以生成集中在已检测到用户语音的方向上的音频信号。
音频设备102还可以被配置来实现一个或多个表述检测器或语音辨识组件122，所述一个或多个表述检测器或语音辨识组件122可用于检测由麦克风110捕获的语音中的触发表述。术语“触发表述”在本文中用于指示用于发信号通知音频设备102随后的用户语音是用户意图被解释为命令的单词、短语或其他话语。
还可以使用一个或多个语音辨识组件122来检测由麦克风110捕获的语音中的命令或命令表述。术语“命令表述”在本文中用于指示对应于将由音频设备102或由音频设备102可访问的服务或其他设备(诸如语音命令服务108)执行的功能或与所述功能相关联的单词、短语或其他话语。例如，单词“停止”、“暂停”、“中止”可用作命令表述。“停止”和“暂停”命令表述可指示应中断媒体回放活动。“中止”命令表述可指示当前的人与人之间的通信应终止。也可使用对应于不同功能的其他命令表述。命令表述可包括对话型指示，诸如“找到附近的意大利餐馆”。
命令表述可包括将由音频设备102在不依赖语音命令服务108的情况下进行解释的本地命令表述。一般来说，本地命令表述是相对短的表述，诸如单个单词或短的短语，其可容易地被音频设备102检测到。本地命令表述可对应于期望相对低的响应等待时间的设备功能，诸如媒体控制或媒体回放控制功能。语音命令服务108的服务可用于可接受较大响应等待时间的其他命令表述。将由语音命令服务实施的命令表述在本文中将被称为远程命令表述。
在一些情况下，语音辨识组件122可使用自动语音辨识(ASR)技术来实现。例如，可使用大词汇量语音辨识技术来进行关键字检测，并且可监测语音辨识的输出以发现关键字的出现。举例来说，语音辨识可使用隐马尔可夫模型和高斯混合模型来辨识话音输入并提供对应于所述话音输入的连续单词流。随后，可监测单词流以检测一个或多个指定的单词或表述。
作为替代方案，语音辨识组件122可通过一个或多个关键字测位仪来实现。关键字测位仪是功能组件或算法，其评估音频信号以检测音频信号中一个或多个预定义的单词或表述的存在。一般来说，关键字测位仪使用简化的ASR技术来检测特定单词或有限数量的单词而不是试图辨识大词汇量。例如，当在话音信号中检测到指定单词时，关键字测位仪可提供通知而不是提供文本或基于单词的输出。使用这些技术的关键字测位仪可基于隐马尔可夫模型(HMM)对不同单词进行比较，所述隐马尔可夫模型将单词表示为状态系列。一般来说，通过将话语模型与关键字模型并与背景模型进行比较来对话语进行分析。将话语的模型与关键字模型进行比较得出表示话语对应于关键字的可能性的得分。将话语的模型与背景模型进行比较得出表示话语对应于除关键字之外的普通词的可能性的得分。可将两个得分进行比较以确定是否说出了关键字。
音频设备102还可包括在本文中被称为控制器或控制逻辑的控制功能124，所述控制功能124被配置来与音频设备102的其他组件进行交互以便实现音频设备102的逻辑功能。
控制逻辑124、音频处理组件120、语音辨识组件122和功能组件118可包括存储在存储器116中并且由处理器114执行的可执行指令、程序和/或或程序模块。
语音命令服务108在一些情况下可以是网络可访问计算平台的一部分，所述网络可访问计算平台通过网络126(诸如互联网)进行维护并且可访问。这样的网络可访问计算平台可以使用术语诸如“按需计算”、“软件即服务(SaaS)”、“平台计算”、“网络可访问平台”、“云服务”、“数据中心”等来指代。
音频设备102和/或语音命令服务108可通过有线技术(例如，电线、通用串行总线(USB)、光纤电缆等)、无线技术(例如，射频(RF)、蜂窝、移动电话网络、卫星、蓝牙等)或其他连接技术通信地耦接到网络126。网络126代表任何类型的通信网络，包括数据和/或话音网络，并且可使用有线基础设施(例如，同轴电缆、光纤电缆等)、无线基础设施(例如，RF、蜂窝、微波、卫星、等)和/或其他连接技术来实现。
尽管音频设备102在本文中被描述为话音控制的或基于语音的接口设备，但本文所述的技术可结合各种不同类型的设备来实现，诸如电信设备和组件、免提设备、娱乐设备、媒体回放设备等。
语音命令服务108通常提供用于以下的功能：接收来自音频设备102的音频流、辨识音频流中的语音、根据所辨识的语音确定用户意图、以及响应于用户意图执行动作或服务。所提供的动作在一些情况下可结合音频设备102来执行，并且在这些情况下语音命令服务108可向音频设备102返回指示将由音频设备102执行的命令的响应。
语音命令服务108包括操作逻辑，在许多情况下所述操作逻辑可包括一个或多个服务器、计算机和或处理器128。语音命令服务108也可具有包含呈指令形式的应用和程序的存储器130，处理器128执行指令以便执行实现语音命令服务的期望功能(包括本文明确描述的功能)的操作或动作。存储器130可以是一类计算机存储介质并且可包括易失性和非易失性存储器。因此，存储器130可包括但不限于RAM、ROM、EEPROM、快闪存储器或其他存储器技术。
在未明确示出的其他逻辑和物理组件之中，语音命令服务108可包括语音辨识组件132。语音辨识组件132可包括辨识音频信号中的人类语音的自动语音辨识(ASR)功能。
语音命令服务108还可包括基于所辨识的语音确定用户意图的自然语言理解组件(NLU)134。
语音命令服务108还可包括确定对应于用户意图的功能或命令的命令解释器和动作分配器136(以下简称为命令解释器136)。在一些情况下，命令可对应于至少部分地将由音频设备102执行的功能，并且在这些情况下命令解释器136可向音频设备102提供指示用于实现此类功能的命令的响应。可由音频设备响应于来自命令解释器136的指示而执行的命令或功能的实例可包括播放音乐或其他媒体、增大/减小扬声器112的音量、通过扬声器112生成可听的语音、启动与类似设备的用户进行的某些类型的通信等。
应注意，语音命令服务108还可响应于从所接收的音频辨识出的语音来执行涉及图1中未示出的实体或设备的功能。例如，语音命令服务108可与其他基于网络的服务进行交互以便代表用户106获取信息或服务。此外，语音命令服务108本身可具有能够对用户106发出的语音做出响应的各种元件和功能。
在操作中，音频设备102的麦克风110捕获或接收包含用户106的语音的音频。音频由音频处理组件120进行处理并且处理过的音频由语音辨识组件122接收。语音辨识组件122分析所述音频以检测音频所包含的语音中触发表述的出现。当检测到触发表述时，控制器124开始将所接收的音频连同对语音命令服务108的请求发送或流式传输到语音命令服务108，以辨识和解释用户语音并且启动对应于任何所解释的意图的功能。
与将音频发送到语音命令服务108同步的是，语音辨识组件122继续分析所接收的音频以检测用户语音中本地命令表述的出现。当检测到本地命令表述时，控制器124启动或执行对应于所述本地命令表述的设备功能。例如，响应于本地命令表述“停止”，控制器124可启动停止媒体回放的功能。在启动或执行功能时，控制器124可与功能组件118中的一个或多个进行交互。
同时，响应于接收到音频，语音命令服务108同步对所述音频进行分析以辨识语音，确定用户意图，并且响应于用户意图确定将要实现的服务识别的功能。然而，在本地检测和实施本地命令表述之后，音频设备102可采取行动以取消、废除最终可由语音命令服务108启动的任何服务识别的功能或使其无效。例如，音频设备102可通过向语音命令服务108发送取消消息和/或通过停止向语音命令服务108流式传输音频来取消其先前请求。作为另一个实例，音频设备可忽略或放弃响应于早期请求而从语音命令服务108接收到的任何响应或服务识别的命令。在一些情况下，音频设备可通知语音命令服务108响应于本地命令表述已在本地执行的动作，并且语音命令服务108可基于这个信息修改其随后的行为。例如，语音命令服务108可放弃否则可能已响应于在所接收音频中辨识的语音而执行的动作。
图2示出示例性方法200，所述方法200可由音频设备102与语音命令服务108结合来执行以便辨识用户语音并对其做出响应。将在图1的***100的上下文中描述方法200，尽管方法200也可以在其他环境中执行并且可以不同的方式实现。
在图2的左侧的动作是在本地音频设备102处执行或由其执行。在图2的右侧的动作是在远程语音命令服务108处执行或由其执行。
动作202包括接收已由麦克风110或结合所述麦克风110捕获的音频信号。音频信号包含或表示来自环境104的音频，并且可包含用户语音。音频信号可以是模拟电信号或者可包括数字信号，诸如数字音频流。
动作204包括检测所接收的音频和/或用户语音中触发表述的出现。这个动作可由如上所述的语音辨识组件122来执行，所述语音辨识组件122在一些实施方案中可包括关键字测位仪。如果未检测到触发表述，那么重复动作204以便连续监测触发表述的出现。图2中所示的其余动作是响应于检测到触发表述执行的。
如果在动作204中检测到触发表述，那么执行动作206，包括随后向语音命令服务108发送所接收的音频以及对语音命令服务108的服务请求208，以便辨识音频中的语音并且实现对应于所辨识的语音的功能。由语音命令服务108以这种方式启动的功能在本文中被称为服务识别的功能，并且在某些情况下可与音频设备102结合来执行。例如，可通过向音频设备102发送命令来启动功能。
所述发送206可包括在检测到触发表述之后，将表示或包含从麦克风110接收到的音频的数字音频流210流式传输或以其他方式传输到语音命令服务108。在某些实施方案中，动作206可包括打开或启动音频设备102与语音命令服务108之间的通信会话。具体地说，可以使用请求208来建立与语音命令服务108的通信会话，以便辨识语音、理解意图并且响应于用户语音确定将要执行的动作或功能。请求208可跟随有或伴随有流式音频210。在一些情况下，提供给语音命令服务108的音频流210可包括就在说出触发表述之前的时间开始的所接收的音频的多个部分。
通信会话可与通信或会话标识符(ID)相关联，所述通信或会话ID标识在音频设备102与语音命令服务108之间建立的通信会话。会话ID可以在与特定用户话语或音频流相关的未来通信中使用或包括在其中。在一些情况下，会话ID可以由音频设备102生成并且在请求208中被提供给语音命令服务108。作为替代方案，会话ID可以由语音命令服务108生成并且由语音命令服务108提供在对请求208的确认中。术语“请求(ID)”在本文中用于指示具有特定会话ID的请求。来自语音命令服务108的与同一个会话、请求或音频流相关的响应可由术语“响应(ID)”指示。
在某些实施方案中，每个通信会话和对应的会话ID可对应于单个用户话语。例如，音频设备102可在检测到触发表述时建立会话。音频设备102随后可继续将音频流式传输到语音命令服务108作为同一个会话的一部分，直到用户话语结束。语音命令服务108可通过会话使用相同的会话ID向音频设备102提供响应。响应在一些情况下可指示将由音频设备102响应于由语音命令服务108在所接收的音频210中辨识的语音而执行的命令。通信会话可保持打开直到音频设备102接收到来自语音命令服务108的响应或直到音频设备102取消请求。
在动作212中，语音命令服务108接收请求208和音频流210。作为响应，语音命令服务108执行动作214：使用语音命令服务108的语音辨识和自然语言理解组件132和134，辨识所接收的音频中的语音并且确定如由所辨识的语音表达的用户意图。由命令解释器136执行的动作214包括识别和启动服务识别的功能以履行所确定的用户意图。服务识别的功能在一些情况下可由语音命令服务108独立于音频设备102执行。在其他情况下，语音命令服务108可识别将由音频设备102执行的功能，并且可向音频设备102发送以供音频设备102执行的对应命令。
与由语音命令服务108执行的动作同步的是，本地音频设备102执行其他动作以便确定用户是否说出本地命令表述并且响应于任何这种说出的本地命令表述而执行对应的本地功能。具体地说，响应于在动作204中检测到触发表述而执行的动作218包括分析在动作202中接收到的音频以检测所接收语音中的在触发表述之后或紧接其后的本地命令表述的出现。这个动作可由如上所述的音频设备102的语音辨识组件122来执行，所述语音辨识组件122在一些实施方案中可包括关键字测位仪。
响应于在动作218中检测到本地命令表述，执行立即启动已与本地命令表述相关联的设备功能的动作220。例如，本地命令表述“停止”可与停止媒体回放的功能相关联。
另外，响应于在动作218中检测到本地命令表述，音频设备102执行停止或取消对语音命令服务108的请求208的动作222。这个动作可包括取消或废除服务识别的功能的实现，所述服务识别的功能否则可能已由语音命令服务108响应于所接收的请求208和随附的音频210而实现。
在某些实现方式中，动作222可包括向语音命令服务108发送明确通知或命令，请求语音命令服务108取消关于服务请求208的任何其他辨识活动和/或取消否则可能已响应于所辨识的语音而启动的任何服务识别的功能的实现。作为替代方案，音频设备102可简单地通知语音命令服务108关于已响应于本地命令表述的本地辨识而在本地执行的任何功能，并且语音命令服务108可通过取消服务请求208或通过执行其他动作(视情况而定)来做出响应。
在某些实现方式中，语音命令服务108可通过识别将由音频设备102执行的命令来实现服务识别的功能。响应于接收到服务请求208将要取消的通知，语音命令服务108可放弃向音频设备102发送命令。作为替代方案，可允许语音命令服务完成其处理并且向音频设备102发送命令，届时音频设备102可忽略所述命令或放弃执行所述命令。
在一些实现方式中，语音命令服务可被配置来在启动服务识别的功能之前通知音频设备102，并且可延迟所述服务识别的功能的实现直到从音频设备102接收到许可。在这种情况下，音频设备102可被配置来当已在本地辨识出本地命令表述时拒绝这种许可。
以上描述的各种方法可以在需要不同的命令等待时间量的情况下使用。例如，等待来自语音命令服务的通信可引入相对较高的等待时间，这在一些情况下可能是不可接受的。在实现功能之前的此类通信可防止重复或非预期的动作。立即实现本地辨识的命令表述以及忽略随后来自语音命令服务的命令或随后取消对语音命令服务的请求可能更适合于期望较低等待时间的情况。
应注意，图2中所示的语音命令服务108的动作与音频设备102的动作218、220和222并行且异步地执行。在一些实现方式中，假设音频设备102能够相对快速地检测到并实施本地命令表述，以使得它可执行动作222：在动作216的服务识别的功能已完成或执行之前取消请求208以及将由语音命令服务108执行的随后的处理。
图3示出示例性方法300，其中语音命令服务108向音频设备102返回命令，并且其中音频设备102被配置成在本地命令表述已由音频设备102检测到并实施的情况下忽略所述命令或放弃执行所述命令。初始动作与以上描述的那些类似或相同。由音频设备102执行的动作在左侧示出并且由语音命令服务108执行的动作在右侧示出。
动作302包括接收包含用户语音的音频信号。动作304包括分析音频信号以检测用户语音中的触发表述。图3中所示的随后的动作是响应于检测到触发表述执行的。
动作306包括向语音命令服务108发送请求308和音频310。动作312包括在语音命令服务108处接收请求308和音频310。动作314包括辨识用户语音以及基于所辨识的用户语音确定用户意图。
响应于所确定的用户意图，语音命令服务108执行动作316：向音频设备102发送命令318，所述命令318用于由音频设备102执行来实现对应于所辨识的用户意图的服务识别的功能。例如，命令可包括“停止”命令，其指示音频设备102应停止音乐的回放。
由音频设备102执行的动作320包括接收和执行命令。动作320在虚线框中示出，用于指示它是基于音频设备102是否检测到并实施本地命令表述而有条件地执行的。具体地说，如果音频设备102已检测到本地命令表述，那么不执行动作320。
与由语音命令服务108执行的动作同步的是，音频设备102执行动作322：分析所接收的音频以检测所接收用户语音中的在触发表述之后或紧接其后的本地命令表述的出现。响应于检测到本地命令表述，执行立即启动已与本地命令表述相关联的本地设备功能的动作324。
另外，响应于在动作322中检测到本地命令表述，音频设备102执行放弃执行所接收的命令318的动作326。更具体地说，放弃或忽略响应于请求308而从语音命令服务108接收到的任何命令。对应于请求308的响应和命令可由与响应相关联的会话ID来标识。
如果在动作322中未检测到本地命令表述，那么音频设备执行动作320：执行从语音命令服务108接收到的命令318。
图4示出示例性方法400，其中音频设备102被配置来在于本地检测到本地命令表述之后主动取消对语音命令服务108的请求。初始动作与以上描述的那些类似或相同。由音频设备102执行的动作在左侧示出并且由语音命令服务108执行的动作在右侧示出。
动作402包括接收包含用户语音的音频信号。动作404包括分析音频信号以检测用户语音中的触发表述。图4中所示的随后的动作是响应于检测到触发表述执行的。
动作406包括向语音命令服务108发送请求408和音频410。动作412包括在语音命令服务108处接收请求408和音频410。动作414包括辨识用户语音以及基于所辨识的用户语音确定用户意图。
动作416包括确定请求408是否已被音频设备102取消。举例来说，音频设备102可发送取消消息或者可终止当前通信会话以便取消请求。如果请求已被音频设备102取消，那么语音命令服务不再采取进一步的行动。如果请求尚未被取消，那么执行动作418，所述动作418包括：向音频设备102发送命令420，所述命令420用于由音频设备102执行来实现对应于所辨识的用户意图的服务识别的功能。
由音频设备102执行的动作422包括接收和执行命令。动作422在虚线框中示出，用于指示它是取决于语音命令服务108是否已发送并接收到命令、继而取决于音频设备102是否已取消请求408而有条件地执行的。
与由语音命令服务108执行的动作同步的是，音频设备102执行动作424：分析所接收的音频以检测所接收用户语音中的在触发表述之后或紧接其后的本地命令表述的出现。响应于检测到本地命令表述，执行立即启动已与本地命令表述相关联的本地设备功能的动作426。
另外，响应于在动作424中检测到本地命令表述，音频设备102执行动作428：请求语音命令服务108取消请求408和/或取消任何服务识别的功能的实现，所述服务识别的功能否则可能已响应于由语音命令服务108从音频设备102接收到的音频中的所辨识的语音而执行。这个动作可包括与语音命令服务108进行通信，诸如通过发送取消通知或请求。
在一些情况下，取消可包括对来自语音命令服务108的通信或通知做出由所述语音命令服务进行的服务识别的功能的待定实现的应答。响应于接收到这种通知，音频设备102可做出应答并且可请求取消所述待定实现。作为替代方案，音频设备102可取消否则可能已响应于检测到本地命令表述而执行的任何功能的实现，并且可指示语音命令服务108继续进行待定功能的实现。
如果在动作424中未检测到本地命令表述，那么音频设备102执行动作422：执行从语音命令服务108接收到的命令420。当接收到来自语音命令服务的命令420时，动作422可异步地发生。
以上描述的实施方案可以编程的方式实现，诸如利用计算机、处理器、数字信号处理器、模拟处理器等。然而，在其他实施方案中，组件、功能或元件中的一个或多个可使用专门或专用电路来实现，包括模拟电路和/或数字逻辑电路。如本文所用，术语“组件”旨在包括用于实现归属于组件的功能的任何硬件、软件、逻辑或前述各项的组合。
尽管已用特定于结构特征的语言描述了主题，但是应当理解，所附权利要求中定义的主题不必限于所述的具体特征。实际上，具体特征作为实施权利要求的说明性形式来公开。
条款：
1.一种或多种存储计算机可执行指令的非暂时性计算机可读介质，所述指令在被执行时，使得一个或多个处理器执行包括以下的动作：
接收包含用户语音的音频；
检测所述用户语音中的触发表述；
响应于检测到所述用户语音中的所述触发表述：
将所接收的音频流式传输到远程语音命令服务；以及
分析所接收的音频以检测所述用户语音中的所述触发表述之后的本地命令表述，其中所述本地命令表述与设备功能相关联；
响应于检测到所述用户语音中的所述触发表述之后的所述本地命令表述而启动所述设备功能；
接收来自所述远程语音命令服务的响应，其中所述响应指示响应于由所述远程语音命令服务在所述流式音频中辨识的语音而将要执行的命令；
如果未检测到所述用户语音中的所述触发表述之后的所述本地命令表述，则执行由所述响应指示的所述命令；以及
如果检测到所述用户语音中的所述触发表述之后的所述本地命令表述，则放弃执行由所述响应指示的所述命令。
2.如条款1所述的一种或多种计算机可读介质，其中所述流式传输与通信标识符相关联并且其中所述响应指示所述通信标识符。
3.如条款1所述的一种或多种计算机可读介质，其中所述设备功能包括媒体控制功能。
4.如条款1所述的一种或多种计算机可读介质，所述动作还包括响应于检测到所述命令表述而停止所接收音频的所述流式传输。
5.一种方法，其包括：
接收包含用户语音的音频；
检测所述用户语音中的触发表述；
响应于检测到所述用户语音中的所述触发表述：
向语音命令服务发送所接收的音频以辨识所接收的音频中的语音并且实现对应于所辨识的语音的第一功能；以及
分析所接收的音频以检测所接收音频中的所述触发表述之后的本地命令表述，其中所述本地命令表述与第二功能相关联；
响应于检测到所接收音频中的所述触发表述之后的所述本地命令表述：
启动所述第二功能；以及
取消所述第一功能的实现。
6.如条款5所述的方法，其中取消所述第一功能的实现包括请求所述语音命令服务来取消所述第一功能的实现。
7.如条款5所述的方法，其还包括从所述语音命令服务接收指示所述第一功能的待定实现的通信；
其中取消所述第一功能的实现包括请求所述语音命令服务来取消所述第一功能的待定实现。
8.如条款5所述的方法，其还包括从所述语音命令服务接收对应于所述第一功能的命令，其中取消所述第一功能的实现包括放弃执行从所述语音命令服务接收到的所述命令。
9.如条款5所述的方法，其还包括通知所述语音命令服务所述第二功能已启动。
10.如条款5所述的方法，其中取消所述第一功能的实现包括通知所述语音命令服务所述第二功能已启动。
11.如条款5所述的方法，其中所述第二功能包括媒体控制功能。
12.如条款5所述的方法，其还包括：
响应于检测到所述音频中的所述触发表述而建立与所述语音命令服务的通信会话；以及
其中取消所述第一功能的实现包括终止所述通信会话。
13.如条款5所述的方法，其还包括：
使标识符与所接收的音频相关联；
接收来自所述语音命令服务的响应，其中所述响应指示所述标识符和对应于所述第一功能的命令；以及
其中取消所述第一功能的实现包括放弃执行所述命令。
14.一种***，其包括：
一个或多个语音辨识组件，所述一个或多个语音辨识组件被配置来辨识所接收音频中的用户语音、检测所述用户语音中的触发表述并且检测所述用户语音中的本地命令表述；
控制逻辑，所述控制逻辑被配置来响应于所述一个或多个语音辨识组件检测到所述用户语音中的所述触发表述而执行动作，所述动作包括：
向语音命令服务发送所述音频以辨识所述音频中的语音并且实现对应于所辨识的语音的第一功能；以及
响应于所述一个或多个语音辨识组件检测到所述用户语音中的所述本地命令表述：(a)识别对应于所述本地命令表述的第二功能以及(b)取消所述第一功能和所述第二功能中至少一个的实现。
15.如条款14所述的***，其中所述一个或多个语音辨识组件包括一个或多个关键字测位仪。
16.如条款14所述的***，其中取消所述第一功能和所述第二功能中至少一个的实现包括请求所述语音命令服务来取消所述第一功能的实现。
17.如条款14所述的***，其中取消所述第一功能和所述第二功能中至少一个的实现包括忽略从所述语音命令服务接收到的命令。
18.如条款14所述的***，其中所述第二功能包括媒体控制功能。
19.如条款14所述的***，所述动作还包括响应于检测到所述用户语音中的所述本地命令表述而停止所述音频的所述发送。
20.如条款14所述的***，其中取消所述第一功能和所述第二功能中至少一个的实现包括通知所述语音命令服务所述第二功能已启动。
Claims (15)
1.一种存储计算机可执行指令的设备，所述指令在被执行时，使得所述设备的一个或多个处理器执行包括以下的动作：
接收包含用户语音的音频；
检测所述用户语音中的触发表述；
响应于检测到所述用户语音中的所述触发表述：
将所接收的音频流式传输到远程语音命令服务；以及
分析所接收的音频以检测所述用户语音中的所述触发表述之后的本地命令表述，其中所述本地命令表述与设备功能相关联；
响应于检测到所述用户语音中的所述触发表述之后的所述本地命令表述而启动所述设备功能；
接收来自所述远程语音命令服务的响应，其中所述响应指示响应于由所述远程语音命令服务在所述流式音频中辨识的语音而将要执行的命令；
如果未检测到所述用户语音中的所述触发表述之后的所述本地命令表述，则执行由所述响应指示的所述命令；以及
如果检测到所述用户语音中的所述触发表述之后的所述本地命令表述，则放弃执行由所述响应指示的所述命令。
2.如权利要求1所述的设备，其中所述流式传输与通信标识符相关联并且其中所述响应指示所述通信标识符。
3.如权利要求1所述的设备，其中所述设备功能包括媒体控制功能。
4.如权利要求1所述的设备，所述动作还包括响应于检测到所述命令表述而停止所接收音频的所述流式传输。
5.一种方法，其包括：
接收包含用户语音的音频；
检测所述用户语音中的触发表述；
响应于检测到所述用户语音中的所述触发表述：
向语音命令服务发送所接收的音频以辨识所接收的音频中的语音并且实现对应于所辨识的语音的第一功能；以及
分析所接收的音频以检测所接收音频中的所述触发表述之后的本地命令表述，其中所述本地命令表述与第二功能相关联；
响应于检测到所接收音频中的所述触发表述之后的所述本地命令表述：
启动所述第二功能；以及
取消所述第一功能的实现。
6.如权利要求5所述的方法，其中取消所述第一功能的实现包括请求所述语音命令服务来取消所述第一功能的实现。
7.如权利要求5所述的方法，其还包括从所述语音命令服务接收指示所述第一功能的待定实现的通信；
其中取消所述第一功能的实现包括请求所述语音命令服务来取消所述第一功能的所述待定实现。
8.如权利要求5所述的方法，其还包括从所述语音命令服务接收对应于所述第一功能的命令，其中取消所述第一功能的实现包括放弃执行从所述语音命令服务接收到的所述命令。
9.如权利要求5所述的方法，其还包括通知所述语音命令服务所述第二功能已启动。
10.如权利要求5所述的方法，其还包括：
使标识符与所接收的音频相关联；
接收来自所述语音命令服务的响应，其中所述响应指示所述标识符和对应于所述第一功能的命令；以及
其中取消所述第一功能的实现包括放弃执行所述命令。
11.一种***，其包括：
一个或多个语音辨识组件，所述一个或多个语音辨识组件被配置来辨识所接收音频中的用户语音、检测所述用户语音中的触发表述并且检测所述用户语音中的本地命令表述；
控制逻辑，所述控制逻辑被配置来响应于所述一个或多个语音辨识组件检测到所述用户语音中的所述触发表述而执行动作，所述动作包括：
向语音命令服务发送所述音频以辨识所述音频中的语音并且实现对应于所辨识的语音的第一功能；以及
响应于所述一个或多个语音辨识组件检测到所述用户语音中的所述本地命令表述：(a)识别对应于所述本地命令表述的第二功能以及(b)取消所述第一功能和所述第二功能中至少一个的实现。
12.如权利要求11所述的***，其中取消所述第一功能和所述第二功能中所述至少一个的实现包括请求所述语音命令服务来取消所述第一功能的实现。
13.如权利要求11所述的***，其中取消所述第一功能和所述第二功能中所述至少一个的实现包括忽略从所述语音命令服务接收到的命令。
14.如权利要求11所述的***，所述动作还包括响应于检测到所述用户语音中的所述本地命令表述而停止所述音频的所述发送。
15.如权利要求11所述的***，其中取消所述第一功能和所述第二功能中所述至少一个的实现包括通知所述语音命令服务所述第二功能已启动。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201314033302A | 2013-09-20 | 2013-09-20 | |
| US14/033,302 | 2013-09-20 | ||
| PCT/US2014/054700 WO2015041892A1 (en) | 2013-09-20 | 2014-09-09 | Local and remote speech processing |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN105793923A true CN105793923A (zh) | 2016-07-20 |
Family
ID=52689281
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201480050711.8A Pending CN105793923A (zh) | 2013-09-20 | 2014-09-09 | 本地和远程语音处理 |
Country Status (4)
| Country | Link |
|---|---|
| EP (1) | EP3047481A4 (zh) |
| JP (1) | JP2016531375A (zh) |
| CN (1) | CN105793923A (zh) |
| WO (1) | WO2015041892A1 (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107146618A (zh) * | 2017-06-16 | 2017-09-08 | 北京云知声信息技术有限公司 | 语音处理方法及装置 |
| CN108320749A (zh) * | 2018-03-14 | 2018-07-24 | 百度在线网络技术（北京）有限公司 | 远场语音控制设备和远场语音控制*** |
| JP2019050554A (ja) * | 2017-07-05 | 2019-03-28 | バイドゥ オンライン ネットワーク テクノロジー（ペキン） カンパニー リミテッド | 音声サービスを提供するための方法および装置 |
| CN112334976A (zh) * | 2018-06-27 | 2021-02-05 | 谷歌有限责任公司 | 利用本地文本响应映射呈现对用户的口头话语的响应 |
Families Citing this family (148)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8677377B2 (en) | 2005-09-08 | 2014-03-18 | Apple Inc. | Method and apparatus for building an intelligent automated assistant |
| US9318108B2 (en) | 2010-01-18 | 2016-04-19 | Apple Inc. | Intelligent automated assistant |
| US8977255B2 (en) | 2007-04-03 | 2015-03-10 | Apple Inc. | Method and system for operating a multi-function portable electronic device using voice-activation |
| US10002189B2 (en) | 2007-12-20 | 2018-06-19 | Apple Inc. | Method and apparatus for searching using an active ontology |
| US9330720B2 (en) | 2008-01-03 | 2016-05-03 | Apple Inc. | Methods and apparatus for altering audio output signals |
| US8996376B2 (en) | 2008-04-05 | 2015-03-31 | Apple Inc. | Intelligent text-to-speech conversion |
| US20100030549A1 (en) | 2008-07-31 | 2010-02-04 | Lee Michael M | Mobile device having human language translation capability with positional feedback |
| US8676904B2 (en) | 2008-10-02 | 2014-03-18 | Apple Inc. | Electronic devices with voice command and contextual data processing capabilities |
| US10241644B2 (en) | 2011-06-03 | 2019-03-26 | Apple Inc. | Actionable reminder entries |
| US10255566B2 (en) | 2011-06-03 | 2019-04-09 | Apple Inc. | Generating and processing task items that represent tasks to perform |
| US10241752B2 (en) | 2011-09-30 | 2019-03-26 | Apple Inc. | Interface for a virtual digital assistant |
| US10276170B2 (en) | 2010-01-18 | 2019-04-30 | Apple Inc. | Intelligent automated assistant |
| US8682667B2 (en) | 2010-02-25 | 2014-03-25 | Apple Inc. | User profiling for selecting user specific voice input processing information |
| US9262612B2 (en) | 2011-03-21 | 2016-02-16 | Apple Inc. | Device access using voice authentication |
| US10057736B2 (en) | 2011-06-03 | 2018-08-21 | Apple Inc. | Active transport based notifications |
| US10134385B2 (en) | 2012-03-02 | 2018-11-20 | Apple Inc. | Systems and methods for name pronunciation |
| US10417037B2 (en) | 2012-05-15 | 2019-09-17 | Apple Inc. | Systems and methods for integrating third party services with a digital assistant |
| US9721563B2 (en) | 2012-06-08 | 2017-08-01 | Apple Inc. | Name recognition system |
| US9547647B2 (en) | 2012-09-19 | 2017-01-17 | Apple Inc. | Voice-based media searching |
| EP4138075A1 (en) | 2013-02-07 | 2023-02-22 | Apple Inc. | Voice trigger for a digital assistant |
| US10652394B2 (en) | 2013-03-14 | 2020-05-12 | Apple Inc. | System and method for processing voicemail |
| US10748529B1 (en) | 2013-03-15 | 2020-08-18 | Apple Inc. | Voice activated device for use with a voice-based digital assistant |
| WO2014197334A2 (en) | 2013-06-07 | 2014-12-11 | Apple Inc. | System and method for user-specified pronunciation of words for speech synthesis and recognition |
| WO2014197335A1 (en) | 2013-06-08 | 2014-12-11 | Apple Inc. | Interpreting and acting upon commands that involve sharing information with remote devices |
| CN110442699A (zh) | 2013-06-09 | 2019-11-12 | 苹果公司 | 操作数字助理的方法、计算机可读介质、电子设备和*** |
| US10176167B2 (en) | 2013-06-09 | 2019-01-08 | Apple Inc. | System and method for inferring user intent from speech inputs |
| US10791216B2 (en) | 2013-08-06 | 2020-09-29 | Apple Inc. | Auto-activating smart responses based on activities from remote devices |
| US10296160B2 (en) | 2013-12-06 | 2019-05-21 | Apple Inc. | Method for extracting salient dialog usage from live data |
| US9430463B2 (en) | 2014-05-30 | 2016-08-30 | Apple Inc. | Exemplar-based natural language processing |
| US10170123B2 (en) | 2014-05-30 | 2019-01-01 | Apple Inc. | Intelligent assistant for home automation |
| US9966065B2 (en) | 2014-05-30 | 2018-05-08 | Apple Inc. | Multi-command single utterance input method |
| US9715875B2 (en) | 2014-05-30 | 2017-07-25 | Apple Inc. | Reducing the need for manual start/end-pointing and trigger phrases |
| US9633004B2 (en) | 2014-05-30 | 2017-04-25 | Apple Inc. | Better resolution when referencing to concepts |
| US9338493B2 (en) | 2014-06-30 | 2016-05-10 | Apple Inc. | Intelligent automated assistant for TV user interactions |
| US9818400B2 (en) | 2014-09-11 | 2017-11-14 | Apple Inc. | Method and apparatus for discovering trending terms in speech requests |
| US9668121B2 (en) | 2014-09-30 | 2017-05-30 | Apple Inc. | Social reminders |
| US10074360B2 (en) | 2014-09-30 | 2018-09-11 | Apple Inc. | Providing an indication of the suitability of speech recognition |
| US10127911B2 (en) | 2014-09-30 | 2018-11-13 | Apple Inc. | Speaker identification and unsupervised speaker adaptation techniques |
| US10152299B2 (en) | 2015-03-06 | 2018-12-11 | Apple Inc. | Reducing response latency of intelligent automated assistants |
| US9886953B2 (en) | 2015-03-08 | 2018-02-06 | Apple Inc. | Virtual assistant activation |
| US9721566B2 (en) | 2015-03-08 | 2017-08-01 | Apple Inc. | Competing devices responding to voice triggers |
| US10567477B2 (en) | 2015-03-08 | 2020-02-18 | Apple Inc. | Virtual assistant continuity |
| US10460227B2 (en) | 2015-05-15 | 2019-10-29 | Apple Inc. | Virtual assistant in a communication session |
| US10200824B2 (en) | 2015-05-27 | 2019-02-05 | Apple Inc. | Systems and methods for proactively identifying and surfacing relevant content on a touch-sensitive device |
| US9966073B2 (en) | 2015-05-27 | 2018-05-08 | Google Llc | Context-sensitive dynamic update of voice to text model in a voice-enabled electronic device |
| US10083688B2 (en) | 2015-05-27 | 2018-09-25 | Apple Inc. | Device voice control for selecting a displayed affordance |
| US10083697B2 (en) | 2015-05-27 | 2018-09-25 | Google Llc | Local persisting of data for selectively offline capable voice action in a voice-enabled electronic device |
| US9870196B2 (en) * | 2015-05-27 | 2018-01-16 | Google Llc | Selective aborting of online processing of voice inputs in a voice-enabled electronic device |
| US9578173B2 (en) | 2015-06-05 | 2017-02-21 | Apple Inc. | Virtual assistant aided communication with 3rd party service in a communication session |
| US11025565B2 (en) | 2015-06-07 | 2021-06-01 | Apple Inc. | Personalized prediction of responses for instant messaging |
| US20160378747A1 (en) | 2015-06-29 | 2016-12-29 | Apple Inc. | Virtual assistant for media playback |
| US10671428B2 (en) | 2015-09-08 | 2020-06-02 | Apple Inc. | Distributed personal assistant |
| US10331312B2 (en) | 2015-09-08 | 2019-06-25 | Apple Inc. | Intelligent automated assistant in a media environment |
| US10747498B2 (en) | 2015-09-08 | 2020-08-18 | Apple Inc. | Zero latency digital assistant |
| US10740384B2 (en) | 2015-09-08 | 2020-08-11 | Apple Inc. | Intelligent automated assistant for media search and playback |
| US10691473B2 (en) | 2015-11-06 | 2020-06-23 | Apple Inc. | Intelligent automated assistant in a messaging environment |
| US10956666B2 (en) | 2015-11-09 | 2021-03-23 | Apple Inc. | Unconventional virtual assistant interactions |
| US10049668B2 (en) | 2015-12-02 | 2018-08-14 | Apple Inc. | Applying neural network language models to weighted finite state transducers for automatic speech recognition |
| US10223066B2 (en) | 2015-12-23 | 2019-03-05 | Apple Inc. | Proactive assistance based on dialog communication between devices |
| US11227589B2 (en) | 2016-06-06 | 2022-01-18 | Apple Inc. | Intelligent list reading |
| US10049663B2 (en) | 2016-06-08 | 2018-08-14 | Apple, Inc. | Intelligent automated assistant for media exploration |
| DK179588B1 (en) | 2016-06-09 | 2019-02-22 | Apple Inc. | INTELLIGENT AUTOMATED ASSISTANT IN A HOME ENVIRONMENT |
| US10067938B2 (en) | 2016-06-10 | 2018-09-04 | Apple Inc. | Multilingual word prediction |
| US10586535B2 (en) | 2016-06-10 | 2020-03-10 | Apple Inc. | Intelligent digital assistant in a multi-tasking environment |
| DK179415B1 (en) | 2016-06-11 | 2018-06-14 | Apple Inc | Intelligent device arbitration and control |
| DK201670540A1 (en) | 2016-06-11 | 2018-01-08 | Apple Inc | Application integration with a digital assistant |
| US10474753B2 (en) | 2016-09-07 | 2019-11-12 | Apple Inc. | Language identification using recurrent neural networks |
| US10043516B2 (en) | 2016-09-23 | 2018-08-07 | Apple Inc. | Intelligent automated assistant |
| US11281993B2 (en) | 2016-12-05 | 2022-03-22 | Apple Inc. | Model and ensemble compression for metric learning |
| US10593346B2 (en) | 2016-12-22 | 2020-03-17 | Apple Inc. | Rank-reduced token representation for automatic speech recognition |
| US11204787B2 (en) | 2017-01-09 | 2021-12-21 | Apple Inc. | Application integration with a digital assistant |
| US10417266B2 (en) | 2017-05-09 | 2019-09-17 | Apple Inc. | Context-aware ranking of intelligent response suggestions |
| DK201770383A1 (en) | 2017-05-09 | 2018-12-14 | Apple Inc. | USER INTERFACE FOR CORRECTING RECOGNITION ERRORS |
| US10726832B2 (en) | 2017-05-11 | 2020-07-28 | Apple Inc. | Maintaining privacy of personal information |
| DK201770439A1 (en) | 2017-05-11 | 2018-12-13 | Apple Inc. | Offline personal assistant |
| DK180048B1 (en) | 2017-05-11 | 2020-02-04 | Apple Inc. | MAINTAINING THE DATA PROTECTION OF PERSONAL INFORMATION |
| US10395654B2 (en) | 2017-05-11 | 2019-08-27 | Apple Inc. | Text normalization based on a data-driven learning network |
| DK179496B1 (en) | 2017-05-12 | 2019-01-15 | Apple Inc. | USER-SPECIFIC Acoustic Models |
| DK179745B1 (en) | 2017-05-12 | 2019-05-01 | Apple Inc. | SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT |
| DK201770429A1 (en) | 2017-05-12 | 2018-12-14 | Apple Inc. | LOW-LATENCY INTELLIGENT AUTOMATED ASSISTANT |
| US11301477B2 (en) | 2017-05-12 | 2022-04-12 | Apple Inc. | Feedback analysis of a digital assistant |
| DK201770431A1 (en) | 2017-05-15 | 2018-12-20 | Apple Inc. | Optimizing dialogue policy decisions for digital assistants using implicit feedback |
| DK201770432A1 (en) | 2017-05-15 | 2018-12-21 | Apple Inc. | Hierarchical belief states for digital assistants |
| DK201770411A1 (en) | 2017-05-15 | 2018-12-20 | Apple Inc. | MULTI-MODAL INTERFACES |
| DK179549B1 (en) | 2017-05-16 | 2019-02-12 | Apple Inc. | FAR-FIELD EXTENSION FOR DIGITAL ASSISTANT SERVICES |
| US10303715B2 (en) | 2017-05-16 | 2019-05-28 | Apple Inc. | Intelligent automated assistant for media exploration |
| US20180336892A1 (en) | 2017-05-16 | 2018-11-22 | Apple Inc. | Detecting a trigger of a digital assistant |
| US10311144B2 (en) | 2017-05-16 | 2019-06-04 | Apple Inc. | Emoji word sense disambiguation |
| US10403278B2 (en) | 2017-05-16 | 2019-09-03 | Apple Inc. | Methods and systems for phonetic matching in digital assistant services |
| US10657328B2 (en) | 2017-06-02 | 2020-05-19 | Apple Inc. | Multi-task recurrent neural network architecture for efficient morphology handling in neural language modeling |
| US10599377B2 (en) | 2017-07-11 | 2020-03-24 | Roku, Inc. | Controlling visual indicators in an audio responsive electronic device, and capturing and providing audio using an API, by native and non-native computing devices and services |
| SG11201901419QA (en) * | 2017-08-02 | 2019-03-28 | Panasonic Ip Man Co Ltd | Information processing apparatus, speech recognition system, and information processing method |
| US10455322B2 (en) | 2017-08-18 | 2019-10-22 | Roku, Inc. | Remote control with presence sensor |
| US10777197B2 (en) | 2017-08-28 | 2020-09-15 | Roku, Inc. | Audio responsive device with play/stop and tell me something buttons |
| US11062702B2 (en) | 2017-08-28 | 2021-07-13 | Roku, Inc. | Media system with multiple digital assistants |
| US11062710B2 (en) * | 2017-08-28 | 2021-07-13 | Roku, Inc. | Local and cloud speech recognition |
| US10515637B1 (en) | 2017-09-19 | 2019-12-24 | Amazon Technologies, Inc. | Dynamic speech processing |
| US10445429B2 (en) | 2017-09-21 | 2019-10-15 | Apple Inc. | Natural language understanding using vocabularies with compressed serialized tries |
| US10755051B2 (en) | 2017-09-29 | 2020-08-25 | Apple Inc. | Rule-based natural language processing |
| US10636424B2 (en) | 2017-11-30 | 2020-04-28 | Apple Inc. | Multi-turn canned dialog |
| US10713007B2 (en) * | 2017-12-12 | 2020-07-14 | Amazon Technologies, Inc. | Architecture for a hub configured to control a second device while a connection to a remote system is unavailable |
| CN116898406A (zh) * | 2017-12-22 | 2023-10-20 | 瑞思迈传感器技术有限公司 | 用于运动感测的设备、***和方法 |
| US10733982B2 (en) | 2018-01-08 | 2020-08-04 | Apple Inc. | Multi-directional dialog |
| US10733375B2 (en) | 2018-01-31 | 2020-08-04 | Apple Inc. | Knowledge-based framework for improving natural language understanding |
| US11145298B2 (en) | 2018-02-13 | 2021-10-12 | Roku, Inc. | Trigger word detection with multiple digital assistants |
| US10789959B2 (en) | 2018-03-02 | 2020-09-29 | Apple Inc. | Training speaker recognition models for digital assistants |
| US10592604B2 (en) | 2018-03-12 | 2020-03-17 | Apple Inc. | Inverse text normalization for automatic speech recognition |
| US10984799B2 (en) * | 2018-03-23 | 2021-04-20 | Amazon Technologies, Inc. | Hybrid speech interface device |
| US10818288B2 (en) | 2018-03-26 | 2020-10-27 | Apple Inc. | Natural assistant interaction |
| US10909331B2 (en) | 2018-03-30 | 2021-02-02 | Apple Inc. | Implicit identification of translation payload with neural machine translation |
| US10928918B2 (en) | 2018-05-07 | 2021-02-23 | Apple Inc. | Raise to speak |
| US11145294B2 (en) | 2018-05-07 | 2021-10-12 | Apple Inc. | Intelligent automated assistant for delivering content from user experiences |
| US10984780B2 (en) | 2018-05-21 | 2021-04-20 | Apple Inc. | Global semantic word embeddings using bi-directional recurrent neural networks |
| DK180639B1 (en) | 2018-06-01 | 2021-11-04 | Apple Inc | DISABILITY OF ATTENTION-ATTENTIVE VIRTUAL ASSISTANT |
| US10892996B2 (en) | 2018-06-01 | 2021-01-12 | Apple Inc. | Variable latency device coordination |
| DK201870355A1 (en) | 2018-06-01 | 2019-12-16 | Apple Inc. | VIRTUAL ASSISTANT OPERATION IN MULTI-DEVICE ENVIRONMENTS |
| US11386266B2 (en) | 2018-06-01 | 2022-07-12 | Apple Inc. | Text correction |
| DK179822B1 (da) | 2018-06-01 | 2019-07-12 | Apple Inc. | Voice interaction at a primary device to access call functionality of a companion device |
| US10496705B1 (en) | 2018-06-03 | 2019-12-03 | Apple Inc. | Accelerated task performance |
| US11373645B1 (en) * | 2018-06-18 | 2022-06-28 | Amazon Technologies, Inc. | Updating personalized data on a speech interface device |
| JP7000268B2 (ja) | 2018-07-18 | 2022-01-19 | 株式会社東芝 | 情報処理装置、情報処理方法、およびプログラム |
| US11010561B2 (en) | 2018-09-27 | 2021-05-18 | Apple Inc. | Sentiment prediction from textual data |
| US11462215B2 (en) | 2018-09-28 | 2022-10-04 | Apple Inc. | Multi-modal inputs for voice commands |
| US11170166B2 (en) | 2018-09-28 | 2021-11-09 | Apple Inc. | Neural typographical error modeling via generative adversarial networks |
| US10839159B2 (en) | 2018-09-28 | 2020-11-17 | Apple Inc. | Named entity normalization in a spoken dialog system |
| US11475898B2 (en) | 2018-10-26 | 2022-10-18 | Apple Inc. | Low-latency multi-speaker speech recognition |
| WO2020096218A1 (en) * | 2018-11-05 | 2020-05-14 | Samsung Electronics Co., Ltd. | Electronic device and operation method thereof |
| US10885912B2 (en) | 2018-11-13 | 2021-01-05 | Motorola Solutions, Inc. | Methods and systems for providing a corrected voice command |
| US11638059B2 (en) | 2019-01-04 | 2023-04-25 | Apple Inc. | Content playback on multiple devices |
| US11348573B2 (en) | 2019-03-18 | 2022-05-31 | Apple Inc. | Multimodality in digital assistant systems |
| US11475884B2 (en) | 2019-05-06 | 2022-10-18 | Apple Inc. | Reducing digital assistant latency when a language is incorrectly determined |
| DK201970509A1 (en) | 2019-05-06 | 2021-01-15 | Apple Inc | Spoken notifications |
| US11307752B2 (en) | 2019-05-06 | 2022-04-19 | Apple Inc. | User configurable task triggers |
| US11423908B2 (en) | 2019-05-06 | 2022-08-23 | Apple Inc. | Interpreting spoken requests |
| US11140099B2 (en) | 2019-05-21 | 2021-10-05 | Apple Inc. | Providing message response suggestions |
| DK201970511A1 (en) | 2019-05-31 | 2021-02-15 | Apple Inc | Voice identification in digital assistant systems |
| US11289073B2 (en) | 2019-05-31 | 2022-03-29 | Apple Inc. | Device text to speech |
| US11496600B2 (en) | 2019-05-31 | 2022-11-08 | Apple Inc. | Remote execution of machine-learned models |
| DK180129B1 (en) | 2019-05-31 | 2020-06-02 | Apple Inc. | USER ACTIVITY SHORTCUT SUGGESTIONS |
| US11360641B2 (en) | 2019-06-01 | 2022-06-14 | Apple Inc. | Increasing the relevance of new available information |
| US11468890B2 (en) | 2019-06-01 | 2022-10-11 | Apple Inc. | Methods and user interfaces for voice-based control of electronic devices |
| US11488406B2 (en) | 2019-09-25 | 2022-11-01 | Apple Inc. | Text detection using global geometry estimators |
| JP7451033B2 (ja) | 2020-03-06 | 2024-03-18 | アルパイン株式会社 | データ処理システム |
| US11061543B1 (en) | 2020-05-11 | 2021-07-13 | Apple Inc. | Providing relevant data items based on context |
| US11043220B1 (en) | 2020-05-11 | 2021-06-22 | Apple Inc. | Digital assistant hardware abstraction |
| US11490204B2 (en) | 2020-07-20 | 2022-11-01 | Apple Inc. | Multi-device audio adjustment coordination |
| US11438683B2 (en) | 2020-07-21 | 2022-09-06 | Apple Inc. | User identification using headphones |
| WO2023287471A1 (en) * | 2021-07-15 | 2023-01-19 | Arris Enterprises Llc | Command services manager for secure sharing of commands to registered agents |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1652561A (zh) * | 2004-02-03 | 2005-08-10 | 三星电子株式会社 | 语音和数据集成交换***中的呼叫处理***和方法 |
| CN1728750A (zh) * | 2004-07-27 | 2006-02-01 | 邓里文 | 一种分组话音通信方法 |
| US20060109783A1 (en) * | 2002-08-16 | 2006-05-25 | Carl Schoeneberger | High availability VoIP subsystem |
| CN1947392A (zh) * | 2004-02-23 | 2007-04-11 | 诺基亚公司 | 用于对到接收者的通用接收者消息的通信进行分发和优先级排列的方法、设备和计算机程序产品 |
| US20070258418A1 (en) * | 2006-05-03 | 2007-11-08 | Sprint Spectrum L.P. | Method and system for controlling streaming of media to wireless communication devices |
| CN101246687A (zh) * | 2008-03-20 | 2008-08-20 | 北京航空航天大学 | 一种智能语音交互***及交互方法 |
| US20080240370A1 (en) * | 2007-04-02 | 2008-10-02 | Microsoft Corporation | Testing acoustic echo cancellation and interference in VoIP telephones |
| US20120179469A1 (en) * | 2011-01-07 | 2012-07-12 | Nuance Communication, Inc. | Configurable speech recognition system using multiple recognizers |
| CN102792294A (zh) * | 2009-11-10 | 2012-11-21 | 声钰科技 | 自然语言语音服务环境中的混合处理的***及方法 |
| JP2013064777A (ja) * | 2011-09-15 | 2013-04-11 | Ntt Docomo Inc | 端末装置、音声認識プログラム、音声認識方法および音声認識システム |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS58208799A (ja) * | 1982-05-28 | 1983-12-05 | トヨタ自動車株式会社 | 車両用音声認識方式 |
| WO2000058942A2 (en) * | 1999-03-26 | 2000-10-05 | Koninklijke Philips Electronics N.V. | Client-server speech recognition |
| JP2001005492A (ja) * | 1999-06-21 | 2001-01-12 | Matsushita Electric Ind Co Ltd | 音声認識方法および音声認識装置 |
| JP4483428B2 (ja) * | 2004-06-25 | 2010-06-16 | 日本電気株式会社 | 音声認識／合成システム、同期制御方法、同期制御プログラム、および同期制御装置 |
| JP5380777B2 (ja) * | 2007-02-21 | 2014-01-08 | ヤマハ株式会社 | 音声会議装置 |
| JP4925906B2 (ja) * | 2007-04-26 | 2012-05-09 | 株式会社日立製作所 | 制御装置、情報提供方法及び情報提供プログラム |
| US8364481B2 (en) * | 2008-07-02 | 2013-01-29 | Google Inc. | Speech recognition with parallel recognition tasks |
| US8019608B2 (en) * | 2008-08-29 | 2011-09-13 | Multimodal Technologies, Inc. | Distributed speech recognition using one way communication |
| US8676904B2 (en) * | 2008-10-02 | 2014-03-18 | Apple Inc. | Electronic devices with voice command and contextual data processing capabilities |
| JP5244663B2 (ja) * | 2009-03-18 | 2013-07-24 | Ｋｄｄｉ株式会社 | 音声によってテキストを入力する音声認識処理方法及びシステム |
| US20130085753A1 (en) * | 2011-09-30 | 2013-04-04 | Google Inc. | Hybrid Client/Server Speech Recognition In A Mobile Device |
| US9620122B2 (en) * | 2011-12-08 | 2017-04-11 | Lenovo (Singapore) Pte. Ltd | Hybrid speech recognition |
-
2014
- 2014-09-09 WO PCT/US2014/054700 patent/WO2015041892A1/en active Application Filing
- 2014-09-09 EP EP14846698.0A patent/EP3047481A4/en not_active Withdrawn
- 2014-09-09 JP JP2016543926A patent/JP2016531375A/ja active Pending
- 2014-09-09 CN CN201480050711.8A patent/CN105793923A/zh active Pending
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060109783A1 (en) * | 2002-08-16 | 2006-05-25 | Carl Schoeneberger | High availability VoIP subsystem |
| CN1652561A (zh) * | 2004-02-03 | 2005-08-10 | 三星电子株式会社 | 语音和数据集成交换***中的呼叫处理***和方法 |
| CN1947392A (zh) * | 2004-02-23 | 2007-04-11 | 诺基亚公司 | 用于对到接收者的通用接收者消息的通信进行分发和优先级排列的方法、设备和计算机程序产品 |
| CN1728750A (zh) * | 2004-07-27 | 2006-02-01 | 邓里文 | 一种分组话音通信方法 |
| US20070258418A1 (en) * | 2006-05-03 | 2007-11-08 | Sprint Spectrum L.P. | Method and system for controlling streaming of media to wireless communication devices |
| US20080240370A1 (en) * | 2007-04-02 | 2008-10-02 | Microsoft Corporation | Testing acoustic echo cancellation and interference in VoIP telephones |
| CN101246687A (zh) * | 2008-03-20 | 2008-08-20 | 北京航空航天大学 | 一种智能语音交互***及交互方法 |
| CN102792294A (zh) * | 2009-11-10 | 2012-11-21 | 声钰科技 | 自然语言语音服务环境中的混合处理的***及方法 |
| US20120179469A1 (en) * | 2011-01-07 | 2012-07-12 | Nuance Communication, Inc. | Configurable speech recognition system using multiple recognizers |
| JP2013064777A (ja) * | 2011-09-15 | 2013-04-11 | Ntt Docomo Inc | 端末装置、音声認識プログラム、音声認識方法および音声認識システム |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107146618A (zh) * | 2017-06-16 | 2017-09-08 | 北京云知声信息技术有限公司 | 语音处理方法及装置 |
| JP2019050554A (ja) * | 2017-07-05 | 2019-03-28 | バイドゥ オンライン ネットワーク テクノロジー（ペキン） カンパニー リミテッド | 音声サービスを提供するための方法および装置 |
| CN108320749A (zh) * | 2018-03-14 | 2018-07-24 | 百度在线网络技术（北京）有限公司 | 远场语音控制设备和远场语音控制*** |
| CN112334976A (zh) * | 2018-06-27 | 2021-02-05 | 谷歌有限责任公司 | 利用本地文本响应映射呈现对用户的口头话语的响应 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2015041892A1 (en) | 2015-03-26 |
| EP3047481A1 (en) | 2016-07-27 |
| JP2016531375A (ja) | 2016-10-06 |
| EP3047481A4 (en) | 2017-03-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105793923A (zh) | 本地和远程语音处理 | |
| US11922095B2 (en) | Device selection for providing a response | |
| US11875820B1 (en) | Context driven device arbitration | |
| US9672812B1 (en) | Qualifying trigger expressions in speech-based systems | |
| US11138977B1 (en) | Determining device groups | |
| JP6314219B2 (ja) | 自己生成ウェイク表現の検出 | |
| US9293134B1 (en) | Source-specific speech interactions | |
| EP3676828A1 (en) | Context-based device arbitration | |
| CN112201246B (zh) | 基于语音的智能控制方法、装置、电子设备及存储介质 | |
| US9799329B1 (en) | Removing recurring environmental sounds | |
| US9792901B1 (en) | Multiple-source speech dialog input | |
| US11862153B1 (en) | System for recognizing and responding to environmental noises | |
| KR20190096308A (ko) | 전자기기 | |
| JP2023553867A (ja) | ユーザ発話プロファイル管理 | |
| CN116417003A (zh) | 语音交互***、方法、电子设备和存储介质 | |
| KR20210042523A (ko) | 전자 장치 및 이의 제어 방법 | |
| US10923122B1 (en) | Pausing automatic speech recognition | |
| CN114999496A (zh) | 音频传输方法、控制设备及终端设备 | |
| KR20220125523A (ko) | 전자 장치 및 전자 장치에서 레코딩과 음성 입력을 처리하는 방법 | |
| US20240079007A1 (en) | System and method for detecting a wakeup command for a voice assistant | |
| US20220261218A1 (en) | Electronic device including speaker and microphone and method for operating the same | |
| US20230360650A1 (en) | Response orchestrator for natural language interface | |
| KR20220118109A (ko) | 스피커 및 마이크를 포함하는 전자 장치 및 그 동작 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20160720 |
|
| WD01 | Invention patent application deemed withdrawn after publication |