CN105027194A - 话语主题的识别 - Google Patents

话语主题的识别 Download PDF

Info

Publication number
CN105027194A
CN105027194A CN201380067309.6A CN201380067309A CN105027194A CN 105027194 A CN105027194 A CN 105027194A CN 201380067309 A CN201380067309 A CN 201380067309A CN 105027194 A CN105027194 A CN 105027194A
Authority
CN
China
Prior art keywords
audio frequency
user
project
identifier
client device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201380067309.6A
Other languages
English (en)
Other versions
CN105027194B (zh
Inventor
弗雷德·特勒克
弗雷德里克·约翰·乔治·德拉马
维克拉姆·库马尔·贡德蒂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Amazon Technologies Inc
Original Assignee
Amazon Technologies Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Amazon Technologies Inc filed Critical Amazon Technologies Inc
Publication of CN105027194A publication Critical patent/CN105027194A/zh
Application granted granted Critical
Publication of CN105027194B publication Critical patent/CN105027194B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L15/222—Barge in, i.e. overridable guidance for interrupting prompts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3344—Query execution using natural language analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G06F16/61—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G06F16/68—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/683—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/685—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using automatically derived transcript of audio data, e.g. lyrics
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/28—Constructional details of speech recognition systems
    • G10L15/30—Distributed recognition, e.g. in client-server systems, for mobile phones or network applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Library & Information Science (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Machine Translation (AREA)

Abstract

公开了用于产生音频呈现的元素或其他部分的标记的特征，以使得语音处理***可确定用户话语提到音频呈现的哪个部分。例如，话语可包括没有明确的前述词的代词。标记可用于使话语与用于处理的相应内容部分相关联。标记可被提供到具有文本到语音(“TTS”)呈现的客户端设备。标记可接着连同由客户端设备采撷的用户话语一起被提供到语音处理***。可包括自动语音识别(“ASR”)模块和/或自然语言理解(“NLU”)模块的语音处理***可基于标记来产生提示。提示可被提供到ASR和/或NLU模块，以便帮助处理用户话语的含义或意图。

Description

话语主题的识别
背景
语音识别***包括用于从用户接收语音输入、确定用户说了什么并确定用户意思是什么的各种模块和部件。在一些实现中，语音处理***包括接收用户话语的音频输入并产生话语的一个或多个可能的录音的自动语音识别(“ASR”)模块。语音处理***也可包括接收输入例如用户话语的录音并以可按照行事的方式例如通过计算机应用来确定输入的含义的自然语言理解(“NLU”)模块。例如，移动电话的用户可以讲口头命令以发起电话呼叫。口头命令的音频可由ASR模块录音，且NLU模块可从录音确定用户的意图(例如用户想要发起电话呼叫特征)并发起电话呼叫。
文本到语音(“TTS”)***使用有时被称为语音合成的流程将文本转换成声音。在一般实现中，TTS***可接收输入，例如文本和/或语音合成标记语言(“SSM”)数据，并向用户提供输入的音频呈现。例如，TTS***可配置来向用户“读”文本，例如电子邮件的文本或提醒的列表。
一些***合并语音识别和TTS。例如，全球定位***(“GPS”)可接收关于特定地址的用户的口头输入，产生用于行进到该地址的指示，并将指示听觉地呈现给用户。在很多情况下，用户可接着继续与这样的***交互，同时接收指示。在GPS***提供下一指示或指示系列之后，用户可使用任何数量的预定命令中的一个(例如，“取消路线”、“下一转弯”)。此外，其他非口头用户交互可用于与听觉地呈现的内容交互。例如，可经由允许用户选择的触摸屏显示器、经由触摸屏或键盘、要绕过的特定路线来显示逐个转弯指示。
附图简述
现在将参考下面的附图描述各种创造性特征的实施方案。在全部附图中，参考数字可再次用于指示在所提及的元件之间的对应性。附图被提供以示出本文所述的示例性实施方案且并不旨在限制本公开的范围。
图1是示出在语音服务、客户端设备和用户之间的说明***互的说明性联网环境的方框图，其中语音服务可被实现。
图2A是示出在音频呈现和标识符的产生期间在各种模块和数据存储器之间的交互的说明性语音服务的方框图。
图2B是示出在用户话语的处理期间在各种模块之间的交互的说明性语音服务的方框图。
图3是用于管理音频呈现的产生和传输并用于处理与音频呈现的交互的说明性流程的流程图。
图4是用于呈现所产生的音频呈现并用于传输关于音频呈现的部分的用户话语的说明性流程的流程图。
图5是用于处理可应用于多个活动音频呈现中的一个的话语的说明性流程的流程图。
详细描述
介绍
大体上来讲，本公开涉及促进与音频内容的口头用户交互。语音处理***可从口头话语确定录音和用户意图。用户可发出口头命令，且语音处理***可使用自动语音识别(“ASR”)和自然语言处理(“NLU”)***来确定用户想要做什么并自动执行相应的行动。然而，语音处理***解决模棱两可或识别回指词(例如代词)主题而不向用户提醒额外的信息可能很难。这在用户发出不遵循预定格式的口头命令时特别正确，该预定格式具体地识别该命令适用的主题。
例如，任务的列表可通过文本到语音(“TTS”)***呈现给用户。TTS***可通过合成语音来以音频格式输出文本内容。TTS***可使用诸如单元选择(其中所记录的语音的单元连接在一起)的技术和参数技术(其中参数模型和/或隐马尔可夫模型被使用)来合成语音。当特定的任务可听得见地呈现给用户时或在其后不久，用户可能希望将该任务标记为完成。在一些语音处理***中，在发出口头命令以将特定的任务标记为完成之前，用户可能被要求等待，直到任务或整个列表被呈现为止。在其他***中，用户可暂停或中断列表的呈现以发出命令。在这些和其他情况下，用户可能被要求具体地指示将要标记为完成的特定的任务。例如，用户可以说“将第二任务标记为完成”或“将‘支付帐单’标记为完成”。在又一些其他***中，用户可经由键入的或触摸屏输入将任务标记为完成，例如任务列表(或任何其他TTS输出的视觉表示)在列表的音频呈现期间呈现在显示器上的情况。
本公开的方面涉及产生音频呈现例如TTS呈现的元素或其他部分的标识符或其他标记。也被称为语音服务的语音处理***可使用标记来在用户发出口头命令或在播放期间产生一些其他话语时确定用户正提到呈现的哪个部分。标记可传输到具有TTS呈现的客户端设备。当客户端设备的用户在TTS播放期间发出口头命令时，正被播放的TTS呈现的特定元素或部分的标记可连同用户话语一起被提供到语音服务。以这种方式，语音服务可更容易确定口头命令的主题或焦点而不向用户提醒额外的信息。例如，在提醒的列表的音频呈现期间，对“支付帐单”的提醒可被呈现给用户。用户可以说“那一个完成了”。如果语音设备不知道哪个特定的提醒在用户说“那一个完成了”时正被呈现给用户，则语音服务可能不能够确定命令适用于哪个提醒。在这样的情况下，很多语音服务提醒用户指定用户正提到哪个提醒，或完全重新以语音服务可理解的格式发出命令。然而，通过在用户发出口头命令时给语音服务提供正被呈现的提醒的标记(例如“reminderID＝0002”或“提醒：支付帐单”)，语音服务可处理口头命令而不要求额外的信息。
虽然在本公开中描述的实施方案聚焦于标记的使用以指示列表中的项目，但是实施方案仅仅是说明性的且并不旨在做出限制。标记的使用可应用于音频呈现的任何部分。例如，当音频呈现是来自书(例如音频书)的章节而不是列表时，标记可提供用于解释用户话语并解析回指词的上下文。语音处理***可使语音标记与在音频书中提到的人物名字或地点相关联。作为另一实例，当音频呈现是商业新闻时，语音标记可与公司名称或股票报价相关联。语音处理***的部件可识别出该部分是列表项目还是一些其他类型的部分。然而，在一些实施方案中，语音处理***可能不知道与标记相关联的一部分是否是列表项目。
本公开的额外方面涉及在用户设备上目前可以是活动的几个应用或音频呈现当中确定当用户发出口头命令时用户正提到哪个应用或音频呈现。一些用户设备例如移动电话或平板计算机可配置来同时呈现多个音频节目(例如播放歌曲和文本内容项目的单独TTS呈现)。在这样的情况下，在当前呈现的多个音频项目中确定当用户发出口头命令时用户正提到哪个项目可能是必要的。例如，用户可能正使用移动设备来听音乐并同时执行其他任务，例如与提醒的列表交互。移动电话可在降低的音量下继续音乐的播放，同时也播放关于提醒的信息的TTS呈现。用户可发出口头命令，例如“买那首歌”。除了用户话语“买那首歌”以外，移动设备还可将数据传输到关于正播放的当前歌曲以及还有当用户发出口头命令时正呈现的当前提醒的语音服务。语音服务可接着从话语和关于在说话时在电话上活动的两个音频呈现的数据来确定话语提到歌曲并包括买歌曲的命令。如果用户替代地说“那一个完成了”，则语音服务可确定用户正提到提醒而不是歌曲。以这种方式，用户可使用口头命令来以自然方式与用户设备交互，同时处理多重任务，而不明确通知设备关于口头命令适用于哪个音频节目。
虽然在本公开中描述的实施方案的方面为了说明的目的将聚焦于经由网络与单独的客户端设备交换TTS音频、话语音频和标识符数据的语音服务，但是本领域中的技术人员将认识到，本文公开的技术可应用于任何数量的软件流程或应用。例如，客户端设备可包括语音识别引擎并提供用于处理用户话语并确定用户正提到那些部分或呈现的在本文所述的特征。作为另一实例，标识符可与非TTS音频(例如直播或录制的音频而不是合成语音)相关联。现在将关于旨在说明而不是限制本公开的某些实例和实施方案描述本公开的各种方面。
参考说明性实例，用户可向客户端设备例如移动电话或平板计算机发出口头命令或以其他方式产生口头话语。客户端设备可将关于用户的话语的数据传输到网络可访问的语音服务，其使用ASR模块来处理话语并录音用户说的话。语音服务可使用NLU模块来基于来自ASR模块的录音确定用户想要做出什么行动和可选地基于以前的用户交互或其他数据确定一个或多个提示。此外，语音服务可使用TTS模块来产生用户可消费或用户可使用来交互的合成语音。
说明性地，用户可向移动电话或其他客户端设备发出口头命令，例如“给我读我的任务列表”。客户端设备可经由蜂窝电话网络、互联网或一些其他网络将用户话语传输到语音服务。语音服务的ASR模块可接收用户话语的音频输入并输出录音“给我读我的任务列表”。NLU模块可接收录音并确定用户希望接收用户的任务列表的音频呈现。应用(例如任务列表应用)可用来检索或产生用户的任务列表。可创建包含或提及用户的任务列表的提示用于在随后的用户话语的处理期间由语音服务的各种模块使用。例如，提示可包括用户的任务列表的全文、可用于从数据存储器检索任务列表的任务列表的标识符、在数据存储器中的任务列表的指针等。这样的提示可帮助ASR模块、NLU模块和其他部件处理随后的用户话语，因为随后的用户话语可能适用于所请求的内容(在这种情况下，用户的任务列表)。
TTS模块可接着准备用户的任务列表的音频呈现。此外，关于列表的每个元素的数据可嵌入音频呈现中或与音频呈现相关联，以使得用户设备和语音服务可轻易地确定任务列表的哪个元素在给定的时间正被呈现。例如，标记(例如，包含标识符连同上下文信息的标记)可***指示列表的元素1的开始的数据流中，而第二标记可被***以指示元素1的末尾或元素2的开始，依次类推。在一些实施方案中，标记可包括在音频数据流中或以一些其他方式与元素相关联。例如，可为标记创建单独的数据流，且两个流(例如，一个流用于音频而第二流用于标记)可同步或以其他方式被交叉引用，以使得对应于音频流的特定部分的标记可轻易地被确定。
数据流(包括音频和标记)可传输到向用户呈现音频的客户端设备。当列表元素或音频的一些其他部分被呈现时，相应的标记可传输回到语音服务，以使得语音服务可知道哪个部分已被呈现、它们何时被呈现的等。例如，用户设备可建立或维持到语音服务的上游连接。当对应的音频部分被呈现时，对应于音频的部分的标记(例如，音频中的项目或元素的标识符)可传输到语音服务。在一些实施方案中，每个元素的呈现的开始时间和结束时间可与标记一起传输或除了标记以外也被传输。当在用户的任务列表的呈现期间的用户话语被用户讲出时，它们也可传输到语音服务。因为语音服务已接收到标记，所以它可基于关于元素的话语可能在元素被呈现的同时或在其后不久被接收到的假设来确定话语可能适用于哪个或哪些元素。因此，语音服务可更新以前创建的提示以包括最后接收的标记或可能指示话语适用的元素的标记。在一些实施方案中，定时信息，例如在用户话语的开始和每个标记的接收之间的时间的量，可包括在提示中。现在包括整个列表和标记的提示可被提供到NLU模块，以使得NLU模块可更准确地确定用户的意图。
例如，任务列表的前两个项目的音频可呈现给用户(例如，“到杂货店购物”、“支付帐单”)。当每个项目的标识符或其他标记(例如，“项目1”、“项目2”)被遇到时或当对应的元素在音频的播放期间由客户端设备的呈现模块呈现时，它们可传输到语音服务。在任务“支付帐单”的音频被呈现之后不久，用户可以说“那一个完成了”。在一些情况下当用户正讲话时，用户的话语的音频可传输到语音服务。在语音服务时，可为语音服务所接收的最后一个标识符更新或创建提示，该语音服务对应于在用户话语(在本实例中，“支付帐单”)之前或期间呈现的项目。使用用户话语的录音和包含任务列表和标识符“项目2”的提示，NLU模块可确定来自话语的短语“那一个”正提到任务列表(“支付帐单”)的第二项。此外，NLU模块可确定词“完成”指示任务已完成。作为结果，应用(例如任务列表应用)可被执行或使用以将用户的任务列表的第二项目标记为完成。
在一些情况下，用户可以提到多于一个元素，例如“将它们都标记为完成”或“前两个完成了”。使用提示，NLU可确定用户正提到哪个项目以及用户想要以与上面描述的方式类似的方式执行什么行动。例如，因为NLU从所产生的初始提示访问整个任务列表，NLU可确定哪个元素对应于“前两个”以及短语“完成了”意味着用户想要将前两个元素中的每个标记为完成。
语音服务可使特定元素的提示基于前面的元素的标识符，而不是当用户发出口头命令时正呈现的元素。例如，用户可以不发出口头命令来将项目标记为完成直到项目的TTS音频已完成播放之后和，在一些情况下，随后的项目的TTS音频开始之后。当例如项目的TTS音频相当短(例如，“支付帐单”)且用户没有时间来决定在下一项目的音频被播放之前是否发出口头命令时，这样的情形可发生。在这样的情况下，自从新标识符被遇到以来过去的时间的量可由客户端设备或由语音服务跟踪。如果用户在新标识符被遇到之后的一段阈值时间段(例如100ms、500ms等)内开始话语，语音服务可基于前面的标识符而不是最近遇到的标识符来产生提示。
在一些实施方案中，客户端设备不在客户端设备处的TTS呈现的整个播放中建立或维持到语音服务的上游音频连接。替代地，客户端设备只在有要发送的用户话语时才将数据传输回到语音服务。在这样的情况下，客户端设备可跟踪哪些标识符已被遇到以及它们何时被遇到的。客户端设备可接着在用户产生话语时将最近遇到的标识符和定时信息发送到语音服务。语音服务可接着仍然产生并使用关于标识符的提示。
在一些实施方案中，用户可消费一种类型的音频内容，同时也听其他内容的TTS呈现。例如，用户可以正在听歌曲，同时也正在听用户的电子邮件消息的TTS呈现。除了识别TTS呈现的特定消息的数据以外，客户端设备还可向语音服务传输识别正播放的特定歌曲的数据。当用户发出口头命令时，语音服务可创建多个提示或单个复合提示，指示在话语被讲出的时间在用户设备上活动的该两个音频节目。当语音服务的NLU模块处理用户的话语(例如，“这首歌的名称是什么？”)时，活动音频呈现中的每个可被考虑。在本实例中，NLU可确定话语与正被播放的歌曲相关，特别是也被呈现的电子邮件消息是否与音乐无关。如果用户的话语是“下一消息”，则NLU可确定话语与电子邮件而不是音乐的呈现有关，且应用可被执行以在适当时执行一个或多个行动(例如，检索下一消息并促使消息的TTS呈现被发送到用户设备)。
在一些实施方案中，如上所述，语音服务可在没有NLU模块或提示的帮助下处理用户话语。更确切地，应用或一些其他模块可在处理话语时使话语的部分与标记相关联。例如，ASR模块可返回具有嵌入式标记的结果(1最佳、N最佳或点阵)，嵌入式标记已被发送到具有TTS呈现的客户端设备并接着在用户讲话时返回到语音处理***。在这样的情况下，应用可在没有NLU模块的帮助下确定用户话语适用于TTS呈现的哪些部分。
分布式ASR***环境
在详细描述用于产生并使用音频内容标识符的流程的实施方案之前，将描述几个说明***互和示例环境，其中流程可被实现。图1示出在语音服务100、客户端设备102和用户200之间的说明***互。语音服务100可以是经由通信网络，例如蜂窝电话网络或互联网，与客户端设备102通信的网络可访问的***。用户200可使用客户端设备来得到信息并以其他方式消费内容。例如，如上所述，200可访问客户端设备102以听用户200的任务列表。
语音服务100可在(A)产生用户200的任务列表的TTS呈现。除了对应于在任务列表中的每个元素的合成语音之外，传输到客户端设备102的数据流也可包括通常列表的每个元素的标识符等。如在图1中所看到的，数据流可包括在合成语音的每个部分之间的标识符。例如，“开始元素1”和“结束元素1”标识符可围绕任务列表的元素1的音频。在一些情况下，不是都有开始和结束标识符，可以只有表示元素的开始、元素的结束或从一个元素到另一元素的转变的一个标识符。
在一些实施方案中，标识符可在同一数据流内或在单独的数据流中从音频单独地被传输。例如，可包括音频数据和元数据，例如Matroska、移动图片专家组-4部分14(“MP4”)或Ogg文件格式，的容器文件格式可用于传输音频数据和还有标识符数据作为单个数据流的单独部分。在这样的情况下，标识符数据可通过指针的使用与音频数据的特定部分、标识符适用于的时间段等相关联。作为另一实例，音频呈现可作为任何适当地格式化的音频流被传输，而标识符可在单独的物理或逻辑数据流中(例如，与音频并行地或与音频内一起被***)被传输，以使得客户端设备102可使每个标识符与音频流的对应部分相关联。在这样的情况下，标识符数据可显式地(例如，通过规定在标识符适用于的音频呈现内的特定时间段)或隐式地(例如通过合成传输)与音频呈现的特定部分相关联。
在一些实施方案中，音频呈现的单独元件可作为分立的传输而不是单个连续数据流的部分被传输。例如，任务列表的第一元素可作为与第二元素分离的单独音频传输而被传输，依此类推。在这样的情况下，标识符可使用上面描述的任何技术与音频数据一起或一道被传输。
客户端设备102可在(B)播放音频呈现。除了播放音频呈现以外，客户端设备102还可保存当前正被呈现的部分或元素的标识符，以使得如果用户话语被接收到，标识符可被传输到语音服务100。例如，音频呈现可包括任何数量的单独元素或其他部分，例如列表(例如，提醒、任务、消息、搜索结果等)。当每个元素被呈现且标识符被遇到时，标识符可被存储，以使得如果用户200发出语音命令标识符可传输到语音服务100。
用户200可在(C)发出口头命令，例如“那一个完成了”—如果任务或提醒的列表被呈现，“删除那一个”—如果消息或其他项目的列表被呈现，或“转到那一个”—如果搜索结果的列表被呈现。当接收到话语时，客户端设备102可在(D)访问所存储的标识符并传输用户话语和标识符(或多个标识符，如果多个标识符用于指示元素)。如在图1中所看到的，从客户端设备102到语音服务100的传输可包括最初从语音服务100接收的相同标识符和关于当元素被呈现时用户200所讲的用户话语的音频或其他数据。
在一些情况中，可建立或维持到语音服务100的上游连接，且当音频的对应部分被呈现时或当标识符被遇到时每个标识符(或其子集)可被传输到语音服务100。例如最初从语音服务100接收的每个标识符可在对应元素的呈现之前或期间返回到语音服务100。使用在图1中从语音服务100接收的示例性数据流，在用户200的话语被传输之前，在播放期间返回到语音服务100的数据流可包括“开始列表”、“开始元素1”、“结束元素1”和“开始元素2”标识符。
在(E)，语言服务100可处理从客户端设备102接收的数据以确定用户200说了什么、用户200想要发起什么命令或其他行动以及用户200在说话时正提到哪个元素。如下面更详细描述的，语音服务100可使用从客户端设备102返回的一个或多个标识符来产生NLU模块的提示。NLU模块可使用该提示，且在一些情况下也可使用其他提示，以便确定用户的意图。
现在转到图2A和2B，示出了包括客户端设备102、网络120和语音服务100的说明性网络环境。语音服务100可包括任何数量的模块和部件，例如配器104、TTS模块106、ASR模块108、NLU模块110、数据存储器112和一个或多个应用114。
客户端设备102可对应于各种各样的电子设备。在一些实施方案中，客户端设备102可以是移动设备，其包括一个或多个处理器和可包含由处理器执行的软件应用的存储器。客户端设备102可包括扬声器或用于呈现音频内容或促进音频内容的呈现的其他音频输出部件。此外，客户端设备102可包含麦克风或用于接受语音输入的其他音频输入部件，在所述音频输入部件上执行语音识别。说明性地，客户端设备102可以是移动电话、个人数字助理(“PDA”)、移动游戏设备、媒体播放器、电子书阅读器、平板计算机、膝上型计算机等。客户端设备102的软件可包括用于通过无线通信网络或直接使用其他计算设备建立通信的部件。
语音服务100可以是配置来经由通信网络进行通信的任何计算***。例如，语音服务100可包括任何数量的服务器计算设备、桌上型计算设备、大型计算机等。在一些实施方案中，语音服务100可包括物理地或逻辑地集中在一起的几个设备，例如配置来对话语执行语音识别的应用服务器计算设备和配置来存储记录和语音识别模型的数据库服务器计算设备。
在一些实施方案中，语音服务100可包括在单个设备上组合的各种模块和部件、单个模块或部件的多个实例等。例如，语音服务100可包括单独的配器104服务器、配置有TTS模块106的服务器或一组服务器、配置有ASR 108、NLU 110和应用114模块的服务器或一组服务器、以及配置来用作数据存储器112的服务器或一组服务器。在多设备实现中，语音服务100的各种设备可经由内部通信网络，例如被配置为局域网(“LAN”)或广域网(“WAN”)的公司或大学网络，进行通信。在一些情况下，语音服务100的设备可通过外部网络，例如互联网或内部和外部网络的组合，进行通信。
在一些实施方案中，由语音服务100提供的特征和服务可被实现为经由通信网络120可消费的web服务。在另外的实施方案中，语音服务100由在托管式计算环境中实现的一个或多个虚拟机提供。托管式计算环境可包括一个或多个快速提供和释放的计算资源，所述计算资源可包括计算、联网和/或存储设备。托管式计算环境也可被称为云计算环境。
网络120可以是可能由各种不同的方操作的链接网络的公共可访问的网络，例如互联网。在其他实施方案中，网络120可包括专用网络、个人区域网(“PAN”)、LAN、WAN、有线网络、卫星网络等或其一些组合，每个具有到和/或来自互联网的访问。例如，语音服务100的设备可位于单个数据中心内，并可经由如上所述的专用网络进行通信。客户端设备102可经由互联网与语音服务100通信。客户端设备102可经由有线或WiFi连接或经由蜂窝电话网络(例如，长期演进或LTE网络)来访问互联网。
参考图2A，如上所述，客户端设备102可请求内容的呈现。该请求可以是经由网络120传输到语音服务100的用户话语。配器104可将该请求按规定路线发送到ASR模块108以被处理成录音。录音可接着被提供到NLU模块110以确定请求的细节并执行或以其他方式利用应用114来满足请求。在一些实施方案中，语音服务100可包括多个应用114，例如管理用户任务列表的应用、管理用户提醒的单独应用、管理产品的购物搜索的单独应用等。可基于由NLU模块110确定的用户意图来选择请求的适当应用114。例如，如果已请求用户来听用户的任务列表，则可执行任务列表应用114。
应用114或配器104可产生包括或提及所请求的内容的提示，以使得可参考在话语被产生的时间呈现的内容来处理未来的话语。应用114可从数据存储器112检索所请求的内容，并经由配器104利用TTS模块106来产生内容的音频呈现。TTS模块106、配器104或语音服务100的一些其他模块或部件也可产生或得到音频呈现的各种部分或元素的标识符，并准备到包括音频和标识符的客户端设备102的传输。
现在参考图2B，客户端设备102可向用户呈现内容。客户端设备102可建立或维持回到语音服务100的开放连接，以使得当用户产生话语时，话语可被立即传输到语音服务100，而没有通常与连接的建立相关联的延迟。在一些实施方式中，由客户端设备102采撷的数据的实质上实时的流可被传输到语音服务100，以使得客户端设备102不需要确定用户何时正发出口头命令或其他话语。除了音频以外，当标识符在从语音服务100接收的数据流中被遇到时或当音频的相应元素或部分被呈现给用户时，它们可被传输到语音服务100。
客户端设备102的用户可发出被传输到语音服务100的口头命令连同当话语被产生时在客户端设备102上呈现的元素或部分的标识符。语音服务100可从客户端设备102接收标识符和包含用户话语的音频。配器104可基于标识符中的一个或多个，例如在接收到包含用户话语的音频之前接收到的最近的标识符，来准备提示。例如，配器104可更新结合音频呈现的产生而准备的提示，如上所述。话语和提示可被提供到ASR模块108用于处理成录音。ASR模块108可使用提示来使它的搜索空间变窄，关于搜索空间的词可包括在话语中，因为该话语包括与在该话语产生时呈现给用户的内容类似或以其他方式相关的语言的可能性会增加。
由ASR产生的录音(或可能的录音的N最佳列表或ASR结果的点阵)可接着连同提示一起被提供到NLU模块110。话语的录音可包括代词和其他回指词而没有相应的前述词。NLU模块110确定正被提到的主题或对象可能很难。通过使用提示，NLU模块110可访问特定的内容项目和当用户产生话语时呈现给用户的具体元素或部分。因此，NLU模块110可以以极大的置信度确定话语的主题并相应地处理话语以确定用户的意图。基于如NLU模块110所确定的用户意图，适当的应用114可被执行或利用以产生对话语的响应或执行一些行动。
用于管理标识符的产生和使用的流程
现在参考图3，将描述用于管理标识符的产生和使用以便从话语确定用户意图的范例流程300。有利地，语音服务100可使用流程300来使标识符与音频内容的元素或其他部分相关联。语音服务100可接着使用那些标识符来确定当用户在音频内容的播放期间提交话语时用户正提到哪个元素或内容部分。
流程300在方框302开始。当语音识别会话发起时，流程300可自动开始。流程300可体现在存储在语音服务100，例如配器104，的计算***的计算机可读介质，例如一个或多个磁盘驱动器，上的一组可执行程序指令中。当流程300被发起时，可执行程序指令可被装入存储器，例如RAM，中，并由计算***的一个或多个处理器执行。
在方框304，语音服务100可从客户端设备102接收请求。如上所述，请求可以是用于播放内容，例如任务列表、消息收件箱等，的口头命令。在方框306，语音服务100可响应于请求和用于与该请求相关的进一步处理的提示来产生文本。例如，ASR模块108可产生口头命令的可能录音的N最佳列表，且NLU模块110可从可能的录音确定用户的意图。基于用户的意图，应用114可响应于请求(例如，项目的列表)和用于与该请求相关的进一步处理的提示来产生音频呈现的文本。提示可包括或提到所请求的内容。例如，如果请求是针对用户的提醒的列表，则可产生指示用户的提醒正被呈现的提示，且在一些情况下，提示可包括提醒列表或关于列表的数据。
在方框308，TTS模块106可从文本产生音频呈现用于在客户端设备102上播放。此外，TTS模块106或语音服务100的一些其他部件可产生对应于单独的元素、项目或响应的其他部分的标识符。在一些实施方案中，可从语音服务100分离的应用或其他模块或部件可产生在流程300中使用的标识符或其他标记。
在方框310，配器104可将TTS呈现和标识符传输到客户端设备102。标识符可嵌入在单个数据流中的TTS呈现的音频中(例如，以容器文件或流格式与音频包括在一起)或与响应的音频部分并行地传输。
在决策方框312，配器104可确定话语是否从客户端设备102被接收到。如果没有接收到，则流程300可继续进行到方框314，其中配器104等待接收来自客户端设备102的话语。在一些情况下，关于标识符的数据可被接收作为在客户端设备102上在播放期间被遇到或呈现的标识符或相应的响应部分。响应于接收到来自客户端设备102的话语，流程300可继续进行到方框316。
在方框316，配器104(或一些其他部件)可，例如通过包括与用户话语一起接收的标识符、紧接着在用户话语之前等，更新对当前请求的提示。例如，元素“2”的标识符可由配器104接收，后面是元素“3”的标识符，且其后不久(例如，250ms以后)是用户话语。如果在随后的标识符(元素“3”)和话语的接收之间的时间段在阈值内，配器104可产生并更新指示话语可能适用于元素“2”的提示。在这种情况下，如果阈值小于250ms，则配器104可产生指示元素“2”是话语最可能适用于的元素的提示。然而，如果阈值大于250ms，则配器104可产生指示话语最可能适用于元素“3”的提示。在一些情况下，提示可指示这两个元素和/或包括关于最后一个标识符或每个标识符被接收的时间的数据，以使得NLU模块110可选择最可能的元素。在一些情况下，提示可指示内容项目的所有元素，到现在为止这些元素的标识符已被接收到。在一些情况下，配器104或语音服务100的一些其他部件可能无法确定话语适用于的元素或内容部分。在这样的情况下，提醒可产生并传输给用户以请求澄清。
可经由计划性流程呼叫(例如，作为辩论)、经由在流程中传递的消息、经由存储在数据存储器112中并从数据存储器112检索的数据或用于在模块当中或在多设备实现中在设备当中传输数据的任何其他适当的手段将提示提供到语音服务100的各种模块。
在方框318，ASR模块108可得到话语音频并可使用提示来产生话语的录音或录音的N最佳列表。如上所述，提示的使用可帮助使ASR模块108的搜索空间变窄，允许它提供更快和/或更准确的录音。
在方框320，NLU模块110可使用提示来确定用户的话语的含义。例如，用户可已经发出口头命令以添加、编辑或删除列表元素，将任务或提醒标记为完成，购买在产品搜索中返回的项目等等。然而，话语可以不具体地指示命令适用于哪个元素。使用提示，NLU模块110可分析在用户发出口头命令时或刚好之前呈现的特定元素。如果命令在特定元素的上下文中有意义(例如，在产品被呈现时“购买那个”命令被发出)，则NLU模块110可基于特定的元素来确定用户的意图。
基于如NLU模块110所确定的用户意图，应用114可在方框322被执行或利用以产生响应或执行行动。如果用户意图在特定元素的上下文中没有意义(例如，NLU模块110确定用户意图是购买产品，但是“支付帐单”提醒被呈现)，则配器104或应用114可产生澄清的提醒或促使澄清的提醒产生并传输到客户端设备102。
如上所述，在一些情况下，话语可适用于音频呈现的多于一个元素或部分。例如，当被呈现有歌曲的播放列表时，用户可发出口头命令以“买前两个”或“买它们全部”。在这样的情况下，关于所呈现的最后一个项目的提示可以比在方框306中产生的关于作为整体的内容的提示更不重要。因为这两个提示都可被提供到NLU模块110，NLU模块110仍然可确定要采取的适当行动。例如，“都买它们全部”在关于单个歌曲标题的元素提示的上下文中将没有意义。在这样的情况下，NLU模块110可接着分析内容提示以确定命令是否是可行动的。在本实例中，如果内容提示指示歌曲标题的播放列表，则命令可能确实是可行动的，而不要求来自用户的额外信息。应用114可接着得到在播放列表中的每个歌曲标题，并开始购买在播放列表中的歌曲的流程。
用于传输话语和标识符的流程
现在转到图4，将描述用于呈现音频内容并处理用户与客户端设备102上的内容的交互的范例流程400。有利地，流程400可用于解析或以其他方式得到来自在客户端设备102接收的数据的标识符，并将适用于当前正呈现的内容的部分的标识符传输到语音服务100。当用户话语被接收到时，它可传输到语音服务100，以使得语音服务100可确定当用户话语被接收到时内容的哪个部分或元素被呈现。
流程400在方框402开始。流程400可在客户端设备102加电时或在用户发起流程400时，例如通过发出口头命令，来自动开始。流程400可体现在存储在客户端设备102的计算机可读介质，例如一个或多个磁盘驱动器，上的一组可执行程序指令中。当流程400被发起时，可执行程序指令可被装入存储器，例如RAM，中并由计算***的一个或多个处理器执行。
在方框404，客户端设备102可将从用户接收的话语传输到语音服务100。在一个实例中，话语可包括口头命令以得到内容的TTS呈现。在方框406，可接收所请求的音频内容。除了音频内容以外，也可接收关于内容的元素或其他部分的标识符。如上所述，标识符可与音频一起包括在单个数据流中，或它们可被单独地接收。在一些实施方案中，内容项目在没有用户的口头请求的情况下被接收。例如，用户可使用触摸屏或键入的输入来请求内容。作为另一实例，提醒可被自动传输到客户端设备而没有任何用户交互。
在方框408，客户端设备102可播放所接收的音频。在实质上相同的时间或不久之前或其后，客户端设备102可开始将音频流传输回到语音服务100。在音频呈现在客户端设备102上呈现的大约相同的时间回到语音服务100的音频流的发起可允许用户话语实质上实时地传输到语音服务100，而没有与打开连接或以其他方式发起音频到语音服务100的传送相关联的开销或延迟。
在决策方框410，客户端设备102可确定正播放的音频的元素或部分是否对应于标识符或与标识符相关联。如果是，则流程400可继续进行到方框412，其中客户端设备102将标识符传输到语音服务100。在一些情况下，客户端设备102不传输标识符，除非话语被接收到。在这样的情况下，标识符可被临时存储(例如，在应用可变或临时数据存储器中)，直到话语被接收到或另一标识符被遇到为止。
如果没有遇到标识符，则流程400继续进行到决策方框414。在决策方框414，客户端设备102可确定音频的播放是否完成。如果没有完成，则流程400可返回到方框408，其中播放继续。如果播放已完成，则流程400可终止。
用于识别话语适用于的音频的流程
图5示出用于在话语可适用于多个活动的音频呈现中的一个时处理从客户端设备102接收的用户话语的范例流程500。有利地，流程500可用于处理关于在客户端设备102上活动的多个音频呈现的数据并产生关于音频呈现的提示。NLU模块110或语音服务100的一些其他模块或部件可根据提示来处理话语，并当用户产生话语时确定用户打算使口头命令或其他口头交互适用于哪个音频呈现。
流程500在方框502开始。流程500可在语音识别会话通过客户端设备102发起时或在从客户端设备102接收到话语时自动开始。流程500可体现在存储在与语音服务100相关联的计算设备的计算机可读介质，例如一个或多个磁盘驱动器，上的一组可执行程序指令中。当流程500被发起时，可执行程序指令可装入存储器，例如RAM，中并由计算***的一个或多个处理器执行。
在方框504，语音服务100可从客户端设备102接收用户话语(或关于话语的数据)。此外，语音服务100可在话语被产生时接收关于在客户端设备102上活动的视频呈现的数据。例如，客户端设备102可正在播放音乐并且也可同时正在播放TTS呈现。用户话语可适用于任一个音频呈现。为了促进确定话语适用于哪个音频呈现，客户端设备102可将关于每个音频呈现的数据传输到SR服务器100。如上面更详细描述的，数据可包括与音频呈现中的一个或多个的部分或元素相关联的标识符。在这样的情况下，数据也可指示标识符适用于哪个呈现。可替代地，数据整体上可包括识别音频呈现的一般数据。
在一些实施方案中，SR服务器100可能知道哪些音频呈现当前在客户端设备102上是活动的，而不从客户端设备102接收数据。例如，如果用户通过向语音服务100发出口头命令来发起音频呈现(例如，音乐和TTS呈现)中的任一个或两个，则语音服务100可维持识别用户发起的音频呈现的数据。
在方框506，配器104或语音服务100的一些其他模块或部件可从关于活动呈现的数据产生一个或多个提示，类似于上面描述的提示的产生。在方框508，话语和提示可被提供到ASR模块106，其处理话语以产生录音或可能的录音的点阵或N最佳列表。
在方框510，NLU模块110可识别或以其他方式确定话语适用于的活动呈现。例如，录音可指示用户说“买那首歌”。如果在方框506产生或以其他方式提供到NLU模块110的提示指示在客户端设备102上活动的音频呈现包括歌曲的播放和TTS呈现(例如，任务列表)的播放，则NLU模块110可确定用户打算按照歌曲的音频呈现来行事。NLU模块110可接着进一步检查提示以当用户产生话语时得到关于哪首歌正被播放的标识符。然而，如果在方框506产生的提示替代地指示音频呈现包括歌曲的播放和关于从搜索返回的歌曲的列表的TTS呈现的播放，则NLU模块110可能要求额外的信息，以便完成话语的处理。在这样的情况下，语音服务100可向用户产生关于用户正提到哪个呈现或歌曲的提醒。
在方框510，应用114可基于提示和由NLU模块110进行的用户话语的处理来执行行动或产生响应。返回到歌曲实例，应用114可促使购买歌曲的行动的执行。
术语
根据实施方案，本文描述的任何流程或算法的某些行动、事件或功能可以按不同的顺序被执行，可一起被添加、合并或省略(例如，不是所有描述的操作或事件都对算法的实施是必要的)。而且，在某些实施方案中，操作或事件可被并行地执行，例如通过多线程处理、中断处理或多个处理器或处理器核心或在其他并行结构上而不是连续地。
关于本文公开的实施方案描述的各种说明性逻辑块、模块、例程和算法可被实现为电子硬件、计算机软件或这两者的组合。为了清楚地说明硬件和软件的这个可互换性，各种说明性部件、块、模块和步骤在上面通常从其功能方面被描述。这样的功能是被实现为硬件还是软件取决于在总***上强加的特定的应用和设计约束。可对每个特定的应用以各种方式来实现所描述的功能，但这样的实现决策不应被解释为促使从本公开的范围偏离。
关于本文公开的实施方案描述的方法、流程、例程或算法的步骤可直接体现在硬件中、在处理器所执行的软件模块中或在这两者的组合中。软件模块可存在于RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移动盘、CD-ROM或非暂时性计算机可读存储介质的任何其他形式中。示例性存储介质可耦合到处理器，以使得处理器可从存储介质读取信息并将信息写到存储介质。可替代地，存储介质可与处理器成一整体。处理器和存储介质可存在于ASIC中。ASIC可存在于用户终端中。可替代地，处理器和存储介质可作为分立部件存在于用户终端中。
在本文使用的条件语言例如尤其是“can(可以)”、“could(可以)”、“might(可以)”、“may(可以)”、“例如”—除非另外特别规定或在如所使用的上下文内另外理解—通常旨在传达某些实施方案包括—虽然其他实施方案不包括—某些特征、元件和/或步骤。因此，这样的条件语言通常并不旨在暗示特征、元件和/或步骤无论如何是一个或多个实施方案所需的或一个或多个实施方式必须包括用于在有或没有作者输入或提醒的情况下决定这些特征、元素和/或步骤在任何特定的实施方案中是否被包括或将被执行的逻辑。术语“comprising(包括)”、“including(包括)”、“具有”等是同义的并可以包括端点地以开放的方式被使用，且不排除额外的元件、特征、行动、操作等。此外，术语“或”在其包括端点的意义上(而不是在其排除的意义上)被使用，以使得在被使用时例如连接元件的列表，术语“或”意味着列表中的一个、一些或所有元件。
条件语言例如短语“X、Y和Z中的至少一个”，除非另外特别规定，应以如通常使用的上下文被理解为传达项目、术语等可以是X、Y或Z或其组合。因此，这样的条件语言通常并不意欲暗示某些实施方案需要至少一个X、至少一个Y和至少一个Z每个都存在。
虽然上面详述的描述示出、描述并指出如应用于各种实施方案的新颖特征，可理解，在所示设备或算法的形式和细节中的各种省略、替换和改变可被做出而不偏离本公开的精神。如可认识到的，本文描述的发明的某些实施方案可体现在不提供如本文所阐述的所有特征和益处的形式内，因为一些特征可与其他特征分开地被使用或实施。本文公开的某些发明的范围由所附权利要求而不是由前述描述指示。出现在权利要求的等效形式的意义和范围内的所有变化应包括在其范围内。
条款：
1.一种***，其包括：
计算机可读存储器，其存储可执行指令：以及
与所述计算机可读存储器通信的一个或多个处理器，其中所述一个或多个处理器由所述可执行指令编程以至少：
产生将呈现给用户的文本，其中所述文本包括一序列项目；
使用所述文本产生音频呈现；
使多个标识符与所述序列项目相关联，其中所述序列项目中的每个项目与所述多个标识符中的至少一个标识符相关联；
向客户端设备传输所述音频呈现和所述多个标识符；
从所述客户端设备接收：
包括用户话语的音频数据；以及
所述多个标识符中的第一标识符；
对所述用户话语执行语音识别以得到语音识别结果；
至少部分地基于所述第一标识符和所述语音识别结果来识别所述序列项目中的第一项目；以及
至少部分地基于所述第一项目来执行行动。
2.如条款1所述的***，其中所述序列项目包括一序列提醒、在任务列表上的一序列项目或可用于购买的一序列项目。
3.如条款1所述的***，其中所述第一标识符和所述音频数据在单个数据传输中被接收到。
4.如条款1所述的***，其中所述一个或多个处理器进一步由所述可执行指令编程以：
使用所述序列项目产生提示；以及
使用所述提示识别所述第一项目。
5.如条款1所述的***，其中所述一个或多个处理器进一步由所述可执行指令编程以至少：
从所述客户端设备接收关于正在所述客户端设备上呈现的第二音频呈现的信息；以及
使用所述信息识别所述第一项目。
6.一种计算机实现的方法，其包括：
在配置有具体的计算机可执行指令的一个或多个计算设备的控制下，
向客户端设备传输：
包括第一部分和第二部分的音频呈现，其中所述第一部分对应于第一项目，而所述第二部分对应于第二项目；
对应于所述第一项目的第一标记；以及
对应于所述第二项目的第二标记；
从所述客户端设备接收：
包括用户话语的音频数据；以及
包括所述第一标记或所述第二标记的标记数据；以及
至少基于所述标记数据或所述音频数据来选择项目，其中所选择的项目包括所述第一项目或所述第二项目。
7.如条款6所述的计算机实现的方法，其中所述标记数据包括所述第二标记，所述计算机实现的方法还包括：
确定在所述第二部分的呈现被发起的第一时间和所述用户话语被发起的第二时间之间的时间的量。
8.如条款7所述的计算机实现的方法，其中所述时间的量小于预定阈值，且其中识别相关的部分包括至少部分地基于所述时间的量来识别所述第一部分。
9.如条款7所述的计算机实现的方法，其中所述时间的量超过预定阈值，且其中识别相关的部分包括至少部分地基于所述时间的量来识别所述第二部分。
10.如条款6所述的计算机实现的方法，其中所述标记数据还包括对应于所述音频呈现的第一呈现标识符和对应于当所述用户话语被发起时正在所述客户端设备上呈现的第二音频呈现的第二呈现标识符。
11.如条款10所述的计算机实现的方法，其还包括：
至少部分地基于所述标记数据和所述用户话语来确定所述用户话语与所述音频呈现相关。
12.如条款6所述的计算机实现的方法，其中所述音频呈现在第一数据流中被传输，且所述第一标记和第二标记在所述第一数据流或第二数据流中的一个中被传输。
13.如条款6所述的计算机实现的方法，其中所述第一部分和所述第二部分在单独的传输中被传输。
14.如条款6所述的计算机实现的方法，其中所述标记数据指示当所述话语被发起时所述音频呈现的哪个部分正呈现在所述客户端设备上。
15.如条款6所述的计算机实现的方法，其还包括：
至少部分地基于所选择的项目来执行行动。
16.一种包括可执行代码的非暂时性计算机可读介质，所述可执行代码在由处理器执行时促使计算设备执行包括下列各项的流程：
向客户端设备传输：
包括第一部分和第二部分的音频呈现，其中所述第一部分对应于第一项目，而所述第二部分对应于第二项目；
对应于所述第一项目的第一标记；以及
对应于所述第二项目的第二标记；
从所述客户端设备接收：
包括用户话语的音频数据；以及
包括所述第一标记或所述第二标记的标记数据；以及
至少基于所述标记数据或所述音频数据来选择项目，其中所选择的项目包括所述第一项目或所述第二项目。
17.如条款16所述的非暂时性计算机可读介质，其中所述标记数据和所述音频数据在单个数据流中被接收。
18.如条款16所述的非暂时性计算机可读介质，其中所述标记数据和所述音频数据在单独的数据传输中被接收。
19.如条款16所述的非暂时性计算机可读介质，所述流程还包括：
使用所述第一项目和所述第二项目产生提示；以及
使用所述提示选择可应用的项目。
20.如条款16所述的非暂时性计算机可读介质，所述流程还包括：
使用所述标记数据产生提示；以及
使用所述提示选择所述可应用的项目。
21.如条款16所述的非暂时性计算机可读介质，所述流程还包括：
从所述客户端设备接收关于正呈现在所述客户端设备上的第二音频呈现的信息；以及
使用所述信息选择所述可应用的项目。
22.如条款16所述的非暂时性计算机可读介质，其中所述音频呈现在第一数据流中被传输，且所述第一标记和第二标记在所述第一数据流或第二数据流中的一个中被传输。
23.如条款16所述的非暂时性计算机可读介质，其中所述标记数据指示当话语被发起时所述音频呈现的哪个部分正呈现在所述客户端设备上。
24.如条款16所述的非暂时性计算机可读介质，所述流程还包括：
至少部分地基于所选择的项目来执行行动。
25.一种包括可执行代码的非暂时性计算机可读介质，所述可执行代码在由处理器执行时促使计算设备执行包括下列各项的流程：
从语音处理***接收：
包括对应于第一项目的第一部分和对应于第二项目的第二部分的音频呈现；
对应于所述第一项目的第一标记；以及
对应于所述第二项目的第二标记；
呈现所述音频呈现；以及
向所述语音处理***传输：
经由所述计算设备的音频输入部件接收的音频数据；以及
包括所述第一标记或所述第二标记中的至少一个的标记数据。
26.如条款25所述的非暂时性计算机可读介质，其中所述音频呈现在第一数据流中被接收，且所述第一标记和第二标记在所述第一数据流或第二数据流中的一个中被接收。
27.如条款25所述的非暂时性计算机可读介质，其中所述标记数据和所述音频数据在单个数据流中被传输。
28.如条款25所述的非暂时性计算机可读介质，其中所述标记数据和所述音频数据在单独的数据传输中被传输。
29.如条款25所述的非暂时性计算机可读介质，所述流程还包括：
实质上与呈现所述音频呈现同时向所述音频处理***发起数据流，所述数据流包括所述音频数据。
30.如条款25所述的非暂时性计算机可读介质，其中所述标记数据包括所述第一标记，且其中所述标记数据实质上与所述第一项目的呈现同时被传输。
31.如条款25所述的非暂时性计算机可读介质，所述流程还包括：
实质上与所述音频呈现的呈现同时呈现第二音频呈现；以及
向所述语音处理***传输对应于所述音频呈现的第一呈现标识符和对应于第二音频呈现的第二呈现标识符。
32.如条款25所述的非暂时性计算机可读介质，其中所述第一标记包括第一标识符，而所述第二标记包括第二标识符。

Claims (15)

1.一种***，其包括：
计算机可读存储器，其存储可执行指令：以及
与所述计算机可读存储器通信的一个或多个处理器，其中所述一个或多个处理器由所述可执行指令编程以至少：
产生将呈现给用户的文本，其中所述文本包括一序列项目；
使用所述文本产生音频呈现；
使多个标识符与所述序列项目相关联，其中所述序列项目中的每个项目与所述多个标识符中的至少一个标识符相关联；
向客户端设备传输所述音频呈现和所述多个标识符；
从所述客户端设备接收：
包括用户话语的音频数据；以及
所述多个标识符中的第一标识符；
对所述用户话语执行语音识别以得到语音识别结果；
至少部分地基于所述第一标识符和所述语音识别结果来识别所述序列项目中的第一项目；以及
至少部分地基于所述第一项目来执行行动。
2.如权利要求1所述的***，其中所述序列项目包括一序列提醒、在任务列表上的一序列项目或可用于购买的一序列项目。
3.如权利要求1所述的***，其中所述一个或多个处理器进一步由所述可执行指令编程以：
使用所述序列项目产生提示；以及
使用所述提示识别所述第一项目。
4.如权利要求1所述的***，其中所述一个或多个处理器进一步由所述可执行指令编程以至少：
从所述客户端设备接收关于正在所述客户端设备上呈现的第二音频呈现的信息；以及
使用所述信息识别所述第一项目。
5.一种计算机实现的方法，其包括：
在配置有具体的计算机可执行指令的一个或多个计算设备的控制下，
向客户端设备传输：
包括第一部分和第二部分的音频呈现，其中所述第一部分对应于第一项目，而所述第二部分对应于第二项目；
对应于所述第一项目的第一标记；以及
对应于所述第二项目的第二标记；
从所述客户端设备接收：
包括用户话语的音频数据；以及
包括所述第一标记或所述第二标记的标记数据；以及
至少基于所述标记数据或所述音频数据来选择项目，其中所选择的项目包括所述第一项目或所述第二项目。
6.如权利要求5所述的计算机实现的方法，其中所述标记数据包括所述第二标记，所述计算机实现的方法还包括：
确定在所述第二部分的呈现被发起的第一时间和所述用户话语被发起的第二时间之间的时间的量。
7.如权利要求5所述的计算机实现的方法，其中所述标记数据还包括对应于所述音频呈现的第一呈现标识符和对应于当所述用户话语被发起时正在所述客户端设备上呈现的第二音频呈现的第二呈现标识符。
8.如权利要求6所述的计算机实现的方法，其还包括：
至少部分地基于所述标记数据和所述用户话语来确定所述用户话语与所述音频呈现相关。
9.如权利要求5所述的计算机实现的方法，其中所述音频呈现在第一数据流中被传输，且所述第一标记和第二标记在所述第一数据流或第二数据流中的一个中被传输。
10.如权利要求5所述的计算机实现的方法，其中所述标记数据指示当所述话语被发起时所述音频呈现的哪个部分正呈现在所述客户端设备上。
11.一种包括非暂时性计算机可读介质的计算设备，所述非暂时性计算机可读介质包括可执行代码，所述可执行代码在由所述计算设备的处理器执行时促使所述计算设备执行包括下列各项的流程：
从语音处理***接收：
包括对应于第一项目的第一部分和对应于第二项目的第二部分的音频呈现；
对应于所述第一项目的第一标记；以及
对应于所述第二项目的第二标记；
呈现所述音频呈现；以及
向所述语音处理***传输：
经由所述计算设备的音频输入部件接收的音频数据；以及
包括所述第一标记或所述第二标记中的至少一个的标记数据。
12.如权利要求11所述的计算设备，其中所述音频呈现在第一数据流中被接收，且所述第一标记和第二标记在所述第一数据流或第二数据流中的一个中被接收。
13.如权利要求11所述的计算设备，所述流程还包括：
实质上与呈现所述音频呈现同时向所述语音处理***发起数据流，所述数据流包括所述音频数据。
14.如权利要求11所述的计算设备，其中所述标记数据包括所述第一标记，且其中所述标记数据实质上与所述第一项目的呈现同时被传输。
15.如权利要求11所述的计算设备，所述流程还包括：
实质上与所述音频呈现的呈现同时呈现第二音频呈现；以及
向所述语音处理***传输对应于所述音频呈现的第一呈现标识符和对应于第二音频呈现的第二呈现标识符。
CN201380067309.6A 2012-12-20 2013-12-16 话语主题的识别 Active CN105027194B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/723,026 US8977555B2 (en) 2012-12-20 2012-12-20 Identification of utterance subjects
US13/723,026 2012-12-20
PCT/US2013/075484 WO2014099818A2 (en) 2012-12-20 2013-12-16 Identification of utterance subjects

Publications (2)

Publication Number Publication Date
CN105027194A true CN105027194A (zh) 2015-11-04
CN105027194B CN105027194B (zh) 2020-10-02

Family

ID=50975675

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380067309.6A Active CN105027194B (zh) 2012-12-20 2013-12-16 话语主题的识别

Country Status (5)

Country Link
US (2) US8977555B2 (zh)
EP (1) EP2936482B1 (zh)
JP (1) JP6272901B2 (zh)
CN (1) CN105027194B (zh)
WO (1) WO2014099818A2 (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109074806A (zh) * 2016-02-12 2018-12-21 亚马逊技术公司 控制分布式音频输出以实现语音输出
CN109102802A (zh) * 2017-06-21 2018-12-28 三星电子株式会社 用于处理用户话语的***
CN109791764A (zh) * 2016-09-01 2019-05-21 亚马逊技术公司 基于话音的通信
CN110050303A (zh) * 2016-12-07 2019-07-23 谷歌有限责任公司 基于第三方代理内容的语音到文本转换
CN110741338A (zh) * 2017-12-08 2020-01-31 谷歌有限责任公司 使设备与环境中的多个设备隔离以响应口头助理调用
CN110800044A (zh) * 2017-09-08 2020-02-14 亚马逊技术股份有限公司 用于语音助手***的话语权限管理
CN111091832A (zh) * 2019-11-28 2020-05-01 秒针信息技术有限公司 一种基于语音识别的意向评估方法和***
CN111712790A (zh) * 2017-12-08 2020-09-25 亚马逊技术股份有限公司 计算设备的语音控制
CN113504888A (zh) * 2016-12-30 2021-10-15 谷歌有限责任公司 用于序列相关数据消息整合的***和方法
CN114365217A (zh) * 2019-09-13 2022-04-15 国际商业机器公司 优化排队等候的呼叫

Families Citing this family (160)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8677377B2 (en) 2005-09-08 2014-03-18 Apple Inc. Method and apparatus for building an intelligent automated assistant
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US8977255B2 (en) 2007-04-03 2015-03-10 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
US10002189B2 (en) 2007-12-20 2018-06-19 Apple Inc. Method and apparatus for searching using an active ontology
US9330720B2 (en) 2008-01-03 2016-05-03 Apple Inc. Methods and apparatus for altering audio output signals
US20100030549A1 (en) 2008-07-31 2010-02-04 Lee Michael M Mobile device having human language translation capability with positional feedback
US8676904B2 (en) 2008-10-02 2014-03-18 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US20120309363A1 (en) 2011-06-03 2012-12-06 Apple Inc. Triggering notifications associated with tasks items that represent tasks to perform
US10276170B2 (en) 2010-01-18 2019-04-30 Apple Inc. Intelligent automated assistant
US8682667B2 (en) 2010-02-25 2014-03-25 Apple Inc. User profiling for selecting user specific voice input processing information
US9262612B2 (en) 2011-03-21 2016-02-16 Apple Inc. Device access using voice authentication
US10057736B2 (en) 2011-06-03 2018-08-21 Apple Inc. Active transport based notifications
US10134385B2 (en) 2012-03-02 2018-11-20 Apple Inc. Systems and methods for name pronunciation
US10417037B2 (en) 2012-05-15 2019-09-17 Apple Inc. Systems and methods for integrating third party services with a digital assistant
CN113470640B (zh) 2013-02-07 2022-04-26 苹果公司 数字助理的语音触发器
US10652394B2 (en) 2013-03-14 2020-05-12 Apple Inc. System and method for processing voicemail
EP4042978B1 (en) 2013-03-15 2023-06-07 Canary Medical Inc. Devices, systems and methods for monitoring hip replacements
US10748529B1 (en) 2013-03-15 2020-08-18 Apple Inc. Voice activated device for use with a voice-based digital assistant
US9317736B1 (en) * 2013-05-08 2016-04-19 Amazon Technologies, Inc. Individual record verification based on features
WO2014197335A1 (en) 2013-06-08 2014-12-11 Apple Inc. Interpreting and acting upon commands that involve sharing information with remote devices
US10176167B2 (en) 2013-06-09 2019-01-08 Apple Inc. System and method for inferring user intent from speech inputs
WO2014200728A1 (en) 2013-06-09 2014-12-18 Apple Inc. Device, method, and graphical user interface for enabling conversation persistence across two or more instances of a digital assistant
WO2015020942A1 (en) 2013-08-06 2015-02-12 Apple Inc. Auto-activating smart responses based on activities from remote devices
US10296160B2 (en) 2013-12-06 2019-05-21 Apple Inc. Method for extracting salient dialog usage from live data
US9741343B1 (en) * 2013-12-19 2017-08-22 Amazon Technologies, Inc. Voice interaction application selection
US9412363B2 (en) 2014-03-03 2016-08-09 Microsoft Technology Licensing, Llc Model based approach for on-screen item selection and disambiguation
US9715875B2 (en) 2014-05-30 2017-07-25 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US10170123B2 (en) 2014-05-30 2019-01-01 Apple Inc. Intelligent assistant for home automation
US9633004B2 (en) 2014-05-30 2017-04-25 Apple Inc. Better resolution when referencing to concepts
US9430463B2 (en) 2014-05-30 2016-08-30 Apple Inc. Exemplar-based natural language processing
EP3480811A1 (en) 2014-05-30 2019-05-08 Apple Inc. Multi-command single utterance input method
EP3751574A3 (en) 2014-06-25 2021-04-21 Canary Medical Inc. Devices, systems and methods for using and monitoring orthopedic hardware
EP3160393A4 (en) 2014-06-25 2018-12-12 Canary Medical Inc. Devices, systems and methods for using and monitoring implants
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
JP6448950B2 (ja) * 2014-08-20 2019-01-09 シャープ株式会社 音声対話装置及び電子機器
US20170286049A1 (en) * 2014-08-27 2017-10-05 Samsung Electronics Co., Ltd. Apparatus and method for recognizing voice commands
US9818400B2 (en) 2014-09-11 2017-11-14 Apple Inc. Method and apparatus for discovering trending terms in speech requests
CA2998709A1 (en) 2014-09-17 2016-03-24 Canary Medical Inc. Devices, systems and methods for using and monitoring medical devices
US9668121B2 (en) 2014-09-30 2017-05-30 Apple Inc. Social reminders
US10127911B2 (en) 2014-09-30 2018-11-13 Apple Inc. Speaker identification and unsupervised speaker adaptation techniques
US10074360B2 (en) 2014-09-30 2018-09-11 Apple Inc. Providing an indication of the suitability of speech recognition
US10203933B2 (en) 2014-11-06 2019-02-12 Microsoft Technology Licensing, Llc Context-based command surfacing
US9922098B2 (en) 2014-11-06 2018-03-20 Microsoft Technology Licensing, Llc Context-based search and relevancy generation
US9646611B2 (en) 2014-11-06 2017-05-09 Microsoft Technology Licensing, Llc Context-based actions
US10417345B1 (en) * 2014-12-22 2019-09-17 Amazon Technologies, Inc. Providing customer service agents with customer-personalized result of spoken language intent
US9837081B2 (en) * 2014-12-30 2017-12-05 Microsoft Technology Licensing, Llc Discovering capabilities of third-party voice-enabled resources
US11087379B1 (en) * 2015-02-12 2021-08-10 Google Llc Buying products within video content by voice command
US10152299B2 (en) 2015-03-06 2018-12-11 Apple Inc. Reducing response latency of intelligent automated assistants
US10482184B2 (en) 2015-03-08 2019-11-19 Google Llc Context-based natural language processing
US9721566B2 (en) 2015-03-08 2017-08-01 Apple Inc. Competing devices responding to voice triggers
US9886953B2 (en) 2015-03-08 2018-02-06 Apple Inc. Virtual assistant activation
US10460227B2 (en) 2015-05-15 2019-10-29 Apple Inc. Virtual assistant in a communication session
US9966073B2 (en) * 2015-05-27 2018-05-08 Google Llc Context-sensitive dynamic update of voice to text model in a voice-enabled electronic device
US10083688B2 (en) 2015-05-27 2018-09-25 Apple Inc. Device voice control for selecting a displayed affordance
US10200824B2 (en) 2015-05-27 2019-02-05 Apple Inc. Systems and methods for proactively identifying and surfacing relevant content on a touch-sensitive device
US9870196B2 (en) 2015-05-27 2018-01-16 Google Llc Selective aborting of online processing of voice inputs in a voice-enabled electronic device
US10083697B2 (en) 2015-05-27 2018-09-25 Google Llc Local persisting of data for selectively offline capable voice action in a voice-enabled electronic device
US9578173B2 (en) 2015-06-05 2017-02-21 Apple Inc. Virtual assistant aided communication with 3rd party service in a communication session
US11025565B2 (en) 2015-06-07 2021-06-01 Apple Inc. Personalized prediction of responses for instant messaging
US20160378747A1 (en) 2015-06-29 2016-12-29 Apple Inc. Virtual assistant for media playback
US10008199B2 (en) * 2015-08-22 2018-06-26 Toyota Motor Engineering & Manufacturing North America, Inc. Speech recognition system with abbreviated training
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US10740384B2 (en) 2015-09-08 2020-08-11 Apple Inc. Intelligent automated assistant for media search and playback
US10331312B2 (en) 2015-09-08 2019-06-25 Apple Inc. Intelligent automated assistant in a media environment
US10671428B2 (en) 2015-09-08 2020-06-02 Apple Inc. Distributed personal assistant
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
US10956666B2 (en) 2015-11-09 2021-03-23 Apple Inc. Unconventional virtual assistant interactions
US10049668B2 (en) 2015-12-02 2018-08-14 Apple Inc. Applying neural network language models to weighted finite state transducers for automatic speech recognition
US9886958B2 (en) 2015-12-11 2018-02-06 Microsoft Technology Licensing, Llc Language and domain independent model based approach for on-screen item selection
US10223066B2 (en) 2015-12-23 2019-03-05 Apple Inc. Proactive assistance based on dialog communication between devices
JP2017138476A (ja) * 2016-02-03 2017-08-10 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
US10282417B2 (en) 2016-02-19 2019-05-07 International Business Machines Corporation Conversational list management
KR20230152788A (ko) 2016-03-23 2023-11-03 카나리 메디칼 아이엔씨. 경보 임플란트를 위한 이식 가능한 리포팅 프로세서
US11191479B2 (en) 2016-03-23 2021-12-07 Canary Medical Inc. Implantable reporting processor for an alert implant
US11227589B2 (en) 2016-06-06 2022-01-18 Apple Inc. Intelligent list reading
US10049663B2 (en) 2016-06-08 2018-08-14 Apple, Inc. Intelligent automated assistant for media exploration
US10586535B2 (en) 2016-06-10 2020-03-10 Apple Inc. Intelligent digital assistant in a multi-tasking environment
US10490187B2 (en) * 2016-06-10 2019-11-26 Apple Inc. Digital assistant providing automated status report
DK179415B1 (en) 2016-06-11 2018-06-14 Apple Inc Intelligent device arbitration and control
DK201670540A1 (en) 2016-06-11 2018-01-08 Apple Inc Application integration with a digital assistant
US10474753B2 (en) 2016-09-07 2019-11-12 Apple Inc. Language identification using recurrent neural networks
US10043516B2 (en) * 2016-09-23 2018-08-07 Apple Inc. Intelligent automated assistant
JP6515897B2 (ja) * 2016-09-28 2019-05-22 トヨタ自動車株式会社 音声対話システムおよび発話意図理解方法
JP6760394B2 (ja) 2016-12-02 2020-09-23 ヤマハ株式会社 コンテンツ再生機器、収音機器、及びコンテンツ再生システム
US11281993B2 (en) 2016-12-05 2022-03-22 Apple Inc. Model and ensemble compression for metric learning
US10565989B1 (en) * 2016-12-16 2020-02-18 Amazon Technogies Inc. Ingesting device specific content
US11204787B2 (en) 2017-01-09 2021-12-21 Apple Inc. Application integration with a digital assistant
JP2018128979A (ja) * 2017-02-10 2018-08-16 パナソニックＩｐマネジメント株式会社 厨房支援システム
US10417266B2 (en) 2017-05-09 2019-09-17 Apple Inc. Context-aware ranking of intelligent response suggestions
DK201770383A1 (en) 2017-05-09 2018-12-14 Apple Inc. USER INTERFACE FOR CORRECTING RECOGNITION ERRORS
US10395654B2 (en) 2017-05-11 2019-08-27 Apple Inc. Text normalization based on a data-driven learning network
US10726832B2 (en) 2017-05-11 2020-07-28 Apple Inc. Maintaining privacy of personal information
DK180048B1 (en) 2017-05-11 2020-02-04 Apple Inc. MAINTAINING THE DATA PROTECTION OF PERSONAL INFORMATION
DK201770428A1 (en) 2017-05-12 2019-02-18 Apple Inc. LOW-LATENCY INTELLIGENT AUTOMATED ASSISTANT
US11301477B2 (en) 2017-05-12 2022-04-12 Apple Inc. Feedback analysis of a digital assistant
DK179745B1 (en) 2017-05-12 2019-05-01 Apple Inc. SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT
DK179496B1 (en) 2017-05-12 2019-01-15 Apple Inc. USER-SPECIFIC Acoustic Models
DK201770411A1 (en) 2017-05-15 2018-12-20 Apple Inc. MULTI-MODAL INTERFACES
US20180336275A1 (en) 2017-05-16 2018-11-22 Apple Inc. Intelligent automated assistant for media exploration
US10311144B2 (en) 2017-05-16 2019-06-04 Apple Inc. Emoji word sense disambiguation
DK179560B1 (en) 2017-05-16 2019-02-18 Apple Inc. FAR-FIELD EXTENSION FOR DIGITAL ASSISTANT SERVICES
US20180336892A1 (en) 2017-05-16 2018-11-22 Apple Inc. Detecting a trigger of a digital assistant
US10403278B2 (en) 2017-05-16 2019-09-03 Apple Inc. Methods and systems for phonetic matching in digital assistant services
US10657328B2 (en) 2017-06-02 2020-05-19 Apple Inc. Multi-task recurrent neural network architecture for efficient morphology handling in neural language modeling
US10445429B2 (en) 2017-09-21 2019-10-15 Apple Inc. Natural language understanding using vocabularies with compressed serialized tries
US10490195B1 (en) * 2017-09-26 2019-11-26 Amazon Technologies, Inc. Using system command utterances to generate a speaker profile
US10755051B2 (en) 2017-09-29 2020-08-25 Apple Inc. Rule-based natural language processing
US10636424B2 (en) 2017-11-30 2020-04-28 Apple Inc. Multi-turn canned dialog
US10930302B2 (en) 2017-12-22 2021-02-23 International Business Machines Corporation Quality of text analytics
US10733982B2 (en) 2018-01-08 2020-08-04 Apple Inc. Multi-directional dialog
US10733375B2 (en) 2018-01-31 2020-08-04 Apple Inc. Knowledge-based framework for improving natural language understanding
US10599773B2 (en) * 2018-02-26 2020-03-24 International Business Machines Corporation Reading-device-based social event preparation enhancement
US10789959B2 (en) 2018-03-02 2020-09-29 Apple Inc. Training speaker recognition models for digital assistants
US10592604B2 (en) 2018-03-12 2020-03-17 Apple Inc. Inverse text normalization for automatic speech recognition
KR20190108364A (ko) * 2018-03-14 2019-09-24 삼성전자주식회사 전자 장치 및 그의 동작 방법
KR102551715B1 (ko) * 2018-03-14 2023-07-04 구글 엘엘씨 Iot 기반 알림을 생성 및 클라이언트 디바이스(들)의 자동화된 어시스턴트 클라이언트(들)에 의해 iot 기반 알림을 자동 렌더링하게 하는 명령(들)의 제공
US10818288B2 (en) 2018-03-26 2020-10-27 Apple Inc. Natural assistant interaction
US10909331B2 (en) 2018-03-30 2021-02-02 Apple Inc. Implicit identification of translation payload with neural machine translation
US11145294B2 (en) 2018-05-07 2021-10-12 Apple Inc. Intelligent automated assistant for delivering content from user experiences
US10928918B2 (en) 2018-05-07 2021-02-23 Apple Inc. Raise to speak
US10984780B2 (en) 2018-05-21 2021-04-20 Apple Inc. Global semantic word embeddings using bi-directional recurrent neural networks
DK180639B1 (en) 2018-06-01 2021-11-04 Apple Inc DISABILITY OF ATTENTION-ATTENTIVE VIRTUAL ASSISTANT
DK201870355A1 (en) 2018-06-01 2019-12-16 Apple Inc. VIRTUAL ASSISTANT OPERATION IN MULTI-DEVICE ENVIRONMENTS
DK179822B1 (da) 2018-06-01 2019-07-12 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device
US10892996B2 (en) 2018-06-01 2021-01-12 Apple Inc. Variable latency device coordination
US11386266B2 (en) 2018-06-01 2022-07-12 Apple Inc. Text correction
US10944859B2 (en) 2018-06-03 2021-03-09 Apple Inc. Accelerated task performance
KR102628211B1 (ko) * 2018-08-29 2024-01-23 삼성전자주식회사 전자 장치 및 그 제어 방법
US11010561B2 (en) 2018-09-27 2021-05-18 Apple Inc. Sentiment prediction from textual data
US11170166B2 (en) 2018-09-28 2021-11-09 Apple Inc. Neural typographical error modeling via generative adversarial networks
US10839159B2 (en) 2018-09-28 2020-11-17 Apple Inc. Named entity normalization in a spoken dialog system
US11462215B2 (en) 2018-09-28 2022-10-04 Apple Inc. Multi-modal inputs for voice commands
US11475898B2 (en) 2018-10-26 2022-10-18 Apple Inc. Low-latency multi-speaker speech recognition
US11798560B1 (en) 2018-12-21 2023-10-24 Cerner Innovation, Inc. Rapid event and trauma documentation using voice capture
US11062704B1 (en) 2018-12-21 2021-07-13 Cerner Innovation, Inc. Processing multi-party conversations
US11875883B1 (en) 2018-12-21 2024-01-16 Cerner Innovation, Inc. De-duplication and contextually-intelligent recommendations based on natural language understanding of conversational sources
US11398232B1 (en) 2018-12-21 2022-07-26 Cerner Innovation, Inc. Natural language understanding of conversational sources
US11410650B1 (en) 2018-12-26 2022-08-09 Cerner Innovation, Inc. Semantically augmented clinical speech processing
US11638059B2 (en) 2019-01-04 2023-04-25 Apple Inc. Content playback on multiple devices
US11348573B2 (en) 2019-03-18 2022-05-31 Apple Inc. Multimodality in digital assistant systems
US11307752B2 (en) 2019-05-06 2022-04-19 Apple Inc. User configurable task triggers
US11475884B2 (en) 2019-05-06 2022-10-18 Apple Inc. Reducing digital assistant latency when a language is incorrectly determined
US11423908B2 (en) 2019-05-06 2022-08-23 Apple Inc. Interpreting spoken requests
DK201970509A1 (en) 2019-05-06 2021-01-15 Apple Inc Spoken notifications
US11140099B2 (en) 2019-05-21 2021-10-05 Apple Inc. Providing message response suggestions
DK180129B1 (en) 2019-05-31 2020-06-02 Apple Inc. USER ACTIVITY SHORTCUT SUGGESTIONS
DK201970511A1 (en) 2019-05-31 2021-02-15 Apple Inc Voice identification in digital assistant systems
US11496600B2 (en) 2019-05-31 2022-11-08 Apple Inc. Remote execution of machine-learned models
US11289073B2 (en) 2019-05-31 2022-03-29 Apple Inc. Device text to speech
US11360641B2 (en) 2019-06-01 2022-06-14 Apple Inc. Increasing the relevance of new available information
US11468890B2 (en) 2019-06-01 2022-10-11 Apple Inc. Methods and user interfaces for voice-based control of electronic devices
US11031013B1 (en) 2019-06-17 2021-06-08 Express Scripts Strategic Development, Inc. Task completion based on speech analysis
WO2021056255A1 (en) 2019-09-25 2021-04-01 Apple Inc. Text detection using global geometry estimators
US11061543B1 (en) 2020-05-11 2021-07-13 Apple Inc. Providing relevant data items based on context
US11183193B1 (en) 2020-05-11 2021-11-23 Apple Inc. Digital assistant hardware abstraction
US11755276B2 (en) 2020-05-12 2023-09-12 Apple Inc. Reducing description length based on confidence
JP6961765B1 (ja) * 2020-07-01 2021-11-05 楽天グループ株式会社 電話対応業務支援システム、電話対応業務支援方法及びプログラム
US11490204B2 (en) 2020-07-20 2022-11-01 Apple Inc. Multi-device audio adjustment coordination
US11438683B2 (en) 2020-07-21 2022-09-06 Apple Inc. User identification using headphones
US11544666B2 (en) * 2021-03-10 2023-01-03 Caastle, Inc. Systems and methods for electronic platform for inventory sharing

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6941268B2 (en) * 2001-06-21 2005-09-06 Tellme Networks, Inc. Handling of speech recognition in a declarative markup language
JP2005295375A (ja) * 2004-04-02 2005-10-20 Omron Corp 情報取得支援システム
US20060020471A1 (en) * 2004-07-23 2006-01-26 Microsoft Corporation Method and apparatus for robustly locating user barge-ins in voice-activated command systems
CN102227767A (zh) * 2008-11-12 2011-10-26 Scti控股公司 自动语音-文本转换***和方法

Family Cites Families (61)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6231467A (ja) * 1985-08-01 1987-02-10 Toshiba Corp 文章作成装置
US5484292A (en) * 1989-08-21 1996-01-16 Mctaggart; Stephen I. Apparatus for combining audio and visual indicia
US5369704A (en) * 1993-03-24 1994-11-29 Engate Incorporated Down-line transcription system for manipulating real-time testimony
US5752230A (en) * 1996-08-20 1998-05-12 Ncr Corporation Method and apparatus for identifying names with a speech recognition program
US6282511B1 (en) * 1996-12-04 2001-08-28 At&T Voiced interface with hyperlinked information
CN1120436C (zh) * 1997-09-19 2003-09-03 国际商业机器公司 用于识别孤立、非相关汉字的语音识别方法和***
AU9455498A (en) * 1997-09-24 1999-04-12 Scansoft, Inc. Apparatus and method for distinguishing similar-sounding utterances in speech recognition
US6192337B1 (en) * 1998-08-14 2001-02-20 International Business Machines Corporation Apparatus and methods for rejecting confusible words during training associated with a speech recognition system
US6269335B1 (en) * 1998-08-14 2001-07-31 International Business Machines Corporation Apparatus and methods for identifying homophones among words in a speech recognition system
US8938688B2 (en) * 1998-12-04 2015-01-20 Nuance Communications, Inc. Contextual prediction of user words and user actions
KR100310339B1 (ko) * 1998-12-30 2002-01-17 윤종용 이동전화 단말기의 음성인식 다이얼링 방법
JP2000338992A (ja) * 1999-05-26 2000-12-08 Fujitsu Ten Ltd 音声認識装置
US6421672B1 (en) * 1999-07-27 2002-07-16 Verizon Services Corp. Apparatus for and method of disambiguation of directory listing searches utilizing multiple selectable secondary search keys
US6937977B2 (en) 1999-10-05 2005-08-30 Fastmobile, Inc. Method and apparatus for processing an input speech signal during presentation of an output audio signal
US7200555B1 (en) * 2000-07-05 2007-04-03 International Business Machines Corporation Speech recognition correction for devices having limited or no display
US6933928B1 (en) * 2000-07-18 2005-08-23 Scott E. Lilienthal Electronic book player with audio synchronization
US7085716B1 (en) * 2000-10-26 2006-08-01 Nuance Communications, Inc. Speech recognition using word-in-phrase command
US6934683B2 (en) * 2001-01-31 2005-08-23 Microsoft Corporation Disambiguation language model
US7013280B2 (en) * 2001-02-27 2006-03-14 International Business Machines Corporation Disambiguation method and system for a voice activated directory assistance system
US6925154B2 (en) * 2001-05-04 2005-08-02 International Business Machines Corproation Methods and apparatus for conversational name dialing systems
US7096232B2 (en) * 2001-06-06 2006-08-22 International Business Machines Corporation Calendar-enhanced directory searches including dynamic contact information
US6801604B2 (en) * 2001-06-25 2004-10-05 International Business Machines Corporation Universal IP-based and scalable architectures across conversational applications using web services for speech and audio processing resources
GB0118184D0 (en) * 2001-07-26 2001-09-19 Ibm A method for generating homophonic neologisms
US7069221B2 (en) * 2001-10-26 2006-06-27 Speechworks International, Inc. Non-target barge-in detection
JP2003177788A (ja) * 2001-12-12 2003-06-27 Fujitsu Ltd 音声対話システムおよびその方法
US6791529B2 (en) * 2001-12-13 2004-09-14 Koninklijke Philips Electronics N.V. UI with graphics-assisted voice control system
US7769592B2 (en) * 2002-02-22 2010-08-03 Nuance Communications, Inc. Automatic selection of a disambiguation data field for a speech interface
US6792096B2 (en) * 2002-04-11 2004-09-14 Sbc Technology Resources, Inc. Directory assistance dialog with configuration switches to switch from automated speech recognition to operator-assisted dialog
US6947539B2 (en) * 2002-08-14 2005-09-20 Graham Jeffrey P Automated call routing
JP4304959B2 (ja) * 2002-10-31 2009-07-29 セイコーエプソン株式会社 音声対話制御方法、音声対話制御装置および音声対話制御プログラム
JP2005039512A (ja) * 2003-07-14 2005-02-10 Sony Corp 裏番組表示装置及び方法
US8229750B2 (en) * 2004-04-28 2012-07-24 Nuance Communications, Inc. Barge-in capabilities of a voice browser
US7299181B2 (en) * 2004-06-30 2007-11-20 Microsoft Corporation Homonym processing in the context of voice-activated command systems
US7735012B2 (en) * 2004-11-04 2010-06-08 Apple Inc. Audio user interface for computing devices
GB0426347D0 (en) * 2004-12-01 2005-01-05 Ibm Methods, apparatus and computer programs for automatic speech recognition
JP2006201749A (ja) * 2004-12-21 2006-08-03 Matsushita Electric Ind Co Ltd 音声による選択装置、及び選択方法
US20060136195A1 (en) * 2004-12-22 2006-06-22 International Business Machines Corporation Text grouping for disambiguation in a speech application
FR2883394A1 (fr) * 2005-03-16 2006-09-22 France Telecom Enrichissement d'une base de regles de transcription
US20080120312A1 (en) * 2005-04-07 2008-05-22 Iofy Corporation System and Method for Creating a New Title that Incorporates a Preexisting Title
US7720684B2 (en) * 2005-04-29 2010-05-18 Nuance Communications, Inc. Method, apparatus, and computer program product for one-step correction of voice interaction
US7684990B2 (en) * 2005-04-29 2010-03-23 Nuance Communications, Inc. Method and apparatus for multiple value confirmation and correction in spoken dialog systems
WO2007007193A2 (en) * 2005-06-06 2007-01-18 Texthelp Systems Ltd. A system and method for converting electronic text to a digital multimedia electronic book
US7620549B2 (en) * 2005-08-10 2009-11-17 Voicebox Technologies, Inc. System and method of supporting adaptive misrecognition in conversational speech
US7949529B2 (en) 2005-08-29 2011-05-24 Voicebox Technologies, Inc. Mobile systems and methods of supporting natural language human-machine interactions
US8756057B2 (en) * 2005-11-02 2014-06-17 Nuance Communications, Inc. System and method using feedback speech analysis for improving speaking ability
US8010343B2 (en) * 2005-12-15 2011-08-30 Nuance Communications, Inc. Disambiguation systems and methods for use in generating grammars
US7991608B2 (en) * 2006-04-19 2011-08-02 Raytheon Company Multilingual data querying
US8219374B1 (en) * 2007-02-21 2012-07-10 University Of Central Florida Research Foundation, Inc. Symbolic switch/linear circuit simulator systems and methods
US20110054900A1 (en) * 2007-03-07 2011-03-03 Phillips Michael S Hybrid command and control between resident and remote speech recognition facilities in a mobile voice-to-speech application
JP2008226400A (ja) * 2007-03-15 2008-09-25 Sony Computer Entertainment Inc オーディオ再生装置およびオーディオ再生方法
US20090024411A1 (en) * 2007-04-12 2009-01-22 Albro Thomas W System and method for contextualizing patient health information in electronic health records
US8135574B2 (en) * 2007-11-15 2012-03-13 Weikel Bryan T Creating and displaying bodies of parallel segmented text
US20090326948A1 (en) * 2008-06-26 2009-12-31 Piyush Agarwal Automated Generation of Audiobook with Multiple Voices and Sounds from Text
CA2736821A1 (en) * 2008-07-14 2010-01-21 Everhear Partners, Inc. Child's media player with automatic wireless synchronization from content servers with adult management and content creation
US20100050064A1 (en) * 2008-08-22 2010-02-25 At & T Labs, Inc. System and method for selecting a multimedia presentation to accompany text
US8568189B2 (en) * 2009-11-25 2013-10-29 Hallmark Cards, Incorporated Context-based interactive plush toy
TWI414960B (zh) * 2009-12-18 2013-11-11 Inventec Appliances Corp 一種電子書的聲音訊號產生方法及電子書閱讀器
US9009022B2 (en) * 2010-03-30 2015-04-14 Young Hee Yi E-book reader language mapping system and method
US9191639B2 (en) * 2010-04-12 2015-11-17 Adobe Systems Incorporated Method and apparatus for generating video descriptions
US9002700B2 (en) * 2010-05-13 2015-04-07 Grammarly, Inc. Systems and methods for advanced grammar checking
US20140372114A1 (en) * 2010-08-06 2014-12-18 Google Inc. Self-Directed Machine-Generated Transcripts

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6941268B2 (en) * 2001-06-21 2005-09-06 Tellme Networks, Inc. Handling of speech recognition in a declarative markup language
JP2005295375A (ja) * 2004-04-02 2005-10-20 Omron Corp 情報取得支援システム
US20060020471A1 (en) * 2004-07-23 2006-01-26 Microsoft Corporation Method and apparatus for robustly locating user barge-ins in voice-activated command systems
CN102227767A (zh) * 2008-11-12 2011-10-26 Scti控股公司 自动语音-文本转换***和方法

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109074806A (zh) * 2016-02-12 2018-12-21 亚马逊技术公司 控制分布式音频输出以实现语音输出
CN109074806B (zh) * 2016-02-12 2023-11-14 亚马逊技术公司 控制分布式音频输出以实现语音输出
CN109791764A (zh) * 2016-09-01 2019-05-21 亚马逊技术公司 基于话音的通信
US11922945B2 (en) 2016-12-07 2024-03-05 Google Llc Voice to text conversion based on third-party agent content
CN110050303A (zh) * 2016-12-07 2019-07-23 谷歌有限责任公司 基于第三方代理内容的语音到文本转换
US11626115B2 (en) 2016-12-07 2023-04-11 Google Llc Voice to text conversion based on third-party agent content
CN110050303B (zh) * 2016-12-07 2023-08-22 谷歌有限责任公司 基于第三方代理内容的语音到文本转换
CN113504888B (zh) * 2016-12-30 2024-06-25 谷歌有限责任公司 用于序列相关数据消息整合的***和方法
CN113504888A (zh) * 2016-12-30 2021-10-15 谷歌有限责任公司 用于序列相关数据消息整合的***和方法
CN109102802B (zh) * 2017-06-21 2023-10-17 三星电子株式会社 用于处理用户话语的***
CN109102802A (zh) * 2017-06-21 2018-12-28 三星电子株式会社 用于处理用户话语的***
CN110800044A (zh) * 2017-09-08 2020-02-14 亚马逊技术股份有限公司 用于语音助手***的话语权限管理
CN110800044B (zh) * 2017-09-08 2024-04-05 亚马逊技术股份有限公司 用于语音助手***的话语权限管理
CN110741338A (zh) * 2017-12-08 2020-01-31 谷歌有限责任公司 使设备与环境中的多个设备隔离以响应口头助理调用
US11741959B2 (en) 2017-12-08 2023-08-29 Google Llc Isolating a device, from multiple devices in an environment, for being responsive to spoken assistant invocation(s)
CN111712790A (zh) * 2017-12-08 2020-09-25 亚马逊技术股份有限公司 计算设备的语音控制
CN114365217A (zh) * 2019-09-13 2022-04-15 国际商业机器公司 优化排队等候的呼叫
CN111091832A (zh) * 2019-11-28 2020-05-01 秒针信息技术有限公司 一种基于语音识别的意向评估方法和***

Also Published As

Publication number Publication date
WO2014099818A2 (en) 2014-06-26
JP2016501391A (ja) 2016-01-18
EP2936482B1 (en) 2021-04-07
JP6272901B2 (ja) 2018-01-31
CN105027194B (zh) 2020-10-02
US20150179175A1 (en) 2015-06-25
US8977555B2 (en) 2015-03-10
US20140180697A1 (en) 2014-06-26
EP2936482A2 (en) 2015-10-28
US9240187B2 (en) 2016-01-19
WO2014099818A3 (en) 2014-08-14
EP2936482A4 (en) 2016-08-24

Similar Documents

Publication Publication Date Title
CN105027194A (zh) 话语主题的识别
US11398236B2 (en) Intent-specific automatic speech recognition result generation
US11176936B2 (en) Architecture for multi-domain natural language processing
US11520471B1 (en) Systems and methods for identifying a set of characters in a media file
US20180190288A1 (en) System and method of performing automatic speech recognition using local private data
CN101656799B (zh) 自动会话***以及会话情节编辑装置
JP6078964B2 (ja) 音声対話システム及びプログラム
CN110459222A (zh) 语音控制方法、语音控制装置及终端设备
US9922650B1 (en) Intent-specific automatic speech recognition result generation
CN111831795B (zh) 多轮对话处理方法、装置、电子设备及存储介质
CN108885869A (zh) 控制包含语音的音频数据的回放
CN107122154A (zh) 资源受限设备中离线语义处理的便利化
CN110287364A (zh) 语音搜索方法、***、设备及计算机可读存储介质
CN116917984A (zh) 交互式内容输出
US20240029708A1 (en) Visual responses to user inputs
CN114023309A (zh) 语音识别***、相关方法、装置及设备
KR20220049743A (ko) 인공지능 디바이스와 연동하여 음성 기록을 관리하는 방법, 시스템, 및 컴퓨터 판독가능한 기록 매체
US20160092159A1 (en) Conversational music agent
KR102446300B1 (ko) 음성 기록을 위한 음성 인식률을 향상시키는 방법, 시스템, 및 컴퓨터 판독가능한 기록 매체
US11463507B1 (en) Systems for generating captions for audio content
CN116611444A (zh) 一种语义理解服务决策方法和装置
CN113570324A (zh) 外呼流程编辑方法、装置、电子设备及存储介质
De Vries Effective automatic speech recognition data collection for under–resourced languages

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant