CN104423576B - 虚拟助理操作项目的管理 - Google Patents

虚拟助理操作项目的管理 Download PDF

Info

Publication number
CN104423576B
CN104423576B CN201410377060.5A CN201410377060A CN104423576B CN 104423576 B CN104423576 B CN 104423576B CN 201410377060 A CN201410377060 A CN 201410377060A CN 104423576 B CN104423576 B CN 104423576B
Authority
CN
China
Prior art keywords
audio
virtual assistant
input
information processing
processing apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410377060.5A
Other languages
English (en)
Other versions
CN104423576A (zh
Inventor
约翰·韦尔东·尼克尔森
斯蒂文·理查德·佩林
王松
约翰·迈尔斯·亨特
张健邦
李健
托比·约翰·鲍恩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lenovo Singapore Pte Ltd
Original Assignee
Lenovo Singapore Pte Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lenovo Singapore Pte Ltd filed Critical Lenovo Singapore Pte Ltd
Publication of CN104423576A publication Critical patent/CN104423576A/zh
Application granted granted Critical
Publication of CN104423576B publication Critical patent/CN104423576B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G06F9/453—Help systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明涉及虚拟助理操作项目的管理。根据本发明，一方面提供了一种方法，包括：操作信息处理装置的音频接收器和存储器以存储音频；接收激活信息处理装置的虚拟助理的输入；以及在激活虚拟助理后，处理存储的音频以识别用于虚拟助理的一个或多个可操作项目。本发明还描述和要求保护了其它方面。

Description

虚拟助理操作项目的管理
技术领域
本发明涉及信息处理的技术领域，具体地涉及用于虚拟助理操作项目的管理。
背景技术
信息处理装置(“装置”)例如膝上型计算机和台式计算机、智能电话、电子阅读器等通常被用在虚拟助理可用的背景下。虚拟助理的示例是SIRI应用。SIRI是苹果公司在美国和/或其它国家的注册商标。
虚拟助理可以为用户执行许多功能如执行响应于语音命令的搜索请求。用户通常通过输入如可听地说出虚拟助理的“名字”的方式来“唤醒”虚拟助理。因此，虚拟助理由用户激活，并且随后可以向由用户提出的请求作出响应。
发明内容
总之，一方面提供了一种方法，包括：操作信息处理装置的音频接收器和存储器以存储音频；接收激活信息处理装置的虚拟助理的输入；以及在激活虚拟助理后，处理存储的音频以识别用于虚拟助理的一个或多个可操作项目。
另一方面提供了一种信息处理装置，包括：音频接收器；一个或多个处理器；以及存储装置，其对一个或多个处理器是可访问的并存储代码，所述代码可由一个或多个处理器执行以：操作音频接收器和存储器以存储音频；接收激活信息处理装置的虚拟助理的输入；以及在激活虚拟助理后，处理存储的音频以识别用于虚拟助理的一个或多个可操作项目。
又一方面提供了一种程序产品，包括：存储装置，其存储有计算机可读程序代码，所述计算机可读程序代码包括：配置成操作信息处理装置的音频接收器和存储器以存储音频的计算机可读程序代码；配置成接收激活信息处理装置的虚拟助理的输入的计算机可读程序代码；以及配置成在激活虚拟助理后处理存储的音频以识别用于虚拟助理的一个或多个可操作项目的计算机可读程序代码。
前述的描述是概要性的说明，从而会包含细节的简化、概括和省略；因此，本领域的技术人员能够理解概要仅仅是说明性的并且不意在以任何方式进行限制。
为了更好地理解实施方式以及实施方式的其它和另外的特征和优点，结合附图对以下说明进行参考。本发明的范围将在所附权利要求中指出。
附图说明
图1示出了信息处理装置电路的示例。
图2示出了信息处理装置电路的另一示例。
图3示出了用于虚拟助理操作项目的管理的示例方法。
具体实施方式
容易理解，除所描述的示例实施方式之外，此处附图中的总体描述和实施方式的部件可以以多种不同的配置来布置和设计。因此，如在附图中表示的，对示例实施方式的以下更详细的描述并非意在限制实施方式要求保护的范围，而是仅代表示例实施方式。
在本说明书全文中，对“一个实施方式”或“实施方式”(等)的引用意味着结合实施方式所描述的特定特征、结构或特性包含在至少一个实施方式中。因此，在本说明书全文的各处所出现的短语“在一个实施方式中”或“在实施方式中”等未必都指代同一实施方式。
此外，在一个或多个实施方式中，可以以任何适当的方式对所描述的特征、结构或特性进行组合。在下面的描述中，提供了许多具体的细节以给出对实施方式的透彻的理解。然而，相关领域的技术人员将认识到，可以在不具有一个或多个具体细节的情况下，使用其它的方法、部件、材料等实施各种实施方式。在其它的实例中，未详细示出或描述公知的结构、材料或操作以避免混淆。
利用虚拟助理(VA)的一个当前问题是由于功耗的限制它们不能“总是开启”。因此，当用于VA的请求或命令发生在与其它方对话时，请求或命令(“操作项目”)需要例如通过声明VA的名字或提供另一激活输入在唤醒VA后重新对VA进行声明。换句话说，目前的虚拟助理不是“总是开启”，而是被激活，在此(即随后)请求或命令可以下发到VA，用于相关操作的处理和执行。
因此，实施方式实现了用于音频接收器的缓冲机制如机载麦克风。预定音频量被存储(如音频数据的最后“x”秒)，使得音频数据的运行缓冲器连续可用。例如，存储音频数据的缓冲器或存储器可以被认为是运行或循环缓冲器。因此，当VA被激活或触发时，其可以处理寻找操作项目的缓冲器内容(例如先前的与请求或命令相关联或相连的音频数据)。在实施方式中，该机制可以同时(例如唤醒VA后，通过应用处理器)读取并(例如随着收集音频数据的麦克风继续录入而)写入。
参照附图将会最好地理解所示出的示例实施方式。下面的描述意在仅作为示例，并且仅示出了某些示例实施方式。
参照图1和图2，虽然在信息处理装置中可以利用各种其它电路、电路***或部件，但是对于智能电话和/或平板电路200，图2示出的示例包括例如在平板或其它移动计算平台中提供的片上***设计。软件和(一个或多个)处理器集成在单个芯片210中。内部总线等取决于不同的供应商，但是基本上所有的***装置(220)如麦克风都可以附接到单个芯片210。与图1示出的电路形成对照，电路200将处理器、存储器控制器和I/O控制器集线器全部集成到单个芯片210中。此外，这类***200通常不使用SATA或PCI或LPC。公共接口例如包括SDIO和I2C。
存在(一个或多个)电力管理芯片230如电池管理单元BMU，该电力管理芯片230对例如经由可再充电电池240供应的电力进行管理，该可再充电电池240可以通过连接到电源(未示出)而再充电。在至少一个设计中，单个芯片如210用于提供类似BIOS的功能和DRAM存储器。
***200通常包括WWAN收发器250和WLAN收发器260中的一个或多个，用于连接到各种网络如电信网络和无线基站。通常，***200包括用于数据输入和显示的触摸屏270。***200通常还包括各种存储装置，例如闪存280和SDRAM 290。
图1就其部分而言描绘了信息处理装置电路、电路***或部件的另一示例的框图。图1所描绘的示例可以对应于计算***如由位于北卡罗来纳州莫里斯维尔的联想(美国)公司销售的THINKPAD系列个人计算机或其它装置。根据本文的描述可以明显看出，实施方式可以包括其它特征，或仅仅包括图1中示出的示例特征中的某些特征。
图1的示例包括所谓的芯片组110(一组一起工作的集成电路或芯片，芯片组)，该芯片组110具有可以根据制造商(例如INTEL、AMD、ARM等)而变化的体系结构。芯片组110的体系结构包括核与存储器控制组120以及I/O控制器集线器150，该I/O控制器集线器150经由直接管理接口(DMI)142或链路控制器144交换信息(例如数据、信号、命令等)。在图1中，DMI 142是芯片到芯片的接口(有时被称为“北桥”与“南桥”之间的链路)。核与存储器控制组120包括经由前端总线(FSB)124交换信息的存储器控制器集线器126和一个或多个处理器122(例如单核或多核)；注意，组120的部件可以被集成在芯片中，该芯片代替传统的“北桥”式体系结构。
在图1中，存储器控制器集线器126与存储器140对接(例如为可被称为“***存储器”或“存储器”的一类RAM提供支撑)。存储器控制器集线器126还包括用于显示装置192(例如CRT、平板、触摸屏等)的LVDS接口132。块138包括可以经由LVDS接口132(例如串行数字视频、HDMI/DVI、显示端口)支持的一些技术。存储器控制器集线器126还包括可以支持独立显卡136的PCI-Express接口(PCI-E)134。
在图1中，I/O集线器控制器150包括SATA接口151(例如用于HDD、SDD、180等)、PCI-E接口152(例如用于无线连接182)、USB接口153(例如用于诸如数字化仪、键盘、鼠标、照相机、电话、麦克风、存储装置、其它连接装置等的装置184)、网络接口154(例如LAN)、GPIO接口155、LPC接口170(用于ASIC 171、TPM 172、超级I/O 173、固件集线器174、BIOS支持175以及诸如ROM 177、闪存178和NVRAM 179的各种类型的存储器176)、电力管理接口161、时钟发生器接口162、音频接口163(例如用于扬声器194)、TCO接口164、***管理总线接口165以及可以包括BIOS 168和启动代码190的SPI闪存166。I/O集线器控制器150可以包括千兆位以太网支持。
***在通电时可以被配置成执行存储在SPI闪存166内的用于BIOS168的启动代码190，此后，在一个或多个操作***和应用软件(例如存储在***存储器140中)的控制下处理数据。操作***可以存储在各种位置中的任何位置处，并且例如可以根据BIOS 168的指令来访问。如本文所描述的，装置可以包括比图1的***中示出的特征更少或更多的特征。
例如在图1和图2中概括的信息处理装置可以与VA结合使用。该装置可以接受输入如音频输入，以既激活VA又收集有关待执行的操作的输入。根据实施方式，这样的装置还可以包括分配的存储器或缓冲器位置，以连续地或经由合适的智能触发(例如音频接收器的激活和响应于检测环境音频的阈值水平的音频数据的存储)来收集音频。
如本文所述，实施方式实现了缓冲机制以收集预定量的音频，其中，存储的预定音频量例如可以根据各种因素来修改。因此，不必重复在激活VA之前所说的包含操作项目(例如请求或命令)的音频，当VA被激活或触发时，根据实施方式，可以处理缓冲器内容以寻找操作项目(例如先前的与请求或命令相关联或相连的音频数据)。这避免了对VA的命令和请求的不必要的重复。
在图3中示出虚拟助理操作项目的管理的示例方法。实施方式监视环境中的环境音频310，如果在320检测到，则可以在330例如存储在存储器位置中。环境音频可以被连续监视以及存储(例如省略步骤320)；然而，如果预定水平的环境音频用于触发在320的环境音频的检测以及在330的存储的开始，则可以节省电力。
因此，缓冲机制可以以低电力或总是开启模式或以在320实施的阈值工作，以仅当存在可检测的麦克风活动时记录到缓冲器中；亦即，以不浪费电力来录音静默期。可以完成这个的技术的示例是瞬时功率或峰值系数阈值检测。因为缓冲器的内容可以以时间(例如随着在活动/录音周期之间的静默期)划分，所以内容可以是时间戳记的或以其它方式处理的，以保证缓冲器内容的适当管理。
在实施方式中，在330存储的预定的音频量可以根据各种因素变化。例如，缓冲器的长度可以通过遇到的情况来动态地变化。因此，如果特别长时间的讨论正在发生，则缓冲器可以更长时间自动地获取附加音频。此外，缓冲器的长度可以根据各种因素减小。不总是使用缓冲器的满存储容量或减小缓冲器的大小的一些原因是：功率消耗、触发后的处理延迟以及隐私问题等。
作为在320监视环境音频以检测音频的一部分，在340可以确定VA是否已激活。VA可以以各种不同的方式例如经由使用音频输入数据如说出VA的“名字”或其它预定的词语或短语的方式而被激活。此外，实施方式可以使用其它检测到的输入如谨慎手势或轻敲模式，作为在340感测的VA激活触发。例如，代替对他或她的VA讲话，用户可以在装置例如电话仍在用户口袋中的同时以轻敲手势的方式在350给出信号以激活VA和/或处理音频缓冲器。注意，用户可以通过处理存储的音频也可以不通过处理存储的音频来激活VA。
除了总是处理存储的关于VA激活的音频，实施方式可以选择性地处理存储的关于VA激活的音频。例如，实施方式可以利用唯一符号(例如由触敏表面感测的手写符号)的使用作为用于缓冲器内容的处理的触发分析的一部分。例如，画星号、普通笔记符号来指示关键点可以触发缓冲器进行录制。如本文所述，进一步的操作可以从这里自动进行，如保存存储的音频作为录制文本，作为在370执行的操作。例如，可以在会议中这样做，以作为对用户自己的笔记的补充。
在实施方式中，在340用于激活VA和处理在缓冲器中存储的音频(以在350识别可操作项目)的触发机制可以包括使用与VA激活和/或指示有关的(一个或多个)关键字或(一个或多个)短语来搜索存储的音频内容。例如，使用代词如“那个”可以与在缓冲器内容中搜索可操作项目的操作预相关或相连。例如，如果接收到下面的音频：用户A：“用户B，今天在回家的路上你取一些牛奶好吗？”；用户B：“智能电话，提醒我那个”，则实施方式可以执行以下操作。
当在340由“智能电话”关键字进行VA唤醒时，“提醒我那个”的命令告诉VA处理麦克风缓冲器以寻找可操作项目的候选，在这种情况下是提醒，例如日历条目的候选，所述日历条目包括指示谁(“你”)、做什么(“取牛奶”)、何时(“今天在回家的路上”)和/或在哪里的单词或短语。因此，实施方式可以利用由VA接收的初始命令，以帮助识别存储在缓冲器音频中的可操作项目，并且其后基于在360识别的可操作项目来在370执行操作。同样地，在370可以执行其它操作。一些非限制性示例包括将原始音频数据转移到另一位置，将音频录制成文本并将录制的文本转移到另一应用如日历条目，并且启动存储的音频的更高级别的处理如语音分析、说话者识别等以及和装置联系人相关联等。
因此，实施方式可以在340确定唤醒或激活VA的触发或符号，并且在350处理存储的音频以自动识别可操作项目。在360识别(一个或多个)可操作项目后，实施方式可以在370采取或执行附加操作，例如自动准备日历条目、将提醒添加到待办事项列表、基于在存储的音频中识别的请求来执行搜索等。
通过在滚动基础上存储音频内容，注意，(动态地、自动地或经由用户输入)可以修改预定音频量，实施方式将具有在回顾性分析中可能被影响的缓冲的音频内容，以识别VA命令、请求等。这减少了针对VA后激活重述可操作项目如命令的需要。因此，用户可以自由地继续讨论、作业等，而不需要重述这样的命令、请求等。
本领域的普通技术人员将容易理解，各种方面可以实施为***、方法或装置程序产品。相应地，这些方面可以采取完全硬件的实施方式或包括在本文可以总体通常被称为“电路”、“模块”或“***”的软件的实施方式的形式。此外，这些方面可以采取装置程序产品的形式，该装置程序产品嵌入在具有装置可读程序代码嵌入其中的(一个或多个)装置可读介质中。
可以利用(一个或多个)非信号装置可读介质的任何组合。非信号介质可以是存储介质。存储介质可以是例如电子的、磁的、光学的、电磁的、红外线的或半导体的***、装置或装置，或前述的任何适当的组合。存储介质的更多的具体示例可以包括如下：便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或闪存)、光纤、便携式压缩磁盘只读存储器(CD-ROM)、光存储装置、磁存储装置，或前述的任何适当的组合。在本文的背景下，存储介质不是信号，并且“非暂态”包括除了信号媒体的任何媒体。
可以使用任何适当的介质，包括但不限于无线、有线、光纤线缆、RF等或前述的任何适当的组合传输存储介质上包含的程序代码。
可以以一种或者多种编程语言的任何组合来编写用于执行操作的程序代码。程序代码可以完全在单个装置上执行、部分地在单个装置上执行、作为独立软件包部分地在单个装置上且部分地在另一装置上执行，或者完全地在其它装置上执行。在某些情况下，可以通过任何类型的连接或网络(包括局域网(LAN)或广域网(WAN)、个人局域网(PAN))来连接装置，或可以通过其它的装置(例如通过使用因特网服务提供商的因特网)或通过硬线连接(例如通过USB连接)来进行连接。
本文参照附图描述了多个方面，这些附图示出了根据各种示例实施方式的示例方法、装置和程序产品。将要理解的是，示出的操作和功能可以至少部分地由程序指令来实现。可以将这些程序指令提供给通用信息处理装置、专用信息处理装置或其它的可编程数据处理装置或信息处理装置的处理器，以产生一种机制，使得经由装置的处理器执行的指令能够实现指定的功能/操作。
本发明提出的公开内容用于说明和描述的目的，而非意在穷举或限制。对本领域的技术人员来说，许多修改和变化是明显的。本发明中选择并描述的示例实施方式用于说明原理和实际应用，并且使得本领域其它技术人员能够理解本发明的具有各种修改的各种实施方式适合于预期的特定用途。
因此，尽管本文参考附图描述了说明性的示例实施方式，但是应当理解该描述不是限制性的，并且在不偏离本公开内容的范围或精神的情况下，本领域技术人员可以作出各种其它变化和修改。

Claims (13)

1.一种信息处理方法，包括：
操作信息处理装置的音频接收器和存储器以存储音频；
接收激活所述信息处理装置的虚拟助理的输入；以及
在激活所述虚拟助理后，处理存储的音频以识别用于所述虚拟助理的一个或多个可操作项目，或者，将所述存储的音频录制成文本，并将所述文本转移到其他应用；所述存储的音频是在激活所述虚拟助理之前，响应于预定水平的环境音频的触发而存储的；所述一个或多个可操作项目选自由请求、命令和提醒组成的可操作项目组；
预定的音频量是根据一个或多个因素可变的，所述一个或多个因素选自由功耗、处理延迟和隐私组成的因素组。
2.根据权利要求1所述的方法，还包括：
在激活所述虚拟助理的所述输入中识别一个或多个键输入；以及
利用所述一个或多个键输入作为用于处理存储的音频的触发，以识别用于所述虚拟助理的一个或多个可操作项目。
3.根据权利要求2所述的方法，其中，所述一个或多个键输入选自由关键字、关键短语、手势和触摸输入组成的输入组。
4.根据权利要求3所述的方法，其中，使所述一个或多个键输入关联到存储的音频包括可操作项目的指示。
5.根据权利要求1所述的方法，还包括：在从存储的音频识别一个或多个可操作项目后，经由所述虚拟助理执行一个或多个操作。
6.根据权利要求1所述的方法，其中，激活所述虚拟助理的所述输入选自由音频输入、手势输入和预定符号输入组成的输入组；
所述方法还包括：在检测到激活所述虚拟助理的所述输入后，经由所述虚拟助理执行一个或多个操作。
7.根据权利要求1所述的方法，其中，所述一个或多个因素包括确定存储器的初始分配不够用于存储正在进行的音频输入。
8.一种信息处理装置，包括：
音频接收器；
一个或多个处理器；以及
存储装置，其对所述一个或多个处理器是可访问的并存储代码，所述代码可由所述一个或多个处理器执行以：
操作音频接收器和存储器以存储音频；
接收激活所述信息处理装置的虚拟助理的输入；以及
在激活所述虚拟助理后，处理存储的音频以识别用于所述虚拟助理的一个或多个可操作项目，或者，将所述存储的音频录制成文本，并将所述文本转移到其他应用；所述存储的音频是在激活所述虚拟助理之前，响应于预定水平的环境音频的触发而存储的；所述一个或多个可操作项目选自由请求、命令和提醒组成的可操作项目组；预定的音频量是根据一个或多个因素可变的，所述一个或多个因素选自由功耗、处理延迟和隐私组成的因素组。
9.根据权利要求8所述的信息处理装置，其中，所述代码可由所述一个或多个处理器执行以：
在激活所述虚拟助理的所述输入中识别一个或多个键输入；以及
利用所述一个或多个键输入作为用于处理存储的音频的触发，以识别用于所述虚拟助理的一个或多个可操作项目。
10.根据权利要求9所述的信息处理装置，其中，所述一个或多个键输入选自由关键字、关键短语、手势和触摸输入组成的输入组。
11.根据权利要求10所述的信息处理装置，其中，使所述一个或多个键输入关联到存储的音频包括可操作项目的指示。
12.根据权利要求8所述的信息处理装置，其中，所述代码可由所述一个或多个处理器执行，以在从存储的音频识别一个或多个可操作项目后，经由所述虚拟助理执行一个或多个操作。
13.根据权利要求8所述的信息处理装置，其中，激活所述虚拟助理的所述输入选自由音频输入、手势输入和预定符号输入组成的输入组；
其中，所述代码可由所述一个或多个处理器执行，以在检测到激活所述虚拟助理的所述输入后，经由所述虚拟助理执行一个或多个操作。
CN201410377060.5A 2013-09-10 2014-08-01 虚拟助理操作项目的管理 Active CN104423576B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US14/022,876 US20150074524A1 (en) 2013-09-10 2013-09-10 Management of virtual assistant action items
US14/022,876 2013-09-10

Publications (2)

Publication Number Publication Date
CN104423576A CN104423576A (zh) 2015-03-18
CN104423576B true CN104423576B (zh) 2020-12-08

Family

ID=52478661

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410377060.5A Active CN104423576B (zh) 2013-09-10 2014-08-01 虚拟助理操作项目的管理

Country Status (3)

Country Link
US (1) US20150074524A1 (zh)
CN (1) CN104423576B (zh)
DE (1) DE102014107027A1 (zh)

Families Citing this family (141)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8677377B2 (en) 2005-09-08 2014-03-18 Apple Inc. Method and apparatus for building an intelligent automated assistant
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US8977255B2 (en) 2007-04-03 2015-03-10 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
US10002189B2 (en) 2007-12-20 2018-06-19 Apple Inc. Method and apparatus for searching using an active ontology
US9330720B2 (en) 2008-01-03 2016-05-03 Apple Inc. Methods and apparatus for altering audio output signals
US8996376B2 (en) 2008-04-05 2015-03-31 Apple Inc. Intelligent text-to-speech conversion
US20100030549A1 (en) 2008-07-31 2010-02-04 Lee Michael M Mobile device having human language translation capability with positional feedback
US8676904B2 (en) 2008-10-02 2014-03-18 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US20120309363A1 (en) 2011-06-03 2012-12-06 Apple Inc. Triggering notifications associated with tasks items that represent tasks to perform
US10241752B2 (en) 2011-09-30 2019-03-26 Apple Inc. Interface for a virtual digital assistant
US10241644B2 (en) 2011-06-03 2019-03-26 Apple Inc. Actionable reminder entries
US10276170B2 (en) 2010-01-18 2019-04-30 Apple Inc. Intelligent automated assistant
US8682667B2 (en) 2010-02-25 2014-03-25 Apple Inc. User profiling for selecting user specific voice input processing information
US9262612B2 (en) 2011-03-21 2016-02-16 Apple Inc. Device access using voice authentication
US10057736B2 (en) 2011-06-03 2018-08-21 Apple Inc. Active transport based notifications
US10134385B2 (en) 2012-03-02 2018-11-20 Apple Inc. Systems and methods for name pronunciation
US10417037B2 (en) 2012-05-15 2019-09-17 Apple Inc. Systems and methods for integrating third party services with a digital assistant
US9721563B2 (en) 2012-06-08 2017-08-01 Apple Inc. Name recognition system
US9547647B2 (en) 2012-09-19 2017-01-17 Apple Inc. Voice-based media searching
CN104969289B (zh) 2013-02-07 2021-05-28 苹果公司 数字助理的语音触发器
US10652394B2 (en) 2013-03-14 2020-05-12 Apple Inc. System and method for processing voicemail
US10748529B1 (en) 2013-03-15 2020-08-18 Apple Inc. Voice activated device for use with a voice-based digital assistant
WO2014197334A2 (en) 2013-06-07 2014-12-11 Apple Inc. System and method for user-specified pronunciation of words for speech synthesis and recognition
WO2014197335A1 (en) 2013-06-08 2014-12-11 Apple Inc. Interpreting and acting upon commands that involve sharing information with remote devices
EP3937002A1 (en) 2013-06-09 2022-01-12 Apple Inc. Device, method, and graphical user interface for enabling conversation persistence across two or more instances of a digital assistant
US10176167B2 (en) 2013-06-09 2019-01-08 Apple Inc. System and method for inferring user intent from speech inputs
US20150032238A1 (en) 2013-07-23 2015-01-29 Motorola Mobility Llc Method and Device for Audio Input Routing
WO2015020942A1 (en) 2013-08-06 2015-02-12 Apple Inc. Auto-activating smart responses based on activities from remote devices
CN103593340B (zh) 2013-10-28 2017-08-29 余自立 自然表达信息处理方法、处理及回应方法、设备及***
US10296160B2 (en) 2013-12-06 2019-05-21 Apple Inc. Method for extracting salient dialog usage from live data
US10170123B2 (en) 2014-05-30 2019-01-01 Apple Inc. Intelligent assistant for home automation
WO2015184186A1 (en) 2014-05-30 2015-12-03 Apple Inc. Multi-command single utterance input method
US9715875B2 (en) 2014-05-30 2017-07-25 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US9633004B2 (en) 2014-05-30 2017-04-25 Apple Inc. Better resolution when referencing to concepts
US9430463B2 (en) 2014-05-30 2016-08-30 Apple Inc. Exemplar-based natural language processing
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
US9818400B2 (en) 2014-09-11 2017-11-14 Apple Inc. Method and apparatus for discovering trending terms in speech requests
US9668121B2 (en) 2014-09-30 2017-05-30 Apple Inc. Social reminders
US10074360B2 (en) 2014-09-30 2018-09-11 Apple Inc. Providing an indication of the suitability of speech recognition
US10127911B2 (en) 2014-09-30 2018-11-13 Apple Inc. Speaker identification and unsupervised speaker adaptation techniques
US10152299B2 (en) 2015-03-06 2018-12-11 Apple Inc. Reducing response latency of intelligent automated assistants
US10567477B2 (en) 2015-03-08 2020-02-18 Apple Inc. Virtual assistant continuity
US9886953B2 (en) 2015-03-08 2018-02-06 Apple Inc. Virtual assistant activation
US9721566B2 (en) 2015-03-08 2017-08-01 Apple Inc. Competing devices responding to voice triggers
US10460227B2 (en) 2015-05-15 2019-10-29 Apple Inc. Virtual assistant in a communication session
US10200824B2 (en) 2015-05-27 2019-02-05 Apple Inc. Systems and methods for proactively identifying and surfacing relevant content on a touch-sensitive device
US10083688B2 (en) 2015-05-27 2018-09-25 Apple Inc. Device voice control for selecting a displayed affordance
US9578173B2 (en) 2015-06-05 2017-02-21 Apple Inc. Virtual assistant aided communication with 3rd party service in a communication session
US11025565B2 (en) 2015-06-07 2021-06-01 Apple Inc. Personalized prediction of responses for instant messaging
US20160378747A1 (en) 2015-06-29 2016-12-29 Apple Inc. Virtual assistant for media playback
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US10331312B2 (en) 2015-09-08 2019-06-25 Apple Inc. Intelligent automated assistant in a media environment
US10740384B2 (en) 2015-09-08 2020-08-11 Apple Inc. Intelligent automated assistant for media search and playback
US10671428B2 (en) 2015-09-08 2020-06-02 Apple Inc. Distributed personal assistant
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
US10956666B2 (en) 2015-11-09 2021-03-23 Apple Inc. Unconventional virtual assistant interactions
US10049668B2 (en) 2015-12-02 2018-08-14 Apple Inc. Applying neural network language models to weighted finite state transducers for automatic speech recognition
US10223066B2 (en) 2015-12-23 2019-03-05 Apple Inc. Proactive assistance based on dialog communication between devices
US10133612B2 (en) * 2016-03-17 2018-11-20 Nuance Communications, Inc. Session processing interaction between two or more virtual assistants
US11227589B2 (en) 2016-06-06 2022-01-18 Apple Inc. Intelligent list reading
US10249300B2 (en) 2016-06-06 2019-04-02 Apple Inc. Intelligent list reading
US10049663B2 (en) 2016-06-08 2018-08-14 Apple, Inc. Intelligent automated assistant for media exploration
DK179309B1 (en) 2016-06-09 2018-04-23 Apple Inc Intelligent automated assistant in a home environment
US10586535B2 (en) 2016-06-10 2020-03-10 Apple Inc. Intelligent digital assistant in a multi-tasking environment
US10067938B2 (en) 2016-06-10 2018-09-04 Apple Inc. Multilingual word prediction
DK179415B1 (en) 2016-06-11 2018-06-14 Apple Inc Intelligent device arbitration and control
DK201670540A1 (en) 2016-06-11 2018-01-08 Apple Inc Application integration with a digital assistant
DK179343B1 (en) 2016-06-11 2018-05-14 Apple Inc Intelligent task discovery
US10474753B2 (en) 2016-09-07 2019-11-12 Apple Inc. Language identification using recurrent neural networks
US10043516B2 (en) 2016-09-23 2018-08-07 Apple Inc. Intelligent automated assistant
US10332523B2 (en) * 2016-11-18 2019-06-25 Google Llc Virtual assistant identification of nearby computing devices
US11281993B2 (en) 2016-12-05 2022-03-22 Apple Inc. Model and ensemble compression for metric learning
US10593346B2 (en) 2016-12-22 2020-03-17 Apple Inc. Rank-reduced token representation for automatic speech recognition
US11204787B2 (en) 2017-01-09 2021-12-21 Apple Inc. Application integration with a digital assistant
EP3358462A1 (en) 2017-02-06 2018-08-08 Tata Consultancy Services Limited Context based adaptive virtual reality (vr) assistant in vr environments
DK201770383A1 (en) 2017-05-09 2018-12-14 Apple Inc. USER INTERFACE FOR CORRECTING RECOGNITION ERRORS
US10417266B2 (en) 2017-05-09 2019-09-17 Apple Inc. Context-aware ranking of intelligent response suggestions
US10395654B2 (en) 2017-05-11 2019-08-27 Apple Inc. Text normalization based on a data-driven learning network
DK180048B1 (en) 2017-05-11 2020-02-04 Apple Inc. MAINTAINING THE DATA PROTECTION OF PERSONAL INFORMATION
DK201770439A1 (en) 2017-05-11 2018-12-13 Apple Inc. Offline personal assistant
US10726832B2 (en) 2017-05-11 2020-07-28 Apple Inc. Maintaining privacy of personal information
DK201770429A1 (en) 2017-05-12 2018-12-14 Apple Inc. LOW-LATENCY INTELLIGENT AUTOMATED ASSISTANT
DK179496B1 (en) 2017-05-12 2019-01-15 Apple Inc. USER-SPECIFIC Acoustic Models
US11301477B2 (en) 2017-05-12 2022-04-12 Apple Inc. Feedback analysis of a digital assistant
DK179745B1 (en) 2017-05-12 2019-05-01 Apple Inc. SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT
DK201770411A1 (en) 2017-05-15 2018-12-20 Apple Inc. MULTI-MODAL INTERFACES
DK201770432A1 (en) 2017-05-15 2018-12-21 Apple Inc. Hierarchical belief states for digital assistants
DK201770431A1 (en) 2017-05-15 2018-12-20 Apple Inc. Optimizing dialogue policy decisions for digital assistants using implicit feedback
US10311144B2 (en) 2017-05-16 2019-06-04 Apple Inc. Emoji word sense disambiguation
US20180336275A1 (en) 2017-05-16 2018-11-22 Apple Inc. Intelligent automated assistant for media exploration
US10403278B2 (en) 2017-05-16 2019-09-03 Apple Inc. Methods and systems for phonetic matching in digital assistant services
US20180336892A1 (en) 2017-05-16 2018-11-22 Apple Inc. Detecting a trigger of a digital assistant
DK179560B1 (en) 2017-05-16 2019-02-18 Apple Inc. FAR-FIELD EXTENSION FOR DIGITAL ASSISTANT SERVICES
US10657328B2 (en) 2017-06-02 2020-05-19 Apple Inc. Multi-task recurrent neural network architecture for efficient morphology handling in neural language modeling
US10445429B2 (en) 2017-09-21 2019-10-15 Apple Inc. Natural language understanding using vocabularies with compressed serialized tries
US10755051B2 (en) 2017-09-29 2020-08-25 Apple Inc. Rule-based natural language processing
US10636424B2 (en) 2017-11-30 2020-04-28 Apple Inc. Multi-turn canned dialog
US11409816B2 (en) * 2017-12-19 2022-08-09 Motorola Solutions, Inc. Methods and systems for determining an action to be taken in response to a user query as a function of pre-query context information
US10733982B2 (en) 2018-01-08 2020-08-04 Apple Inc. Multi-directional dialog
US10733375B2 (en) 2018-01-31 2020-08-04 Apple Inc. Knowledge-based framework for improving natural language understanding
US10789959B2 (en) 2018-03-02 2020-09-29 Apple Inc. Training speaker recognition models for digital assistants
US10592604B2 (en) 2018-03-12 2020-03-17 Apple Inc. Inverse text normalization for automatic speech recognition
US10818288B2 (en) 2018-03-26 2020-10-27 Apple Inc. Natural assistant interaction
US10909331B2 (en) 2018-03-30 2021-02-02 Apple Inc. Implicit identification of translation payload with neural machine translation
US11145294B2 (en) 2018-05-07 2021-10-12 Apple Inc. Intelligent automated assistant for delivering content from user experiences
US10928918B2 (en) 2018-05-07 2021-02-23 Apple Inc. Raise to speak
EP3816789A1 (en) * 2018-05-07 2021-05-05 Google LLC Methods, systems, and apparatus for providing composite graphical assistant interfaces for controlling connected devices
US10984780B2 (en) 2018-05-21 2021-04-20 Apple Inc. Global semantic word embeddings using bi-directional recurrent neural networks
DK179822B1 (da) 2018-06-01 2019-07-12 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device
US11386266B2 (en) 2018-06-01 2022-07-12 Apple Inc. Text correction
DK201870355A1 (en) 2018-06-01 2019-12-16 Apple Inc. VIRTUAL ASSISTANT OPERATION IN MULTI-DEVICE ENVIRONMENTS
US10892996B2 (en) 2018-06-01 2021-01-12 Apple Inc. Variable latency device coordination
DK180639B1 (en) 2018-06-01 2021-11-04 Apple Inc DISABILITY OF ATTENTION-ATTENTIVE VIRTUAL ASSISTANT
US10944859B2 (en) 2018-06-03 2021-03-09 Apple Inc. Accelerated task performance
US11010561B2 (en) 2018-09-27 2021-05-18 Apple Inc. Sentiment prediction from textual data
US11462215B2 (en) 2018-09-28 2022-10-04 Apple Inc. Multi-modal inputs for voice commands
US10839159B2 (en) 2018-09-28 2020-11-17 Apple Inc. Named entity normalization in a spoken dialog system
US11170166B2 (en) 2018-09-28 2021-11-09 Apple Inc. Neural typographical error modeling via generative adversarial networks
US11475898B2 (en) 2018-10-26 2022-10-18 Apple Inc. Low-latency multi-speaker speech recognition
US11638059B2 (en) 2019-01-04 2023-04-25 Apple Inc. Content playback on multiple devices
US11388516B2 (en) * 2019-02-07 2022-07-12 Thomas STACHURA Privacy device for smart speakers
CN114041283B (zh) * 2019-02-20 2024-06-07 谷歌有限责任公司 利用事件前和事件后输入流来接洽自动化助理
US11348573B2 (en) 2019-03-18 2022-05-31 Apple Inc. Multimodality in digital assistant systems
US11423908B2 (en) 2019-05-06 2022-08-23 Apple Inc. Interpreting spoken requests
US11475884B2 (en) 2019-05-06 2022-10-18 Apple Inc. Reducing digital assistant latency when a language is incorrectly determined
US11307752B2 (en) 2019-05-06 2022-04-19 Apple Inc. User configurable task triggers
DK201970509A1 (en) 2019-05-06 2021-01-15 Apple Inc Spoken notifications
US11140099B2 (en) 2019-05-21 2021-10-05 Apple Inc. Providing message response suggestions
DK201970510A1 (en) 2019-05-31 2021-02-11 Apple Inc Voice identification in digital assistant systems
US11496600B2 (en) 2019-05-31 2022-11-08 Apple Inc. Remote execution of machine-learned models
DK180129B1 (en) 2019-05-31 2020-06-02 Apple Inc. USER ACTIVITY SHORTCUT SUGGESTIONS
US11289073B2 (en) 2019-05-31 2022-03-29 Apple Inc. Device text to speech
US11360641B2 (en) 2019-06-01 2022-06-14 Apple Inc. Increasing the relevance of new available information
US11227599B2 (en) 2019-06-01 2022-01-18 Apple Inc. Methods and user interfaces for voice-based control of electronic devices
US11238866B2 (en) * 2019-06-17 2022-02-01 Motorola Solutions, Inc. Intelligent alerting of individuals in a public-safety communication system
US11488406B2 (en) 2019-09-25 2022-11-01 Apple Inc. Text detection using global geometry estimators
US11183193B1 (en) 2020-05-11 2021-11-23 Apple Inc. Digital assistant hardware abstraction
US11061543B1 (en) 2020-05-11 2021-07-13 Apple Inc. Providing relevant data items based on context
US11490204B2 (en) 2020-07-20 2022-11-01 Apple Inc. Multi-device audio adjustment coordination
US11438683B2 (en) 2020-07-21 2022-09-06 Apple Inc. User identification using headphones
US11682394B2 (en) 2020-12-14 2023-06-20 Motorola Solutions, Inc. Device operation when a user does not answer a call

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000041065A1 (en) * 1999-01-06 2000-07-13 Koninklijke Philips Electronics N.V. Speech input device with attention span
WO2013085507A1 (en) * 2011-12-07 2013-06-13 Hewlett-Packard Development Company, L.P. Low power integrated circuit to analyze a digitized audio stream
CN103226949A (zh) * 2011-09-30 2013-07-31 苹果公司 在虚拟助理中使用情境信息来促进命令的处理
CN105009204A (zh) * 2012-12-11 2015-10-28 亚马逊技术有限公司 语音识别功率管理

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030216909A1 (en) * 2002-05-14 2003-11-20 Davis Wallace K. Voice activity detection
US7962340B2 (en) * 2005-08-22 2011-06-14 Nuance Communications, Inc. Methods and apparatus for buffering data for use in accordance with a speech recognition system
US9318108B2 (en) * 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US8391320B2 (en) * 2009-07-28 2013-03-05 Avaya Inc. State-based management of messaging system jitter buffers
CN102118886A (zh) * 2010-01-04 2011-07-06 ***通信集团公司 一种语音信息的识别方法和设备
US9547647B2 (en) * 2012-09-19 2017-01-17 Apple Inc. Voice-based media searching
CN102905029A (zh) * 2012-10-17 2013-01-30 广东欧珀移动通信有限公司 一种手机及智能语音寻找手机的方法
CN103257787B (zh) * 2013-05-16 2016-07-13 小米科技有限责任公司 一种语音助手应用的开启方法和装置
US9633669B2 (en) * 2013-09-03 2017-04-25 Amazon Technologies, Inc. Smart circular audio buffer

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000041065A1 (en) * 1999-01-06 2000-07-13 Koninklijke Philips Electronics N.V. Speech input device with attention span
CN103226949A (zh) * 2011-09-30 2013-07-31 苹果公司 在虚拟助理中使用情境信息来促进命令的处理
WO2013085507A1 (en) * 2011-12-07 2013-06-13 Hewlett-Packard Development Company, L.P. Low power integrated circuit to analyze a digitized audio stream
CN105009204A (zh) * 2012-12-11 2015-10-28 亚马逊技术有限公司 语音识别功率管理

Also Published As

Publication number Publication date
CN104423576A (zh) 2015-03-18
DE102014107027A1 (de) 2015-03-12
US20150074524A1 (en) 2015-03-12

Similar Documents

Publication Publication Date Title
CN104423576B (zh) 虚拟助理操作项目的管理
US10643621B2 (en) Speech recognition using electronic device and server
CN107025906B (zh) 扩展语音识别的周期的方法和产品以及信息处理设备
EP3567584B1 (en) Electronic apparatus and method for operating same
US11314898B2 (en) Operating method of electronic device for function execution based on voice command in locked state and electronic device supporting the same
US11636861B2 (en) Electronic device and method of operation thereof
CN105630129B (zh) 用于降低功耗的功率控制方法和装置
US11138971B2 (en) Using context to interpret natural language speech recognition commands
CN106462380B (zh) 用于对于语音命令提供提示的***和方法
US20140351618A1 (en) Method and Electronic Device for Bringing a Primary Processor Out of Sleep Mode
KR102485448B1 (ko) 제스처 입력을 처리하기 위한 전자 장치 및 방법
EP2816554A2 (en) Method of executing voice recognition of electronic device and electronic device using the same
EP3223131A1 (en) Electronic device with fingerprint sensor and control method thereof
US10802622B2 (en) Electronic device and method for controlling same
US11630576B2 (en) Electronic device and method for processing letter input in electronic device
US9524428B2 (en) Automated handwriting input for entry fields
KR20180089093A (ko) 전자 장치 및 전자 장치의 지문 인식 방법
CN106257410B (zh) 用于声音辅助输入的多模式消岐的方法、电子装置和设备
CN109101517B (zh) 信息处理方法、信息处理设备以及介质
CN105005468B (zh) 使用自然用户界面输入加强预测置信和命令优先级
CN108073275B (zh) 信息处理方法、信息处理设备及程序产品
US20150163744A1 (en) Method and apparatus for saving power in access point network
KR20170053127A (ko) 필드 기재사항의 오디오 입력
US20190250963A1 (en) Notification for unsaved data
CN107835553B (zh) 控制手电筒的方法、移动终端及计算机可读存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant