CN111902863B - 用于处理用户语音输入的装置 - Google Patents

Abstract

电子装置，包括处理器和存储器，存储器存储支持任务的应用程序并包括用于执行任务的第一路径规则的数据库。第一路径规则包括多个第一状态。存储器存储指令，指令使得处理器接收发出用于执行任务的请求的语音命令，以将语音命令发送至外部服务器，以接收用于执行任务的包括多个第二状态的第二路径，以执行包括在第二路径规则中的多个第二状态，并且当在多个第二状态的执行期间发生错误时，响应于第二路径规则的接收，以执行包括在第一路径规则中的多个第一状态的至少一部分。

Description

用于处理用户语音输入的装置

技术领域

本公开大体上涉及处理用户语音输入的装置。

背景技术

诸如智能电话和平板电脑的电子装置可以使用键盘或鼠标来处理输入，或者通过交互式语音命令来处理输入。电子装置可以执行语音识别服务(或语音识别应用)以识别用户的发声，并且可以执行与该发声对应的操作。

语音识别服务可以使用包括在用户发声中的指定短语向用户提供对应于用户发声的结果。语音识别服务可以基于自然语言处理技术从发声中掌握用户的意图，并且可以向用户提供与所掌握的意图相匹配的响应或结果。

语音识别服务可以由能够识别用户的发声并分析该发声的意图的智能服务器提供。当获得用户的发声时，电子装置可以将所获得的发声发送至智能服务器。电子装置可以接收与智能服务器分析的用户的发声相对应的指令，并且可以通过执行接收到的指令来执行与用户的意图相匹配的功能。

发明内容

【技术问题】

通常，智能服务器可以向电子装置发送与用户意图最匹配的一个指令。当电子装置不执行所接收的指令时，电子装置不能提供对用户发声的响应。

【技术方案】

已经作出本公开以至少解决上述缺点并至少提供下述优点。

因此，本公开的一方面提供了电子装置，该电子装置能够以另一种方式执行与用户意图相匹配的功能，当从智能服务器接收的指令不能被执行时，该另一种方式能够执行与指令相同的功能。

根据本公开的一方面提供了电子装置。该电子装置包括麦克风、无线通信电路、至少一个处理器和存储器，该存储器存储支持任务的应用程序并包括用于执行任务的第一路径规则的数据库。第一路径规则可以包括电子装置的多个第一状态。存储器可以存储指令，该指令在被执行时使得至少一个处理器经由麦克风接收发出执行任务的请求的语音命令，以经由无线通信电路向外部服务器发送语音命令，以经由无线通信电路从外部服务器接收用于执行任务的包括电子装置的多个第二状态的第二路径规则，以响应于接收到第二路径规则，执行包括在第二路径规则中的多个第二状态，并且当在执行多个第二状态期间发生错误时，执行包括在第一路径规则中的多个第一状态的至少一部分。

根据本公开的一方面提供了一种电子装置。该电子装置可以包括麦克风、无线通信电路、至少一个处理器和存储器，该存储器被配置为存储支持任务的应用程序和包括用于执行任务的第一路径规则的数据库。第一路径规则包括电子装置的多个第一状态。存储器存储指令，该指令在被执行时使至少一个处理器接收发出用于经由麦克风执行任务的请求的语音命令，经由无线通信电路将语音命令发送至外部服务器，经由无线通信电路从外部服务器接收用于执行任务的包括电子装置的多个第二状态的第二路径规则，响应于第二路径规则的接收，执行包括在第二路径规则中的多个第二状态，并且当在多个第二状态的执行期间发生错误时，执行包括在第一路径规则中的多个第一状态的至少一部分。

【有益效果】

当根据处理从外部服务器接收的指令发生错误时，根据本公开的各种实施例的电子装置可以间接地(deviously)处理该指令。

根据本公开的各种实施例的电子装置可以考虑包括在用户的语音命令中的用户的意图以及与意图相匹配的功能的执行环境来提供响应或结果。

此外，可以提供通过本公开直接或间接理解的各种效果。

附图说明

从以下结合附图的详细描述中，本公开的某些实施例的上述和其它方面，特征和优点将变得更加明显，其中：

图1是示出根据实施例的集成智能***的视图；

图2是示出根据实施例的集成智能***的用户终端的图；

图3是示出根据实施例的正在执行的用户终端的智能应用的视图；

图4是示出根据实施例的集成智能***的智能服务器的图；

图5是示出根据实施例的自然语言理解(NLU)模块的路径规则生成方法的视图；

图6是示出根据实施例的电子装置的图；

图7是根据实施例的执行替代路径规则的方法的流程图；

图8a是根据实施例的表数据的图；

图8b是根据实施例的用于请求用户同意的界面的图；

图9是根据实施例的用于描述执行电子装置的替代路径规则的操作的一个场景的图；

图10是根据实施例的用于确定替代路径规则的参数的方法的流程图；

图11是根据实施例的用于确定在多个替代路径规则中要执行的路径规则的方法的流程图；

图12是根据实施例的使用插件或路径执行任务的方法的流程图；以及

图13示出了根据实施例的网络环境中的电子装置。

具体实施方式

下面将参考附图描述本公开的实施例。然而，本公开的实施例不限于特定实施例，且应解释为包括本公开的所有修改、改变、等效装置和方法和/或替代实施例。在附图的描述中，类似的附图标记用于类似的元件。

图1是示出根据实施例的集成智能***的视图。

参照图1，集成智能***10可以包括用户终端100、智能服务器200、个性化信息服务器300或建议服务器400。

用户终端100可以通过存储在用户终端100中的应用(或应用程序)(例如，警告应用、消息应用、图片(图库)应用程序等)来提供对于用户必要的服务。用户终端100可以通过存储在用户终端100中的智能应用(或语音识别应用)执行和操作其它应用。可以接收用于通过用户终端100的智能应用启动和操作另一应用的用户输入。用户输入可以通过物理按钮、触摸板、语音输入、远程输入等来接收。与因特网连接的各种类型的终端设备(或电子装置)，例如移动电话、智能电话、个人数字助理(PDA)、笔记本计算机等可以对应于用户终端100。

用户终端100可以接收用户发声作为用户输入。用户终端100可以接收用户发声并且可以基于用户发声生成用于操作应用的指令。这样，用户终端100可以通过使用该指令来操作应用。

智能服务器200可以通过通信网络从用户终端100接收用户的语音输入，并且可以将语音输入改变为文本数据。智能服务器200可以基于文本数据生成(或选择)路径规则。路径规则可以包括关于用于执行应用的功能的动作(或操作或任务)的信息或关于执行该动作所必需的参数的信息。此外，路径规则可以包括应用的动作顺序。用户终端100可以接收路径规则，可以根据路径规则选择应用，并且可以在所选应用中执行包括在路径规则中的动作。

用户终端100可以执行该动作，并且可以在显示器中显示对应于执行该动作的用户终端100的状态的屏幕。用户终端100可以执行该动作，并且可以不在显示器中显示通过执行该动作获得的结果。用户终端100可以执行多个动作，并且可以仅在显示器中显示多个动作的一部分的结果。用户终端100可以在显示器中仅显示通过执行最后一个动作获得的结果。用户终端100可以接收用户输入以在显示器中显示通过执行动作获得的结果。

个性化信息服务器300可以包括其中存储用户信息的数据库。个性化信息服务器300可以从用户终端100接收用户信息(例如，上下文信息，关于应用执行的信息等)，并且可以将用户信息存储在数据库中。智能服务器200可以通过通信网络从个性化信息服务器300接收用户信息，并且可以在生成与用户输入相关联的路径规则时使用用户信息。用户终端100可以通过通信网络从个性化信息服务器300接收用户信息，并且可以使用用户信息作为用于管理数据库的信息。

建议服务器400可以包括存储关于终端中的功能、应用的介绍或要提供的功能的信息的数据库。建议服务器400可以包括与用户通过从个性化信息服务器300接收用户终端100的用户信息而利用的功能相关联的数据库。用户终端100可以通过通信网络从建议服务器400接收关于要提供的功能的信息，并且可以向用户提供该信息。

图2是示出根据实施例的集成智能***的用户终端的图。

参照图2，用户终端100可以包括输入模块110、显示器120、扬声器130、存储器140或处理器150。用户终端100还可以包括外壳，并且用户终端100的元件可以位于外壳中或者可以位于外壳上。

输入模块110可以接收来自用户的用户输入。输入模块110可以从所连接的外部设备(例如，键盘或耳机)接收用户输入。输入模块110可以包括联接到显示器120的触摸屏(例如，触摸屏显示器)。输入模块110可以包括放置在用户终端100(或用户终端100的外壳)中的硬件键(或物理键)。

输入模块110可以包括能够接收作为语音信号的用户发声的麦克风111。输入模块110可以包括语音输入***，并且可以通过语音输入***接收作为语音信号的用户的发声。

显示器120可以显示应用的图像、视频和/或执行屏幕。例如，显示器120可以显示应用的图形用户界面(GUI)。

扬声器130可以输出语音信号。扬声器130可以将在用户终端100中生成的语音信号输出到外部。

存储器140可以存储多个应用141和143。存储在存储器140中的多个应用141和143可以根据用户输入被选择、启动和执行。

存储器140可以包括能够存储识别用户输入所必需的信息的数据库。存储器140可以包括能够存储日志信息的日志数据库。存储器140可以包括能够存储用户信息的角色数据库。

存储器140可以存储多个应用141和143，并且可以加载多个应用141和143以进行操作。存储器140中存储的多个应用141和143可由处理器150的执行管理器模块153加载以操作。多个应用141和143可以包括执行功能或多个动作(或单元动作)141b和143b的执行服务141a和143a。执行服务141a和143a可以由处理器150的执行管理器模块153生成，然后可以执行多个动作141b和143b。

当执行应用141和143的动作141b和143b时，可以在显示器120中显示根据动作141b和143b的执行的执行状态屏幕。执行状态屏幕可以是完成动作141b和143b的状态中的屏幕。执行状态屏幕可以是在动作141b和143b的执行处于部分落实的状态(例如，在动作141b和143b所需的参数未被输入的情况下)中的屏幕。

执行服务141a和143a可以根据路径规则执行动作141b和143b。执行服务141a和143a可以由执行管理器模块153激活，可以根据路径规则从执行管理器模块153接收执行请求，并且可以根据执行请求执行应用141和143的动作141b和143b。当动作141b和143b的执行完成时，执行服务141a和143a可以向执行管理器模块153发送完成信息。

当在应用141和143中分别执行多个动作141b和143b时，可以顺序地执行多个动作141b和143b。当一个动作(动作1)的执行完成时，执行服务141a和143a可以打开下一个动作(动作2)，并且可以将完成信息发送至执行管理器模块153。这里，应当理解，打开任意动作是将任意动作的状态改变为可执行状态或准备任意动作的执行。换句话说，当没有打开任意动作时，可以不执行相应的动作。当接收到完成信息时，执行管理器模块153可将下一动作141b和143b的执行请求发送至执行服务(例如，动作2)。当执行多个应用141和143时，可以顺序地执行多个应用141和143。当在执行第一应用141的最后动作之后接收到完成信息时，执行管理器模块153可将第二应用143的第一动作的执行请求发送至执行服务143a。

当在应用141和143中执行多个动作141b和143b时，可以在显示器120中显示根据所执行的多个动作141b和143b中的每一个的执行的结果屏幕。根据所执行的多个动作141b和143b，可以在显示器120中仅显示多个结果屏幕的一部分。

存储器140可以存储与智能代理151一起操作的智能应用(例如，语音识别应用)。与智能代理151一起操作的应用可以接收和处理用户的发声作为语音信号。与智能代理151一起操作的应用可以由通过输入模块110输入的特定输入(例如，通过硬件键的输入、通过触摸屏的输入或特定语音输入)来操作。

处理器150可以控制用户终端100的整体动作。例如，处理器150可以控制输入模块110接收用户输入。处理器150可以控制显示器120显示图像。处理器150可以控制扬声器130输出语音信号。处理器150可以控制存储器140读取或存储必要的信息。

处理器150可以包括智能代理151、执行管理器模块153或智能服务模块155。处理器150可以通过执行存储在存储器140中的指令来驱动智能代理151、执行管理器模块153或智能服务模块155。本公开中描述的模块可以通过硬件或软件来实现。应当理解，由智能代理151、执行管理器模块153或智能服务模块155执行的动作是由处理器150执行的动作。

智能代理151可以基于作为用户输入接收的语音信号生成用于操作应用的指令。执行管理器模块153可以从智能代理151接收所生成的指令，并且可以选择、启动和操作存储在存储器140中的应用141和143。智能服务模块155可以管理用户的信息，并且可以使用用户的信息来处理用户输入。

智能代理151可以向智能服务器200发送并处理通过输入模块110接收的用户输入。

在将用户输入发送至智能服务器200之前，智能代理151可以预处理用户输入。为了预处理用户输入，智能代理151可以包括自适应回声消除器(AEC)模块、噪声抑制(NS)模块、端点检测(EPD)模块或自动增益控制(AGC)模块。AEC模块可以去除包括在用户输入中的回声。NS模块可以抑制包括在用户输入中的背景噪声。EPD模块可以检测包括在用户输入中的用户语音的端点，以搜索其中存在用户语音的部分。AGC模块可以调整用户输入的音量，以便适于识别和处理用户输入。根据实施例，智能代理151可以包括用于执行的所有预处理元件。然而，智能代理151可以包括预处理元件的一部分以在低功率下操作。

智能代理151可以包括识别用户呼叫的唤醒识别模块。唤醒识别模块可以通过语音识别模块识别用户的唤醒指令。当唤醒识别模块接收到唤醒指令时，唤醒识别模块可以激活智能代理151以接收用户输入。智能代理151的唤醒识别模块可以用低功率处理器(例如，包括在音频编解码器中的处理器)来实现。智能代理151可以根据通过硬件键输入的用户输入而被激活。当智能代理151被激活时，可以执行与智能代理151一起操作的智能应用(例如，语音识别应用)。

智能代理151可以包括用于执行用户输入的语音识别模块。语音识别模块可以识别用户输入，用于在应用中执行动作。语音识别模块可以识别用于执行诸如应用141和143中的唤醒指令的动作的有限用户(语音)输入(例如，诸如“点击”的发声，用于在正在执行相机应用时执行捕获动作)。用于在辅助智能服务器200的同时识别用户输入的语音识别模块可以识别并快速处理能够在用户终端100中处理的用户指令。用于执行智能代理151的用户输入的语音识别模块可以在应用处理器中实现。

智能代理151的语音识别模块(包括唤醒模块的语音识别模块)可以通过使用用于识别语音的算法来识别用户输入。用于识别语音的算法可以是隐马尔可夫模型(HMM)算法、人工神经网络(ANN)算法或动态时间扭曲(DTW)算法中的至少一种。

智能代理151可以将用户的语音输入改变为文本数据。智能代理151可以将用户的语音发送至智能服务器200以接收改变的文本数据。这样，智能代理151可以在显示器120中显示文本数据。

智能代理151可以从智能服务器200接收路径规则。智能代理151可以将路径规则发送至执行管理器模块153。

智能代理151可以根据从智能服务器200接收的路径规则将执行结果日志发送至智能服务模块155，并且可以按照角色模块155b的用户的偏好信息来累积和管理所发送的执行结果日志。

执行管理器模块153可以从智能代理151接收路径规则以执行应用141和143，并且可以允许应用141和143执行包括在路径规则中的动作141b和143b。执行管理器模块153可以向应用141和143发送用于执行动作141b和143b的指令信息，并且可以从应用141和143接收动作141b和143b的完成信息。

执行管理器模块153可以在智能代理151和应用141和143之间发送或接收用于执行应用141和143的动作141b和143b的指令信息。执行管理器模块153可以根据路径规则绑定要执行的应用141和143，并且可以将包括在路径规则中的动作141b和143b的指令信息发送至应用141和143。执行管理器模块153可以顺序地将包括在路径规则中的动作141b和143b发送至应用141和143，并且可以根据路径规则顺序地执行应用141和143的动作141b和143b。

执行管理器模块153可以管理应用141和143的动作141b和143b的执行状态。执行管理器模块153可以从应用141和143接收关于动作141b和143b的执行状态的信息。当动作141b和143b的执行状态处于部分落实(例如，在动作141b和143b所需的参数未被输入的情况下)时，执行管理器模块153可以将关于部分落实的信息发送至智能代理151。智能代理151可以通过使用所接收的信息向用户请求输入必要的信息(例如，参数信息)。当动作141b和143b的执行状态处于操作状态时，可以从用户接收发声，并且执行管理器模块153可以将关于正被执行的应用141和143以及应用141和143的执行状态的信息发送至智能代理151。智能代理151可以通过智能服务器200接收用户发声的参数信息，并且可以将接收到的参数信息发送至执行管理器模块153。执行管理器模块153可通过使用所接收的参数信息将动作141b和143b中的每一个的参数改变为新参数。

执行管理器模块153可以将包括在路径规则中的参数信息发送至应用141和143。当根据路径规则顺序地执行多个应用141和143时，执行管理器模块153可以将包括在路径规则中的参数信息从一个应用发送至另一个应用。

执行管理器模块153可以接收多个路径规则。执行管理器模块153可以基于用户的发声来选择多个路径规则。当用户发声指定执行动作141b的一部分的应用141但未指定执行任何其它动作143b的应用143时，执行管理器模块153可接收多个不同的路径规则，其中执行动作141b的该部分的相同的应用141(例如，多媒体资料应用)被执行且其中执行其他动作143b的不同的应用143(例如，消息应用或电报应用)被执行。执行管理器模块153可执行多个路径规则的相同动作141b和143b(例如，相同的连续动作141b和143b)。当执行管理器模块153执行相同的动作时，执行管理器模块153可以在显示器120中显示用于选择包括在多个路径规则中的不同应用141和143的状态屏幕。

智能服务模块155可以包括上下文模块155a、角色模块155b或建议模块155c。

上下文模块155a可以从应用141和143收集应用141和143的当前状态。上下文模块155a可接收指示应用141和143的当前状态的上下文信息以收集应用141和143的当前状态。

角色模块155b可以利用用户终端100来管理用户的个人信息。角色模块155b可以收集用户终端100的使用信息和执行结果，以管理用户的个人信息。

建议模块155c可以预测用户的意图以向用户推荐指令。建议模块155c可考虑用户的当前状态(例如，时间、地点、上下文或应用)而向用户推荐指令。

图3是根据实施例的正在执行的用户终端的智能应用。

图3示出了用户终端100接收用户输入以执行与智能代理151一起操作的智能应用(例如，语音识别应用)。

用户终端100可以执行智能应用，用于通过硬件键112识别语音120a。当用户终端100通过硬件键112接收用户输入时，用户终端100可以在显示器120中显示智能应用的UI121。用户可以触摸智能应用的UI 121的语音识别按钮121a，以便在智能应用的UI 121显示在显示器120中的状态下输入语音120b。在连续按下硬件键112以输入语音120b的同时，用户可以输入语音120b。

用户终端100可以执行智能应用以识别通过麦克风111的语音。当指定语音(例如，“唤醒！”))通过麦克风111输入时，用户终端100可以在显示器120中显示智能应用的UI121。

图4是示出根据实施例的集成智能***的智能服务器的图。

参照图4，智能服务器200可以包括自动语音识别(ASR)模块210、自然语言理解(NLU)模块220、路径规划器模块230、对话管理器(DM)模块240、自然语言生成器(NLG)模块250或文本到语音(TTS)模块260。

智能服务器200的NLU模块220或路径规划器模块230可以生成路径规则。

ASR模块210可以将从用户终端100接收的用户输入改变为文本数据。

ASR模块210可以包括发声识别模块。发声识别模块可以包括声学模型和语言模型。声学模型可以包括与发声相关联的信息，并且语言模型可以包括单元音素信息和关于单元音素信息的组合的信息。发声识别模块可以通过使用与发声和单元音素信息相关联的信息将用户发声改变为文本数据。关于声学模型和语言模型的信息可以存储在自动语音识别数据库(ASR DB)211中。

NLU模块220可以通过执行句法分析或语义分析来掌握用户意图。句法分析可以将用户输入划分为句法单元(例如，单词、短语、词素等)，并确定划分的单元具有哪些句法元素。语义分析可以通过使用语义匹配、规则匹配、公式匹配等来执行。这样，NLU模块220可以获得用户输入表达意图所需的域、意图或参数(或插槽)。

NLU模块220可以通过使用匹配规则来确定用户和参数的意图，所述匹配规则被划分为域、意图和掌握意图所必需的参数(或插槽)。一个域(例如，警报)可以包括多个意图(例如，警报设置、警报取消等)，并且一个意图可以包括多个参数(例如，时间、迭代次数、警报声音等)。多个规则可以包括一个或多个必需的参数。匹配规则可以存储在自然语言理解数据库(NLU DB)221中。

NLU模块220可以通过使用诸如词素、短语等的语言特征(例如，语法元素)来掌握从用户输入中提取的单词的含义，并且可以将所掌握的单词的含义与域和意图相匹配，以确定用户意图。为了确定用户意图，NLU模块220可以计算从用户输入中提取的多少个单词被包括在域和意图中的每一个中。NLU模块220可以通过使用作为掌握意图的基础的单词来确定用户输入的参数。NLU模块220可以通过使用存储用于掌握用户输入的意图的语言特征的NLU DB 221来确定用户意图。NLU模块220可以通过使用个人语言模型(PLM)来确定用户意图。NLU模块220可以通过使用个性化信息(例如，联系人列表或音乐列表)来确定用户意图。PLM可以存储在NLU DB 221中。ASR模块210以及NLU模块220可以参考存储在NLU DB 221中的PLM来识别用户的语音。

NLU模块220可以基于用户输入的意图和参数生成路径规则。NLU模块220可以基于用户输入的意图来选择要执行的应用，并且可以在所选择的应用中确定要执行的动作。NLU模块220可以确定与所确定的动作相对应的参数，以生成路径规则。由NLU模块220生成的路径规则可以包括关于要执行的应用，要在应用中执行的动作以及执行该动作所必需的参数的信息。

NLU模块220可以基于用户输入的意图和参数生成一个路径规则或多个路径规则。NLU模块220可以从路径规划器模块230接收对应于用户终端100的路径规则集，并且可以将用户输入的意图和参数映射到所接收的路径规则集，以便确定路径规则。

NLU模块220可以基于用户输入的意图和用于生成一个路径规则或多个路径规则的参数来确定要执行的应用，要在应用中执行的动作以及执行该动作所必需的参数。NLU模块220可以根据用户输入的意图通过使用用户终端100的信息来以本体或图形模型的形式安排要执行的应用和要在应用中执行的动作，以便生成路径规则。所生成的路径规则可以通过路径规划器模块230被存储在路径规则数据库(PR DB)231中。所生成的路径规则可以被添加到PR DB 231的路径规则集。

NLU模块220可以选择所生成的多个路径规则中的至少一个路径规则。NLU模块220可以选择多个路径规则中的最佳路径规则。当基于用户发声仅指定动作的一部分时，NLU模块220可选择多个路径规则。NLU模块220可以根据用户的附加输入来确定多个路径规则中的一个路径规则。

NLU模块220可响应于对用户输入的请求而将路径规则发送至用户终端100。NLU模块220可以向用户终端100发送与用户输入相对应的一个路径规则。NLU模块220可以向用户终端100发送与用户输入相对应的多个路径规则。当基于用户发声仅指定动作的一部分时，可由NLU模块220产生多个路径规则。

路径规划器模块230可以选择多个路径规则中的至少一个路径规则。

路径规划器模块230可以向NLU模块220发送包括多个路径规则的路径规则集。路径规则集的多个路径规则可以以表的形式存储在连接到路径规划器模块230的PR DB 231中。路径规划器模块230可以向NLU模块220发送与从智能代理151接收的用户终端100的信息(例如，OS信息或应用信息)相对应的路径规则集。可以为每个域或域的每个版本将存储在PR DB 231中的表进行存储。

路径规划器模块230可以从路径规则集合中选择一个路径规则或多个路径规则，以将所选的一个路径规则或所选的多个路径规则发送至NLU模块220。路径规划器模块230可以将用户意图和参数与对应于用户终端100的路径规则集相匹配以选择一个路径规则或多个路径规则，并且可以将所选择的一个路径规则或所选择的多个路径规则发送至NLU模块220。

路径规划器模块230可以通过使用用户意图和参数来生成一个路径规则或多个路径规则。路径规划器模块230可以基于用于生成一个路径规则或多个路径规则的用户意图和参数来确定要执行的应用和要在应用中执行的动作。路径规划器模块230可以将所生成的路径规则存储在PR DB 231中。

路径规划器模块230可以将由NLU模块220生成的路径规则存储在PR DB 231中。所生成的路径规则可以添加到存储在PR DB 231中的路径规则集中。

存储在PR DB 231中的表可以包括多个路径规则或多个路径规则集。多个路径规则或多个路径规则集可以反映执行每个路径规则的设备的种类、版本、类型或特性。

DM模块240可以确定由NLU模块220掌握的用户意图是否是清楚的。DM模块240可以基于参数的信息是否足够来确定用户意图是否是清楚的。DM模块240可以确定NLU模块220所掌握的参数是否足以执行任务。当用户意图不清楚时，DM模块240可以执行用于向用户请求必要信息的反馈。DM模块240可以执行用于请求关于掌握用户意图的参数的信息的反馈。

DM模块240可以包括内容提供者模块。当内容提供者模块基于NLU模块220所掌握的意图和参数执行动作时，内容提供者模块可以生成通过执行与用户输入相对应的任务而获得的结果。DM模块240可以将由内容提供者模块生成的结果作为对用户输入的响应发送至用户终端100。

自然语言生成模块NLG 250可以将指定的信息改变为文本形式。改变成文本形式的信息可以是自然语言发声的形式。指定信息可以是关于附加输入的信息，用于指导对应于用户输入的动作完成的信息，或用于指导用户的附加输入的信息(例如，关于用户输入的反馈信息)。被改变为文本形式的信息可以在被发送至用户终端100之后被显示在显示器120中，或者可以在被发送至TTS模块260之后被改变为语音形式。

TTS模块260可以将文本形式的信息改变为语音形式的信息。TTS模块260可以从NLG模块250接收文本形式的信息，可以将文本形式的信息改变为语音形式的信息，并且可以将语音形式的信息发送至用户终端100。用户终端100可以向扬声器130输出语音形式的信息。

NLU模块220，路径规划器模块230和DM模块240可以用一个模块来实现。NLU模块220，路径规划器模块230和DM模块240可以用一个模块来实现，可以确定用户意图和参数，并且可以生成与所确定的用户意图和参数相对应的响应(例如，路径规则)。这样，所生成的响应可以被发送至用户终端100。

图5是示出根据实施例的NLU模块的路径规则生成方法的图。

参照图5，NLU模块220可以将应用的功能划分为单元动作(例如，A到F)，并且可以将划分的单元动作存储在PR DB 231中。NLU模块220可以在PR DB 231中存储路径规则集，该路径规则集包括被划分为单元动作的多个路径规则A-B1-C1、A-B1-C2、A-B1-C3-D-F和A-B1-C3-D-E-F。

路径规划器模块230的PR DB 231可以存储用于执行应用的功能的路径规则集。路径规则集可以包括多个路径规则，多个路径规则中的每个路径规则包括多个动作。根据输入到多个动作中的每一个的参数执行的动作可以顺序地布置在多个路径规则中。可以将以本体或图形模型的形式实现的多个路径规则存储在PR DB 231中。

NLU模块220可以选择多个路径规则A-B1-C1、A-B1-C2、A-B1-C3-D-F和A-B1-C3-D-E-F中对应于用户输入的意图和参数的最优路径规则A-B1-C3-D-F。

当没有与用户输入完全匹配的路径规则时，NLU模块220可以向用户终端100发送多个规则。NLU模块220可以选择部分地对应于用户输入的路径规则(例如，A-B1)。NLU模块220可以选择包括部分对应于用户输入的路径规则(例如，A-B1-C1、A-B1-C2、A-B1-C3-D-F和A-B1-C3-D-E-F)的一个或多个路径规则(例如，A-B1-C1、A-B1-C2、A-B1-C3-D-F和A-B1-C3-D-E-F)，并且可以将一个或多个路径规则发送至用户终端100。

NLU模块220可基于由用户终端100添加的输入来选择多个路径规则中的一个，且可将所选择的一个路径规则发送至用户终端100。NLU模块220可以根据由用户终端100额外输入的用户输入(例如，用于选择C3的输入)来选择多个路径规则(例如，A-B1-C1、A-B1-C2、A-B1-C3-D-F和A-B1-C3-D-E-F)中的一个路径规则(例如，A-B1-C3-D-F)，以便向用户终端100发送所选择的一个路径规则。

NLU模块220可以确定与用户终端100额外输入的用户输入(例如，用于选择C3的输入)相对应的用户的意图以及参数，以便向用户终端100发送用户意图或参数。用户终端100可以基于所发送的意图或所发送的参数来选择多个路径规则(例如，A-B1-C1、A-B1-C2、A-B1-C3-D-F和A-B1-C3-D-E-F)中的一个路径规则(例如，A-B1-C3-D-F)。

这样，用户终端100可以基于所选择的一个路径规则来完成应用141和143的动作。

当智能服务器200接收到信息不充分的用户输入时，NLU模块220可以生成与接收到的用户输入部分对应的路径规则。NLU模块220可以向智能代理151发送部分对应的路径规则。智能代理151可以将部分对应的路径规则发送至执行管理器模块153，并且执行管理器模块153可以根据路径规则执行第一应用141。执行管理器模块153可以在执行第一应用141的同时向智能代理151发送关于参数不充分的信息。智能代理151可以通过使用关于不充分参数的信息来对用户请求附加输入。当用户接收到附加输入时，智能代理151可以向智能服务器200发送并处理该附加输入。NLU模块220可以基于额外输入的用户输入的意图和参数信息生成要添加的路径规则，并且可以将要添加的路径规则发送至智能代理151。智能代理151可以向执行管理器模块153发送路径规则，并且可以执行第二应用143。

当智能服务器200接收到其中丢失了一部分信息的用户输入时，NLU模块220可以向个性化信息服务器300发送用户信息请求。个性化信息服务器300可以将进入存储在角色数据库中的用户输入的用户的信息发送至NLU模块220。NLU模块220可以通过使用用户信息来选择与用户输入相对应的路径规则，在该用户输入中丢失了动作的一部分。这样，即使智能服务器200接收到错过一部分信息的用户输入，NLU模块220也可以请求错过的信息以接收附加输入，或者可以通过使用用户信息来确定与用户输入相对应的路径规则。

图6是示出根据实施例的电子装置的图。

电子装置600可以包括处理器610、存储器620、无线通信电路630、麦克风640和扬声器642。电子装置600可以包括外壳。麦克风640和扬声器642可以位于外壳的不同部分。

处理器610可以控制电子装置600的全部操作。应当理解，电子装置600的操作由处理器610执行。处理器610可以电连接到存储器620、无线通信电路630、麦克风640和扬声器642。处理器610可以包括多个处理器，例如应用程序处理器，通信处理器等。

存储器620可以存储应用程序622。应用程序622可以支持特定任务。存储器620可以包括存储用于执行特定任务的路径规则的数据库，即，替代规则数据库624。每个路径规则可以包括电子装置600的状态。电子装置600可以通过执行状态来执行特定任务。

存储器620可以存储多个应用程序。多个应用程序可以包括不同应用程序的插件。当执行第一应用程序时，可以通过安装在第一应用程序中的插件来执行第二应用程序。在这种情况下，第一应用程序和第二应用程序可以是彼此相关联的程序。例如，插件可以从第二应用程序或操作第二应用的服务器提供。电子装置600可以下载插件，并且可以将插件安装在第一应用程序上。当执行第一应用程序时，电子装置600可以通过插件执行第二应用程序，而无需用于执行第二应用程序的任何附加输入(例如，图标执行输入)。

包括在路径规则中的状态可以包括能够在一个应用程序上执行的状态。能够由第一应用程序执行的第一任务可以由包括在第一应用程序本身中的功能来执行。或者，第一任务可以由包括在经由安装在第一应用程序中的插件操作的第二应用程序中的功能来执行。包括在路径规则中的状态可以包括允许经由插件操作的功能被执行的电子装置600的状态。

电子装置600可以经由无线通信电路630执行与外部服务器(例如，智能服务器200)的通信。通信电路可以附接到电子装置600的外壳，或者可以位于外壳内部。

电子装置600的处理器610可以使用麦克风640获得用户的发声。发声可以被称为“语音命令”。电子装置600可以经由无线通信电路630向智能服务器200发送用户的发声。

处理器610可以包括执行管理器模块612。处理器610可执行存储在存储器620中的指令以驱动执行管理器模块612。本公开中描述的模块可以通过硬件或软件来实现。应当理解，由执行管理器模块612执行的操作是由处理器610执行的操作。

执行管理器模块612可以从智能服务器200接收对应于用户发声的路径规则。路径规则可以被称为用于执行经由用户的发声所请求的任务的一组指令。执行管理器模块612可在支持对应于路径规则的任务的应用程序622上执行路径规则。当在执行路径规则期间发生错误时，执行管理器模块612可以从应用程序622中的替代规则数据库624搜索路径规则的替代路径规则。执行管理器模块612可通过执行所找到的替代路径规则来完成用户的语音命令所请求的任务(例如，电子装置600的特定功能)。执行管理器模块612可将关于任务的执行信息(例如，执行是否完成)发送至智能服务器200。

图7是根据实施例的执行替代路径规则的方法的流程图。图8a是根据实施例的表数据的图。图8b是根据实施例的用于请求用户同意的界面的图。

参照图7，示出了说明用于执行替代路径规则的方法的流程图700。流程图700可以包括步骤710到步骤760。步骤710到步骤760可以由图6所示的电子装置600运行。步骤710到步骤760可以分别用能够由电子装置600的处理器610执行(或运行)的指令来实现。指令可以存储在计算机可读记录介质或图6所示的电子装置600的存储器620中。在下文中，关于步骤710到步骤760的描述与参考图6给出的描述相同，在此可以不重复，并且在关于步骤710到步骤760的描述中可以引用图6的附图标记。

在步骤710，电子装置600可以经由麦克风640接收发出用于执行应用程序622的特定任务的请求的语音命令。

在步骤720，电子装置600可以经由无线通信电路630将接收到的语音命令发送至智能服务器200。

在步骤730，电子装置600可以经由无线通信电路630从智能服务器200接收包括用于执行任务的电子装置600的多个状态的路径规则。在步骤740，响应于路径规则的接收，电子装置600可以执行包括在路径规则中的多个状态。

在步骤750，电子装置600可以检测在多个状态的执行期间是否发生错误(或不可执行事件)。当未发生错误时，电子装置600可以完成接收到的路径规则的执行。

电子装置600的存储器620可以存储用于执行相同功能的多个路径规则。多个路径规则可以相互映射以便存储在存储器620中。

替代规则数据库624可以存储图8a所示的表数据810。每个路径规则可以具有路径规则ID。替代规则数据库624可以包括对应于每个路径规则ID的配对ID。配对ID可以被称为对应于路径规则的功能的类别。具有相同配对ID的路径规则可以执行相同的功能。以这种方式执行相同功能的路径规则可以相互映射并且可以被存储。

在步骤760，电子装置600可以执行另一路径规则，该路径规则预先存储在电子装置600中并且对应于接收到的路径规则。

电子装置600可以在替代规则数据库624中搜索与接收到的路径规则相对应的另一路径规则。电子装置600可以搜索被映射到接收到的路径规则并被存储的另一路径规则。电子装置600可执行所找到的路径规则作为替代路径规则。

替代规则数据库624可以由应用程序622的管理员实时或周期性地更新。当新功能被添加到应用程序622时，电子装置600可以经由电子装置600内部的数据库来提供该功能，即使电子装置600未使功能与电子装置600外部的智能服务器200同步。

在步骤710，电子装置600可以完成可选路径规则的执行，并且可以向智能服务器200发送用于语音命令的完成消息。在步骤730，电子装置600可以发送用于由智能服务器200发送的路径规则的完成消息。因为替代规则由作为用户终端的电子装置600执行，所以电子装置600可以允许通过发送用于第一接收路径规则的完成消息来通知智能服务器200路径规则的执行完成。

电子装置600可以管理执行与一个抽象路径规则(以下称为“抽象规则”)相同功能的多个路径规则。当完成路径规则或替代路径规则的执行时，电子装置600可以执行用于抽象规则的执行完成过程。电子装置600可以将用于抽象规则的执行完成消息发送至智能服务器200。电子装置600可以执行包括在替代路径规则中的多个状态的至少一部分。接收到的路径规则和替代路径规则可以包括公共状态。当通过执行由电子装置600接收的路径规则已经执行了公共状态时，电子装置600可以执行除了包括在替代路径规则中的状态中的公共状态之外的其余状态。

电子装置600可以在执行替代路径规则之前提供用于获得用于执行替代路径规则的批准输入的界面。电子装置600可以在执行步骤760之前向用户提供界面。电子装置600可以响应于基于界面获得的批准输入，执行包括在替代路径规则中的多个状态的至少一部分。当电子装置600获得用于界面的拒绝输入时，电子装置600可以向智能服务器200发送失败消息，而不执行替代路径规则。

参考图8b，电子装置600可以经由例如显示器来显示界面820。电子装置600可以经由界面820获得用于替代操作的批准输入。

电子装置600可以经由扬声器642输出用于获得用于执行替代路径规则的批准输入的语音消息。电子装置600可基于响应于语音消息的输出而接收到的批准输入来执行包括在替代路径规则中的多个状态的至少一部分。

图9是根据实施例的用于描述执行电子装置的替代路径规则的操作的一个场景的图。

路径规则可以包括由与执行路径规则的应用程序622不同的应用程序的插件执行的状态。从智能服务器200接收的路径规则可以包括由插件执行的状态。当插件没有安装在应用程序622上时，在执行接收到的路径规则时可能发生错误。在下文中，描述了在金融应用(例如，银行，支付)上执行汇款处理的场景的示例。

参照图9，示出了在支付应用(例如，三星支付或谷歌支付)上执行汇款功能的场景。用户可以发出语音命令，例如“汇款10000韩元”。与用户意图匹配的功能可以被称为(或匹配于)汇款功能。参照图9，屏幕901到屏幕913中的每一个可以是由支付应用显示的屏幕。支付应用可以预先将用于执行汇款功能的路径规则A和路径规则B存储在电子装置600中。路径规则A和路径规则B可以相互映射，并且可以存储在替代规则数据库624中。

“路径规则A”可以包括显示支付应用的主屏幕901(状态a-1)，在主屏幕901上选择卡/账户(状态a-2)，在用于显示支付装置的屏幕903上选择支付方式(状态a-3)，在功能选择屏幕905上为所选择的支付装置选择转移功能(状态a-4)，在密码输入屏幕907上输入密码(状态a-5)，并显示转移开始屏幕909(状态a-6)，作为多个状态。

“路径规则B”可以包括显示支付应用的主屏幕901(状态b-1)，在主屏幕901上选择插件银行服务(状态b-2)，显示所选择的银行应用主屏幕911(状态b-3)，在屏幕911上选择转移(状态b-4)，以及显示银行应用的转移屏幕913(状态b-5)，作为多个状态。状态b-3，状态b-4和状态b-5可以被称为经由插件驱动的另一个银行应用的功能。

电子装置600可响应于说“汇款10000韩元”(或$10,000)的语音命令从智能服务器200接收“路径规则B”。电子装置600可以尝试执行路径规则B的状态b-1到状态b-5。具体地，状态b-3到状态b-5可以由另一个银行应用的插件执行。当在电子装置600的支付应用中没有安装相应的插件时，在路径规则B的执行期间可能发生错误。

电子装置600可以响应于错误的发生，执行与路径规则B相同的执行“汇款功能”的路径规则A。此时，因为已经执行了路径规则A的状态a-1，所以电子装置600可以执行状态a-2至状态a-6。

电子装置600可以从外部状态检查服务器获得与路径规则相关联的各种状态信息。电子装置600可基于所获得的状态信息来确定是否执行替代路径规则。

特定路径规则可以要求预订特定服务，并且状态检查服务器可以提供服务的预订状态作为信息。特定路径规则可能需要安装由另一应用提供的插件。状态检查服务器可以将是否安装了插件作为状态信息提供。

电子装置600可以获得关于在支付应用上的插件安装的信息。在执行路径规则B之前，电子装置600可以基于插件安装信息确定不可能执行路径规则B，并且可以执行替代路径规则。

图10是根据实施例的用于确定替代路径规则的参数的方法的流程图。

参照图10，示出了流程图1000，其示出了用于确定替代路径规则的参数的方法。流程图1000可以包括步骤1010到步骤1070。步骤1010到步骤1070可以由图6所示的电子装置600执行。

包括在路径规则中的状态的至少一部分可以包括至少一个参数。智能服务器200可以确定参数的值，并且可以将包括参数值的状态发送至电子装置600。在步骤1010，电子装置600可以从智能服务器200接收包括状态的路径规则，在所述状态的每一个中确定参数。步骤1010可以对应于图7的步骤730。

在步骤1020处，当不可能执行所接收的路径规则时，电子装置600可确定是否存在对应于所接收到的路径规则的替代路径规则。电子装置600可以搜索替代规则数据库624。当没有找到替代规则时，电子装置600可以终止路径规则的执行。电子装置600可以向智能服务器200发送路径规则的执行失败消息。

在步骤1030，电子装置600可以确定包括在替代路径规则中的至少一个参数。电子装置600可以基于包括在从智能服务器200接收的路径规则中的参数来确定包括在替代路径规则中的参数。

参考图8a的表数据810，参数区域可以包括关于相应路径规则的哪个参数与特定路径规则的参数相匹配的信息。电子装置600可以使用彼此对应的预存路径规则之间的对应参数信息来确定替代路径规则的参数。

在步骤1040，电子装置600可以确定是否存在未确定的参数。当所有参数都被确定时，在步骤1050，电子装置600可以执行替代路径规则，并且可以将执行结果发送至智能服务器200。

当没有确定所有参数时，在步骤1060，电子装置600可以向智能服务器200请求参数信息。在步骤1070，电子装置600可基于从智能服务器200接收到的参数信息执行替代路径规则。电子装置600可以从智能服务器200接收关于未基于包括在接收到的路径规则中的参数确定的、来自包括在替代路径规则中的至少一个参数中的参数的信息。

参照图8a的表数据810，当选择其中服务器请求字段为“是”的路径规则作为替代路径规则时，电子装置600可以向智能服务器200请求执行替代路径规则的信息。

图11是根据实施例的用于确定在多个替代路径规则中要执行的路径规则的方法的流程图。

参照图11，示出了指示用于确定在多个替代路径规则中要执行的路径规则的方法的流程图1100。流程图1100可以包括步骤1110到步骤1130。步骤1110到步骤1130可以由图6所示的电子装置600执行。

可能存在与从智能服务器200接收的路径规则相对应的多个替代路径规则。在步骤1110，电子装置600可以搜索第一路径规则和第二路径规则，第一路径规则和第二路径规则中的每个都对应于接收到的路径规则。

在步骤1120，电子装置600可以识别第一路径规则和第二路径规则中的每一个的执行频率。在步骤1130，电子装置600可以执行在第一路径规则和第二路径规则中具有高执行频率的路径规则。电子装置600可以通过执行用户更多使用的路径规则来执行路径规则，以便来匹配用户的意图。

电子装置600可以经由无线通信电路630与登录服务器(例如，鲁宾服务器)通信。登录服务器可以存储日志记录，诸如已经输入了应用程序622的哪个屏幕、已经接收了哪个输入等。电子装置600可以从登录服务器接收日志记录。电子装置600可以基于所接收的日志记录来比较第一路径规则和第二路径规则中的每一个的执行频率。

电子装置600可以基于日志记录设置多个路径规则中的优先级。当频繁地记录已经进入特定屏幕的日志时，电子装置600可以将包括对应于屏幕的状态的路径规则的优先级设置为高。电子装置600可以预先设置路径规则中的优先级，并且可以存储优先级。

即使可能执行首先从智能服务器200接收的路径规则，电子装置600也可以执行替代路径规则。当替代路径规则的执行频率高于接收到的路径规则的执行频率时，用户更可能偏好替代路径规则。因此，电子装置600可经配置以基于执行频率来执行另一路径规则。

即使可能执行首先从智能服务器200接收的路径规则，电子装置600也可以基于当前状态信息执行替代路径规则。当应用程序622的当前执行状态基本上与完成了包括在替代路径规则中的大多数状态的状态相同时，电子装置600可以通过执行替代路径规则来减少执行时间。

图12是根据实施例的用于使用插件或路径执行任务的方法的流程图。参照图12，示出了说明使用插件或路径规则来执行任务的方法的流程图1200。流程图1200可以包括步骤1210到步骤1250。步骤1210到步骤1250可以由图6所示的电子装置600执行。

应用程序622可以包括用于执行任务的多个插件和路径。电子装置600可以将包括多个插件和/或路径的数据库作为应用程序622的一部分存储在存储器620中。多个插件和路径可以被映射到特定任务，以便被存储在存储器620中。

在步骤1210，电子装置600可以接收包括用于执行应用程序622的任务的请求的用户发声。在步骤1220，电子装置600可以经由通信电路630将与用户发声相关联的数据发送至外部服务器。

在步骤1230，电子装置600可以从外部服务器接收包括关于电子装置600的第一状态序列的信息的响应。电子装置600可以使用关于第一序列和应用程序622的信息来执行任务。

在步骤1240，电子装置600响应于该响应，可以尝试使用应用程序622的多个插件和/或路径中的第一选定的插件和/或路径来执行该任务。电子装置600可基于所接收的关于第一序列的信息来选择第一电子装置。

当使用第一选择的一个执行任务失败时，在步骤1250，电子装置600可以使用多个插件和/或路径中的第二选定的一个来执行任务。

电子装置600可以使用从多个插件和/或路径中选择的第二插件和/或路径来确定电子装置的第二状态序列。

应用程序可以包括支付应用。可以从外部服务器下载与支付应用相关联的插件和/或路径。

图13是根据各种实施例的网络环境1300中的电子装置1301的框图。参照图13，网络环境1300中的电子装置1301可经由第一网络1398(例如，短距离无线通信网络)与电子装置1302进行通信，或者经由第二网络1399(例如，长距离无线通信网络)与电子装置1304或服务器1308进行通信。根据实施例，电子装置1301可经由服务器1308与电子装置1304进行通信。根据实施例，电子装置1301可包括处理器1320、存储器1330、输入装置1350、声音输出装置1355、显示装置1360、音频模块1370、传感器模块1376、接口1377、触觉模块1379、相机模块1380、电力管理模块1388、电池1389、通信模块1390、用户识别模块1396或天线模块1397。在任何实施例中，可从电子装置1301中省略所述部件中的至少一个(例如，显示装置1360或相机模块1380)，或者可将一个或更多个其它部件包括在电子装置1301中。在任何实施例中，可将所述部件中的一些部件实现为单个集成电路。例如，可将传感器模块1376(例如，指纹传感器、虹膜传感器、或照度传感器)嵌入在显示装置1360(例如，显示器)中。

处理器1320可运行例如软件(例如，程序1340)来控制电子装置1301的与处理器1320连接的至少一个其它部件(例如，硬件部件或软件部件)，并可执行各种数据处理或操作。根据实施例，作为所述数据处理或操作的至少部分，处理器1320可将从任何其它部件(例如，传感器模块1376或通信模块1390)接收到的命令或数据加载到易失性存储器1332中，可对存储在易失性存储器1332中的命令或数据进行处理，并可将经处理的数据存储在非易失性存储器1334中。根据实施例，处理器1320可包括主处理器1321(例如，中央处理器或应用处理器)以及与主处理器1321在操作上独立的或者相结合的协同处理器1323(例如，图形处理装置、图像信号处理器、传感器中枢处理器或通信处理器)。另外地或者可选择地，协同处理器1323可被配置为比主处理器1321耗电更少，或者被适配为具体用于指定的功能。可将协同处理器1323实现为与主处理器1321分离，或者实现为主处理器1321的部分。

在主处理器1321处于未激活(例如，睡眠)状态时，协同处理器1323可控制与电子装置1301(而非主处理器1321)的部件之中的至少一个部件(例如，显示装置1360、传感器模块1376或通信模块1390)相关的功能或状态中的至少部分，并且例如在主处理器1321处于激活状态(例如，运行应用)时，协同处理器1323可与主处理器1321一起来控制与电子装置1301的至少一个部件(例如，显示装置1360、传感器模块1376或通信模块1390)相关的功能或状态中的至少一些。根据实施例，可将协同处理器1323(例如，图像信号处理器或通信处理器)实现为在功能上(或操作上)与协同处理器1323相关的任何其它部件(例如，相机模块1380或通信模块1390)的部分。

存储器1330可存储由电子装置1301的至少一个部件(例如，处理器1320或传感器模块1376)使用的各种数据。所述数据可包括例如软件(例如，程序1340)或针对与软件的命令相关的输入数据或输出数据。存储器1330可包括易失性存储器1332或非易失性存储器1334。

可将程序1340作为软件存储在存储器1330中，并且程序1340可包括例如操作***1342、中间件1344或应用1346。

输入装置1350可从电子装置1301的外部(例如，用户)接收将由电子装置1301的部件(例如，处理器1320)使用的命令或数据。输入装置1350可包括例如麦克风、鼠标或键盘。

声音输出装置1355可将声音信号输出到电子装置1301的外部。声音输出装置1355可包括例如扬声器或接收器。扬声器可用于诸如播放多媒体或播放唱片的通用目的，接收器可用于接收呼入呼叫。根据实施例，可将接收器实现为与扬声器分离，或实现为扬声器的部分。

显示装置1360可向电子装置1301的外部(例如，用户)视觉地提供信息。显示装置1360可包括例如显示器、全息装置或用于控制投影仪的控制电路以及相应装置。根据实施例，显示装置1360可包括被配置为感测触摸的触摸电路或被配置为测量由触摸引起的力的强度的传感器电路(例如，压力传感器)。

音频模块1370可将声音转换为电信号，或相反地，可将电信号转换为声音。根据实施例，音频模块1370可经由输入装置1350获得声音，或者可经由声音输出装置1355或与电子装置1301直接连接或无线连接的外部电子装置(例如，电子装置1302)(例如，扬声器或耳机)的输出声音。

传感器模块1376可感测电子装置1301的操作状态(例如，功率或温度)或外部的环境状态(例如，用户的状态)，然后可产生与感测到的状态相应的电信号或数据值。根据实施例，传感器模块1376可包括例如手势传感器、握持传感器、大气压力传感器、磁性传感器、加速度传感器、接近传感器、颜色传感器、红外(IR)传感器、生物特征传感器、温度传感器、湿度传感器或照度传感器。

接口1377可支持将可用来使电子装置1301与外部电子装置(例如，电子装置1302)直接和无线连接的一个或更多个特定协议。根据实施例，接口1377可包括例如高清晰度多媒体接口(HDMI)、通用串行总线(USB)接口、安全数字(SD)卡接口或音频接口。

连接端1378可包括连接器，其中，电子装置1301可允许所述连接器与外部电子装置(例如，电子装置1302)物理连接。根据实施例，连接端1378可包括例如HDMI连接器、USB连接器、SD卡连接器或音频连接器(例如，耳机连接器)。

触觉模块1379可将电信号转换为可被用户通过触觉或动觉识别的机械刺激(例如，振动或运动)或电刺激。根据实施例，触觉模块1379可包括例如电机、压电传感器或电刺激装置。

相机模块1380可捕获静止图像和视频。根据实施例，相机模块1380可包括一个或更多个透镜、图像传感器、图像信号处理器或闪光灯(或电动闪光灯)。

电力管理模块1388可管理对电子装置1301的供电。根据实施例，可将电力管理模块1388实现为例如电力管理集成电路(PMIC)的至少部分。

电池1389可对电子装置1301的至少一个部件供电。根据实施例，电池1389可包括例如不可再充电的原电池、可再充电的蓄电池、或燃料电池。

通信模块1390可在电子装置1301与外部电子装置(例如，电子装置1302、电子装置1304或服务器1308)之间建立直接(例如，有线)通信信道或无线通信信道，或经由建立的通信信道执行通信。通信模块1390可包括能够与处理器1320(例如，应用处理器)独立操作的一个或更多个通信处理器，并支持直接(或有线)通信或无线通信。根据实施例，通信模块1390可包括无线通信模块1392(例如，蜂窝通信模块、短距离无线通信模块或全球导航卫星***(GNSS)通信模块)或有线通信模块1394(例如，局域网(LAN)通信模块或电力线通信模块)。这些通信模块中的相应通信模块可经由第一网络1398(例如，短距离通信网络，诸如蓝牙、Wi-Fi直连或红外数据协会(IrDA))或第二网络1399(例如，长距离通信网络，诸如蜂窝网络、互联网、或计算机网络(例如，LAN或WAN))与外部电子装置进行通信。可将上述描述类型的通信模块实现为单个部件(例如，单个芯片)，或可将这些各种类型的通信模块实现为彼此分离的多个部件(例如，多个芯片)。无线通信模块1392可使用存储在用户识别模块1396中的用户信息(例如，国际移动用户识别码(IMSI))识别并验证通信网络(诸如第一网络1398或第二网络1399)中的电子装置1301。

天线模块1397可将信号或电力发送到电子装置1301的外部(例如，外部电子装置)或者从电子装置1301的外部(例如，外部电子装置)接收信号或电力。根据实施例，天线模块1397可包括一个或多个天线。并且可由例如通信模块1390从所述一个或多个天线中选择适合于在计算机网络(诸如第一网络1398或第二网络1399)中使用的通信方案的至少一个天线。随后可经由所选择的至少一个天线在通信模块1390和外部电子装置之间交换信号或电力或可通过所选择的至少一个天线和通信模块1390从外部电子装置接收。

部件中的至少一些可在外设间通过通信方案(例如，总线、通用输入输出(GPIO)、串行外设接口(SPI)或移动工业处理器接口(MIPI))相互连接并在它们之间通信地交换信号(例如，命令或数据)。

根据实施例，可经由与第二网络1399连接的服务器1308在电子装置1301和外部电子装置1304之间发送或接收(或交换)命令或数据。电子装置1302和电子装置1304中的每一个可以是与电子装置1301相同类型的装置，或者是与电子装置1301不同类型的装置。根据实施例，将在电子装置1301运行的全部操作或部分操作可在外部电子装置1302、外部电子装置1304或服务器1308中的一个或更多个外部设备运行。例如，如果在电子装置1301应该自动执行任何功能或服务或者应该响应于来自用户或任何其它装置的请求执行功能或服务的情况下，则电子装置1301可请求所述一个或更多个外部电子装置执行所述功能或服务中的至少部分，而不是内部运行所述功能或服务，或者电子装置1301除了运行所述功能或服务以外，还可请求所述一个或更多个外部电子装置执行所述功能或服务中的至少部分。接收到所述请求的所述一个或更多个外部电子装置可执行所述功能或服务中的所请求的所述至少部分，或者执行与所述请求相关的另外功能或另外服务，并可提供电子装置1301的执行结果。电子装置1301可按原样或另外处理所接收的结果，并可将所述结果提供作为对所述请求的至少部分答复。为此，可使用例如云计算技术、分布式计算技术或客户机-服务器计算技术。

在这里公开的公开内容中，这里使用的表述“具有”、“可以具有”、“包括”和“包含”或者“可以包括”和“可以包含”表示相应特征(例如，诸如数值、函数、操作或组件的元件)的存在，但是不排除附加特征的存在。

在本文公开的公开内容中，本文使用的表述“A或B”、“A或/和B中的至少一个”或“A或/和B中的一个或多个”等可以包括一个或多个相关列出的项目的任何和所有组合。例如，术语“A或B”、“A和B中的至少一个”或“A或B中的至少一个”可以指以下所有情形：(1)包括至少一个A的情形；(2)包括至少一个B的情形；或(3)包括至少一个A和至少一个B的情形。

这里使用的术语，例如“第一”、“第二”等，可以指本公开的各种实施例的各种元件，但不限于这些元件。例如，这种术语仅用于将一个元件与另一个元件区分开，而不限于元件的顺序和/或优先级。例如，第一用户设备和第二用户设备可以表示不同的用户设备，而与顺序或重要性无关。例如，在不脱离本公开的范围的情况下，第一元件可以被称为第二元件，并且类似地，第二元件可以被称为第一元件。

应当理解，当一个元件(例如，第一元件)被称为与另一个元件(例如，第二元件)“(可操作地或通信地)联接”或“连接到”另一个元件(例如，第二元件)时，它可以直接与另一个元件联接/或连接到另一个元件，或者可以存在中间元件(例如，第三元件)。相反，当一个元件(例如，第一元件)被称为“直接与另一个元件(例如，第二元件)联接”或“直接连接到”另一个元件(例如，第二元件)时，应当理解，不存在中间元件(例如，第三元件)。

根据这种情况，这里使用的表述“被配置为”可以用作，例如，表述“适于”、“具有能力为”、“被设计为”、“适用于”、“被制造为”或“能够”。术语“被配置为(或被设置为)”不一定仅意味着“专门设计为”在硬件中。相反，表述"被配置为"的设备可以意味着该设备能够与另一设备或其它部件一起“操作”。例如，CPU“被配置成(或被设置成)执行A、B和C的处理器”可以意味着用于执行相应操作的专用处理器(例如，嵌入式处理器)，或者可以通过执行存储在存储器设备中的一个或多个软件程序来执行相应操作的通用处理器(例如，中央处理单元(CPU)或应用处理器)。

本说明书中使用的术语用于描述本公开内容的特定实施例，并且不旨在限制本公开内容的范围。除非另有说明，否则单数形式的术语可包括复数形式。除非本文另有定义，否则本文所用的所有术语(包括技术或科学术语)可具有本领域技术人员通常理解的相同含义。将进一步理解，除非在本公开的各种实施例中明确地如此定义，否则在字典中定义且通常使用的术语也应被解释为在相关的相关领域中的惯例，而不是在理想化的或过分正式的检测中。在一些情况下，即使术语是在说明书中定义的术语，它们也不能被解释为排除本公开的实施例。

根据各种实施例，电子装置包括：扬声器；麦克风，被配置为接收用户的发声输入；通信电路；处理器，可操作地连接到所述通信电路、所述麦克风和所述扬声器，并位于外壳内；以及存储器，被配置为存储应用程序，所述应用程序包括用于执行与所述发声输入相对应的任务的多个插件和/或路径，其中，所述存储器存储指令，所述指令在被执行时使得所述处理器：经由所述麦克风接收包括用于执行所述任务的请求的所述发声输入；经由所述通信电路将与所述发声输入相关联的数据发送至外部服务器；经由所述通信电路从所述外部服务器接收包括关于所述电子装置的第一状态序列的信息的响应，以使用所述应用程序执行所述任务；响应于所述响应，使用所述多个插件和/或路径中的第一选定的插件和/或路径尝试执行所述任务；以及当使用所述第一选定的插件和/或路径执行所述任务失败时，使用所述多个插件和/或路径中的第二选定的插件和/或路径执行所述任务。

根据各种实施例，存储器存储指令，所述指令在被执行时使处理器将包括所述多个插件和/或路径的数据库作为所述应用程序的一部分存储在存储器中。

根据各个实施例，存储器存储指令，所述指令在被执行时使得处理器使用所述多个插件和/或路径中的所述第二选定的插件和/或路径确定所述电子装置的第二状态序列。

根据各个实施例，存储器存储指令，所述指令在被执行时使处理器相对于所述第二状态序列使用与所述第一状态序列相关联的参数。

根据各种实施例，应用程序包括支付应用，并且多个插件和/或路径从外部服务器下载。

根据各个实施例，电子装置包括麦克风；无线通信电路；至少一个处理器；以及存储器，被配置为存储支持任务的应用程序并包括用于执行所述任务的第一路径规则的数据库，其中，所述第一路径规则包括所述电子装置的多个第一状态，其中，所述存储器存储指令，所述指令在被执行时使所述至少一个处理器：经由所述麦克风接收发出执行所述任务的请求的语音命令，经由所述无线通信电路向外部服务器发送所述语音命令，经由所述无线通信电路从所述外部服务器接收包括用于执行所述任务的所述电子装置的多个第二状态的第二路径规则，响应于接收到所述第二路径规则，执行包括在所述第二路径规则中的所述多个第二状态，并且当在执行所述多个第二状态期间发生错误时，执行包括在所述第一路径规则中的所述多个第一状态的至少一部分。

根据各个实施例，第一路径规则在被映射到第二路径规则之后被存储。

根据各个实施例，数据库被配置为存储包括所述第一路径规则和所述第二路径规则的映射信息的表。

根据各个实施例，所述电子装置还包括显示器，其中，所述指令在被执行时还使所述至少一个处理器经由所述显示器输出用于获得用于执行所述多个第一状态的所述至少一部分的批准输入的界面；以及响应于基于所述界面获得的所述批准输入，执行所述多个第一状态的所述至少一部分。

根据各个实施例，所述电子装置还包括扬声器，其中所述存储器存储指令，所述指令在被执行时使所述至少一个处理器经由所述扬声器输出语音消息，以获得用于执行所述多个第一状态的所述至少一部分的批准输入；以及响应于基于所述语音消息的所述输出获得的所述批准输入，执行所述多个第一状态的所述至少一部分。

根据各个实施例，所述多个第二状态的至少一部分包括至少一个第二参数，并且所述存储器存储指令，所述指令在被执行时使所述至少一个处理器基于所述至少一个第二参数执行所述多个第一状态的所述至少一部分。

根据各个实施例，所述存储器存储指令，所述指令在被执行时使所述至少一个处理器基于所述至少一个第二参数确定包括在所述多个第一状态中的至少一个第一参数。

根据各个实施例，所述存储器存储指令，所述指令在被执行时使至少一个处理器从所述外部服务器接收关于来自所述至少一个第一参数中的、未基于所述第二参数确定的参数的信息。

根据各个实施例，所述数据库还包括用于执行所述任务的第三路径规则，所述第三路径规则在被映射到所述第二路径规则之后被存储，并且所述存储器存储指令，所述指令在被执行时使所述至少一个处理器当执行所述多个第二状态期间发生错误时，查找与所述第二路径规则对应的所述第一路径规则和所述第三路径规则；以及执行包括在基于所找到的第一路径规则和所找到的第三路径规则中的每一个的执行频率确定的第一路径规则中的所述多个第一状态的至少一部分。

根据各个实施例，所述多个第二状态包括由插件执行的状态，所述插件由不同于所述应用程序的应用程序提供，并且所述存储器存储所述指令，所述指令在被执行时使至少一个处理器当未安装所述插件时，执行所述多个第一状态的所述至少一部分。

根据各个实施例，所述存储器存储指令，所述指令在被执行时使所述至少一个处理器从状态检查服务器获得插件的安装信息，当确定不可能执行第二路径规则时，基于在执行所述多个第二状态之前的安装信息，执行所述多个第一状态的至少一部分。

根据各个实施例，所述存储器存储指令，所述指令在被执行时使所述至少一个处理器获取所述多个第二状态的状态信息，以及执行基于所述状态信息确定的所述多个第一状态的所述至少一部分。

根据各个实施例，所述多个第一状态和所述多个第二状态包括至少一个公共状态，并且所述存储器存储指令，所述指令在被执行时使得所述至少一个处理器当通过基于所述状态信息执行所述多个第二状态完成所述至少一个公共状态的执行时，执行所述多个第一状态中除所述至少一个公共状态之外的其余状态的至少一部分。

根据各个实施例，所述存储器存储指令，所述指令在被执行时使所述至少一个处理器在完成所述多个第一状态的至少一部分的执行时，向所述外部服务器发送用于所述语音命令的完成消息。

根据各个实施例，所述存储器存储指令，所述指令在被执行时使所述至少一个处理器将用于所述第二路径规则的完成消息发送至所述外部服务器。

虽然已经参考本公开的各种实施例示出和描述了本公开，但是本领域技术人员将理解，在不脱离由所附权利要求及其等同物限定的本公开的范围的情况下，可以在形式和细节上进行各种改变。

Claims (15)

1.电子装置，包括：

扬声器；

麦克风，被配置为接收用户的发声输入；

通信电路；

处理器，可操作地连接到所述通信电路、所述麦克风和所述扬声器；以及

存储器，被配置为存储应用程序，所述应用程序包括用于执行与所述发声输入相对应的任务的多个插件和/或路径，

其中，所述存储器存储指令，所述指令在被执行时使得所述处理器：

经由所述麦克风接收包括用于执行所述任务的请求的所述发声输入；

经由所述通信电路将与所述发声输入相关联的数据发送至外部服务器；

经由所述通信电路从所述外部服务器接收包括关于所述电子装置的第一状态序列的信息的响应，以使用所述应用程序执行所述任务；

执行与所述任务对应的第一应用；

经由安装在所述第一应用中的插件，执行与所述第一应用不同的第二应用；

响应于所述响应，使用所述第二应用尝试执行所述任务；以及

当使用所述第二应用执行所述任务失败时，通过所述第一应用中执行的第二状态序列来执行所述任务。

2.根据权利要求1所述的电子装置，其中，所述指令在被执行时还使得所述处理器：

将包括所述多个插件和/或路径的数据库作为所述应用程序的一部分存储在所述存储器中。

3.根据权利要求1所述的电子装置，其中，所述指令在被执行时还使得所述处理器：

使用所述多个插件和/或路径确定所述电子装置的所述第二状态序列。

4.根据权利要求3所述的电子装置，其中，所述指令在被执行时还使得所述处理器：

相对于所述第二状态序列使用与所述第一状态序列相关联的参数。

5.电子装置，包括：

麦克风；

无线通信电路；

至少一个处理器；以及

存储器，被配置为存储支持任务的应用程序并包括用于执行所述任务的第一路径规则的数据库，其中，所述第一路径规则包括所述电子装置的多个第一状态，

其中，所述存储器存储指令，所述指令在被执行时使所述至少一个处理器：

经由所述麦克风接收发出执行所述任务的请求的语音命令；

经由所述无线通信电路向外部服务器发送所述语音命令；

经由所述无线通信电路从所述外部服务器接收用于执行所述任务的包括所述电子装置的多个第二状态的第二路径规则；

执行与所述任务对应的第一应用；响应于接收到所述第二路径规则，经由安装在所述第一应用中的插件，执行第二应用，

并使用所述第二应用执行包括在所述第二路径规则中的所述多个第二状态；以及

当在执行所述多个第二状态期间发生错误时，使用所述第一应用执行包括在所述第一路径规则中的所述多个第一状态的至少一部分。

6.根据权利要求5所述的电子装置，其中，所述数据库被配置为：

存储包括所述第一路径规则和所述第二路径规则的映射信息的表。

7.根据权利要求5所述的电子装置，还包括：

显示器，

其中，所述指令在被执行时还使所述至少一个处理器：

经由所述显示器输出用于获得用于执行所述多个第一状态的所述至少一部分的批准输入的界面；以及

响应于基于所述界面获得的所述批准输入，执行所述多个第一状态的所述至少一部分。

8.根据权利要求5所述的电子装置，还包括：

扬声器，

其中，所述指令在被执行时还使所述至少一个处理器：

经由所述扬声器输出语音消息，以获得用于执行所述多个第一状态的所述至少一部分的批准输入；以及

响应于基于所述语音消息的所述输出获得的所述批准输入，执行所述多个第一状态的所述至少一部分。

9.根据权利要求5所述的电子装置，其中，所述多个第二状态的至少一部分包括至少一个第二参数，并且

其中，所述指令在被执行时还使所述至少一个处理器：

基于所述至少一个第二参数执行所述多个第一状态的所述至少一部分。

10.根据权利要求9所述的电子装置，其中，所述指令在被执行时还使所述至少一个处理器：

基于所述至少一个第二参数确定包括在所述多个第一状态中的至少一个第一参数。

11.根据权利要求10所述的电子装置，其中，所述指令在被执行时还使所述至少一个处理器：

从所述外部服务器接收关于来自所述至少一个第一参数中的、未基于所述第二参数确定的参数的信息。

12.根据权利要求5所述的电子装置，其中，所述数据库还包括用于执行所述任务的第三路径规则，所述第三路径规则在被映射到所述第二路径规则之后被存储，并且

其中，所述指令在被执行时还使所述至少一个处理器：

当执行所述多个第二状态期间发生错误时，查找与所述第二路径规则对应的所述第一路径规则和所述第三路径规则；以及

执行包括在基于所找到的第一路径规则和所找到的第三路径规则中的每一个的执行频率而确定的第一路径规则中的所述多个第一状态的至少一部分。

13.根据权利要求5所述的电子装置，其中，所述多个第二状态包括由插件执行的状态，所述插件由不同于所述应用程序的应用程序提供，并且

其中，所述指令在被执行时还使所述至少一个处理器：

当未安装所述插件时，执行所述多个第一状态的所述至少一部分。

14.根据权利要求5所述的电子装置，其中，所述指令在被执行时还使所述至少一个处理器：

获取所述多个第二状态的状态信息；以及

执行基于所述状态信息确定的多个第一状态的所述至少一部分。

15.根据权利要求14所述的电子装置，其中，所述多个第一状态和所述多个第二状态包括至少一个公共状态，并且

其中，所述指令在被执行时还使所述至少一个处理器：

当通过基于所述状态信息执行所述多个第二状态完成所述至少一个公共状态的执行时，执行所述多个第一状态中除所述至少一个公共状态之外的其余状态的至少一部分。