CN111477231A - 人机交互方法、装置和存储介质 - Google Patents

Abstract

本发明实施例提供一种人机交互方法、装置和存储介质，该方法包括：智能机器人采集用户语音；在机器对话模式下，获取与用户语音对应的第一应答信息；在人工对话模式下，将用户语音和第一应答信息发送至人工客服；若人工客服确定以第一应答信息响应用户语音，则输出第一应答信息。通过该方案，由人工客服协助智能机器人来对用户语音进行响应处理，可以避免在一些情况下完全由智能机器人自主进行响应处理而易导致的响应结果准确性欠佳的问题。

Description

人机交互方法、装置和存储介质

技术领域

本发明涉及人工智能技术领域，尤其涉及一种人机交互方法、装置和存储介质。

背景技术

随着人工智能技术的发展，各种智能机器人越来越多地进入人们的生活，比如物流机器人、扫地机器人，迎宾机器人等等。

为便利用户，很多智能机器人都支持多种人机交互方式，比如传统的基于触摸操作的人机交互方式，以及目前普遍支持的语音交互方式，等等。

通过赋能智能机器人自动语音识别(Automatic Speech Recognition，简称ASR)技术、自然语言处理(natural language processing，简称NLP)技术、语音合成即从文本转换为语音(Text To Speech，简称TTS)技术，使得智能机器人能够实现与用户之间的语音交互。

发明内容

本发明实施例提供一种人机交互方法、装置和存储介质，用以获得更加准确的问答结果。

本发明实施例提供一种人机交互方法，由智能机器人执行，该方法包括：

采集用户语音；

在机器对话模式下，获取与所述用户语音对应的第一应答信息；

在人工对话模式下，将所述用户语音和所述第一应答信息发送至人工客服；

若所述人工客服确定以所述第一应答信息响应所述用户语音，则输出所述第一应答信息。

本发明实施例提供一种人机交互装置，包括：

采集模块，用于采集用户语音；

获取模块，用于在机器对话模式下，获取与所述用户语音对应的第一应答信息；

发送模块，用于在人工对话模式下，将所述用户语音和所述第一应答信息发送至人工客服；

输出模块，用于若所述人工客服确定以所述第一应答信息响应所述用户语音，则输出所述第一应答信息。

本发明实施例提供一种智能机器人，包括：处理器和存储器；其中，所述存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器执行时实现：

采集用户语音；

在机器对话模式下，获取与所述用户语音对应的第一应答信息；

在人工对话模式下，将所述用户语音和所述第一应答信息发送至人工客服；

若所述人工客服确定以所述第一应答信息响应所述用户语音，则输出所述第一应答信息。

本发明实施例提供了一种存储计算机指令的计算机可读存储介质，当所述计算机指令被一个或多个处理器执行时，致使所述一个或多个处理器至少执行以下的动作：

采集用户语音；

在机器对话模式下，获取与所述用户语音对应的第一应答信息；

在人工对话模式下，将所述用户语音和所述第一应答信息发送至人工客服；

若所述人工客服确定以所述第一应答信息响应所述用户语音，则输出所述第一应答信息。

本发明实施例还提供一种人机交互方法，应用于智能机器人，所述方法包括：

采集用户语音；

若确定不需要将所述智能机器人由当前的机器对话模式切换为人工对话模式，则在所述机器对话模式下，获取与所述用户语音对应的第一应答信息；

输出所述第一应答信息。

在本发明实施例中，当用户与智能机器人进行人机交互时，用户向智能机器人输出用户语音，机器人在采集到用户语音后，可以先自主地采用机器对话模式获取用于响应该用户语音的第一应答信息。同时，智能机器人还可以采用人工对话模式对该用户语音进行处理。具体来说，智能机器人还启动人工对话模式，从而在人工对话模式下，将该用户语音和第一应答信息发送至人工客服，由人工客服确定是否以该第一应答信息响应用户语音。如果人工客服认为以第一应答信息响应用户语音即可，则告知智能机器人以第一应答信息对用户语音进行响应，从而，智能机器人向用户输出第一应答信息。通过该方案，由人工客服协助智能机器人来对用户语音进行响应处理，可以避免在一些情况下完全由智能机器人自主进行响应处理而易导致的回复结果准确性欠佳的问题。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种人机交互方法的流程图；

图2为本发明实施例提供的人机交互方法的一种执行过程的示意图；

图3为本发明实施例提供的另一种人机交互方法的流程图；

图4为本发明实施例提供的一种关联规则挖掘方法的流程图；

图5为本发明实施例提供的又一种人机交互方法的流程图；

图6为本发明实施例提供的一种人机交互装置的结构示意图；

图7为与图6所示实施例提供的人机交互装置对应的智能机器人的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式。除非上下文清楚地表示其他含义，“多个”一般包含至少两个。

取决于语境，如在此所使用的词语“如果”、“若”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地，取决于语境，短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的商品或者***不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种商品或者***所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的商品或者***中还存在另外的相同要素。

另外，下述各方法实施例中的步骤时序仅为一种举例，而非严格限定。

在详细介绍本发明实施例提供的人机交互方法之前，针对用户以语音方式与智能机器人进行交互的场景，先对目前智能机器人与用户的主要对话模式进行介绍。

目前，智能机器人与用户的对话模式主要分为两种，一种是全自动模式，可以称为机器对话模式；一种是全人工模式，可以称为人工对话模式。

其中，机器对话模式，顾名思义，是指与用户的所有对话交互，全部由智能机器人自主完成，并不需要人工干预。这种模式的好处是智能机器人完全替代了人工的工作，极大节省了人力成本。但由于目前的人工智能技术还不成熟，智能机器人的智能化程度还较低，一般很难流利地完成与用户的对话交流。比如在很多实际应用中，用户提出的很多问题智能机器人要么回答不上来，要么答非所问，问答结果的准确性较差。

人工对话模式，是指本质上完全由后台的人工客服来与用户进行对话，只是将人工客服对用户问题的回复结果通过智能机器人输出的方式。这种模式下，用户能够获得更加准确的问答结果，但同时由于完全需要人工客服的介入，即使是不同用户提出相似的问题，都需要借助人工客服独立地进行响应，人力成本将会是一个很大支出。

综上，单纯的采用机器对话模式或者人工对话模式，都会由于技术或者成本的限制，存在一些弊端。因此，迫切需要一种解决方案，能够兼顾目前这两种模式的优缺点，以合理的成本为用户输出更加准确地、有针对性的问答结果，为此，提供了本发明实施例的人机交互方法。

下面结合以下的实施例对本文提供的人机交互方法进行详细介绍。

实际应用中，该人机交互方法可以由诸如迎宾机器人、物流机器人、政务机器人、家居机器人等智能机器人来执行，当然，该人机交互方法也可以由诸如在线购物***中集成的人机交互插件(或者称为人机交互接口、人机交互功能模块)来执行，该人机交互方法还可以由诸如智能家电、智能穿戴设备等智能终端来执行。泛泛而言，该人机交互方法可以适用于任何支持以语音方式与用户进行交互的设备、***中。

图1为本发明实施例提供的一种人机交互方法的流程图，如图1所示，该方法可以包括如下步骤：

101、采集用户语音。

102、在机器对话模式下，获取与用户语音对应的第一应答信息。

103、在人工对话模式下，将用户语音和第一应答信息发送至人工客服。

104、若人工客服确定以第一应答信息响应用户语音，则输出第一应答信息。

以智能机器人执行本实施例提供的人机交互方法为例，智能机器人上可以安装有诸如麦克风等拾音器件，从而，当用户对智能机器人说出某条用户语音时，智能机器人可以通过拾音器件采集用户语音。

实际应用中，比如当用户想要查询某地的某日的天气情况时，可以对智能机器人说出“苏州明天的天气如何”这样的用户语音。当用户在购物时，可以对智能机器人说出“最近有什么团购吗”这样的用户语音。

本实施例中，智能机器人可以既启动机器对话模式，又启动人工对话模式。从而，当智能机器人采集到用户语音后，一方面，可以通过机器对话模式对该用户语音进行响应处理，得到第一应答信息；另一方面，智能机器人也可以通过人工对话模式，将获得的第一应答信息和采集的用户语音发送至人工客服。

在机器对话模式下，用户可以与智能机器人进行至少一轮的人机对话，在每一轮人机对话中，智能机器人可以自主地获得用于响应当前一轮用户语音的应答信息，因此，上述第一应答信息可以对应于当前一轮人机对话的用户语音。当然，可选地，在多轮人机对话的情形中，上述第一应答信息也可以是其中某一轮用户语音输出后智能机器人获得的应答信息。

综上，智能机器人在与用户进行至少一轮的人机对话过程中，可以将每一轮采集的用户语音以及获得的与该用户语音对应的应答信息发送至人工客服；也可以在执行到某一轮时，将当前一轮人机对话过程中用户输出的用户语音以及智能机器人获得的与该用户语音对应的应答信息发送至人工客服。

其中，将第一应答信息和用户语音发送至人工客服的目的是：让人工客服判断以该第一应答信息对用户语音进行响应是否合适。基于此，人工客服在接收到用户语音和第一应答信息时，如果认为第一应答信息已经能够准确地对用户语音进行响应，则可以向智能机器人反馈指示以该第一应答信息响应用户语音的指示信息，从而，智能机器人向用户输出该第一应答信息。相反地，人工客服如果认为不能以第一应答信息响应用户语音，则可以根据用户语音人工输入或检索合适的第二应答信息，并指示智能机器人以该第二应答信息响应用户语音，从而，智能机器人向用户输出第二应答信息。

其中，可选地，在智能机器人通过机器对话模式自主地获取与用户语音对应的第一应答信息的过程中，智能机器人可以先将用户语音转换为对应的文字内容，进而可以在智能机器人对应的知识库中寻找与该文字内容匹配的问题模板，若找到与该文字内容匹配的问题模板，则可以将与该问题模板对应的标准应答内容作为第一应答信息。值得说明的是，即使没有找到与该文字内容匹配的问题模板，在一可选方式中，智能机器人也可以以某默认配置的应答内容作为第一应答信息，比如：不存在自动应答信息。

其中，问题模板可以表示为关联规则，或者是与关联规则对应的示例语句。实际上，关联规则就是有关联的规则，其描述了在一个事务中不同对象之间同时出现的规律，比如在一次购物行为中，商品A的出现对商品B的出现有何影响。举例来说，如果发现购买啤酒的用户一定会购买尿布，那么，啤酒–>尿布就是一条关联规则。关联规则的挖掘方式在后续实施例中会说明。

举例来说，假设某条关联规则表示为[时间词，有，优惠]，这条关联规则对应的示例语句比如可以是“请问，今天有优惠活动吗”。基于该举例，假设用户语音为“最近有团购吗”，则认为该用户语音与这条关联规则匹配，从而，智能机器人查询对应的优惠活动信息，将查询得到的优惠活动信息作为与该用户语音对应的第一应答信息。

由上述举例可知，这里所说的用户语音与关联规则匹配，可以是指用户语音中完全依次包含构成这条关联规则的各关键词，或者，完全依次包含与构成这条关联规则的各关键词相似的词语，比如团购与优惠相似。

另外，可以理解的是，上述智能机器人获取第一应答信息的过程，可以在智能机器人本地实现，也可以是智能机器人通过与位于云端的服务器进行交互以获得第一应答信息，比如：智能机器人将用户语音发送至服务器，服务器获取第一应答信息并反馈给智能机器人。

如前文所述，智能机器人一方面通过机器对话模式自主地获取与用户语音对应的第一应答信息，与此同时，还可以通过人工对话模式借由人工客服对该用户语音进行响应处理。

实际上，在一可选方式中，智能机器人可以在采集到用户语音时即将用户语音转接至人工客服，之后，在获得第一应答信息时，再将第一应答信息发送至人工客服。在该可选方式下，人工客服在接收到用户语音后，可以人工输入或检索获得与该用户语音对应的第二应答信息，进而，在接收到第一应答信息之后，人工客服从第一应答信息和第二应答信息中选择最终用于响应用户语音的目标应答信息。

该可选方式的执行过程如图2所示：在步骤s1中，智能机器人采集到用户语音；在步骤s2中，智能机器人在人工对话模式下将用户语音发送至人工客服；在步骤s3中，智能机器人在机器对话模式下获得第一应答信息；在步骤s4中，智能机器人在人工对话模式下将第一应答信息发送至人工客服；在步骤s5中，人工客服获得第二应答信息，并从第一应答信息和第二应答信息中选择出目标应答信息；在步骤s6中，人工客服将目标应答信息发送至智能机器人；在步骤s7中，智能机器人向用户输出目标应答信息。

可以理解的是，由于第一应答信息和第二应答信息都可以是文字形式的信息，因此，在智能机器人向用户输出作为目标应答信息的第一应答信息或第二应答信息时，如有必要，可以通过语音合成技术将目标应答信息转换为语音形式进行输出。

综上，在本文提供的人机交互方法中，通过人机协作的方式实现了对用户语音的准确应答。其中，智能机器人通过机器对话模式自主地获得与用户语音对应的第一应答信息，使得人工客服可以以该第一应答信息为参考，对第一应答信息是否适宜最终响应用户语音进行评断，当第一应答信息可以最终用作响应用户语音时，人工客服无需再自主输入或检索用户语音的其他应答信息，只有在智能机器人自主获得的第一应答信息不适宜用于响应用户语音时，才需要人工客服自主输入或检索其他应答信息，如此便简化了人工客服的工作量，且保证了用户语音的最终响应结果的准确性。

图3为本发明实施例提供的另一种人机交互方法的流程图，如图3所示，该方法可以包括如下步骤：

301、采集用户语音。

302、确定是否需要将智能机器人由当前的机器对话模式切换为人工对话模式，若不需要，则执行步骤303-304，若需要，则执行步骤305-306。

303、在机器对话模式下，获取与用户语音对应的第一应答信息。

304、输出第一应答信息。

305、在人工对话模式下，将用户语音发送至人工客服。

306、输出人工客服反馈的第二应答信息。

为兼顾机器对话模式和人工对话模式各自的优势，在一可选实施例中，可以根据实际情况择一选择这两种模式之一为用户提供服务。具体地，在智能机器人采集到用户语音后，可以对该用户语音进行识别，以确定应该采用哪种模式对该用户语音进行响应处理，亦即确定是否需要将用户语音转接至人工客服。由于默认情况下，智能机器人工作于机器对话模式，因此，亦即确定是否需要将智能机器人由当前的机器对话模式切换为人工对话模式。

当确定不需要将智能机器人由当前的机器对话模式切换为人工对话模式时，则保持智能机器人继续工作于机器对话模式，此时，智能机器人可以通过前述实施例中提及的方式自主地获得响应用户语音的第一应答信息，向用户输出该第一应答信息。

相反地，如果确定需要将智能机器人由当前的机器对话模式切换为人工对话模式，则智能机器人启动人工对话模式，以将用户语音发送至某人工客服，该人工客服可以根据经验人工输入或检索用于响应该用户语音的第二应答信息，并将第二应答信息发送至智能机器人，智能机器人向用户输出该第二应答信息。

本实施例中，提供如下几种可选的方式以用于确定是否需要将智能机器人由当前的机器对话模式切换为人工对话模式，亦即确定智能机器人应该采用何种模式对用户语音进行响应处理。

在一可选方式中，若智能机器人检测到特定的异常事件发生，则确定需要将智能机器人由当前的机器对话模式切换为人工对话模式。特定的异常事件可以包括如下事件中的至少一种：用户语音对应的用户为特定的用户，智能机器人发生了特定的故障，环境噪声满足特定条件。

其中，特定的用户，可以俗称为VIP用户，在采集用户语音后，智能机器人可以对用户语音进行声纹特征识别，并与预先采集的VIP用户的声纹特征进行对比，以确定当前用户语音对应的用户是否为某VIP用户。当然，在采集用户语音的同时，智能机器人还可以通过摄像头采集相应用户的头像，通过人脸识别技术，将采集的头像与预先存储的VIP用户的人脸图像进行对比，以确定当前用户是否为某VIP用户。

实际应用中，智能机器人发生的特定故障比如可以是智能机器人的机器对话模式工作异常而报错、网络质量较差，等等。

在一些实际应用场合中，智能机器人所处的环境可能会比较嘈杂，此时，在采集用户语音的同时，可能也采集信号强度较高的环境噪声，此时，有用的用户语音可能淹没在环境噪声中，而当环境噪声的信号强度较大时，会对智能机器人通过机器对话模式对用户语音进行准确识别产生不利影响，因此，此时可以采用人工对话模式。

当然，实际上异常事件还可以包括其他情形，在此不进行罗列。

在另一可选方式中，智能机器人可以确定知识库中是否存在与用户语音匹配的关联规则，若不存在，则确定需要将智能机器人由当前的机器对话模式切换为人工对话模式，相反地，若存在，则确定继续保持智能机器人工作于机器对话模式下。如前文所述，知识库中可以存储有预先建立的若干关联规则，而每条关联规则往往都是基于对大量的历史样本语料挖掘出来的，这些历史样本语料可以是历史上智能机器人采集到的大量用户的用户语音。基于这些关联规则的挖掘，可以发现一些用户的共性问题，从而制定出相应的自动应答策略，以便智能机器人在机器对话模式下基于该自动应答策略获得匹配于某关联规则的用户语音的应答信息。

下面介绍一种挖掘关联规则的方式，如图4所示，具体可以包括如下步骤：

401、获取多个历史样本语料。

可以通过收集一个或多个智能机器人历史上各自采集的用户语音，并对采集到的用户语音进行文本转换，以得到上述多个历史样本语料。在一些实际应用中，这些用户语音往往对应于用户的各种咨询问题。而对某种智能机器人来说，其往往被设计为提供某一种或几种特定的功能，而大量用户在使用这一种或几种特定的功能时，遇到的问题往往会具有一定的相似性或者说是共性，因此，通过对这些历史样本语料的分析，可以挖掘出一些关联规则，以便基于这些关联规则进行自动问答策略的制定，以更好地提高智能机器人的自动应答能力。

402、分别对多个历史样本语料进行命名实体识别。

命名实体识别，即为识别每个历史样本语料中包含的特定类型的命名实体，比如时间类、地点类、人名类、专有名词类等等。

可以根据智能机器人所提供的功能而设定需要识别的命名实体的类型。而命名实体识别的方法可以参照现有相关技术实现，在此不赘述。

比如，假设智能机器人提供了天气查询功能，而查询天气时注意关注的两个维度就是时间和地点，因此，此时设定的需要识别的命名实体类型为时间和地点类型。

通过对历史样本语料进行命名实体的识别，可以更快、更准地发现用户普遍关注的焦点，为更快、更准确地挖掘出这些历史样本语料中所隐含的关联规则提供了基础。

403、在识别出的命名实体中筛选出多个关键词，其中，多个关键词为词频满足设定条件的命名实体以及与词频满足设定条件的命名实体相似的词语。

在对多个历史样本语料分别进行命名实体识别之后可以得到若干识别出的命名实体，可以分别统计识别出的每个命名实体的出现次数(即为词频)，进而从中筛选出比如词频大于设定数值的命名实体作为关键词。

另外，由于实际应用中，同一意图的表达方式可能多种多样，比如在购物场景中，用户想要了解最近是否有什么优惠活动时，可能会如这样多种表达方式：最近有什么优惠活动，今天有团购吗，有折扣吗，有满减吗，等等。而这些表达方式其实都是表达同一意图的不同表达习惯而已，为了兼顾用户可能的各种表达习惯，本实施例中，在识别出的命名实体中筛选出词频大于设定数值的命名实体后，还可以至少在剩余的命名实体中寻找与筛选出的命名实体相似的其他命名实体，寻找到的这些命名实体也作为关键词。

其中，对于任意两个命名实体来说，可以通过计算两者之间的相似度来评价两者是否是相似的，即如果相似度大于设定阈值，则认为两者是相似的。可选地，比如可以通过word2vec模型对不同的命名实体进行向量化表达，计算不同命名实体对应的向量之间的余弦距离，通过余弦距离来度量不同命名实体之间的相似度。

404、在包含多个关键词中任一关键词的历史样本语料中，提取该任一关键词以及该任一关键词左右相邻的预设个数的词语作为分析对象集。

在一可选方式中，在得到多个关键词之后，可以从多个历史样本语料中筛选出包含至少一个关键词的历史样本语料，进而对筛选出的每条历史样本语料进行如下处理：对历史样本语料进行分词处理，过滤掉其中的无意义的虚词，从而将最终得到的各个词语作为该条历史样本语料对应的分析对象集。

在另一可选方式中，为了进一步降低后续关联分析的计算量，对于包含至少一个关键词的历史样本语料，在进行分词处理之后，还可以以该历史样本语料中包含的关键词为中心，提取出其左右相邻的预设个数(比如为3个、4个)的词语，从而，由该关键词以及其左右相邻的预设个数的词语作为该条历史样本语料对应的分析对象集。其中，之所以以上述预设个数作为筛选窗口，是因为与关键词具有共现关系的其他词语往往与关键词的距离不会太远。

405、采用设定的关联规则挖掘算法对获取到的全部分析对象集进行关联分析，以获得至少一个关联规则。

其中，关联规则挖掘算法比如可以是目前普遍采用的Apriori算法、FP-growth算法。

以Apriori算法为例，可以将通过多个历史样本语料获得的全部分析对象集作为输入，输入至Apriori算法，并设定Apriori算法运行所需要的参数：最小支持度和最小可信度，便可以通过Apriori算法实现关联规则的挖掘，得到至少一组关联规则，其中，每条关联规则往往表现为是关键词以及与关键词共现的词语之间的搭配关系。

以上介绍了基于特定异常事件的检测、基于关联规则的匹配来确定是否需要将智能机器人由当前的机器对话模式切换为人工对话模式，在另一可选方式中，智能机器人还可以根据预先训练得到的分类模型对用户语音进行分类识别，以确定是否需要将智能机器人由当前的机器对话模式切换为人工对话模式。

训练分类模型所使用的样本可以是对应于机器对话模式的多个历史样本语料，每个历史样本语料可以由一次交互过程中用户输出的各语句组成，每个历史样本语料可以根据用户对智能机器人给出的应答信息的满意度进行类型标记，比如将用户对应答信息较为满意的历史样本语料标记为1，将用户对应答信息不满意的历史样本语料标记为0。

另外，可以对各历史样本语料进行对话特征信息的提取。具体地，可以通过人工的方式对各历史样本语料进行对话特征信息的标注，从而根据标注结果提取出对话特征信息。当然，也可以通过设定的提取规则自动地提取出对话特征信息。其中，对话特征信息比如可以是历史样本语料对应的问答次数、历史样本语料中包含的情绪词、指示进行人工对话模式转换的词语，等等。

之后，可以根据历史样本语料的对话特征信息的提取结果以及类别标记结果训练分类模型，使得该分类模型可以学习到适于机器对话模式的语言特征以及不适于机器对话模式的语言特征。从而，基于该分类模型，当将当前采集到的用户语音转换为文本，从该文本中提取出对话特征信息输入到该分类模型，分类模型可以输出该用户语音是否适于机器对话模式的分类结果，当分类结果表明该用户语音适于机器对话模式时，继续保持智能机器人工作于机器对话模式，反之，切换至人工对话模式。

在确定需要启动人工对话模式时，可以根据此时的用户语音对分类模型进行再训练，即将该用户语音转换为的文本作为训练样本对分类模型进行再训练。此时，由于该分类模型用于区分出适于机器对话模式的用户语音和不适于机器对话模式的用户语音，而此时用户触发的用户语音对应的分类结果是不适于机器对话模式，因此，该用户语音转换为的文本可以被标记为0，进而从中提取出对话特征信息，以对分类模型进行再训练。

综上，针对用户语音，智能机器人可以从机器对话模式和人工对话模式中选择使用适于该用户语音的一种工作模式，从而使得智能机器人能够灵活地根据用户的输入语音进行合适的响应处理，提高了智能机器人的交互智能化水平。

图5为本发明实施例提供的又一种人机交互方法的流程图，如图5所示，该方法可以包括如下步骤：

501、采集用户语音。

502、在机器对话模式下，获取与用户语音对应的第一应答信息。

503、确定是否需要启动人工对话模式，若不需要，则执行步骤504，若需要，则执行步骤505-506。

504、输出第一应答信息。

505、将用户语音和第一应答信息发送至人工客服。

506、输出人工客服反馈的第二应答信息或第一应答信息。

其中，第二应答信息是人工客服在确定不能以第一应答信息响应用户语音时，根据用户语音通过人工输入或检索而输出的。

在本实施例中，当采集到用户语音后，可以随即通过机器对话模式来获取与用户语音对应的第一应答信息，只是，在一些情形中，该第一应答信息可能并不是较佳的回复结果。此时，智能机器人再进一步确定是否有必要同时采用人工对话模式对该用户语音进行响应，即确定是否需要启动人工对话模式，以将用户语音转接至人工客服，该确定过程的具体实现可以参考前述几种可选方式来实现，在此不赘述。当确定需要同时启动人工对话模式时，智能机器人将用户语音以及智能机器人自主获得的第一应答信息发送至人工客服，以供人工客服确定以该第一应答信息对用户进行响应是否合适，若合适，则人工客服即可反馈该第一应答信息给智能机器人，智能机器人输出该第一应答信息，反之，若不合适，则人工客服可以自行输入或检索获得第二应答信息，将第二应答信息反馈给智能机器人，智能机器人向用户输出第二应答信息。

在本实施例中，针对用户语音，智能机器人首先基于机器对话模式进行自主响应处理，并且在确定有必要同时采用人工对话模式对该用户语音进行响应处理时，同时转接人工客服来对该用户语音进行人工响应处理。

以下将详细描述本发明的一个或多个实施例的人机交互装置。本领域技术人员可以理解，这些人机交互装置均可使用市售的硬件组件通过本方案所教导的步骤进行配置来构成。

图6为本发明实施例提供的一种人机交互装置的结构示意图，如图6所示，该装置包括：采集模块11、获取模块12、发送模块13、输出模块14。

采集模块11，用于采集用户语音。

获取模块12，用于在机器对话模式下，获取与所述用户语音对应的第一应答信息。

发送模块13，用于在人工对话模式下，将所述用户语音和所述第一应答信息发送至人工客服。

输出模块14，用于若所述人工客服确定以所述第一应答信息响应所述用户语音，则输出所述第一应答信息。

可选地，所述输出模块14还可以用于：接收所述人工客服发送的第二应答信息，其中，所述第二应答信息是所述人工客服根据所述用户语音输出的，输出所述第二应答信息。

在一可选实施例中，该人工交互装置还可以包括：确定模块，用于确定是否需要启动人工对话模式。从而，若确定模块确定需要启动人工对话模式，则通过发送模块13将所述用户语音和所述第一应答信息发送至所述人工客服。

其中，可选地，所述确定模块具体可以用于：若检测到特定的异常事件发生，则确定需要启动所述人工对话模式。其中，所述特定的异常事件包括如下事件中的至少一种：所述用户语音对应的用户为特定的用户，所述机器人发生了特定的故障，环境噪声满足特定条件。

其中，可选地，所述确定模块具体可以用于：若确定知识库中不存在与所述用户语音匹配的关联规则，则确定需要启动所述人工对话模式。

为实现上述关联规则的建立，可选地，该人机交互装置中还可以包括：关联规则挖掘模块，用于获取多个历史样本语料；分别对所述多个历史样本语料进行命名实体识别；在识别出的命名实体中筛选出多个关键词，所述多个关键词为词频满足设定条件的命名实体以及与词频满足设定条件的命名实体相似的词语；在包含所述多个关键词中任一关键词的历史样本语料中，提取所述任一关键词以及所述任一关键词左右相邻的预设个数的词语作为分析对象集；采用设定的关联规则挖掘算法对获取到的全部分析对象集进行关联分析，以获得至少一个关联规则。

另外，可选地，所述确定模块具体可以用于：根据预先训练得到的分类模型对所述用户语音进行分类识别，以确定需要启动所述人工对话模式。

为实现该分类模型的训练，该人机交互装置还可以包括：训练模块，用于获取对应于所述机器对话模式的多个历史样本语料；根据用户对所述多个历史样本语料对应的应答信息的满意度，对所述多个历史样本语料进行类别标记；从所述多个历史样本语料中提取出对话特征信息；根据所述对话特征信息和所述类别标记结果训练分类模型。

基于此，所述确定模块具体用于：将所述用户语音转换为文本；从所述文本中提取出对话特征信息；将提取出的对话特征信息输入到所述分类模型，以根据所述分类模型的输出结果确定需要启动所述人工对话模式。

可选地，所述训练模块还可以用于：若确定需要启动所述人工对话模式，则将所述文本作为训练样本对所述分类模型进行再训练。

图6所示人工交互装置可以执行前述图1至图5所示实施例提供的人机交互方法，本实施例未详细描述的部分，可参考对图1至图5所示实施例的相关说明，在此不再赘述。

以上描述了人机交互装置的内部功能和结构，在一个可能的设计中，人机交互装置的结构可实现为智能机器人中的一部分，如图7所示，该智能机器人可以包括：处理器21和存储器22。其中，所述存储器22用于存储支持该智能机器人执行前述图1至图5所示实施例中提供的人机交互方法的程序，所述处理器21被配置为用于执行所述存储器22中存储的程序。

所述程序包括一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器21执行时能够实现如下步骤：

采集用户语音；

在机器对话模式下，获取与所述用户语音对应的第一应答信息；

在人工对话模式下，将所述用户语音和所述第一应答信息发送至人工客服；

若所述人工客服确定以所述第一应答信息响应所述用户语音，则输出所述第一应答信息。

可选地，所述处理器21还用于执行前述图1至图5所示实施例中的全部或部分步骤。

其中，所述智能机器人的结构中还可以包括通信接口23，用于与其他设备或通信网络通信。

另外，本发明实施例提供了一种存储计算机指令的计算机可读存储介质，当所述计算机指令被一个或多个处理器执行时，致使所述一个或多个处理器至少执行以下的动作：

采集用户语音；

在机器对话模式下，获取与所述用户语音对应的第一应答信息；

在人工对话模式下，将所述用户语音和所述第一应答信息发送至人工客服；

若所述人工客服确定以所述第一应答信息响应所述用户语音，则输出所述第一应答信息。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的模块可以是或者也可以不是物理上分开的。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助加必需的通用硬件平台的方式来实现，当然也可以通过硬件和软件结合的方式来实现。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以计算机产品的形式体现出来。

下面，为便于理解，结合如下的应用场景对以上提供的人机交互方法的具体实现进行示例性说明。

以家庭环境为例，家庭中可能会有诸如服务机器人、智能音响等智能终端设备。假设某用户以前看电视节目的时候听到过一首较为喜欢的歌曲，但是却并未记得歌曲的名称以及演唱者姓名，只模糊地记得其中的某句歌词。假设该用户当前想要查询这首歌曲的名称以及演唱者姓名，则该用户可以向服务机器人说出诸如”帮我查一下某电视节目中一位歌手演唱的一首歌，其中一句歌词大致是···”的用户语音。假设当前服务机器人工作于机器对话模式下，则服务机器人可以以该句歌词为搜索关键词，从某歌曲库中查找与这句歌词匹配的歌曲，并获得该歌曲的名称以及演唱者姓名。由于用户只是模糊地记得一句歌词，可能存在一定误差，因此，服务机器人在机器对话模式下获得的歌曲名称和演唱者姓名可能不准，为保证最终向用户反馈的结果的准确性，服务机器人此时还可以启动人工对话模式，将用户语音以及在机器对话模式下搜索得到的歌曲名称和演唱者姓名发送至某人工客服。人工客服根据电视节目信息以及这句歌词信息检索或经验得到另一歌曲名称和演唱者姓名，认为这个歌曲名称和演唱者姓名才是用户想要的结果，从而指示服务机器人向用户输出人工客服确定的歌曲名称和演唱者姓名。

值得说明的是，在上述举例的应用场景中，在机器对话模式下，当服务机器人搜索得到多个歌曲名称和演唱者姓名时，服务机器人还可以结合此时的搜索结果向用户输出询问语音，以便从多个歌曲名称中筛选出更为贴合用户需求的歌曲名称。比如，当搜索到的多个演唱者有男有女时，服务机器人可以询问用户：是否记得演唱者的性别。如果用户回答：是男生，则服务机器人可以过滤掉搜索结果中演唱者为女性的歌曲名称。

基于该举例，可以理解的是，本文中所述的在机器对话模式下获取与用户语音对应的第一应答信息，既可以是智能机器人直接根据用户语音获得与之对应的第一应答信息，还可以是智能机器人经过至少一轮人机对话得到与用户语音对应的第一应答信息。

另外，在上述歌曲搜索的应用场景举例中，服务机器人是既采用机器对话模式又采用人工对话模式，通过这两种工作模式的配合才最终得到响应用户语音的应答信息。但是，可选地，在服务机器人工作于机器对话模式的情况下，如果服务机器人未能搜索到与用户语音匹配的歌曲名称和演唱者姓名，或者，服务机器人得到的歌曲名称和演唱者姓名的个数即搜索结果的个数不止一个时，此时认为发生了需要切换至人工对话模式的特定事件，从而，服务机器人将工作模式由机器对话模式切换至人工对话模式，在切换后，为用户分配一位人工客服，将用户语音发送至该人工客服，由人工客服为该用户提供服务，以通过人工客服与用户的语音交互最终为用户输出应答信息。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (15)

1.一种人机交互方法，其特征在于，应用于智能机器人，所述方法包括：

采集用户语音；

在机器对话模式下，获取与所述用户语音对应的第一应答信息；

在人工对话模式下，将所述用户语音和所述第一应答信息发送至人工客服；

若所述人工客服确定以所述第一应答信息响应所述用户语音，则输出所述第一应答信息。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

接收所述人工客服发送的第二应答信息，其中，所述第二应答信息是所述人工客服根据所述用户语音输出的；

输出所述第二应答信息。

3.根据权利要求1所述的方法，其特征在于，所述将所述用户语音和所述第一应答信息发送至人工客服之前，还包括：

若确定需要启动所述人工对话模式，则将所述用户语音和所述第一应答信息发送至所述人工客服。

4.根据权利要求3所述的方法，其特征在于，所述方法还包括：

若检测到特定的异常事件发生，则确定需要启动所述人工对话模式。

5.根据权利要求4所述的方法，其特征在于，所述特定的异常事件包括如下事件中的至少一种：

所述用户语音对应的用户为特定的用户，所述智能机器人发生了特定的故障，环境噪声满足特定条件。

6.根据权利要求3所述的方法，其特征在于，所述方法还包括：

若确定知识库中不存在与所述用户语音匹配的关联规则，则确定需要启动所述人工对话模式。

7.根据权利要求6所述的方法，其特征在于，所述方法还包括：

获取多个历史样本语料；

分别对所述多个历史样本语料进行命名实体识别；

在识别出的命名实体中筛选出多个关键词，所述多个关键词为词频满足设定条件的命名实体以及与词频满足设定条件的命名实体相似的词语；

在包含所述多个关键词中任一关键词的历史样本语料中，提取所述任一关键词以及所述任一关键词左右相邻的预设个数的词语作为分析对象集；

采用设定的关联规则挖掘算法对获取到的全部分析对象集进行关联分析，以获得至少一个关联规则。

8.根据权利要求3所述的方法，其特征在于，所述方法还包括：

根据预先训练得到的分类模型对所述用户语音进行分类识别，以确定需要启动所述人工对话模式。

9.根据权利要求8所述的方法，其特征在于，所述方法还包括：

获取对应于所述机器对话模式的多个历史样本语料；

根据用户对所述多个历史样本语料对应的应答信息的满意度，对所述多个历史样本语料进行类别标记；

从所述多个历史样本语料中提取出对话特征信息；

根据所述对话特征信息和所述类别标记结果训练分类模型。

10.根据权利要求9所述的方法，其特征在于，所述根据预先训练得到的分类模型对所述用户语音进行分类识别，以确定需要启动所述人工对话模式，包括：

将所述用户语音转换为文本；

从所述文本中提取出对话特征信息；

将提取出的对话特征信息输入到所述分类模型，以根据所述分类模型的输出结果确定需要启动所述人工对话模式。

11.根据权利要求10所述的方法，其特征在于，所述方法还包括：

若确定需要启动所述人工对话模式，则将所述文本作为训练样本对所述分类模型进行再训练。

12.一种人机交互装置，其特征在于，包括：

采集模块，用于采集用户语音；

获取模块，用于在机器对话模式下，获取与所述用户语音对应的第一应答信息；

发送模块，用于在人工对话模式下，将所述用户语音和所述第一应答信息发送至人工客服；

输出模块，用于若所述人工客服确定以所述第一应答信息响应所述用户语音，则输出所述第一应答信息。

13.一种存储计算机指令的计算机可读存储介质，其特征在于，当所述计算机指令被一个或多个处理器执行时，致使所述一个或多个处理器至少执行以下的动作：

采集用户语音；

在机器对话模式下，获取与所述用户语音对应的第一应答信息；

在人工对话模式下，将所述用户语音和所述第一应答信息发送至人工客服；

若所述人工客服确定以所述第一应答信息响应所述用户语音，则输出所述第一应答信息。

14.一种人机交互方法，其特征在于，应用于智能机器人，所述方法包括：

采集用户语音；

若确定不需要将所述智能机器人由当前的机器对话模式切换为人工对话模式，则在所述机器对话模式下，获取与所述用户语音对应的第一应答信息；

输出所述第一应答信息。

15.根据权利要求14所述的方法，其特征在于，所述方法还包括：

若确定需要将所述智能机器人由当前的机器对话模式切换为人工对话模式，则在所述人工对话模式下，将所述用户语音发送至人工客服；

输出所述人工客服反馈的第二应答信息。

Images