CN108000526A - 用于智能机器人的对话交互方法及*** - Google Patents

Abstract

本发明公开了一种用于智能机器人的对话交互处理方法及***，该方法包括如下步骤：解析多轮对话交互信息，获取与话题相关的实体信息；基于实体信息及上下文对话中获取的话题信息，确定每轮对话交互所属的主话题及子话题；在设定轮次对话交互完成后，选择与当前轮次所属的主话题相关联的其他子话题，基于设定话题推荐方式生成话题推荐语句输出给用户；解析所述用户对该话题推荐语句的多模态反馈数据，根据用户反馈结果确定是否继续该推荐的子话题。本发明能够提高多轮对话中话题的丰富度，增强人机对话的趣味性，改善用户的交互体验。

Description

用于智能机器人的对话交互方法及***

技术领域

本发明涉及智能机器人领域，尤其涉及一种用于智能机器人的对话交互方法及***。

背景技术

随着科学技术的不断发展，信息技术、计算机技术以及人工智能技术的引入，机器人的研究已经逐步走出工业领域，逐渐扩展到了医疗、保健、家庭、娱乐以及服务行业等领域。而人们对于机器人的要求也从简单重复的机械动作提升为具有拟人问答、自主性及与其他机器人进行交互的智能机器人，人机交互也就成为决定智能机器人发展的重要因素。因此，提升智能机器人的交互能力，改善机器人的类人性和智能性，是现在亟需解决的重要问题。

发明内容

本发明所要解决的技术问题之一是需要提供一种用于智能机器人的人机交互方法及***，该方案能够提高多轮对话中话题的丰富度，增强人机对话的趣味性，改善用户的交互体验。

为了解决上述技术问题，本申请的实施例首先提供了一种用于智能机器人的对话交互处理方法，该方法包括如下步骤：解析多轮对话交互信息，获取与话题相关的实体信息；基于实体信息及上下文对话中获取的话题信息，确定每轮对话交互所属的主话题及子话题，其中，所述子话题为主话题的多个直接属性之一；在设定轮次对话交互完成后，选择与当前轮次所属的主话题相关联的其他子话题，基于设定话题推荐方式生成话题推荐语句输出给用户；解析所述用户对该话题推荐语句的多模态反馈数据，根据用户反馈结果确定是否继续该推荐的子话题。

优选地，所述主话题及子话题是基于知识图谱结构结合实体信息搭建的话题图谱确定的。

优选地，在基于设定话题推荐方式生成话题推荐语句输出给用户的步骤中，从所述话题图谱中选择与当前轮次所属的主话题相关联的子话题；结合设定话题推荐方式的话题模版和选择的子话题生成话题推荐语句，所述设定话题推荐方式包括：话题推荐语句为陈述语句进行推荐的建议方式和话题推荐语句为疑问句进行推荐的询问方式。

优选地，还包括：预先设定话题推荐策略，在第一设定轮次对话交互后进行首次子话题推荐，之后在每隔第二设定轮次对话交互后进行二次子话题推荐，所述第二设定轮次大于所述第一设定轮次。

优选地，还包括：对用户身份进行识别，判断当前用户是否为儿童用户；若为儿童用户，基于为儿童用户搭建的话题图谱进行话题推荐。

优选地，还包括：所述智能机器人为故事机或聊天机器人。

根据本发明实施例的另一方面，还提供了一种用于智能机器人的对话交互处理***，该***包括如下模块：交互信息解析模块，其解析多轮对话交互信息，获取与话题相关的实体信息；话题体系确定模块，其基于实体信息及上下文对话中获取的话题信息，确定每轮对话交互所属主话题及子话题，其中，所述子话题为主话题的多个直接属性之一；推荐语句输出模块，其在设定轮次对话交互完成后，选择与当前轮次所属的主话题相关联的其他子话题，基于设定话题推荐方式生成话题推荐语句输出给用户；反馈数据解析模块，其解析所述用户对该话题推荐语句的多模态反馈数据，根据用户反馈结果确定是否继续该推荐的子话题。

优选地，所述主话题及子话题是基于知识图谱结构结合实体信息搭建的话题图谱确定的。

优选地，所述推荐语句输出模块，其进一步执行如下步骤：从所述话题图谱中选择与当前轮次所属的主话题相关联的子话题；结合设定话题推荐方式的话题模版和选择的子话题生成话题推荐语句，所述设定话题推荐方式包括：话题推荐语句为陈述语句进行推荐的建议方式和话题推荐语句为疑问句进行推荐的询问方式。

优选地，还包括：推荐策略设定模块，其预先设定话题推荐策略，在第一设定轮次对话交互后进行首次子话题推荐，之后在每隔第二设定轮次对话交互后进行二次子话题推荐，所述第二设定轮次大于所述第一设定轮次。

优选地，还包括：用户身份识别模块，其对用户身份进行识别，判断当前用户是否为儿童用户；若为儿童用户，基于为儿童用户搭建的话题图谱进行话题推荐。

根据本发明实施例的另一方面，还提供了一种用于智能机器人的对话交互***，该***包括：云端服务器，其具备如上所述的对话交互处理***；智能机器人，其采集与用户交互的多模态交互数据，并将所述多模态交互数据发送至所述云端服务器，向用户输出来自所述云端服务器的话题推荐语句。

优选地，所述智能机器人为故事机或聊天机器人。

与现有技术相比，上述方案中的一个或多个实施例可以具有如下优点或有益效果：

本发明实施例通过智能机器人与用户对话交互的过程中，解析多轮对话交互信息，获取与话题相关的实体信息，然后基于实体信息及上下文对话中获取的话题信息，确定每轮对话交互所属主话题及子话题，在设定轮次对话交互完成后，选择与当前轮次所述的主话题相关的子话题，基于设定话题推荐方式生成话题推荐语句输出给用户，最后，解析所述用户对该话题推荐语句的多模态反馈数据，根据用户反馈结果确定是否继续该推荐的子话题。本发明实施例能够从当前对话交互中识别出话题，在主话题与子话题的话题图谱框架下，结合子话题进行主动交互，提高多轮对话中话题的丰富度，增强人机对话的趣味性，改善用户的交互体验。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明的技术方案而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构和/或流程来实现和获得。

附图说明

附图用来提供对本申请的技术方案或现有技术的进一步理解，并且构成说明书的一部分。其中，表达本申请实施例的附图与本申请的实施例一起用于解释本申请的技术方案，但并不构成对本申请技术方案的限制。

图1为本申请实施例的故事机或聊天机器人的应用场景示意图。

图2为本申请实施例的故事机或聊天机器人的功能结构框图。

图3为本申请实施例的故事机或聊天机器人的硬件结构示意图。

图4为本申请实施例的云端服务器(云端大脑)的对话交互处理***的示例一的功能结构示意图。

图5为本申请实施例的云端服务器(云端大脑)的对话交互处理***的示例二的功能结构示意图。

图6为本申请实施例的云端服务器(云端大脑)的对话交互处理***的示例三的功能结构示意图。

图7为本申请实施例的以明星作为实体的话题图谱的组成结构示意图。

图8为本申请实施例的用于智能机器人的对话交互处理方法的示例一的流程示意图。

具体实施方式

以下将结合附图及实施例来详细说明本发明的实施方式，借此对本发明如何应用技术手段来解决技术问题，并达成相应技术效果的实现过程能充分理解并据以实施。本申请实施例以及实施例中的各个特征，在不相冲突前提下可以相互结合，所形成的技术方案均在本发明的保护范围之内。

另外，附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机***中执行。并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

目前聊天机器人主要分为在线客服、娱乐、教育、个人助理和智能问答等种类。无论哪种机器人都能与用户进行一定程度的交互。然而，在当前聊天机器人应用场景中，机器人和用户的对话，往往是基于知识库的问答***来实现的，没有进行话题的识别，这样容易导致对话总是在几个回合之后就很快结束，聊天的可扩展性差，往往使得对话枯燥且常常一两轮对话之后就终结，这时如果机器人根据当前聊天的话题，进行子话题的推荐，可以为聊天提供新的切入点和谈资，引导用户更多的参与到聊天中。本发明实施例基于此，提供了一种用于智能机器人的对话交互方法及***，具备该***的智能机器人的拟人性和智能性都得到很大提高，还能够很好地改善用户体验。

为了更好地理解本发明，在对实施例进行说明之前，先对本例中涉及的用语“话题”稍作说明。

话题：借用语言学上关于话题的狭义的界定，即一句话的中心主体即为这句话的话题。由于我们希望话题能够更好的延展，所有把围绕话题的中心主体相关属性界定为主话题下的子话题。例如：“你喜欢刘德华吗？”中心主体为刘德华，那这句话的话题为“刘德华”，如果这时我们界定讨论的主话题为“刘德华”，那么当下一句问到“你喜欢听他的《冰雨》吗？”中心主体为“刘德华的《冰雨》”，则为子话题。

话题分为主话题和子话题，需要识别哪些是主话题，哪些是子话题，主话题在明星这一领域下主要是指明星人物，子话题是他的直接属性，是围绕明星人物展开的。此外，如果问题是“你喜欢听《冰雨》吗？”，那这句话聊的话题是音乐，主话题是《冰雨》，如果接下来还问“这首歌是刘德华唱的，你知道刘德华吗？”，那这句话聊的“刘德华”则为子话题。综上，一句话可能有多个话题标签，在某一个话题下是主话题，在另一个话题下则可能为子话题，这样的界定主要跟之后的话题延展相关。

实施例

图1为本申请实施例的故事机或聊天机器人的应用场景示意图。在该应用场景中，包括智能机器人(也称“对话机器人”)20和云端大脑(云端服务器)10，该智能机器人20与用户U进行语音对话交互。该机器人20除了可以为图1所示的实体机器人以外，还可以为搭载在智能设备上的机器人应用程序，智能设备可以为传统的PC个人电脑、LapTop笔记本电脑、全息投影设备等，也可以是能够随身携带且能通过无线局域网、移动通信网络等无线方式接入互联网的终端设备。本申请实施例中，无线终端包括但不限于手机、Netbook(上网本)等，无线终端一般具有多模态信息采集和数据传输等功能。云端大脑10作为智能机器人20的大脑端，其配置了对话交互处理***100，该***100用来处理智能机器人20传输的多模态输入数据，如解析视觉数据，完成视觉识别、视觉检测，以及，执行情感计算、认知计算和语义理解等，主要是对话交互过程中用户的语音数据，从而决策出机器人20待输出的对话语音或其他多模态输出数据。

需要指出的是，本智能机器人的对话交互方法及***，也适用于适合儿童AI设备，如儿童故事机(一种能满足儿童人群听音乐、故事、国学等音视频的儿童AI设备，该设备可具备动物和人物的卡通IP形象)的对话应用场景，另外，所述故事机可受控于智能手持设备，以完成智能机器人的设置和指令执行。

下面以实体形式的聊天机器人为例来说明本发明涉及的智能机器人的组成和功能。

图2为本申请实施例的故事机或聊天机器人的功能结构框图。如图2所示，该机器人主要是采集与用户交互的多模态交互数据，并将多模态交互数据发送至云端服务器10，向用户输出来自云端服务器的话题推荐语句。机器人控制***主要包括交互信息采集模块2110、通信模块2120、语音输出单元2130、机器人肢体控制单元2210和姿态传感器2220。

交互信息采集模块2110采集外部交互输入信息，其具体包含采集外界语音信息的语音采集单元2111、采集外部触摸压力数据的触摸传感器2112和采集外界图像信息的图像采集单元2113。通信模块2120将交互信息采集模块2110采集到的多模态信息通过联网交互单元2121发送到云端大脑10处进行处理，并接收来该云端大脑10决策出的、响应用户的交互意图而得到的对话输出数据或其他多模态决策数据。联网交互单元2121实现通信模块2120与云端大脑10的数据交互。语音输出单元2130根据语音控制信息输出匹配的语音回应。机器人肢体控制单元2210根据动作控制信息输出匹配的机器人肢体控制信号以驱动机器人的肢体做出相应动作。姿态传感器2220监控机器人当前姿态，这样就可以避免机器人无视当前自身的姿态强行执行动作，从而避免动作姿态错误或失去平衡摔倒等情况的发生。

考虑到各个功能模块的电源需求、数据处理需求以及功能上的不同，该聊天机器人的电子控制***被构造成上位机***以及下位机***两部分。上位机***以及下位机***分别各包含一块独立的主控板，上位机***以及下位机***的外部电路原件连接到各自的主控板上。这样在保证***整体的集成度的前提下将资源有冲突的模块分开，从而保证了***的稳定高效运行。

在本例中，按照图2所示的方式将不同的功能模块分散到上位机***和下位机***中。具体来说，将机器人肢体控制单元2210以及姿态传感器2220构造在下位机***220中，其他功能模块构造在上位机***210中。

在本实施例中，***还可以包含显示机器人当前的电量信息的电量显示模块。考虑到电量显示需要的数据处理量不高但是需要一定的电源驱动支持(驱动发光二极管)，因此电量显示模块设置在下位机***中。在具体操作上，上位机***的主控板采集并发送机器人当前的电量信息，电量显示模块根据电量信息输出对应的电量显示。

进一步的，为了便于用户了解机器人当前的交互状态，在下位机***中还设置了显示机器人当前的交互状态的交互显示模块。在具体操作上，上位机***的主控板采集并发送机器人当前的交互状态，交互状态包括录音状态、语音/动作输出状态以及语义解析状态；交互显示模块根据交互状态输出对应的交互状态显示。

如图3所示的硬件结构框图，上位机***的主控板为基于全志双核A20处理器的主控板，且集成有无线联网模块(WiFi)、麦克降噪模块以及音频放大模块。其中，A20处理器进行外部交互输入信息的预处理分析，可以生成机器人移动的动作控制指令；WiFi联网模块实现与云端大脑10的数据交互；麦克降噪模块以及连接在主控板上的麦克风实现外界语音信息的采集；音频放大模块以及连接在主控板上的扬声器实现语音回应的输出。

上位机主控板210提供的接口有：电容触摸接口212，三线接口，线序为供电(VCC)接地(GND)输出(OUT)，其连接到触摸模块204；串口通信接口216，三线接口，线序为接地(GND)上行(RX)下行(TX)，其连接到下位机主控板220的串口通信接口217；扬声器接口213，两线接口，线序为音频信号正(Speaker+)音频信号负(Speaker-)(在本例中，具有2个扬声器接口)，其连接到扬声器205；麦克接口211，两线接口，线序为麦克风信号正(Mic+)麦克风信号负(Mic-)，其连接到麦克风203；充电口214，两线接口，线序为供电(VCC)接地(GND)，其连接到机器人充电口201并连接电源管理模块215；电源管理模块215的电池充电接口，两线接口，线序为电源输入(DCIN)接地(GND)，其连接到锂电池202。

下位机***的主控板为基于半导体微控制器STM32的主控板，其上集成有六轴姿态传感器MPU6500以及电机驱动模块。其中，微控制器STM32生成机器人肢体控制信号；六轴姿态传感器MPU6500监控机器人当前姿态；电机驱动模块驱动机器人肢体动作。

下位机主控板220提供的接口有：电源接口，两线接口，线序为VCC GND(未图示)，电源管理模块的稳压芯片223通过电源接口与锂电池202以及上位机主控板210的电源管理模块215相连；串口通信接口227，三线接口，线序为GND RX TX，上位机主控板210以及下位机主控板220之间通过串口通信实现数据传输；三路电机接口，每路为两线接口，线序为电机正(Motor+)电机负(Motor-)，电机驱动(224、225、226)通过三路电机接口驱动机器人的电机(231、232、233)(三个电机分别为两个腿部电机一个手臂电机)运转以实现机器人动作；***电量显示接口，四线接口，线序为输出(IO)输出(IO)输出(IO)接地(GND)，连接到电量显示灯206(电量显示灯为多色发光二极管(LED)灯，三个IO接口分别对应红R、绿G、蓝B)；交互显示接口，两线接口，线序为PWM GND，连接到交互显示灯207(交互显示灯为鼻子呼吸灯)。

***上下位机主控板210和220由一个物理开关控制。***开机过程为：

***上电，上位机主控板210完成联网、初始化；

下位机主控板220的交互显示灯207处于呼吸状态等待上位机主控板210初始化完成。

交互过程：

上位机主控板210初始化完成，上下位机主控板210和220通过串口(216、217)正常传递数据；

麦克风203采集音频信号，经过对音频的降噪和放大送给上位机主控板210的处理芯片A20，A20通过联网模块将语音信息传递给云端大脑10，云端大脑10返回多模态决策数据经联网模块传回A20，A20控制扬声器205反馈给用户语音回应，与此同时A20将动作控制信息(需要执行的动作)、电量信息以及交互状态信息通过串口发送给下位机主控板220；

下位机主控板220通过串口接收A20的控制指令，完成电量显示，交互显示，腿部及手部动作等多模态交互动作。

在电量显示过程中，***电量通过RGB三色灯展现：R代表电量不足，B代表电量正常，G代表电量充足。同时上位机主控板210通过扬声器告知用户电量情况。在交互显示过程中，通过PWM控制的LED灯：常亮提示用户此时机器人处于录音状态，常灭提示用户此时机器人语音输出，闪烁提示用户机器人在联网进行语义解析。

下面对云端大脑10的对话交互***100的各个组成部分和功能进行说明。

如图4所示，对话交互***100包括交互信息解析模块120、话题体系确定模块110、推荐语句输出模块130、话题图谱存储模块140和反馈数据解析模块150。下面对上述各个模块的功能进行具体说明。

交互信息解析模块120，其解析多轮对话交互信息，获取与话题相关的实体信息。

具体来说，交互信息解析模块120，其在接收到通信模块2120转发后的语音信息后，响应该语音信息生成对应的文本信息。首先，对经例如去噪预处理后的语音信息进行语音识别的综合分析，生成与语音信息对应的文本信息。需要说明的是，语音识别，对于人来说接收到的语音可以立马转换为文字信息，但是对于机器人来说接收到的则是数字信号而已。当有人提问“你好吗？”时，“Ni”这个发音可以是“泥”也可以是“逆”，所以最终要确定是哪个字还需要语音识别技术来实现计算概率的最大化。在本例中，首先根据人的语音特点建立语音模型，对输入的语音信号进行分析，并抽取所需的特征，在此基础上建立语音识别所需的模板。在识别过程中要根据语音识别的模型，将预先存储的语音模板与输入的语音信号的特征进行比较，根据一定的搜索和匹配策略，找出一系列最优的与输入语音匹配的模板。然后根据此模板的定义，通过查表就可以给出识别结果。接着，对文本信息进行文本分析，即获取文本的具体语义内容。具体地，在获取识别结果之后，利用自然语言处理技术对识别结果进行语义解析。语义分析，指的是将给定的自然语言转化为反映其意义的某种形式化表示，也就是将人类能够理解的自然语言转化为计算机能够理解的形式语言。在获得解析结果后，计算该解析结果与已设定的知识库中的内容的语义相似度(问题和问题的相似度)，从而在知识库中搜索与解析结果相匹配的数据。至此，完成了对对话交互信息的解析操作。

之后，判断得到的语音文本信息中是否存在与话题相关的实体信息，即与实体信息对应的特定词汇。“特定词汇”为事先已被设定好的与实体相关词汇或短语，在本例中，实体被认定为某一具体实体，具体为明星的名字。而且，本领域技术人员可以根据当前网络技术用语或用户需求更新或添加“特定词汇”，使数据库的内容更加丰富，提高用户体验。可以遍历“特定词汇”数据库中的特定词汇，将得到的语音文本信息与每个特定词汇进行词形相似度和/或语义相似度计算，判断语音文本信息中是否存在对应的特定词汇。当词形相似度大于阈值，且数值极大，则无需计算语义相似度即可判断语音文本存在特定词汇，否则，计算语义相似度和词形相似度的加权和来判断是否存在特定词汇。关于判断得到的语音文本信息中是否存在特定词汇的方法，还可以通过其他技术来实现，此处不做限定。

话题体系确定模块110，其基于实体信息及上下文对话中获取的话题信息，确定每轮对话交互所属主话题及子话题，其中，子话题为主话题的多个直接属性之一。在本例中，主话题及子话题是基于话题图谱确定的，而话题图谱是基于知识图谱结构结合实体信息搭建的，例如图7所示的话题图谱，其预先存储在话题图谱存储模块140中。在该话题图谱中，为了方便云端计算机查询，每一个实体信息都可以设置一个实体ID，作为实体信息的一个例子，图7所示的明星是主话题，是聊天的主体；作为该明星的知识图谱结构，其基本信息、人物评价、作品、大事件/重要经历、社会活动、社交关系、相似艺人等分支是围绕明星这一主话题展开的，是它的子话题，而针对某些子话题下面的分支，例如子话题“作品”下的分支“代表作”，可以进一步作为该子话题的二级子话题。“实体信息”除了可以为人名以外，地名、物品名称等都可以作为实体信息来构造话题图谱，本发明对此不做限定。

需要说明的是，每一轮人机对话交互都通过提取特定词汇的方式确定实体信息，进而确定该轮对话的话题信息，并对该轮对话标注话题标签存储到本地或云端大脑的存储器中，为下一轮对话选择并确定话题信息做好准备。

在解析出当前轮次对话交互信息中的特定词汇后，首先将该特定词汇与之前对话出现的特定词汇进行比对，判断该特定词汇是否为首次出现，若为首次出现，则进一步通过话题图谱查询并判断其所属的主话题和子话题，然后将该特定词汇对应的主话题和子话题作为当前对话交互的话题信息。

推荐语句输出模块130，其在设定轮次对话交互完成后，选择与当前轮次所属的主话题相关联的其他子话题，基于设定话题推荐方式生成话题推荐语句输出给用户。进一步执行如下步骤：从所述话题图谱中选择与当前轮次所属的主话题相关联的子话题；结合设定话题推荐方式的话题模版和选择的子话题生成话题推荐语句。

在前设定轮次对话交互的过程中，可以基于知识库的问答***来实现，也可以基于主话题与子话题的话题图谱框架来实现，本发明不做限定。其中的“设定轮次”，可以根据人机对话交互经验中进行N轮对话后由于话题匮乏等原因导致对话停止的情况来设定，例如3轮对话交互。

话题结合子话题的话题推荐是指：根据当前聊天的话题，在进行到一定轮数时，为避免出现无话可聊的情况，结合子话题进行聊天子话题的推荐。推荐通常分两种，一种是话题推荐语句为陈述语句的建议式推荐，另一种是话题推荐语句为疑问句的询问式推荐。

建议式推荐是指单纯推荐相关子话题内容，例如：大家都说他的电影《桃姐》也非常不错。询问式推荐是指在推荐的过程中形成问题，需要用户接下来针对该问题的回应。例如：他的电影《桃姐》网上评价很高，不知道您是否看过呢？

针对这两种推荐方式的话题模版可以设置成如下：

建议式推荐模版：主话题+子话题内容+形容短句。询问式推荐模版：主话题+子话题内容+形容短句+意见询问语句。当然，本发明不限于上述模版形式，本领域技术人员根据需要也可以进行适应性修改。

通过在设定轮对话交互后，进行子话题推荐，能够丰富聊天话题，提高聊天机器人和用户的对话轮次，改善用户体验。

反馈数据解析模块150，其解析用户对该话题推荐语句的多模态反馈数据，根据用户反馈结果确定是否继续该推荐的子话题。

简单来讲，此处的反馈数据解析模块150主要进行合意判断，合意判断是指对用户关于机器人推荐内容适合满意的判断，用户接受机器人的推荐，则为合意，用户不接受机器人的推荐，则为不合意。

如下示例所示，其中Q表示聊天机器人端，A表示用户端：

Q：大家都说他的电影《桃姐》也非常不错。

A：是吧，我也觉得这部电影不错。(合意)

A：没感觉，我不喜欢这部电影。(不合意)

反馈数据解析模块150通过分析用户反馈的语音信息和/或用户面部表情所代表的情绪信息来确定其对推送话题的合意度。在进行语义理解时，接收从通信模块2120转发的语音信息，对其进行语音识别和自然语言处理，从中识别用户的真实意图。在进行情感计算时，通过情绪识别技术来获取用户当前的情绪状态。情绪识别技术是情感计算的一个重要组成部分，情绪识别包括面部表情、语音、行为、文本和生理信号识别等方面，通过以上内容来可以判断用户的情绪状态。情绪识别技术可以仅通过视觉情绪识别技术来监控用户的情绪状态，也可以采用视觉情绪识别技术和声音情绪识别技术结合的方式来监控用户的情绪状态，且并不局限于此。在本实施例中，优选采用二者结合的方式来监控情绪。

在进行多模态反馈信息的解析后，若语音信息和/或用户的情绪信息表示对当前推送话题的合意度较高，例如语音信息为“我也觉得XXX不错”和/或情绪为积极状态，则反馈数据解析模块150将该反馈内容发送给话题体系确定模块110，话题体系确定模块110根据接收到的反馈内容不改变当前话题，在下一轮对话中仍然以该话题或相关联的内容为主发送给用户。若语音信息和/或用户的情绪信息表示对当前推送话题的合意度较低，例如语音信息为“我不喜欢xxx”和/或情绪为消极状态，则反馈数据解析模块150将该反馈信息发送给话题体系确定模块110，话题体系确定模块110根据反馈信息调整当前的主话题或子话题，在下一轮对话中发送其他不相关的话题内容给用户，例如回到推荐之前的话题继续聊，或者询问用户的建议。

优选地，话题体系确定模块110在进行话题调整时，可以分析用户的历史聊天信息，得到用户常聊的话题、用户反馈良好的话题、用户不爱聊的话题、用户的人格特质以及习惯，然后根据这些信息重新选择主话题或子话题。

另一方面，为了避免过高频次地推荐，总是打断对话，使对话不能深入。如图5所示，该对话交互处理***100还包括推荐策略设定模块160，在该模块160的内部建立话题推荐策略(机制)，在第一设定轮次对话交互后进行首次子话题推荐，之后在每隔第二设定轮次对话交互后进行二次子话题推荐，第二设定轮次大于所述第一设定轮次。例如，在话题开始后的第3轮对话时，首次主动推荐，之后在5轮对话后再进行第二次推荐。如下示例所示，其中Q表示聊天机器人端，A表示用户端：

Q：你知道刘德华吗？【主话题：刘德华】

A：当然知道，香港乐坛四大天王之一嘛。【主话题：刘德华】

Q:那你听过他的歌吗？【主话题：刘德华】【子话题：音乐】

A：《男人哭吧不是罪》当年很火呢。【主话题：刘德华】【子话题：音乐-《男人哭吧不是罪》】

Q：那你觉得好听吗？【主话题：刘德华】【子话题：音乐-《男人哭吧不是罪》】

A：好听，唱出了很多人的心声。【主话题：刘德华】【子话题：音乐-《男人哭吧不是罪》】

Q：他在电影《暗战》里的表现也不错，你想了解一下吗？【主话题：刘德华】【子话题：电影-《暗战》】(从第3轮对话开始，进行询问式导入子话题的主动推荐，子话题由音乐转入电影)

A：好啊。【主话题：刘德华】【子话题：电影-《暗战》】(合意判断)

Q：那我来给你介绍一下吧。《暗战》是中国星集团出品的一部警匪片，由杜琪峰执导，刘德华、刘青云、蒙嘉慧等主演。影片讲述了在72小时的时间里发生在一个警察和一个盗贼之间的故事。1999年9月23日，该片在香港上映，票房为1465万港币。【主话题：刘德华】【子话题：电影-《暗战》】

A：刘青云也参演了这部电影啊？【主话题：刘青云】

Q：是啊。刘青云，1964年2月16日出生于香港，祖籍广东，中国香港影视男演员。毕业于香港无线训练班第12期。【主话题：刘青云】

A：你知道的还真多啊。【主话题：刘青云】

Q：谢谢你的夸奖。【主话题：刘青云】

A：最近感觉你进步了很多。【话题结束】

Q：嗯嗯，我每天都在努力学习。

另外，在其他例子中，如图6所示，本发明的对话交互处理***100还可以包括用户身份识别模块170，其对用户身份进行识别，判断当前用户是否为儿童用户；若为儿童用户，基于为儿童用户搭建的话题图谱进行话题推荐。

具体可以参考下面的儿童用户识别方法。例如，图像采集单元2113采集当前用户的人脸信息，通过通信模块2120发送给云端大脑10的用户身份识别模块170，其先从场景中检测出人脸的存在并确定其位置。然后，在检测到人脸后，进行人脸识别，即将已检测到的待识别的人脸与数据库中的不同类型人脸进行比较匹配，得到相关信息。人脸识别可以采取提取人脸几何特征的方法和模板匹配的方法，本例中优先采取模板匹配的方法。另外，还可以通过声音特征检测的方式来识别当前用户是否为儿童用户，例如对用户所输入的语音进行识别，判断语音是否为童声。本实施例中，预先在用户身份识别模块170中设置有语音识别模型，通过语音识别模型可以对用户所输入的语音进行识别，以确定该语音的类别。该语音识别模型可以为机器学习模型，通过对大量样本数据的训练和学习后，该机器学习模型可以对语音的类别进行分类。在对语音进行测试之前，需要对分类器进行训练，以获取到目标分类器。具体包括以下步骤：

步骤1，获取用于对预设的分类器进行训练的样本语音。本实施例中，可以对儿童的声音进行采样作为样本语音，利用这些采集到的样本语音对预设的分类器进行训练。优选地，可以采集历史上通过人工分类标记为童声的语音作为样本语音。

步骤2，对样本语音进行语音活动侦测去除训练数据中的静音，得到训练语音。

步骤3，提取训练语音的声学特征。

具体地，可以对训练语音按照预设步长进行分帧，然后按照预设步长对训练语音的每帧提取声学特征，其中，声学特征可以为滤波器组(Filter bank40，简称Fbank40)特征或者梅尔频率倒谱系数(Mel-Frequency Cepstral Coefficients，简称MFCC)特征。

步骤4，将训练语音的声学特征输入到分类器中进行训练，得到目标分类器。

设置用户身份识别模块170主要考虑到：云端大脑10中的话题图谱比较繁多，通过语义识别决策出的主题内容中可能包含有敏感内容，或者不良网络信息。用户身份识别模块170在识别出儿童用户后，云端大脑10进一步对话题图谱的主题进行筛选，剔除不适合儿童的敏感内容，选择为儿童用户搭建的话题图谱进行话题推荐，如此能够避免向该儿童用户发送敏感主题内容，防止给儿童的身心健康造成不利的影响。

图8为本申请实施例的用于智能机器人的对话交互方法的示例一的流程示意图。下面结合图8来说明本交互***的交互流程。

如图8所示，在步骤S810中，交互信息解析模块120解析多轮对话交互信息，获取与话题相关的实体信息。在步骤S820中，话题体系确定模块110基于实体信息及上下文对话中获取的话题信息，确定每轮对话交互所属主话题及子话题，其中，所述子话题为主话题的多个直接属性之一。在步骤S830中，推荐语句输出模块130在设定轮次对话交互完成后，选择与当前轮次所属的主话题相关联的其他子话题，基于设定话题推荐方式生成话题推荐语句输出给用户。在步骤S840中，反馈数据解析模块150解析所述用户对该话题推荐语句的多模态反馈数据，根据用户反馈结果确定是否继续该推荐的子话题。

在本发明实施例中，对话机器人在与用户对话交互的过程中，根据预先建立的推荐机制和推荐模板，导入子话题。在推荐之后对用户的回复做合意判断，如果用户接受推荐可以继续顺着推荐子话题往下聊，如果用户对推荐内容不接受，则回到推荐之前的话题，继续聊，或者询问用户的建议。通过上述方式，能够提高多轮对话中话题的丰富度，增强人机对话的趣味性，改善用户的交互体验。

补充说明

在本实施例中的智能机器人为故事机时，除了上面描述的特点以外，进一步还可以具备如下特征。

(1)故事机可以作为家庭物联网的一部分，与微信实现互联；

(2)具备点播、收藏、语音控制打断、声音等功能；

(3)具备OCR(Optical Character Recognition，光学字符识别)功能，实现语音读绘本及读书的功能；

(4)可以根据儿童用户的喜好，主动进行内容推送。

由于本发明的方法描述的是在计算机***中实现的。该计算机***例如可以设置在控制核心处理器中。例如，本文所述的方法可以实现为能以控制逻辑来执行的软件，其由操作***中的CPU来执行。本文所述的功能可以实现为存储在非暂时性有形计算机可读介质中的程序指令集合。当以这种方式实现时，该计算机程序包括一组指令，当该组指令由计算机运行时其促使计算机执行能实施上述功能的方法。可编程逻辑可以暂时或永久地安装在非暂时性有形计算机可读介质中，例如只读存储器芯片、计算机存储器、磁盘或其他存储介质。除了以软件来实现之外，本文所述的逻辑可利用分立部件、集成电路、与可编程逻辑设备(诸如，现场可编程门阵列(FPGA)或微处理器)结合使用的可编程逻辑，或者包括它们任意组合的任何其他设备来体现。所有此类实施例旨在落入本发明的范围之内。

应该理解的是，本发明所公开的实施例不限于这里所公开的处理步骤，而应当延伸到相关领域的普通技术人员所理解的这些特征的等同替代。还应当理解的是，在此使用的术语仅用于描述特定实施例的目的，而并不意味着限制。

说明书中提到的“一个实施例”或“实施例”意指结合实施例描述的特定特征、结构或特性包括在本发明的至少一个实施例中。因此，说明书通篇各个地方出现的短语“一个实施例”或“实施例”并不一定均指同一个实施例。

虽然本发明所公开的实施方式如上，但所述的内容只是为了便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属技术领域内的技术人员，在不脱离本发明所公开的精神和范围的前提下，可以在实施的形式上及细节上作任何的修改与变化，但本发明的专利保护范围，仍须以所附的权利要求书所界定的范围为准。

Claims (12)

1.一种用于智能机器人的对话交互处理方法，该方法包括如下步骤：

解析多轮对话交互信息，获取与话题相关的实体信息；

基于实体信息及上下文对话中获取的话题信息，确定每轮对话交互所属的主话题及子话题，其中，所述子话题为主话题的多个直接属性之一；

在设定轮次对话交互完成后，选择与当前轮次所属的主话题相关联的其他子话题，基于设定话题推荐方式生成话题推荐语句输出给用户；

解析所述用户对该话题推荐语句的多模态反馈数据，根据用户反馈结果确定是否继续该推荐的子话题。

2.根据权利要求1所述的方法，其特征在于，

所述主话题及子话题是基于知识图谱结构结合实体信息搭建的话题图谱确定的。

3.根据权利要求2所述的方法，其特征在于，在基于设定话题推荐方式生成话题推荐语句输出给用户的步骤中，

从所述话题图谱中选择与当前轮次所属的主话题相关联的子话题；

结合设定话题推荐方式的话题模版和选择的子话题生成话题推荐语句，所述设定话题推荐方式包括：话题推荐语句为陈述语句进行推荐的建议方式和话题推荐语句为疑问句进行推荐的询问方式。

4.根据权利要求1～3中任一项所述的方法，其特征在于，还包括：

预先设定话题推荐策略，在第一设定轮次对话交互后进行首次子话题推荐，之后在每隔第二设定轮次对话交互后进行二次子话题推荐，所述第二设定轮次大于所述第一设定轮次。

5.根据权利要求1所述的方法，其特征在于，还包括：

对用户身份进行识别，判断当前用户是否为儿童用户；

若为儿童用户，基于为儿童用户搭建的话题图谱进行话题推荐。

6.根据权利要求5所述的方法，其特征在于，还包括：

所述智能机器人为故事机或聊天机器人。

7.一种用于智能机器人的对话交互处理***，其特征在于，该***包括如下模块：

交互信息解析模块，其解析多轮对话交互信息，获取与话题相关的实体信息；

话题体系确定模块，其基于实体信息及上下文对话中获取的话题信息，确定每轮对话交互所属主话题及子话题，其中，所述子话题为主话题的多个直接属性之一；

推荐语句输出模块，其在设定轮次对话交互完成后，选择与当前轮次所属的主话题相关联的其他子话题，基于设定话题推荐方式生成话题推荐语句输出给用户；

反馈数据解析模块，其解析所述用户对该话题推荐语句的多模态反馈数据，根据用户反馈结果确定是否继续该推荐的子话题。

8.根据权利要求7所述的***，其特征在于，

所述主话题及子话题是基于知识图谱结构结合实体信息搭建的话题图谱确定的。

9.根据权利要求8所述的***，其特征在于，所述推荐语句输出模块，其进一步执行如下步骤：

从所述话题图谱中选择与当前轮次所属的主话题相关联的子话题；

结合设定话题推荐方式的话题模版和选择的子话题生成话题推荐语句，所述设定话题推荐方式包括：话题推荐语句为陈述语句进行推荐的建议方式和话题推荐语句为疑问句进行推荐的询问方式。

10.根据权利要求7～9中任一项所述的***，其特征在于，还包括：

推荐策略设定模块，其预先设定话题推荐策略，在第一设定轮次对话交互后进行首次子话题推荐，之后在每隔第二设定轮次对话交互后进行二次子话题推荐，所述第二设定轮次大于所述第一设定轮次。

11.根据权利要求7所述的***，其特征在于，还包括：

用户身份识别模块，其对用户身份进行识别，判断当前用户是否为儿童用户；若为儿童用户，基于为儿童用户搭建的话题图谱进行话题推荐。

12.一种用于智能机器人的对话交互***，该***包括：

云端服务器，其具备如权利要求7～11中任一项所述的对话交互处理***；

智能机器人，其采集与用户交互的多模态交互数据，并将所述多模态交互数据发送至所述云端服务器，向用户输出来自所述云端服务器的话题推荐语句。