CN107589826B - 基于知识图谱的人机交互方法及*** - Google Patents

Abstract

本发明提供了一种基于知识图谱的人机交互方法及***，当用户的多模态输入记录中用于查询信息的特征不全时，确定当前多模态输入记录的待补全特征，判断该待补全特征的补全可行性；当判断结果为能补全时，采用自动补全的方式，补全待补全特征的特征值，自动补全用户查询信息时所需要的特征，再基于知识图谱做出响应，从而实现多轮会话；当判断结果为不能补全时，向用户推送关于该待补全特征的问题，获取待补全特征的特征值，从而补全用户查询信息时所需要的特征，再基于知识图谱对用户做出响应，实现多轮会话。

Description

基于知识图谱的人机交互方法及***

技术领域

本发明涉及人工智能技术领域，尤其涉及一种基于知识图谱的人机交互方法及***。

背景技术

现有的基于知识图谱的人机交互技术无法实现多轮会话的顺利进行，例如，用户首先输入：深圳今天多少度，机器人回答完毕，用户继续输入：明天呢。由于问句中信息不全，机器人无法识别，导致多轮会话无法继续。

发明内容

本发明的目的是提供一种基于知识图谱的人机交互方法及***，解决了现有的基于知识图谱的人机交互技术在用户提出的问题信息不全时会话无法继续的问题。

本发明解决其技术问题所采用的技术方案是：

一种基于知识图谱的人机交互方法，包括：

获取用户的当前多模态输入记录，所述当前多模态输入记录包括输入数据和输入时间；

对当前多模态输入记录进行意图分类，将当前多模态输入记录存储于相应的意图库；所述意图库通过N种特征标签对多模态输入记录进行特征分类；

在意图库中对当前多模态输入记录进行特征分类，确定当前多模态输入记录的特征标签及其数目M，并将当前多模态输入记录及其特征值放入相应的特征标签下；

对M和N进行比较；当M等于N时，根据当前多模态输入记录，确定当前特征分类信息，并根据当前特征分类信息，基于知识图谱对用户做出响应；

当M小于N时，确定当前多模态输入记录的待补全特征，判断该待补全特征的补全可行性；当判断结果为能补全时，采用自动补全的方式，补全待补全特征的特征值，得到更新后的当前多模态输入记录，根据更新后的当前多模态输入记录，确定当前特征分类信息，并根据当前特征分类信息，基于知识图谱对用户做出响应；当判断结果为不能补全时，向用户推送关于该待补全特征的问题，获取待补全特征的特征值，得到更新后的当前多模态输入记录，根据更新后的当前多模态输入记录，确定当前特征分类信息，并根据当前特征分类信息，基于知识图谱对用户做出响应。

在此基础上，进一步地，所述输入数据为文字、语音、动画、表情、动作、手势、图片或视频。

在上述任意实施例的基础上，进一步地，所述自动补全的方式包括历史多模态输入记录补全、知识库补全、用户属性库补全和第三方获取的数据补全。

在此基础上，进一步地，所述历史多模态输入记录补全的方式，具体为：

在意图库中查询待补全特征标签下的分类结果中输入时间最近的历史多模态输入记录，获取该历史多模态输入记录中待补全特征的特征值作为当前多模态输入记录中待补全特征的特征值。

在上述任意实施例的基础上，进一步地，还包括：

生成响应记录并存储于响应库。

一种基于知识图谱的人机交互***，包括：

输入模块，用于获取用户的当前多模态输入记录，所述当前多模态输入记录包括输入数据和输入时间；

意图识别模块，用于对当前多模态输入记录进行意图分类，将当前多模态输入记录存储于相应的意图库；所述意图库通过N种特征标签对多模态输入记录进行特征分类；

特征分类模块，用于在意图库中对当前多模态输入记录进行特征分类，确定当前多模态输入记录的特征标签及其数目M，并将当前多模态输入记录及其特征值放入相应的特征标签下；

意图响应模块，用于对M和N进行比较；当M等于N时，根据当前多模态输入记录，确定当前特征分类信息，并根据当前特征分类信息，基于知识图谱对用户做出响应；当M小于N时，确定当前多模态输入记录的待补全特征，判断该待补全特征的补全可行性；当判断结果为能补全时，采用自动补全的方式，补全待补全特征的特征值，得到更新后的当前多模态输入记录，根据更新后的当前多模态输入记录，确定当前特征分类信息，并根据当前特征分类信息，基于知识图谱对用户做出响应；当判断结果为不能补全时，向用户推送关于该待补全特征的问题，获取待补全特征的特征值，得到更新后的当前多模态输入记录，根据更新后的当前多模态输入记录，确定当前特征分类信息，并根据当前特征分类信息，基于知识图谱对用户做出响应。

在此基础上，进一步地，所述输入数据为文字、语音、动画、表情、动作、手势、图片或视频。

在上述任意实施例的基础上，进一步地，所述自动补全的方式包括历史多模态输入记录补全、知识库补全、用户属性库补全和第三方获取的数据补全。

在此基础上，进一步地，所述历史多模态输入记录补全的方式，具体为：

在意图库中查询待补全特征标签下的分类结果中输入时间最近的历史多模态输入记录，获取该历史多模态输入记录中待补全特征的特征值作为当前多模态输入记录中待补全特征的特征值。

在上述任意实施例的基础上，进一步地，还包括：

响应存储模块，用于生成响应记录并存储于响应库。

本发明的有益效果是：

本发明提供了一种基于知识图谱的人机交互方法及***，当用户的多模态输入记录中用于查询信息的特征不全时，确定当前多模态输入记录的待补全特征，判断该待补全特征的补全可行性；当判断结果为能补全时，采用自动补全的方式，补全待补全特征的特征值，自动补全用户查询信息时所需要的特征，再基于知识图谱做出响应，从而实现多轮会话；当判断结果为不能补全时，向用户推送关于该待补全特征的问题，获取待补全特征的特征值，从而补全用户查询信息时所需要的特征，再基于知识图谱对用户做出响应，实现多轮会话。

附图说明

下面结合附图和实施例对本发明进一步说明。

图1示出了本发明实施例提供的一种基于知识图谱的人机交互方法的流程图；

图2示出了本发明实施例提供的一种基于知识图谱的人机交互***的结构示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不限定本发明。

具体实施例一

如图1所示，本发明实施例提供了一种基于知识图谱的人机交互方法，包括：

步骤S101，获取用户的当前多模态输入记录，所述当前多模态输入记录包括输入数据和输入时间；

步骤S102，对当前多模态输入记录进行意图分类，将当前多模态输入记录存储于相应的意图库；所述意图库通过N种特征标签对多模态输入记录进行特征分类；

步骤S103，在意图库中对当前多模态输入记录进行特征分类，确定当前多模态输入记录的特征标签及其数目M，并将当前多模态输入记录及其特征值放入相应的特征标签下；

步骤S104，对M和N进行比较；当M等于N时，根据当前多模态输入记录，确定当前特征分类信息，并根据当前特征分类信息，基于知识图谱对用户做出响应；当M小于N时，确定当前多模态输入记录的待补全特征，判断该待补全特征的补全可行性；当判断结果为能补全时，采用自动补全的方式，补全待补全特征的特征值，得到更新后的当前多模态输入记录，根据更新后的当前多模态输入记录，确定当前特征分类信息，并根据当前特征分类信息，基于知识图谱对用户做出响应；当判断结果为不能补全时，向用户推送关于该待补全特征的问题，获取待补全特征的特征值，得到更新后的当前多模态输入记录，根据更新后的当前多模态输入记录，确定当前特征分类信息，并根据当前特征分类信息，基于知识图谱对用户做出响应。

在补全特征之前***会对问句能否补全进行判定，因为并不是所有的情况都可以通过补全来完成，而是只有能补全的时候，***才会自动补全；如果不能自动补全，***将反问客户，向用户推送问题，例如：1、“深圳天气怎么样？”，可以根据用户属性库中的用户习惯自动补全为“深圳今天天气怎么样？”2、“这个周末的火车票还有吗？”，此时***会询问用户“目的地在哪”。

本发明实施例可以在用户的多模态输入记录中用于查询信息的特征不全时，确定当前多模态输入记录的待补全特征，判断该待补全特征的补全可行性；当判断结果为能补全时，采用自动补全的方式，补全待补全特征的特征值，自动补全用户查询信息时所需要的特征，再基于知识图谱做出响应，从而实现多轮会话；当判断结果为不能补全时，向用户推送关于该待补全特征的问题，获取待补全特征的特征值，从而补全用户查询信息时所需要的特征，再基于知识图谱对用户做出响应，实现多轮会话。

本发明实施例对步骤S101中输入数据的形式不做限定，优选的，所述输入数据可以为文字、语音、动画、表情、动作、手势、图片或视频。

本发明实施例对步骤S104中自动补全的方式不做限定，在上述任意实施例的基础上，优选的，所述自动补全的方式可以包括历史多模态输入记录补全、知识库补全、用户属性库补全和第三方获取的数据补全。补全方式可以为基于上文的补全；也可以为基于其他方法的补全，例如：“今天天气怎么样？”，***可以通过GPS定位，获取定位地点来补全。或者，用户问“附近有什么好吃的？”，***可以通过用户的个人属性库，比如用户的偏好(如用户爱吃火锅)来补全“附近有什么好吃的火锅”。

在此基础上，优选的，所述历史多模态输入记录补全的方式，可以具体为：在意图库中查询待补全特征标签下的分类结果中输入时间最近的历史多模态输入记录，获取该历史多模态输入记录中待补全特征的特征值作为当前多模态输入记录中待补全特征的特征值。根据***设定，一段会话可以包括一条或多条多模态输入记录，在对当前意图进行分类时，其可以通过历史多模态输入记录进行分类。例如，用户的第一条多模态输入记录为：深圳今天多少度，机器人回答完毕，用户继续输入：明天呢，该问句不全，此时，机器人根据第一条多模态输入记录，将该多模态输入记录分类为天气查询，按照预定设置，天气查询意图库通过时间和地点2个特征标签对多模态输入记录进行分类；在天气查询意图库中，根据第二条输入数据“明天呢”对其进行特征分类，确定其特征标签为时间，特征标签数量为1；由于1小于2，缺少地点这个特征标签，因此需要对第二条输入数据进行地点补全，在天气查询意图库中查询地点标签下的分类结果中输入时间最近的多模态输入记录，即“深圳今天多少度”，获取其地点特征值“深圳”作为本多模态输入记录的待补全地点特征值，因此，根据补全地点特征值“深圳”和原输入数据中的时间特征值“明天”，***即可查询到明天深圳的天气状况发送到用户。

在上述任意实施例的基础上，优选的，本发明实施例在步骤S104后还可以包括，生成响应记录并存储于响应库。这样做的好处是，方便用户查询历史响应记录。

本发明实施例对响应记录的内容不做限定，优选的，其可以包括状态分类信息。这样做的好处是，方便用户从历史响应记录查询到与响应所相应的状态分类信息。

本发明实施例对意图库的存储位置也不做限定，优选的，所述意图库可以存储于云服务器。将意图库存储于云服务器，可以实现不同设备间用户意图库的共享。

具体实施例二

如图2所示，本发明实施例提供了一种基于知识图谱的人机交互***，包括：

输入模块，用于获取用户的当前多模态输入记录，所述当前多模态输入记录包括输入数据和输入时间；

意图识别模块，用于对当前多模态输入记录进行意图分类，将当前多模态输入记录存储于相应的意图库；所述意图库通过N种特征标签对多模态输入记录进行特征分类；

特征分类模块，用于在意图库中对当前多模态输入记录进行特征分类，确定当前多模态输入记录的特征标签及其数目M，并将当前多模态输入记录及其特征值放入相应的特征标签下；

意图响应模块，用于对M和N进行比较；当M等于N时，根据当前多模态输入记录，确定当前特征分类信息，并根据当前特征分类信息，基于知识图谱对用户做出响应；当M小于N时，确定当前多模态输入记录的待补全特征，判断该待补全特征的补全可行性；当判断结果为能补全时，采用自动补全的方式，补全待补全特征的特征值，得到更新后的当前多模态输入记录，根据更新后的当前多模态输入记录，确定当前特征分类信息，并根据当前特征分类信息，基于知识图谱对用户做出响应；当判断结果为不能补全时，向用户推送关于该待补全特征的问题，获取待补全特征的特征值，得到更新后的当前多模态输入记录，根据更新后的当前多模态输入记录，确定当前特征分类信息，并根据当前特征分类信息，基于知识图谱对用户做出响应。

本发明实施例可以在用户的多模态输入记录中用于查询信息的特征不全时，确定当前多模态输入记录的待补全特征，判断该待补全特征的补全可行性；当判断结果为能补全时，采用自动补全的方式，补全待补全特征的特征值，自动补全用户查询信息时所需要的特征，再基于知识图谱做出响应，从而实现多轮会话；当判断结果为不能补全时，向用户推送关于该待补全特征的问题，获取待补全特征的特征值，从而补全用户查询信息时所需要的特征，再基于知识图谱对用户做出响应，实现多轮会话。

本发明实施例对输入数据的形式不做限定，优选的，所述输入数据可以为文字、语音、动画、表情、动作、手势、图片或视频。

本发明实施例对自动补全的方式不做限定，在上述任意实施例的基础上，优选的，所述自动补全的方式可以包括历史多模态输入记录补全、知识库补全、用户属性库补全和第三方获取的数据补全。补全方式可以为基于上文的补全；也可以为基于其他方法的补全，例如：“今天天气怎么样？”，***可以通过GPS定位，获取定位地点来补全。或者，用户问“附近有什么好吃的？”，***可以通过用户的个人属性库，比如用户的偏好(如用户爱吃火锅)来补全“附近有什么好吃的火锅”。

在此基础上，优选的，所述历史多模态输入记录补全的方式，可以具体为：在意图库中查询待补全特征标签下的分类结果中输入时间最近的历史多模态输入记录，获取该历史多模态输入记录中待补全特征的特征值作为当前多模态输入记录中待补全特征的特征值。根据***设定，一段会话可以包括一条或多条多模态输入记录，在对当前意图进行分类时，其可以通过历史多模态输入记录进行分类。例如，用户的第一条多模态输入记录为：深圳今天多少度，机器人回答完毕，用户继续输入：明天呢，该问句不全，此时，机器人根据第一条多模态输入记录，将该多模态输入记录分类为天气查询，按照预定设置，天气查询意图库通过时间和地点2个特征标签对多模态输入记录进行分类；在天气查询意图库中，根据第二条输入数据“明天呢”对其进行特征分类，确定其特征标签为时间，特征标签数量为1；由于1小于2，缺少地点这个特征标签，因此需要对第二条输入数据进行地点补全，在天气查询意图库中查询地点标签下的分类结果中输入时间最近的多模态输入记录，即“深圳今天多少度”，获取其地点特征值“深圳”作为本多模态输入记录的待补全地点特征值，因此，根据补全地点特征值“深圳”和原输入数据中的时间特征值“明天”，***即可查询到明天深圳的天气状况发送到用户。

在上述任意实施例的基础上，优选的，本发明实施例还可以包括响应存储模块，用于生成响应记录并存储于响应库。这样做的好处是，方便用户查询历史响应记录。

本发明实施例对响应记录的内容不做限定，优选的，其可以包括状态分类信息。这样做的好处是，方便用户从历史响应记录查询到与响应所相应的状态分类信息。

本发明实施例对意图库的存储位置也不做限定，优选的，所述意图库可以存储于云服务器。将意图库存储于云服务器，可以实现不同设备间用户意图库的共享。

尽管本发明已进行了一定程度的描述，明显地，在不脱离本发明的精神和范围的条件下，可进行各个条件的适当变化。可以理解，本发明不限于所述实施方案，而归于权利要求的范围，其包括所述每个因素的等同替换。

Claims (8)

1.一种基于知识图谱的人机交互方法，其特征在于，包括：

获取用户的当前多模态输入记录，所述当前多模态输入记录包括输入数据和输入时间；

对当前多模态输入记录进行意图分类，将当前多模态输入记录存储于相应的意图库；所述意图库通过N种特征标签对多模态输入记录进行特征分类；

在意图库中对当前多模态输入记录进行特征分类，确定当前多模态输入记录的特征标签及其数目M，并将当前多模态输入记录及其特征值放入相应的特征标签下；

对M和N进行比较；当M等于N时，根据当前多模态输入记录，确定当前特征分类信息，并根据当前特征分类信息，基于知识图谱对用户做出响应；

当M小于N时，确定当前多模态输入记录的待补全特征，判断该待补全特征的补全可行性；当判断结果为能补全时，采用自动补全的方式，补全待补全特征的特征值，得到更新后的当前多模态输入记录，根据更新后的当前多模态输入记录，确定当前特征分类信息，并根据当前特征分类信息，基于知识图谱对用户做出响应；当判断结果为不能补全时，向用户推送关于该待补全特征的问题，获取待补全特征的特征值，得到更新后的当前多模态输入记录，根据更新后的当前多模态输入记录，确定当前特征分类信息，并根据当前特征分类信息，基于知识图谱对用户做出响应。

2.根据权利要求1所述的基于知识图谱的人机交互方法，其特征在于，所述输入数据为文字、语音、动画、表情、动作、手势、图片或视频。

3.根据权利要求1或2所述的基于知识图谱的人机交互方法，其特征在于，所述自动补全的方式包括历史多模态输入记录补全、知识库补全、用户属性库补全和第三方获取的数据补全，所述历史多模态输入记录补全的方式，具体为：

在意图库中查询待补全特征标签下的分类结果中输入时间最近的历史多模态输入记录，获取该历史多模态输入记录中待补全特征的特征值作为当前多模态输入记录中待补全特征的特征值。

4.根据权利要求1或2所述的基于知识图谱的人机交互方法，其特征在于，还包括：

生成响应记录并存储于响应库。

5.一种基于知识图谱的人机交互***，其特征在于，包括：

输入模块，用于获取用户的当前多模态输入记录，所述当前多模态输入记录包括输入数据和输入时间；

意图识别模块，用于对当前多模态输入记录进行意图分类，将当前多模态输入记录存储于相应的意图库；所述意图库通过N种特征标签对多模态输入记录进行特征分类；

特征分类模块，用于在意图库中对当前多模态输入记录进行特征分类，确定当前多模态输入记录的特征标签及其数目M，并将当前多模态输入记录及其特征值放入相应的特征标签下；

意图响应模块，用于对M和N进行比较；当M等于N时，根据当前多模态输入记录，确定当前特征分类信息，并根据当前特征分类信息，基于知识图谱对用户做出响应；当M小于N时，确定当前多模态输入记录的待补全特征，判断该待补全特征的补全可行性；当判断结果为能补全时，采用自动补全的方式，补全待补全特征的特征值，得到更新后的当前多模态输入记录，根据更新后的当前多模态输入记录，确定当前特征分类信息，并根据当前特征分类信息，基于知识图谱对用户做出响应；当判断结果为不能补全时，向用户推送关于该待补全特征的问题，获取待补全特征的特征值，得到更新后的当前多模态输入记录，根据更新后的当前多模态输入记录，确定当前特征分类信息，并根据当前特征分类信息，基于知识图谱对用户做出响应。

6.根据权利要求5所述的基于知识图谱的人机交互***，其特征在于，所述输入数据为文字、语音、动画、表情、动作、手势、图片或视频。

7.根据权利要求5或6所述的基于知识图谱的人机交互***，其特征在于，所述自动补全的方式包括历史多模态输入记录补全、知识库补全、用户属性库补全和第三方获取的数据补全，所述历史多模态输入记录补全的方式，具体为：

在意图库中查询待补全特征标签下的分类结果中输入时间最近的历史多模态输入记录，获取该历史多模态输入记录中待补全特征的特征值作为当前多模态输入记录中待补全特征的特征值。

8.根据权利要求5或6所述的基于知识图谱的人机交互***，其特征在于，还包括：

响应存储模块，用于生成响应记录并存储于响应库。