CN112182186A - 智能客服的运行方法、装置以及*** - Google Patents
智能客服的运行方法、装置以及*** Download PDFInfo
- Publication number
- CN112182186A CN112182186A CN202011064957.4A CN202011064957A CN112182186A CN 112182186 A CN112182186 A CN 112182186A CN 202011064957 A CN202011064957 A CN 202011064957A CN 112182186 A CN112182186 A CN 112182186A
- Authority
- CN
- China
- Prior art keywords
- content
- question
- intelligent terminal
- intention
- reply
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/332—Query formulation
- G06F16/3329—Natural language query formulation or dialogue systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
- G06F40/35—Discourse or dialogue representation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Electrically Operated Instructional Devices (AREA)
Abstract
本申请公开了一种智能客服的运行方法、装置以及***。其中,该方法包括:接收智能终端发送的第一提问内容;通过意图识别模型识别出与所述第一提问内容匹配的意图识别结果,其中,所述意图识别模型是采用多组提问内容进行训练得到的,同一组提问内容中的各条提问内容被标注为与同一答复内容匹配;返回根据所述意图识别结果确定的第一答复内容至所述智能终端。本申请解决了相关技术中智能客服的有效回答率较低的技术问题。
Description
技术领域
本申请涉及人工智能领域,具体而言,涉及一种智能客服的运行方法、装置以及***。
背景技术
互联网时代,人工客服是我们日常生活中常见的一种工作,是各个企业与广大用户之间沟通的桥梁,产品咨询、活动问题、售后维修、投诉建议等等都离不开客服,但是在客服工作中有大量的重复或者模式化的问题,这些问题占据了客服人员的大量时间,影响效率。所以客服机器人慢慢进入了客服岗位,帮助企业降低人工成本,提高工作效率。
目前,客服机器人主要是通过文档知识库加上搜索来实现的,通过在问答知识库中搜索用户提问的关键字来给出用户答案,然而不同用户针对相同问题的问法不尽相同,从而导致大部分问题并不能直接搜索出答案。
针对上述的问题,目前尚未提出有效的解决方案。
发明内容
本申请实施例提供了一种智能客服的运行方法、装置以及***,以至少解决相关技术中智能客服的有效回答率较低的技术问题。
根据本申请实施例的一个方面,提供了一种智能客服的运行方法,应用于客服机器人,包括:接收智能终端发送的第一提问内容;通过意图识别模型识别出与第一提问内容匹配的意图识别结果,其中,意图识别模型是采用多组提问内容进行训练得到的,同一组提问内容中的各条提问内容被标注为与同一答复内容匹配;返回根据意图识别结果确定的第一答复内容至智能终端。
可选地,返回根据意图识别结果确定的第一答复内容至智能终端包括:在意图识别结果的置信度大于目标阈值的情况下,返回与第一提问内容匹配的第一答复内容至智能终端;在意图识别结果的置信度不大于目标阈值的情况下,从目标知识库中查找与第一提问内容匹配的第一答复内容,并返回第一答复内容至智能终端。
可选地,返回根据意图识别结果确定的第一答复内容至智能终端包括:获取与意图识别结果匹配的多个候选答复内容;从多个候选答复内容中选择与第一提问内容之间的匹配度最高的作为第一答复内容返回至智能终端。
可选地,目标知识库中保存有多个参考问题和每个参考问题对应的答复内容,其中,从目标知识库中查找与第一提问内容匹配的第一答复内容包括:从目标知识库中查找与第一提问内容匹配的候选参考问题;将候选参考问题反馈给智能终端;确定候选参考问题中被智能终端选中的目标参考问题;将目标知识库中与目标参考问题对应的答复内容作为第一答复内容。
可选地,在从目标知识库中查找与第一提问内容匹配的第一答复内容之前,从多个知识库为客服机器人选择目标知识库,其中,多个知识库中的每个知识库中保存有一个领域的问题和相应的答复内容。
可选地,在接收智能终端发送的第一提问内容之后,获取历史提问内容,其中,历史提问内容包括第一提问内容;对历史提问内容进行聚类分析,得到多类提问话题;在目标知识库中补充与多类提问话题匹配的答复内容。
可选地,在接收智能终端发送的第一提问内容之后,获取历史提问内容,其中,历史提问内容包括第一提问内容;对历史提问内容进行词频统计,得到历史提问内容中词语的词频;在目标知识库中补充与目标词语关联的答复内容,其中,目标词语的词频大于历史提问内容中除目标词语以外的词语的词频。
可选地,在接收智能终端发送的第一提问内容之前,利用第一训练集中的数据对初始识别模型进行训练,其中,第一训练集中包括目标知识库中的一部分参考问题和对应的答复内容;在训练后的初始识别模型对第一验证集中的数据的识别准确率达到第一阈值的情况下,将训练后的初始识别模型作为意图识别模型,其中,第一验证集中包括目标知识库中的另一部分参考问题和对应的答复内容;在训练后的初始识别模型对第一验证集中的数据的识别准确率未达到第一阈值的情况下,继续利用第一训练集中的数据对初始识别模型进行训练,直至训练后的初始识别模型对第一验证集中的数据的识别准确率达到第一阈值。
可选地,在返回根据意图识别结果确定的第一答复内容至智能终端之后,对第一提问内容进行标注,其中,第一提问内容的标注用于表示客服机器人将第一答复内容作为第一提问内容的答复内容是否通过验证;将标注后的第一提问内容和第一答复内容保存至历史问答数据库。
可选地,在将标注后的第一提问内容和第一答复内容保存至历史问答数据库之后,利用第二训练集中的数据对意图识别模型进行训练,其中,第二训练集中包括历史问答数据库中的一部分问题和对应的答复内容;在训练后的意图识别模型对第二验证集中的数据的识别准确率达到第二阈值的情况下,停止训练,其中,第二验证集中包括历史问答数据库中的另一部分问题和对应的答复内容;在训练后的意图识别模型对第二验证集中的数据的识别准确率未达到第二阈值的情况下,继续利用第二训练集中的数据对意图识别模型进行训练,直至训练后的意图识别模型对第二验证集中的数据的识别准确率达到第二阈值。
可选地,在接收智能终端发送的第一提问内容之前,在智能终端上提示多种交互方式,其中,多种交互方式包括任务模式、闲聊模式以及转人工模式;其中,在接收到智能终端选中任务模式的响应消息的情况下,接收智能终端发送的第一提问内容。
可选地,在智能终端上提示多种交互方式之后,在接收到智能终端选中闲聊模式的响应消息的情况下,接收智能终端发送的第二提问内容;通过编码器对第二提问内容进行语义向量的编码,得到用于表示第二提问内容的语义向量;利用解码器对第二提问内容的语义向量进行解码,得到第二答复内容;将第二答复内容返回至智能终端。
可选地,接收智能终端发送的第一提问内容包括:接收智能终端采用超文本传输协议HTTP传输的第一提问内容。
根据本申请实施例的另一方面,还提供了一种智能客服的运行装置,包括:接收单元,用于接收智能终端发送的第一提问内容;识别单元,用于通过意图识别模型识别出与第一提问内容匹配的意图识别结果,其中,意图识别模型是采用多组提问内容进行训练得到的,同一组提问内容中的各条提问内容被标注为与同一答复内容匹配;返回单元,用于返回根据意图识别结果确定的第一答复内容至智能终端。
可选地,返回单元还可用于:在意图识别结果的置信度大于目标阈值的情况下,返回与第一提问内容匹配的第一答复内容至智能终端;在意图识别结果的置信度不大于目标阈值的情况下,从目标知识库中查找与第一提问内容匹配的第一答复内容,并返回第一答复内容至智能终端。
可选地,返回单元还可用于:返回根据意图识别结果确定的第一答复内容至智能终端包括:获取与意图识别结果匹配的多个候选答复内容;从多个候选答复内容中选择与第一提问内容之间的匹配度最高的作为第一答复内容返回至智能终端。
可选地,目标知识库中保存有多个参考问题和每个参考问题对应的答复内容,返回单元还可用于:从目标知识库中查找与第一提问内容匹配的候选参考问题;将候选参考问题反馈给智能终端;确定候选参考问题中被智能终端选中的目标参考问题;将目标知识库中与目标参考问题对应的答复内容作为第一答复内容。
可选地,该装置还可包括,配置单元,用于在从目标知识库中查找与第一提问内容匹配的第一答复内容之前,从多个知识库为客服机器人选择目标知识库,其中,多个知识库中的每个知识库中保存有一个领域的问题和相应的答复内容。
可选地,该装置还可包括,扩展单元,用于在接收智能终端发送的第一提问内容之后,获取历史提问内容,其中,历史提问内容包括第一提问内容;对历史提问内容进行聚类分析,得到多类提问话题;在目标知识库中补充与多类提问话题匹配的答复内容。
可选地,扩展单元,还可用于在接收智能终端发送的第一提问内容之后,获取历史提问内容,其中,历史提问内容包括第一提问内容;对历史提问内容进行词频统计,得到历史提问内容中词语的词频;在目标知识库中补充与目标词语关联的答复内容,其中,目标词语的词频大于历史提问内容中除目标词语以外的词语的词频。
可选地,该装置还可包括,模型训练单元,用于在接收智能终端发送的第一提问内容之前,利用第一训练集中的数据对初始识别模型进行训练,其中,第一训练集中包括目标知识库中的一部分参考问题和对应的答复内容;在训练后的初始识别模型对第一验证集中的数据的识别准确率达到第一阈值的情况下,将训练后的初始识别模型作为意图识别模型,其中,第一验证集中包括目标知识库中的另一部分参考问题和对应的答复内容;在训练后的初始识别模型对第一验证集中的数据的识别准确率未达到第一阈值的情况下,继续利用第一训练集中的数据对初始识别模型进行训练,直至训练后的初始识别模型对第一验证集中的数据的识别准确率达到第一阈值。
可选地,该装置还可包括,标注单元,用于在返回根据意图识别结果确定的第一答复内容至智能终端之后,对第一提问内容进行标注,其中,第一提问内容的标注用于表示客服机器人将第一答复内容作为第一提问内容的答复内容是否通过验证;将标注后的第一提问内容和第一答复内容保存至历史问答数据库。
可选地,模型训练单元,还可用于在将标注后的第一提问内容和第一答复内容保存至历史问答数据库之后,利用第二训练集中的数据对意图识别模型进行训练,其中,第二训练集中包括历史问答数据库中的一部分问题和对应的答复内容;在训练后的意图识别模型对第二验证集中的数据的识别准确率达到第二阈值的情况下,停止训练,其中,第二验证集中包括历史问答数据库中的另一部分问题和对应的答复内容;在训练后的意图识别模型对第二验证集中的数据的识别准确率未达到第二阈值的情况下,继续利用第二训练集中的数据对意图识别模型进行训练,直至训练后的意图识别模型对第二验证集中的数据的识别准确率达到第二阈值。
可选地,接收单元,还可用于在接收智能终端发送的第一提问内容之前,在智能终端上提示多种交互方式,多种交互方式包括任务模式、闲聊模式以及转人工模式;在接收到智能终端选中任务模式的响应消息的情况下,接收智能终端发送的第一提问内容。
可选地,返回单元,还可用于在智能终端上提示多种交互方式之后,在接收到智能终端选中闲聊模式的响应消息的情况下,接收智能终端发送的第二提问内容;通过编码器对第二提问内容进行语义向量的编码,得到用于表示第二提问内容的语义向量;利用解码器对第二提问内容的语义向量进行解码,得到第二答复内容;将第二答复内容返回至智能终端。
可选地,接收单元,还可用于接收智能终端采用超文本传输协议HTTP传输的第一提问内容。
根据本申请实施例的另一方面,还提供了一种智能客服的运行***,包括:客服机器人,用于在接收到智能终端的第一提问内容的情况下,通过意图识别模型识别出与所述第一提问内容匹配的意图识别结果,并返回根据所述意图识别结果确定的第一答复内容至所述智能终端;模型训练***,所述模型训练***用于采用多组提问内容对意图识别模型进行训练,并将训练好的所述意图识别模型提供给所述客服机器人调用,其中,同一组提问内容中的各条提问内容被标注为与同一答复内容匹配。
根据本申请实施例的另一方面,该运行***还可包括:管理后台,用于从多个知识库为客服机器人配置目标知识库,并为客服机器人配置意图识别模型,管理后台提供了机器人配置信息,知识条信息、模型训练信息等的增删改查操作,同时可以查看数据分析结果、历史聊天数据信息等,通过管理后台可以随时对知识条、机器人配置和识别模型进行更新;多个知识库,多个知识库中的每个知识库中保存有一个领域的问题和相应的答复内容,在通过后台进行知识条配置时,考虑很多机器人会有共同的知识条,所以可以增加通用配置,任何机器人通过后台关联上通用知识条,就可以使用相关知识内容;历史问答数据库,历史问答数据库用于保存客服机器人接收到的提问内容和对应的答复内容;数据标注平台,数据标注平台用于对历史问答数据库中的提问内容和对应的答复内容进行标注,数据标注平台主要用于后台工作人员对抽查的历史会话信息进行标注,标注出提问是否被准确回答,如果回答错误,正确的应该是哪个,标注完成的信息存储在历史问答数据库中,供识别模型迭代训练;数据分析服务,数据分析服务用于对历史问答数据库中的提问内容和对应的答复内容进行分析;模型训练***,模型训练***主要负责意图识别模型的迭代训练,接入方刚开始使用时,***使用所添加的知识库训练一个模型,这个模型的识别能力可能在刚开始使用时比较弱,所以需要人工标注的数据进行模型的迭代更新,这样模型的识别能力才能越来越强,模型训练***可每天定时运行模型训练程序,也可以人工操作开始训练,同时会将标注数据的一部分作为测试数据集,每次模型训练完成就使用测试数据集进行评估,并将评估结果记录到数据库中,供调用方决策使用。
根据本申请实施例的另一方面,还提供了一种存储介质,该存储介质包括存储的程序,程序运行时执行上述的方法。
根据本申请实施例的另一方面,还提供了一种电子装置,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器通过计算机程序执行上述的方法。
在本申请实施例中,在用户提问的过程中,通过意图识别模型识别出用户意图,相当于客服机器人可以泛化的理解用户问题,进而得到与提问内容匹配的答复内容,而不是只能识别知识库中已有的固定问法,可以解决相关技术中智能客服的有效回答率较低的技术问题,进而达到提高有效回答率的技术效果。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1是根据本申请实施例的一种可选的智能客服的运行方法的示意图;
图2是根据本申请实施例的一种可选的智能客服的运行方法的流程图;
图3是根据本申请实施例的一种可选的智能客服的运行方法的流程图;
图4是根据本申请实施例的一种可选的智能客服采用的模型的示意图;
图5是根据本申请实施例的一种可选的文本分类的示意图;
图6是根据本申请实施例的一种可选的转入人工服务的示意图;
图7是根据本申请实施例的一种可选的词语分析的示意图;
图8是根据本申请实施例的一种可选的统计词云图的示意图;
图9是根据本申请实施例的一种可选的智能客服的运行装置的示意图;
以及
图10是根据本申请实施例的一种终端的结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分的实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本申请保护的范围。
需要说明的是,本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
根据本申请实施例的一方面,提供了一种智能客服的运行***的***实施例。如图1所示,主要包括客服机器人,用于在接收到智能终端的第一提问内容的情况下,通过意图识别模型识别出与第一提问内容匹配的意图识别结果,并返回根据意图识别结果确定的第一答复内容至智能终端;模型训练***,模型训练***用于采用多组提问内容对意图识别模型进行训练,并将训练好的意图识别模型提供给客服机器人调用,同一组提问内容中的各条提问内容被标注为与同一答复内容匹配。
可选地,上述运行***还可包括:
管理后台,用于从多个知识库为客服机器人配置目标知识库,并为客服机器人配置意图识别模型,管理后台提供了机器人配置信息,知识条信息、模型训练信息等的增删改查操作,同时可以查看数据分析结果、历史聊天数据信息等,通过管理后台可以随时对知识条、机器人配置和识别模型进行更新;
多个知识库,多个知识库中的每个知识库中保存有一个领域的问题和相应的答复内容,在通过后台进行知识条配置时,考虑很多机器人会有共同的知识条,所以可以增加通用配置,任何机器人通过后台关联上通用知识条,就可以使用相关知识内容;
历史问答数据库,历史问答数据库用于保存客服机器人接收到的提问内容和对应的答复内容;
数据标注平台,数据标注平台用于对历史问答数据库中的提问内容和对应的答复内容进行标注,数据标注平台主要用于后台工作人员对抽查的历史会话信息进行标注,标注出提问是否被准确回答,如果回答错误,正确的应该是哪个,标注完成的信息存储在历史问答数据库中,供识别模型迭代训练;
数据分析服务,数据分析服务用于对历史问答数据库中的提问内容和对应的答复内容进行分析;
模型训练***,模型训练***主要负责意图识别模型的迭代训练,接入方刚开始使用时,***使用所添加的知识库训练一个模型,这个模型的识别能力可能在刚开始使用时比较弱,所以需要人工标注的数据进行模型的迭代更新,这样模型的识别能力才能越来越强,模型训练***可每天定时运行模型训练程序,也可以人工操作开始训练,同时会将标注数据的一部分(如10%)作为测试数据集,每次模型训练完成就使用测试数据集进行评估,并将评估结果记录到数据库中,供调用方决策使用。
如图1所示,外部用户通过HTTP请求进行服务的调用,首先请求会进入到智能客服机器人服务,智能客服机器人服务根据管理后台配置的知识库和意图识别模型来对用户的提问进行应答,所提供***括“直接回答”、“引导回答”、“无法回答”等,将应答内容以JSON字符串的形式返回给调用方。
根据本申请实施例的一方面,还提供了一种智能客服的运行方法的方法实施例。图2是根据本申请实施例的一种可选的智能客服的运行方法的流程图,如图2所示,该方法可以包括以下步骤:
步骤S202,客服机器人接收智能终端发送的第一提问内容。
例如,游戏玩家的智能终端中装有游戏客户端,在游戏客户端中询问“XXX道具如何获得”。
步骤S204,客服机器人通过意图识别模型识别出与第一提问内容匹配的意图识别结果,意图识别模型是采用多组提问内容进行训练得到的,同一组提问内容中的各条提问内容被标注为与同一答复内容匹配。
意图识别模型识别出用户的意图后查找与该意图对应的答复内容,如“XX道具需要玩家进入地图的某个指定区域通过消灭某个怪兽来获取”。
步骤S206,客服机器人返回根据意图识别结果确定的第一答复内容至智能终端。
相关技术中通过知识库搜索的答复方式的匹配率低,由于用户的问法不尽相同,当用户提问并不是标准形式时,无法搜索出结果,无法直接回答或者需要转接人工来进行回答,用户体验差,在本申请的技术方案中,通过上述步骤,在用户提问的过程中,通过意图识别模型识别出用户意图(即用户希望了解的内容),相当于可以泛化的理解用户问题,进而得到与提问内容匹配的答复内容,而不是只能识别知识库中已有的固定问法,可以解决相关技术中智能客服的有效回答率较低的技术问题,进而达到提高有效回答率的技术效果。下文结合具体的实施方式进一步详述本申请的技术方案。
步骤1,训练意图识别模型,该步骤为可选的,可以是模型使用者自己训练模型,也可以是从其他平台购买的已经训练好的模型,具体的训练方案参照下文。
步骤11,利用第一训练集中的数据对初始识别模型进行训练,第一训练集中包括目标知识库中的一部分参考问题和对应的答复内容,以及对应的标记信息,标记用来表示答复内容与参考问题是否匹配,例如,问题“怎么获取XX道具”和答复内容“从XX地图西北角获取”,标记内容为“1”或“0”,“1”表示匹配,“0”表示不匹配。
步骤12,在训练轮数达到一定数值(如1000轮)之后,利用训练后的初始识别模型对第一验证集中的数据进行识别,以确定验证集中参考问题和对应的答复内容是否匹配,第一验证集中包括目标知识库中的另一部分参考问题和对应的答复内容。
步骤13,在训练后的初始识别模型对第一验证集中的数据的识别准确率达到第一阈值(如99%)的情况下,将训练后的初始识别模型作为意图识别模型。
步骤14,在训练后的初始识别模型对第一验证集中的数据的识别准确率未达到第一阈值的情况下,继续利用第一训练集中的数据对初始识别模型进行训练,直至训练后的初始识别模型对第一验证集中的数据的识别准确率达到第一阈值。
在相关技术方案中,知识库维护成本高,当用户无法搜索出结果时,需要修改或新增配置知识条或关键词才能快速响应,同时由于项目众多,它们之间常常有通用知识条,针对相同的知识条,需要重复人工维护。
而在本申请的技术方案中,可以为客服机器人配置预先训练好的意图识别模型;在配置好意图识别模型之后,为意图识别模型(即该模型对应的客服机器人)配置好知识库,即从多个知识库为客服机器人选择目标知识库(可以为一个或者多个,如包括通用知识库和某个领域的专用知识库),多个知识库中的每个知识库中可保存一个领域的问题和相应的答复内容。采用灵活的知识库配置方案,在更新或者新增知识条时,可以只在一个知识库中修改,然后将该知识库配置到需要使用的客服机器人即可。
步骤2,客服机器人接收智能终端发送的第一提问内容。
可选地,在智能终端上提示多种交互方式,多种交互方式包括任务模式、闲聊模式以及转人工模式。在接收到用户在智能终端上选中任务模式的响应消息的情况下,智能客服机器人接收智能终端采用超文本传输协议HTTP传输的第一提问内容。
可选地,在智能终端上提示多种交互方式之后,若在接收到智能终端选中闲聊模式的响应消息的情况下,接收智能终端发送的第二提问内容;通过编码器对第二提问内容进行语义向量的编码,即将收到的提问内容编码到同一个语义空间(该语义空间中存在大量的参考问题和对应答复内容的语义向量),得到用于表示第二提问内容的语义向量;利用解码器对第二提问内容的语义向量进行解码,得到第二答复内容,如通过计算语义向量的相似度查找与该问题最近的参考问题,进而以该参考问题对应的答复内容为第二答复内容;将第二答复内容返回至智能终端。
步骤3,客服机器人通过意图识别模型识别出与第一提问内容匹配的意图识别结果。
步骤4,返回根据意图识别结果确定的第一答复内容至智能终端。
在步骤4中,包括两种实现方式,其一是,在意图识别结果的置信度大于目标阈值(如80%)的情况下,获取与意图识别结果匹配的多个候选答复内容,从多个候选答复内容中选择与第一提问内容之间的匹配度最高的作为第一答复内容返回至智能终端;其二是,在意图识别结果的置信度不大于目标阈值(如80%)的情况下,从目标知识库中查找与第一提问内容匹配的第一答复内容,并返回第一答复内容至智能终端。
在上述实施方案中,目标知识库中保存有多个参考问题和每个参考问题对应的答复内容,在从目标知识库中查找与第一提问内容匹配的第一答复内容时,可以通过如下方式实现:
步骤41,客服机器人从目标知识库中查找与第一提问内容匹配的候选参考问题,例如,计算第一提问内容与知识库中参考问题之间语义向量的相似度,将相似度达到某阈值(如70%)的作为候选参考问题。
步骤42,客服机器人将候选参考问题反馈给智能终端,以让用户选择自己实际想要表述的问题。
步骤43,客服机器人确定候选参考问题中被智能终端选中的目标参考问题,将其作为用户自己实际想要表述的问题。
步骤44,将目标知识库中与目标参考问题对应的答复内容作为第一答复内容。
在相关技术中,客服机器人往往缺乏有效的统计分析手段来分析用户问什么,为了更新知识库或应答话术,往往需要人工从海量的用户提问中分析。为了克服该问题,本申请提供,通过采用人工智能技术进行知识库补充的方案,如步骤5和步骤6所示。
在完成上述步骤4之后,可以选择性的执行如下通过聚类分析进行知识库补充的流程(即步骤5)、通过词频分析进行知识库补充的流程(即步骤6)和模型泛化流程(步骤7到步骤8)。
步骤5,通过聚类分析对知识库进行补充。
步骤51,获取历史提问内容,历史提问内容包括第一提问内容等客服机器人接收到过的提问内容。
步骤52,对历史提问内容进行聚类分析,如采用k-means算法实现聚类分析,得到多类提问话题。
步骤53,在目标知识库中补充与多类提问话题匹配的答复内容,例如,得到的提问话题包括“XX怪兽”、“XX道具”,则在知识库中补充与“XX怪兽”、“XX道具”相关的问题和答复内容。
如使用k-means算法实现聚类分析,k-means算法是一种非监督的机器学习算法,对未标记的数据(即没有定义类别或组的数据)进行分类,该算法的目标是在数据中找到由变量K标记的组。该算法迭代地工作基于所提供的特征,将每个数据点分配给K个组中的一个。基于特征相似性对数据点进行聚类。
步骤6,通过词频统计对知识库进行补充。
步骤61,获取历史提问内容,历史提问内容包括第一提问内容等客服机器人接收到过的提问内容。
步骤62,对历史提问内容进行词频统计,得到历史提问内容中词语的词频。
步骤63,确定所有词语中词频最高的几个为目标词语,在目标知识库中补充与目标词语关联的答复内容,目标词语的词频大于历史提问内容中除目标词语以外的词语的词频。
词频统计,通过定时任务,按小时统计切词之后的词频,然后加和计数,这样就可以得到词频统计表,选取其中某段时间出现次数最多的N个词,就能得到此时间段内的热词,绘制出热词统计词云图,可以知道用户在问什么内容,实时分析用户数据,优化知识库,优化配置。
步骤7,进行数据标注。对于每个历史答复内容和对应的问题,可以采用与第一提问内容相同的方式进行标注。
步骤71,在返回根据意图识别结果确定的第一答复内容至智能终端之后,对第一提问内容进行标注,第一提问内容的标注用于表示客服机器人将第一答复内容作为第一提问内容的答复内容是否通过验证,如通过人工再次验证第一答复内容与第一提问内容是否匹配,将验证结果作为标记依据。
步骤72,将标注后的第一提问内容和第一答复内容保存至历史问答数据库。
步骤8,进行模型泛化训练。
步骤81,将历史问答数据库中的一部分参考问题和对应的答复内容作为第二训练集,并将历史问答数据库中的另一部分参考问题和对应的答复内容作为第二验证集。
步骤82,利用第二训练集中的数据对意图识别模型进行训练。
步骤83,在训练达到一定轮数(如1000)之后,用第二验证集中的数据对训练后的意图识别模型进行测试,即意图识别模型能够准确给出与提问匹配的准确答复内容,若能够给出则识别正确,否则不正确。
步骤84,在训练后的意图识别模型对第二验证集中的数据的识别准确率达到第二阈值的情况下,停止训练。
步骤85,在训练后的意图识别模型对第二验证集中的数据的识别准确率未达到第二阈值的情况下,继续利用第二训练集中的数据对意图识别模型进行训练,直至训练后的意图识别模型对第二验证集中的数据的识别准确率达到第二阈值。
在以上方案中,对于第一次训练得到的和每一次泛化训练的各个版本的意图识别模型,可保存在数据库中,在每次训练完成后,用户可以选择是否选用最新版本,或者回退到之前的任一版本;考虑到在不断的泛化训练过程中,模型的识别精度在提高,但是适应的广度可能存在下降,在使用过程中,对于有不同的精度和适用广度的使用者,可以为其配置满足该精度和广度的版本的意图识别模型。
在智能客服机器人运行的过程中,标注人员或者自动标注***会对智能客服机器人的历史问答数据进行抽查和标注,标注的结果会记录到数据库中,用于意图识别模型的训练,模型训练***可以自动操作训练模型,模型的训练数据即标注数据,模型训练完成之后会自动使用测试数据进行评估(标注数据会分为两部分,一部分用于模型训练,一部分用于模型测试),训练完成的模型存储路径和评估结果会存储在数据库中。调用方可以在管理后台中通过评估结果选择是否使用新训练模型,也可以回退到以前的各个模型版本。数据分析服务会读取历史问答数据,进行词频统计和聚类分析,分析结果存入数据库中,用户可以通过管理后台查看。
在上述方案中,提供了一种实现智能客服机器人的方法。该方法主要包括:人工或者机器自动录入问答知识条的同时提供若干问题相似问法,以此为基础来训练意图识别模型;使用方通过HTTP请求传入用户的问题及相关参数调用服务;智能客服机器人服务通过搜索引擎和意图识别模型判断用户意图,并提供模板回答;数据分析服务通过词频统计、文本聚类等手段分析历史问答数据,帮助用户调整知识库和机器人规则;标注人员或者自动标注设备会对历史问答数据进行标注,标注数据会用于意图识别模型的训练。
作为一种可选的实施例,下文结合具体的实施方式进一步详述本申请的技术方案。
本方案的实现流程可以在如图1所示的智能客服机器人***中实现。该***包括以下部分:智能客服机器人服务、管理后台、数据标注平台、模型训练***、数据分析服务和知识数据库、历史问答数据库。其中智能客服机器人服务包括模型意图识别模块和搜索引擎模块,通过这两个模块给用户提供答案,意图识别模块通过机器学***台,可以用人工抽查获取机器选取并标注历史问答数据中识别错误的对话,标注的数据可以用于更新机器学习意图识别模型;模型训练***可以手动或自动使用人工标注的数据训练模型,并对训练的模型进行评估;数据分析服务可以通过词频统计、聚类算法等方式对历史问答数据进行分析,辅助用户或管理员及时高效调整知识库或机器人相关配置;知识数据库和历史问答数据库用来存储知识库数据、相关配置数据、分析数据、历史会话数据、人工标注数据、模型评估及更新数据等。
智能客服机器人的服务主要包括闲聊模型、意图识别、知识库搜索、引导回答、问答模板匹配、转人工等几个部分,程序流图如图3所示。
步骤S301,调用方传入用户提问信息,并选择问答模式。这里可以选择两种问答模式:“闲聊模式”、“任务模式”。
步骤S302,用户选择闲聊模式,用户提问将被传入一个seq2seq模型(Sequence-to-Sequence,即序列到序列的过程)。
本申请采用的seq2seq模型如图4所示,包含编码器Encoder(即c左侧部分,h1至h4为编码器的编码层,h0、x1至x4为输入)和解码器Decoder(即c右侧部分,h′1至h′4为解码器的解码层,y1至y3为输出)两个部分,Encoder可以是一个RNN模型((Recurrent NeuralNetwork,即循环神经网络模型),将输入的句子编码为一个语义向量context vector,Decoder是Encoder的逆过程,每个状态由之前的状态和context vector决定,将用户输入的问题用Encoder编码,回答通过Decoder来生成,这里seq2seq闲聊模型可使用开放领域对话语料来训练,用户问题通过闲聊模型,模型会产生一条闲聊回复,返回给用户。
步骤S303,用户选择任务模式,首先用户提问将进入一个意图识别模型。
意图识别模型主要用途是识别用户提问真实标准意图,意图识别模型是一个文本分类模型,这里不限于使用TextCNN、RNN、BERT等文本分类模型,其分类流程如图5所示(其中分词与词向量模型方法与流程参见下文关于数据分析服务中的描述)。
这里意图识别的训练数据来源两部分,一部分是用户录入的知识库,知识库的形式为:问法1、问法2、问法3、…、问法N,以及这些问法对应的答案,另一部分可以是标注人员抽查标注的获取机器自动收集的数据,当机器人刚开始使用时,模型可仅使用知识库来训练,因为有相似问法,模型就能有泛化能力,当用户以不同的方式提问时,也能准确识别其意图。当机器人运行一段时间后,标注人员会标注历史数据,有标注数据之后,标注数据也会加入到训练数据集中,能够进一步提升模型的泛化能力。
步骤S304,完成意图识别后,判断识别置信度是否满足阈值条件。
步骤S305,当满足阈值时,会直接根据意图去匹配回答模板“直接回答”,回答模板信息也是在知识库录入时添加进去的。
步骤S306,当不满足阈值时,会用用户的问题进行知识库搜索。
搜索可以使用Elasticsearch搜索引擎(也可采用其他类似引擎替代)来实现。
步骤S307,判断搜索是否有结果,当没有结果时,提示无法给出答案。
步骤S308,当能搜索出结果时,进行引导回答。
当无法搜索出结果时,则无法给出答案,返回无法给出答案话术。若存在搜索结果,则Elasticsearch通过文本的相关度会给出N个结果,智能客服机器人服务通过相关度从高到低给出若干个搜索标准问题列表给用户作为“引导回答”。
步骤S309,用户进行问题选择。
上述“引导回答”就是让用户通过搜索出来的列表去选择与他意图最相近的问题,这样当意图识别不了的问题,可以通过搜索给出相关度最大的几个问题,如果用户选择某一个问题,直接通过回答模板给出答案,如果用户未选择则回到最开始流程。
上述智能客服机器人服务还包括转人工逻辑,智能客服机器人作为人工客服的辅助,可在恰当的时刻转入人工服务,这样才能不影响用户体验。智能客服机器人服务转人工逻辑如图6所示,包括“N次引导转人工”(N为大于等于2的自然数,具体可以根据需要配置)、“N次无法回答问题转人工”、“N次提问相同问题转人工”、“N次愤怒转人工”、“关键词转人工”,这里的“N次”可为连续“多次”和累计“多次”。在管理后台配置一个或多个转人工规则,达到灵活的转入人工服务的目的。
上述的“N次愤怒转人工”规则,需要对用户提问做出情感分析,本申请可使用fasttext算法在公开情感数据集和标注数据集上训练分类模型,达到情感分析的目的。
在上述方案中,数据分析服务主要是从历史问答数据中统计分析用户提问数据,通过分析结果来了解提问者提问方向及热点问题,用户通过这些分析结果来确定需要增加或调整的知识条,并修改转人工规则等各种配置。
首先,可对处理后的文本进行分词,分词就是将连续的字序列按照一定的规范重新组合成词序列的过程,例如,文本“我来到北京清华大学”,通过分词处理这一段文本就会被切割为若干词语的数组[我,来到,北京,清华大学],这里可以使用jieba分词工具来实现分词功能。
完成分词之后,有两种分析手段来实现分析,如图7所示的聚类分析和词频统计。聚类分析需要使用词向量(word embedding)算法将词语数组处理为计算机能够识别并运算的数值矩阵,例如:数组[我,来到,北京,清华大学],可以处理成如下数值矩阵:[0.32,0.56,0.33…],[0.23,0.16,0.93…],[0.09,0.16,0.13…],[0.12,0.51,0.83…],这里可以使用word2vec、glove等词嵌入工具来进行词向量操作,通过词嵌入工具实现自然语言到数值矩阵的映射操作。
完成词嵌入操作之后,使用k-means算法实现聚类分析,通过聚类分析可以得到k类相似的“话题”,这样可以通过这些“话题”来完善知识库。
词频统计,通过定时任务,按小时统计切词之后的词频,然后加和计数,这样就可以得到词频统计表,如图8所示。通过词频统计,可以知道用户在问什么内容,实时分析用户数据,优化知识库,优化配置。
相关技术中是客服机器人直接回答率低,用户体验差,知识库维护成本高,没有有效的分析手段,配置不灵活,不能很好地满足客服人员的需求。采用本申请的技术方案,可以实现如下技术效果:结合搜索引擎文本搜索和语义理解意图识别模型分析用户意图,达到更好的识别效果;通过标注***不断增加模型训练数据集,使得模型能够快速进行迭代更新,识别能力逐步加强;模型自动更新并评估,管理人员通过评估结果可以快速地更新模型;有效的分析手段,帮助使用方分析用户问题;通过HTTP接口访问,使用方可以简单且方便的接入,并且可以灵活的自定义各种规则和配置。
需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本申请并不受所描述的动作顺序的限制,因为依据本申请,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本申请所必须的。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,或者网络设备等)执行本申请各个实施例所述的方法。
根据本申请实施例的另一个方面,还提供了一种用于实施上述智能客服的运行方法的智能客服的运行装置。图9是根据本申请实施例的一种可选的智能客服的运行装置的示意图,如图9所示,该装置可以包括:
接收单元901,用于接收智能终端发送的第一提问内容;
识别单元903,用于通过意图识别模型识别出与第一提问内容匹配的意图识别结果,其中,意图识别模型是采用多组提问内容进行训练得到的,同一组提问内容中的各条提问内容被标注为与同一答复内容匹配;
返回单元905,用于返回根据意图识别结果确定的第一答复内容至智能终端。
需要说明的是,该实施例中的接收单元901可以用于执行本申请实施例中的步骤S202,该实施例中的识别单元903可以用于执行本申请实施例中的步骤S204,该实施例中的返回单元905可以用于执行本申请实施例中的步骤S206。
此处需要说明的是,上述模块与对应的步骤所实现的示例和应用场景相同,但不限于上述实施例所公开的内容。需要说明的是,上述模块作为装置的一部分可以运行在如图1所示的硬件环境中,可以通过软件实现,也可以通过硬件实现。
通过上述模块,在用户提问的过程中,通过意图识别模型识别出用户意图,相当于可以泛化的理解用户问题,进而得到与提问内容匹配的答复内容,而不是只能识别知识库中已有的固定问法,可以解决相关技术中智能客服的有效回答率较低的技术问题,进而达到提高有效回答率的技术效果。
可选地,返回单元还可用于:在意图识别结果的置信度大于目标阈值的情况下,返回与第一提问内容匹配的第一答复内容至智能终端;在意图识别结果的置信度不大于目标阈值的情况下,从目标知识库中查找与第一提问内容匹配的第一答复内容,并返回第一答复内容至智能终端。
可选地,返回单元还可用于:返回根据意图识别结果确定的第一答复内容至智能终端包括:获取与意图识别结果匹配的多个候选答复内容;从多个候选答复内容中选择与第一提问内容之间的匹配度最高的作为第一答复内容返回至智能终端。
可选地,目标知识库中保存有多个参考问题和每个参考问题对应的答复内容,返回单元还可用于:从目标知识库中查找与第一提问内容匹配的候选参考问题;将候选参考问题反馈给智能终端;确定候选参考问题中被智能终端选中的目标参考问题;将目标知识库中与目标参考问题对应的答复内容作为第一答复内容。
可选地,该装置还可包括,配置单元,用于在从目标知识库中查找与第一提问内容匹配的第一答复内容之前,从多个知识库为客服机器人选择目标知识库,其中,多个知识库中的每个知识库中保存有一个领域的问题和相应的答复内容。
可选地,该装置还可包括,扩展单元,用于在接收智能终端发送的第一提问内容之后,获取历史提问内容,其中,历史提问内容包括第一提问内容;对历史提问内容进行聚类分析,得到多类提问话题;在目标知识库中补充与多类提问话题匹配的答复内容。
可选地,扩展单元,还可用于在接收智能终端发送的第一提问内容之后,获取历史提问内容,其中,历史提问内容包括第一提问内容;对历史提问内容进行词频统计,得到历史提问内容中词语的词频;在目标知识库中补充与目标词语关联的答复内容,其中,目标词语的词频大于历史提问内容中除目标词语以外的词语的词频。
可选地,该装置还可包括,模型训练单元,用于在接收智能终端发送的第一提问内容之前,利用第一训练集中的数据对初始识别模型进行训练,其中,第一训练集中包括目标知识库中的一部分参考问题和对应的答复内容;在训练后的初始识别模型对第一验证集中的数据的识别准确率达到第一阈值的情况下,将训练后的初始识别模型作为意图识别模型,其中,第一验证集中包括目标知识库中的另一部分参考问题和对应的答复内容;在训练后的初始识别模型对第一验证集中的数据的识别准确率未达到第一阈值的情况下,继续利用第一训练集中的数据对初始识别模型进行训练,直至训练后的初始识别模型对第一验证集中的数据的识别准确率达到第一阈值。
可选地,该装置还可包括,标注单元,用于在返回根据意图识别结果确定的第一答复内容至智能终端之后,对第一提问内容进行标注,其中,第一提问内容的标注用于表示第一答复内容是否为第一提问内容的正确答复内容;将标注后的第一提问内容和第一答复内容保存至历史问答数据库。
可选地,模型训练单元,还可用于在将标注后的第一提问内容和第一答复内容保存至历史问答数据库之后,利用第二训练集中的数据对意图识别模型进行训练,其中,第二训练集中包括历史问答数据库中的一部分问题和对应的答复内容;在训练后的意图识别模型对第二验证集中的数据的识别准确率达到第二阈值的情况下,停止训练,其中,第二验证集中包括历史问答数据库中的另一部分问题和对应的答复内容;在训练后的意图识别模型对第二验证集中的数据的识别准确率未达到第二阈值的情况下,继续利用第二训练集中的数据对意图识别模型进行训练,直至训练后的意图识别模型对第二验证集中的数据的识别准确率达到第二阈值。
可选地,接收单元,还可用于在接收智能终端发送的第一提问内容之前,在智能终端上提示多种交互方式,多种交互方式包括任务模式、闲聊模式以及转人工模式;在接收到智能终端选中任务模式的响应消息的情况下,接收智能终端发送的第一提问内容。
可选地,返回单元,还可用于在智能终端上提示多种交互方式之后,在接收到智能终端选中闲聊模式的响应消息的情况下,接收智能终端发送的第二提问内容;通过编码器对第二提问内容进行语义向量的编码,得到用于表示第二提问内容的语义向量;利用解码器对第二提问内容的语义向量进行解码,得到第二答复内容;将第二答复内容返回至智能终端。
可选地,接收单元,还可用于接收智能终端采用超文本传输协议HTTP传输的第一提问内容。
此处需要说明的是,上述模块与对应的步骤所实现的示例和应用场景相同,但不限于上述实施例所公开的内容。需要说明的是,上述模块作为装置的一部分可以运行在如图1所示的硬件环境中,可以通过软件实现,也可以通过硬件实现,其中,硬件环境包括网络环境。
根据本申请实施例的另一个方面,还提供了一种用于实施上述智能客服的运行方法的服务器或终端。
图10是根据本申请实施例的一种终端的结构框图,如图10所示,该终端可以包括:一个或多个(图10中仅示出一个)处理器1001、存储器1003、以及传输装置1005,如图10所示,该终端还可以包括输入输出设备1007。
其中,存储器1003可用于存储软件程序以及模块,如本申请实施例中的智能客服的运行方法和装置对应的程序指令/模块,处理器1001通过运行存储在存储器1003内的软件程序以及模块,从而执行各种功能应用以及数据处理,即实现上述的智能客服的运行方法。存储器1003可包括高速随机存储器,还可以包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中,存储器1003可进一步包括相对于处理器1001远程设置的存储器,这些远程存储器可以通过网络连接至终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
上述的传输装置1005用于经由一个网络接收或者发送数据,还可以用于处理器与存储器之间的数据传输。上述的网络具体实例可包括有线网络及无线网络。在一个实例中,传输装置1005包括一个网络适配器(Network Interface Controller,NIC),其可通过网线与其他网络设备与路由器相连从而可与互联网或局域网进行通讯。在一个实例中,传输装置1005为射频(Radio Frequency,RF)模块,其用于通过无线方式与互联网进行通讯。
其中,具体地,存储器1003用于存储应用程序。
处理器1001可以通过传输装置1005调用存储器1003存储的应用程序,以执行下述步骤:
接收智能终端发送的第一提问内容;
通过意图识别模型识别出与第一提问内容匹配的意图识别结果,其中,意图识别模型是采用多组提问内容进行训练得到的,同一组提问内容中的各条提问内容被标注为与同一答复内容匹配;
返回根据意图识别结果确定的第一答复内容至智能终端。
处理器1001还用于执行下述步骤:
在意图识别结果与第一提问内容之间的匹配度大于目标阈值的情况下,将意图识别结果作为第一答复内容返回至智能终端;
在意图识别结果与第一提问内容之间的匹配度不大于目标阈值的情况下,从目标知识库中查找与第一提问内容匹配的第一答复内容,并返回第一答复内容至智能终端。
采用本申请实施例,在用户提问的过程中,通过意图识别模型识别出用户意图,相当于可以泛化的理解用户问题,进而得到与提问内容匹配的答复内容,而不是只能识别知识库中已有的固定问法,可以解决相关技术中智能客服的有效回答率较低的技术问题,进而达到提高有效回答率的技术效果。
可选地,本实施例中的具体示例可以参考上述实施例中所描述的示例,本实施例在此不再赘述。
本领域普通技术人员可以理解,图10所示的结构仅为示意,终端可以是智能手机(如Android手机、iOS手机等)、平板电脑、掌上电脑以及移动互联网设备(Mobile InternetDevices,MID)、PAD等终端设备。图10其并不对上述电子装置的结构造成限定。例如,终端还可包括比图10中所示更多或者更少的组件(如网络接口、显示装置等),或者具有与图10所示不同的配置。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质可以包括:闪存盘、只读存储器(Read-Only Memory,ROM)、随机存取器(RandomAccess Memory,RAM)、磁盘或光盘等。
本申请的实施例还提供了一种存储介质。可选地,在本实施例中,上述存储介质可以用于执行智能客服的运行方法的程序代码。
可选地,在本实施例中,上述存储介质可以位于上述实施例所示的网络中的多个网络设备中的至少一个网络设备上。
可选地,在本实施例中,存储介质被设置为存储用于执行以下步骤的程序代码:
接收智能终端发送的第一提问内容;
通过意图识别模型识别出与第一提问内容匹配的意图识别结果,其中,意图识别模型是采用多组提问内容进行训练得到的,同一组提问内容中的各条提问内容被标注为与同一答复内容匹配;
返回根据意图识别结果确定的第一答复内容至智能终端。
可选地,存储介质还被设置为存储用于执行以下步骤的程序代码:
在意图识别结果与第一提问内容之间的匹配度大于目标阈值的情况下,将意图识别结果作为第一答复内容返回至智能终端;
在意图识别结果与第一提问内容之间的匹配度不大于目标阈值的情况下,从目标知识库中查找与第一提问内容匹配的第一答复内容,并返回第一答复内容至智能终端。
可选地,本实施例中的具体示例可以参考上述实施例中所描述的示例,本实施例在此不再赘述。
可选地,在本实施例中,上述存储介质可以包括但不限于:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
上述本申请实施例序号仅仅为了描述,不代表实施例的优劣。
上述实施例中的集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在上述计算机可读取的存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在存储介质中,包括若干指令用以使得一台或多台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。
在本申请的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的客户端,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个***,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
以上所述仅是本申请的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本申请原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本申请的保护范围。
Claims (10)
1.一种智能客服的运行方法,其特征在于,应用于客服机器人,所述方法包括:
接收智能终端发送的第一提问内容;
通过意图识别模型识别出与所述第一提问内容匹配的意图识别结果,其中,所述意图识别模型是采用多组提问内容进行训练得到的,同一组提问内容中的各条提问内容被标注为与同一答复内容匹配;
返回根据所述意图识别结果确定的第一答复内容至所述智能终端。
2.根据权利要求1所述的方法,其特征在于,返回根据所述意图识别结果确定的第一答复内容至所述智能终端包括:
在所述意图识别结果的置信度大于目标阈值的情况下,返回与所述第一提问内容匹配的所述第一答复内容至所述智能终端;
在所述意图识别结果的置信度不大于所述目标阈值的情况下,从目标知识库中查找与所述第一提问内容匹配的所述第一答复内容,并返回所述第一答复内容至所述智能终端。
3.根据权利要求2所述的方法,其特征在于,所述目标知识库中保存有多个参考问题和每个参考问题对应的答复内容,其中,从目标知识库中查找与所述第一提问内容匹配的所述第一答复内容包括:
从所述目标知识库中查找与所述第一提问内容匹配的候选参考问题;
将所述候选参考问题反馈给所述智能终端;
确定所述候选参考问题中被所述智能终端选中的目标参考问题;
将所述目标知识库中与所述目标参考问题对应的答复内容作为所述第一答复内容。
4.根据权利要求2所述的方法,其特征在于,在从目标知识库中查找与所述第一提问内容匹配的所述第一答复内容之前,所述方法还包括:
从多个知识库为所述客服机器人选择所述目标知识库,其中,所述多个知识库中的每个知识库中保存有一个领域的问题和相应的答复内容。
5.根据权利要求1所述的方法,其特征在于,在接收智能终端发送的第一提问内容之后,所述方法还包括:
获取历史提问内容,其中,所述历史提问内容包括所述第一提问内容;
对所述历史提问内容进行聚类分析,得到多类提问话题;
在目标知识库中补充与所述多类提问话题匹配的答复内容。
6.根据权利要求1所述的方法,其特征在于,在接收智能终端发送的第一提问内容之后,所述方法还包括:
获取历史提问内容,其中,所述历史提问内容包括所述第一提问内容;
对所述历史提问内容进行词频统计,得到所述历史提问内容中词语的词频;
在目标知识库中补充与目标词语关联的答复内容,其中,所述目标词语的词频大于所述历史提问内容中除所述目标词语以外的词语的词频。
7.一种智能客服的运行装置,其特征在于,所述装置包括:
接收单元,用于接收智能终端发送的第一提问内容;
识别单元,用于通过意图识别模型识别出与所述第一提问内容匹配的意图识别结果,其中,所述意图识别模型是采用多组提问内容进行训练得到的,同一组提问内容中的各条提问内容被标注为与同一答复内容匹配;
返回单元,用于返回根据所述意图识别结果确定的第一答复内容至所述智能终端。
8.一种智能客服的运行***,其特征在于,所述运行***包括:
客服机器人,用于在接收到智能终端的第一提问内容的情况下,通过意图识别模型识别出与所述第一提问内容匹配的意图识别结果,并返回根据所述意图识别结果确定的第一答复内容至所述智能终端;
模型训练***,所述模型训练***用于采用多组提问内容对意图识别模型进行训练,并将训练好的所述意图识别模型提供给所述客服机器人调用,其中,同一组提问内容中的各条提问内容被标注为与同一答复内容匹配。
9.一种存储介质,其特征在于,所述存储介质包括存储的程序,其中,所述程序运行时执行上述权利要求1至6任一项中所述的方法。
10.一种电子装置,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器通过所述计算机程序执行上述权利要求1至6任一项中所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011064957.4A CN112182186A (zh) | 2020-09-30 | 2020-09-30 | 智能客服的运行方法、装置以及*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011064957.4A CN112182186A (zh) | 2020-09-30 | 2020-09-30 | 智能客服的运行方法、装置以及*** |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112182186A true CN112182186A (zh) | 2021-01-05 |
Family
ID=73947465
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011064957.4A Pending CN112182186A (zh) | 2020-09-30 | 2020-09-30 | 智能客服的运行方法、装置以及*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112182186A (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113342946A (zh) * | 2021-05-19 | 2021-09-03 | 北京百度网讯科技有限公司 | 客服机器人的模型训练方法、装置、电子设备及介质 |
CN113434656A (zh) * | 2021-07-21 | 2021-09-24 | 广州华多网络科技有限公司 | 电商客服匹配方法及其相应的装置、设备、介质 |
CN113724036A (zh) * | 2021-07-29 | 2021-11-30 | 阿里巴巴(中国)有限公司 | 提供问题咨询服务的方法及电子设备 |
CN116975395A (zh) * | 2023-09-22 | 2023-10-31 | 安徽淘云科技股份有限公司 | 错误反馈数据的处理方法、装置、设备以及介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110362667A (zh) * | 2019-07-12 | 2019-10-22 | 深圳前海微众银行股份有限公司 | 智能客服方法、装置、设备及可读存储介质 |
US20200134442A1 (en) * | 2018-10-29 | 2020-04-30 | Microsoft Technology Licensing, Llc | Task detection in communications using domain adaptation |
CN111143530A (zh) * | 2019-12-24 | 2020-05-12 | 平安健康保险股份有限公司 | 一种智能答复方法及装置 |
CN111414457A (zh) * | 2020-03-20 | 2020-07-14 | 深圳前海微众银行股份有限公司 | 基于联邦学习的智能问答方法、装置、设备及存储介质 |
CN111552787A (zh) * | 2020-04-23 | 2020-08-18 | 支付宝(杭州)信息技术有限公司 | 问答处理方法、装置、设备及存储介质 |
-
2020
- 2020-09-30 CN CN202011064957.4A patent/CN112182186A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20200134442A1 (en) * | 2018-10-29 | 2020-04-30 | Microsoft Technology Licensing, Llc | Task detection in communications using domain adaptation |
CN110362667A (zh) * | 2019-07-12 | 2019-10-22 | 深圳前海微众银行股份有限公司 | 智能客服方法、装置、设备及可读存储介质 |
CN111143530A (zh) * | 2019-12-24 | 2020-05-12 | 平安健康保险股份有限公司 | 一种智能答复方法及装置 |
CN111414457A (zh) * | 2020-03-20 | 2020-07-14 | 深圳前海微众银行股份有限公司 | 基于联邦学习的智能问答方法、装置、设备及存储介质 |
CN111552787A (zh) * | 2020-04-23 | 2020-08-18 | 支付宝(杭州)信息技术有限公司 | 问答处理方法、装置、设备及存储介质 |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113342946A (zh) * | 2021-05-19 | 2021-09-03 | 北京百度网讯科技有限公司 | 客服机器人的模型训练方法、装置、电子设备及介质 |
CN113434656A (zh) * | 2021-07-21 | 2021-09-24 | 广州华多网络科技有限公司 | 电商客服匹配方法及其相应的装置、设备、介质 |
CN113434656B (zh) * | 2021-07-21 | 2023-04-25 | 广州华多网络科技有限公司 | 电商客服匹配方法及其相应的装置、设备、介质 |
CN113724036A (zh) * | 2021-07-29 | 2021-11-30 | 阿里巴巴(中国)有限公司 | 提供问题咨询服务的方法及电子设备 |
CN116975395A (zh) * | 2023-09-22 | 2023-10-31 | 安徽淘云科技股份有限公司 | 错误反馈数据的处理方法、装置、设备以及介质 |
CN116975395B (zh) * | 2023-09-22 | 2024-01-23 | 安徽淘云科技股份有限公司 | 错误反馈数据的处理方法、装置、设备以及介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20200301954A1 (en) | Reply information obtaining method and apparatus | |
CN110008322B (zh) | 多轮对话场景下的话术推荐方法和装置 | |
CN112182186A (zh) | 智能客服的运行方法、装置以及*** | |
CN110427467B (zh) | 问答处理方法、装置、计算机设备和存储介质 | |
CN112365894B (zh) | 基于ai的复合语音交互方法、装置及计算机设备 | |
CN109241258A (zh) | 一种应用税务领域的深度学习智能问答*** | |
JP2020071869A (ja) | 動画基盤求人求職マッチングサーバーおよび方法 | |
CN116521893A (zh) | 智能对话***的控制方法、控制装置和电子设备 | |
CN110866093A (zh) | 机器问答方法及装置 | |
CN112183098B (zh) | 会话的处理方法和装置、存储介质、电子装置 | |
CN111737432A (zh) | 一种基于联合训练模型的自动对话方法和*** | |
CN110825860B (zh) | 知识库问答抽取方法、***、移动终端及存储介质 | |
CN111309881A (zh) | 智能问答中未知问题处理方法、装置、计算机设备和介质 | |
CN111552787B (zh) | 问答处理方法、装置、设备及存储介质 | |
CN110489519B (zh) | 基于会话预测模型的会话方法及相关产品 | |
CN110427470A (zh) | 问答处理方法、装置及电子设备 | |
CN110929526B (zh) | 样本生成方法、装置以及电子设备 | |
CN112966076A (zh) | 智能问答问题的生成方法、装置、计算机设备及存储介质 | |
CN112615774B (zh) | 即时通讯信息处理方法、装置、即时通讯***及电子设备 | |
CN115248843A (zh) | 辅助生成笔录的方法、装置和笔录生成*** | |
CN111883111B (zh) | 话术训练处理方法、装置、计算机设备和可读存储介质 | |
CN113468306A (zh) | 语音对话方法、装置、电子设备及存储介质 | |
CN113051375B (zh) | 基于问答设备的问答数据的处理方法和装置 | |
CN114186048A (zh) | 基于人工智能的问答回复方法、装置、计算机设备及介质 | |
CN113011175A (zh) | 一种基于双重渠道特征匹配的语义识别方法及*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |