CN113111157B - 问答处理方法、装置、计算机设备和存储介质 - Google Patents

问答处理方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN113111157B
CN113111157B CN202110354868.1A CN202110354868A CN113111157B CN 113111157 B CN113111157 B CN 113111157B CN 202110354868 A CN202110354868 A CN 202110354868A CN 113111157 B CN113111157 B CN 113111157B
Authority
CN
China
Prior art keywords
user
question
user question
unresolved
knowledge point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110354868.1A
Other languages
English (en)
Other versions
CN113111157A (zh
Inventor
刘玉
李松如
文博
刘云峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Zhuiyi Technology Co Ltd
Original Assignee
Shenzhen Zhuiyi Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Zhuiyi Technology Co Ltd filed Critical Shenzhen Zhuiyi Technology Co Ltd
Priority to CN202110354868.1A priority Critical patent/CN113111157B/zh
Publication of CN113111157A publication Critical patent/CN113111157A/zh
Application granted granted Critical
Publication of CN113111157B publication Critical patent/CN113111157B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33Querying
    • G06F16/332Query formulation
    • G06F16/3329Natural language query formulation or dialogue systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/01Customer relationship services
    • G06Q30/015Providing customer assistance, e.g. assisting a customer within a business location or via helpdesk
    • G06Q30/016After-sales

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Development Economics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • Accounting & Taxation (AREA)
  • Databases & Information Systems (AREA)
  • Economics (AREA)
  • Finance (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请涉及一种问答处理方法、装置、计算机设备和存储介质。所述方法包括:获取未解决的用户问句所对应的历史会话;根据所述历史会话的意图确定对应的任务流程;根据所述任务流程确定与所述未解决的用户问句所对应的回访澄清话术;获取所述未解决的用户问句所对应的用户接入渠道;通过所述用户接入渠道,基于所述回访澄清话术对提出所述未解决的用户问句的用户进行回访,以完成所述任务流程。采用本方法能够缓解人工客服的服务压力。

Description

问答处理方法、装置、计算机设备和存储介质
技术领域
本申请涉及人工智能技术领域,特别是涉及一种问答处理方法、装置、计算机设备和存储介质。
背景技术
智能客服根据任务流程图以及会话中词槽和意图收集的状态,通过澄清话术引导用户提供词槽和意图信息,完成整个任务处理流程。对话流程中,可能由于用户描述不清导致的意图模糊,或者智能客服在某些任务的某些节点上的某个意图或词槽的识别准确率较低,导致智能客服答非所问,在短期内的未解决问题堆积,造成人工客服压力大。
发明内容
基于此,有必要针对上述技术问题,提供一种问答处理方法、装置、计算机设备和存储介质。
一种问答处理方法,所述方法包括:
获取未解决的用户问句所对应的历史会话;
根据所述历史会话的意图确定对应的任务流程;
根据所述任务流程确定与所述未解决的用户问句所对应的回访澄清话术;
获取所述未解决的用户问句所对应的用户接入渠道;
通过所述用户接入渠道,基于所述回访澄清话术对提出所述未解决的用户问句的用户进行回访,以完成所述任务流程。一种问答处理装置,所述装置包括:
历史会话获取模块,用于获取未解决的用户问句所对应的历史会话;
任务流程确定模块,用于根据所述历史会话的意图确定对应的任务流程;
澄清话术确定模块,用于根据所述任务流程确定与所述未解决的用户问句所对应的回访澄清话术;
回访模块,用于获取所述未解决的用户问句所对应的用户接入渠道;
所述回访模块,还用于通过所述用户接入渠道,基于所述回访澄清话术对提出所述未解决的用户问句的用户进行回访,以完成所述任务流程。
一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以下步骤:获取未解决的用户问句所对应的历史会话;
根据所述历史会话的意图确定对应的任务流程;
根据所述任务流程确定与所述未解决的用户问句所对应的回访澄清话术;
获取所述未解决的用户问句所对应的用户接入渠道;
通过所述用户接入渠道,基于所述回访澄清话术对提出所述未解决的用户问句的用户进行回访,以完成所述任务流程。
一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:
获取未解决的用户问句所对应的历史会话;
根据所述历史会话的意图确定对应的任务流程;
根据所述任务流程确定与所述未解决的用户问句所对应的回访澄清话术;
获取所述未解决的用户问句所对应的用户接入渠道;
通过所述用户接入渠道,基于所述回访澄清话术对提出所述未解决的用户问句的用户进行回访,以完成所述任务流程。
上述问答处理方法、装置、计算机设备和存储介质,通过获取未解决的用户问句所对应的历史会话,根据历史会话的意图确定对应的任务流程,根据任务流程确定回访澄清话术,能够获得更加准确的回访澄清话术;获取未解决的用户问句所对应的用户接入渠道,通过用户接入渠道,对提出未解决的机器人主动回访的方式,可以提升用户对智能客服能力的信心,还可以主动帮助解决用户问题,从而缓解客服压力,提高用户体验。
附图说明
图1为一个实施例中问答处理方法的应用环境图;
图2为一个实施例中问答处理方法的流程示意图;
图3为另一个实施例中问答处理方法的流程示意图;
图4为一个实施例中问答处理装置的结构框图;
图5为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
本申请提供的问答处理方法,可以应用于如图1所示的应用环境中。其中,终端102通过网络与服务器104进行通信。其中,终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备,服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。服务器104获取未解决的用户问句所对应的历史会话;根据历史会话的意图确定对应的任务流程;根据任务流程确定与未解决的用户问句所对应的回访澄清话术;获取未解决的用户问句所对应的用户接入渠道;通过用户接入渠道,基于回访澄清话术对提出未解决的用户问句的用户进行回访,以完成任务流程。终端102用于接收服务器发送的回访澄清话术。可以理解的是,本申请实施例中的问答处理方法可以只应用于服务器104,也可以应用于与图1所示的终端102和服务器104所组成的应用环境中。
在一个实施例中,如图2所示,提供了一种问答处理方法,以该方法应用于图1中的服务器为例进行说明,包括以下步骤:
步骤202,获取未解决的用户问句所对应的历史会话。
其中,未解决的用户问句可以是服务器无法识别出意图的问句。未解决的用户问句可以是同一知识点类别的问句,也可以是不同的知识点类别的问句。未解决的用户问句的数量不限。未解决的用户问句可以是通过文字或者语音等方式表现。
未解决的用户问句所对应的历史会话是指未解决的用户问句产生时服务器与终端进行通信的历史会话。
具体地,当智能客服的服务质量评价值低于预设评价阈值时,服务器获取在预设时长内的未解决的用户问句,并且获取未解决的用户问句所对应的历史会话。
步骤204,根据历史会话的意图确定对应的任务流程。
其中,服务器中预设各意图对应的任务流程。例如,意图1对应任务流程A,意图2对应任务流程B。任务流程中包括至少一个任务流程节点。一个任务流程节点可表示一个机器人问句,即表示一个回访澄清话术。
具体地,服务器基于历史会话识别出历史会话的意图,并基于预设的意图与任务流程的映射关系,以及该历史会话的意图确定对应的任务流程。
步骤206,根据任务流程确定与未解决的用户问句所对应的回访澄清话术。
其中,回访澄清话术用于过询问、澄清和确认来向用户收集办理业务必要的信息。回访澄清话术可以是一个语句。回访澄清话术是与未解决的用户问句所相关的消息。
具体地,服务器根据任务流程,获取与任务流程中各任务流程节点的回访澄清话术,获得未解决的用户问句所对应的回访澄清话术。
步骤208,获取未解决的用户语句所对应的用户接入渠道。
其中,用户接入渠道是指用户接入会话的渠道。例如用户接入渠道包括但不限于即时通信应用、网页、电话。
具体地,服务器获取未解决的用户问句所对应的用户接入渠道。
步骤210,通过用户接入渠道,基于回访澄清话术对提出未解决的用户问句的用户进行回访,以完成任务流程。
其中,回访时的语句例如可以是用于询问用户是否已提出该未解决的用户问句、或者告知用户知识点分类模型已更新完毕不限于此。
通过该用户接入渠道,服务器基于回访澄清话术对提出未解决的用户问句的用户进行回访,向用户发出与未解决的用户问句相关的消息,引导用户对发出的该回访澄清话术进行响应,以解决该未解决的用户问句中的问题。以用户接入渠道为电话访问为例进行说明。用户通过电话访问智能客服机器人,则智能客服机器人回拨用户电话。机器人回访功能,化被动为主动,根据模板生成固定话术,主动发出回访澄清话术如“您好,我是某某公司的智能客服机器人小w,我实现了升级优化,您之前咨询了某某问题,请让我重新为您服务吧”。其中某某问题为用户问句。
本实施例中,未解决问题回访期间,机器人根据产生未解决问题的用户历史会话, 来对任务的入口意图做先行判断。如机器人判断历史会话的意图是“账单查询”。机器人通 过模板生成回访澄清话术,回访澄清话术如机器人询问“你是否需要查询账单
Figure 583924DEST_PATH_IMAGE001
”。根据用 户的回答得到肯定或否定意图,如根据“是啊,我就是想问这个”得到肯定意图;根据“不是, 你搞错了”得到否定意图。假设用户回答肯定,那么机器人则进入“账单查询”的任务流程 中,向用户发送该任务流程设定的澄清话术。
本实施例中的问答处理方法,通过获取未解决的用户问句所对应的历史会话,根据历史会话的意图确定对应的任务流程,根据任务流程确定回访澄清话术,能够基于用户意图进行回访,获得更加准确的回访澄清话术;获取未解决的用户问句所对应的用户接入渠道,通过用户接入渠道,对提出未解决的机器人主动回访的方式,可以提升用户对智能客服能力的信心,还可以主动帮助解决用户问题,从而缓解客服压力,提高用户体验。
在一个实施例中,该方法还包括:通过用户接入渠道,获取通过回访澄清话术所获得的用户回复语句;从用户回复语句中提取词槽以及意图信息;根据词槽和意图信息进行信息查询,获得信息查询结果;通过用户接入渠道返回信息查询结果。
其中,在对话***中,意图和词槽整体代表了对话***对用户对话的理解结果。在这里,我们假设用户对话中的一些必要的限定条件是需要被***所理解,并影响到对话***的执行结果的。这种限定条件被称为词槽(slot)。例如:”换到中央台”中的”中央台”就是一个”电视台词槽”,它会一定程度上影响***对”换台”这个意图的执行。词槽由词槽类别和值两部分组成,词槽类别主要用于帮助开发者对限定条件进行分类处理。可选地,词槽也是用户需要的条件,比如说在“查询天气的场景中” ***需要获得时间和地点两个条件,才能查询天气,那么“时间”和“地点”就是词槽。
具体地,通过用户接入渠道,获取用户对回访澄清话术所回复的用户回复语句。服务器实时从用户回复语句中提取词槽以及意图信息,根据词槽和意图信息进行信息查询,获得信息查询结果。继续执行该基于回访澄清话术对提出未解决的用户问句的用户进行回访的步骤,直至用户结束会话或者输出最后一个回访澄清话术,完成任务流程。
本实施例中,例如回访澄清话术“请问您要查询当期账单、历史账单还是未出账单
Figure 638468DEST_PATH_IMAGE001
”,用户听到回访澄清话术后,给出“额,我想查询本期账单”的用户回复语句,机器人从用 户回复语句中识别到“本期账单”词槽实例,将该实例填充到“账单类型”词槽中。经过上述 多轮问答,获取到“账单查询”任务意图信息、获取到“本期账单”的词槽信息,通过预设的业 务接口,为用户查询信息,并通过话术反馈给用户,如“为您查询到,您的8月份账单欠款99 元。”。到此,机器人为用户办理完业务。
本实施例中的问答处理方法,获取通过回访澄清话术所获得的用户回复语句,从用户回复语句中提取词槽以及意图信息,根据词槽和意图信息进行信息查询,获得信息查询结果,通过用户接入渠道返回信息查询结果,能够建立与用户的良好沟通,主动帮助解决用户问题,从而解决问题,提高用户体验。
在一个实施例中,该问答处理方法还包括:获取对用户不回复情况的最大回访次数;当通过用户接入渠道回访用户的次数达到最大回访次数时,标记未解决的用户问题,将未解决的用户问句暂缓处理。
其中,用户不回复情况可以是用户挂掉电话、用户在预设时长内不回复消息等不限于此。最大回访次数是指通过该用户接入渠道联系用户的最大次数。
具体地,服务器获取对同一用户接入渠道的同一未解决的用户问句的最大回访次数。当通过用户接入渠道回访用户的次数达到最大回访次数时,将该未解决的用户问句标记为用户不回复等,将未解决的用户问句暂缓处理或者放弃处理。
本实施例中的问答处理方法,获取对用户不回复情况的最大回访次数,当通过用户接入渠道回访用户的次数达到最大回访次数时,标记未解决的用户问句,将未解决的用户问句暂缓处理,以减少资源浪费。
在一个实施例中,通过用户接入渠道,基于回访澄清话术对提出未解决的用户问句的用户进行回访,以完成任务流程,包括:
通过用户接入渠道,在用户空闲时间段内,基于回访澄清话术对提出未解决的用户问句的用户进行回访,以完成任务流程。
其中,用户空闲时间段可以是服务器预设的空闲时间段。用户空闲时间段可以是用户主动寻找机器人的时间段。空闲时间段例如可以是午餐时间、晚餐时间、非工作日时间等。
具体地,通过用户接入渠道,服务器在用户空闲时间段内,基于回访澄清话术对提出未解决的用户问句的用户进行回访,以完成任务流程。
本实施例中的问答处理方法,通过用户接入渠道,在用户空闲时间段内,基于回访澄清话术对提出未解决的用户问句的用户进行回访以完成任务流程,能够提高用户接听的便利性和可能性,以解决该未解决的用户问句。
在一个实施例中,该问答处理方法还包括:当识别到用户情绪为预设不佳情绪时,获取对应的舒缓情绪的话术;
在输出舒缓情绪的话术之后,执行通过用户接入渠道,基于回访澄清话术对提出未解决的用户问句的用户进行回访,以完成任务流程。
其中,预设不佳情绪可以是愤怒、不耐烦等情绪。舒缓情绪的话术用于使用户心情舒畅。
具体地,当服务器通过情感分析模型识别到用户情绪为预设不佳情绪时,获取对应的舒缓情绪的话术。在输出舒缓情绪的话术之后,执行通过用户接入渠道,基于回访澄清话术对提出未解决的用户问句的用户进行回访,以完成任务流程。输出可以是通过文字输出,也可以是通过语音输出。
例如,如果出现用户不配合、用户破口大骂这些情况,机器人根据情感分析模型的 结果判断出用户的情绪好坏,如果识别到用户情绪不佳,则给出舒缓情绪的可选话术,然后 再重复上一条澄清话术让用户提供任务关键信息。比如机器人询问“你是否需要查询账单
Figure 865050DEST_PATH_IMAGE001
”,用户回答“你是傻瓜”。那么“你是傻瓜”所对应的情绪属于预设不佳情绪,机器人可以 输出对应的舒缓情绪的话术“对不起,小i会努力改进的,请给小i一点时间哦”,并继续执行 基于回访澄清话术对提出未解决的用户问句的用户进行回访“你是否需要查询账单
Figure 637834DEST_PATH_IMAGE001
”。
本实施例中的问答处理方法,当识别到用户情绪为预设不佳情绪时,获取对应的舒缓情绪的话术,在输出舒缓情绪的话术之后,执行通过用户接入渠道,基于回访澄清话术对提出未解决的用户问句的用户进行回访,以完成任务流程,能够在用户不配合或者破口大骂等情况下提高用户问句的处理效率,并且提高用户体验。
在一个实施例中,该问答处理方法还包括:当检测到与当前回访澄清话术不匹配的用户回复语句时,基于不匹配的用户回复语句进行回复;在基于不匹配的用户回复语句进行回复之后,输出当前回访澄清话术。
具体地,与回访澄清话术不匹配的用户回复语句可以是指与回访澄清话术无关的用户回复语句。当检测到与当前回访澄清话术不匹配的用户回复语句时,服务器基于不匹配的用户回复语句进行回复;在基于不匹配的用户回复语句进行回复之后,重复输出该当前回访澄清话术。
如果用户答非所问,则机器人针对用户的当前意图做出回答,然后重复当前澄清 话术让用户提供任务关键信息。比如当前回访澄清话术为“你是否需要查询账单
Figure 444116DEST_PATH_IMAGE001
”,用户 回复语句为“给我讲个笑话吧”,那么机器人识别到“讲个笑话”意图,可以给出“从前有座 山,山里有座庙,庙里有个小和尚正在讲故事,我又不是小和尚”的回答,然后再次输出当前 回访澄清话术“你是否需要查询账单
Figure 884324DEST_PATH_IMAGE001
”。
本实施例中的问答处理方法,当检测到与当前回访澄清话术不匹配的用户回复语句时,基于不匹配的用户回复语句进行回复,在基于不匹配的用户回复语句进行回复之后,输出当前回访澄清话术,能够在用户答非所问的情况下提高用户问句的处理效率,并且提高用户体验。
在一个实施例中,该问答处理方法还包括:
步骤(a1),获取未解决的用户问句。
具体地,当智能客服的服务质量评价值低于预设评价阈值时,服务器获取在预设时长内的未解决的用户问句。其中,预设时长可以是一个较短的时长,例如预设时长可以是小于24小时的时长。预设时长可根据需求配置。未解决的用户问句是指未解决的用户所提出的问句。
本实施例中,服务器可获取在预设时长内出现次数达到预设次数的未解决的用户问句。其中,步骤(a1)可以是在获取未解决的用户问句所对应的历史会话之前,也可以是在通过用户接入渠道,基于回访澄清话术对提出未解决的用户问句的用户进行回访之后。
步骤(a2),获取未解决的用户问句所对应的扩展语句;扩展语句与未解决的用户问句所对应的知识点类别相匹配。
具体地,服务器获取未解决的用户问句所对应的扩展语句。其中,扩展语句可以是次于,也可以是句子。扩展语句是指与未解决的用户问句的知识点类别相匹配的语句。即未解决的用户问句与对应的扩展语句属于同一个知识点类别。知识点类别可用于表征问句所属的类别。
本实施例中,未解决的用户问句所对应的目标知识点类别获取方式包括:对未解决的用户问句进行聚类,得到未解决聚类簇;通过人工标记的方式确定未解决聚类簇所对应的目标知识点类别。
本实施例中,获取未解决的用户问句所对应的扩展语句,包括:当未解决的用户问句所对应的知识点类别多于一个时,对未解决的用户问句进行聚类,得到未解决聚类簇;其中每个未解决聚类簇对应一种目标知识点类别;获取未解决聚类簇所对应的扩展语句。
步骤(a3),基于未解决的用户问句、扩展语句以及对应的知识点类别标注对知识点分类模型进行训练,获得更新后的知识点分类模型。
其中,知识点类别标注用于表征用户问句和相匹配的扩展语句的正确知识点类别。目标知识点类别标注是指未解决的用户问句所对应的通过人工设置的类别标注。知识点分类模型具体可以是CNN(Convolutional Neural Networks,卷积神经网络)模型等不限于此。知识点分类模型是基于样本用户问句和对应的样本知识点标注训练而成的。
具体地,服务器将未解决的用户问句以及对应的知识点类别标注、扩展语句以及对应的目标知识点类别标注分别输入至知识点分类模型进行训练,直至训练达到收敛条件时,获得更新后的知识点分类模型。收敛条件可以是损失值小于预设损失值、模型两次迭代之间的模型参数变化小于预设变化值、或者迭代次数达到预设次数。
步骤(a4),基于更新后的知识点分类模型进行问答处理。
具体地,服务器将在线上的该知识点分类模型替换为更新后的知识点分类模型。服务器接收到用户问句,将该用户问句输入至更新后的知识点分类模型中,得到该用户问句对应的知识点类别,基于知识点类别获取对应的回复语句。
上述问答处理方法,通过获取在预设时长内的未解决的用户问句以及对应的扩展语句,即对用户问句进行了相同知识点类别的语句扩充;并基于未解决的用户问句、扩展语句以及对应的知识点类别标注对知识点分类模型进行训练,获得更新后的知识点分类模型,即在出现短期内的热点问题堆积时,直接基于未解决的用户问句和知识点类别相匹配的扩展问句对知识点分类模型进行训练,而非采用所有的用户问句对知识点分类模型进行训练的方式,并且采用扩展语句,能够在提高知识点分类模型训练效率同时提高知识点分类模型的准确性,基于更新后的知识点分类模型进行问答处理,即基于更新后的知识点分类模型对未解决的这类用户问句能够进行回复,从而缓解短期内突然骤增的人工客服压力。
在一个实施例中,获取未解决的问句所对应的扩展语句,包括:获取历史用户问句集;获取历史用户问句集中各历史用户问句所对应的知识点类别;基于各历史用户问句所对应的知识点类别,从历史用户问句集中查找与未解决的用户问句的目标知识点类别相匹配的第一历史用户问句,将第一历史用户问句作为未解决的用户问句的扩展语句。
其中,历史用户问句是指在获取未解决的用户问句之前的时间的问句。历史用户问句集中的历史用户问句的数量不限。多个历史用户问句所对应的知识点类别的数量可以为多个。每个历史用户问句存在对应的知识点类别。多个是指至少两个。目标知识点类别是指未解决的用户问句所对应的知识点类别。并且第一历史用户问句所对应的知识点类别与目标知识点类别相同。
具体地,服务器获取多个历史用户问句以及每个历史用户问句所对应的知识点类别。其中,由于历史用户问句一般是已经经过问答处理过的问句,因此可直接获取历史用户问句所对应的知识点类别。服务器基于各历史用户问句所对应的知识点类别,从历史用户问句集中查找与未解决的用户问句的目标知识点类别相匹配的第一历史用户问句。服务器将第一历史用户问句作为未解决的用户问句所对应的扩展语句。
可选地,服务器将历史用户问句集中各历史用户问句重新输入至知识点分类模型中,获得历史用户问句所对应的知识点类别。
本实施例中的问答处理方法,获取历史用户问句集,以及各历史用户问句所对应的知识点类别,基于历史用户问句所对应的知识点类别,基于各历史用户问句所对应的知识点类别,从历史用户问句集中查找与未解决的用户问句的目标知识点类别相匹配的第一历史用户问句,将第一历史用户问句作为未解决的用户问句所对应的扩展语句,即将相同类别的历史用户问句作为扩展语句,获得的扩展语句与实际使用场景更加贴切,从而提高更新后的知识点分类模型的识别准确性。
在一个实施例中,基于各历史用户问句所对应的知识点类别,从历史用户问句集中查找与未解决的用户问句的目标知识点类别相匹配的第一历史用户问句,包括:获取各历史用户问句的与知识点类别相对应的类别概率值;基于各历史用户问句所对应的知识点类别以及对应的类别概率值,从历史用户问句集中查找与未解决的用户问句的目标知识点类别相匹配的、且目标知识点类别的类别概率高于第一概率阈值的第一历史用户问句。
其中,类别概率值是指历史用户问句属于某一知识点类别的类别概率。例如,历史用户问句属于知识点类别A的类别概率为95%。第一概率阈值可根据实际需求设置。例如第一概率阈值可以是95%、90%、85%等不限于此。
具体地,服务器获取与各历史用户问句的与知识点类别相对应的类别概率值,基于各历史用户问句所对应的知识点以及对应的类别概率值,从历史用户问句集中查找与未解决的用户问句的目标知识点类别相匹配的历史用户问句,并基于目标知识点类别所对应的类别概率值,从这些类别相匹配的历史用户问句中再筛选出目标知识点类别的类别概率高于第一概率阈值的第一历史用户问句。
本实施例中的问答处理方法,获取知识点类别相对应的类别概率值,基于历史用户问句所对应的知识点类别以及对应的类别概率值,从历史用户问句集中查找与未解决的用户问句的目标知识点类别相匹配的,即找到与类别匹配的问句,而目标知识点类别的类别概率高于第一概率阈值,即该得到类别可信度更高的历史用户问句,使得得到的扩展问句的准确性更高,从而提高更新后的知识点分类模型的分类准确性,并且由于满足高于第一概率阈值的历史用户问句更少,因此也可以减少知识点分类模型的训练时长。
在一个实施例中,获取未解决的用户问句所对应的扩展语句,包括:获取未解决的用户问句所对应的会话信息;从会话信息中获取词槽;将词槽作为未解决的用户问句所对应的扩展词语。
其中,在对话***中,意图和词槽整体代表了对话***对用户对话的理解结果。在这里,我们假设用户对话中的一些必要的限定条件是需要被***所理解,并影响到对话***的执行结果的。这种限定条件被称为词槽(slot)。例如:”换到中央台”中的”中央台”就是一个”电视台词槽”,它会一定程度上影响***对”换台”这个意图的执行。词槽由词槽类别和值两部分组成,词槽类别主要用于帮助开发者对限定条件进行分类处理。可选地,词槽也是用户需要的条件,比如说在“查询天气的场景中” ***需要获得时间和地点两个条件,才能查询天气,那么“时间”和“地点”就是词槽。
具体地,服务器获取未解决的用户问句所对应的会话信息。其中,会话信息是指在出现未解决的用户问句所对应的会话中所获得的会话语句。未解决的用户问句中会话信息可以是在未解决的用户问句的会话界面中所获取的,也可以是从未解决的用户问句所对应的语音数据中所获取的。服务器从会话信息中获取词槽,并将词槽作为未解决的用户问句所对应的扩展词语。
本实施例中的问答处理方法,通过获取未解决的用户问句所对应的会话信息,从会话信息中获取词槽,将词槽作为未解决的用户问句所对应的扩展词语,能够扩展未解决的用户问句,从而扩大训练数据,使得更新后的知识点分类模型更加准确。
在一个实施例中,在获取未解决的用户问句之前,该问答处理方法还包括:获取历史用户问句集中各历史用户问句属于各个知识点的类别概率值;当基于各历史用户问句属于各个知识点类别的类别概率值确定历史用户问句集中存在第二历史用户问句时,对第二历史用户问句进行聚类处理,获得聚类簇;第二历史用户问句是指最大类别概率小于第二概率阈值的问句;基于聚类簇和对应的聚类类别标注对原始知识点分类模型进行训练,当训练达到预设条件时,获得知识点分类模型。
其中,历史用户问句是指在获取未解决的用户问句之前所获取的用户问句。每个历史用户问句均存在对应的知识点类别。并且一个历史用户问句所对应的知识点类别可多于一个。第二概率阈值可根据需要设定。并且第二概率阈值小于第一概率阈值。第二概率阈值用于表征一个较小的概率,例如第二概率阈值可以是50%、40%等不限于此。第二历史用户问句是指最大类别概率小于第二概率阈值的问句。聚类簇中包含至少一个第二历史用户问句。并且每个聚类簇对应一个知识点类别。即每个聚类簇均有对应的聚类类别标注。处于同一个聚类簇中的第二历史问句具有高度相似性。聚类类别标注用于表征聚类簇所对应的知识点类别。不同的聚类簇所对应的知识点类别不同,且对应的聚类类别标注不同。聚类处理方式如基于tf-idf(term frequency–inverse document frequency,词频-逆文本频率指数)的kmeans(k均值)文本聚类方法等。
预设条件可以是指训练次数达到预设次数、或者输出的类别概率值大于预设概率值等不限于此。原始知识点分类模型是指具有知识点分类功能的、且未经过第二历史问句的聚类训练的分类模型。
具体地,由于历史用户问句一般是已经经过问答处理过的问句,因此可直接获取历史用户问句属于各个知识点的类别概率值。当基于属于各个知识点类别的类别概率值确定历史用户问句集中存在最大类别概率小于第二概率阈值的问句时,对第二历史用户问句进行聚类处理,获得聚类簇。服务器可将聚类簇加入知识库中。基于聚类簇和对应的聚类类别标注对原始知识点分类模型进行训练,当训练达到预设条件时,获得知识点分类模型。例如,设第二概率阈值为40%,历史用户问句属于知识点A的概率为20%,属于知识点B的概率为30%,属于知识点C的概率为35%,属于知识点D的概率为15%,那么确定最大类别概率为35%,最大概率35%小于第二概率阈值40%,那么该历史用户问句为第二历史用户问句。对如上的第二历史用户问句进行聚类处理,获得聚类簇。
本实施例中的问答处理方法,获取历史用户问句集中各历史用户问句属于各个知识点类别的类别概率值,当基于各历史用户问句属于各个知识点类别的类别概率值确定历史用户问句集中存在第二历史用户问句时,说明这些第二历史问句可以归属于新的知识点,因此需要对第二历史用户问句进行聚类处理,获得聚类簇;基于聚类簇和对应的聚类类别标注对原始知识点分类模型进行训练,当训练达到预设条件时,获得知识点分类模型,即筛选出不太准确的历史用户问句即第二历史问句,进行再次训练,获得能够对更多知识点类别进行分类的且分类更准确的知识点分类模型。
在一个实施例中,获取未解决的用户问句,包括:获取用户问句以及用户问句所对应的用户行为;基于用户行为确定未解决的用户问句。
获取未解决的用户问句所对应的扩展语句,包括:获取智能客服的各项评价指标值;基于各项评价指标值确定智能客服的服务质量评价值;当服务质量评价值低于预设评价阈值时,获取未解决的用户问句所对应的扩展语句。
其中,用户行为用于表征用户对未解决的用户问句的评价。用户行为具体可以是未解决、转人工、任务中途挂断、点赞、点踩、正常结束会话等行为。未解决、转人工、任务中途挂断、点踩表示该用户问句为未解决的用户问句。点赞、正常结束会话表示该用户问句为已解决的用户问句。
智能客服是指为用户提供问答处理的机器人。智能客服获取用户问句,并基于用户问句进行响应得到回复语句。
评价指标是指服务器为智能客服设置的用于评价智能客服的服务质量的指标。评价指标值包括用户对智能客服进行评价所产生的指标值。评价指标值还可以包括对一段时间内的用户问句以及未解决的用户问句进行统计所得到的指标值。并且不同的用户评价所对应的指标可以不同。例如,用户点赞或点踩数量作为指标A,已解决问题和未解决问题作为指标B,解决率作为指标C不限于此。
具体地,服务器获取在预设时长内的用户问句以及该用户问句所对应的用户行为。服务器基于预设时长内的用户行为确定未解决的用户问句。服务器获取在预设时长内用户对智能客服的各项评价指标值。服务器统计各项评价指标值,并获取各项评价指标值所对应的权重,基于各项指标值以及对应的权重确定智能客服的服务质量评价值。当在预设时长内的服务质量评价值低于预设评价阈值时,获取未解决的用户问句所对应的扩展语句。例如,服务器获取用户问句Z,以及用户问句Z对应的用户行为为“点踩”,那么该用户问句Z为未解决的用户问句。服务器获取在一段时间内用户对智能客服的评价,如服务满意度评分、点赞或点踩。转人工等,以及统计一段时间内的评价指标值,例如“已解决问题/未解决问题”数量、“拦截率”“解决率”等,从而确定智能客服的服务质量评价值。
本实施例中的问答处理方法,获取用户问句以及用户问句所对应的用户行为,基于用户行为确定未解决的用户问句,从而确定出未解决的用户问句;获取智能客服的各项评价指标值,基于各项指标值确定智能客服的服务质量评价值,从而能够得到知识点分类模型的质量评价值;当服务质量评价值低于预设评价阈值时,说明知识点分类模型的准确率不高,无法解决用户所提出的问题,因此需要获取未解决的用户问句所对应的扩展语句,对知识点分类模型进行紧急训练以缓解短期内所造成的服务压力。
在一个实施例中,一种问答处理方法,包括:
步骤(b1),获取历史用户问句集中各历史用户问句属于各个知识点类别的类别概率值。
步骤(b2),当基于各历史用户问句属于各个知识点类别的类别概率值确定历史用户问句集中存在第二历史用户问句时,对第二历史用户问句进行聚类处理,获得聚类簇。第二历史用户问句是指最大类别概率小于第二概率阈值的问句。
步骤(b3),基于聚类簇和对应的聚类类别标注对原始知识点分类模型进行训练,当训练达到预设条件时,获得知识点分类模型。
步骤(b4),获取用户问句以及用户问句所对应的用户行为。
步骤(b5),基于用户行为确定未解决的用户问句。
步骤(b6),获取智能客服的各项评价指标值。
步骤(b7),基于各项评价指标值确定智能客服的服务质量评价值。
步骤(b8),当服务质量评价值低于预设评价阈值时,获取历史用户问句集。
步骤(b9),获取历史用户问句集中各历史用户问句所对应的知识点类别。
步骤(b10),获取各历史用户问句的与知识点类别相对应的类别概率值。
步骤(b11),基于各历史用户问句所对应的知识点类别以及对应的类别概率值,从历史用户问句集中查找与未解决的用户问句的目标知识点类别相匹配的、且目标知识点类别的类别概率高于第一概率阈值的第一历史用户问句。
步骤(b12),将第一历史用户问句作为未解决的用户问句所对应的扩展语句。扩展语句与未解决的用户问句所对应的知识点类别相匹配。
步骤(b13),获取未解决的用户问句所对应的会话信息。
步骤(b14),从会话信息中获取词槽。
步骤(b15),将词槽作为未解决的用户问句所对应的扩展词语。
步骤(b16),基于未解决的用户问句、扩展语句以及对应的知识点类别标注对知识点分类模型进行训练,获得更新后的知识点分类模型。
步骤(b17),基于更新后的知识点分类模型进行问答处理。
步骤(b18),获取未解决的用户问句所对应的历史会话。
步骤(b19),根据历史会话的意图确定对应的任务流程。
步骤(b20),根据任务流程确定与未解决的用户问句所对应的回访澄清话术。
步骤(b21),获取未解决的用户问句所对应的用户接入渠道。
步骤(b22),通过用户接入渠道,基于回访澄清话术对提出未解决的用户问句的用户进行回访,以完成任务流程。
本实施例中的问答处理方法,在出现短期内的热点问题堆积时,直接基于未解决的用户问句和知识点类别相匹配的扩展问句对知识点分类模型进行训练,而非采用所有的用户问句对知识点分类模型进行训练的方式,并且采用扩展语句,能够在提高知识点分类模型训练效率同时提高知识点分类模型的准确性,基于更新后的知识点分类模型进行问答处理,即基于更新后的知识点分类模型对未解决的这类用户问句能够进行回复,从而缓解人工客服压力,并通过对用户进行回访,协助用户解决未解决的问题,提供用户体验。
在一个实施例中,对话流程中,可能由于用户描述不清导致的意图模糊,或者机器人在某些任务的某些节点上的某个意图或词槽的识别准确率较低,导致机器人答非所问,用户频繁转人工或挂断、投诉,人工客服接待量突增,客服人员疲于应对,用户未解决问题堆积。如果出现上述问题的是一个访问热度较高的任务,那么此问题带来的影响会不断扩大,对企业造成较大的品牌损失。现有的技术,智能客服运营人员通过用户对服务满意度评分或“点赞/点踩”“已解决/未解决”“拦截率”“解决率”来获知智能客服服务质量,然后根据任务的“点踩”“未解决”“评分低”“拦截率低”“解决率低”指标统计情况来调整任务流程和调优机器人效果。用户再访问机器人时,智能客服就能准确识别用户意图和词槽,帮助解决问题或办理业务了。但是由于机器人服务质量下降到提高,中间需要经过以下阶段:机器人服务质量下降→运营人员获知机器人服务质量低→优化知识库完成,这中间耗时较长,堆积了大量的未解决问题。在此期间,人工客服承受了较大的服务压力,用户可能由于等待人工客服时间过长而放弃解决问题。另一方面,用户无法得知智能客服已做优化的信息,再次访问智能客服解决问题的可能性较低。
因此提出一种智能客服的异常处理机制,通过该机制可以快速处理短期机器人服务质量差带来的大量未解决问题,缓解人工客服压力,主动帮助用户解决问题,增强用户体验。如图3所示,为另一个实施例中问答处理方法的流程示意图,包括:
步骤302,用户访问智能客服,智能客服回复用户问题。
具体地,用户电话接入或文本接入,访问智能客服,智能客服回复用户问题。
步骤304,智能客服自动识别未解决的问句。
具体地,通过用户行为如“未解决”“转人工”“任务中途挂断”等,获取未解决问题,记录用户接入渠道信息。
步骤306,统计分析智能客服的服务质量评价值。
具体地,机器人汇总服务满意度评分或“点赞/点踩”数量、“已解决问题/未解决问题”数量、“拦截率”“解决率”信息,综合以上信息给出智能客服的服务质量评价值。其中,服务满意度评分或“点赞/点踩”数量、“已解决问题/未解决问题”数量、“拦截率”“解决率”均可为评价指标值。
步骤308,发出服务质量低的告警。
具体地,当智能客服的服务评价质量值低于预设评价阈值时,发出服务质量低的告警。
步骤310,优化知识库。
具体地,当智能客服的服务评价质量值低于预设评价阈值时,获取未解决的用户问句所对应的扩展语句。服务器基于未解决的用户问句、扩展语句以及对应的知识点类别标注对知识点分类模型进行训练,获得更新后的知识点分类模型。
可选地,获取历史用户问句集中各历史用户问句属于各个知识点类别的类别概率值;当基于各历史用户问句属于各个知识点类别的类别确定历史用户问句集中存在第二历史用户问句时,对第二历史用户问句进行聚类处理,获得聚类簇;第二历史用户问句是指最大类别概率小于第二概率阈值的问句;基于未解决的用户问句、扩展语句和对应的知识点类别标注,以及聚类簇和对应的聚类类别标注分别对知识点分类模型进行训练,当训练达到预设条件时,获得更新后的知识点分类模型。
步骤312,开启智能客服回访机制。
具体地,智能客服回访机制即获取未解决的用户问句所对应的用户接入渠道;通过用户接入渠道,对提出未解决的用户问号的用户进行回访,向用户发出与未解决的用户问句相关的消息,以解决未解决的用户问句中的问题。机器人回访功能,将记录的未解决用户问题通过用户接入渠道主动回访用户,如用户电话访问智能客服机器人,则智能客服机器人回拨用户电话。机器人回访功能,化被动为主动,根据模板生成固定话术,主动询问用户问题,如“您好,我是某某公司的智能客服机器人小w,我实现了升级优化,您之前咨询了某某问题,请让我重新为您服务吧”。在机器人主动询问用户问题后,继续执行“某某问题”对应的任务流程图,通过澄清话术引导用户提供词槽和意图信息,完成整个任务处理流程,帮助用户解决问题。还可以在机器人主动回访方式,一方面可以将机器人已升级优化的信息告知用户,提升用户对智能客服能力的信心;一方面可以主动帮助解决用户问题。
本实施例中的问答处理方法,可以提升智能客服的整体服务质量,即使短期服务质量下降,仍可以在机器人回访机制下消解未解决的用户问题,提升整体解决率,并有效缓解人工客服压力,而主动回访用户帮助解决问题,能有效增强用户体验。
应该理解的是,虽然图2和3的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图2和3中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中,如图4所示,提供了一种问答处理装置,包括:历史会话获取模块402、任务流程确定模块404、澄清话术确定模块406和回访模块408,其中:
历史会话获取模块402,用于获取未解决的用户问句所对应的历史会话;
任务流程确定模块404,用于根据历史会话的意图确定对应的任务流程;
澄清话术确定模块406,用于根据任务流程确定与未解决的用户问句所对应的回访澄清话术;
回访模块408,用于获取未解决的用户问句所对应的用户接入渠道;
回访模块408,还用于通过用户接入渠道,基于回访澄清话术对提出未解决的用户问句的用户进行回访,以完成任务流程。
本实施例中的问答处理装置,通过获取未解决的用户问句所对应的历史会话,根据历史会话的意图确定对应的任务流程,根据任务流程确定回访澄清话术,能够获得更加准确的回访澄清话术;获取未解决的用户问句所对应的用户接入渠道,通过用户接入渠道,对提出未解决的机器人主动回访的方式,可以提升用户对智能客服能力的信心,还可以主动帮助解决用户问题,从而缓解客服压力,提高用户体验。
在一个实施例中,回访模块408还用于通过用户接入渠道,获取通过回访澄清话术所获得的用户回复语句;从用户回复语句中提取词槽以及意图信息;根据词槽和意图信息进行信息查询,获得信息查询结果;通过用户接入渠道返回信息查询结果。
本实施例中的问答处理装置,获取通过回访澄清话术所获得的用户回复语句,从用户回复语句中提取词槽以及意图信息,根据词槽和意图信息进行信息查询,获得信息查询结果,通过用户接入渠道返回信息查询结果,能够建立与用户的良好沟通,主动帮助解决用户问题,从而解决问题,提高用户体验。
在一个实施例中,回访模块408还用于获取对用户不回复情况的最大回访次数;当通过用户接入渠道回访用户的次数达到最大回访次数时,标记未解决的用户问题,将未解决的用户问句暂缓处理。
本实施例中的问答处理装置,获取对用户不回复情况的最大回访次数,当通过用户接入渠道回访用户的次数达到最大回访次数时,标记未解决的用户问句,将未解决的用户问句暂缓处理,以减少资源浪费。
在一个实施例中,回访模块408还用于通过用户接入渠道,在用户空闲时间段内,基于回访澄清话术对提出未解决的用户问句的用户进行回访,以完成任务流程。
本实施例中的问答处理装置,通过用户接入渠道,在用户空闲时间段内,基于回访澄清话术对提出未解决的用户问句的用户进行回访以完成任务流程,能够提高用户接听的便利性和可能性,以解决该未解决的用户问句。
在一个实施例中,回访模块408还用于当识别到用户情绪为预设不佳情绪时,获取对应的舒缓情绪的话术;
在输出舒缓情绪的话术之后,执行通过用户接入渠道,基于回访澄清话术对提出未解决的用户问句的用户进行回访,以完成任务流程。
本实施例中的问答处理装置,当识别到用户情绪为预设不佳情绪时,获取对应的舒缓情绪的话术,在输出舒缓情绪的话术之后,执行通过用户接入渠道,基于回访澄清话术对提出未解决的用户问句的用户进行回访,以完成任务流程,能够在用户不配合或者破口大骂等情况下提高用户问句的处理效率,并且提高用户体验。
在一个实施例中,回访模块408还用于当检测到与当前回访澄清话术不匹配的用户回复语句时,基于不匹配的用户回复语句进行回复;在基于不匹配的用户回复语句进行回复之后,输出当前回访澄清话术。
本实施例中的问答处理装置,当检测到与当前回访澄清话术不匹配的用户回复语句时,基于不匹配的用户回复语句进行回复,在基于不匹配的用户回复语句进行回复之后,输出当前回访澄清话术,能够在用户答非所问的情况下提高用户问句的处理效率,并且提高用户体验。
在一个实施例中,该问答处理方法还包括第一获取模块、第二获取模块、训练模块和处理模块,其中:
第一获取模块,用于获取未解决的用户问句;
第二获取模块,用于获取未解决的用户问句所对应的扩展语句;未解决的用户问句与扩展语句所对应的知识点类别相匹配;
训练模块,用于基于未解决的用户问句、扩展语句以及对应的知识点类别标注对知识点分类模型进行训练,获得更新后的知识点分类模型;
处理模块,用于基于更新后的知识点分类模型进行问答处理。
上述问答处理装置,通过获取未解决的用户问句以及对应的扩展语句,即对用户问句进行了相同知识点类别的语句扩充;并基于未解决的用户问句、扩展语句以及对应的知识点类别标注对知识点分类模型进行训练,获得更新后的知识点分类模型,即在出现短期内的热点问题堆积时,直接基于未解决的用户问句和知识点类别相匹配的扩展问句对知识点分类模型进行训练,而非采用所有的用户问句对知识点分类模型进行训练的方式,并且采用扩展语句,能够在提高知识点分类模型训练效率同时提高知识点分类模型的准确性,基于更新后的知识点分类模型进行问答处理,即基于更新后的知识点分类模型对未解决的这类用户问句能够进行回复,从而缓解短期内突然骤增的人工客服压力。
在一个实施例中,第二获取模块用于获取历史用户问句集;获取历史用户问句集中各历史用户问句所对应的知识点类别;基于各历史用户问句所对应的知识点类别,从历史用户问句集中查找与未解决的用户问句的目标知识点类别相匹配的第一历史用户问句,将第一历史用户问句作为未解决的用户问句的扩展语句。
本实施例中的问答处理装置,获取历史用户问句集,以及各历史用户问句所对应的知识点类别,基于历史用户问句所对应的知识点类别,基于各历史用户问句所对应的知识点类别,从历史用户问句集中查找与未解决的用户问句的目标知识点类别相匹配的第一历史用户问句,将第一历史用户问句作为未解决的用户问句所对应的扩展语句,即将相同类别的历史用户问句作为扩展语句,获得的扩展语句与实际使用场景更加贴切,从而提高更新后的知识点分类模型的识别准确性。
在一个实施例中,第二获取模块用于获取各历史用户问句的与知识点类别相对应的类别概率值;基于各历史用户问句所对应的知识点类别以及对应的类别概率值,从历史用户问句集中查找与未解决的用户问句的目标知识点类别相匹配的、且目标知识点类别的类别概率高于第一概率阈值的第一历史用户问句。
本实施例中的问答处理装置,获取知识点类别相对应的类别概率值,基于历史用户问句所对应的知识点类别以及对应的类别概率值,从历史用户问句集中查找与未解决的用户问句的目标知识点类别相匹配的,即找到与类别匹配的问句,而目标知识点类别的类别概率高于第一概率阈值,即该得到类别可信度更高的历史用户问句,使得得到的扩展问句的准确性更高,从而提高更新后的知识点分类模型的分类准确性,并且由于满足高于第一概率阈值的历史用户问句更少,因此也可以减少知识点分类模型的训练时长。
在一个实施例中,第二获取模块用于获取未解决的用户问句所对应的会话信息;从会话信息中获取词槽;将词槽作为未解决的用户问句所对应的扩展词语。
本实施例中的问答处理装置,通过获取未解决的用户问句所对应的会话信息,从会话信息中获取词槽,将词槽作为未解决的用户问句所对应的扩展词语,能够扩展未解决的用户问句,从而扩大训练数据,使得更新后的知识点分类模型更加准确。
在一个实施例中,训练模块还用于获取历史用户问句集中各历史用户问句属于各个知识点的类别概率值;当基于各历史用户问句属于各个知识点类别的类别概率值确定历史用户问句集中存在第二历史用户问句时,对第二历史用户问句进行聚类处理,获得聚类簇;第二历史用户问句是指最大类别概率小于第二概率阈值的问句;基于聚类簇和对应的聚类类别标注对原始知识点分类模型进行训练,当训练达到预设条件时,获得知识点分类模型。
本实施例中的问答处理装置,获取历史用户问句集中各历史用户问句属于各个知识点类别的类别概率值,当基于各历史用户问句属于各个知识点类别的类别概率值确定历史用户问句集中存在第二历史用户问句时,说明这些第二历史问句可以归属于新的知识点,因此需要对第二历史用户问句进行聚类处理,获得聚类簇;基于聚类簇和对应的聚类类别标注对原始知识点分类模型进行训练,当训练达到预设条件时,获得知识点分类模型,即筛选出不太准确的历史用户问句即第二历史问句,进行再次训练,获得能够对更多知识点类别进行分类的且分类更准确的知识点分类模型。
在一个实施例中,第一获取模块用于获取用户问句以及用户问句所对应的用户行为;基于用户行为确定未解决的用户问句。第二获取模块用于获取智能客服的各项评价指标值;基于各项评价指标值确定智能客服的服务质量评价值;当服务质量评价值低于预设评价阈值时,获取未解决的用户问句所对应的扩展语句。
本实施例中的问答处理装置,获取用户问句以及用户问句所对应的用户行为,基于用户行为确定未解决的用户问句,从而确定出未解决的用户问句;获取智能客服的各项评价指标值,基于各项指标值确定智能客服的服务质量评价值,从而能够得到知识点分类模型的质量评价值;当服务质量评价值低于预设评价阈值时,说明知识点分类模型的准确率不高,无法解决用户所提出的问题,因此需要获取未解决的用户问句所对应的扩展语句,对知识点分类模型进行紧急训练以缓解短期内所造成的服务压力。
关于问答处理装置的具体限定可以参见上文中对于问答处理方法的限定,在此不再赘述。上述问答处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是服务器,其内部结构图可以如图5所示。该计算机设备包括通过***总线连接的处理器、存储器和网络接口。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作***、计算机程序和数据库。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该计算机设备的数据库用于存储语句数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种问答处理方法。
本领域技术人员可以理解,图5中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,还提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现上述各方法实施例中的步骤。
在一个实施例中,提供了一种计算机可读存储介质,存储有计算机程序,该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
在一个实施例中,提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述各方法实施例中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory,ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory,RAM)或外部高速缓冲存储器。作为说明而非局限,RAM可以是多种形式,比如静态随机存取存储器(Static Random Access Memory,SRAM)或动态随机存取存储器(Dynamic Random Access Memory,DRAM)等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。

Claims (13)

1.一种问答处理方法,其特征在于,所述方法包括:
获取未解决的用户问句所对应的历史会话;
根据所述历史会话的意图确定对应的任务流程;
根据所述任务流程确定与所述未解决的用户问句所对应的回访澄清话术;
获取所述未解决的用户问句所对应的用户接入渠道;
通过所述用户接入渠道,基于所述回访澄清话术对提出所述未解决的用户问句的用户进行回访,以完成所述任务流程;
获取所述未解决的用户问句所对应的扩展语句;所述扩展语句与所述未解决的用户问句所对应的知识点类别相匹配;
基于所述未解决的用户问句、所述扩展语句以及对应的知识点类别标注对知识点分类模型进行训练,获得更新后的知识点分类模型;
基于所述更新后的知识点分类模型进行问答处理;
获取历史用户问句集中各历史用户问句属于各个知识点类别的类别概率值;
当基于各历史用户问句属于各个知识点类别的类别概率值确定所述历史用户问句集中存在第二历史用户问句时,对所述第二历史用户问句进行聚类处理,获得聚类簇;所述第二历史用户问句是指最大类别概率小于第二概率阈值的问句;
基于所述聚类簇和对应的聚类类别标注对原始知识点分类模型进行训练,当训练达到预设条件时,获得知识点分类模型。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
获取通过回访澄清话术所获得的用户回复语句;
从所述用户回复语句中提取词槽以及意图信息;
根据所述词槽和意图信息进行信息查询,获得信息查询结果;
通过所述用户接入渠道返回所述信息查询结果。
3.根据权利要求1所述的方法,其特征在于,所述方法还包括:
获取对用户不回复情况的最大回访次数;
当通过所述用户接入渠道回访用户的次数达到所述最大回访次数时,标记所述未解决的用户问句,将所述未解决的用户问句暂缓处理。
4.根据权利要求1所述的方法,其特征在于,所述通过所述用户接入渠道,基于所述回访澄清话术对提出所述未解决的用户问句的用户进行回访,以完成所述任务流程,包括:
通过所述用户接入渠道,在用户空闲时间段内,基于所述回访澄清话术对提出所述未解决的用户问句的用户进行回访,以完成所述任务流程。
5.根据权利要求1所述的方法,其特征在于,所述方法还包括:
当识别到用户情绪为预设不佳情绪时,获取对应的舒缓情绪的话术;
在输出所述舒缓情绪的话术之后,执行所述通过所述用户接入渠道,基于所述回访澄清话术对提出所述未解决的用户问句的用户进行回访,以完成所述任务流程。
6.根据权利要求1所述的方法,其特征在于,所述方法还包括:
当检测到与当前回访澄清话术不匹配的用户回复语句时,基于不匹配的用户回复语句进行回复;
在基于不匹配的用户回复语句进行回复之后,输出所述当前回访澄清话术。
7.根据权利要求1所述的方法,其特征在于,所述获取所述未解决的用户问句所对应的扩展语句,包括:
获取历史用户问句集;
获取所述历史用户问句集中各历史用户问句所对应的知识点类别;
基于各所述历史用户问句所对应的知识点类别,从所述历史用户问句集中查找与所述未解决的用户问句的目标知识点类别相匹配的第一历史用户问句,将所述第一历史用户问句作为所述未解决的用户问句所对应的扩展语句。
8.根据权利要求7所述的方法,其特征在于,所述基于各所述历史用户问句所对应的知识点类别,从所述历史用户问句集中查找与所述未解决的用户问句的目标知识点类别相匹配的第一历史用户问句,包括:
获取各历史用户问句的与所述知识点类别相对应的类别概率值;
基于各所述历史用户问句所对应的知识点类别以及对应的类别概率值,从所述历史用户问句集中查找与所述未解决的用户问句的目标知识点类别相匹配的、且所述目标知识点类别的类别概率高于第一概率阈值的第一历史用户问句。
9.根据权利要求1所述的方法,其特征在于,所述获取所述未解决的用户问句所对应的扩展语句,包括:
获取所述未解决的用户问句所对应的会话信息;
从所述会话信息中获取词槽;
将所述词槽作为所述未解决的用户问句所对应的扩展词语。
10.根据权利要求1至9任一项所述的方法,其特征在于,所述获取未解决的用户问句,包括:
获取用户问句以及所述用户问句所对应的用户行为;
基于所述用户行为确定未解决的用户问句;
所述获取所述未解决的用户问句所对应的扩展语句,包括:
获取智能客服的各项评价指标值;
基于各项评价指标值确定所述智能客服的服务质量评价值;
当所述服务质量评价值低于预设评价阈值时,获取所述未解决的用户问句所对应的扩展语句。
11.一种问答处理装置,其特征在于,所述装置包括:
历史会话获取模块,用于获取未解决的用户问句所对应的历史会话;
任务流程确定模块,用于根据所述历史会话的意图确定对应的任务流程;
澄清话术确定模块,用于根据所述任务流程确定与所述未解决的用户问句所对应的回访澄清话术;
回访模块,用于获取所述未解决的用户问句所对应的用户接入渠道;
所述回访模块,还用于通过所述用户接入渠道,基于所述回访澄清话术对提出所述未解决的用户问句的用户进行回访,以完成所述任务流程;
第二获取模块,用于获取所述未解决的用户问句所对应的扩展语句;所述扩展语句与所述未解决的用户问句所对应的知识点类别相匹配;
训练模块,用于基于所述未解决的用户问句、所述扩展语句以及对应的知识点类别标注对知识点分类模型进行训练,获得更新后的知识点分类模型;
处理模块,用于基于所述更新后的知识点分类模型进行问答处理;
所述训练模块还用于获取历史用户问句集中各历史用户问句属于各个知识点类别的类别概率值; 当基于各历史用户问句属于各个知识点类别的类别概率值确定所述历史用户问句集中存在第二历史用户问句时,对所述第二历史用户问句进行聚类处理,获得聚类簇;所述第二历史用户问句是指最大类别概率小于第二概率阈值的问句;基于所述聚类簇和对应的聚类类别标注对原始知识点分类模型进行训练,当训练达到预设条件时,获得知识点分类模型。
12.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至10中任一项所述的方法的步骤。
13.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至10中任一项所述的方法的步骤。
CN202110354868.1A 2021-03-31 2021-03-31 问答处理方法、装置、计算机设备和存储介质 Active CN113111157B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110354868.1A CN113111157B (zh) 2021-03-31 2021-03-31 问答处理方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110354868.1A CN113111157B (zh) 2021-03-31 2021-03-31 问答处理方法、装置、计算机设备和存储介质

Publications (2)

Publication Number Publication Date
CN113111157A CN113111157A (zh) 2021-07-13
CN113111157B true CN113111157B (zh) 2022-07-01

Family

ID=76713629

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110354868.1A Active CN113111157B (zh) 2021-03-31 2021-03-31 问答处理方法、装置、计算机设备和存储介质

Country Status (1)

Country Link
CN (1) CN113111157B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI785721B (zh) * 2021-08-05 2022-12-01 中國信託商業銀行股份有限公司 即時分析回覆設備

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111368043A (zh) * 2020-02-19 2020-07-03 中国平安人寿保险股份有限公司 基于人工智能的事件问答方法、装置、设备及存储介质
CN112015878A (zh) * 2020-09-02 2020-12-01 中国平安财产保险股份有限公司 处理智慧客服未回答问题的方法、装置及计算机设备
CN112182176A (zh) * 2020-09-25 2021-01-05 北京字节跳动网络技术有限公司 智能问答方法、装置、设备及可读存储介质
CN112202978A (zh) * 2020-08-24 2021-01-08 维知科技张家口有限责任公司 智能外呼***、方法、计算机***及存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9146987B2 (en) * 2013-06-04 2015-09-29 International Business Machines Corporation Clustering based question set generation for training and testing of a question and answer system

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111368043A (zh) * 2020-02-19 2020-07-03 中国平安人寿保险股份有限公司 基于人工智能的事件问答方法、装置、设备及存储介质
CN112202978A (zh) * 2020-08-24 2021-01-08 维知科技张家口有限责任公司 智能外呼***、方法、计算机***及存储介质
CN112015878A (zh) * 2020-09-02 2020-12-01 中国平安财产保险股份有限公司 处理智慧客服未回答问题的方法、装置及计算机设备
CN112182176A (zh) * 2020-09-25 2021-01-05 北京字节跳动网络技术有限公司 智能问答方法、装置、设备及可读存储介质

Also Published As

Publication number Publication date
CN113111157A (zh) 2021-07-13

Similar Documents

Publication Publication Date Title
CN110765244B (zh) 获取应答话术的方法、装置、计算机设备及存储介质
CN109151218B (zh) 通话语音质检方法、装置、计算机设备及存储介质
CN110675288B (zh) 智能辅助审判方法、装置、计算机设备及存储介质
CN112492111B (zh) 一种智能语音外呼方法、装置、计算机设备和存储介质
CN112037799B (zh) 语音中断处理方法、装置、计算机设备和存储介质
US20210350209A1 (en) Intent and context-aware dialogue based virtual assistance
CN110266900B (zh) 客户意图的识别方法、装置及客服***
CN110890088B (zh) 语音信息反馈方法、装置、计算机设备和存储介质
US11816609B2 (en) Intelligent task completion detection at a computing device
CN104462600A (zh) 实现来电原因自动分类的方法及装置
CN110516057B (zh) 一种信访问题答复方法及装置
CN112818109B (zh) 邮件的智能回复方法、介质、装置和计算设备
US20210193124A1 (en) Method and apparatus for intent recognition and intent prediction based upon user interaction and behavior
CN116049360A (zh) 基于客户画像的智能语音对话场景话术干预方法及***
CN113297365A (zh) 一种用户意向判定方法、装置、设备及存储介质
CN114490975A (zh) 用户问题的标注方法及装置
CN113111157B (zh) 问答处理方法、装置、计算机设备和存储介质
CN113726942A (zh) 一种智能电话接听方法、***、介质及电子终端
CN113190660A (zh) 问卷调查的方法和装置
CN113095073B (zh) 语料标签生成方法、装置、计算机设备和存储介质
CN115358774A (zh) 一种智慧客服机器人数据处理方法及***
CN110765242A (zh) 一种客服信息的提供方法,装置及***
CN114242047A (zh) 一种语音处理方法、装置、电子设备及存储介质
CN114254088A (zh) 自动应答模型的构建方法和自动应答方法
CN112925888B (zh) 一种问答响应及小样本文本匹配模型的训练方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant