CN116150381B - 话术质量测试方法、装置、电子设备及存储介质 - Google Patents

Abstract

本发明公开了一种话术质量测试方法、装置、电子设备及存储介质。首先，获取聊天机器人和目标客服对象之间基于目标产品对象的咨询测试操作产生的测试对话文本数据，实现利用聊天机器人对客服人员的自动测试；然后，根据虚拟对象的预设测试流程对测试对话文本数据进行划分，得到与预设测试流程包括的目标环节对应的句子对文本数据；接着，根据句子对文本数据和目标产品对象的产品参数数据确定目标环节的目标阶段评估数据；最后，基于目标阶段评估数据确定目标客服对象的话术质量评估数据。通过虚拟对象的预设测试流程可以对客服人员的话术质量进行整体评估，更准确地评估客服人员的话术质量。

Description

话术质量测试方法、装置、电子设备及存储介质

技术领域

本发明涉及人工智能技术领域，尤其涉及一种话术质量测试方法、装置、电子设备及存储介质。

背景技术

在客户服务工作过程中，客服主要接受顾客咨询并帮助顾客解答疑惑。客服的质量高低直接影响企业在顾客方的形象及认可程度，故客服话术质量的评估对于企业至关重要。

相关技术中，通过预训练Bert（Bidirectional Encoder Representation fromTransformers）模型对训练序列编码，取话术要点前的标识符向量输入全连接层计算当前话术要点得分。通过预训练Bert模型的方式可以进行客服话术的简单评估，然而，还需要提出一种新的方式针对客服话术进行整体质量评估。

发明内容

本说明书实施方式旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本说明书实施方式提出一种话术质量测试方法、装置、电子设备及存储介质。

本说明书实施方式提供一种话术质量测试方法，所述方法包括：

获取虚拟对象和目标客服对象之间基于目标产品对象的咨询测试操作产生的测试对话文本数据；其中，所述虚拟对象为向所述目标客服对象发起所述咨询测试操作的聊天机器人；

根据所述虚拟对象的预设测试流程对所述测试对话文本数据进行划分，得到与所述预设测试流程包括的目标环节对应的句子对文本数据；

根据所述句子对文本数据和所述目标产品对象的产品参数数据确定所述目标环节的目标阶段评估数据；其中，所述产品参数数据用于描述与所述目标产品对象相关的购买相关情况、服务相关情况、产品功能情况中至少一个；

基于所述目标阶段评估数据确定所述目标客服对象的话术质量评估数据。

在其中一个实施方式，所述目标环节包括构建会话环节、询问会话环节、结束会话环节；所述基于所述目标阶段评估数据确定所述目标客服对象的话术质量评估数据，包括：

根据所述构建会话环节的构建话术评估数据、所述询问会话环节的询问话术评估数据、所述结束会话环节的结尾话术评估数据进行汇总，得到所述话术质量评估数据。

在其中一个实施方式，不同的目标环节对应有不同的权重分配数据；所述根据所述构建会话环节的构建话术评估数据、所述询问会话环节的询问话术评估数据、所述结束会话环节的结尾话术评估数据进行汇总，得到所述话术质量评估数据，包括：

根据所述构建会话环节的构建话术评估数据、所述询问会话环节的询问话术评估数据、所述结束会话环节的结尾话术评估数据以及各自对应的权重分配数据进行加权计算，得到所述话术质量评估数据。

在其中一个实施方式，所述测试对话文本数据的生成方式，包括：

响应于针对客服对象的指定操作，确定所述目标客服对象；

向所述虚拟对象与所述目标客服对象的会话界面上发送所述虚拟对象触发的问题文本数据；

接收所述目标客服对象针对所述问题文本数据发送的回答文本数据；

基于所述预设测试流程中的所述问题文本数据和所述回答文本数据生成所述测试对话文本数据。

在其中一个实施方式，所述产品参数数据包括产品参数矩阵；所述根据所述句子对文本数据和所述目标产品对象的产品参数数据确定所述目标环节的目标阶段评估数据，包括：

基于所述句子对文本数据确定对应的句子对特征向量；

对所述句子对特征向量和所述产品参数矩阵进行拼接处理，得到话术评估拼接向量；

根据所述话术评估拼接向量进行二分类处理，确定所述目标阶段评估数据。

在其中一个实施方式，所述目标产品对象的产品参数矩阵的确定方式，包括：

根据所述目标产品对象的标识信息在产品对象与参数矩阵的对应关系中进行查找，得到所述目标产品对象的产品参数矩阵；其中，所述产品对象与参数矩阵的对应关系是基于预先整理的产品对象知识库确定的，所述产品对象知识库包括产品对象与产品参数的对应关系。

在其中一个实施方式，所述目标阶段评估数据是通过句子对分类模型得到的；所述句子对分类模型的训练过程，包括：

基于收集的客服对象的实例对话文本数据，构建第一正语料样本；

基于预先整理的产品对象知识库，构建第二正语料样本；其中，所述产品对象知识库包括产品对象与产品参数的对应关系；

对所述第一正语料样本的部分和/或所述第二正语料样本的部分进行问题回答对应关系的打乱操作，得到负语料样本；

利用所述第一正语料样本、所述第二正语料样本以及所述负语料样本对初始分类模型进行训练，得到所述句子对分类模型。

在其中一个实施方式，所述方法还包括：

若所述目标客服对象的话术质量评估数据未满足预设的测试合格条件，向所述目标客服对象再次发起所述咨询测试操作；或者

若所述目标客服对象的话术质量评估数据满足预设的测试合格条件，停止针对所述目标客服对象的所述咨询测试操作，并控制所述虚拟对象向其它客服对象发起咨询测试操作。

本说明书实施方式提供一种话术质量测试装置，所述装置包括：

测试数据获取模块，用于获取虚拟对象和目标客服对象之间基于目标产品对象的咨询测试操作产生的测试对话文本数据；其中，所述虚拟对象为向所述目标客服对象发起所述咨询测试操作的聊天机器人；

句子对获取模块，用于根据所述虚拟对象的预设测试流程对所述测试对话文本数据进行划分，得到与所述预设测试流程包括的目标环节对应的句子对文本数据；

评估数据确定模块，用于根据所述句子对文本数据和所述目标产品对象的产品参数数据确定所述目标环节的目标阶段评估数据；其中，所述产品参数数据用于描述与所述目标产品对象相关的购买相关情况、服务相关情况、产品功能情况中至少一个；

话术质量确定模块，用于基于所述目标阶段评估数据确定所述目标客服对象的话术质量评估数据。

本说明书实施方式提供一种电子设备，所述电子设备包括：存储器，以及与所述存储器通信连接的一个或多个处理器；所述存储器中存储有可被所述一个或多个处理器执行的指令，所述指令被所述一个或多个处理器执行，以使所述一个或多个处理器实现上述任一项实施方式所述的方法的步骤。

本说明书实施方式提供计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项实施方式所述的方法的步骤。

本说明书实施方式提供一种计算机程序产品，所述计算机程序产品中包括指令，所述指令被计算机设备的处理器执行时，使得所述计算机设备能够执行上述任一项实施方式所述的方法的步骤。

上述实施方式中，出于测试目标客服对象的话术质量的目的，首先，获取聊天机器人和目标客服对象之间基于目标产品对象的咨询测试操作产生的测试对话文本数据，实现利用聊天机器人对客服人员的自动测试；然后，根据虚拟对象的预设测试流程对测试对话文本数据进行划分，得到与预设测试流程包括的目标环节对应的句子对文本数据；接着，根据句子对文本数据和目标产品对象的产品参数数据确定目标环节的目标阶段评估数据；最后，基于目标阶段评估数据确定目标客服对象的话术质量评估数据。通过虚拟对象的预设测试流程可以对客服人员的话术质量进行整体评估，更准确地评估客服人员的话术质量。

附图说明

图1为本说明书实施方式提供的应用场景示意图；

图2为本说明书实施方式提供的话术质量测试方法的流程示意图；

图3为本说明书实施方式提供的生成测试对话文本数据的流程示意图；

图4为本说明书实施方式提供的确定目标阶段评估数据的流程示意图；

图5为本说明书实施方式提供的句子对分类模型的训练流程示意图；

图6为本说明书实施方式提供的话术质量测试方法的流程示意图；

图7为本说明书实施方式提供的话术质量测试装置的示意图；

图8为本说明书实施方式提供的计算机设备的内部结构图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

相关技术中，根据客服业务需求编写用户问题和标准话术，归纳标注标准话术中包含的话术要点，随机编写假话术要点作为负样本；通过预训练Bert模型对训练序列编码，取话术要点前的标识符向量输入全连接层计算当前话术要点得分。

然而，通过预训练Bert模型的方式，只能对客服的回复进行话术质量评估，并没有做到像产品咨询实际场景中一问一答有来有回的咨询交流，因此相关技术中客服回复话术的质量评估方式与产品咨询实际场景的贴合性有待提升，以更准确地测试出来客服人员的话术水平。并且，通过预训练Bert模型的方式可以对客服话术进行简单评估，并没有结合产品咨询实际场景中的咨询流程对客服话术进行整体质量评估。

基于此，本说明书实施方式提供一种话术质量测试方法，出于测试目标客服对象的话术质量的目的，首先，获取聊天机器人和目标客服对象之间基于目标产品对象的咨询测试操作产生的测试对话文本数据，实现利用聊天机器人对客服人员的自动测试；然后，根据虚拟对象的预设会话流程对测试对话文本数据进行划分，得到与预设会话流程包括的目标会话阶段对应的句子对文本数据；接着，根据句子对文本数据和目标产品对象的产品参数数据确定目标会话阶段的目标阶段评估数据；最后，基于目标阶段评估数据确定目标客服对象的话术质量评估数据。一方面，通过虚拟对象的预设测试流程可以对客服人员的话术质量进行整体评估，更准确地评估客服人员的话术质量。另一方面，利用聊天机器人来构建与客服人员的对话，可以随机地在实践中对客服人员进行自动化测试，测试时客服人员并不知晓对面的聊天对象是用于测试的聊天机器人还是真实的咨询产品的用户，该测试方式更加贴合实际场景，不仅能够提升话术质量评估的可信度，而且提高对客服人员进行话术质量评估的效率以及降低测试用的人力成本。针对客服人员回复容易遗漏关键点的情况，聊天机器人可以针对该情况重新发起对话，辅助客服人员掌握回复时容易遗漏关键点，提升客户人员的话术能力，改善用户体验。

本说明书实施方式提供的方法可以应用于图1的应用场景中，该应用场景中包括终端110和服务器120。终端110与服务器120通过网络进行通信。终端110可以展示虚拟对象与目标客服对象的会话界面，通过该会话界面虚拟对象测试目标客服对象的话术质量，从而生成虚拟对象和目标客服对象之间基于目标产品对象的咨询测试操作产生的测试对话文本数据。服务器120可以用于存储虚拟对象和目标客服对象之间基于目标产品对象的咨询测试操作产生的测试对话文本数据。服务器120上部署有句子对分类模型。服务器120根据虚拟对象的预设测试流程对测试对话文本数据进行划分，得到与预设测试流程包括的目标环节对应的句子对文本数据，通过句子对分类模型对目标环节对应的句子对文本数据进行评估，以得到目标环节的目标阶段评估数据，从而基于目标阶段评估数据确定目标客服对象的话术质量评估数据。

其中，终端110可以是具有网络访问能力的电子设备。具体地，例如，终端110可以是台式电脑、平板电脑、笔记本电脑、智能手机、数字助理、智能可穿戴设备、导购终端、电视机、智能音箱、麦克风等。其中，智能可穿戴设备包括但不限于智能手环、智能手表、智能眼镜、智能头盔、智能项链等。服务器120可以是具有一定运算处理能力的电子设备。其可以具有网络通信模块、处理器和存储器等。服务器120可以为分布式服务器，可以是具有多个处理器、存储器、网络通信模块等协同运作的***。或者，服务器120还可以为若干服务器形成的服务器集群。或者，随着科学技术的发展，服务器120还可以是能够实现说明书实施方式相应功能的新的技术手段。例如，可以是基于量子计算实现的新形态的“服务器”。

本说明书实施方式提供一种话术质量测试方法，请参阅图2，该话术质量测试方法可以包括以下步骤：

S210、获取虚拟对象和目标客服对象之间基于目标产品对象的咨询测试操作产生的测试对话文本数据。

其中，虚拟对象为向目标客服对象发起咨询测试操作的聊天机器人，虚拟对象可以模拟和执行人类会话，让目标客服对象与数字设备进行交互。目标客服对象为与虚拟对象进行交互的客服人员，用于提供产品咨询服务。当用户发起产品自选操作时，目标客服对象需要与该用户进行会话。目标产品对象可以理解为目标客服对象所负责的产品，比如目标产品对象可以是洗衣机、冰箱、空调等家电产品，也可以是玩具、绘本、奶粉等母婴用品，还可以是手机、笔记本、运动手表等电子产品。测试对话文本数据为虚拟对象和目标客服对象针对于目标产品对象进行咨询的过程中所产生的文本数据。

在一些情况下，为了更逼真地模拟用户与客服人员的会话场景，可以利用虚拟对象来对客服人员的话术质量进行评估，通过聊天机器人实现对客服人员的自动化测试，节约人力成本。具体地，为了对目标客服对象进行测试，可以利用虚拟对象与目标客服对象之间建立会话，虚拟对象向目标客服对象进行目标产品对象的咨询，目标客服对象依据虚拟对象所咨询的问题进行相应的回答，在对话结束后，可以基于虚拟对象和目标客服对象之间所产生的至少部分对话内容得到测试对话文本数据。

S220、根据虚拟对象的预设测试流程对测试对话文本数据进行划分，得到与预设测试流程包括的目标环节对应的句子对文本数据。

其中，预设测试流程为虚拟对象与目标客服对象之间针对产品对象进行咨询预设的聊天流程。预设测试流程可以预先设置在虚拟对象中，预设测试流程可以结合实际需求自定义，可以在针对不同品类的产品设置不同的预设流程，也可以针对不同品类的产品设置相同的预设流程。句子对文本数据可以包括问题文本数据与该问题文本数据对应的答案文本数据。

具体地，预设测试流程可以包含多个环节，比如问好环节、产品询问环节、再见环节等。目标环节可以为预设测试流程包含的一个环节或者多个环节，也可以是所有环节中相对来说更为重要或者更可以体现客服人员话术质量的关键环节，比如产品询问环节。依据针对虚拟对象设置的预设测试流程对测试对话文本数据进行划分，可以得到预设测试流程包括的目标环节对应的句子对文本数据。

在一些实施方式中，依据设置在虚拟对象的预设测试流程对测试对话文本数据进行划分，可以是通过对测试对话文本数据进行关键词的提取，将提取到的关键词所对应的句子对文本数据划分到对应的目标环节中。

S230、根据句子对文本数据和目标产品对象的产品参数数据确定目标环节的目标阶段评估数据。

其中，产品参数数据用于描述与目标产品对象相关的购买相关情况、服务相关情况、产品功能情况中至少一个，比如产品参数数据可以包括购买相关情况中的折扣参数和满减参数，可以包括服务相关情况中的安装参数和售后参数，可以包括产品功能情况中的蓝牙参数、NFC参数等。产品品类的不同产品参数数据也不同，可以根据不同的产品品类来设置产品参数数据。

在一些情况下，句子对文本数据结合目标产品对象的产品参数数据可以融合更多的目标产品对象的信息，使目标阶段评估数据更为准确。

具体地，根据句子对文本数据和目标产品对象的产品参数数据确定该句子对文本数据的目标阶段评估数据，然后依据目标环节所包括的句子对文本数据对应的目标阶段评估数据，可以得到目标环节的目标阶段评估数据。

S240、基于目标阶段评估数据确定目标客服对象的话术质量评估数据。

在一些情况下，由于目标环节为预设测试流程包含的一个环节或者多个环节，为了对客服人员进行客观全面准确的话术评价，需要结合目标环节的目标阶段评估数据进行针对目标客服对象的话术质量评估。

具体地，预设测试流程可以包含一个关键环节，即一个目标环节，则可以将目标环节的目标阶段评估数据直接作为目标客服对象的话术质量评估数据；也可以针对目标环节的目标阶段评估数据进行调整，将调整后目标阶段评估数据作为目标客服对象的话术质量评估数据。预设测试流程可以包含多个关键环节，即多个目标环节，可以对多个关键环节的目标阶段评估数据进行求和运算，得到目标客服对象的话术质量评估数据。预设测试流程可以包含多个关键环节和多个其他环节，将多个关键环节和多个其他环节分别认为是目标环节，可以对多个关键环节的目标阶段评估数据、多个其他环节的目标阶段评估数据进行求和运算，得到目标客服对象的话术质量评估数据。

上述话术质量测试方法中，出于测试目标客服对象的话术质量的目的，首先，获取聊天机器人和目标客服对象之间基于目标产品对象的咨询测试操作产生的测试对话文本数据，实现利用聊天机器人对客服人员的自动测试；然后，根据虚拟对象的预设会话流程对测试对话文本数据进行划分，得到与预设会话流程包括的目标会话阶段对应的句子对文本数据；接着，根据句子对文本数据和目标产品对象的产品参数数据确定目标会话阶段的目标阶段评估数据；最后，基于目标阶段评估数据确定目标客服对象的话术质量评估数据。通过虚拟对象的预设测试流程可以对客服的话术质量进行整体评估，更准确地评估客服人员的话术质量。

在一些实施方式中，目标环节包括构建会话环节、询问会话环节、结束会话环节；基于目标阶段评估数据确定目标客服对象的话术质量评估数据，包括：根据构建会话环节的构建话术评估数据、询问会话环节的询问话术评估数据、结束会话环节的结尾话术评估数据进行汇总，得到话术质量评估数据。

其中，构建会话环节可以是虚拟对象开始与目标客服对象建立会话的问好环节。询问会话环节可以包括虚拟对象对目标产品对象的产品功能情况进行询问的阶段、虚拟对象对目标产品对象的购买相关情况进行询问的阶段、虚拟对象对目标产品对象的服务相关情况进行询问的阶段。询问会话环节可以产生虚拟对象发出的至少一个问题及目标客服对象针对该问题进行的回答，在询问会话环节虚拟对象也可以针对对目标产品对象进行整体情况的询问。结束会话环节可以是虚拟对象感谢或道别目标客服对象的回话。

具体地，将目标环节依据预先设置的会话环节进行划分，可以获取到构建会话环节、询问会话环节、结束会话环节。基于构建会话环节、结束会话环节可以得到构建会话环节的构建话术评估数据和结束会话环节的结尾话术评估数据。若询问会话环节包含一个问题及该问题对应的回答，则该问题的句子对文本数据对应的话术评估数据为询问会话环节的询问话术评估数据；若询问会话环节包含的问题数目大于一个且每个问题都有对应的回答，则将每个问题的句子对文本数据对应的话术评估数据进行汇总，可以得到询问会话环节的询问话术评估数据。然后将得到的构建话术评估数据、询问话术评估数据、结尾话术评估数据进行汇总，可以得到话术质量评估数据。

示例性地，构建会话环节的构建话术评估数据为0.8，询问会话环节包含一个问题及问题对应的回答，则询问会话环节的询问话术评估数据为0.7，结束会话环节的结尾话术评估数据为1。将构建话术评估数据0.8，询问话术评估数据0.7，结尾话术评估数据1进行相加的操作，可以得到三者的总话术评估数据2.3，可以将总话术评估数据2.3进行映射处理，得到话术质量评估数据。

示例性地，构建会话环节的构建话术评估数据为0.8，结束会话环节的结尾话术评估数据为1。询问会话环节包含问题大于一个且每个问题都有对应的回答，每个问题的句子对文本数据的话术评估数据为0.9、0.7、1.0，则询问会话环节的询问话术评估数据为上述三个话术评估数据的平均话术评估数据0.87，将构建话术评估数据0.8，询问话术评估数据0.87，结尾话术评估数据1进行相加的操作，可以得到三者的总话术评估数据2.67，可以将总话术评估数据2.67进行映射处理，得到话术质量评估数据。

上述话术质量测试方法中，根据构建会话环节的构建话术评估数据、询问会话环节的询问话术评估数据、结束会话环节的结尾话术评估数据进行汇总，得到话术质量评估数据。完善了评分机制，更合理地评估客服人员的话术质量。

在一些实施方式中，不同的目标环节对应有不同的权重分配数据；根据构建会话环节的构建话术评估数据、询问会话环节的询问话术评估数据、结束会话环节的结尾话术评估数据进行汇总，得到话术质量评估数据，包括：根据构建会话环节的构建话术评估数据、询问会话环节的询问话术评估数据、结束会话环节的结尾话术评估数据以及各自对应的权重分配数据进行加权计算，得到话术质量评估数据。

具体地，依据实际情况，对构建会话环节、询问会话环节、结束会话环节分配权重数据。然后根据构建会话环节的构建话术评估数据、询问会话环节的询问话术评估数据、结束会话环节的结尾话术评估数据以及各自对应的权重分配数据进行加权计算，得到话术质量评估数据。

示例性地，构建会话环节所占权重数据为10%，询问会话环节所占权重数据为80%，结束会话环节所占权重数据为10%。构建会话环节的构建话术评估数据为1.0，询问会话环节的询问话术评估数据为0.9，结束会话环节的结尾话术评估数据为0.8。然后依据各自对应的权重分配数据，可以得到构建话术评估数据为0.1，询问话术评估数据为0.72，结尾话术评估数据为0.08。对构建话术评估数据、询问话术评估数据、结尾话术评估数据进行求和，得到话术质量评估数据为0.9。

上述话术质量测试方法中，根据构建会话环节的构建话术评估数据、询问会话环节的询问话术评估数据、结束会话环节的结尾话术评估数据以及各自对应的权重分配数据进行加权计算，得到话术质量评估数据。完善了评分机制，更合理地评估客服人员的话术质量。

在一些实施方式中，请参阅图3，测试对话文本数据的生成方式，包括：

S310、响应于针对客服对象的指定操作，确定目标客服对象。

S320、向虚拟对象与目标客服对象的会话界面上发送虚拟对象触发的问题文本数据。

S330、接收目标客服对象针对问题文本数据发送的回答文本数据。

S340、基于预设测试流程中的问题文本数据和回答文本数据生成测试对话文本数据。虚拟对象触发的问题文本数据为依据预设测试流程进行设置的针对产品对象进行咨询的问题。

其中，指定操作可以是点击客服对象的头像可以是单击或双击目标客服对象与虚拟对象间的对话框。

具体地，响应于针对客服对象的指定操作，可以确定目标客服对象。虚拟对象向虚拟对象与目标客服对象的会话界面上发送虚拟对象触发的问题文本数据，目标客服对象针对接收到的问题文本数据向虚拟对象与目标客服对象的会话界面上发送回答文本数据。预设测试流程中包含的问题文本数据和回答文本数据构成测试对话文本数据。其中，如果对于产品对象的整体情况进行询问，则不再对产品对象的单一功能进行询问。

上述话术质量测试方法中，响应于针对客服对象的指定操作，确定目标客服对象，向虚拟对象与目标客服对象的会话界面上发送虚拟对象触发的问题文本数据，接收目标客服对象针对问题文本数据发送的回答文本数据，基于预设测试流程中的问题文本数据和回答文本数据生成测试对话文本数据。实现虚拟对象与目标客服对象之间的自动化操作，降低测试用的人力成本。

在一些实施方式中，请参阅图4，产品参数数据包括产品参数矩阵；根据句子对文本数据和目标产品对象的产品参数数据确定目标环节的目标阶段评估数据，包括：

S410、基于句子对文本数据确定对应的句子对特征向量。

S420、对句子对特征向量和产品参数矩阵进行拼接处理，得到话术评估拼接向量。

S430、根据话术评估拼接向量进行二分类处理，确定目标阶段评估数据。

具体地，将句子对文本数据输入到句子对分类模型中。在句子对分类模型中，对句子对文本数据进行编码，将编码之后的句子对文本数据对应的向量输入到可以学习前后文相关信息的网络中，可以得到句子对特征向量。确定句子对文本数据对应的产品对象，并在产品对象知识库中确定该产品对象对应的产品参数矩阵。将句子对特征向量和产品参数矩阵进行拼接处理，可以得到话术评估拼接向量。将话术评估拼接向量进行二分类处理，将结果映射在0到1的区间中，可以确定目标阶段评估数据。

在一些实施方式中，将句子对文本数据输入到句子对分类模型中。在句子对分类模型中，可以将句子对文本数据输入到文本模型Bert中，对句子对文本数据进行编码，将编码之后的句子对文本数据对应的向量输入到双向的LSTM中，以学习前后文相关信息，得到句子对特征向量。通过与产品对象知识库中产品对象名称的数据进行匹配，可以得到句子对文本数据对应的产品对象，在产品对象知识库中查找到该产品对象对应的产品参数矩阵。将句子对特征向量和产品参数矩阵进行拼接处理，可以得到话术评估拼接向量。将话术评估拼接向量通过Softmax二分类函数，将结果映射在0到1的区间中。

上述话术质量测试方法中，基于句子对文本数据确定对应的句子对特征向量；对句子对特征向量和产品参数矩阵进行拼接处理，得到话术评估拼接向量；根据话术评估拼接向量进行二分类处理，确定目标阶段评估数据。更准确地评估客服人员的话术质量。

在一些实施方式中，目标产品对象的产品参数矩阵的确定方式，包括：根据目标产品对象的标识信息在产品对象与参数矩阵的对应关系中进行查找，得到目标产品对象的产品参数矩阵。

其中，产品对象与参数矩阵的对应关系是基于预先整理的产品对象知识库确定的，产品对象知识库包括产品对象与产品参数的对应关系。参数矩阵用于表征每个测试对话文本数据对应询问的产品对象的参数信息，包括购买相关情况、服务相关情况、产品功能情况。其中每个元素代表测试对话文本数据对应询问的产品对象是否拥有对应的参数信息。每一个产品都有相应的产品对象知识库。比如：洗衣机知识库中包含各个型号洗衣机的参数信息，空调知识库中包含各个型号空调的参数信息。

具体地，根据目标产品对象的标识信息，可以在产品对象与参数矩阵的对应关系中进行查找，得到目标产品对象对应的产品参数矩阵。

示例性地，洗衣机的参数矩阵包含22个维度，分别为干洗、大件洗、单脱、婴儿服洗、运动服洗、桶自洁、中途加衣、羽绒服洗、内衣洗、杀菌、全自动、羊毛洗、定时、温控、烘干、手机连接、自定义洗、触摸屏、优惠、上门安装、保修、包换。其中，优惠可以包括折扣和满减两类。通过测试对话文本数据可以确定目标产品对象为A型号洗衣机。根据A型号洗衣机的标识信息，可以在产品对象与参数矩阵的对应关系中进行查找，得到目标产品对象对应的参数矩阵[0,1,1,1,1,1,0,1,1,1,1,1,0,1,1,0,1,1,1,1,1,0]。其中，当数值为1时，代表了该产品对象具备该参数对应的功能或服务，当数值为0时，代表了该产品对象不具备该参数对应的功能或服务。A型号洗衣机的第一维度数值为0，代表A型号洗衣机不具备干洗的功能，A型号洗衣机的第二维度数值为1，代表A型号洗衣机具备大件洗的功能，A型号洗衣机的第三维度数值为1，代表A型号洗衣机具备单脱的功能，A型号洗衣机的第四维度数值为1，代表A型号洗衣机具备婴儿服洗的功能，A型号洗衣机的第五维度数值为1，代表A型号洗衣机具备运动服洗的功能，按照上述的描述可以得知第六维度到第十八维度A型号洗衣机具备和不具备的功能。A型号洗衣机的第十九维度数值为1，代表A型号洗衣机具备优惠的服务，A型号洗衣机的第二十维度数值为1，代表A型号洗衣机具备上门安装的服务，A型号洗衣机的第二十一维度数值为1，代表A型号洗衣机具备保修的服务，A型号洗衣机的第二十二维度数值为0，代表A型号洗衣机不具备包换的服务。

在一些实施方式中，可以是通过对测试对话文本数据进行提取，以得到目标产品对象的名称。然后依据目标产品对象的名称和标志信息的对应关系，可以匹配到与目标产品对象对应的标志信息。其中，目标产品对象的名称和标志信息的对应关系可以是基于预先整理的产品对象知识库确定的。

上述话术质量测试方法中，根据目标产品对象的标识信息在产品对象与参数矩阵的对应关系中进行查找，得到目标产品对象的产品参数矩阵。引入目标产品对象的参数信息，更准确地评估客服人员的话术质量。

在一些实施方式中，请参阅图5，目标阶段评估数据是通过句子对分类模型得到的；句子对分类模型的训练过程，包括：

S510、基于收集的客服对象的实例对话文本数据，构建第一正语料样本。

S520、基于预先整理的产品对象知识库，构建第二正语料样本。

S530、对第一正语料样本的部分和/或第二正语料样本的部分进行问题回答对应关系的打乱操作，得到负语料样本。

其中，产品对象知识库包括产品对象与产品参数的对应关系。

具体地，收集客服对象在实际情况中的实例对话文本数据，可以基于实例对话文本数据构建第一正语料样本。为了丰富训练样本集，可以基于预先整理的产品对象知识库，生成产品参数信息的对话文本数据，将得到的对话文本数据构建为第二正语料样本。在一些实施方式中，可以对第一正语料样本的部分进行问题回答对应关系的打乱操作，得到负语料样本。在一些实施方式中，可以对第二正语料样本的部分进行问题回答对应关系的打乱操作，得到负语料样本。在另一些实施方式中，可以对第一正语料样本的部分和第二正语料样本的部分进行问题回答对应关系的打乱操作，得到负语料样本。

S540、利用第一正语料样本、第二正语料样本以及负语料样本对初始分类模型进行训练，得到句子对分类模型。

具体地，第一正语料样本的目标环节包括构建会话环节、结束会话环节，则不对产品和分类进行区分，并通过人工的方式对构建会话环节和结束会话环节所包含的句子对文本数据进行打分，此时得到的句子对文本数据对应的分数为句子对文本数据对应的话术质量评估数据标签。其中，人工打分的分数应在0到1的区间内。第一正语料样本目标环节包括询问会话环节，可以通过与产品对象知识库中产品对象与产品参数的对应关系进行匹配，根据匹配的结果对询问会话环节所包含的句子对文本数据进行打分，并将得到的分数映射到0到1的区间内，该得分为询问会话环节所包含的句子对文本数据对应的话术质量评估数据标签。第二正语料样本在构建的时候可以自动生成句子对文本数据对应的话术质量评估数据标签。负语料样本所含的句子对文本数据均为打乱重组的句子对文本数据，因此将负语料样本所含的句子对文本数据均打分为零分，零分为负语料样本所含的句子对文本数据对应的话术质量评估数据标签。

将第一正语料样本、第二正语料样本以及负语料样本所包含的句子对文本数据分别输入到初始分类模型，可以得到每个句子对文本数据的话术质量评估数据。基于得到的句子对文本数据对应的话术质量评估数据与对应的话术质量评估数据标签确定模型损失值，基于模型损失值对初始分类模型进行更新。以此类推，继续对更新后的初始分类模型进行训练，当达到模型训练停止条件时，可以得到句子对分类模型。其中，模型训练停止条件可以是模型损失值趋于收敛，也可以是训练轮次达到预设的轮次数量。

在一些实施方式中，句子对分类模型的损失函数公式如下：

其中，为模型损失，/>为第/>个样本的第/>个类别的结果（用作标签值），/>为第/>个样本的第/>个类别对应的预测值，/>为一次训练对应的样本数量，/>为类别数量。

示例性地，针对第一正语料样本，构建会话环节可以为问好任务。结束会话环节可以为感谢和道别任务。针对以上两种任务，不对品类和产品进行区分，同时对于构建会话环节和结束会话环节所包含的句子对文本数据进行人工打分，对于更加热情的答复，会给予更高的得分，例如“亲爱的美粉，欢迎光临美的***旗舰店”会比单纯的“你好”获得更高分数，前者会打分为1分，后者会打分为0.8分。

在一些情况下，询问会话环节会对购买相关情况、服务相关情况、产品功能情况中至少一个进行询问。将询问会话环节所包含的句子对文本数据与已有的产品对象知识库进行匹配，根据匹配结果对询问会话环节所包含的句子对文本数据进行打分。以产品功能情况询问为例，对于产品单一功能进行询问，例如，A型号洗衣机是否可以连接手机？然后将该问题与问题对应的回答与产品对象知识库进行匹配，从匹配结果可以得知该问题的回答为正确的回答，则给予得分1分，从匹配结果可以得知该问题的回答为错误的回答，则给予得分0分。对于产品对象整体功能情况进行询问，通过构建不同功能的表述，随机的组合构成对于整体功能情况的回答。然后将产品整体功能情况的回答与产品对象知识库进行匹配，从匹配结果可以得知该产品对象所包含的一个功能对应的回答为正确的回答，例如，通过产品对象知识库可以得知A型号空调包含手机连接的功能，回答中也回答了这个功能，给予得分2分。而不正确的回答，例如，通过产品对象知识库可以得知B型号空调不包含手机连接的功能，但是回答中包含了这个功能，给予得分-2分。回答中没有提及但产品对象具备的功能内容给予得分0分。把产品对象所有功能的得分加起来之后除以含有的所有功能数量，记为最终答案得分。比如：A型号空调包含干洗、大件洗、单脱三个功能，针对A型号洗衣机整体功能的回答中包含干洗功能，给予得分2分；不包含大件洗、单脱功能，给予得分0分；包含了杀菌功能，给予得分-2分。将上述得分进行相加操作可以得到最终答案得分0分。其中，最终答案得分最高分为1分，最低分为0分。在这个设置下，只要回答出大部分的产品功能即可得到满分，而错误的回答会给予一个较大的惩罚，产品功能的遗漏则是会减少获得的总分。若产品对象的得分小于0分，则将该分数映射为0分；若产品对象的得分大于1分，则将该分数映射为1分。购买相关情况询问、服务相关情况询问以相同的方式，利用产品对象的知识库对回答进行打分。上述所得分数为询问会话环节包含的句子对文本数据对应的话术质量评估数据标签。

上述话术质量测试方法中，基于收集的客服对象的实例对话文本数据，构建第一正语料样本；基于预先整理的产品对象知识库，构建第二正语料样本；其中，产品对象知识库包括产品对象与产品参数的对应关系；对第一正语料样本的部分和/或第二正语料样本的部分进行问题回答对应关系的打乱操作，得到负语料样本；利用第一正语料样本、第二正语料样本以及负语料样本对初始分类模型进行训练，得到句子对分类模型。通过构建第一正语料样本、第二正语料样本、和负语料样本，可以提升句子对分类模型的鲁棒性。另外对于不同的回答，给出不同的评分，构建完善的标签，提升句子对分类模型的评估能力，输出准确的评估数据。

在一些实施方式中，话术质量测试方法还包括：若目标客服对象的话术质量评估数据未满足预设的测试合格条件，向目标客服对象再次发起咨询测试操作；或者

若目标客服对象的话术质量评估数据满足预设的测试合格条件，停止针对目标客服对象的咨询测试操作，并控制虚拟对象向其它客服对象发起咨询测试操作。

其中，测试合格条件可以结合实际需求自定义。

具体地，当目标客服对象的话术质量评估数据未达到预设的测试合格条件时，虚拟对象可以向该目标客服对象再一次发起咨询测试操作。当目标客服对象的话术质量评估数据达到预设的测试合格条件时，虚拟对象可以停止针对目标客服对象的咨询测试操作，并向其它客服对象发起咨询测试操作。

示例性地，预设的测试合格条件可以设置为0.9，客服对象A的话术质量评估数据为0.8，客服对象B的话术质量评估数据为0.95。客服对象A的话术质量评估数据0.8未达到预设的测试合格条件0.9，因此，虚拟对象可以向客服对象A再一次发起咨询测试操作。客服对象B的话术质量评估数据0.95达到预设的测试合格条件0.9，虚拟对象可以停止针对客服对象B的咨询测试操作，并向其它客服对象发起咨询测试操作。

上述话术质量测试方法中，若目标客服对象的话术质量评估数据未满足预设的测试合格条件，向目标客服对象再次发起咨询测试操作；或者若目标客服对象的话术质量评估数据满足预设的测试合格条件，停止针对目标客服对象的咨询测试操作，并控制虚拟对象向其它客服对象发起咨询测试操作。实现虚拟对象与目标客服对象之间的自动化操作，降低测试用的人力成本。

本说明书实施方式还提供一种话术质量测试方法，目标环节包括构建会话环节、询问会话环节、结束会话环节；不同的目标环节对应有不同的权重分配数据；虚拟对象为向目标客服对象发起咨询测试操作的聊天机器人；产品参数数据包括产品参数矩阵。示例性地，请参阅图6，该话术质量测试方法可以包括以下步骤：

S602、响应于针对客服对象的指定操作，确定目标客服对象。

S604、向虚拟对象与目标客服对象的会话界面上发送虚拟对象触发的问题文本数据。

S606、接收目标客服对象针对问题文本数据发送的回答文本数据。

S608、基于预设测试流程中的问题文本数据和回答文本数据生成测试对话文本数据。

S610、根据虚拟对象的预设测试流程对测试对话文本数据进行划分，得到与预设测试流程包括的目标环节对应的句子对文本数据。

S612、基于句子对文本数据确定对应的句子对特征向量。

S614、根据目标产品对象的标识信息在产品对象与参数矩阵的对应关系中进行查找，得到目标产品对象的产品参数矩阵。

其中，产品对象与参数矩阵的对应关系是基于预先整理的产品对象知识库确定的，产品对象知识库包括产品对象与产品参数的对应关系。

S616、对句子对特征向量和产品参数矩阵进行拼接处理，得到话术评估拼接向量。

其中，产品参数数据用于描述与目标产品对象相关的购买相关情况、服务相关情况、产品功能情况中至少一个。

S618、根据话术评估拼接向量进行二分类处理，确定目标阶段评估数据。

S620、根据构建会话环节的构建话术评估数据、询问会话环节的询问话术评估数据、结束会话环节的结尾话术评估数据以及各自对应的权重分配数据进行加权计算，得到话术质量评估数据。

S622、若目标客服对象的话术质量评估数据未满足预设的测试合格条件，向目标客服对象再次发起咨询测试操作。

S624、若目标客服对象的话术质量评估数据满足预设的测试合格条件，停止针对目标客服对象的咨询测试操作，并控制虚拟对象向其它客服对象发起咨询测试操作。

本说明书实施方式提供一种话术质量测试装置700，请参阅图7，话术质量测试装置700包括：测试数据获取模块710、句子对获取模块720、评估数据确定模块730、话术质量确定模块740。

测试数据获取模块710，用于获取虚拟对象和目标客服对象之间基于目标产品对象的咨询测试操作产生的测试对话文本数据；其中，所述虚拟对象为向所述目标客服对象发起所述咨询测试操作的聊天机器人；

句子对获取模块720，用于根据所述虚拟对象的预设测试流程对所述测试对话文本数据进行划分，得到与所述预设测试流程包括的目标环节对应的句子对文本数据；

评估数据确定模块730，用于根据所述句子对文本数据和所述目标产品对象的产品参数数据确定所述目标环节的目标阶段评估数据；其中，所述产品参数数据用于描述与所述目标产品对象相关的购买相关情况、服务相关情况、产品功能情况中至少一个；

话术质量确定模块740，用于基于所述目标阶段评估数据确定所述目标客服对象的话术质量评估数据。

关于话术质量测试装置700的具体描述，可以参见上文中对话术质量测试方法的描述，在此不再赘述。

在一些实施方式中，提供了一种电子设备，该计算机设备可以是终端，其内部结构图可以如图8所示。该电子设备包括通过***总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该电子设备的处理器用于提供计算和控制能力。该电子设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作***和计算机程序。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该电子设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、运营商网络、NFC（近场通信）或其他技术实现。该计算机程序被处理器执行时以实现一种话术质量测试方法。该电子设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该电子设备的输入装置可以是显示屏上覆盖的触摸层，也可以是电子设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解，图8中示出的结构，仅仅是与本说明书所公开方案相关的部分结构的框图，并不构成对本说明书所公开方案所应用于其上的电子设备的限定，具体地，电子设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

本说明书实施方式提供一种电子设备，包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现上述任一项实施方式中的方法的步骤。

本说明书实施方式提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述任一项实施方式中的方法的步骤。

本说明书的一个实施方式提供一种计算机程序产品，计算机程序产品中包括指令，指令被计算机设备的处理器执行时，使得计算机设备能够执行上述任一项实施方式的方法的步骤。

需要说明的是，在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行***、装置或设备（如基于计算机的***、包括处理器的***或其他可以从指令执行***、装置或设备取指令并执行指令的***）使用，或结合这些指令执行***、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行***、装置或设备或结合这些指令执行***、装置或设备而使用的装置。计算机可读介质的更具体的示例（非穷尽性列表）包括以下：具有一个或多个布线的电连接部（电子装置），便携式计算机盘盒（磁装置），随机存取存储器（RAM），只读存储器（ROM），可擦除可编辑只读存储器（EPROM或闪速存储器），光纤装置，以及便携式光盘只读存储器（CDROM）。另外，计算机可读介质甚至可以是可在其上打印程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得程序，然后将其存储在计算机存储器中。

Claims (11)

1.一种话术质量测试方法，其特征在于，所述方法包括：

获取虚拟对象和目标客服对象之间基于目标产品对象的咨询测试操作产生的测试对话文本数据；其中，所述虚拟对象为向所述目标客服对象发起所述咨询测试操作的聊天机器人；所述虚拟对象中预先配置有针对产品对象的咨询聊天流程，作为所述虚拟对象的预设测试流程；

根据所述预设测试流程包括的环节对所述测试对话文本数据进行划分，得到与目标环节对应的句子对文本数据；其中，所述目标环节为所述预设测试流程包含的一个环节或者多个环节，所述目标环节为能够体现所述目标客服对象话术质量的关键环节；不同的目标环节对应有不同的权重分配数据；

根据所述目标产品对象的标识信息在产品对象与参数矩阵的对应关系中进行查找，得到所述目标产品对象的产品参数矩阵，作为所述目标产品对象的产品参数数据；其中，所述产品参数矩阵中的元素用于代表所述目标产品对象是否具有对应的参数信息；

根据所述句子对文本数据和所述目标产品对象的产品参数数据确定所述目标环节的目标阶段评估数据；其中，所述产品参数数据用于描述与所述目标产品对象相关的购买相关情况、服务相关情况、产品功能情况；

基于所述目标阶段评估数据以及所述权重分配数据确定所述目标客服对象的话术质量评估数据；

其中，所述产品对象与参数矩阵的对应关系是基于预先整理的产品对象知识库确定的；所述目标环节包括询问会话环节；针对所述询问会话环节，所述根据所述句子对文本数据和所述目标产品对象的产品参数数据确定每个所述目标环节的目标阶段评估数据，包括：将所述询问会话环节所包含的句子对文本数据与所述产品对象知识库进行匹配，根据匹配结果对所述询问会话环节所包含的句子对文本数据进行打分，得到所述询问会话环节的目标阶段评估数据；其中，所述匹配结果用于表征目标客服对象的回答是正确或者错误的。

2.根据权利要求1所述的方法，其特征在于，所述目标环节还包括构建会话环节、结束会话环节；所述基于所述目标阶段评估数据以及所述权重分配数据确定所述目标客服对象的话术质量评估数据，包括：

根据所述权重分配数据对所述构建会话环节的构建话术评估数据、所述询问会话环节的询问话术评估数据、所述结束会话环节的结尾话术评估数据进行汇总，得到所述话术质量评估数据。

3.根据权利要求2所述的方法，其特征在于，所述根据所述权重分配数据对构建会话环节的构建话术评估数据、所述询问会话环节的询问话术评估数据、所述结束会话环节的结尾话术评估数据进行汇总，得到所述话术质量评估数据，包括：

根据所述构建会话环节的构建话术评估数据、所述询问会话环节的询问话术评估数据、所述结束会话环节的结尾话术评估数据以及各自对应的权重分配数据进行加权计算，得到所述话术质量评估数据。

4.根据权利要求1所述的方法，其特征在于，所述测试对话文本数据的生成方式，包括：

响应于针对客服对象的指定操作，确定所述目标客服对象；

向所述虚拟对象与所述目标客服对象的会话界面上发送所述虚拟对象触发的问题文本数据；

接收所述目标客服对象针对所述问题文本数据发送的回答文本数据；

基于所述预设测试流程中的所述问题文本数据和所述回答文本数据生成所述测试对话文本数据。

5.根据权利要求1所述的方法，其特征在于，所述根据所述句子对文本数据和所述目标产品对象的产品参数数据确定所述目标环节的目标阶段评估数据，包括：

基于所述句子对文本数据确定对应的句子对特征向量；

对所述句子对特征向量和所述产品参数矩阵进行拼接处理，得到话术评估拼接向量；

根据所述话术评估拼接向量进行二分类处理，确定所述目标阶段评估数据。

6.根据权利要求5所述的方法，其特征在于，所述产品对象知识库包括产品对象与产品参数的对应关系。

7.根据权利要求1所述的方法，其特征在于，所述目标阶段评估数据是通过句子对分类模型得到的；所述句子对分类模型的训练过程，包括：

基于收集的客服对象的实例对话文本数据，构建第一正语料样本；

基于预先整理的产品对象知识库，构建第二正语料样本；其中，所述产品对象知识库包括产品对象与产品参数的对应关系；

对所述第一正语料样本的部分和/或所述第二正语料样本的部分进行问题回答对应关系的打乱操作，得到负语料样本；

利用所述第一正语料样本、所述第二正语料样本以及所述负语料样本对初始分类模型进行训练，得到所述句子对分类模型。

8.根据权利要求1所述的方法，其特征在于，所述方法还包括：

若所述目标客服对象的话术质量评估数据未满足预设的测试合格条件，向所述目标客服对象再次发起所述咨询测试操作；或者

若所述目标客服对象的话术质量评估数据满足预设的测试合格条件，停止针对所述目标客服对象的所述咨询测试操作，并控制所述虚拟对象向其它客服对象发起咨询测试操作。

9.一种话术质量测试装置，其特征在于，所述装置包括：

测试数据获取模块，用于获取虚拟对象和目标客服对象之间基于目标产品对象的咨询测试操作产生的测试对话文本数据；其中，所述虚拟对象为向所述目标客服对象发起所述咨询测试操作的聊天机器人；所述虚拟对象中预先配置有针对产品对象的咨询聊天流程，作为所述虚拟对象的预设测试流程；

句子对获取模块，用于根据所述预设测试流程包括的环节对所述测试对话文本数据进行划分，得到与目标环节对应的句子对文本数据；其中，所述目标环节为所述预设测试流程包含的一个环节或者多个环节，所述目标环节为能够体现所述目标客服对象话术质量的关键环节；不同的目标环节对应有不同的权重分配数据；

评估数据确定模块，用于根据所述目标产品对象的标识信息在产品对象与参数矩阵的对应关系中进行查找，得到所述目标产品对象的产品参数矩阵，作为所述目标产品对象的产品参数数据；根据所述句子对文本数据和所述目标产品对象的产品参数数据确定所述目标环节的目标阶段评估数据；其中，所述产品参数矩阵中的元素用于代表所述目标产品对象是否具有对应的参数信息；所述产品参数数据用于描述与所述目标产品对象相关的购买相关情况、服务相关情况、产品功能情况；

话术质量确定模块，用于基于所述目标阶段评估数据以及所述权重分配数据确定所述目标客服对象的话术质量评估数据；

其中，所述产品对象与参数矩阵的对应关系是基于预先整理的产品对象知识库确定的；所述目标环节包括询问会话环节；针对所述询问会话环节，所述评估数据确定模块，还用于将所述询问会话环节所包含的句子对文本数据与所述产品对象知识库进行匹配，根据匹配结果对所述询问会话环节所包含的句子对文本数据进行打分，得到所述询问会话环节的目标阶段评估数据；其中，所述匹配结果用于表征目标客服对象的回答是正确或者错误的。

10.一种电子设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至8中任一项所述方法的步骤。

11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至8中任一项所述方法的步骤。