CN110928788B - 服务验证方法及设备 - Google Patents

Abstract

本发明实施例提供一种服务验证方法及设备，该方法包括：根据生产环境的用户问题的数量，确定采集问题的总数；基于生产环境的置信度的分布，确定各置信度的采集比例；根据所述采集问题的总数和各置信度的采集比例，确定各置信度的问题采集数量；基于各置信度的问题采集数量，从生产环境的用户问题中获取各置信度的待测试数据；将所述待测试数据输入待验证客服机器人；获得所述待验证客服机器人对所述待测试数据的回复；根据所述回复，以及预设的所述待测试数据对应的回复，对所述待验证客服机器人的服务进行验证，即在智能客服机器人的版本上线之前实现服务验证，能够及时发现客服机器人的问题，避免了版本上线之后进行服务验证带来的影响。

Description

服务验证方法及设备

技术领域

本发明实施例涉及信息处理技术领域，尤其涉及一种服务验证方法及设备。

背景技术

随着社会经济的发展，人们生活水平不断提高，网络购物进入了人们的日常生活。在网络购物中，客户较多时，人工客服难以为客户提供及时、高质量的解答，需要智能客服机器人提供服务。智能客服机器人的服务效率和服务质量影响着客户的体验。

通常智能客服机器人的服务情况是在智能客服机器人的版本上线之后，根据客服人员对答案的操作和回复内容来判断。例如，根据客户问题和智能客服机器人回复答案的匹配程度来判断智能客服机器人的服务质量。

然而，上述判断智能客服机器人服务情况的方法是在智能客服机器人的版本上线之后进行的，属于事后判断。如果需要对智能客服机器人进行调整，可能会导致客服服务质量下降，影响客户体验，进而影响业务正常进行。

发明内容

本发明实施例提供一种服务验证方法及设备，以解决现有的判断智能客服机器人服务情况的方法导致的客服服务质量下降，影响客户体验，进而影响业务正常进行的问题。

第一方面，本发明实施例提供一种服务验证方法，包括：

根据生产环境的用户问题的数量，确定采集问题的总数；

基于生产环境的置信度的分布，确定各置信度的采集比例；

根据所述采集问题的总数和各置信度的采集比例，确定各置信度的问题采集数量；

基于各置信度的问题采集数量，从生产环境的用户问题中获取各置信度的待测试数据；

将所述待测试数据输入待验证客服机器人；

获得所述待验证客服机器人对所述待测试数据的回复；

根据所述回复，以及预设的所述待测试数据对应的回复，对所述待验证客服机器人的服务进行验证。

可选地，还包括：

基于生产环境的问题类型的分布，确定各问题类型的采集比例；

根据所述采集问题的总数和各问题类型的采集比例，确定各问题类型的采集数量；

所述基于各置信度的问题采集数量，从生产环境的用户问题中获取各置信度的待测试数据，包括：

基于各置信度的问题采集数量和各问题类型的采集数量，从生产环境的用户问题中获取待测试数据。

可选地，所述根据所述回复，以及预设的所述待测试数据对应的回复，对所述待验证客服机器人的服务进行验证，包括：

判断所述回复与预设的所述待测试数据对应的回复是否一致；

若所述回复与预设的所述待测试数据对应的回复一致，则判定所述待验证客服机器人的服务验证通过。

可选地，在所述获取待测试数据之后，还包括：

根据预设的用户问题与客服机器人的对应关系，确定所述待测试数据对应的待验证客服机器人。

可选地，在所述根据所述回复，以及预设的所述待测试数据对应的回复，对所述待验证客服机器人的服务进行验证之后，还包括：

根据所述待验证客服机器人的服务验证结果，对所述待验证客服机器人进行调试。

可选地，在所述根据所述回复，以及预设的所述待测试数据对应的回复，对所述待验证客服机器人的服务进行验证之后，还包括：

根据所述待验证客服机器人的服务验证结果，以及所述待测试数据的置信度，对待测试数据对应的回复进行调整。

可选地，还包括：

根据所述待验证客服机器人的服务验证结果，获得验证通过比例；

基于所述验证通过比例，确定所述待验证客服机器人的目标置信度区间。

第二方面，本发明实施例提供一种服务验证装置，包括：

第一确定模块，用于根据生产环境的用户问题的数量，确定采集问题的总数；

基于生产环境的置信度的分布，确定各置信度的采集比例；

根据所述采集问题的总数和各置信度的采集比例，确定各置信度的问题采集数量；

获取模块，用于基于各置信度的问题采集数量，从生产环境的用户问题中获取各置信度的待测试数据；

可选地，所述第一确定模块，还用于：

基于生产环境的问题类型的分布，确定各问题类型的采集比例；

根据所述采集问题的总数和各问题类型的采集比例，确定各问题类型的采集数量；

所述获取模块基于各置信度的问题采集数量，从生产环境的用户问题中获取各置信度的待测试数据，包括：

基于各置信度的问题采集数量和各问题类型的采集数量，从生产环境的用户问题中获取待测试数据。

输入模块，用于将所述待测试数据输入待验证客服机器人；

获得模块，用于获得所述待验证客服机器人对所述待测试数据的回复；

验证模块，用于根据所述回复，以及预设的所述待测试数据对应的回复，对所述待验证客服机器人的服务进行验证。

可选地，所述验证模块，具体用于：

判断所述回复与预设的所述待测试数据对应的回复是否一致；

若所述回复与预设的所述待测试数据对应的回复一致，则判定所述待验证客服机器人的服务验证通过。

可选地，还包括：

第二确定模块，用于在所述获取模块获取待测试数据之后，

根据预设的用户问题与客服机器人的对应关系，确定所述待测试数据对应的待验证客服机器人。

可选地，还包括：

调试模块，用于在所述验证模块根据所述回复，以及预设的所述待测试数据对应的回复，对所述待验证客服机器人的服务进行验证之后，

根据所述待验证客服机器人的服务验证结果，对所述待验证客服机器人进行调试。

可选地，还包括：

调整模块，用于在所述验证模块根据所述回复，以及预设的所述待测试数据对应的回复，对所述待验证客服机器人的服务进行验证之后，

根据所述待验证客服机器人的服务验证结果，以及所述待测试数据的置信度，对待测试数据对应的回复进行调整。

可选地的，还包括；

处理模块，用于根据所述待验证客服机器人的服务验证结果，获得验证通过比例；

基于所述验证通过比例，确定所述待验证客服机器人的目标置信度区间。

第三方面，本发明实施例提供一种服务验证设备，包括：至少一个处理器和存储器；

所述存储器存储计算机执行指令；

所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行如上第一方面以及第一方面各种可能的设计所述的服务验证方法。

第四方面，本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如上第一方面以及第一方面各种可能的设计所述的服务验证方法。

本发明实施例提供的服务验证方法及设备，该方法通过根据生产环境的用户问题的数量，合理确定采集问题的总数，避免总数过多或者过少，基于生产环境的置信度的分布，确定各置信度的采集比例；根据采集问题的总数和各置信度的采集比例，确定各置信度的问题采集数量，从而模拟生产环境用户的情况，使机器人的服务验证接近于实际情况，基于各置信度的问题采集数量，从生产环境的用户问题中获取各置信度的待测试数据；再将待测试数据输入待验证客服机器人；然后获得待验证客服机器人对待测试数据的回复；根据待验证客服机器人对待测试数据的回复，以及预设的待测试数据对应的回复，对待验证客服机器人的服务进行验证，即在智能客服机器人的版本上线之前实现服务验证，能够及时发现客服机器人的问题，避免了版本上线之后进行服务验证带来的影响，保证了客服机器人上线后的服务质量，提高了用户体验。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的服务验证***的架构示意图；

图2为本发明实施例提供的服务验证方法的流程示意图一；

图3为本发明实施例提供的服务验证方法的流程示意图二；

图4为本发明实施例提供的服务验证装置的结构示意图一；

图5为本发明实施例提供的服务验证装置的结构示意图二；

图6为本发明实施例提供的服务验证设备的硬件结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护的范围。

通常智能客服机器人的服务情况是在智能客服机器人的版本上线之后，根据客服人员对答案的操作和回复内容来判断。例如，根据客户问题和智能客服机器人回复答案的匹配程度来判断智能客服机器人的服务质量。

然而，上述判断智能客服机器人服务情况的方法是在智能客服机器人的版本上线之后进行的，属于事后判断。如果需要对智能客服机器人进行调整，可能会导致客服服务效率或质量下降，影响客户体验，进而影响业务正常进行。

因此，考虑到上述问题，本实施例提供一种服务验证方法，通过根据生产环境的用户问题的数量，合理确定采集问题的总数，避免总数过多或者过少，基于生产环境的置信度的分布，确定各置信度的采集比例；根据采集问题的总数和各置信度的采集比例，确定各置信度的问题采集数量，从而模拟生产环境用户的情况，使机器人的服务验证接近于实际情况，基于各置信度的问题采集数量，从生产环境的用户问题中获取各置信度的待测试数据；再将待测试数据输入待验证客服机器人；然后获得待验证客服机器人对待测试数据的回复；根据待验证客服机器人对待测试数据的回复，以及预设的待测试数据对应的回复，对待验证客服机器人的服务进行验证。本实施例在智能客服机器人的版本上线之前进行的服务验证，能够及时发现客服机器人的问题，避免了版本上线之后进行服务验证带来的影响，保证了客服机器人上线后的服务质量，提高了用户体验。

本实施例提供一种服务验证方法，该方法可以适用于图1所示的本发明实施例提供的服务验证***的架构示意图，如图1所示，本实施例提供的***包括终端101。终端101可以根据生产环境的用户问题的量级，合理确定采集问题的总数；还可以基于生产环境的置信度的分布，确定各置信度的采集比例；也可以根据采集问题的总数和各置信度的采集比例，确定各置信度的问题采集数量；也可以基于各置信度的问题采集数量，从生产环境的用户问题中获取各置信度的待测试数据；也可以将待测试数据输入待验证客服机器人102；也可以获得待验证客服机器人102对待测试数据的回复；同时可以根据待验证客服机器人102对待测试数据的回复，以及预设的待测试数据对应的回复，对待验证客服机器人102的服务进行验证。其中，终端101可以为手机、平板等。上述待验证客服机器人为任意一个或多个需要进行服务验证的机器人。上述待测试数据可以根据实际情况确定，也可以由相关人员设置，例如设置待测试数据为某些用户问题数据。

下面以具体地实施例对本发明的技术方案以及本发明的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本发明的实施例进行描述。

图2为本发明实施例提供的服务验证方法的流程示意图一，本实施例的执行主体可以为图1所示实施例中的终端101，也可以为服务器，本实施例此处不做特别限制。如图2所示，该方法可以包括：

S201：根据生产环境的用户问题的数量，确定采集问题的总数。

示例性的，根据生产环境用户问题的数量量级确定需要收集的用户数据数量。例如：生产环境数据1万条以下，需要收集其中20％的数据；生产环境数据十万量级，需要收集其中5％的数据；生产数据百万量级，需要收集其中1％数据；生产数据超百万量级，需要收集其中0.1％数据。

通过根据生产环境的用户问题的数量，合理确定采集问题的总数，避免总数过多或者过少。

S202：基于生产环境的置信度的分布，确定各置信度的采集比例。

示例性的，在实际生产环境中，不同置信度对应不同数据采集比例，基于生产环境的置信度的分布，确定各置信度的采集比例。例如：置信度以0.01为单位，根据生产环境置信度的分布情况，确定生产环境0到1间不同置信度的采集比例。

S203：根据所述采集问题的总数和各置信度的采集比例，确定各置信度的问题采集数量；

示例性的，生产环境数据为10万，需要收集其中5％的数据，采集问题的总数为5000条；置信度为0.5的采集比例为1％，则该置信度采集50条。

可选地，还包括基于生产环境的问题类型的分布，确定各问题类型在各置信度的采集比例。

其中，问题类型可以为理赔问题，投保问题，续保问题，产品问题，PR问题等类型。不同的问题类型在实际生产环境中在各个置信度的分布比例不同。

S204：基于各置信度的问题采集数量，从生产环境的用户问题中获取各置信度的待测试数据。

示例性的，根据各置信度的问题采集数量，从生产环境的用户问题中获取各置信度对应数量的用户问题，用户问题、置信度和对应的回复为待测试数据。

可选地，在S204之前或者S204之后，还包括：

基于生产环境的问题类型的分布，确定各问题类型的采集比例；

根据所述采集问题的总数和各问题类型的采集比例，确定各问题类型的采集数量。

上述基于各置信度的问题采集数量，从生产环境的用户问题中获取各置信度的待测试数据，包括：

基于各置信度的问题采集数量和各问题类型的采集数量，从生产环境的用户问题中获取待测试数据。

示例性的，生产环境数据为10万，需要收集其中5％的数据，采集问题的总数为5000条，置信度为0.5的采集比例为1％，采集数量为50条；生产环境中理赔问题的采集比例为10％，采集数量为500条。

通过综合考虑各问题类型的分布和各置信度的分布，从生产环境的用户问题中获取待测试数据，能够进一步提高对生产环境的模拟。

通过上述方式获取待检测数据，能够模拟生产环境用户的情况，使待检测数据更可靠，使后续步骤能够获得更有效地对待验证客服机器人进行服务验证。

S205：将所述待测试数据输入待验证客服机器人。

可选地，当客服机器人为多个时，在S205获取待测试数据之后，还包括：

根据预设的用户问题与客服机器人的对应关系，确定所述待测试数据对应的待验证客服机器人，再执行S206。

在客服机器人为多个的场景中，通过根据预设问题数据与客服机器人的对应关系，确定用户问题数据对应的待验证客服机器人，能够结合用户问题数据，有针对性地选择待验证客服机器人，满足不同场景需求。

S206：获得所述待验证客服机器人对所述待测试数据的回复。

S207：根据所述回复，以及预设的所述待测试数据对应的回复，对所述待验证客服机器人的服务进行验证。

可选地，所述根据所述回复，以及预设的所述待测试数据对应的回复，对所述待验证客服机器人的服务进行验证，可以通过但不限于如下方式实现：

判断所述回复与预设的所述待测试数据对应的回复是否一致；

若所述回复与预设的所述待测试数据对应的回复一致，则判定所述待验证客服机器人的服务验证通过。

可以根据不同的应用场景和待测试数据设置不同的预设相似度阈值，本实施例对预设相似度阈值不做特别限定。

示例性的：若待验证客服机器人对待测试数据的回复，与预设的待测试数据对应的回复完全一致；则确定该待验证客服机器人的服务验证通过。

若待验证客服机器人对待测试数据的回复，与预设的待测试数据对应的回复不一致，则确定该待验证客服机器人的服务验证不通过。

通过判断待验证客服机器人对待测试数据的回复，与预设的待测试数据对应的回复是否一致，来确定待验证客服机器人的服务验证是否通过，保证了对待验证客服机器人的服务的验证结果的准确性。

本实施例提供的服务验证方法，通过根据生产环境的用户问题的数量，合理确定采集问题的总数，避免总数过多或者过少，基于生产环境的置信度的分布，确定各置信度的采集比例；根据采集问题的总数和各置信度的采集比例，确定各置信度的问题采集数量，从而模拟生产环境用户的情况，使机器人的服务验证接近于实际情况，基于各置信度的问题采集数量，从生产环境的用户问题中获取各置信度的待测试数据；再将待测试数据输入待验证客服机器人；然后获得待验证客服机器人对待测试数据的回复；根据待验证客服机器人对待测试数据的回复，以及预设的待测试数据对应的回复，对待验证客服机器人的服务进行验证，即在智能客服机器人的版本上线之前进行服务验证，能够及时发现客服机器人的问题，避免了版本上线之后进行服务验证带来的影响，保证了客服机器人上线后的服务质量，提高了用户体验。

图3为本发明实施例提供的服务验证方法的流程示意图二，本实施例的执行主体可以为图1所示实施例中的终端201，也可以为服务器，本实施例此处不做特别限制。如图3所示，该方法包括：

S301：根据生产环境的用户问题的数量，确定采集问题的总数；

S302：基于生产环境的置信度的分布，确定各置信度的采集比例；

S303：根据所述采集问题的总数和各置信度的采集比例，确定各置信度的问题采集数量；

S304：基于各置信度的问题采集数量，从生产环境的用户问题中获取各置信度的待测试数据。

S305：将所述待测试数据输入待验证客服机器人。

S306：获得所述待验证客服机器人对所述待测试数据的回复。

S307：根据所述回复，以及预设的所述待测试数据对应的回复，对所述待验证客服机器人的服务进行验证。

步骤S301-S307与上述步骤S201-S207的实现方式相同，此处不再赘述。

S308：根据所述待验证客服机器人的服务验证结果，对所述待验证客服机器人进行调试。

上述根据所述待验证客服机器人的服务验证结果，对所述待验证客服机器人进行调试的方式可以为：

统计根据待验证客服机器人的服务验证结果中待验证客服机器人的服务验证不通过的比例，将该服务验证不通过的比例与往期服务验证不通过的比例进行对比；若该服务验证不通过的比例大于往期不通过的比例，则对上述待验证客服机器人进行调试；

若该服务验证不通过的比例不大于往期不通过的比例，则无需对上述待验证客服机器人进行调试。

示例性的，本发明实施例以执行主体为终端为例，根据所述验证客服机器人的服务验证结果，对所述验证客服机器人进行调试可以通过如下方式实现：

终端的调试模块根据该服务验证结果，对该验证客服机器人进行调试。

或者，

将服务验证结果发送至调试设备，该服务验证结果用于指示该调试设备对该验证客服机器人进行调试。

或者，

将服务验证结果发送至预设人员，该服务验证结果用于指示该预设人员对该验证客服机器人进行调试。

通过根据待验证客服机器人的服务验证结果，对待验证客服机器人进行调试，进一步保证了客服机器人上线后的服务质量。

S309：根据所述待验证客服机器人的服务验证结果，以及所述待测试数据的置信度，对待测试数据对应的回复进行调整。

示例性的，上述根据所述待验证客服机器人的服务验证结果，以及所述待测试数据的置信度，对待测试数据对应的回复进行调整的方式可以为：

当待验证客服机器人的服务验证结果为服务验证不通过，且待测试数据的置信度大于预设置信度阈值，则判断待验证客服机器人对所述待测试数据的回复和预设的待测试数据对应的回复哪个更符合用户问题，如果待验证客服机器人的回复结果更符合，可以对待测试数据对应的回复进行调整。

其中，可以根据不同的应用场景设置不同的预设置信度阈值，本实施例对此不做特别限定。

示例性的，还是以执行主体为终端为例，根据待验证客服机器人的服务验证结果，以及用户问题的置信度，对用户问题数据进行调整可以通过如下方式实现：

终端的调整模块根据服务验证结果与用户问题的置信度，对该用户问题数据进行调整。

或者，

将服务验证结果与用户问题的置信度发送至调整设备，该服务验证结果与用户问题的置信度用于指示该调整设备对该用户问题数据进行调整。

或者，

将服务验证结果与用户问题的置信度发送至预设人员，该服务验证结果与用户问题的置信度用于指示该预设人员对该用户问题数据进行调整。

通过根据待验证客服机器人的服务验证结果与用户问题的置信度，对用户问题数据进行调整，使待测试数据更为合理，再次进行服务验证时，验证结果更为准确。

可选地，本申请实施例还可以包括：

根据所述待验证客服机器人的服务验证结果，获得验证通过比例；

基于所述验证通过比例，确定所述待验证客服机器人的目标置信度区间。

其中，验证通过比例可以参照上述步骤S309获得。

示例性的，用户期待的验证通过比例为80％，在置信度高于0.8的区间，待验证客服机器人的验证通过比例可以达到80％，目标置信度区间为0.8-1。可以将此区间反馈给相关业务，作为客服机器人置信度设置的选项，以此可以提高机器人服务质量和服务效率。

本实施例中，步骤S308和S309的先后顺序不做具体限定。

本实施例提供的服务验证方法，通过根据生产环境的用户问题的数量，合理确定采集问题的总数，避免总数过多或者过少，基于生产环境的置信度的分布，确定各置信度的采集比例；根据采集问题的总数和各置信度的采集比例，确定各置信度的问题采集数量，从而模拟生产环境用户的情况，使机器人的服务验证接近于实际情况，基于各置信度的问题采集数量，从生产环境的用户问题中获取各置信度的待测试数据；再将待测试数据输入待验证客服机器人；然后获得待验证客服机器人对待测试数据的回复；根据待验证客服机器人对待测试数据的回复，以及预设的待测试数据对应的回复，对待验证客服机器人的服务进行验证，在智能客服机器人的版本上线之前进行服务验证，能够及时发现客服机器人的问题，保证了客服机器人上线后的服务质量，提高了用户体验。同时，通过根据待验证客服机器人的服务验证结果，对待验证客服机器人进行调试，进一步保证了客服机器人上线后的服务质量。通过根据待验证客服机器人的服务验证结果，以及待测试数据的的置信度，对待测试数据进行调整，使待测试数据更为合理，再次进行服务验证时，验证结果更为准确。可以将目标置信度区间反馈给相关业务，作为客服机器人置信度设置的选项，以此可以提高机器人服务质量和服务效率。

对应于上文实施例的服务验证方法，图4为为本发明实施例提供的服务验证装置的结构示意图一，为了便于说明，仅示出了与本发明实施例相关的部分。如图4所示，该服务验证装置40包括：第一确定模块401、获取模块402、输入模块403、获得模块404以及验证模块405。

第一确定模块401，用于根据生产环境的用户问题的数量，确定采集问题的总数；

基于生产环境的置信度的分布，确定各置信度的采集比例；

根据所述采集问题的总数和各置信度的采集比例，确定各置信度的问题采集数量；

获取模块402，用于基于各置信度的问题采集数量，从生产环境的用户问题中获取各置信度的待测试数据；

输入模块403，用于将所述待测试数据输入待验证客服机器人；

获得模块404，用于获得所述待验证客服机器人对所述待测试数据的回复；

验证模块405，用于根据所述回复，以及预设的所述待测试数据对应的回复，对所述待验证客服机器人的服务进行验证。

本发明实施例提供的装置，可用于执行上述方法实施例的技术方案，其实现原理和技术效果类似，本发明实施例此处不再赘述。

图5为本发明实施例提供的服务验证装置的结构示意图二。如图5所示，该服务验证装置50在图4的基础上，还包括：第二确定模块406、调试模块407、调整模块408和处理模块409。

可选地，所述验证模块405，具体用于：

判断所述回复与预设的所述待测试数据对应的回复是否一致；

若所述回复与预设的所述待测试数据对应的回复一致，则判定所述待验证客服机器人的服务验证通过。

可选地，所述第一确定模块401，还用于：

基于生产环境的问题类型的分布，确定各问题类型的采集比例；

根据所述采集问题的总数和各问题类型的采集比例，确定各问题类型的采集数量；

所述获取模块402基于各置信度的问题采集数量，从生产环境的用户问题中获取各置信度的待测试数据，包括：

基于各置信度的问题采集数量和各问题类型的采集数量，从生产环境的用户问题中获取待测试数据。

可选地，第二确定模块406，用于在所述获取模块402获取待测试数据之后，

根据预设的用户问题与客服机器人的对应关系，确定所述待测试数据对应的待验证客服机器人。

可选地，调试模块407，用于在所述验证模块405根据所述回复，以及预设的所述待测试数据对应的回复，对所述待验证客服机器人的服务进行验证之后，

根据所述待验证客服机器人的服务验证结果，对所述待验证客服机器人进行调试。

可选地，调整模块408，用于在所述验证模块405根据所述回复，以及预设的所述待测试数据对应的回复，对所述待验证客服机器人的服务进行验证之后，

根据所述待验证客服机器人的服务验证结果与所述用户问题的置信度，对待测试数据对应的回复进行调整。

可选地，处理模块409，用于根据所述待验证客服机器人的服务验证结果，获得验证通过比例；

基于所述验证通过比例，确定所述待验证客服机器人的目标置信度区间。

本发明实施例提供的装置，可用于执行上述方法实施例的技术方案，其实现原理和技术效果类似，本发明实施例此处不再赘述。

图6为本发明实施例提供的服务验证设备的硬件结构示意图。如图6所示，本实施例的服务验证设备60包括：处理器601以及存储器602；其中

存储器602，用于存储计算机执行指令；

处理器601，用于执行存储器存储的计算机执行指令，以执行上述实施例中服务验证方法的各个步骤。具体可以参见前述方法实施例中的相关描述。

可选地，存储器602既可以是独立的，也可以跟处理器601集成在一起。

当存储器602独立设置时，该服务验证设备还包括总线603，用于连接所述存储器602和处理器601。

本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如上所述的服务验证方法。

在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案。

另外，在本发明各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个单元中。上述模块成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

上述以软件功能模块的形式实现的集成的模块，可以存储在一个计算机可读取存储介质中。上述软件功能模块存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器执行本发明各个实施例所述方法的部分步骤。

应理解，上述处理器可以是中央处理单元(Central Processing Unit，简称CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，简称DSP)、专用集成电路(Application Specific Integrated Circuit，简称ASIC)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明所公开的服务验证方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。

存储器可能包含高速RAM存储器，也可能还包括非易失性存储NVM，例如至少一个磁盘存储器，还可以为U盘、移动硬盘、只读存储器、磁盘或光盘等。

总线可以是工业标准体系结构(Industry Standard Architecture，简称ISA)总线、外部设备互连(Peripheral Component Interconnect，简称PCI)总线或扩展工业标准体系结构(Extended Industry Standard Architecture，简称EISA)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，本发明附图中的总线并不限定仅有一根总线或一种类型的总线。

上述存储介质可以是由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。存储介质可以是通用或专用计算机能够存取的任何可用介质。

一种示例性的存储介质耦合至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于专用集成电路(Application Specific Integrated Circuits，简称ASIC)中。当然，处理器和存储介质也可以作为分立组件存在于电子设备或主控设备中。

本领域普通技术人员可以理解：实现上述各服务验证方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各服务验证方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (9)

1.一种服务验证方法，其特征在于，包括：

根据生产环境的用户问题的数量，确定采集问题的总数；

基于生产环境的置信度的分布，确定各置信度的采集比例；

根据所述采集问题的总数和各置信度的采集比例，确定各置信度的问题采集数量；

基于生产环境的问题类型的分布，确定各问题类型的采集比例；其中，不同的问题类型在生产环境中在各个置信度的分布比例不同；

根据所述采集问题的总数和各问题类型的采集比例，确定各问题类型的采集数量；所述问题类型包括理赔问题、投保问题、续保问题、产品问题和PR问题；基于各置信度的问题采集数量，从生产环境的用户问题中获取各置信度的待测试数据；

将所述待测试数据输入待验证客服机器人；

获得所述待验证客服机器人对所述待测试数据的回复；

根据所述回复，以及预设的所述待测试数据对应的回复，对所述待验证客服机器人的服务进行验证；

所述基于各置信度的问题采集数量，从生产环境的用户问题中获取各置信度的待测试数据，包括：

基于各置信度的问题采集数量和各问题类型的采集数量，从生产环境的用户问题中获取待测试数据。

2.根据权利要求1所述的方法，其特征在于，所述根据所述回复，以及预设的所述待测试数据对应的回复，对所述待验证客服机器人的服务进行验证，包括：

判断所述回复与预设的所述待测试数据对应的回复是否一致；

若所述回复与预设的所述待测试数据对应的回复一致，则判定所述待验证客服机器人的服务验证通过。

3.根据权利要求1所述的方法，其特征在于，在所述获取待测试数据之后，还包括：

根据预设的用户问题与客服机器人的对应关系，确定所述待测试数据对应的待验证客服机器人。

4.根据权利要求1所述的方法，其特征在于，在所述根据所述回复，以及预设的所述待测试数据对应的回复，对所述待验证客服机器人的服务进行验证之后，还包括：

根据所述待验证客服机器人的服务验证结果，对所述待验证客服机器人进行调试。

5.根据权利要求1所述的方法，其特征在于，在所述根据所述回复，以及预设的所述待测试数据对应的回复，对所述待验证客服机器人的服务进行验证之后，还包括：

根据所述待验证客服机器人的服务验证结果，以及所述待测试数据的置信度，对待测试数据对应的回复进行调整。

6.根据权利要求1所述的方法，其特征在于，还包括：

根据所述待验证客服机器人的服务验证结果，获得验证通过比例；

基于所述验证通过比例，确定所述待验证客服机器人的目标置信度区间。

7.一种服务验证装置，其特征在于，包括：

第一确定模块，用于根据生产环境的用户问题的数量，确定采集问题的总数；

基于生产环境的置信度的分布，确定各置信度的采集比例；

根据所述采集问题的总数和各置信度的采集比例，确定各置信度的问题采集数量；

基于生产环境的问题类型的分布，确定各问题类型的采集比例；其中，不同的问题类型在生产环境中在各个置信度的分布比例不同；

根据所述采集问题的总数和各问题类型的采集比例，确定各问题类型的采集数量；所述问题类型包括理赔问题、投保问题、续保问题、产品问题和PR问题；

获取模块，用于基于各置信度的问题采集数量，从生产环境的用户问题中获取各置信度的待测试数据；

输入模块，用于将所述待测试数据输入待验证客服机器人；

获得模块，用于获得所述待验证客服机器人对所述待测试数据的回复；

验证模块，用于根据所述回复，以及预设的所述待测试数据对应的回复，对所述待验证客服机器人的服务进行验证；

所述获取模块基于各置信度的问题采集数量，从生产环境的用户问题中获取各置信度的待测试数据，包括：

基于各置信度的问题采集数量和各问题类型的采集数量，从生产环境的用户问题中获取待测试数据。

8.一种服务验证设备，其特征在于，包括：至少一个处理器和存储器；

所述存储器存储计算机执行指令；

所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行如权利要求1至6任一项所述的服务验证方法。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如权利要求1至6任一项所述的服务验证方法。