CN111695745A - 一种在线服务提供者服务质量评估方法和装置 - Google Patents
一种在线服务提供者服务质量评估方法和装置 Download PDFInfo
- Publication number
- CN111695745A CN111695745A CN201910180436.6A CN201910180436A CN111695745A CN 111695745 A CN111695745 A CN 111695745A CN 201910180436 A CN201910180436 A CN 201910180436A CN 111695745 A CN111695745 A CN 111695745A
- Authority
- CN
- China
- Prior art keywords
- service provider
- service
- session
- session information
- deep learning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 48
- 238000013136 deep learning model Methods 0.000 claims abstract description 38
- 230000008569 process Effects 0.000 claims description 20
- 238000012549 training Methods 0.000 claims description 16
- 238000001303 quality assessment method Methods 0.000 claims description 9
- 238000004140 cleaning Methods 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 5
- 238000001914 filtration Methods 0.000 claims description 4
- 230000006870 function Effects 0.000 claims description 4
- 238000013441 quality evaluation Methods 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 8
- 239000004973 liquid crystal related substance Substances 0.000 description 7
- 229920000642 polymer Polymers 0.000 description 7
- 238000011156 evaluation Methods 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
- G06Q10/06395—Quality analysis or management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/06—Buying, selling or leasing transactions
- G06Q30/0601—Electronic shopping [e-shopping]
Landscapes
- Business, Economics & Management (AREA)
- Human Resources & Organizations (AREA)
- Engineering & Computer Science (AREA)
- Strategic Management (AREA)
- Development Economics (AREA)
- Economics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Entrepreneurship & Innovation (AREA)
- Marketing (AREA)
- Finance (AREA)
- Accounting & Taxation (AREA)
- Educational Administration (AREA)
- Physics & Mathematics (AREA)
- General Business, Economics & Management (AREA)
- Tourism & Hospitality (AREA)
- Game Theory and Decision Science (AREA)
- Quality & Reliability (AREA)
- Operations Research (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本申请提供了一种在线服务提供者服务质量评估方法和装置，获取预设时间内服务提供者与服务接受者的会话信息；通过预设的基于注意力机制的层级空洞卷积网络HADCN深度学习模型，获取会话信息中的每次会话的意图标签；若确定针对同一服务接受者的会话的意图标签中存在相同的标签，则将时间在前的会话对应的服务提供者的重复咨询次数加1；将预设时间内每个服务提供者的重复咨询次数与该服务提供者的总咨询次数的比值作为该服务提供者的重复咨询率；根据每个服务提供者的重复咨询率确定该服务提供者的接待质量。该方法能够客观、正确地评估服务提供者的服务质量。
Description
技术领域
本发明涉及互联网技术领域，特别涉及一种在线服务提供者服务质量评估方法和装置。
背景技术
在电商领域，采用在线人工客服(服务提供者)对顾客(服务接受者)进行接待，回答顾客在售前和售后领域的相关问题，帮助顾客在整个购物过程中闭环，提升顾客的购物体验，是一种业界比较通用的解决方案。
人工客服接待顾客过程中，需要找一种合理的方法评估在线客服接待质量。对于接待质量较差的客服，通过培训、减少接待量，或让他接待自己熟悉的业务等方式，尽量提升每个客服的接待质量，给顾客带来更好的感受和体验。
如何对客服的服务质量做出评价？一般而言，我们通过顾客评价满意度的方法，对人工客服的接待质量做评估。在顾客完成咨询后，***自动发出请求，邀请用户对该通会话的服务质量做评价。用户可以选择满意/不满意/一般，通过用户的反馈确定该客服的服务质量。
上述通过顾客评价来评估客服的服务质量的方法，存在如下缺点：
评价量少：大部分用户并不会真正去评价，而是直接离开；
主观性强：评价的数据跟顾客的当前情绪、状态相关，而且每个人标准不一致，容易出现评价比较主观的情况；
数据不准确：即使客服没有解决顾客的问题，部分顾客也会因为不好意思给差评，而勉强给一个好评，这就导致收集的数据很难客观反应该客服的接待质量。
发明内容
有鉴于此，本申请提供一种在线服务提供者服务质量评估方法和装置，能够客观、正确地评估服务提供者的服务质量。
为解决上述技术问题，本申请的技术方案是这样实现的：
一种在线服务提供者服务质量评估方法，该方法包括：
获取预设时间内服务提供者与服务接受者的会话信息；其中，所述会话信息中的每次会话对应会话时间；
通过预设的HADCN深度学习模型，获取会话信息中的每次会话的意图标签；
若确定针对同一服务接受者的会话的意图标签中存在相同的标签，则将时间在前的会话对应的服务提供者的重复咨询次数加1；
将预设时间内每个服务提供者的重复咨询次数与该服务提供者的总咨询次数的比值作为该服务提供者的重复咨询率；
根据每个服务提供者的重复咨询率确定该服务提供者的接待质量，重复咨询率的值越小对应的接待质量越高。
一种在线服务提供者服务质量评估装置，该装置包括：获取单元、建模单元、计算单元和确定单元；
所述获取单元，用于获取预设时间内服务提供者与服务接受者的会话信息；其中，所述会话信息中的每次会话对应会话时间；
所述建模单元，用于通过预设的HADCN深度学习模型获取所述获取单元获取的会话信息中的每次会话的意图标签；
所述计算单元，用于若根据所诉建模单元获取的意图标签确定针对同一服务接受者的会话的意图标签中存在相同的标签，则将时间在前的会话对应的服务提供者的重复咨询次数加1；将预设时间内每个服务提供者的重复咨询次数与该服务提供者的总咨询次数的比值作为该服务提供者的重复咨询率；
所述确定单元，用于根据所述计算单元计算的每个服务提供者的重复咨询率确定该服务提供者的接待质量，重复咨询率的值越小对应的接待质量越高。
一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现所述在线服务提供者服务质量评估方法的步骤。
一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现所述在线服务提供者服务质量评估方法的步骤。
由上面的技术方案可知，本申请中通过建立的HADCN深度学习模型确定服务提供者和服务接受者每次会话的意图标签，并对服务提供者的重复咨询次数进行定义，进行重复咨询率的计算，通过每个服务提供者的重复咨询率来确定提供服务的质量。该方案能够客观、正确地评估服务提供者的服务质量。
附图说明
图1为本申请实施例中的DADCN深度学习模型；
图2为一个DCN结构示意图；
图3为本申请实施例中在线服务提供者服务质量评估流程示意图；
图4为同一服务接受者wanda1234咨询会话示意图；
图5为本申请实施例中应用于上述技术的装置结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，下面结合附图并举实施例，对本发明的技术方案进行详细说明。
本申请实施例中提供一种在线服务提供者服务质量评估方法，通过建立的HADCN深度学习模型确定服务提供者和服务接受者每次会话的意图标签，并对服务提供者的重复咨询次数进行定义，进行重复咨询率的计算，通过每个服务提供者的重复咨询率来确定提供服务的质量。该方案能够客观、正确地评估服务提供者的服务质量。
本申请实施例中在进行在线服务提供者服务质量评估之前，需要建立好预设的HADCN深度学习模型，该模型的具体建立过程如下：
第一步、构造样本数据；所述样本数据包括服务提供者与服务接受者的会话信息，以及每次会话的意图标签；
构造样本数据的具体过程如下：
首先，获取服务提供者接待服务接受者的会话信息；
具体实现时，可以为从存储服务提供者和服务接受者的服务器上获取两者的聊天日志信息，该信息包括会话时间、会话id、会话内容等。
这里的每个样本为一个次会话。
其次，对所述会话信息进行数据清洗；
具体清洗过程如下：
过滤掉常用的开头语和结束语；
将服务接受者的连续会话语句合并为一句语句；将服务提供者的连续会话语句合并为一句语句；在合并过程中将合并前的会话语句之间使用空格表示。
最后，接收针对每次会话信息分配的意图标签，并将意图标签与对应的会话信息绑定存储，作为样本数据。
该步的实现是针对每次会话人工标注一个意图标签，这里的意图标签可以根据实际会话信息设置，如购物、移动服务、报警服务等；
以购物服务为例，可以设置的意图标签为：商品咨询、活动咨询、价格保护，评价晒单、催单、缺货咨询等。
参见表1，表1为对一次会话的会话信息进行处理所包含的内容。
表1中的原始会话第1句“您好，有什么问题我可以帮您处理或解决呢？”这句话被识别为开头语过滤掉，因为这句话实际上不包含服务接受者关键的意图信息，加到模型中一起训练会增加一些噪音。具体过滤的方法，可以采用关键字匹配等，本申请实施例中对此实现不进行限制。
表1
然后，合并服务接受者说的连续的话，为了后续模型训练使用时当成一句话输入模型处理，这样可以避免断句的问题。
如：
我买的这个显示器架子是坏的，以及给我重发一个吧。
则合并后的语句为：我买的这个显示器架子是坏的给我重发一个吧。
由于这个例子没有服务提供者说的连续的话，所以不做合并。
最后，针对该次会话，标注的意图标签为“退换货”。
这样，我们模样本就都准备好了。
第二步、构造初始HADCN深度学习模型，具体实现如下：
基于注意力机制的层级空洞卷积网络(Hierarchical Attention DilatedConvolutional Network，HADCN)，这是一个层级的(Hierarchical)空洞卷积网络(DilatedConvolutional Network)，同时也加入了注意力(Attention)机制。
本申请实施例中的DADCN深度学习模型包括多个DCN，以及一个全连接(FullyConnected)层和归一化指数函数(softmax)层，具体为：针对每次会话中的每条语句产生每条语句的编码的DCN；将每条语句的编码生成所有语句的编码的DCN，以及用于输出所有语句的编码对应的意图标签的一个全连接层和softmax层输。
针对每次会话中的每条语句产生每条语句的编码的DCN的个数为N，N可以为1，也可以为大于1的整数；当N大于1时，每个DCN之间通过内部(Inner)注意力(Attention)连接；
当使用多个CDN时，通过一个Combinatio得到一个最终的句子编码；
n将每条语句的编码生成所有语句的编码的DCN的个数为M，M可以为1也可以为大于1的整数；当M大于1时，每个DCN之间通过Inner Attention连接，其中，M和N相同或不同。
针对每次会话中的每条语句使用DCN产生每条语句的编码；
将每条语句的编码再次使用DCN生成所有语句的编码；
将所有语句的编码经过一个全连接层和softmax层输出一个分类标签作为该会话的意图标签。
参见图1，图1为本申请实施例中的DADCN深度学习模型。
图1中，共享词向量(Shared embedding)，是把一句话依次按单字纬度，转换为向量表示。
针对一次会话中的每条语句使用的DCN个数可以根据实际使用设置，当设置的DCN的个数N为大于1的整数时，各DCN之间使用Inner Attention连接，图1中以N为2实现为例；生成所有语句的编码的DCN的个数M可以根据使用设置，图1中以M为1实现为例，如果M大于1，则各DCN之间使用Inner Attention连接。
如果使用多个DCN堆叠实现，则最后需要增加组合(Combination)这个功能实现，即将下层输出的序列，组合成一个向量。
针对DADCN深度学习模型中的每个DCN的结构对应的参数：层数L、过滤器大小(filter size)k和间隔因子(dilation factors)d；其中，k表示每次所取的元素的个数；d表示对应层间隔d-1个元素取元素；
N个DCN设置的参数k和d中至少存在一个参数不相同；所述M个DCN设置的参数k和d中至少存在一个参数不相同；层数L根据实际需要配置。
参见图2，图2为一个DCN结构示意图。图2中以d设置为1、2、4，k设置为3为例。
第三步，基于图1的DADCN深度学习模型使用构造的样本数据进行训练，具体如下：
将每个样本的每条语句分别输入对应DCN中进行DADCN深度学习，输出一个意图标签，将该意图标签与样本标注的标签比较，如果一致，则确定该样本，即该次会话的意图分类正确；否则，确定为错误。
针对一次训练，将所有样本输入DADCN深度学习进行训练，使用意图分类正确的样本个数与总样本个数确定正确率，当正确率大于预设值时，确定当前的DADCN深度学习为预设的DADCN深度学习，结束模型的训练；
否则，根据实际需要修改DADCN深度学习模型中的L、d、k、M和N再次进行训练，或者更新样本(增加样本，或者检查错误意图分类样本的意图标签是否正确)再次训练，或者使用不便的样本和DADCN深度学习模型进行多次训练；直到意图标签的正确率大于预设值时的DADCN深度学习模型作为满意的DADCN深度学习模型，即预设的HADCN深度学习模型。
预设的DADCN深度学习模型也可以根据实际需要进行更新，如获取了更有意义的样本数据。
下面结合图1和图2，以及具体实例，给出一次会话信息通过HADCN深度学习模型输出意图标签的过程：
S1，S2…Sn分别代表输入的n个句子。例如，S1表示“我买的这个显示器架子是坏的给我重发一个吧”，S2表示“请稍等，妹子这就为您提交售后退换货申请”。
每个句子用DCN(Dilated CNN)产生编码。如图1中可以使用两个DCN分别针对S1，S2…Sn产生编码，每个句子用预训练的词向量表示(多维矩阵)，输入一个DCN网络。
以图2中所示的4层的DCN网络结构图处理S1为例，第1层的x0,x1…xT代表一个句子中每个字的向量(称为一个元素)表示，比如第1层的x0，x1，x2分别代表S1中的“我买的”这3个元素。这里的3为filter size k＝3，代表每次用到几个元素，一旦k值确定后，每层的k值都不改变。另外，dilation factors d＝1,2,4代表间隔d-1个元素去取。当d＝1时，如图2第1层，即依次取每个元素，每3个元素编码为上层的一个元素；当d＝2时，如图第2层，表示间隔1个元素；当d＝4时，如图第3层，表示间隔3个元素。最后，经过这样的DCN编码方式，我们可以得到一句话的句向量表示。这个过程中，d和k都是模型训练时可以设置的超参数，可以通过反复调试不同的d和k的组合，调优最终模型的效果。
这里针对每个句子产生编码的DCN网络可以堆叠若干层，从而加大深度，图1中堆叠2层为例。之前提到的是对S1采用一个DCN网络的编码过程，同样的我们可以重复多次这个编码过程，用多个DCN网络对S1进行编码，每个DCN之间用Inner Attention把他们连接起来，形成了多个DCN的堆叠，这个堆叠stack的次数，可以作为模型训练中的一个可调的超参数。
句子之间也采用DCN堆叠产生编码，图1中以不堆叠为例。这里的句子包括之前提到的S1，S2…SN。这一步相当于是在做所有输入句子的编码，提取出所有句子中的关键信息。具体的DCN及堆叠步骤和之前描述的类似。
最终再将所有句子的编码经过一个全连接层(Fully Connected)和Softmax层得到最终输出。最终的输出(output)是一个分类标签，对应针对该次训练的样本数据的意图标签中的一个意图标签。
下面结合附图，详细说明本申请实施例中实现在线服务提供者服务质量评估的过程。
本申请实施例中实现在线服务提供者服务质量评估的设备只要具备如下评估功能即可，如可以是一台有处理能力的PC，简称为评估设备。
参见图3，图3为本申请实施例中在线服务提供者服务质量评估流程示意图。具体步骤为：
步骤301，获取预设时间内服务提供者与服务接受者的会话信息。
其中，所述会话信息中的每次会话对应会话时间。
本申请针对会话信息的获取可以获取一天的、一个星期的等，根据实际需要确定预设时间的值。
这里的会话信息为存储在服务器上的服务提供者与服务接受者的通过内容。
针对每次通话内容会对应时间信息，用于来区分先哪次会话先发生、哪次会话后发生。
参见图4，图4为同一服务接受者wanda1234咨询会话示意图。图4中依照时间先后顺序，示例出了接受者wanda1234的三次会话，每次会话以空行隔开。
图4中的会话信息为经过数据清零后的会话信息，会话清理过程同构造样本数据时的数据清零过程相同。
步骤302，通过预设的HADCN深度学习模型，获取会话信息中的每次会话的意图标签。
将会话信息中的每次会话分别输入预设的HADCN深度学习模型，针对每次会话获得一个意图标签。
如针对图4中的三次会话，针对会话ID(000020fe4364753620b997873332b524)获得的意图标签为“退换货”；针对会话ID(000aab9f4d19d5f3b4fc9f47541bf5bb)获得的意图标签为“退换货”；针对会话ID(198a828d0eb68f666c81323d9ce12381)获得的意图标签为“催单”。
步骤303，若确定针对同一服务接受者的会话的意图标签中存在相同的标签，则将时间在前的会话对应的服务提供者的重复咨询次数加1。
本申请实施例对重复咨询进行了定义：针对同一服务接受者发生多次咨询，即多次会话，则确定在前会话对应的服务提供者发生了重复咨询，将在前会话的服务提供者的重复咨询次数加1。
根据服务应用的领域不同，在具体实现时，为了服务质量评估的更准确，还可以针对同一事件同一服务接受者的会话意图进行比较：
这里的同一事件针对不同服务领域，需要进行不同的定义，如互联网购物领域，则针对同一订单确定为同一事件，咨询同一促销活动确定为同一事件等；
如移动客服应用场景中，针对同一事件，如花费查询、套餐修改等。
同时限制同一服务接受者是针对移动客服等这一类服务的提供，可能存在多个服务接受者咨询同一问题的情况，这时不能给相应的服务提供者增加重复咨询的次数。
在具体实现时，也可以将事件与意图标签相对应，不同的意图标签对应的事件一定不同，也可以只确定针对同一服务接受者的意图标签是否相同即可。
因此，针对服务所应用的领域，设置关键词匹配，来确定哪些会话是同一事件的会话。
如图4中，第一次会话的意图标签为“退换货”，由于该问题并未及时跟进和解决，服务接受者(顾客ID)wanda1234第2次进入咨询了同样的问题。这样，对第1次接待他的服务提供者(客服ID)dx-linyan60而言，就产生了1次重复咨询。第3通会话，服务接受者wanda1237咨询了一个催单的问题，与第2通会话咨询的意图不同，因此不计入服务提供者cd-439860的重复咨询。
如果针对服务接受者wanda1234的退换货问题仍然没有解决，该服务接受者再次进入了咨询，则针对服务提供者cd-439860的重复咨询次数增加1。这样的时间结果为解决问题的服务提供者之前的服务接受者的咨询次数均增加1。
如果重复咨询某个服务提供者2次，均未解决，则增加两次重复咨询次数。
步骤304，将预设时间内每个服务提供者的重复咨询次数与该服务提供者的总咨询次数的比值作为该服务提供者的重复咨询率。
步骤305，根据每个服务提供者的重复咨询率确定该服务提供者的接待质量，重复咨询率的值越小对应的接待质量越高。
重复咨询率越低说明该服务提供者的服务质量越高，每次都能解决服务接受者的问题，服务接受者不用重复进线问第二次。因此，重复咨询率可以从某种程度上反映出每个服务提供者的服务质量。
本申请实施例中通过分析服务提供者和服务接受者的对话过程，提取出一些关键的信息，建立会话维度意图模型，根据模型预测的意图统计出每个服务提供者的重复咨询率，用以反映并衡量服务提供者的接待质量。后续运营人员可以根据该指标，针对性的改进服务提供者的服务质量，最终提升服务接受者的咨询时的用于体验。
基于同样的发明构思，本申请实施例中还提供一种在线服务提供者服务质量评估装置。参见图5，图5为本申请实施例中应用于上述技术的装置结构示意图。该装置包括：获取单元501、建模单元502、计算单元503和确定单元504；
获取单元501，用于获取预设时间内服务提供者与服务接受者的会话信息；其中，所述会话信息中的每次会话对应会话时间；
建模单元502，用于通过预设的HADCN深度学习模型获取单元501获取的会话信息中的每次会话的意图标签；
计算单元503，用于若根据所诉建模单元获取的意图标签确定针对同一服务接受者的会话的意图标签中存在相同的标签，则将时间在前的会话对应的服务提供者的重复咨询次数加1；将预设时间内每个服务提供者的重复咨询次数与该服务提供者的总咨询次数的比值作为该服务提供者的重复咨询率；
确定单元504，用于根据计算单元503计算的每个服务提供者的重复咨询率确定该服务提供者的接待质量，重复咨询率的值越小对应的接待质量越高。
较佳地，
建模单元502，具体用于构造样本数据；所述样本数据包括服务提供者与服务接受者的会话信息，以及每次会话的意图标签；基于构造的样本数据训练初始HADCN深度学习模型，得到预设的HADCN深度学习模型。
较佳地，
建模单元502，具体用于构造样本数据时，获取服务提供者接待服务接受者的会话信息；对所述会话信息进行数据清洗；接收针对每次会话信息分配的意图标签，并将意图标签与对应的会话信息绑定存储，作为样本数据。
较佳地，
建模单元502，具体用于对所述会话信息进行数据清洗时，过滤掉常用的开头语和结束语；将服务接受者的连续会话语句合并为一句语句；将服务提供者的连续会话语句合并为一句语句；在合并过程中将合并前的会话语句之间使用空格表示。
较佳地，
所述预设的HADCN深度学习模型，包括：
针对每次会话中的每条语句产生每条语句的编码的DCN；将每条语句的编码生成所有语句的编码的DCN，以及用于输出所有语句的编码对应的意图标签的一个全连接层和softmax层输。
较佳地，
针对每次会话中的每条语句产生每条语句的编码的DCN的个数为N，当N大于1时，每个DCN之间通过内部Inner注意力Attention连接；
将每条语句的编码生成所有语句的编码的DCN的个数为M，当M大于1时，每个DCN之间通过Inner Attention连接，其中，M和N相同或不同。
较佳地，
针对任一DCN设置如下参数：层数L、过滤器大小filter size k和间隔因子dilation factors d；其中，k表示每次所取的元素的个数；d表示对应层间隔d-1个元素取元素，所述N个DCN设置的参数k和d中至少存在一个参数不相同；所述M个DCN设置的参数k和d中至少存在一个参数不相同。
较佳地，
所述预设的HADCN深度学习模型为训练过程中设置的L、d、k、M和N使得样本数据输出的意图标签的正确率大于预设值的HADCN深度学习模型。
上述实施例的单元可以集成于一体，也可以分离部署；可以合并为一个单元，也可以进一步拆分成多个子单元。
此外，本申请实施例中还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现所述在线服务提供者服务质量评估方法的步骤。
另外，本申请实施例中还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现所述在线服务提供者服务质量评估方法的步骤。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。
Claims (18)
1.一种在线服务提供者服务质量评估方法，其特征在于，该方法包括：
获取预设时间内服务提供者与服务接受者的会话信息；其中，所述会话信息中的每次会话对应会话时间；
通过预设的基于注意力机制的层级空洞卷积网络HADCN深度学习模型，获取会话信息中的每次会话的意图标签；
若确定针对同一服务接受者的会话的意图标签中存在相同的标签，则将时间在前的会话对应的服务提供者的重复咨询次数加1；
将预设时间内每个服务提供者的重复咨询次数与该服务提供者的总咨询次数的比值作为该服务提供者的重复咨询率；
根据每个服务提供者的重复咨询率确定该服务提供者的接待质量，重复咨询率的值越小对应的接待质量越高。
2.根据权利要求1所述的方法，其特征在于，所述预设的HADCN深度学习模型的建立，包括：
构造样本数据；所述样本数据包括服务提供者与服务接受者的会话信息，以及每次会话的意图标签；
基于构造的样本数据训练初始HADCN深度学习模型，得到预设的HADCN深度学习模型。
3.根据权利要求2所述的方法，其特征在于，所述构造样本数据，包括：
获取服务提供者接待服务接受者的会话信息；
对所述会话信息进行数据清洗；
接收针对每次会话信息分配的意图标签，并将意图标签与对应的会话信息绑定存储，作为样本数据。
4.根据权利要求3所述的方法，其特征在于，所述对所述会话信息进行数据清洗，包括：
过滤掉常用的开头语和结束语；
将服务接受者的连续会话语句合并为一句语句；将服务提供者的连续会话语句合并为一句语句；在合并过程中将合并前的会话语句之间使用空格表示。
5.根据权利要求1-4任一项所述的方法，其特征在于，所述预设的HADCN深度学习模型，包括：
针对每次会话中的每条语句产生每条语句的编码的空洞卷积网络DCN；将每条语句的编码生成所有语句的编码的DCN，以及用于输出所有语句的编码对应的意图标签的一个全连接层和归一化指数函数softmax层输。
6.根据权利要求5所述的方法，其特征在于，
针对每次会话中的每条语句产生每条语句的编码的DCN的个数为N，当N大于1时，每个DCN之间通过内部Inner注意力Attention连接；
将每条语句的编码生成所有语句的编码的DCN的个数为M，当M大于1时，每个DCN之间通过Inner Attention连接，其中，M和N相同或不同。
7.根据权利要求6所述的方法，其特征在于，
针对任一DCN设置如下参数：层数L、过滤器大小filter size k和间隔因子dilationfactors d；
其中，k表示每次所取的元素的个数；d表示对应层间隔d-1个元素取元素，所述N个DCN设置的参数k和d中至少存在一个参数不相同；所述M个DCN设置的参数k和d中至少存在一个参数不相同。
8.根据权利要求7所述的方法，其特征在于，所述预设的HADCN深度学习模型为训练过程中设置的L、d、k、M和N使得样本数据输出的意图标签的正确率大于预设值的HADCN深度学习模型。
9.一种在线服务提供者服务质量评估装置，其特征在于，该装置包括：获取单元、建模单元、计算单元和确定单元；
所述获取单元，用于获取预设时间内服务提供者与服务接受者的会话信息；其中，所述会话信息中的每次会话对应会话时间；
所述建模单元，用于通过预设的基于注意力机制的层级空洞卷积网络HADCN深度学习模型获取所述获取单元获取的会话信息中的每次会话的意图标签；
所述计算单元，用于若根据所诉建模单元获取的意图标签确定针对同一服务接受者的会话的意图标签中存在相同的标签，则将时间在前的会话对应的服务提供者的重复咨询次数加1；将预设时间内每个服务提供者的重复咨询次数与该服务提供者的总咨询次数的比值作为该服务提供者的重复咨询率；
所述确定单元，用于根据所述计算单元计算的每个服务提供者的重复咨询率确定该服务提供者的接待质量，重复咨询率的值越小对应的接待质量越高。
10.根据权利要求9所述的装置，其特征在于，
所述建模单元，具体用于构造样本数据；所述样本数据包括服务提供者与服务接受者的会话信息，以及每次会话的意图标签；基于构造的样本数据训练初始HADCN深度学习模型，得到预设的HADCN深度学习模型。
11.根据权利要求10所述的方法，其特征在于，
所述建模单元，具体用于构造样本数据时，获取服务提供者接待服务接受者的会话信息；对所述会话信息进行数据清洗；接收针对每次会话信息分配的意图标签，并将意图标签与对应的会话信息绑定存储，作为样本数据。
12.根据权利要求11所述的方法，其特征在于，
所述建模单元，具体用于对所述会话信息进行数据清洗时，过滤掉常用的开头语和结束语；将服务接受者的连续会话语句合并为一句语句；将服务提供者的连续会话语句合并为一句语句；在合并过程中将合并前的会话语句之间使用空格表示。
13.根据权利要求9-12任一项所述的装置，其特征在于，所述预设的HADCN深度学习模型，包括：
针对每次会话中的每条语句产生每条语句的编码的空洞卷积网络DCN；将每条语句的编码生成所有语句的编码的DCN，以及用于输出所有语句的编码对应的意图标签的一个全连接层和归一化指数函数softmax层输。
14.根据权利要求13所述的装置，其特征在于，
针对每次会话中的每条语句产生每条语句的编码的DCN的个数为N，当N大于1时，每个DCN之间通过内部Inner注意力Attention连接；
将每条语句的编码生成所有语句的编码的DCN的个数为M，当M大于1时，每个DCN之间通过Inner Attention连接，其中，M和N相同或不同。
15.根据权利要求14所述的装置，其特征在于，
针对任一DCN设置如下参数：层数L、过滤器大小filter size k和间隔因子dilationfactors d；其中，k表示每次所取的元素的个数；d表示对应层间隔d-1个元素取元素，所述N个DCN设置的参数k和d中至少存在一个参数不相同；所述M个DCN设置的参数k和d中至少存在一个参数不相同。
16.根据权利要求15所述的装置，其特征在于，所述预设的HADCN深度学习模型为训练过程中设置的L、d、k、M和N使得样本数据输出的意图标签的正确率大于预设值的HADCN深度学习模型。
17.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-8任一项所述的方法。
18.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1-8任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910180436.6A CN111695745A (zh) | 2019-03-11 | 2019-03-11 | 一种在线服务提供者服务质量评估方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910180436.6A CN111695745A (zh) | 2019-03-11 | 2019-03-11 | 一种在线服务提供者服务质量评估方法和装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111695745A true CN111695745A (zh) | 2020-09-22 |
Family
ID=72474539
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910180436.6A Pending CN111695745A (zh) | 2019-03-11 | 2019-03-11 | 一种在线服务提供者服务质量评估方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111695745A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112667792A (zh) * | 2020-12-29 | 2021-04-16 | 招联消费金融有限公司 | 人机对话数据处理方法、装置、计算机设备和存储介质 |
| CN113780610A (zh) * | 2020-12-02 | 2021-12-10 | 北京沃东天骏信息技术有限公司 | 一种客服画像构建方法和装置 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107154257A (zh) * | 2017-04-18 | 2017-09-12 | 苏州工业职业技术学院 | 基于客户语音情感的客服服务质量评价方法及*** |
| WO2018036555A1 (zh) * | 2016-08-25 | 2018-03-01 | 腾讯科技（深圳）有限公司 | 会话处理方法及装置 |
| CN107862423A (zh) * | 2017-06-28 | 2018-03-30 | 陆金所（上海）科技服务有限公司 | ***评估方法、智能评估***及计算机可读存储介质 |
-
2019
- 2019-03-11 CN CN201910180436.6A patent/CN111695745A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018036555A1 (zh) * | 2016-08-25 | 2018-03-01 | 腾讯科技（深圳）有限公司 | 会话处理方法及装置 |
| CN107154257A (zh) * | 2017-04-18 | 2017-09-12 | 苏州工业职业技术学院 | 基于客户语音情感的客服服务质量评价方法及*** |
| CN107862423A (zh) * | 2017-06-28 | 2018-03-30 | 陆金所（上海）科技服务有限公司 | ***评估方法、智能评估***及计算机可读存储介质 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113780610A (zh) * | 2020-12-02 | 2021-12-10 | 北京沃东天骏信息技术有限公司 | 一种客服画像构建方法和装置 |
| CN112667792A (zh) * | 2020-12-29 | 2021-04-16 | 招联消费金融有限公司 | 人机对话数据处理方法、装置、计算机设备和存储介质 |
| CN112667792B (zh) * | 2020-12-29 | 2024-03-22 | 招联消费金融股份有限公司 | 人机对话数据处理方法、装置、计算机设备和存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| RU2745632C1 (ru) | Серверное устройство автоматизированного ответа, оконечное устройство, система ответа, способ ответа и программа | |
| CN110543552B (zh) | 对话交互方法、装置及电子设备 | |
| US9247061B2 (en) | Answer based agent routing and display method | |
| CN112202978A (zh) | 智能外呼***、方法、计算机***及存储介质 | |
| AU2017415315B2 (en) | Integrating virtual and human agents in a multi-channel support system for complex software applications | |
| CN114722839B (zh) | 人机协同对话交互***及方法 | |
| CN110058989B (zh) | 用户行为意图预测方法和装置 | |
| US20180218427A1 (en) | Recommendation integrated online digital sales service chat system | |
| CN112131358A (zh) | 场景流程结构及所应用的智能客服*** | |
| CN110399473B (zh) | 为用户问题确定答案的方法和装置 | |
| CN111182162A (zh) | 基于人工智能的电话质检方法、装置、设备和存储介质 | |
| CN110288995A (zh) | 基于语音识别的交互方法、装置、存储介质和电子设备 | |
| CN112183098A (zh) | 会话的处理方法和装置、存储介质、电子装置 | |
| CN113312468B (zh) | 基于对话模式的话术推荐方法、装置、设备及介质 | |
| CN111695745A (zh) | 一种在线服务提供者服务质量评估方法和装置 | |
| CN116663530B (zh) | 数据生成方法、装置、电子设备及存储介质 | |
| CN109635079A (zh) | 一种用户意图的确定方法、装置、计算机设备和存储介质 | |
| CN111368051A (zh) | 一种对话生成方法、装置及计算机设备 | |
| CN113673256A (zh) | 问询语句改写方法及装置 | |
| CN117251547A (zh) | 用户提问应答方法及其装置、设备、介质 | |
| CN105955961B (zh) | 预约信息处理方法和装置 | |
| CN112800209A (zh) | 会话语料推荐方法、装置、存储介质和电子设备 | |
| CN116561271A (zh) | 问答处理方法及装置 | |
| CN113377972A (zh) | 多媒体内容推荐方法、装置、计算设备和存储介质 | |
| CN116431912A (zh) | 用户画像推送方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |