CN111598485A - 一种多维度智能质检方法、装置、终端设备及介质 - Google Patents
一种多维度智能质检方法、装置、终端设备及介质 Download PDFInfo
- Publication number
- CN111598485A CN111598485A CN202010469227.6A CN202010469227A CN111598485A CN 111598485 A CN111598485 A CN 111598485A CN 202010469227 A CN202010469227 A CN 202010469227A CN 111598485 A CN111598485 A CN 111598485A
- Authority
- CN
- China
- Prior art keywords
- data
- model
- training
- customer service
- abnormal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000007689 inspection Methods 0.000 title claims abstract description 44
- 238000000034 method Methods 0.000 title claims abstract description 37
- 230000002159 abnormal effect Effects 0.000 claims abstract description 48
- 230000008909 emotion recognition Effects 0.000 claims abstract description 35
- 238000012549 training Methods 0.000 claims description 51
- 238000013136 deep learning model Methods 0.000 claims description 40
- 239000013598 vector Substances 0.000 claims description 28
- 238000012545 processing Methods 0.000 claims description 7
- 230000002457 bidirectional effect Effects 0.000 claims description 5
- 238000013527 convolutional neural network Methods 0.000 claims description 5
- 230000001419 dependent effect Effects 0.000 claims description 4
- 239000000284 extract Substances 0.000 claims description 4
- 238000002372 labelling Methods 0.000 claims description 4
- 238000012372 quality testing Methods 0.000 claims 1
- 238000012216 screening Methods 0.000 claims 1
- 238000004891 communication Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 230000006399 behavior Effects 0.000 description 5
- 230000006872 improvement Effects 0.000 description 5
- 238000005457 optimization Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- 230000008451 emotion Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000002996 emotional effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 206010000117 Abnormal behaviour Diseases 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
- G06Q10/06395—Quality analysis or management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
- G06F16/355—Class or cluster creation or modification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/01—Customer relationship services
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Business, Economics & Management (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Resources & Organizations (AREA)
- General Engineering & Computer Science (AREA)
- Strategic Management (AREA)
- Data Mining & Analysis (AREA)
- Economics (AREA)
- General Health & Medical Sciences (AREA)
- Development Economics (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- General Business, Economics & Management (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Entrepreneurship & Innovation (AREA)
- Educational Administration (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Marketing (AREA)
- Biophysics (AREA)
- Accounting & Taxation (AREA)
- Finance (AREA)
- Databases & Information Systems (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Game Theory and Decision Science (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Tourism & Hospitality (AREA)
- Machine Translation (AREA)
Abstract
本发明属于智能质检技术领域，具体公开了一种多维度智能质检方法、装置、终端设备及介质，该方法包括获取对话文本；所述对话数据包括顾客消息和客服消息；将顾客消息和客服消息输入至预先构建的情绪识别模型，得到情绪识别结果；将客服消息分别输入至预先构建的优秀话术识别模型和异常话术识别模型，分别得到优秀话术识别结果和异常话术识别结果；将情绪识别结果、优秀话术识别结果、异常话术识别结果推送给客户端。本发明实现了全量实时客服信息质检，从多个维度来分析和发现客服服务中的问题，有效的提高识别精度。
Description
技术领域
本发明涉及智能质检技术领域，具体的说，是一种多维度智能质检方法、装置、终端设备及介质。
背景技术
在客服领域中，每天客服都会与顾客沟通交流，产生大量的数据信息，客服沟通质量的优劣对企业店铺产品具有非常重要的影响，而大量的客服和沟通又使得很难一个个客服，一通通对话进行质检，常规来说是抽样检查，这样就难以发现隐藏的问题，更不可能实时对问题进行纠正更新，这样也难以形成客服的一些错误理解或操作，也难以发现顾客的常规问题。而在技术迅猛发展的今天，亟需要通过技术的手段来对客服与顾客聊天记录进行分析检查，更快更好的发现存在的问题以进行针对性的优化。
1.现有质检***对客服或者顾客的问句质检粒度往往比较粗，导致真实使用起来发现的问题不够明确。
2.现有质检***多关采用关键词质检，一方面关键词总结耗时耗力且需经常更新，另一方面关键词总结无法发现数据背后的规律，导致几乎没有泛化能力，且非常容易误识别。
发明内容
本发明的目的在于提供一种多维度智能质检方法、装置、终端设备及介质，实现了全量实时客服信息质检，从多个维度来分析和发现客服服务中的问题。
本发明通过下述技术方案实现：
一种多维度智能质检方法，具体包括以下步骤：
获取对话文本；所述对话数据包括顾客消息和客服消息；
将顾客消息和客服消息输入至预先构建的情绪识别模型，得到情绪识别结果；
将客服消息分别输入至预先构建的优秀话术识别模型和异常话术识别模型，分别得到优秀话术识别结果和异常话术识别结果；
将情绪识别结果、优秀话术识别结果、异常话术识别结果推送给客户端。
进一步地，为了更好的实现本发明，在将顾客消息和客服消息输入至预先构建的情绪识别模型之前，还包括：
获取训练样本集并标注；所述训练样本集包括从多个商家与顾客的聊天记录中获取目标特征数据；
将目标特征数据输入至深度学习模型，并对所述深度学习模型进行训练，得到与目标特征数据对应的识别模型，所述识别模型包括情绪识别模型、优秀话术识别模型和异常话术识别模型。
进一步地，为了更好的实现本发明，将目标特征数据输入至深度学习模型，并对所述深度学习模型进行训练，具体是指：
将目标特征数据输入至embedding层，通过embedding层将目标特征数据转化为局部特征向量；
卷积神经网络通过embedding层提取局部特征向量，并对所有局部特征向量进行组合拼接，得到组合特征向量；
全连接网络和BatchNormalization层对到组合特征向量进行更新和标准化；
双向长短时记忆网络层将提取到到组合特征向量进行整合提取得到具有上下文依赖的特征；
将上下文依赖的特征依次输入至全连接层和Softmax层得到识别结果。
进一步地，为了更好的实现本发明，所述目标特征数据包括顾客消息数据和客服消息数据，所述客服消息数据包括优秀话术消息数据和异常话术消息数据；所述优秀话术消息数据的字数长度在10个字数以上；所述异常话术消息数据的字数长度在10个字数以下；
将顾客消息数据和客服消息数据输入至深度学习模型，并对所述深度学习模型进行训练，得到所述的情绪识别模型；
将优秀话术消息数据输入至深度学习模型，并对所述深度学习模型进行训练，得到所述的优秀话术识别模型；
将异常话术消息数据输入至深度学习模型，并对所述深度学习模型进行训练，得到所述的异常话术识别模型。
一种多维度智能质检装置，包括：
训练数据获取模块：从多个商家与顾客的聊天记录中获取目标特征数据，作为训练数据；
模型训练模块：用于使用所述训练数据进行模型训练，以得到情绪识别模型、优秀话术识别模型、异常话术识别模型；
处理模块：用于将目标特征数据中的客服消息筛分为优秀话术消息数据和异常话术消息数据；
推送模块：用于将所述的情绪识别结果、优秀话术识别结果、异常话术识别结果推送给客户端。
一种终端设备，其特征在于：包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机可读指令，所述处理器执行所述计算机可读指令时实现上述的方法。
一种计算机可读取存储介质，所述计算机可读取存储介质中存储有程序代码，所述程序代码可被处理器调用执行上述的方法。
本发明与现有技术相比，具有以下优点及有益效果：
（1）本发明实现了全量实时客服信息质检，从多个维度来分析和发现客服服务中的问题；
（2）本发明通过优秀话术识别模型、异常话术识别、模型情绪识别模型从多个维度分析和发现客服服务中的问题相比现有技术能够有效的提高对于问题的发现的精确度，从而能够有针对性的进行优化。
附图说明
图1为本发明的中多维度智能质检方法；
图2为本发明一种多维度智能质检装置的模块构成示意图；
图3为得到目标特征数据对应的识别模型的流程示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
下面结合实施例对本发明作进一步地详细说明，但本发明的实施方式不限于此。
实施例1：
本发明通过下述技术方案实现，如图1所示，一种多维度智能质检方法，具体包括以下步骤：
获取对话文本；所述对话数据包括顾客消息和客服消息；
将顾客消息和客服消息输入至预先构建的情绪识别模型，得到情绪识别结果；
将客服消息分别输入至预先构建的优秀话术识别模型和异常话术识别模型，分别得到优秀话术识别结果和异常话术识别结果；
将情绪识别结果、优秀话术识别结果、异常话术识别结果推送给客户端。
需要说明的是，通过上述改进，本发明根据实际数据将质检分为3种维度（情绪、优质、异常），且基于深度学习的分类方法进行模型实现，使得在使用过程中验证其识别准确率大大的提高。
实施例2：
本实施例在上述实施例的基础上做进一步优化，如图1所示，进一步地，为了更好的实现本发明，在将顾客消息和客服消息输入至预先构建的情绪识别模型之前，还包括：
获取训练样本集并标注；所述训练样本集包括从多个商家与顾客的聊天记录中获取目标特征数据；
将目标特征数据输入至深度学习模型，并对所述深度学习模型进行训练，得到与目标特征数据对应的识别模型，所述识别模型包括情绪识别模型、优秀话术识别模型和异常话术识别模型。
需要说明的是，通过上述改进，在进行训练集获取之前，先对客服主管进行沟通，总结客服需要的一些能力，如服务意识和规范，问答能力，沟通技巧等大的方面，了解常见的客服问题，如态度差、漏答，生硬拒绝等。以此为基础，分别获取了3家店铺1天的聊天记录，共计约1.8万条消息，约4千个对话，对这些消息进行统计维度的排序，先进行关键词和单字回复的统计，从统计的角度来发现实际对话中存在哪些问题，然后对对话再进行仔细分析，分别从客服和顾客的角度来看具体对话中的问题，共计分析了约1500个对话，对存在的问题做了初步统计，如表1所示：
表1 原始客服数据分析初步结果
通过对真实聊天的人工分析，了解到客服和顾客在沟通中真实存在的问题，发现客服会话行为可以分为2类，包括：异常话术的行为和优秀话术的行为；
异常行为全为短句，句子字数长度多集中于5至8个字；
优秀话术因为要介绍的话术比较丰富，其句子字数长度多集中在10至35个字；因此可以从字数上区分两种行为；而客服和顾客的会话行为均存在情绪话术，而顾客的情绪波动也反映了客服接待的优劣。
对此，从三个维度全方面的对客服聊天数据进行质检，将质检分为情绪识别、异常话术识别、优秀话术识别共3种识别。
本实施例的其他部分与上述实施例相同，故不再赘述。
实施例3：
本实施例在上述实施例的基础上做进一步优化，如图3所示，进一步地，为了更好的实现本发明，将目标特征数据输入至深度学习模型，并对所述深度学习模型进行训练，得到与目标特征数据对应的识别模型，具体是指：
将目标特征数据输入至embedding层，通过embedding层将目标特征数据转化为局部特征向量；
将目标特征数据输入至embedding层，通过embedding层将目标特征数据转化为局部特征向量；
卷积神经网络通过embedding层提取局部特征向量，并对所有局部特征向量进行组合拼接，得到组合特征向量；
全连接网络和BatchNormalization层对到组合特征向量进行更新和标准化；
双向长短时记忆网络层将提取到到组合特征向量进行整合提取得到具有上下文依赖的特征；
将上下文依赖的特征依次输入至全连接层和Softmax层得到聊天记录的类别。
需要说明的是，通过上述改进，因各个质检类型下细分场景比较明确，采用分类技术来实现，整体采用的网络结构，如图3所示，对待一个文本，在分词后，进入embedding层将分词转换为向量，该向量为局部特征向量，考虑到三个质检类型，句子长度不一，因此先采用卷积神经网络提取局部特征向量，以得到各种短语级别的组合特征向量，接着是全连接网络(FC层）和BatchNormalization层来对组合特征向量进行更新和标准化，然后是双向长短时记忆网络层(BiLSTM)，通过该层将前面提取到的组合特征向量进行整合提取得到具有上下文依赖的特征，最后是接入全连接层和Softmax层得到识别结果。
在具体的模型训练阶段会根据其句子的特色，灵活调整网络的深度及参数，训练得到在测试集上最优的模型。
本实施例的其他部分与上述实施例相同，故不再赘述。
实施例4：
本实施例在上述实施例的基础上做进一步优化，如图1所示，进一步地，为了更好的实现本发明，所述目标特征数据包括顾客消息数据和客服消息数据，所述顾客消息数据包括优秀话术消息数据和异常话术消息数据；所述优秀话术消息数据的字数长度在10个字数以上；所述异常话术消息数据的字数长度在10个字数以下；
将顾客消息数据和客服消息数据输入至深度学习模型，并对所述深度学习模型进行训练，得到所述的情绪识别模型；
将优秀话术消息数据输入至深度学习模型，并对所述深度学习模型进行训练，得到所述的优秀话术识别模型；
将异常话术消息数据输入至深度学习模型，并对所述深度学习模型进行训练，得到所述的异常话术识别模型。
需要说明的是，通过上述改进，情绪识别模型、优秀话术识别模型以及异常话术识别模型采用深度学习中的多层神经网络构建；也可采用fasttext、transformer等网络结构构建。
本实施例的其他部分与上述实施例相同，故不再赘述。
实施例5：
本实施例在上述实施例的基础上做进一步优化，如图2所示，一种多维度智能质检装置，包括：
训练数据获取模块：从多个商家与顾客的聊天记录中获取目标特征数据，作为训练数据；
处理模块：用于将目标特征数据中的客服消息筛分为优秀话术消息数据和异常话术消息数据；
模型训练模块：用于使用所述训练数据进行模型训练，以得到情绪识别模型、优秀话术识别模型、异常话术识别模型；
推送模块：用于将所述的情绪识别结果、优秀话术识别结果、异常话术识别结果推送给客户端，客户端根据识别结果生产数据报表进行显示。
在使用时，将客服消息与顾客消息全部流向情绪识别模型，而客服的发送消息句子长度在10个字及以下的流入异常话术识别模型，10个字以上的则流入优秀话术模型。生成质检报表则包含2部分内容，一部分是可以直接根据质检类型查看具体的客服和顾客对话内容，另一部分则是看到质检情绪服务趋势曲线。
本实施例的其他部分与上述实施例相同，故不再赘述。
实施例6：
本实施例在上述实施例的基础上做进一步优化，如图1所示，本申请中的终端设备可以包括一个或多个如下部件：处理器、存储器以及一个或多个应用程序，其中一个或多个应用程序可以被存储在存储器中并被配置为由一个或多个处理器执行，一个或多个程序配置用于执行如前述方法实施例所描述的方法。
需要说明的是，通过上述改进，终端设备可以是智能手机、平板电脑等能够运行应用程序的终端设备。处理器可以包括一个或者多个处理核。处理器利用各种接口和线路连接整个终端设备内的各个部分，通过运行或执行存储在存储器内的指令、程序、代码集或指令集，以及调用存储在存储器内的数据，执行终端设备的各种功能和处理数据。可选地，处理器可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)、可编程逻辑阵列(Programmable LogicArray，PLA)中的至少一种硬件形式来实现。处理器可集成中央处理器(CentralProcessing Unit，CPU)、图像处理器(Graphics Processing Unit，GPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作***、用户界面和应用程序等；GPU用于负责显示内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器中，单独通过一块通信芯片进行实现。
存储器可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory)。存储器可用于存储指令、程序、代码、代码集或指令集。存储器可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作***的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现下述各个方法实施例的指令等。存储数据区还可以存储终端设备在使用中所创建的数据(比如电话本、音视频数据、聊天记录数据)等。
本实施例的其他部分与上述实施例相同，故不再赘述。
实施例7：
本实施例在上述实施例的基础上做进一步优化，如图1所示，一种计算机可读取存储介质，所述计算机可读取存储介质中存储有程序代码，所述程序代码可被处理器调用执行上述的方法。
需要说明的是，通过上述改进，计算机可读存储介质可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。可选地，计算机可读存储介质包括非易失性计算机可读介质(non-transitory computer-readable storagemedium)。计算机可读存储介质具有执行上述方法中的任何方法步骤的程序代码的存储空间。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。程序代码可以例如以适当形式进行压缩。
本实施例的其他部分与上述实施例相同，故不再赘述。
实施例8：
本实施例为本发明中多维度智能质检方法的最佳实施例：
一种多维度智能质检方法，具体包括以下步骤：
获取对话文本；所述对话数据包括顾客消息和客服消息；
判断客服消息的字数长度是否大于10个字数；其中，大于或等于10个字数为优秀话术消息，小于10个字数为异常话术消息；
将顾客消息和客服消息输入至预先构建的情绪识别模型，得到情绪识别结果；
将客服消息中的优秀话术消息输入至预先构建的优秀话术识别模型得到优秀话术识别结果；
将客服消息中的异常话术消息输入至预先构建的异常话术识别模型，得到异常话术识别结果；
将情绪识别结果、优秀话术识别结果、异常话术识别结果推送给客户端，供相关人员查阅和判断客服人员的工作情况。
在将顾客消息和客服消息输入至预先构建的情绪识别模型之前，还包括：
获取训练样本集并标注；所述训练样本集包括从多个商家与顾客的聊天记录中获取目标特征数据；
将目标特征数据输入至深度学习模型，并对所述深度学习模型进行训练，得到与目标特征数据对应的识别模型，所述识别模型包括情绪识别模型、优秀话术识别模型和异常话术识别模型。情绪识别模型、优秀话术识别模型和异常话术识别模型均是基于深度学习中的多层神经网络构建或fasttext网络结构或transformer网络结构构建的，在进行不同类型的识别时，根据问句的分类，调整网络的深度及参数，从而得到对应的识别结果。
将目标特征数据输入至深度学习模型，并对所述深度学习模型进行训练，得到与目标特征数据对应的识别模型，具体是指：
将目标特征数据输入至embedding层，通过embedding层将目标特征数据转化为局部特征向量；
卷积神经网络通过embedding层提取局部特征向量，并对所有局部特征向量进行组合拼接，得到组合特征向量；
全连接网络和BatchNormalization层对到组合特征向量进行更新和标准化；
双向长短时记忆网络层将提取到到组合特征向量进行整合提取得到具有上下文依赖的特征；
将上下文依赖的特征依次输入至全连接层和Softmax层得到识别结果。
这里的识别结果包括情绪识别结果、优秀话术识别结果、异常话术识别结果。
所述目标特征数据包括顾客消息数据和客服消息数据，所述客服消息数据包括优秀话术消息数据和异常话术消息数据；所述优秀话术消息数据的字数长度在10-35个字数；所述异常话术消息数据的字数长度在10个字数以下；
将顾客消息数据和客服消息数据输入至深度学习模型，并对所述深度学习模型进行训练，得到所述的情绪识别模型；
将优秀话术消息数据输入至深度学习模型，并对所述深度学习模型进行训练，得到所述的优秀话术识别模型；
将异常话术消息数据输入至深度学习模型，并对所述深度学习模型进行训练，得到所述的异常话术识别模型。
本实施例的其他部分与上述实施例相同，故不再赘述。
以上所述，仅是本发明的较佳实施例，并非对本发明做任何形式上的限制，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化，均落入本发明的保护范围之内。
Claims (7)
1.一种多维度智能质检方法，其特征在于：具体包括以下步骤：
获取对话文本；所述对话数据包括顾客消息和客服消息；
将顾客消息和客服消息输入至预先构建的情绪识别模型，得到情绪识别结果；
将客服消息分别输入至预先构建的优秀话术识别模型和异常话术识别模型，分别得到优秀话术识别结果和异常话术识别结果；
将情绪识别结果、优秀话术识别结果、异常话术识别结果推送给客户端。
2.根据权利要求1所述的一种多维度智能质检方法，其特征在于：在将顾客消息和客服消息输入至预先构建的情绪识别模型之前，还包括：
获取训练样本集并标注；所述训练样本集包括从多个商家与顾客的聊天记录中获取目标特征数据；
将目标特征数据输入至深度学习模型，并对所述深度学习模型进行训练，得到与目标特征数据对应的识别模型；所述识别模型包括情绪识别模型、优秀话术识别模型和异常话术识别模型。
3.根据权利要求2所述的一种多维度智能质检方法，其特征在于：将目标特征数据输入至深度学习模型，并对所述深度学习模型进行训练，具体是指：
将目标特征数据输入至embedding层，通过embedding层将目标特征数据转化为局部特征向量；
卷积神经网络通过embedding层提取局部特征向量，并对所有局部特征向量进行组合拼接，得到组合特征向量；
全连接网络和BatchNormalization层对到组合特征向量进行更新和标准化；
双向长短时记忆网络层将提取到到组合特征向量进行整合提取得到具有上下文依赖的特征；
将上下文依赖的特征依次输入至全连接层和Softmax层得到识别结果。
4.根据权利要求2所述的一种多维度智能质检方法，其特征在于：所述目标特征数据包括顾客消息数据和客服消息数据，所述客服消息数据包括优秀话术消息数据和异常话术消息数据；所述优秀话术消息数据的字数长度在10-35个字数；所述异常话术消息数据的字数长度在10个字数以下；
将顾客消息数据和客服消息数据输入至深度学习模型，并对所述深度学习模型进行训练，得到所述的情绪识别模型；
将优秀话术消息数据输入至深度学习模型，并对所述深度学习模型进行训练，得到所述的优秀话术识别模型；
将异常话术消息数据输入至深度学习模型，并对所述深度学习模型进行训练，得到所述的异常话术识别模型。
5.一种多维度智能质检装置，其特征在于：包括：
训练数据获取模块：从多个商家与顾客的聊天记录中获取目标特征数据，作为训练数据；
处理模块：用于将训练数据筛分为优秀话术消息数据和异常话术消息数据；
模型训练模块：用于使用所述训练数据进行模型训练，以得到情绪识别模型、优秀话术识别模型、异常话术识别模型；
推送模块：用于将所述的情绪识别结果、优秀话术识别结果、异常话术识别结果推送给客户端。
6.一种终端设备，其特征在于：包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机可读指令，其特征在于：所述处理器执行所述计算机可读指令时实现如权利要求1至4中任一项所述的方法。
7.一种计算机可读取存储介质，其特征在于：所述计算机可读取存储介质中存储有程序代码，所述程序代码可被处理器调用执行如权利要求1至4任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010469227.6A CN111598485A (zh) | 2020-05-28 | 2020-05-28 | 一种多维度智能质检方法、装置、终端设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010469227.6A CN111598485A (zh) | 2020-05-28 | 2020-05-28 | 一种多维度智能质检方法、装置、终端设备及介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111598485A true CN111598485A (zh) | 2020-08-28 |
Family
ID=72185770
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010469227.6A Pending CN111598485A (zh) | 2020-05-28 | 2020-05-28 | 一种多维度智能质检方法、装置、终端设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111598485A (zh) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112463962A (zh) * | 2020-11-18 | 2021-03-09 | 深圳木成林科技有限公司 | 一种聊天记录质检方法及装置 |
| CN112992150A (zh) * | 2021-03-10 | 2021-06-18 | 中国工商银行股份有限公司 | 话术模板使用效果评价方法及装置 |
| CN113051381A (zh) * | 2021-03-23 | 2021-06-29 | 京东数字科技控股股份有限公司 | 信息质检方法、装置、计算机***和计算机可读存储介质 |
| CN113240436A (zh) * | 2021-04-22 | 2021-08-10 | 北京沃东天骏信息技术有限公司 | 在线客服话术质检的方法和装置 |
| CN113780610A (zh) * | 2020-12-02 | 2021-12-10 | 北京沃东天骏信息技术有限公司 | 一种客服画像构建方法和装置 |
| CN114969352A (zh) * | 2022-08-03 | 2022-08-30 | 阿里巴巴（中国）有限公司 | 文本处理方法、***、存储介质及电子设备 |
| CN115169325A (zh) * | 2022-09-06 | 2022-10-11 | 平安银行股份有限公司 | 一种对话质检方法、装置、计算机设备及存储介质 |
| TWI785721B (zh) * | 2021-08-05 | 2022-12-01 | 中國信託商業銀行股份有限公司 | 即時分析回覆設備 |
| CN116361429A (zh) * | 2023-01-19 | 2023-06-30 | 北京伽睿智能科技集团有限公司 | 一种业务异常员工管理方法、***、设备及存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140278506A1 (en) * | 2013-03-15 | 2014-09-18 | Contagious Change LLC | Automatically evaluating and providing feedback on verbal communications from a healthcare provider |
| CN109033257A (zh) * | 2018-07-06 | 2018-12-18 | 中国平安人寿保险股份有限公司 | 话术推荐方法、装置、计算机设备和存储介质 |
| CN109710934A (zh) * | 2018-12-26 | 2019-05-03 | 南京云问网络技术有限公司 | 基于情感的客服质量监督算法 |
| CN109767765A (zh) * | 2019-01-17 | 2019-05-17 | 平安科技（深圳）有限公司 | 话术匹配方法及装置、存储介质、计算机设备 |
| CN110310663A (zh) * | 2019-05-16 | 2019-10-08 | 平安科技（深圳）有限公司 | 违规话术检测方法、装置、设备及计算机可读存储介质 |
-
2020
- 2020-05-28 CN CN202010469227.6A patent/CN111598485A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140278506A1 (en) * | 2013-03-15 | 2014-09-18 | Contagious Change LLC | Automatically evaluating and providing feedback on verbal communications from a healthcare provider |
| CN109033257A (zh) * | 2018-07-06 | 2018-12-18 | 中国平安人寿保险股份有限公司 | 话术推荐方法、装置、计算机设备和存储介质 |
| CN109710934A (zh) * | 2018-12-26 | 2019-05-03 | 南京云问网络技术有限公司 | 基于情感的客服质量监督算法 |
| CN109767765A (zh) * | 2019-01-17 | 2019-05-17 | 平安科技（深圳）有限公司 | 话术匹配方法及装置、存储介质、计算机设备 |
| CN110310663A (zh) * | 2019-05-16 | 2019-10-08 | 平安科技（深圳）有限公司 | 违规话术检测方法、装置、设备及计算机可读存储介质 |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112463962A (zh) * | 2020-11-18 | 2021-03-09 | 深圳木成林科技有限公司 | 一种聊天记录质检方法及装置 |
| CN113780610A (zh) * | 2020-12-02 | 2021-12-10 | 北京沃东天骏信息技术有限公司 | 一种客服画像构建方法和装置 |
| CN112992150A (zh) * | 2021-03-10 | 2021-06-18 | 中国工商银行股份有限公司 | 话术模板使用效果评价方法及装置 |
| CN112992150B (zh) * | 2021-03-10 | 2022-06-21 | 中国工商银行股份有限公司 | 话术模板使用效果评价方法及装置 |
| CN113051381A (zh) * | 2021-03-23 | 2021-06-29 | 京东数字科技控股股份有限公司 | 信息质检方法、装置、计算机***和计算机可读存储介质 |
| CN113051381B (zh) * | 2021-03-23 | 2024-03-08 | 京东科技控股股份有限公司 | 信息质检方法、装置、计算机***和计算机可读存储介质 |
| CN113240436A (zh) * | 2021-04-22 | 2021-08-10 | 北京沃东天骏信息技术有限公司 | 在线客服话术质检的方法和装置 |
| TWI785721B (zh) * | 2021-08-05 | 2022-12-01 | 中國信託商業銀行股份有限公司 | 即時分析回覆設備 |
| CN114969352A (zh) * | 2022-08-03 | 2022-08-30 | 阿里巴巴（中国）有限公司 | 文本处理方法、***、存储介质及电子设备 |
| CN114969352B (zh) * | 2022-08-03 | 2022-12-27 | 阿里巴巴（中国）有限公司 | 文本处理方法、***、存储介质及电子设备 |
| CN115169325A (zh) * | 2022-09-06 | 2022-10-11 | 平安银行股份有限公司 | 一种对话质检方法、装置、计算机设备及存储介质 |
| CN116361429A (zh) * | 2023-01-19 | 2023-06-30 | 北京伽睿智能科技集团有限公司 | 一种业务异常员工管理方法、***、设备及存储介质 |
| CN116361429B (zh) * | 2023-01-19 | 2024-02-02 | 北京伽睿智能科技集团有限公司 | 一种业务异常员工管理方法、***、设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111598485A (zh) | 一种多维度智能质检方法、装置、终端设备及介质 | |
| CN108682420B (zh) | 一种音视频通话方言识别方法及终端设备 | |
| CN112951275B (zh) | 语音质检方法、装置、电子设备及介质 | |
| CN107402912B (zh) | 解析语义的方法和装置 | |
| CN112468659B (zh) | 应用于电话客服的质量评价方法、装置、设备及存储介质 | |
| CN109410986B (zh) | 一种情绪识别方法、装置及存储介质 | |
| CN110839112A (zh) | 一种问题语音的检测方法和装置 | |
| CN109147793B (zh) | 语音数据的处理方法、装置及*** | |
| CN110929011A (zh) | 一种对话分析方法、装置和设备 | |
| CN111182162A (zh) | 基于人工智能的电话质检方法、装置、设备和存储介质 | |
| CN111210842A (zh) | 语音质检方法、装置、终端及计算机可读存储介质 | |
| CN113240436A (zh) | 在线客服话术质检的方法和装置 | |
| CN111159334A (zh) | 用于房源跟进信息处理的方法及*** | |
| CN113239204A (zh) | 文本分类方法及装置、电子设备、计算机可读存储介质 | |
| CN112836053A (zh) | 用于工业领域的人机对话情感分析方法及*** | |
| US20070239430A1 (en) | Correcting semantic classification of log data | |
| CN113657773A (zh) | 话术质检方法、装置、电子设备及存储介质 | |
| CN113726942A (zh) | 一种智能电话接听方法、***、介质及电子终端 | |
| CN112749238A (zh) | 搜索排序方法、装置、电子设备以及计算机可读存储介质 | |
| CN111949777A (zh) | 一种基于人群分类的智能语音对话方法、装置及电子设备 | |
| CN110728131A (zh) | 一种分析文本属性的方法和装置 | |
| CN114356982A (zh) | 营销合规性检查方法、装置、计算机设备及存储介质 | |
| CN114579751A (zh) | 情绪分析方法、装置、电子设备及存储介质 | |
| CN114138960A (zh) | 用户意图识别方法、装置、设备及介质 | |
| CN113434630A (zh) | 客服服务评估方法、装置、终端设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200828 |