CN112329437A - 一种智能客服语音质检评分方法、设备及存储介质 - Google Patents
一种智能客服语音质检评分方法、设备及存储介质 Download PDFInfo
- Publication number
- CN112329437A CN112329437A CN202011131622.XA CN202011131622A CN112329437A CN 112329437 A CN112329437 A CN 112329437A CN 202011131622 A CN202011131622 A CN 202011131622A CN 112329437 A CN112329437 A CN 112329437A
- Authority
- CN
- China
- Prior art keywords
- customer service
- scoring
- data
- recording
- voice quality
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000007689 inspection Methods 0.000 title claims abstract description 21
- 238000013077 scoring method Methods 0.000 title claims description 20
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 39
- 238000000034 method Methods 0.000 claims abstract description 18
- 238000013135 deep learning Methods 0.000 claims abstract description 12
- 238000007405 data analysis Methods 0.000 claims description 14
- 230000006698 induction Effects 0.000 claims description 14
- 238000012549 training Methods 0.000 claims description 9
- 238000006243 chemical reaction Methods 0.000 claims description 8
- 239000003795 chemical substances by application Substances 0.000 claims description 8
- 238000004140 cleaning Methods 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 8
- 239000011159 matrix material Substances 0.000 claims description 8
- 238000007635 classification algorithm Methods 0.000 claims description 7
- 238000003908 quality control method Methods 0.000 claims description 6
- 238000007637 random forest analysis Methods 0.000 claims description 5
- 230000002567 autonomic effect Effects 0.000 claims description 3
- 230000001939 inductive effect Effects 0.000 claims description 3
- 238000012417 linear regression Methods 0.000 claims description 3
- 238000012163 sequencing technique Methods 0.000 claims description 2
- 230000007547 defect Effects 0.000 abstract description 4
- 238000011161 development Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000033764 rhythmic process Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/205—Parsing
- G06F40/211—Syntactic parsing, e.g. based on context-free grammar [CFG] or unification grammars
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
- G06Q10/06393—Score-carding, benchmarking or key performance indicator [KPI] analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
- G06Q10/06395—Quality analysis or management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
- G06Q30/0281—Customer communication at a business location, e.g. providing product or service information, consulting
Landscapes
- Business, Economics & Management (AREA)
- Engineering & Computer Science (AREA)
- Human Resources & Organizations (AREA)
- Theoretical Computer Science (AREA)
- Strategic Management (AREA)
- Development Economics (AREA)
- Physics & Mathematics (AREA)
- Economics (AREA)
- Entrepreneurship & Innovation (AREA)
- General Physics & Mathematics (AREA)
- Educational Administration (AREA)
- Game Theory and Decision Science (AREA)
- Marketing (AREA)
- General Business, Economics & Management (AREA)
- Tourism & Hospitality (AREA)
- Operations Research (AREA)
- Finance (AREA)
- Accounting & Taxation (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Quality & Reliability (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Machine Translation (AREA)
Abstract
本发明涉及一种智能客服语音质检评分方法、设备及存储介质，针对传统客服语音质检评分采用关键词搜索存在的两个不足，即评分规则需人工设定且不能及时根据市场变化进行完善和当客服用了近义词表达了相同意思将不会被关键词搜索到从而导致评分错误，提出了一种智能客服语音质检评分方法，能够在不同场景下根据客服坐席录音文本，智能自主归纳形成评分规则，并运用深度学习算法，自动识别客服坐席录音语句与规则语句的相似度，从而给予评分，同时，根据客服坐席的评分反馈评分细则和建议，帮助客服坐席发现问题并及时完善话术。
Description
技术领域
本发明涉及智能语音质检技术领域，尤其是涉及一种智能客服语音质检评分方法、设备及存储介质。
背景技术
传统的客服坐席语音质检需要人工抽取部分录音并完整听完录音后给予客服坐席录音评分，这种方法不仅耗费大量人力，且时效性不能满足要求，质检覆盖率也较低。
近几年出现了智能语音质检***，实现了录音实时转文本、自动评分、覆盖率100％等。其中自动评分主要是采用搜索关键字的方法，该方法是在录音转成文本后，在文本中搜索指定关键字，当出现了关键字后给予设定好的分值，如加分或减分，最后给出总评分。该方法的不足在于，评分规则是人为设定的，这需要较强的专业知识和业务背景，而且评分规则不能根据实际业务的发展情况及时进行调整；当客服坐席用了近义词表达了相同意思将不会被关键词搜索到，从而导致评分错误。
发明内容
本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种智能客服语音质检评分方法、设备及存储介质，能够在不同场景下根据客服坐席录音文本，智能自主归纳形成评分规则，并运用深度学习算法，自动识别客服坐席录音语句与规则语句的相似度，从而给予评分。
本发明的目的可以通过以下技术方案来实现：
一种智能客服语音质检评分方法，该方法包括以下步骤：
步骤1：将客服坐席录音转文本后导出至数据分析***中；
步骤2：于数据分析***中设置针对客服坐席录音进行评分的规则以及标准；
步骤3：基于设置的针对客服坐席录音进行评分的规则以及标准，和转文本后的客服坐席录音数据，通过计算两者间的相似度从而进行评分；
步骤4：将所有的评分累加，得到总评分后输出即为该客服坐席的录音评分。
进一步地，所述的步骤1包括以下分步骤：
步骤101：连接客服坐席录音文本数据接口，通过API连接该数据接口并将数据导入至数据分析***中；
步骤102：同时将数据存储至数据分析***的工作空间中。
进一步地，所述的步骤2包括：
步骤201：在开始时于数据分析***中通过人工设定评分规则，即对应句子；
步骤202：数据分析***运行设定时间之后，将人工设定评分规则转为设置成智能自主归纳评分规则。
进一步地，所述的步骤202中的智能自主归纳评分规则的设置过程包括以下步骤：
步骤2021：将步骤1中得到的转文本后的客服坐席录音数据，通过正则表达式进行数据清洗；
步骤2022：针对经过数据清洗的文本通过编码算法模型进行编码；
步骤2023：针对编码后的数据根据场景选择不同的回归或分类算法模型进行训练；
步骤2024：训练完毕后选取对于模型权重更大的特征，并通过解码算法解码得到对应完整句子；
步骤2025：将该完整句子存储至评分规则中以作为智能自主归纳评分规则。
进一步地，所述的步骤3包括以下步骤：
步骤301：将设置的针对客服坐席录音进行评分的规则以及标准所对应的规则文本通过编码算法编码后再输入至向量表示算法中；
步骤302：将转文本后的客服坐席录音数据，通过正则表达式进行数据清洗，通过编码算法模型进行编码，再输入至向量表示算法中；
步骤303：将于向量表示算法中生成的两者对应向量表示的句子配对，并计算相似度，得到每一对句子之间的相似度评分；
所述步骤301和步骤302中的向量表示算法包括word2vec、LSTM或BERT。
进一步地，所述的步骤4具体包括：取所有配对句子之间的相似度评分的最大值排序并循环判断，当该最大值判断为正常用语对应的配对句子对应的相似度评分且大于设定阈值时，总评分加分，当该最大值判断为禁止用语对应的配对句子对应的相似度评分且大于设定阈值时，总评分减分，当该最大值小于设定阈值时，总评分维持不变。
进一步地，所述的步骤303中的相似度评分，其计算公式为：
score＝exp(-||h_a-h_b||)
式中，score为相似度评分，h_a为编码后的录音文本通过向量表示所对应的矩阵，h_b为编码后的规则文本通过向量表示所对应的矩阵。
进一步地，所述的步骤2023中的回归算法模型包括线性回归、logistics、SVR、XGBOOST或深度学习，分类算法模型包括贝叶斯分类、logistics、SVM、XGBOOST、随机森林、深度随机森林或深度学习。
本发明还提供一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现所述的一种智能客服语音质检评分方法的步骤。
本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现所述的一种智能客服语音质检评分方法的步骤。
与现有技术相比，本发明具有以下优点：
(1)本发明质检评分方法包括以下步骤：步骤1：将客服坐席录音转文本后导出至数据分析***中；步骤2：于数据分析***中设置针对客服坐席录音进行评分的规则以及标准；步骤3：基于设置的针对客服坐席录音进行评分的规则以及标准，和转文本后的客服坐席录音数据，通过计算两者间的相似度从而进行评分；步骤4：将所有的评分累加，得到总评分后输出即为该客服坐席的录音评分，可以根据不同场景智能自主学习归纳出评分规则。
(2)智能自主归纳评分规则可以根据业务发展遇到的新情况新情景及时调整评分规则，进而促进话术的完善。
(3)以深度学习为基础，通过评分规则和客服坐席录音的相似度给予评分，克服关键词搜索缺陷，评分结果更准确。
(4)根据客服坐席的评分反馈评分细则和建议，帮助客服坐席发现问题并及时修正。
(5)自由设置评分规则，将规则由词级提升到句级，规则设置更方便。
附图说明
图1为本发明实施例的整体步骤流程图；
图2为本发明方法实施例的各大步骤中录音文本的具体步骤流程图；
图3为本发明方法实施例的各大步骤中评分规则的具体步骤流程图；
图4为本发明方法实施例的评分规则步骤中的智能自主归纳评分规则算法的具体步骤流程图；
图5为本发明方法实施例的各大步骤中智能评分及输出评分的具体步骤流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都应属于本发明保护的范围。
具体实施例
本发明方法提供了一种智能客服语音质检评分方法，通过智能自主学习归纳评分规则，并采用深度学习算法计算客服录音与设定规则语句的相似度给予评分。
具体实施步骤框架如图1所示，整个设计包含录音文本输入、评分规则、智能评分、输出评分和输出建议5个大的步骤，接下来详细描述一下各个步骤的具体方法。
一、录音文本：
在这一步中，主要任务是将公司***中的客服坐席录音转文本后导出到数据分析软件或***中，以便能够通过数据分析软件或***对客服坐席的录音文本进行下一步的操作和分析，如图2所示：
1、连接客服坐席录音文本数据接口，即客服坐席录音已经转录好成为文本的数据，通过API连接数据接口，将数据导入数据分析软件或***中。
2、将数据储存到数据分析软件或***的工作空间中。
二、评分规则：
在这一步中，评分规则是对客服坐席录音进行评分的标准，根据业务需要，需要分为人工设定评分规则和智能自主归纳评分规则，如图3所示：
1、在项目初期，由于数据不足，所以还不能对智能自主归纳评分规则进行充分的训练和完善。因此，在项目前期，需要用人工设定评分规则进行评分，人工设定的评分规则也不再是设定关键词，而是设定句子。包括必须向客户提到的句子，例如核身、介绍产品等；不能提及的禁止语句，例如保证利率等。
2、在项目进行一段时间后，积累了足够的录音数据和客户反馈信息，智能自主归纳评分规则能够给完成评分规则的设定，进而转入采用智能自主归纳评分规则进行评分。
其中，智能自主归纳评分规则的算法具体过程如图4所示：
1、在客服坐席录音转录成为文本后，通过正则表达式等数据清洗方法去除一些特殊符号、语气助词、停用词等对算法用处不大的词，起到降低计算量、提高准确度的作用。
2、在去除无用数据的基础上，将文本转化为计算机能够进行计算的数字类型数据，即编码。编码的算法包含但不限于向量空间模型、Tf-idf、LDA、word2vec、BERT、XLNET等模型。
3、完成编码后，根据场景需要选择回归或分类模型，并选择不同的标签。例如，以成交为主要目的的业务，则采用分类算法，以成交/不成交为标签进行模型训练；以完成客户投诉或者客户要求的业务，可以采用回归算法，以满意度作为标签进行模型训练。其中，分类算法包含但不限于贝叶斯分类、logistics、SVM、XGBOOST、随机森林、深度随机森林、深度学习等；回归算法包含但不限于线性回归、logistics、SVR、XGBOOST、深度学习等。
4、根据模型的训练结果，设定模型达标的标准，例如分类算法准确率大于60％或回归算法误差在30％以内。在模型训练达到要求后，则提取出对模型影响较大的特征，这些特征在文本上表现为一句话。例如，如果某句话在已成交的单中反复出现，而在未成交的单中出现的次数较少，那么在模型训练的时候，会自动增加这句话对结果影响的权重，在深度学习中表现为神经网络的权重，而在logistics中表现为系数的大小，具体是哪种表现形式需要根据算法来进行确定。
5、选取出对模型影响较大的特征后，这时的特征仍是数字形式，再根据但不限于向量空间模型、Tf-idf、LDA、word2vec、BERT、XLNET等模型的解码算法，解码后将得到完整的句子。
6、形成句子后，自动将该句子储存到评分规则中。此外，可以根据实际需要，确定智能自主归纳评分规则算法的更新时间间隔，考虑到如果评分规则一直变化将不利于客服坐席熟悉评分规则，打乱工作节奏和影响客服坐席的思路，可以确定一个周或者两个周乃至一个月进行一次定智能自主归纳评分规则算法的更新，从而更新规则。这样既能充分考虑实际应用，又能及时发现市场变化从而调整评分规则，进而引导客服坐席调整话术，促进成交或者提高满意度。
三、智能评分及输出评分：
在这一步中，由于评分规则不再是关键词，而是句子，因此不能通过搜索关键词的方式进行评分，同时，通过搜索关键词评分的方式也会出现当客服坐席用了近义词表达了相同意思后得不到相应得分的情况。而通过计算评分规则和客服坐席录音句子之间相似度，根据相似度给予相应评分，即可避免出现上述问题。根据相似度判断客服录音文本数据跟规则语句是否是同一个意思，从而进行评分。
在输出评分这一步中，是将算法计算出来的评分进行累加，最后给出总评分，如图5所示：
1、录音文本包含了客户和客服坐席的录音文本数据，同时还包含有很多语气词、重复字等，因此需要先提取出客服坐席的录音文本并去除语气词、重复词等，一般采用正则表达式等方法进行数据清洗，并将录音文本分句。
2、对录音文本和规则文本都进行编码，编码的算法包含但不限于向量空间模型、Tf-idf、LDA、word2vec、BERT、XLNET等模型。
3、将编码后的录音文本和规则文本分别输入向量表示算法中，向量表示算法包括但不限于word2vec、LSTM、BERT等，经过向量表示算法计算出每一个句子的向量表示h，如果我们设置的向量长度为256，那么一句话的输出即为1×256的向量，如果规则语句有20条，那么可以生成一个矩阵h_a为20×256用于表示所有规则语句。同理，客服坐席录音文本有50句，那么就以h_b为50×256的矩阵表示一个录音中客服坐席录音文本数据。
4、因需要两两句子配对去计算规则语句中每一句和客服坐席录音中每一句的相似性，因此，可以生成20×50＝1000个向量组合，即需要将规则语句中的每一个规则语句跟客服坐席的所有句子一一配对，计算其相似度，计算相似度的公式为：
score＝exp(-||h_a-h_b||)
式中，score为相似度评分，h_a为编码后的录音文本通过向量表示所对应的矩阵，h_b为编码后的规则文本通过向量表示所对应的矩阵，计算出每一对句子之间的相似度score。
5、一句规则语句跟客服录音文本的50句计算出50个score，并取最大score_max，当score_max大于设定的阈值，那么即认为这两句话是同一个意思，也说明了客服坐席完成了规定的任务，那么在总分SUM上加分，这个加分可以自由设定，如果某一句话重要性程度高，可以设置高分值。也可以由算法自动给予分值设定，设定方法为：将智能自主归纳评分规则中所有句子的权重标准化到0-1的区间，然后按照权重×100的方式设定分数。同样的，如果禁止用语匹配出的score_max也大于阈值，则说明客服坐席说了禁止的话，从而需要进行减分，那么在总分SUM上减分。如果score_max小于阈值，则不加分。
6、最后输出总评分SUM即为该客服坐席的录音评分。
四、输出建议：
输出建议是为了让客服坐席及时看到自己的质检评分以及扣分点细则，***可以根据客服坐席的录音情况，输出细则和改进的建议。如客服坐席因没有说必说项，将会没有得到该项评分，在输出建议时即可建议该客服坐席下次要注意该项话术。
五、总结：
基于上面的分析和每一步的实施步骤可以发现，本方案提出了一套智能客服质检评分的方法，能够根据不同的应用场景，智能自主归纳评分规则，并根据业务的发展不断改进和完善规则，并运用深度学习算法，自动识别客服录音中的语句与规则中语句的相似度，从而给予评分。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。
Claims (10)
1.一种智能客服语音质检评分方法，其特征在于，该方法包括以下步骤：
步骤1：将客服坐席录音转文本后导出至数据分析***中；
步骤2：于数据分析***中设置针对客服坐席录音进行评分的规则以及标准；
步骤3：基于设置的针对客服坐席录音进行评分的规则以及标准，和转文本后的客服坐席录音数据，通过计算两者间的相似度从而进行评分；
步骤4：将所有的评分累加，得到总评分后输出即为该客服坐席的录音评分。
2.根据权利要求1所述的一种智能客服语音质检评分方法，其特征在于，所述的步骤1包括以下分步骤：
步骤101：连接客服坐席录音文本数据接口，通过API连接该数据接口并将数据导入至数据分析***中；
步骤102：同时将数据存储至数据分析***的工作空间中。
3.根据权利要求1所述的一种智能客服语音质检评分方法，其特征在于，所述的步骤2包括：
步骤201：在开始时于数据分析***中通过人工设定评分规则，即对应句子；
步骤202：数据分析***运行设定时间之后，将人工设定评分规则转为设置成智能自主归纳评分规则。
4.根据权利要求3所述的一种智能客服语音质检评分方法，其特征在于，所述的步骤202中的智能自主归纳评分规则的设置过程包括以下步骤：
步骤2021：将步骤1中得到的转文本后的客服坐席录音数据，通过正则表达式进行数据清洗；
步骤2022：针对经过数据清洗的文本通过编码算法模型进行编码；
步骤2023：针对编码后的数据根据场景选择不同的回归或分类算法模型进行训练；
步骤2024：训练完毕后选取对于模型权重更大的特征，并通过解码算法解码得到对应完整句子；
步骤2025：将该完整句子存储至评分规则中以作为智能自主归纳评分规则。
5.根据权利要求1所述的一种智能客服语音质检评分方法，其特征在于，所述的步骤3包括以下步骤：
步骤301：将设置的针对客服坐席录音进行评分的规则以及标准所对应的规则文本通过编码算法编码后再输入至向量表示算法中；
步骤302：将转文本后的客服坐席录音数据，通过正则表达式进行数据清洗，通过编码算法模型进行编码，再输入至向量表示算法中；
步骤303：将于向量表示算法中生成的两者对应向量表示的句子配对，并计算相似度，得到每一对句子之间的相似度评分；
所述步骤301和步骤302中的向量表示算法包括word2vec、LSTM或BERT。
6.根据权利要求5所述的一种智能客服语音质检评分方法，其特征在于，所述的步骤4具体包括：取所有配对句子之间的相似度评分的最大值排序并循环判断，当该最大值判断为正常用语对应的配对句子对应的相似度评分且大于设定阈值时，总评分加分，当该最大值判断为禁止用语对应的配对句子对应的相似度评分且大于设定阈值时，总评分减分，当该最大值小于设定阈值时，总评分维持不变。
7.根据权利要求5所述的一种智能客服语音质检评分方法，其特征在于，所述的步骤303中的相似度评分，其计算公式为：
score＝exp(-||h_a-h_b||)
式中，score为相似度评分，h_a为编码后的录音文本通过向量表示所对应的矩阵，h_b为编码后的规则文本通过向量表示所对应的矩阵。
8.根据权利要求4所述的一种智能客服语音质检评分方法，其特征在于，所述的步骤2023中的回归算法模型包括线性回归、logistics、SVR、XGBOOST或深度学习，分类算法模型包括贝叶斯分类、logistics、SVM、XGBOOST、随机森林、深度随机森林或深度学习。
9.一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至8中任一项所述的一种智能客服语音质检评分方法的步骤。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至8中任一项所述的一种智能客服语音质检评分方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011131622.XA CN112329437B (zh) | 2020-10-21 | 2020-10-21 | 一种智能客服语音质检评分方法、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011131622.XA CN112329437B (zh) | 2020-10-21 | 2020-10-21 | 一种智能客服语音质检评分方法、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112329437A true CN112329437A (zh) | 2021-02-05 |
| CN112329437B CN112329437B (zh) | 2024-05-28 |
Family
ID=74311880
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011131622.XA Active CN112329437B (zh) | 2020-10-21 | 2020-10-21 | 一种智能客服语音质检评分方法、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112329437B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112687257A (zh) * | 2021-03-11 | 2021-04-20 | 北京新唐思创教育科技有限公司 | 句子相似度判断方法、装置、电子设备和可读存储介质 |
| CN113724738A (zh) * | 2021-08-31 | 2021-11-30 | 平安普惠企业管理有限公司 | 语音处理方法、决策树模型训练方法、装置、设备及存储介质 |
Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108763362A (zh) * | 2018-05-17 | 2018-11-06 | 浙江工业大学 | 基于随机锚点对选择的局部模型加权融合Top-N电影推荐方法 |
| CN108876145A (zh) * | 2018-06-13 | 2018-11-23 | 广西电网有限责任公司电力科学研究院 | 一种95598客服工单处理质量评级方法及装置 |
| CN109327632A (zh) * | 2018-11-23 | 2019-02-12 | 深圳前海微众银行股份有限公司 | 客服录音的智能质检***、方法及计算机可读存储介质 |
| WO2019037382A1 (zh) * | 2017-08-24 | 2019-02-28 | 平安科技（深圳）有限公司 | 基于情绪识别的语音质检方法、装置、设备及存储介质 |
| CN109740155A (zh) * | 2018-12-27 | 2019-05-10 | 广州云趣信息科技有限公司 | 一种客服***人工智能质检规则自我归纳模型的方法及*** |
| CN109767791A (zh) * | 2019-03-21 | 2019-05-17 | 中国—东盟信息港股份有限公司 | 一种针对呼叫中心通话的语音情绪识别及应用*** |
| CN109788020A (zh) * | 2017-11-13 | 2019-05-21 | 腾讯科技（深圳）有限公司 | 一种坐席分配方法及相关设备 |
| CN109816106A (zh) * | 2017-11-20 | 2019-05-28 | 北京智合大方科技有限公司 | 一种基于语音识别和自然语言处理技术进行呼叫中心客服业务知识类应答质量评估*** |
| CN110069784A (zh) * | 2019-05-05 | 2019-07-30 | 广东电网有限责任公司 | 一种语音质检评分方法、装置、终端及可存储介质 |
| TW201935370A (zh) * | 2018-02-12 | 2019-09-01 | 中華電信股份有限公司 | 從文字內容評核客戶服務品質之系統及方法 |
| CN110334241A (zh) * | 2019-07-10 | 2019-10-15 | 深圳前海微众银行股份有限公司 | 客服录音的质检方法、装置、设备及计算机可读存储介质 |
| CN110347823A (zh) * | 2019-06-06 | 2019-10-18 | 平安科技（深圳）有限公司 | 基于语音的用户分类方法、装置、计算机设备及存储介质 |
| CN111128241A (zh) * | 2019-12-30 | 2020-05-08 | 上海浩琨信息科技有限公司 | 语音通话的智能质检方法及*** |
| CN111325029A (zh) * | 2020-02-21 | 2020-06-23 | 河海大学 | 一种基于深度学习集成模型的文本相似度计算方法 |
| KR20200119358A (ko) * | 2019-03-15 | 2020-10-20 | (주) 데이터뱅크 | 인공지능 기계학습 기반 자동채점을 이용한 토플 강의 추천 서비스 제공 시스템 |
-
2020
- 2020-10-21 CN CN202011131622.XA patent/CN112329437B/zh active Active
Patent Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019037382A1 (zh) * | 2017-08-24 | 2019-02-28 | 平安科技（深圳）有限公司 | 基于情绪识别的语音质检方法、装置、设备及存储介质 |
| CN109788020A (zh) * | 2017-11-13 | 2019-05-21 | 腾讯科技（深圳）有限公司 | 一种坐席分配方法及相关设备 |
| CN109816106A (zh) * | 2017-11-20 | 2019-05-28 | 北京智合大方科技有限公司 | 一种基于语音识别和自然语言处理技术进行呼叫中心客服业务知识类应答质量评估*** |
| TW201935370A (zh) * | 2018-02-12 | 2019-09-01 | 中華電信股份有限公司 | 從文字內容評核客戶服務品質之系統及方法 |
| CN108763362A (zh) * | 2018-05-17 | 2018-11-06 | 浙江工业大学 | 基于随机锚点对选择的局部模型加权融合Top-N电影推荐方法 |
| CN108876145A (zh) * | 2018-06-13 | 2018-11-23 | 广西电网有限责任公司电力科学研究院 | 一种95598客服工单处理质量评级方法及装置 |
| CN109327632A (zh) * | 2018-11-23 | 2019-02-12 | 深圳前海微众银行股份有限公司 | 客服录音的智能质检***、方法及计算机可读存储介质 |
| CN109740155A (zh) * | 2018-12-27 | 2019-05-10 | 广州云趣信息科技有限公司 | 一种客服***人工智能质检规则自我归纳模型的方法及*** |
| KR20200119358A (ko) * | 2019-03-15 | 2020-10-20 | (주) 데이터뱅크 | 인공지능 기계학습 기반 자동채점을 이용한 토플 강의 추천 서비스 제공 시스템 |
| CN109767791A (zh) * | 2019-03-21 | 2019-05-17 | 中国—东盟信息港股份有限公司 | 一种针对呼叫中心通话的语音情绪识别及应用*** |
| CN110069784A (zh) * | 2019-05-05 | 2019-07-30 | 广东电网有限责任公司 | 一种语音质检评分方法、装置、终端及可存储介质 |
| CN110347823A (zh) * | 2019-06-06 | 2019-10-18 | 平安科技（深圳）有限公司 | 基于语音的用户分类方法、装置、计算机设备及存储介质 |
| CN110334241A (zh) * | 2019-07-10 | 2019-10-15 | 深圳前海微众银行股份有限公司 | 客服录音的质检方法、装置、设备及计算机可读存储介质 |
| CN111128241A (zh) * | 2019-12-30 | 2020-05-08 | 上海浩琨信息科技有限公司 | 语音通话的智能质检方法及*** |
| CN111325029A (zh) * | 2020-02-21 | 2020-06-23 | 河海大学 | 一种基于深度学习集成模型的文本相似度计算方法 |
Non-Patent Citations (2)
| Title |
|---|
| 严可;胡国平;魏思;戴礼荣;李萌涛;杨晓果;冯国栋;: "面向大规模英语口语机考的复述题自动评分技术", 清华大学学报(自然科学版), no. 1, 15 August 2009 (2009-08-15), pages 1356 - 1362 * |
| 杨杉;宋瑞中;赵占军;: "呼叫中心行业的质培一体化***应用", 现代信息科技, no. 11, 10 June 2020 (2020-06-10), pages 113 - 115 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112687257A (zh) * | 2021-03-11 | 2021-04-20 | 北京新唐思创教育科技有限公司 | 句子相似度判断方法、装置、电子设备和可读存储介质 |
| CN112687257B (zh) * | 2021-03-11 | 2021-06-01 | 北京新唐思创教育科技有限公司 | 句子相似度判断方法、装置、电子设备和可读存储介质 |
| CN113724738A (zh) * | 2021-08-31 | 2021-11-30 | 平安普惠企业管理有限公司 | 语音处理方法、决策树模型训练方法、装置、设备及存储介质 |
| CN113724738B (zh) * | 2021-08-31 | 2024-04-23 | 硅基(昆山)智能科技有限公司 | 语音处理方法、决策树模型训练方法、装置、设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112329437B (zh) | 2024-05-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109871545B (zh) | 命名实体识别方法及装置 | |
| CN109146610B (zh) | 一种智能保险推荐方法、装置及智能保险机器人设备 | |
| CN110717031B (zh) | 一种智能会议纪要生成方法和*** | |
| WO2019153737A1 (zh) | 用于对评论进行评估的方法、装置、设备和存储介质 | |
| CN109509470B (zh) | 语音交互方法、装置、计算机可读存储介质及终端设备 | |
| CN110619506B (zh) | 一种岗位画像生成方法、岗位画像生成装置及电子设备 | |
| US8644488B2 (en) | System and method for automatically generating adaptive interaction logs from customer interaction text | |
| CN113435203B (zh) | 多模态命名实体识别方法、装置以及电子设备 | |
| US11481387B2 (en) | Facet-based conversational search | |
| CN108647191B (zh) | 一种基于有监督情感文本和词向量的情感词典构建方法 | |
| CN113934887B (zh) | 一种基于语义解耦的无提议时序语言定位方法 | |
| CN110069776B (zh) | 客户满意度评估方法及装置、计算机可读存储介质 | |
| WO2012165529A1 (ja) | 言語モデル構築支援装置、方法及びプログラム | |
| CN111831801B (zh) | 一种人机对话方法及*** | |
| CN112329437A (zh) | 一种智能客服语音质检评分方法、设备及存储介质 | |
| CN113672732A (zh) | 用于对业务数据进行分类的方法和设备 | |
| CN110347833B (zh) | 一种多轮对话的分类方法 | |
| CN112151019A (zh) | 文本处理方法、装置及计算设备 | |
| CN112200674B (zh) | 一种证券市场情绪指数智能计算信息*** | |
| Zorrilla et al. | Audio Embedding-Aware Dialogue Policy Learning | |
| CN110414465B (zh) | 一种视频通讯的情感分析方法 | |
| CN112650838B (zh) | 一种基于历史案件大数据的智能问答方法及*** | |
| CN112506405B (zh) | 一种基于互联网监管领域的人工智能语音大屏指挥方法 | |
| JP2014153601A (ja) | 幼児語彙理解難易度評価装置と幼児語彙検索装置と幼児語彙分類装置と、それらの方法とプログラム | |
| JP2016095399A (ja) | 音声認識結果整形装置、方法及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |