CN113179352B - 通话质量的确定方法、确定装置以及计算机可读存储介质 - Google Patents

通话质量的确定方法、确定装置以及计算机可读存储介质 Download PDF

Info

Publication number
CN113179352B
CN113179352B CN202110574357.0A CN202110574357A CN113179352B CN 113179352 B CN113179352 B CN 113179352B CN 202110574357 A CN202110574357 A CN 202110574357A CN 113179352 B CN113179352 B CN 113179352B
Authority
CN
China
Prior art keywords
information
call
quality
unit
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110574357.0A
Other languages
English (en)
Other versions
CN113179352A (zh
Inventor
李健
李琳
陈明
武卫东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sinovoice Technology Co Ltd
Original Assignee
Beijing Sinovoice Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sinovoice Technology Co Ltd filed Critical Beijing Sinovoice Technology Co Ltd
Priority to CN202110574357.0A priority Critical patent/CN113179352B/zh
Publication of CN113179352A publication Critical patent/CN113179352A/zh
Application granted granted Critical
Publication of CN113179352B publication Critical patent/CN113179352B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M3/00Automatic or semi-automatic exchanges
    • H04M3/22Arrangements for supervision, monitoring or testing
    • H04M3/2236Quality of speech transmission monitoring
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Signal Processing (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Biology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Telephonic Communication Services (AREA)
  • Machine Translation (AREA)

Abstract

本申请提供了一种通话质量的确定方法、确定装置以及计算机可读存储介质,该方法包括:获取目标通话信息;建立通话质量的分析模型;使用分析模型对目标通话信息进行分析,确定目标通话信息的质量信息,质量信息包括质量评分、特征信息以及特征信息对应的权重,特征信息为表征目标通话信息的符合程度的信息。本申请的该方法通过将目标通话信息输入分析模型进行分析,可以自动得到质量信息,这样无需耗费人力去分析目标通话信息即可得到评价结果,保证了通话质量的确定过程较为简单快捷,省时省力。

Description

通话质量的确定方法、确定装置以及计算机可读存储介质
技术领域
本申请涉及服务评价领域,具体而言,涉及一种通话质量的确定方法、确定装置、计算机可读存储介质、处理器以及电子设备。
背景技术
现有技术中人工调取坐席员的通话信息,并根据通话信息进行人工打分评价通话质量,导致耗时耗力的问题。
在背景技术部分中公开的以上信息只是用来加强对本文所描述技术的背景技术的理解,因此,背景技术中可能包含某些信息,这些信息对于本领域技术人员来说并未形成在本国已知的现有技术。
发明内容
本申请的主要目的在于提供一种通话质量的确定方法、确定装置、计算机可读存储介质、处理器以及电子设备,以解决现有技术中人工评价坐席员的通话服务质量,耗时耗力的问题。
根据本发明实施例的一个方面,提供了一种通话质量的确定方法,包括:获取目标通话信息;建立通话质量的分析模型;使用所述分析模型对所述目标通话信息进行分析,确定所述目标通话信息的质量信息,所述质量信息包括质量评分、特征信息以及所述特征信息对应的权重,所述特征信息为表征所述目标通话信息的符合程度的信息。
可选地,建立通话质量的分析模型,包括:获取初始模型;获取训练数据,所述训练数据包括多个训练通话信息以及多个所述训练通话信息的质量信息;使用所述训练数据对所述初始模型进行训练,得到所述分析模型。
可选地,所述分析模型包括:转换单元,用于将所述目标通话信息转换为文本信息;规则检验单元,与所述转换单元连接,所述规则检验单元用于根据第一预定要求,确定所述文本信息的第一符合程度,所述第一预定要求包括语序要求;话术检验单元,与所述转换单元连接,所述话术检验单元用于确定所述文本信息的预定位置的信息与标准话术的相似度;用词检验单元,与所述转换单元连接,所述用词检验单元用于确定所述文本信息中是否包括预定词语,以及确定所述文本信息中是否有不符合第二预定要求的词语;通话检验单元,用于根据第三预定要求,确定所述目标通话信息的第二符合程度,所述第三预定要求包括语速范围以及音量范围。
可选地,所述规则检验单元用于对所述文本信息进行分词,以获取所述文本信息中的多个第一关键字,并确定多个所述第一关键字在所述文本信息中的顺序,确定所述顺序是否符合所述语序要求。
可选地,所述用词检验单元还用于在确定所述文本信息中是否有不符合第二预定要求的用词之前,对所述文本信息进行分词,得到多个词语。
可选地,所述通话检验单元还用于确定所述目标通话信息中是否存在插话现象,所述第三预定要求还包括应答速率阈值,所述通话检验单元还用于获取所述目标通话信息中的应答速率,并确定所述应答速率是否满足所述应答速率阈值。
根据本发明实施例的另一方面,还提供了一种通话质量的确定装置,包括获取单元、建立单元以及确定单元,其中,所述获取单元用于获取目标通话信息;所述建立单元用于建立通话质量的分析模型;所述确定单元用于使用所述分析模型对所述目标通话信息进行分析,确定所述目标通话信息的质量信息,所述质量信息包括质量评分、特征信息以及所述特征信息对应的权重,所述特征信息包括表征所述目标通话信息的符合程度的信息。
根据本发明实施例的再一方面,还提供了一种计算机可读存储介质,所述计算机可读存储介质包括存储的程序,其中,所述程序执行任意一种所述的方法。
根据本发明实施例的又一方面,还提供了一种处理器,所述处理器用于运行程序,其中,所述程序运行时执行任意一种所述的方法。
根据本发明实施例的另一方面,还提供了一种电子设备,包括:一个或多个处理器,存储器以及一个或多个程序,其中,所述一个或多个程序被存储在所述存储器中,并且被配置为由所述一个或多个处理器执行,所述一个或多个程序包括用于执行任意一种所述的方法。
本申请所述的通话质量的确定方法中,首先获取目标通话信息;然后,建立通话质量的分析模型;最后使用所述分析模型对所述目标通话信息进行分析,确定所述目标通话信息的质量评分、特征信息以及所述特征信息对应的权重等质量信息,其中,所述特征信息为表征所述目标通话信息的符合程度的信息。相比现有技术中通过人工对坐席员的通话质量进行评价打分的方式,本申请的所述方法,通过将所述目标通话信息输入所述分析模型进行分析,可以自动得到所述质量信息,这样无需耗费人力去分析所述目标通话信息即可得到评价结果,保证了通话质量的确定过程较为简单快捷,省时省力。同时,所述质量信息中包括所述特征信息,这样操作人员根据所述特征信息就可以较为直观地知道所述目标通话信息中的得分点或失分点,方便了操作人员对评价结果进行核查。
附图说明
构成本申请的一部分的说明书附图用来提供对本申请的进一步理解,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1示出了根据本申请的实施例的通话质量的确定方法生成的流程示意图;
图2示出了根据本申请的实施例的通话质量的确定装置的示意图。
具体实施方式
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分的实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本申请保护的范围。
需要说明的是,本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
应该理解的是,当元件(诸如层、膜、区域、或衬底)描述为在另一元件“上”时,该元件可直接在该另一元件上,或者也可存在中间元件。而且,在说明书以及权利要求书中,当描述有元件“连接”至另一元件时,该元件可“直接连接”至该另一元件,或者通过第三元件“连接”至该另一元件。
正如背景技术中所说的,现有技术中的人工评价坐席员的通话服务质量,耗时耗力的问题,为了解决上述问题,本申请的一种典型的实施方式中,提供了一种通话质量的确定方法、确定装置、计算机可读存储介质、处理器以及电子设备。
根据本申请的实施例,提供了一种通话质量的确定方法。
图1是根据本申请实施例的通话质量的确定方法的流程图。如图1所示,该方法包括以下步骤:
步骤S101,获取目标通话信息;
步骤S102,建立通话质量的分析模型;
步骤S103,使用上述分析模型对上述目标通话信息进行分析,确定上述目标通话信息的质量信息,上述质量信息包括质量评分、特征信息以及上述特征信息对应的权重,上述特征信息为表征上述目标通话信息的符合程度的信息。
上述的通话质量的确定方法中,首先获取目标通话信息;然后,建立通话质量的分析模型;最后使用上述分析模型对上述目标通话信息进行分析,确定上述目标通话信息的质量评分、特征信息以及上述特征信息对应的权重等质量信息,其中,上述特征信息为表征上述目标通话信息的符合程度的信息。相比现有技术中通过人工对坐席员的通话质量进行评价打分的方式,本申请的上述方法,通过将上述目标通话信息输入上述分析模型进行分析,可以自动得到上述质量信息,这样无需耗费人力去分析上述目标通话信息即可得到评价结果,保证了通话质量的确定过程较为简单快捷,省时省力。同时,上述质量信息中包括上述特征信息,这样操作人员根据上述特征信息就可以较为直观地知道上述目标通话信息中的得分点或失分点,方便了操作人员对评价结果进行核查。
根据本申请的一种具体的实施例,建立通话质量的分析模型,包括:获取初始模型;获取训练数据,上述训练数据包括多个训练通话信息以及多个上述训练通话信息的质量信息;使用上述训练数据对上述初始模型进行训练,得到上述分析模型。上述方法,使用上述训练数据对上述初始模型进行训练,得到上述分析模型,保证了得到的上述分析模型较为准确,这样进一步地保证了使用上述分析模型可以较为准确地得到上述质量信息。
一种具体的实施例中,上述初始模型为现有技术中任意可行的神经网络模型。
根据本申请的另一种具体的实施例,上述分析模型包括:转换单元,用于将上述目标通话信息转换为文本信息;规则检验单元,与上述转换单元连接,上述规则检验单元用于根据第一预定要求,确定上述文本信息的第一符合程度,上述第一预定要求包括语序要求;话术检验单元,与上述转换单元连接,上述话术检验单元用于确定上述文本信息的预定位置的信息与标准话术的相似度;用词检验单元,与上述转换单元连接,上述用词检验单元用于确定上述文本信息中是否包括预定词语,以及确定上述文本信息中是否有不符合第二预定要求的词语;通话检验单元,用于根据第三预定要求,确定上述目标通话信息的第二符合程度,上述第三预定要求包括语速范围以及音量范围。上述分析模型包括上述转换单元、上述规则检验单元、上述话术检验单元、上述用词检验单元以及上述通话检验单元,这样保证了上述分析模型可以较为全面地对目标通话信息的符合程度进行分析评价。
在实际的应用过程中,不同领域的坐席员所需要处理的业务是千差万别的,所涉及到的关键词、检测规则、侧重点都会不同;例如金融领域的文本中,“股票”、“余额”等专有名词更有可能成为关键词,而对于政府文本中,“服务”、“投诉”等词更有可能成为关键词;而面对不同的业务类型,检测规则及侧重点也有差别,例如推销类业务可能更加侧重于检测介绍的业务内容是否全面,但办理类型的业务可能需要检测坐席员的业务是否熟练,为了上述分析模型可以适用于不同领域的通话质量的评价标准,本申请的再一种具体的实施例中,通过设置上述第一符合程度、上述相似度、上述第二符合程度对应的权重,可以使得上述分析模型适用于不同领域的通话质量的确定,这样避免了不同领域的需要单独训练不同的分析模型来进行通话质量的评价的问题,这样进一步地保证了上述分析模型的通用性较强,进一步地保证了较为省时省力。
需要说明的是,上述第一预定要求并不限于上述的语序要求,其还可以包括其他的评价内容,本领域技术人员可以根据实际业务类型确定上述第一预定要求的内容。
在本申请的一种具体的实施例中,上述规则检验单元用于对上述文本信息进行分词,以获取上述文本信息中的多个第一关键字,并确定多个上述第一关键字在上述文本信息中的顺序,确定上述顺序是否符合上述语序要求。
具体的一种实施例中,在质检规则极为明确,或者违规场景极为单一,语境交叉较少的通话质量检测中,上述第一预定要求较为统一,上述规则检测单元提供了一套从词表到短语、从短语到脚本三个层级定义的上述文本信息的匹配规则集,用于判断上述文本信息对相应规则集的命中情况。上述规则检测单元支持文本数据的三种运算形式:与、或、非逻辑运算,语序有关和语序无关连接符运算以及文本通配符运算。例如:要检查坐席员是否在通话中表达“保险需要花钱购买”的意思时,首先将任务进行分解,优先使用lexicon语法定义“保险”,“购买”,“需要”,“花钱”等关键词并扩展出相应的关键词,以关键词“花钱”为例,可定义为“lexicon_花钱:花钱,花费,要花”,在实际通话中若出现上述的关键词中的一个,则视为命中关键词“花钱”;完成词语级别的定义之后,需要将词语进行组合形成短语,在本例中,可以将四个关键词进行组合,写成“phrase_保险需要花钱购买:lexicon_保险>lexicon_需要>lexicon_花钱>lexicon_购买”。此外,还需要保证规则对于一些特殊说法的拒识,比如此例中的“保险不需要花钱购买”这类说法,对此需要额外加工拒识短语“phrase_拒识:lexicon_保险>lexicon_不>lexicon_需要>lexicon_花钱>lexicon_购买”最后,需要将短语进行组合形成脚本,该例子中应该写为“script:phrase_保险需要花钱购买&!phrase_拒识”,即对于正例进行检出,对于反例进行拒识。
本申请的又一种具体的实施例中,上述话术检验单元用于检测坐席员是否按照规定说了开头语以及结束语。上述话术检验单元可以将坐席员的文本信息自动划分到通过标准话术检查的合格通话集,或者未划分到通过标准话术检查的不合格通话集,能够更好的实现对坐席服务质量的精准监测和全面评估。这样可以保证及时了解坐席员的服务情况,进一步提升用户的满意度。具体的,标准话术检查可以利用模板匹配的方法,根据预先给定的标准话术集和相应的阈值集,确定坐席员的文本信息对标准话术集中话术的覆盖情况。本方法利用内部的文本信息转换算法,将上述文本信息转换为数值信息,并计算出上述文本信息对标准话术集中各话术的覆盖值,再通过对比相应阈值判断其相似度。
根据本申请的再一种具体的实施例,上述用词检验单元还用于在确定上述文本信息中是否有不符合第二预定要求的用词之前,对上述文本信息进行分词,得到多个词语。上述用词检验单元,通过对上述文本信息进行分词,进一步地方便了后续确定多个词语中是否有不符合上述第二预定要求的用词。
另一种具体的实施例中,上述用词检验单元还用于在对上述文本信息进行分词,得到多个词语之后,在确定上述文本信息中是否有不符合第二预定要求的用词之前,计算每个词出现的概率,并与通用的语言模型进行比对,确定高频出现的词为关键词,并且根据上述语言模型,将不是常用词的上述关键词进行同类词替换,得到替换后的多个词语。这样进一步地保证了上述用词检验单元的检验结果较为准确。
在实际的应用过程中,上述通话检验单元还用于确定上述目标通话信息中是否存在插话现象。具体地,上述通话检验单元通过检测上述目标通话信息中是否存在重叠的波形,来确定是否存在插话现象,上述第三预定要求还包括应答速率阈值,上述通话检验单元还用于获取上述目标通话信息中的应答速率,并确定上述应答速率是否满足上述应答速率阈值。具体的,可以根据对话空白时间确定上述应答速率。
为了进一步地保证对通话信息的评价较为全面,进一步地保证上述质量信息较为全面,根据本申请的另一种具体的实施例,上述通话检验单元还用于根据获取的上述目标通话信息中的语音的语速以及音量,来确定坐席员的情绪是否异常。
需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机***中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
本申请实施例还提供了一种通话质量的确定装置,需要说明的是,本申请实施例的通话质量的确定装置可以用于执行本申请实施例所提供的用于通话质量的确定方法。以下对本申请实施例提供的通话质量的确定装置进行介绍。
图2是根据本申请实施例的通话质量的确定装置的示意图。如图2所示,该装置包括获取单元10、建立单元20以及确定单元30,其中,上述获取单元10用于获取目标通话信息;上述建立单元20用于建立通话质量的分析模型;上述确定单元30用于使用上述分析模型对上述目标通话信息进行分析,确定上述目标通话信息的质量信息,上述质量信息包括质量评分、特征信息以及上述特征信息对应的权重,上述特征信息包括表征上述目标通话信息的符合程度的信息。
上述的通话质量的确定装置中,通过上述获取单元获取目标通话信息;通过上述建立单元建立通话质量的分析模型;通过上述确定单元使用上述分析模型对上述目标通话信息进行分析,确定上述目标通话信息的质量评分、特征信息以及上述特征信息对应的权重等质量信息,其中,上述特征信息为表征上述目标通话信息的符合程度的信息。相比现有技术中通过人工对坐席员的通话质量进行评价打分的方式,本申请的上述装置,通过将上述目标通话信息输入上述分析模型进行分析,可以自动得到上述质量信息,这样无需耗费人力去分析上述目标通话信息即可得到评价结果,保证了通话质量的确定过程较为简单快捷,省时省力。同时,上述质量信息中包括上述特征信息,这样操作人员根据上述特征信息就可以较为直观地知道上述目标通话信息中的得分点或失分点,方便了操作人员对评价结果进行核查。
根据本申请的一种具体的实施例,上述建立单元包括第一获取模块、第二获取模块以及训练模块,其中,上述第一获取模块用于获取初始模型;上述第二获取模块用于获取训练数据,上述训练数据包括多个训练通话信息以及多个上述训练通话信息的质量信息;上述训练模块用于使用上述训练数据对上述初始模型进行训练,得到上述分析模型。上述装置,使用上述训练数据对上述初始模型进行训练,得到上述分析模型,保证了得到的上述分析模型较为准确,这样进一步地保证了使用上述分析模型可以较为准确地得到上述质量信息。
一种具体的实施例中,上述初始模型为现有技术中任意可行的神经网络模型。
根据本申请的另一种具体的实施例,上述分析模型包括:转换单元,用于将上述目标通话信息转换为文本信息;规则检验单元,与上述转换单元连接,上述规则检验单元用于根据第一预定要求,确定上述文本信息的第一符合程度,上述第一预定要求包括语序要求;话术检验单元,与上述转换单元连接,上述话术检验单元用于确定上述文本信息的预定位置的信息与标准话术的相似度;用词检验单元,与上述转换单元连接,上述用词检验单元用于确定上述文本信息中是否包括预定词语,以及确定上述文本信息中是否有不符合第二预定要求的词语;通话检验单元,用于根据第三预定要求,确定上述目标通话信息的第二符合程度,上述第三预定要求包括语速范围以及音量范围。上述分析模型包括上述转换单元、上述规则检验单元、上述话术检验单元、上述用词检验单元以及上述通话检验单元,这样保证了上述分析模型可以较为全面地对目标通话信息的符合程度进行分析评价。
在实际的应用过程中,不同领域的坐席员所需要处理的业务是千差万别的,所涉及到的关键词、检测规则、侧重点都会不同;例如金融领域的文本中,“股票”、“余额”等专有名词更有可能成为关键词,而对于政府文本中,“服务”、“投诉”等词更有可能成为关键词;而面对不同的业务类型,检测规则及侧重点也有差别,例如推销类业务可能更加侧重于检测介绍的业务内容是否全面,但办理类型的业务可能需要检测坐席员的业务是否熟练,为了上述分析模型可以适用于不同领域的通话质量的评价标准,本申请的再一种具体的实施例中,通过设置上述第一符合程度、上述相似度、上述第二符合程度对应的权重,可以使得上述分析模型适用于不同领域的通话质量的确定,这样避免了不同领域的需要单独训练不同的分析模型来进行通话质量的评价的问题,这样进一步地保证了上述分析模型的通用性较强,进一步地保证了较为省时省力。
需要说明的是,上述第一预定要求并不限于上述的语序要求,其还可以包括其他的评价内容,本领域技术人员可以根据实际业务类型确定上述第一预定要求的内容。
在本申请的一种具体的实施例中,上述规则检验单元用于对上述文本信息进行分词,以获取上述文本信息中的多个第一关键字,并确定多个上述第一关键字在上述文本信息中的顺序,确定上述顺序是否符合上述语序要求。
具体的一种实施例中,在质检规则极为明确,或者违规场景极为单一,语境交叉较少的通话质量检测中,上述第一预定要求较为统一,上述规则检测单元提供了一套从词表到短语、从短语到脚本三个层级定义的上述文本信息的匹配规则集,用于判断上述文本信息对相应规则集的命中情况。上述规则检测单元支持文本数据的三种运算形式:与、或、非逻辑运算,语序有关和语序无关连接符运算以及文本通配符运算。例如:要检查坐席员是否在通话中表达“保险需要花钱购买”的意思时,首先将任务进行分解,优先使用lexicon语法定义“保险”,“购买”,“需要”,“花钱”等关键词并扩展出相应的关键词,以关键词“花钱”为例,可定义为“lexicon_花钱:花钱,花费,要花”,在实际通话中若出现上述的关键词中的一个,则视为命中关键词“花钱”;完成词语级别的定义之后,需要将词语进行组合形成短语,在本例中,可以将四个关键词进行组合,写成“phrase_保险需要花钱购买:lexicon_保险>lexicon_需要>lexicon_花钱>lexicon_购买”。此外,还需要保证规则对于一些特殊说法的拒识,比如此例中的“保险不需要花钱购买”这类说法,对此需要额外加工拒识短语“phrase_拒识:lexicon_保险>lexicon_不>lexicon_需要>lexicon_花钱>lexicon_购买”最后,需要将短语进行组合形成脚本,该例子中应该写为“script:phrase_保险需要花钱购买&!phrase_拒识”,即对于正例进行检出,对于反例进行拒识。
本申请的又一种具体的实施例中,上述话术检验单元用于检测坐席员是否按照规定说了开头语以及结束语。上述话术检验单元可以将坐席员的文本信息自动划分到通过标准话术检查的合格通话集,或者未划分到通过标准话术检查的不合格通话集,能够更好的实现对坐席服务质量的精准监测和全面评估。这样可以保证及时了解坐席员的服务情况,进一步提升用户的满意度。具体的,标准话术检查可以利用模板匹配的装置,根据预先给定的标准话术集和相应的阈值集,确定坐席员的文本信息对标准话术集中话术的覆盖情况。本装置利用内部的文本信息转换算法,将上述文本信息转换为数值信息,并计算出上述文本信息对标准话术集中各话术的覆盖值,再通过对比相应阈值判断其相似度。
根据本申请的再一种具体的实施例,上述用词检验单元还用于在确定上述文本信息中是否有不符合第二预定要求的用词之前,对上述文本信息进行分词,得到多个词语。上述用词检验单元,通过对上述文本信息进行分词,进一步地方便了后续确定多个词语中是否有不符合上述第二预定要求的用词。
另一种具体的实施例中,上述用词检验单元还用于在对上述文本信息进行分词,得到多个词语之后,在确定上述文本信息中是否有不符合第二预定要求的用词之前,计算每个词出现的概率,并与通用的语言模型进行比对,确定高频出现的词为关键词,并且根据上述语言模型,将不是常用词的上述关键词进行同类词替换,得到替换后的多个词语。这样进一步地保证了上述用词检验单元的检验结果较为准确。
在实际的应用过程中,上述通话检验单元还用于确定上述目标通话信息中是否存在插话现象。具体地,上述通话检验单元通过检测上述目标通话信息中是否存在重叠的波形,来确定是否存在插话现象,上述第三预定要求还包括应答速率阈值,上述通话检验单元还用于获取上述目标通话信息中的应答速率,并确定上述应答速率是否满足上述应答速率阈值。具体的,可以根据对话空白时间确定上述应答速率。
为了进一步地保证对通话信息的评价较为全面,进一步地保证上述质量信息较为全面,根据本申请的另一种具体的实施例,上述通话检验单元还用于根据获取的上述目标通话信息中的语音的语速以及音量,来确定坐席员的情绪是否异常。
上述通话质量的确定装置包括处理器和存储器,上述获取单元、上述建立单元以及上述确定单元等均作为程序单元存储在存储器中,由处理器执行存储在存储器中的上述程序单元来实现相应的功能。
处理器中包含内核,由内核去存储器中调取相应的程序单元。内核可以设置一个或以上,通过调整内核参数来解决现有技术中人工评价坐席员的通话服务质量,耗时耗力的问题。
存储器可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM),存储器包括至少一个存储芯片。
本发明实施例提供了一种计算机可读存储介质,其上存储有程序,该程序被处理器执行时实现上述通话质量的确定方法。
本发明实施例提供了一种处理器,上述处理器用于运行程序,其中,上述程序运行时执行上述通话质量的确定方法。
本发明实施例提供了一种设备,设备包括处理器、存储器及存储在存储器上并可在处理器上运行的程序,处理器执行程序时实现至少以下步骤:
步骤S101,获取目标通话信息;
步骤S102,建立通话质量的分析模型;
步骤S103,使用上述分析模型对上述目标通话信息进行分析,确定上述目标通话信息的质量信息,上述质量信息包括质量评分、特征信息以及上述特征信息对应的权重,上述特征信息为表征上述目标通话信息的符合程度的信息。
本文中的设备可以是服务器、PC、PAD、手机等。
本申请还提供了一种计算机程序产品,当在数据处理设备上执行时,适于执行初始化有至少如下方法步骤的程序:
步骤S101,获取目标通话信息;
步骤S102,建立通话质量的分析模型;
步骤S103,使用上述分析模型对上述目标通话信息进行分析,确定上述目标通话信息的质量信息,上述质量信息包括质量评分、特征信息以及上述特征信息对应的权重,上述特征信息为表征上述目标通话信息的符合程度的信息。
在本发明的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的技术内容,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如上述单元的划分,可以为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个***,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例上述方法的全部或部分步骤。而前述的存储介质包括:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
从以上的描述中,可以看出,本申请上述的实施例实现了如下技术效果:
1)、本申请上述的通话质量的确定方法中,首先获取目标通话信息;然后,建立通话质量的分析模型;最后使用上述分析模型对上述目标通话信息进行分析,确定上述目标通话信息的质量评分、特征信息以及上述特征信息对应的权重等质量信息,其中,上述特征信息为表征上述目标通话信息的符合程度的信息。相比现有技术中通过人工对坐席员的通话质量进行评价打分的方式,本申请的上述方法,通过将上述目标通话信息输入上述分析模型进行分析,可以自动得到上述质量信息,这样无需耗费人力去分析上述目标通话信息即可得到评价结果,保证了通话质量的确定过程较为简单快捷,省时省力。同时,上述质量信息中包括上述特征信息,这样操作人员根据上述特征信息就可以较为直观地知道上述目标通话信息中的得分点或失分点,方便了操作人员对评价结果进行核查。
2)本申请上述的通话质量的确定装置中,通过上述获取单元获取目标通话信息;通过上述建立单元建立通话质量的分析模型;通过上述确定单元使用上述分析模型对上述目标通话信息进行分析,确定上述目标通话信息的质量评分、特征信息以及上述特征信息对应的权重等质量信息,其中,上述特征信息为表征上述目标通话信息的符合程度的信息。相比现有技术中通过人工对坐席员的通话质量进行评价打分的方式,本申请的上述装置,通过将上述目标通话信息输入上述分析模型进行分析,可以自动得到上述质量信息,这样无需耗费人力去分析上述目标通话信息即可得到评价结果,保证了通话质量的确定过程较为简单快捷,省时省力。同时,上述质量信息中包括上述特征信息,这样操作人员根据上述特征信息就可以较为直观地知道上述目标通话信息中的得分点或失分点,方便了操作人员对评价结果进行核查。
以上所述仅为本申请的优选实施例而已,并不用于限制本申请,对于本领域的技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。

Claims (9)

1.一种通话质量的确定方法,其特征在于,包括:
获取目标通话信息;
建立通话质量的分析模型;
使用所述分析模型对所述目标通话信息进行分析,确定所述目标通话信息的质量信息,所述质量信息包括质量评分、特征信息以及所述特征信息对应的权重,所述特征信息为表征所述目标通话信息的符合程度的信息,
所述分析模型包括:
转换单元,用于将所述目标通话信息转换为文本信息;
规则检验单元,与所述转换单元连接,所述规则检验单元用于根据第一预定要求,确定所述文本信息的第一符合程度,所述第一预定要求包括语序要求;
话术检验单元,与所述转换单元连接,所述话术检验单元用于确定所述文本信息的预定位置的信息与标准话术的相似度;
用词检验单元,与所述转换单元连接,所述用词检验单元用于确定所述文本信息中是否包括预定词语,以及确定所述文本信息中是否有不符合第二预定要求的词语;
通话检验单元,用于根据第三预定要求,确定所述目标通话信息的第二符合程度,所述第三预定要求包括语速范围以及音量范围。
2.根据权利要求1所述的方法,其特征在于,建立通话质量的分析模型,包括:
获取初始模型;
获取训练数据,所述训练数据包括多个训练通话信息以及多个所述训练通话信息的质量信息;
使用所述训练数据对所述初始模型进行训练,得到所述分析模型。
3.根据权利要求1所述的方法,其特征在于,所述规则检验单元用于对所述文本信息进行分词,以获取所述文本信息中的多个第一关键字,并确定多个所述第一关键字在所述文本信息中的顺序,确定所述顺序是否符合所述语序要求。
4.根据权利要求1所述的方法,其特征在于,所述用词检验单元还用于在确定所述文本信息中是否有不符合第二预定要求的用词之前,对所述文本信息进行分词,得到多个词语。
5.根据权利要求1所述的方法,其特征在于,所述通话检验单元还用于确定所述目标通话信息中是否存在插话现象,所述第三预定要求还包括应答速率阈值,所述通话检验单元还用于获取所述目标通话信息中的应答速率,并确定所述应答速率是否满足所述应答速率阈值。
6.一种通话质量的确定装置,其特征在于,包括:
获取单元,用于获取目标通话信息;
建立单元,用于建立通话质量的分析模型;
确定单元,用于使用所述分析模型对所述目标通话信息进行分析,确定所述目标通话信息的质量信息,所述质量信息包括质量评分、特征信息以及所述特征信息对应的权重,所述特征信息包括表征所述目标通话信息的符合程度的信息;
所述分析模型包括:
转换单元,用于将所述目标通话信息转换为文本信息;
规则检验单元,与所述转换单元连接,所述规则检验单元用于根据第一预定要求,确定所述文本信息的第一符合程度,所述第一预定要求包括语序要求;
话术检验单元,与所述转换单元连接,所述话术检验单元用于确定所述文本信息的预定位置的信息与标准话术的相似度;
用词检验单元,与所述转换单元连接,所述用词检验单元用于确定所述文本信息中是否包括预定词语,以及确定所述文本信息中是否有不符合第二预定要求的词语;
通话检验单元,用于根据第三预定要求,确定所述目标通话信息的第二符合程度,所述第三预定要求包括语速范围以及音量范围。
7.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质包括存储的程序,其中,所述程序执行权利要求1至5中任意一项所述的方法。
8.一种处理器,其特征在于,所述处理器用于运行程序,其中,所述程序运行时执行权利要求1至5中任意一项所述的方法。
9.一种电子设备,其特征在于,包括:一个或多个处理器,存储器以及一个或多个程序,其中,所述一个或多个程序被存储在所述存储器中,并且被配置为由所述一个或多个处理器执行,所述一个或多个程序包括用于执行权利要求1至5中任意一项所述的方法。
CN202110574357.0A 2021-05-25 2021-05-25 通话质量的确定方法、确定装置以及计算机可读存储介质 Active CN113179352B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110574357.0A CN113179352B (zh) 2021-05-25 2021-05-25 通话质量的确定方法、确定装置以及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110574357.0A CN113179352B (zh) 2021-05-25 2021-05-25 通话质量的确定方法、确定装置以及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN113179352A CN113179352A (zh) 2021-07-27
CN113179352B true CN113179352B (zh) 2023-04-07

Family

ID=76930050

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110574357.0A Active CN113179352B (zh) 2021-05-25 2021-05-25 通话质量的确定方法、确定装置以及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN113179352B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110688454A (zh) * 2019-09-09 2020-01-14 深圳壹账通智能科技有限公司 咨询对话处理的方法、装置、设备及存储介质
CN111182162A (zh) * 2019-12-26 2020-05-19 深圳壹账通智能科技有限公司 基于人工智能的电话质检方法、装置、设备和存储介质
WO2020159395A1 (ru) * 2019-01-29 2020-08-06 Публичное Акционерное Общество "Сбербанк России" Способ создания модели анализа диалогов на базе искусственного интеллекта
WO2020213785A1 (ko) * 2019-04-15 2020-10-22 미디어젠 주식회사 발화 패턴의 무한성 개선을 위한 딥러닝 기반의 텍스트 문장 자동 생성시스템

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020159395A1 (ru) * 2019-01-29 2020-08-06 Публичное Акционерное Общество "Сбербанк России" Способ создания модели анализа диалогов на базе искусственного интеллекта
WO2020213785A1 (ko) * 2019-04-15 2020-10-22 미디어젠 주식회사 발화 패턴의 무한성 개선을 위한 딥러닝 기반의 텍스트 문장 자동 생성시스템
CN110688454A (zh) * 2019-09-09 2020-01-14 深圳壹账通智能科技有限公司 咨询对话处理的方法、装置、设备及存储介质
CN111182162A (zh) * 2019-12-26 2020-05-19 深圳壹账通智能科技有限公司 基于人工智能的电话质检方法、装置、设备和存储介质

Also Published As

Publication number Publication date
CN113179352A (zh) 2021-07-27

Similar Documents

Publication Publication Date Title
CN112804400B (zh) 客服呼叫语音质检方法、装置、电子设备及存储介质
CN108962282B (zh) 语音检测分析方法、装置、计算机设备及存储介质
CN110378562B (zh) 语音质检方法、装置、计算机设备及存储介质
WO2021164147A1 (zh) 基于人工智能的服务评价方法、装置、设备及存储介质
WO2020098249A1 (zh) 电子装置、应对话术推荐方法和计算机可读存储介质
CN109902957B (zh) 一种数据处理方法和装置
CN112468659B (zh) 应用于电话客服的质量评价方法、装置、设备及存储介质
CN110287318B (zh) 业务操作的检测方法及装置、存储介质、电子装置
CN111081229B (zh) 基于语音的评分方法及相关装置
CN111553701A (zh) 一种基于会话的风险交易确定方法和装置
CN111445928A (zh) 语音质检方法、装置、设备及存储介质
CN110458599A (zh) 测试方法、测试装置及相关产品
CN114049895B (zh) 一种基于asr的语音质检分析方法及***
CN117499528A (zh) 一种会话质量的检测方法、装置、设备及存储介质
JP2016001399A (ja) 関連性判定装置、モデル学習装置、方法、及びプログラム
CN113709313B (zh) 客服通话数据智能质检方法、装置、设备及介质
CN114694680A (zh) 话务员的服务评估方法、装置、存储介质及电子设备
CN113657773A (zh) 话术质检方法、装置、电子设备及存储介质
CN113782036A (zh) 音频质量评估方法、装置、电子设备和存储介质
CN113179352B (zh) 通话质量的确定方法、确定装置以及计算机可读存储介质
CN112580350A (zh) 一种诉求分析方法、装置、电子设备和存储介质
CN115983285A (zh) 问卷稽核方法、装置、电子设备和存储介质
CN116705003A (zh) 基于人工智能的语音工单质检方法、装置、设备及介质
KR102407055B1 (ko) 음성인식 후 자연어 처리를 통한 대화 품질지수 측정장치 및 그 방법
CN114356982A (zh) 营销合规性检查方法、装置、计算机设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant