CN116150343A - 话术推荐方法、装置及电子设备 - Google Patents
话术推荐方法、装置及电子设备 Download PDFInfo
- Publication number
- CN116150343A CN116150343A CN202310155861.6A CN202310155861A CN116150343A CN 116150343 A CN116150343 A CN 116150343A CN 202310155861 A CN202310155861 A CN 202310155861A CN 116150343 A CN116150343 A CN 116150343A
- Authority
- CN
- China
- Prior art keywords
- recommendation
- target
- telephone
- library
- utterances
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 64
- 238000011156 evaluation Methods 0.000 claims abstract description 94
- 238000012549 training Methods 0.000 claims abstract description 17
- 238000013507 mapping Methods 0.000 claims description 32
- 238000005516 engineering process Methods 0.000 claims description 25
- 238000003860 storage Methods 0.000 claims description 15
- 238000001356 surgical procedure Methods 0.000 claims description 6
- 230000000694 effects Effects 0.000 description 16
- 238000012545 processing Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 8
- 230000006870 function Effects 0.000 description 7
- 238000005065 mining Methods 0.000 description 7
- 238000004458 analytical method Methods 0.000 description 5
- 230000009286 beneficial effect Effects 0.000 description 5
- 238000001914 filtration Methods 0.000 description 5
- 230000001737 promoting effect Effects 0.000 description 5
- 238000004590 computer program Methods 0.000 description 4
- 238000009499 grossing Methods 0.000 description 3
- 230000002194 synthesizing effect Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000013145 classification model Methods 0.000 description 2
- 238000012217 deletion Methods 0.000 description 2
- 230000037430 deletion Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000002203 pretreatment Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000001427 coherent effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011022 operating instruction Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000011282 treatment Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/335—Filtering based on additional data, e.g. user or group profiles
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Telephonic Communication Services (AREA)
Abstract
本申请公开了一种话术推荐方法、装置及电子设备。所述方法包括:获取话术库中的话术分别在多个话术评估指标的取值,所述多个话术评估指标包括通用话术评估指标以及随路配置信息中的随路字段,所述随路配置信息为基于目标业务配置得到,所述随路配置信息用于描述所述随路字段对应的推荐评分策略;通过话术推荐模型基于所述随路配置信息和所述话术库中的话术分别在所述多个话术评估指标的取值,确定所述话术库中的话术的目标推荐分值,所述话术推荐模型为基于样本话术对应的推荐分值以及所述样本话术分别在所述多个话术评估指标的取值训练得到;基于所述话术库中的话术的目标推荐分值,从所述话术库中确定与所述目标业务相关的待推荐话术。
Description
技术领域
本申请涉及数据处理技术领域,尤其涉及一种话术推荐方法、装置及电子设备。
背景技术
从海量的服务对话数据中分析挖掘出对业务有促进作用或决定性作用的话术,不仅可以帮助话术团队节省生产话术的工作量,还可以帮助业务部门优化业务。
目前在进行话术挖掘的过程中,主要结合一些通用的话术评估指标给大量的话术进行打分,综合各话术的得分进行话术推荐。但是,这些通用的话术评估指标通常为内置固定的参数,应用到不同的业务场景中很难达到理想效果,往往挖掘出的话术并非真实的、对业务有促进作用或决定性作用的话术。
发明内容
本申请实施例的目的提供一种话术推荐方法、装置及电子设备,能够满足各种业务场景下的话术推荐需求,且推荐的话术准确性高,对业务有促进作用或决定性作用。
为了实现上述目的,本申请实施例采用下述技术方案:
第一方面,本申请实施例提供一种话术推荐方法,包括:
获取话术库中的话术分别在多个话术评估指标的取值,所述多个话术评估指标包括通用话术评估指标以及随路配置信息中的随路字段,所述随路配置信息为基于目标业务配置得到,所述随路配置信息用于描述所述随路字段对应的推荐评分策略;
通过话术推荐模型基于所述随路配置信息和所述话术库中的话术分别在所述多个话术评估指标的取值,确定所述话术库中的话术的目标推荐分值,所述话术推荐模型为基于样本话术对应的推荐分值以及所述样本话术分别在所述多个话术评估指标的取值训练得到;
基于所述话术库中的话术的目标推荐分值,从所述话术库中确定与所述目标业务相关的待推荐话术。
第二方面,本申请实施例提供一种话术推荐装置,包括:
获取单元,用于获取话术库中的话术分别在多个话术评估指标的取值,所述多个话术评估指标包括通用话术评估指标以及随路配置信息中的随路字段,所述随路配置信息为基于目标业务配置得到,所述随路配置信息用于描述所述随路字段对应的推荐评分策略;
确定单元,用于通过话术推荐模型基于所述随路配置信息和所述话术库中的话术分别在所述多个话术评估指标的取值,确定所述话术库中的话术的目标推荐分值,所述话术推荐模型为基于样本话术对应的推荐分值以及所述样本话术分别在所述多个话术评估指标的取值训练得到;
推荐单元,用于基于所述话术库中的话术的目标推荐分值,从所述话术库中确定与所述目标业务相关的待推荐话术。
第三方面,本申请实施例提供一种电子设备,包括:处理器;用于存储所述处理器可执行指令的存储器;其中,所述处理器被配置为执行所述指令,以实现如第一方面所述的方法。
第四方面,本申请实施例提供一种计算机可读存储介质,当所述存储介质中的指令由电子设备的处理器执行时,使得电子设备能够执行如第一方面所述的方法。
本申请实施例采用的上述至少一个技术方案能够达到以下有益效果:
基于目标业务预先配置随路字段以及随路字段对应的推荐评分策略,所得的随路配置信息与目标业务相关;进一步,通过预先训练的话术推荐模型基于随路配置信息,综合话术库中的话术分别在通用话术评估指标及随路字段的取值对话术库中的话术进行推荐打分,由于随路字段及随路字段的推荐评分策略与目标业务相关,使得所得的话术的目标推荐分值能够准确反映出话术对目标业务而言的重要性;进一步,基于话术库中话术的目标推荐分值进行话术推荐,有利于提高话术推荐的准确性,确保待推荐话术是对业务有促进作用或决定性作用的话术,从而满足针对目标业务的话术推荐需求。另外,随路字段及其对应的推荐评分策略的开放配置,有利于将本申请实施例提供的话术推荐方法快速复用给各种各样的业务场景,不仅可以满足各种业务场景下的话术推荐需求,还可以极大地减少项目交付成本。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1为本申请实施例提供的技术方案的应用场景示意图;
图2为本申请的一个实施例提供的一种话术推荐方法的流程示意图;
图3为本申请的一个实施例提供的一种随路字段配置界面的示意图;
图4为本申请的一个实施例提供的一种句子长度与话术数量之间的映射关系曲线的示意图;
图5为本申请的一个实施例提供的一种话术预处理方法的流程示意图;
图6为本申请的一个实施例提供的一种话术推荐界面的示意图;
图7为本申请的另一个实施例提供的一种话术推荐方法的流程示意图;
图8为本申请的一个实施例提供的一种话术推荐装置的结构示意图;
图9为本申请的一个实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然,所描述的实施例仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
相关概念说明:
随路字段:随路字段是指与呼叫录音相关联的字段,例如包括但不限于如下信息中的至少一种:主叫号码、被叫号码、坐席信息、账户信息、交易信息等。
如背景技术中所述,目前在进行话术挖掘的过程中,主要结合一些通用的话术评估指标给大量的话术进行打分,综合各话术的得分进行话术推荐。但是,这些通用的话术评估指标通常为内置固定的参数,应用到不同的业务场景中很难达到理想效果,往往挖掘出的话术并非真实的、对业务有促进作用或决定性作用的话术。
有鉴于此,本申请实施例提供一种话术推荐方法,基于目标业务预先配置随路字段以及随路字段对应的推荐评分策略,所得的随路配置信息与目标业务相关;进一步,通过预先训练的话术推荐模型基于随路配置信息,综合话术库中的话术分别在通用话术评估指标及随路字段的取值对话术库中的话术进行推荐打分,由于随路字段及随路字段的推荐评分策略与目标业务相关,使得所得的话术的目标推荐分值能够准确反映出话术对目标业务而言的重要性;进一步,基于话术库中话术的目标推荐分值进行话术推荐,有利于提高话术推荐的准确性,确保待推荐话术是对业务有促进作用或决定性作用的话术,从而满足针对目标业务的话术推荐需求。另外,随路字段及其对应的推荐评分策略的开放配置,有利于将本申请实施例提供的话术推荐方法快速复用给各种各样的业务场景,不仅可以满足各种业务场景下的话术推荐需求,还可以极大地减少项目交付成本。
应理解,本申请实施例提出的话术推荐方法可以由电子设备或安装在电子设备中的软件执行。此处所谓的电子设备可以包括终端设备,比如智能手机、平板电脑、笔记本电脑、台式计算机、智能语音交互设备、智能家电、智能手表、车载终端、飞行器等;或者,电子设备还可以包括服务器,比如独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式***,还可以是提供云计算服务的云服务器。
为了使本领域技术人员理解本申请实施例提供的技术方案,下面结合图1所示的一种实际应用场景,对本申请实施例提供的技术方案进行详细说明。应理解,本申请实施例提供的技术方案应用于图1所示的场景只是一种示例性的说明,并不应理解为对本申请实施例的应用场景的限定。
如图1所示,为本申请的一个实施例提供的技术方案应用的一种实际应用场景。在图1中,各用户的终端设备1分别通过网络与服务器2通信连接。
各用户可通过终端设备1进行对话,比如坐席与客户之间可通过终端设备1进行会话,其中,对话的形式可以例如包括但不限于语音、视频以及文字等。在对话过程中,服务器2可针从对话中提取出话术并存入话术库3中。
在需要进行针对目标业务的话术推荐时,业务人员可通过终端设备1配置与目标业务相关的随路字段及随路字段对应的推荐评分策略,得到随路配置信息并发送给服务器2。服务器2可获取话术库3中的话术分别在通用话术评估指标及随路字段等多个话术评估指标的取值,然后通过预先训练的话术推荐模型基于随路配置信息和话术库3中的话术分别在多个话术评估指标的取值,对话术库3中的话术进行推荐评分,结合推荐评分结果从话术库3中确定真实的、对目标业务有促进作用或决定性作用的话术并发送给业务人员的终端设备1进行展示。由此,业务人员通过终端设备1展示的话术对目标业务进行优化等。
本申请实施例提供的技术方案将详细描述上述话术推荐的具体实现过程。以下结合附图,详细说明本申请各实施例提供的技术方案。
请参见图2,为本申请的一个实施例提供的一种话术推荐方法的流程示意图,该方法可以包括如下步骤:
S202,获取话术库中的话术分别在多个话术评估指标的取值。
其中,多个话术评估指标包括通用话术评估指标以及随路配置信息中的随路字段。
通用话术评估指标是指适用于多种业务的话术评估指标。可选地,通用话术评估指标可以包括话术属性指标和话术质量指标中的至少一种。其中,话术属性指标是指用于反映话术属性的指标,具体可以例如包括但不限于:话术的通话时长、对话轮数、句子长度(即字数)、出现频次等信息。话术质量指标是指用于反映话术质量的指标,话术在话术质量指标的取值具体可用于表示话术分别在多个质量项对应的命中信息,其中,上述多个质量项可以例如包括但不限于如下质量项中的至少两种:话术的语句是否连贯、观点是否清晰、用词是否准确等。
值得说明的是,对于话术的出现频次,本申请实施例的话术推荐方法采用了相似度模型进行计算统计,若两个话术之间的相似度高于预设相似度阈值(比如80%),则认为同一个话术出现了两次,进而对于话术库中的每一话术,话术库中与该话术的相似度高于预设相似度阈值的其他话术有多少个,就认为该话术出现了多少次,也即得到该话术的出现频次。
实际应用中,话术在话术质量指标的取值可通过各种适当的方式获取,具体可根据实际需要进行选择,本申请实施例对此不作限定。可选地,话术库中的话术在话术质量指标的取值可通过如下方式获取:将目标话术输入目标质量项对应的二分类模型,得到目标话术对目标质量项的命中信息,其中,命中信息用于表示目标话术是否命中目标质量项,目标质量项为上述多个质量项中的任一个,目标质量项对应的二分类模型为基于多个样本话术以及多个样本话术各自对应的样本标签进行模型训练得到,样本标签用于表示对应的样本话术是否命中目标质量项。
示例地,以质量项“语句连贯”为例,如下表1示出了部分样本话术以及样本话术对应的样本标签。应理解,表1所示的样本话术及样本标签只是部分示例性的说明,并不应理解为对本申请实施例的样本话术及样本标签的限定。
表1
基于上述表1所示的样本话术及样本话术对应的样本标签,可训练一个用于检测语句连贯性的二分类模型。具体的训练方法可采用本领域常用的各种模型训练方法,不再赘述。
这样,针对话术库中的每个话术,将该话术输入该二分类模型中,即可输出该话术是否命中“语句连贯”质量项的分类结果。其中,若该话术命中该质量项,则表示该话术的语句连贯性较好;若该话术未命中该质量项,则表示该话术的语句连贯性较差。
本申请实施例在此示出了获取话术在话术质量指标的取值的一种具体实现方式。当然,应理解,话术在话术质量指标的取值还可通过其他方式获取,比如还可将话术库中的话术发送给业务人员的终端设备进行展示,由业务人员针对每个质量项对话术库中的话术进行评估,得到话术库中的话术在话术质量指标的取值,等等。
随路配置信息为基于目标业务配置得到,随路配置信息用于描述随路字段对应的推荐评分策略。可选地,随路配置信息可以包括至少一个随路字段各自对应的关联权重以及各随路字段分别在多个第一预设推荐分值下对应的取值范围。也就是说,随路字段对应的推荐评分策略包括随路字段对应的关联权重以及随路字段分别在多个第一预设推荐分值下对应的取值范围。其中,随路字段对应的关联权重用于表示随路字段与业务之间的相关程度,示例地,随路字段对应的关联权重越大,则随路字段与业务越相关。
示例地,图3示出了一种随路字段配置界面的示意图,在该随路字段配置界面中,上述多个第一预设推荐分值分别为1星~5星,其中,1星表示第一预设推荐分值为1分,通过该随路字段配置界面可配置随路字段的字段名、每个随路字段对应的关联权重以及每个随路字段分别在多个第一预设推荐分值下对应的取值范围。以“好评率”这一随路字段为例,该随路字段在“1星”下对应的取值范围为0~3%,该随路字段在“2星”下对应的取值范围为3%~10%,该随路字段在“3星”下对应的取值范围为10%~65%,该随路字段在“4星”下对应的取值范围为65%~80%,该随路字段在“5星”下对应的取值范围为80%~100%,该随路字段对应的关联权重为30%。
可选地,考虑到实际应用中,话术库的话术可能是依据自动语音识别(AutomaticSpeech Recognition,ASR)技术对对话语音进行识别和转换得到的,因而这类话术可能存在内容不完整、易读性和可理解性较差的问题,为了确保后续推荐的话术的完整性、易读性及可理解性,如图5所示,在上述S202之前,本申请实施例提供的话术推荐方法还可以包括:对话术库中的话术进行如至少一种前处理:话术合并、语气词过滤、文本顺滑等。
其中,话术合并是指将话术库中的多个话术合并为一个话术。示例地,对话语音中的话术一般依赖ASR的断句结果为标准,一般话术较长时会被断成多句,且实际录音中会存在较长的话术被对话者发出“嗯”、“对”、“哦”等语气词等表示赞同的内容切断成多句,通过话术合并,可将多个相关的句子合并为一个话术,从而减少话术的内容不完整的情况。
语气词过滤是指将话术中一些常见的、不具有任何实际意义的语气词进行过滤,比如“啊”、“哦”等,从而可以增加话术的可读性。
文本顺滑是指识别并删除话术中所包含的重复停顿、修正、冗余等口语现象,进而使口语化的话术更加书面化,增加话术的可理解性。
在对话术库中的话术进行前处理之后,可将前处理后的话术以创建离线任务的形式同步至服务器中用于话术推荐的处理模型进行话术挖掘和推荐处理。
S204,通过话术推荐模型基于随路配置信息和话术库中的话术分别在多个话术评估指标的取值,确定话术库中的话术的目标推荐分值。
其中,话术推荐模型为基于样本话术对应的推荐分值以及样本话术分别在多个话术评估指标的取值训练得到。在上述S204中,话术推荐模型可结合随路字段配置信息所描述的随路字段的推荐评分策略以及话术库中的话术分别在多个话术评估指标的取值,对话术库中的话术进行推荐评分,得到话术库中的话术的目标推荐分值。话术的目标推荐分值可作为话术推荐的依据,示例地,若话术的目标推荐分值越高,则表明话术对业务的促进作用或决定性作用越大;若话术的目标推荐分值越低,则表明话术对业务的促进作用或决定性作用越小。
在一种可选的实现方式中,上述S204可以包括如下步骤:
S241,基于随路配置信息以及话术库中的话术在随路字段的取值,确定话术库中的话术在随路字段对应的推荐分值。
由于随路配置信息描述了随路字段对应的推荐评分策略,因而可基于随路配置信息和话术库中的话术在随路字段的取值,对话术进行随路字段维度的推荐评分,得到话术库中的话术在随路字段对应的推荐分值。
可选地,随路配置信息包含至少一个随路字段、各个随路字段对应的关联权重以及各随路字段分别在多个第一预设推荐分值下对应的取值范围。在此情况下,上述S241可具体实现为:从目标随路字段分别在多个第一预设推荐分值下对应的取值范围中,确定目标话术对应的第一目标取值范围,其中,第一目标取值范围为目标话术在目标随路字段的取值所属的取值范围,目标随路字段为上述至少一个随路字段中的任一个,目标话术为话术库中的任一个话术;进一步,将第一目标取值范围对应的第一预设推荐分值确定为目标话术在目标随路字段对应的子推荐分值;最后,基于随路配置信息中各随路字段各自对应的关联权重,对目标话术分别在各随路字段对应的子推荐分值进行加权求和,得到目标话术在随路字段对应的推荐分值。
示例地,以图3所示的随路字段“好评率”为例,若话术库中的某个话术的好评率为8%,属于3%~10%这一取值范围内,进而可确定该话术在“好评率”这一随路字段对应的推荐分值为2星(即2分)。又如,以图3所示的随路字段“坐席等级”为例,若话术库中的某个话术在该随路字段的取值为“中级”,则可确定该话术在“坐席等级”这一随路字段对应的推荐分值为3星(即3分)。在得到话术分别在“坐席等级”、“所属省份”、“好频率”、“成单量”、“入职时间”等随路字段对应的子推荐分值之后,基于这些随路字段各自对应的关联权重,对话术分别在这些随路字段对应的子推荐分值进行加权求和,即可得到话术在随路字段的推荐分值。
S242,基于通用话术评估指标对应的推荐评分策略以及话术库中的话术在通用话术评估指标的取值,确定话术库中的话术在通用话术评估指标对应的推荐分值。
其中,通用话术评估指标对应的推荐评分策略用于评估话术在通用话术评估指标对应的推荐分值。为准确评估话术在通用话术评估指标对应的推荐分值,不同的通用话术评估指标对应的推荐评分策略不同,具体可根据实际需要进行设置,本申请实施例对此不作限定。
在通用话术评估指标包括话术属性指标的情况下,通用话术评估指标对应的推荐评分策略包括:基于话术属性指标的取值与话术数量之间的映射关系曲线进行推荐评估。相应地,上述S242可具体实现为:
首先,基于话术库中各话术在话术属性指标的指标值,统计话术库在话术属性指标下包含的多种取值以及每种取值对应的话术数量。
然后,以话术属性指标的取值为横坐标、以话术数量为纵坐标,基于上述多种取值以及每种取值对应的话术数量,确定话术属性指标的取值与话术数量之间的映射关系曲线。
接着,基于映射关系曲线的积分面积,确定话术属性指标分别在多个第二预设推荐分值对应的取值范围。
进一步,从话术属性指标分别在多个第二预设推荐分值对应的取值范围中,确定目标话术对应的第二目标取值范围,其中,第二目标取值范围为话术在所述话术属性指标的取值所属的取值范围,目标话术为所述话术库中的任一个话术。
最后,将第二目标取值范围对应的第二预设推荐分值确定为目标话术在所述话术属性指标对应的推荐分值。
示例地,以话术属性指标“句子长度”为例,通过统计话术库中各话术的句子长度,可得到话术库包含的多种句子长度;然后,针对每种句子长度,统计话术库中具有该句子长度的话术数量;接着,以句子长度为横坐标、以话术数量为纵坐标,基于多种句子长度以及每种句子长度对应的话术数量进行曲线拟合处理,得到如图4所示的句子长度与话术数量之间的映射关系曲线。假设上述多个第二预设推荐分值分别为1~5分,则可将该映射关系曲线的积分面积等分为5份,即可得到每个第二预设推荐分值对应的句子长度范围,也即图4中所示的最小句子长度~17、17~26、26~43、43~59以及59~最大句子长度这五个句子长度范围,其中,最小句子长度~17对应的第二预设推荐分值为1分,17~26对应的第二预设推荐分值为2分,26~43对应的第二预设推荐分值为3分,43~59对应的第二预设推荐分值为4分,59~最大句子长度对应的第二预设推荐分值为5分。若话术库中某个话术的句子长度为20,属于17~26这个句子长度范围内,则可确定该话术在句子长度对应的推荐分值为2分。
可以理解的是,由于话术属性指标的取值与话术数量之间的映射关系曲线能够客观、准确地反映出话术库在话术属性指标的取值的话术分布情况,基于该映射关系曲线确定话术在话术属性指标对应的推荐分值,更符合话术库的实际情况,进而确定出的推荐分值更准确、客观。
在通用话术评估指标包括话术质量指标的情况下,通用话术评估指标对应的推荐评分策略包括:基于话术命中的质量项数量进行推荐评估。相应地,上述S242可具体实现为:基于目标话术在话术质量指标的取值,确定目标话术命中的质量项数量,其中,目标话术为话术库中的任一个话术;进一步,基于质量项数量与推荐分值之间的预设映射关系以及目标话术命中的质量项数量,确定目标话术在话术质量指标对应的推荐分值。
其中,质量项数量与推荐分值之间的预设映射关系可以根据实际需要进行设置,本申请实施例对此不作限定。
示例地,下述表2示出了一种质量项数量与推荐分值之间的预设映射关系。
表2
质量项数量(占比) | 推荐分值 |
0~20% | 1分 |
20%~40% | 2分 |
40%~60% | 3分 |
60%~80% | 4分 |
80%~100% | 5分 |
以上述表2所示的预设映射关系为例,假设话术质量指标包括语句是否连贯、观点是否清晰、用词是否准确功这3个质量项,话术库中某个话术命中了2个质量项(即占比约为66.67%),属于60%~80%这一范围,进而可确定该话术在话术质量指标对应的推荐分值为4分。
又如,表3示出了另一种质量项数量与推荐分值之间的预设映射关系,也就是说,在该预设映射关系中,质量项数量与推荐分值相等。应理解,表2和表3所示的预设映射关系只是部分示例性的说明,并不应理解为对本申请实施例的预设映射关系的限定。
表3
质量项数量 | 推荐分值 |
1 | 1分 |
2 | 2分 |
3 | 3分 |
4 | 4分 |
5 | 5分 |
…… | …… |
以上述表3所示的预设映射关系为例,假设话术质量指标包括语句是否连贯、观点是否清晰、用词是否准确功这3个质量项,话术库中某个话术命中了2个质量项,则可确定该话术在话术质量指标对应的推荐分值为2分。
可以理解的是,由于话术在质量项的命中信息能够反映话术的语句质量,基于话术命中的质量项数量确定话术在话术质量指标对应的推荐分值,使得所得的推荐分值能够准确地反映话术的语句质量,从而有利于提高后续话术推荐的准确性。
S243,基于话术库中的话术分别在多个话术评估指标对应的推荐分值以及话术推荐模型,确定话术库中的话术的目标推荐分值。
本申请实施例中,话术推荐模型可以具有任意适当的形式,具体可根据实际需要进行设置,本申请实施例对此不作限定。本申请实施例的话术推荐模型可通过任意适当的方式训练得到,具体可根据实际需要进行选择,本申请实施例对此不作限定。值得说明的是,对话术推荐模型的训练可以是基于样本话术对应的推荐分值以及样本话术分别在多个话术评估指标的取值预先进行的,后续在话术推荐过程中,无需每次对话术推荐模型进行训练,或者可以周期性地根据用户对待推荐话术的反馈,获取新的话术样本及话术样本对应的推荐分值,对话术推荐模型进行更新。
可选地,为直观、准确地反映话术分别在多个话术评估指标对应的推荐分值对目标业务的影响程度,话术推荐模型可以包括话术在各话术评估指标对应的推荐分值、各推荐分值对应的推荐权重以及话术的目标推荐分值之间的映射关系。示例地,映射关系为:
话术的目标推荐分值=话术在随路字段对应的推荐分值×推荐权重1+话术在话术属性指标对应的推荐分值×推荐权重2+话术在话术质量指标对应的推荐分值×推荐权重3。
在此情况下,话术推荐模型可基于样本话术在各话术评估指标对应的推荐分值以及样本话术的目标推荐分值进行训练得到。
相应地,上述S243可具体实现为:基于各推荐评估指标对应的推荐权重以及映射关系,对目标话术在各话术评估指标对应的推荐分值进行加权求和,得到目标话术对应的目标推荐分值,其中,目标话术为话术库中的任一个话术。
可以理解的是,在上述实施方式中,先分别针对各话术评估指标对话术进行推荐打分,再由话术推荐模型结合话术在各话术评估指标对应的推荐分值对话术进行综合打分,由此所得的目标推荐分值能够更准确地反映话术对目标业务的促进作用或决定性作用大小。
本申请实施例在此示出了上述S204的一种具体实现方式。当然,应理解,上述S204也可以通过其他方式实现。例如,在其他一些可选的实现方式中,可针对话术库中的每个话术,将随路配置信息以及该话术分别在多个话术评估指标的取值输入话术推荐模型,即可该话术的目标推荐分值。在此情况下,话术推荐模型为基于样本话术对应的随路配置信息、样本话术分别在多个话术评估指标的取值以及样本话术的推荐分值进行训练得到。S206,基于话术库中的话术的目标推荐分值,从话术库中确定与目标业务相关的待推荐话术。
在一种可选的实现方式中,上述S206可以包括如下步骤:基于话术库中的话术的目标推荐分值,对话术库中的话术进行排序,比如降序排列等,然后从话术库中选取排在前N位的话术,作为与目标业务相关的待推荐话术,其中,N小于话术库中的话术总数。
在另一种可选的实现方式中,上述S206可以包括如下步骤:基于话术库中的话术的目标推荐分值,从话术库中选取预设数量的候选话术并展示;接收针对所展示的候选话术的反馈操作;进一步,基于反馈操作,从预设数量的候选话术中确定与目标业务相关的待推荐话术。
示例地,基于话术库中的话术的目标推荐分值,对话术库中的话术进行排序,比如降序排列等,然后从话术库中选取排在前N位的话术,作为候选话术,其中,N小于话术库中的话术总数;然后,通过将选出的N个候选话术展示给用户,以供用户选择;针对每个候选话术,若接收到针对该候选话术的删除操作,则将该候选话术过滤掉,即不作为待推荐话术;若接收到针对该候选话术的选中操作,则将该候选话术作为待推荐话术。
示例地,图6示出了一种话术推荐界面的示意图,左侧为对话语料,若要从话术库中挖掘与客户问句“现在你们的价格大概是多少啊?比其他平台的价格低多少呢可以?”相关的待推荐话术,也即目标业务为产品价格咨询,通过上述步骤S202~S206得到共46条候选话术,图6右侧仅示出了目标推荐分值排在前3位的候选话术。用户可通过该话术推荐界面中与各候选话术对应的编辑控件对该候选话术进行编辑,通过与各候选话术对应的选中控件选中该候选话术,以及通过与各候选话术对应的删除控件删除该候选话术。假设接收到用户选中排在第1位的候选话术“我们目前的价格已经是在原价的基础上降低了,大概是10%,确实是比之前优惠了非常多”,则可将该话术作为待推荐话术。
可选地,为了提升话术推荐模型的准确率,在接收针对展示的候选话术的反馈操作之后,还可基于接收到的反馈操作自动反哺话术推荐模型。具体而言,在接收针对展示的候选话术的反馈操作之后,本申请实施例提供的话术推荐方法还可以包括:基于反馈操作,从预设数量的候选话术中选取被用户选择的候选话术作为正样本,以及从预设数量的候选话术中选取未被用户选择的候选话术作为负样本,得到样本集;进一步,基于样本集优化话术推荐模型。
示例地,对于正样本,若该正样本原本的目标推荐分值较低,则可将该正样本原本的目标推荐分值修正为一较高值,得到该正样本对应的推荐分值;对于负样本,若该负样本原本的目标推荐分值较高,则可将该负样本的目标推荐分值修正为一较低值,得到该负样本对应的推荐分值。进一步,基于样本集中各样本对应的推荐分值以及各样本分别在多个话术评估指标的取值,优化话术推荐模型,比如优化话术推荐模型中各话术评估指标对应的推荐权重等。
请参见图7,本申请的另一个实施例提供的一种话术推荐方法可以包括如下步骤:
对话术库中的话术进行前处理,得到前处理后的话术。其中,前处理可以包括如下处理中的至少一种:话术合并、语气词过滤、文本顺滑等。
基于目标业务确定随路配置信息,其中,随路配置信息包括至少一个随路字段、各随路字段对应的关联权重以及各随路字段分别在多种第一预设推荐分值下对应的取值范围等。
获取话术库中前处理后的话术分别在多个话术评估指标的取值。
通过话术推荐模型基于随路配置信息和话术库中前处理后的话术分别在多个话术评估指标的取值,确定话术库中前处理后的话术的目标推荐分值。
基于话术库中前处理后的话术的目标推荐分值,从话术库中确定与目标业务相关的待推荐话术。
展示待推荐话术以供用户执行反馈操作,比如对话术进行编辑、选中以及删除等操作。
基于用户对待推荐话术的反馈操作,优化话术推荐模型。
本申请的一个或多个实施例提供的话术推荐方法,基于目标业务预先配置随路字段以及随路字段对应的推荐评分策略,所得的随路配置信息与目标业务相关;进一步,通过预先训练的话术推荐模型基于随路配置信息,综合话术库中的话术分别在通用话术评估指标及随路字段的取值对话术库中的话术进行推荐打分,由于随路字段及随路字段的推荐评分策略与目标业务相关,使得所得的话术的目标推荐分值能够准确反映出话术对目标业务而言的重要性;进一步,基于话术库中话术的目标推荐分值进行话术推荐,有利于提高话术推荐的准确性,确保待推荐话术是对业务有促进作用或决定性作用的话术,从而满足针对目标业务的话术推荐需求。另外,随路字段及其对应的推荐评分策略的开放配置,有利于将本申请实施例提供的话术推荐方法快速复用给各种各样的业务场景,不仅可以满足各种业务场景下的话术推荐需求,还可以极大地减少项目交付成本。
与上述图2所示的话术推荐方法相对应地,本申请实施例还提出一种话术推荐装置。请参见图8,为本申请的一个实施例提供的一种话术推荐装置800的结构示意图,该装置800包括:
获取单元810,用于获取话术库中的话术分别在多个话术评估指标的取值,所述多个话术评估指标包括通用话术评估指标以及随路配置信息中的随路字段,所述随路配置信息为基于目标业务配置得到,所述随路配置信息用于描述所述随路字段对应的推荐评分策略;
确定单元820,用于通过话术推荐模型基于所述随路配置信息和所述话术库中的话术分别在所述多个话术评估指标的取值,确定所述话术库中的话术的目标推荐分值,所述话术推荐模型为基于样本话术对应的推荐分值以及所述样本话术分别在所述多个话术评估指标的取值训练得到;
推荐单元830,用于基于所述话术库中的话术的目标推荐分值,从所述话术库中确定与所述目标业务相关的待推荐话术。
可选地,所述确定单元具体用于:
基于所述随路配置信息以及所述话术库中的话术在所述随路字段的取值,确定所述话术库中的话术在随路字段对应的推荐分值;
基于所述通用话术评估指标对应的推荐评分策略以及所述话术库中的话术在所述通用话术评估指标的取值,确定所述话术库中的话术在所述通用话术评估指标对应的推荐分值;
基于所述话术库中的话术分别在所述多个话术评估指标对应的推荐分值以及所述话术推荐模型,确定所述话术库中的话术的目标推荐分值。
可选地,所述话术推荐模型包括话术在各话术评估指标对应的推荐分值、各推荐评估指标对应的推荐权重以及话术的目标推荐分值之间的映射关系;
所述确定单元,基于所述话术库中的话术分别在所述多个话术评估指标对应的推荐分值以及所述话术推荐模型,确定所述话术库中的话术的目标推荐分值,包括:
基于各推荐评估指标对应的推荐权重以及所述映射关系,对目标话术在各话术评估指标对应的推荐分值进行加权求和,得到所述目标话术对应的目标推荐分值,其中,所述目标话术为所述话术库中的任一个话术。
可选地,所述随路配置信息包括至少一个随路字段各自对应的关联权重以及各随路字段分别在多个第一预设推荐分值下对应的取值范围;
所述确定单元,基于所述配置信息以及所述话术库中的话术在所述随路字段的取值,确定所述话术库中的话术在随路字段对应的推荐分值,包括:
从目标随路字段分别在多个第一预设推荐分值下对应的取值范围中,确定目标话术对应的第一目标取值范围,所述第一目标取值范围为所述目标话术在所述目标随路字段的取值所属的取值范围,所述目标随路字段为所述至少一个随路字段中的任一个,所述目标话术为所述话术库中的任一个话术;
将所述第一目标取值范围对应的第一预设推荐分值确定为所述目标话术在所述目标随路字段对应的子推荐分值;
基于所述至少一个随路字段各自对应的关联权重,对所述目标话术分别在所述至少一个随路字段对应的子推荐分值进行加权求和,得到所述目标话术在随路字段对应的推荐分值。
可选地,所述通用话术评估指标包括话术属性指标,所述通用话术评估指标对应的推荐评分策略包括基于所述话术属性指标的取值与话术数量之间的映射关系曲线进行推荐评估;
所述确定单元,基于所述通用话术评估指标对应的推荐评分策略以及所述话术库中的话术在所述通用话术评估指标的取值,确定所述话术库中的话术在所述通用话术评估指标对应的推荐分值,包括:
基于所述话术库中各话术在所述话术属性指标的指标值,统计所述话术库在所述话术属性指标下包含的多种取值以及每种取值对应的话术数量;
以所述话术属性指标的取值为横坐标、以话术数量为纵坐标,基于所述多种取值以及每种取值对应的话术数量,确定所述话术属性指标的取值与话术数量之间的映射关系曲线;
基于所述映射关系曲线的积分面积,确定所述话术属性指标分别在多个第二预设推荐分值对应的取值范围;
从所述话术属性指标分别在多个第二预设推荐分值对应的取值范围中,确定目标话术对应的第二目标取值范围,所述第二目标取值范围为所述话术在所述话术属性指标的取值所属的取值范围,所述目标话术为所述话术库中的任一个话术;
将所述第二目标取值范围对应的第二预设推荐分值确定为所述目标话术在所述话术属性指标对应的推荐分值。
可选地,所述通用话术评估指标包括话术质量指标,话术在话术质量指标的取值用于表示话术分别在多个质量项对应的命中信息,所述通用话术评估指标对应的推荐评分策略包括基于话术命中的质量项数量进行推荐评估;
所述确定单元,基于所述通用话术评估指标对应的推荐评分策略以及所述话术库中的话术在所述通用话术评估指标的取值,确定所述话术库中的话术在所述通用话术评估指标对应的推荐分值,包括:
基于目标话术在所述话术质量指标的取值,确定所述目标话术命中的质量项数量,所述目标话术为所述话术库中的任一个话术;
基于质量项数量与推荐分值之间的预设映射关系以及所述目标话术命中的质量项数量,确定所述目标话术在所述话术质量指标对应的推荐分值。
可选地,所述话术库中的话术在话术质量指标的取值通过如下方式获取:
将所述目标话术输入目标质量项对应的二分类模型,得到所述目标话术对所述目标质量项的命中信息,其中,所述目标质量项为所述多个质量项中的任一个,所述目标质量项对应的二分类模型为基于多个样本话术以及所述多个样本话术各自对应的样本标签进行模型训练得到,所述样本标签用于表示对应的样本话术是否命中所述目标质量项。
可选地,所述推荐单元具体用于:
基于所述话术库中的话术的目标推荐分值,从所述话术库中选取预设数量的候选话术并展示;
接收针对所展示的候选话术的反馈操作;
基于所述反馈操作,从所述预设数量的候选话术中确定与所述目标业务相关的待推荐话术。
可选地,所述装置还包括:
训练单元,用于在所述推荐单元在接收针对所展示的候选话术的反馈操作之后,基于所述反馈操作,从所述预设数量的候选话术中选取被用户选中的候选话术作为正样本,以及从所述预设数量的候选话术中选取未被用户选择的候选话术作为负样本,得到样本集;基于所述样本集优化所述话术推荐模型。
显然,本申请实施例提供的话术推荐装置能够作为图2所示的话术推荐方法的执行主体,例如图2所示的话术推荐方法中,步骤S202可由图8所示的话术推荐装置中的获取单元执行,步骤S204可由图8所示的话术推荐装置中的确定单元执行,步骤S206可由图8所示的话术推荐装置中的推荐单元执行。
根据本申请的另一个实施例,图8所示的话术推荐装置中的各个单元可以分别或全部合并为一个或若干个另外的单元来构成,或者其中的某个(些)单元还可以再拆分为功能上更小的多个单元来构成,这可以实现同样的操作,而不影响本申请实施例的技术效果的实现。上述单元是基于逻辑功能划分的,在实际应用中,一个单元的功能也可以由多个单元来实现,或者多个单元的功能由一个单元实现。在本申请的其他实施例中,话术推荐装置也可以包括其他单元,在实际应用中,这些功能也可以由其他单元协助实现,并且可以由多个单元协作实现。
根据本申请的另一个实施例,可以通过在包括中央处理单元(CentralProcessing Unit,CPU)、随机存取存储介质(Random Access Memory,RAM)、只读存储介质(Read-Only Memory,ROM)等处理元件和存储元件的例如计算机的通用计算设备上,运行能够执行如图2所示的相应方法所涉及的各步骤的计算机程序(包括程序代码),来构造如图8中所示的话术推荐装置,以及来实现本申请实施例的话术推荐方法。所述计算机程序可以记载于例如计算机可读存储介质上,并通过计算机可读存储介质转载于电子设备中,并在其中运行。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
图9是本申请的一个实施例电子设备的结构示意图。请参考图9,在硬件层面,该电子设备包括处理器,可选地还包括内部总线、网络接口、存储器。其中,存储器可能包含内存,例如高速随机存取存储器(Random-Access Memory,RAM),也可能还包括非易失性存储器(non-volatile memory),例如至少1个磁盘存储器等。当然,该电子设备还可能包括其他业务所需要的硬件。
处理器、网络接口和存储器可以通过内部总线相互连接,该内部总线可以是ISA(Industry Standard Architecture,工业标准体系结构)总线、PCI(PeripheralComponent Interconnect,外设部件互连标准)总线或EISA(Extended Industry StandardArchitecture,扩展工业标准结构)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示,图9中仅用一个双向箭头表示,但并不表示仅有一根总线或一种类型的总线。
存储器,用于存放程序。具体地,程序可以包括程序代码,所述程序代码包括计算机操作指令。存储器可以包括内存和非易失性存储器,并向处理器提供指令和数据。
处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行,在逻辑层面上形成话术推荐装置。处理器,执行存储器所存放的程序,并具体用于执行以下操作:
获取话术库中的话术分别在多个话术评估指标的取值,所述多个话术评估指标包括通用话术评估指标以及随路配置信息中的随路字段,所述随路配置信息为基于目标业务配置得到,所述随路配置信息用于描述所述随路字段对应的推荐评分策略;
通过话术推荐模型基于所述随路配置信息和所述话术库中的话术分别在所述多个话术评估指标的取值,确定所述话术库中的话术的目标推荐分值,所述话术推荐模型为基于样本话术对应的推荐分值以及所述样本话术分别在所述多个话术评估指标的取值训练得到;
基于所述话术库中的话术的目标推荐分值,从所述话术库中确定与所述目标业务相关的待推荐话术。
上述如本申请图2所示实施例揭示的话术推荐装置执行的方法可以应用于处理器中,或者由处理器实现。处理器可能是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器,包括中央处理器(Central Processing Unit,CPU)、网络处理器(Network Processor,NP)等;还可以是数字信号处理器(Digital SignalProcessor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器,处理器读取存储器中的信息,结合其硬件完成上述方法的步骤。
该电子设备还可执行图2的方法,并实现话术推荐装置在图2至图7所示实施例的功能,本申请实施例在此不再赘述。
当然,除了软件实现方式之外,本申请的电子设备并不排除其他实现方式,比如逻辑器件抑或软硬件结合的方式等等,也就是说以下处理流程的执行主体并不限定于各个逻辑单元,也可以是硬件或逻辑器件。
本申请实施例还提出了一种计算机可读存储介质,该计算机可读存储介质存储一个或多个程序,该一个或多个程序包括指令,该指令当被包括多个应用程序的便携式电子设备执行时,能够使该便携式电子设备执行图2所示实施例的方法,并具体用于执行以下操作:
获取话术库中的话术分别在多个话术评估指标的取值,所述多个话术评估指标包括通用话术评估指标以及随路配置信息中的随路字段,所述随路配置信息为基于目标业务配置得到,所述随路配置信息用于描述所述随路字段对应的推荐评分策略;
通过话术推荐模型基于所述随路配置信息和所述话术库中的话术分别在所述多个话术评估指标的取值,确定所述话术库中的话术的目标推荐分值,所述话术推荐模型为基于样本话术对应的推荐分值以及所述样本话术分别在所述多个话术评估指标的取值训练得到;
基于所述话术库中的话术的目标推荐分值,从所述话术库中确定与所述目标业务相关的待推荐话术。
总之,以上所述仅为本申请的较佳实施例而已,并非用于限定本申请的保护范围。凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。
上述实施例阐明的***、装置、模块或单元,具体可以由计算机芯片或实体实现,或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的,计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于***实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
Claims (12)
1.一种话术推荐方法,其特征在于,包括:
获取话术库中的话术分别在多个话术评估指标的取值,所述多个话术评估指标包括通用话术评估指标以及随路配置信息中的随路字段,所述随路配置信息为基于目标业务配置得到,所述随路配置信息用于描述所述随路字段对应的推荐评分策略;
通过话术推荐模型基于所述随路配置信息和所述话术库中的话术分别在所述多个话术评估指标的取值,确定所述话术库中的话术的目标推荐分值,所述话术推荐模型为基于样本话术对应的推荐分值以及所述样本话术分别在所述多个话术评估指标的取值训练得到;
基于所述话术库中的话术的目标推荐分值,从所述话术库中确定与所述目标业务相关的待推荐话术。
2.据权利要求1所述的方法,其特征在于,所述通过话术推荐模型基于所述随路配置信息和所述话术库中的话术分别在所述多个话术评估指标的取值,确定所述话术库中的话术的目标推荐分值,包括:
基于所述随路配置信息以及所述话术库中的话术在所述随路字段的取值,确定所述话术库中的话术在随路字段对应的推荐分值;
基于所述通用话术评估指标对应的推荐评分策略以及所述话术库中的话术在所述通用话术评估指标的取值,确定所述话术库中的话术在所述通用话术评估指标对应的推荐分值;
基于所述话术库中的话术分别在所述多个话术评估指标对应的推荐分值以及所述话术推荐模型,确定所述话术库中的话术的目标推荐分值。
3.根据权利要求2所述的方法,其特征在于,所述话术推荐模型包括话术在各话术评估指标对应的推荐分值、各推荐评估指标对应的推荐权重以及话术的目标推荐分值之间的映射关系;
所述基于所述话术库中的话术分别在所述多个话术评估指标对应的推荐分值以及所述话术推荐模型,确定所述话术库中的话术的目标推荐分值,包括:
基于各推荐评估指标对应的推荐权重以及所述映射关系,对目标话术在各话术评估指标对应的推荐分值进行加权求和,得到所述目标话术对应的目标推荐分值,其中,所述目标话术为所述话术库中的任一个话术。
4.根据权利要求2所述的方法,其特征在于,所述随路配置信息包括至少一个随路字段各自对应的关联权重以及各随路字段分别在多个第一预设推荐分值下对应的取值范围;
所述基于所述配置信息以及所述话术库中的话术在所述随路字段的取值,确定所述话术库中的话术在随路字段对应的推荐分值,包括:
从目标随路字段分别在多个第一预设推荐分值下对应的取值范围中,确定目标话术对应的第一目标取值范围,所述第一目标取值范围为所述目标话术在所述目标随路字段的取值所属的取值范围,所述目标随路字段为所述至少一个随路字段中的任一个,所述目标话术为所述话术库中的任一个话术;
将所述第一目标取值范围对应的第一预设推荐分值确定为所述目标话术在所述目标随路字段对应的子推荐分值;
基于所述至少一个随路字段各自对应的关联权重,对所述目标话术分别在所述至少一个随路字段对应的子推荐分值进行加权求和,得到所述目标话术在随路字段对应的推荐分值。
5.根据权利要求2所述的方法,其特征在于,所述通用话术评估指标包括话术属性指标,所述通用话术评估指标对应的推荐评分策略包括基于所述话术属性指标的取值与话术数量之间的映射关系曲线进行推荐评估;
所述基于所述通用话术评估指标对应的推荐评分策略以及所述话术库中的话术在所述通用话术评估指标的取值,确定所述话术库中的话术在所述通用话术评估指标对应的推荐分值,包括:
基于所述话术库中各话术在所述话术属性指标的指标值,统计所述话术库在所述话术属性指标下包含的多种取值以及每种取值对应的话术数量;
以所述话术属性指标的取值为横坐标、以话术数量为纵坐标,基于所述多种取值以及每种取值对应的话术数量,确定所述话术属性指标的取值与话术数量之间的映射关系曲线;
基于所述映射关系曲线的积分面积,确定所述话术属性指标分别在多个第二预设推荐分值对应的取值范围;
从所述话术属性指标分别在多个第二预设推荐分值对应的取值范围中,确定目标话术对应的第二目标取值范围,所述第二目标取值范围为所述话术在所述话术属性指标的取值所属的取值范围,所述目标话术为所述话术库中的任一个话术;
将所述第二目标取值范围对应的第二预设推荐分值确定为所述目标话术在所述话术属性指标对应的推荐分值。
6.根据权利要求2所述的方法,其特征在于,所述通用话术评估指标包括话术质量指标,话术在话术质量指标的取值用于表示话术分别在多个质量项对应的命中信息,所述通用话术评估指标对应的推荐评分策略包括基于话术命中的质量项数量进行推荐评估;
所述基于所述通用话术评估指标对应的推荐评分策略以及所述话术库中的话术在所述通用话术评估指标的取值,确定所述话术库中的话术在所述通用话术评估指标对应的推荐分值,包括:
基于目标话术在所述话术质量指标的取值,确定所述目标话术命中的质量项数量,所述目标话术为所述话术库中的任一个话术;
基于质量项数量与推荐分值之间的预设映射关系以及所述目标话术命中的质量项数量,确定所述目标话术在所述话术质量指标对应的推荐分值。
7.根据权利要求6所述的方法,其特征在于,所述话术库中的话术在话术质量指标的取值通过如下方式获取:
将所述目标话术输入目标质量项对应的二分类模型,得到所述目标话术对所述目标质量项的命中信息,其中,所述目标质量项为所述多个质量项中的任一个,所述目标质量项对应的二分类模型为基于多个样本话术以及所述多个样本话术各自对应的样本标签进行模型训练得到,所述样本标签用于表示对应的样本话术是否命中所述目标质量项。
8.根据权利要求1至7中任一项所述的方法,其特征在于,所述基于所述话术库中的话术的目标推荐分值,从所述话术库中确定与所述目标业务相关的待推荐话术,包括:
基于所述话术库中的话术的目标推荐分值,从所述话术库中选取预设数量的候选话术并展示;
接收针对所展示的候选话术的反馈操作;
基于所述反馈操作,从所述预设数量的候选话术中确定与所述目标业务相关的待推荐话术。
9.根据权利要求8所述的方法,其特征在于,在接收针对所展示的候选话术的反馈操作之后,所述方法还包括:
基于所述反馈操作,从所述预设数量的候选话术中选取被用户选中的候选话术作为正样本,以及从所述预设数量的候选话术中选取未被用户选择的候选话术作为负样本,得到样本集;
基于所述样本集优化所述话术推荐模型。
10.一种话术推荐装置,其特征在于,包括:
获取单元,用于获取话术库中的话术分别在多个话术评估指标的取值,所述多个话术评估指标包括通用话术评估指标以及随路配置信息中的随路字段,所述随路配置信息为基于目标业务配置得到,所述随路配置信息用于描述所述随路字段对应的推荐评分策略;
确定单元,用于通过话术推荐模型基于所述随路配置信息和所述话术库中的话术分别在所述多个话术评估指标的取值,确定所述话术库中的话术的目标推荐分值,所述话术推荐模型为基于样本话术对应的推荐分值以及所述样本话术分别在所述多个话术评估指标的取值训练得到;
推荐单元,用于基于所述话术库中的话术的目标推荐分值,从所述话术库中确定与所述目标业务相关的待推荐话术。
11.一种电子设备,其特征在于,包括:
处理器;
用于存储所述处理器可执行指令的存储器;
其中,所述处理器被配置为执行所述指令,以实现如权利要求1至9中任一项所述的方法。
12.一种计算机可读存储介质,其特征在于,当所述存储介质中的指令由电子设备的处理器执行时,使得电子设备能够执行如权利要求1至9中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310155861.6A CN116150343A (zh) | 2023-02-23 | 2023-02-23 | 话术推荐方法、装置及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310155861.6A CN116150343A (zh) | 2023-02-23 | 2023-02-23 | 话术推荐方法、装置及电子设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116150343A true CN116150343A (zh) | 2023-05-23 |
Family
ID=86359790
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310155861.6A Pending CN116150343A (zh) | 2023-02-23 | 2023-02-23 | 话术推荐方法、装置及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116150343A (zh) |
-
2023
- 2023-02-23 CN CN202310155861.6A patent/CN116150343A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110765244B (zh) | 获取应答话术的方法、装置、计算机设备及存储介质 | |
US11709875B2 (en) | Prioritizing survey text responses | |
US10210867B1 (en) | Adjusting user experience based on paralinguistic information | |
CN110020009B (zh) | 在线问答方法、装置及*** | |
US11196862B1 (en) | Predictive customer service support system and method | |
CN110187780B (zh) | 长文本预测方法、装置、设备和存储介质 | |
US10255346B2 (en) | Tagging relations with N-best | |
US11875125B2 (en) | System and method for designing artificial intelligence (AI) based hierarchical multi-conversation system | |
CN113407677B (zh) | 评估咨询对话质量的方法、装置、设备和存储介质 | |
EP3839800A1 (en) | Recommending multimedia based on user utterances | |
CN110457454A (zh) | 一种对话方法、服务器、对话***及存储介质 | |
CN113297365A (zh) | 一种用户意向判定方法、装置、设备及存储介质 | |
US9747891B1 (en) | Name pronunciation recommendation | |
WO2020139865A1 (en) | Systems and methods for improved automated conversations | |
CN116628163A (zh) | 客服服务处理方法、装置、设备及存储介质 | |
CN116204624A (zh) | 应答方法、装置、电子设备及存储介质 | |
CN117494715A (zh) | 对话处理方法、装置、电子设备及存储介质 | |
US11989514B2 (en) | Identifying high effort statements for call center summaries | |
CN116150343A (zh) | 话术推荐方法、装置及电子设备 | |
CN114925159A (zh) | 用户情感分析模型训练方法、装置、电子设备及存储介质 | |
CN114970559A (zh) | 智能应答方法及装置 | |
CN111161706A (zh) | 交互方法、装置、设备和*** | |
CN116933800B (zh) | 一种基于模版的生成式意图识别方法及装置 | |
US20240126991A1 (en) | Automated interaction processing systems | |
CN115514848A (zh) | 通话方法、装置、计算机设备及计算机可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |