CN113239175A - 一种显示候选语句列表的方法及终端设备 - Google Patents
一种显示候选语句列表的方法及终端设备 Download PDFInfo
- Publication number
- CN113239175A CN113239175A CN202110651345.3A CN202110651345A CN113239175A CN 113239175 A CN113239175 A CN 113239175A CN 202110651345 A CN202110651345 A CN 202110651345A CN 113239175 A CN113239175 A CN 113239175A
- Authority
- CN
- China
- Prior art keywords
- candidate
- sentence
- recall
- statement
- preset
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 44
- 239000013598 vector Substances 0.000 claims abstract description 83
- 238000012163 sequencing technique Methods 0.000 claims abstract description 44
- 238000004590 computer program Methods 0.000 claims description 14
- 230000008569 process Effects 0.000 claims description 10
- 230000001960 triggered effect Effects 0.000 claims description 9
- 230000004044 response Effects 0.000 claims description 2
- 230000006870 function Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 3
- 238000012216 screening Methods 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000012854 evaluation process Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/332—Query formulation
- G06F16/3329—Natural language query formulation or dialogue systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/34—Browsing; Visualisation therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/10—Text processing
- G06F40/12—Use of codes for handling textual entities
- G06F40/126—Character encoding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Databases & Information Systems (AREA)
- Human Computer Interaction (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本申请涉及大数据技术领域,提供了一种显示候选语句列表的方法、显示候选语句列表的装置、终端设备及计算机可读存储介质。其中,一种显示候选语句列表的方法,当用户通过会话界面触发预设召回操作时,调用预设的多个召回模块根据用户在会话界面输入的信息分别进行候选语句召回操作,得到多个候选语句,按照预设的编码策略对每个候选语句的特征信息进行编码,得到语句特征向量,将每个候选语句对应的语句特征向量输入预先训练后的语句排序模型,得到每个候选语句的排序值,在会话界面中对根据每个候选语句的排序值进行排序得到的候选语句列表进行显示,实现了以统一的排序逻辑对多个候选语句进行排序,提高了候选语句列表的适用性。
Description
技术领域
本发明属于大数据技术领域,尤其涉及一种显示候选语句列表的方法、显示候选语句列表的装置、终端设备及计算机可读存储介质。
背景技术
目前,随着人工智能领域的发展,基于人工智能技术开发出的智能会话***被广泛应用于各种场景中。如:智能客服、智能聊天机器人、智能语音助理等。以智能客服为例,当用户在终端上通过会话界面同智能客户进行会话时,通过该会话界面侦测到用户输入的语音或文字时,可以基于语音内容或者文字内容进行候选语句召回操作,进而显示候选语句召回操作得到的候选语句列表,便于用户从该候选语句列表中选择目标候选语句。
然而,在进行候选语句召回操作时,需要利用不同的召回模块分别按照不同的业务逻辑或不同的召回渠道进行候选问句召回,得到多个候选语句,然后基于各召回模块对各候选语句的评分实现多个候选语句之间的排序操作。但是,因为不同的召回模块给的评分体系不同,且召回的候选语句存在内容多样化,如召回的候选语句中可以包含文本、图片、音频、视频、各类卡片等,所以不同的召回模块分别对多个候选语句进行评分,得到的各个候选语句之间的分数无可比性,导致根据各候选语句之间的分数进行排序得到的候选语句列表的适用性较低。
发明内容
有鉴于此,本申请实施例提供了一种显示候选语句列表的方法、显示候选语句列表的装置、终端设备及计算机可读存储介质,以解决现有的候选语句列表的适用性较低的问题。
本申请实施例的第一方面提供了一种显示候选语句列表的方法,包括:
响应于用户通过会话界面触发的预设召回操作,调用预设的多个召回模块根据用户在所述会话界面输入的信息分别进行候选语句召回操作,得到多个候选语句;
按照预设的编码策略对每个所述候选语句的特征信息进行编码,得到语句特征向量;
将所述语句特征向量输入预先训练后的语句排序模型,得到每个所述候选语句的排序值;其中,所述排序值用于指示各所述候选语句的质量高低;
将根据每个所述候选语句的排序值对所述多个候选语句进行排序得到的候选语句列表,在所述会话界面中进行显示。
本申请实施例的第二方面提供了一种显示候选语句列表的装置,包括:
召回单元,用于响应于用户通过会话界面触发的预设召回操作,调用预设的多个召回模块根据用户在所述会话界面输入的信息分别进行候选语句召回操作,得到多个候选语句;
编码单元,用于按照预设的编码策略对每个所述候选语句的特征信息进行编码,得到语句特征向量;
排序单元,用于将所述语句特征向量输入预先训练后的语句排序模型,得到每个所述候选语句的排序值;其中,所述排序值用于指示各所述候选语句的质量高低;
显示单元,用于将根据每个所述候选语句的排序值对所述多个候选语句进行排序得到的候选语句列表,在所述会话界面中进行显示。
本申请实施例的第三方面提供了一种终端设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现第一方面的各个步骤。
本申请实施例的第四方面提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现第一方面的各个步骤。
实施本申请实施例提供的一种显示候选语句列表的方法、显示候选语句列表的装置、终端设备及计算机可读存储介质具有以下有益效果:
本申请实施例,当用户通过会话界面触发预设召回操作时,调用预设的多个召回模块根据用户在会话界面输入的信息分别进行候选语句召回操作,得到多个候选语句,按照预设的编码策略对每个候选语句的特征信息进行编码,得到语句特征向量,因为每个候选语句分别对应有语句特征向量,所以将每个候选语句对应的语句特征向量输入预先训练后的语句排序模型,能够得到每个候选语句的排序值,且该排序值用于指示候选语句的质量高低,再将根据每个候选语句的排序值对多个候选语句进行排序得到的候选语句列表,在会话界面中进行显示,实现了以统一的排序逻辑对多个候选语句进行排序,令排序后得到的候选语句列表的适用性得到提高。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种显示候选语句列表的方法的实现流程图;
图2是本申请另一实施例提供的一种显示候选语句列表的方法的实现流程图;
图3是本申请实施例提供的一种显示候选语句列表的装置的结构框图;
图4是本申请实施例提供的一种终端设备的结构框图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
本实施例提供的一种显示候选语句列表的方法,执行主体为终端设备,具体可以是安装有配置了该方法功能应用程序的终端设备,或者是显示配置了该方法功能的操作页面的终端设备。以此为基础,向上述应用程序或者操作页面配置目标脚本文件,由该目标脚本文件描述本实施例提供的显示候选语句列表的方法,使得终端设备通过运行上述应用程序或者显示上述操作页面的同时,执行该目标脚本文件,进而执行显示候选语句列表的方法中的各个步骤。
在实现时,终端设备通过运行上述应用程序或者显示操作页面,进入会话页面,当用户通过会话界面触发预设召回操作时,终端设备调用预设的多个召回模块根据用户在会话界面输入的信息分别进行候选语句召回操作,得到多个候选语句,终端设备按照预设的编码策略对每个候选语句的特征信息进行编码,得到语句特征向量,因为每个候选语句分别对应有语句特征向量,所以将每个候选语句对应的语句特征向量输入预先训练后的语句排序模型,能够得到每个候选语句的排序值,且该排序值用于指示候选语句的质量高低,再将根据每个候选语句的排序值对多个候选语句进行排序得到的候选语句列表,在会话界面中进行显示,实现了以统一的排序逻辑对多个候选语句进行排序,令排序后得到的候选语句列表的适用性得到提高。
例如,以上述会话界面为用户利用应用程序中的“智能客服”模块进行会话时,终端设备上显示的“智能客服会话界面”为例,当用户通过“智能客服会话界面”触发预设召回操作时,终端设备调用预设的多个召回模块根据用户在“智能客服会话界面”输入的信息分别进行候选语句召回操作,得到多个候选语句,终端设备按照预设的编码策略对每个候选语句的特征信息进行编码,得到语句特征向量,因为每个候选语句分别对应有语句特征向量,所以终端设备将语句特征向量输入预先训练后的语句排序模型,能够得到每个候选语句的排序值,且该排序值用于指示候选语句的质量高低,终端设备再根据每个候选语句的排序值对多个候选语句进行排序得到候选语句列表,最后将候选语句列表在“智能客服会话界面”中进行显示,实现了以统一的排序逻辑对多个候选语句进行排序,令排序后得到的候选语句列表的适用性得到提高。
以下通过具体实现方式对本实施例提供的一种显示候选语句列表的方法进行详细说明。
图1示出了本申请实施例提供的显示候选语句列表的方法的实现流程图,详述如下:
S11:响应于用户通过会话界面触发的预设召回操作,调用预设的多个召回模块根据用户在所述会话界面输入的信息分别进行候选语句召回操作,得到多个候选语句。
在步骤S11中,会话界面为终端设备上显示的用于同智能会话***进行会话的界面,该会话界面能够显示用户与智能会话***进行会话过程中的所有内容,且该会话界面还用于监听用户是否触发了预设召回操作。
在本申请的所有实施例中,预设召回操作泛指用户在上述会话界面中输入任意信息时所触发的候选语句召回操作,如果会话界面侦听到用户在该会话界面输入任何信息,则判定用户通过该会话界面触发了预设召回操作,此时令终端设备调用预设的多个召回模块根据用户在该会话界面中输入的信息分别进行候选语句召回操作。这里,多个召回模块为多个按照不同召回方式进行候选语句召回操作的服务方法,也即每个召回模块根据用户在会话界面输入的信息进行候选语句召回操作的具体实现方式或实现逻辑存在不同。
在实际应用中,用户在终端设备上启用智能会话***,进入会话界面,用户通过在会话界面中输入信息后,智能会话***能够通过对用户输入的信息进行语义分析,进而匹配与其相关的回复内容,实现人机会话。这里,在终端设备上显示会话界面时,已经默认对用户输入的内容进行监听,因此能够在用户于该会话界面中输入任意信息时,即可判定用户通过该会话界面触发了预设召回操作。
需要说明的是,由于多个召回模块中,每个召回模块分别遵循的召回方式不同,因此每个召回模块根据用户在会话界面输入的信息进行候选语句召回操作,得到的候选语句之间也存在较多差异或明显的不同。
作为一个示例,假设多个召回模块包括ES搜索召回模块、模型搜索召回模块以及关键词搜索召回模块,ES搜索召回指的是利用ES算法根据用户在会话界面输入的信息进行召回操作,其中,ES算法用于描述用户在会话界面输入的信息与召回结果之间的概率关系;模型搜索召回则是描述了用户在会话界面输入的信息与召回结果之间的对应关系,以用户在会话界面输入的信息为该模型的输入信息,以召回结果为该模型的输出,通过改变该模型所表征的映射逻辑,即可改变用户在会话界面输入的信息与召回结果的对应关系;关键词搜索召回则是以用户在会话界面输入的信息作为关键词,将历史候选语句中被其它用户选用最多的语句作为候选语句,也即关键词搜索召回利用的是候选语句的选用频率或者次数。
例如,用户在会话界面输入的信息为产品的名称“XYZ”,调用ES搜索召回摸根据产品的名称“XYZ”进行候选语句召回操作,得到的是用户以往输入的包含该产品的名称“XYZ”的语句作为候选语句;调用模型搜索召回模块根据产品的名称“XYZ”进行候选语句召回操作,得到的是该名称为“XYZ”产品的属性问句组成的候选语句;调用关键字召回模块根据产品的名称“XYZ”进行候选语句召回操作,得到的是其它用户选用最多的且包含有该名称“XYZ”的语句作为候选语句。
在一些应用场景中,在调用预设的多个召回模块根据用户在会话界面输入的信息分别进行候选语句召回操作时,为了能够更贴合使用场景或者用户使用习惯,可以基于已有的召回模块配置新的召回模块,或者配置多种多样的召回模块以更适用于会话场景的方式实现候选语句的召回。
以已有的多个召回模块包括:召回模块A1、召回模块A2、召回模块B1、召回模块B2为例,假设召回模块A1与召回模块A2为统计型召回模块,召回模块B1与召回模块B2为筛选型召回模块,基于已有的多个召回模块配置新的召回模块可以是将统计型召回模块与筛选型召回模块进行嵌套或者组合。
例如,在召回模块A1中嵌套召回模块B1,得到新的召回模块C1,此时多个召回模块则包括:召回模块A1、召回模块A2、召回模块B1、召回模块B2以及召回模块C1。该新的召回模块C1在遵循召回模块A1的召回逻辑对统计方式获得的第一候选语句集合进行召回后,再遵循召回模块B1的筛选逻辑对第一候选语句集合进行筛选,得到第二候选语句集合,该第二候选语句集合即为召回模块C1根据用户在会话界面输入的信息进行候选语句召回操作得到的召回结果。
可以理解的是,由于多个召回模块中各召回模块所遵循的召回方式存在差异,因此得到的多个候选语句之间必然存在差异,也即各候选语句之间的语义表达或者侧重点不同,因此不便于直接对多个候选语句进行直接排序。为了能够实现对多个候选语句进行合理化排序,在得到多个候选语句后,还需要对每个候选语句进行编码处理,基于编码处理得到的各候选语句的语句特征向量实现对多个候选语句的排序操作。如图1所示,在步骤S11后执行步骤S12至步骤S14。
S12:按照预设的编码策略对每个所述候选语句的特征信息进行编码,得到语句特征向量。
在步骤S12中,预设的编码策略用于描述对候选语句的特征信息进行编码的方式,并且区分或指示对候选语句的特征信息进行编码时调用的接口与工具。这里,候选语句的特征信息泛指每个候选语句对应的特征内容,由于不同的候选语句是由不同的召回模块进行召回得到,不同的候选语句之间在同一特征维度上的特征信息也存在差异,因此特征信息能够作为衡量对应候选语句质量高低的因子。
作为一个示例,在对候选语句的特征信息进行编码的过程中,可以预先按照特征信息之间的特征维度或者共同属性,将候选语句的特征信息进行聚类,根据聚类结果利用不同的编码策略进行编码。
例如,将候选语句的特征信息进行聚类,可以是按照时效性可以将候选语句的特征信息分为:即时型语句特征和或数据型语句特征;其中,即时型语句特征可以包括:语句关联特征、语句来源以及语句内容质量;数据型语句特征可以包括:语句点击率与语句内容质量。
再例如,按照构建方式可以将候选语句的特征信息分为:本地语句特征和云端语句特征;其中,本地语句特征可以包括:语句关联特征、语句来源、语句内容质量以及语句内容质量;云端语句特征可以包括;语句点击率等。
在本实施例中,根据聚类结果利用不同的编码策略进行编码,具体可以是根据特征信息预先配置对应的编码策略,然后根据聚类结果所表征的不同的特征信息利用不同的编码策略进行编码。例如,对于语句关联特征可以采用BI-LSTM模型编码成句向量特征,语句来源、语句点击率、语句内容质量以及语义特征,则可以采用one-hot或word embedding得到每个特征表示的向量,最后再将所有特征编码向量拼接(相加)得到每个候选语句的语句特征向量。
需要说明的是,语句特征向量泛指每个候选语句对应的特征信息进行编码后得到的向量,也即每个候选语句对应一组语句特征向量。考虑到对多个候选语句进行排列时,能够统一每个候选语句的评分维度,因此在对多个候选语句中的每个候选语句的特征信息分别进行编码时,所有候选语句被编码的特征信息类型或者数量应当保持一致。
在实现时,如果需要进行编码的特征信息为多种,且需要采用不同的编码方式,可以在对每个候选语句的特征信息进行编码时,分别对不同的特征信息单独进行编码,最后再将所得的全部特征向量进行拼接,得到语句特征向量。如果需要进行编码的特征信息为多种,但仅需要采用一种编码方式时,同样也可以在对每个候选语句的特征信息进行编码时,以相同的编码方式分别对不同的特征信息单独进行编码,最后再将所得的全部特征向量进行拼接,得到语句特征向量。
可以理解的是,如果需要进行编码的特征信息仅为一种,则可以采用一种编码方式分别对该一种特征信息单独进行编码,将得到的特征向量作为语句特征向量。
作为一个实施例,上述方案中,步骤S12包括:
对每个所述候选语句进行特征信息构建,得到每个所述候选语句的特征信息集合;
按照预设的编码策略对每个所述特征信息集合中的特征信息进行编码,得到特征向量集合;
将所述特征向量集合中全部特征向量进行拼接,得到语句特征向量。
在本实施例中,候选语句的特征信息集合包括:语句关联特征、语句来源、语句点击率、语句内容质量以及语义特征中的至少两种特征。在实现时,特征信息集合作为衡量候选语句质量高低的因子,可以根据具体的使用场景或者需求选取。
特征向量集合指的是每个候选语句对应的各特征信息进行编码后得到的所有向量,也即每个候选语句进行特征提取后,所得特征信息集合进行编码后得到的特征向量的集合。在对多个候选语句中的每个候选语句的特征信息分别进行编码时,所有候选语句被编码的特征信息类型或者数量应当保持一致。
例如,候选语句的特征信息可以包括:语句关联特征、语句来源、语句点击率、语句内容质量以及语义特征,假设指定该5项特征信息中的“语句内容质量”与“语义特征”作为进行编码的特征信息集合,则在对每个候选语句的特征信息集合中的特征信息进行编码时,均需要对每个候选语句的“语句内容质量”与“语义特征”进行编码,使得每个候选语句对应的语句特征向量在特征维度上保持一致。
在本实施例中,按照预设的编码策略对每个特征信息集合中的特征信息进行编码,可以是先根据特征信息配置对应的编码策略,然后根据不同的特征信息利用不同的编码策略进行编码。例如,对于语句关联特征可以采用BI-LSTM模型编码成句向量特征,语句来源、语句点击率、语句内容质量以及语义特征,则可以采用one-hot或word embedding得到每个特征表示的向量,最后再将所有特征编码向量拼接(相加)得到每个候选语句的语句特征向量。
在实际应用中,对每个候选语句进行特征信息构建,可是预先指定特征信息集合具体包含的内容。
作为一个示例,候选语句的特征信息集合包括:语句关联特征、语句来源、语句点击率、语句内容质量以及语义特征中的至少两种特征。
这里,语句关联特征是指在用户于会话界面输入信息前的会话内容的特征,也即通过提取用户当前输入信息之前的历史会话语句,并对该历史会话语句进行特征提取得语句关联特征。在实现时,采用one-hot或word embedding的编码方式,充分利用历史会话语句中句子粒度的表征和词粒度的表征,通过句子粒度attention获得Sentence Embedding作为特征向量。
语句来源指的是召回该候选语句的召回模块,对候选语句进行特征信息构架时,可以通过识别候选语句携带的召回模块标识,并以该召回模块标识作为语句来源的特征内容。这里,召回模块标识可以是在调用召回模块根据用户于会话界面输入的信息进行候选语句召回时,配置到相应的候选语句中,由于不同的候选语句的被召回方式以及对应的召回模块不同,因此将语句来源作为特征考虑其中,是为了将不同召回模块的优劣以及关联程度考虑到排序的评价过程中。
语句点击率指的是该候选语句被用户点击的次数与显示次数的比例,能够在一定程度上反映该候选语句被使用的概率和频率。该语句点击率可以是通过向服务器发送查询请求,进而接收服务器返回的信息所得,还可以周期性接收服务器下发的更新数据,将该更新数据存储在终端设备的本地数据库中,在需要构建候选语句的特征信息时,直接从本地数据库中获取得到。在一些实施例中,语句点击率还可以表征:用户曾经是否有点击过该候选问、用户曾经是否收藏过该候选问、用户曾经是否有点赞过该候选问等。
语句内容质量用于描述候选语句的构建质量优劣程度,例如语句内容质量可以包括:候选语句的内容长度、候选语句的中是否包含h5标签、候选语句的类型,如文本、图片、视频等以及该候选语句中是否包含跳转链接等。
语义特征指的是候选语句与用户在会话界面中输入信息的相似度或者向量距离。例如:用户在会话界面中输入信息与候选语句的长度关系、用户在会话界面中输入信息与候选语句的相似度度、用户在会话界面中输入信息与候选语句的编辑距离、用户在会话界面中输入信息与候选语句的字面匹配程度、用户在会话界面中输入信息与候选语句的Ngram信息等。
可以理解的是,每个候选语句对应一个特征信息集合,对每个特征信息集合中的特征信息进行编码,得到特征向量集合,该特征向量集合必然与单个候选语句对应,因此将特征向量集合中全部特征向量进行拼接得到的语句特征向量,与候选语句之间存在唯一对应关系。
S13:将所述语句特征向量输入预先训练后的语句排序模型,得到每个所述候选语句的排序值;其中,所述排序值用于指示各所述候选语句的质量高低。
在步骤S13中,预先训练后的语句排序模型用于确定每个候选语句的被选取概率值,根据每个候选语句的被选取概率值能够得到每个候选语句的排序值。
需要说明的是,排序值还用于表征各候选语句在候选语句列表中的排列位置,其中,候选语句的被选取概率值越大,对应得到的排序值则越小,排序值越小的候选语句在候选语句列表中排列的位置越靠前,越便于被用户选取。
在本实施例中,预先训练后的语句排序模型以语句特征向量作为输入,基于语句特征向量对每个候选语句进行评分。这里,由于语句特征向量泛指每个候选语句对应的特征信息进行编码后得到的向量,也即每个候选语句对应一组语句特征向量,因此预先训练后的语句排序模型以语句特征向量作为输入,得到每个候选语句的排序值的过程中,不再考虑每个候选语句对应的特征信息集合中各特征信息的影响程度,因为该语句特征向量已经能够完全表征相应的候选语句与其他候选语句之间的特征区别、重要程度或者适用程度。
在实现过程中,可以利用现有的语句特征向量模型框架搭建语句排序模型,其中,现有的语句特征向量模型框架可以包括向量输入层、编码层、解码层以及全连接层,为了令构建得到的语句排序模型能够以每个候选语句的排序值作为输出,在现有的语句特征向量模型框架中还增加了分离器层,该分离器层用于根据全连接层输出的每个候选语句的被选取概率值,得到每个候选语句的排序值。语句排序模型搭建完成后,利用预先构建好的训练样本对该语句排序模型进行训练,这里,训练样本中包括样本语句的特征样本,以及与每个样本语句的特征样本在不同比例组合下的人为设定概率值、样本排序值。
作为一个实施例,上述方案中,步骤S13包括:
根据所述语句特征向量得到每个所述候选语句的被选取概率值;
基于每个所述候选语句的被选取概率值,得到每个所述候选语句的排序值。
在本实施例中,被选取概率值用于表征候选语句可能被用户选择的可能性大小,其中,被选取概率值越大,对应得到的排序值则越小,排序值越小的候选语句在候选语句列表中排列的位置越靠前,也越有可能被用户选取。
在实现时,基于每个候选语句的被选取概率值,得到每个候选语句的排序值,可以是基于每个候选语句的被选取概率值对多个候选语句进行大小排序,这里,为了更快得到每个所述候选语句的排序值,基于每个候选语句的被选取概率值按照从大到小对多个候选语句进行排序,根据排序结果确定每个候选语句的排序值。
应当理解的是,在实际应用中,还可以是基于每个候选语句的被选取概率值按照从小到大对多个候选语句进行排序,得到排序结果,通过对排序结果前几位的候选语句进行过滤,得到最终排序结果,能够过滤掉被选取概率值较小的候选语句,然后再以最终排序结果的逆向排名得到排序值。
S14:将根据每个所述候选语句的排序值对所述多个候选语句进行排序得到的候选语句列表,在所述会话界面中进行显示。
在步骤S14中,候选语句列表是基于各候选语句对应的排序值对多个候选语句进行排序得到。这里,候选语句列表中展示的全部候选语句可以是多个候选语句中的部分或全部候选语句。
在本实施例中,将候选语句列表在会话界面中进行显示时,可以根据多个候选语句的实际个数调整候选语句列表的显示方式。例如,通过创建候选语句列表显示的窗口,直接在该窗口中加载并显示候选语句列表。再例如,通过创建候选语句列表显示的窗口,在该窗口中加载候选语句列表,仅显示部分候选语句列表的内容。
可以理解的是,在实际应用中,还可以根据语句特征集合中指定的特征信息类型配置不同的排序策略,也即考虑不同特征信息对排序的影响。例如,当语句特征向量仅包含用于描述候选语句内容质量特征对应的向量时,该排序值还可以用于指示候选语句的质量。当排序值用于指示候选语句的质量时,排序值越小的候选语句,其质量程度越高。
作为本申请一实施例,步骤S14包括:
根据每个所述候选语句的排序值对所述多个候选语句进行排序,得到候选语句列表;
依据预设展示个数在所述会话界面中显示所述候选语句列表的部分内容或全部内容。
在本实施例中,候选语句列表用于规则地展示多个候选语句,且每个候选语句在候选语句列表中的展示位置与其排序值对应。预设展示个数用于描述候选语句列表单次刷新后能够展示候选语句的个数。
可以理解的是,在实际应用中,预设展示个数可以根据会话界面的大小和/或候选语句的长短设定。例如,会话界面较小时,预设展示个数可以设为较小的数值。再例如,会话界面较大时,且候选语句内容较短,则预设展示个数可以设为较大的数值。
作为本实施例一种可能实现的方式,上述步骤:依据预设展示个数在所述会话界面中显示所述候选语句列表的部分内容或全部内容,包括:
当所述候选语句列表中的候选语句个数大于预设展示个数时,在所述会话界面中显示所述候选语句列表的部分内容;
当所述候选语句列表中的候选语句个数等于或小于预设展示个数时,在所述会话界面中显示所述候选语句列表的部分内容。
本实施例中,当需要再候选语句列表中显示的候选语句的数量大于预设展示个数时,在会话界面中显示候选语句列表的部分内容,且另外未显示的部分候选语句可以暂时不加载或者不显示,当用户在浏览候选语句列表时,可以通过拖动候选语句列表中的内容进而浏览到最初未被显示的候选语句。这里,通过配置预设展示个数限制在候选语句列表中显示的候选语句数量,能够避免在候选语句数量较多时一次性加载过多候选语句内容,避免过多的遮挡屏幕内容,且无需占用过多的***资源。
以上方案中,当用户通过会话界面触发预设召回操作时,调用预设的多个召回模块根据用户在会话界面输入的信息分别进行候选语句召回操作,得到多个候选语句,按照预设的编码策略对每个候选语句的特征信息进行编码,得到语句特征向量,因为每个候选语句分别对应有语句特征向量,所以将每个候选语句对应的语句特征向量输入预先训练后的语句排序模型,能够得到每个候选语句的排序值,且该排序值用于指示候选语句的质量高低,再将根据每个候选语句的排序值对多个候选语句进行排序得到的候选语句列表,在会话界面中进行显示,实现了以统一的排序逻辑对多个候选语句进行排序,令排序后得到的候选语句列表的适用性得到提高。
图2示出了本申请另一实施例提供的显示候选语句列表的方法的实现流程图。以上述任一实施例为基础,本实施例中,在步骤S11之前,还包括步骤S21至S22。详述如下:
S21:将预先配置的召回策略脚本文件配置到初始会话界面文件中,得到会话界面文件;其中,所述召回策略脚本文件用于描述调用所述预设的多个召回模块进行候选语句召回操作的执行环境与执行过程;
S22:若加载所述会话界面文件,且显示所述会话界面,则执行所述召回策略脚本文件。
在本实施例中,初始会话界面文件用于在终端设备上加载并显示会话界面。初始会话界面文件还可以泛指未配置相应召回功能的会话界面文件。由于召回策略脚本文件用于描述调用预设的多个召回模块进行候选语句召回操作的执行环境与执行过程,因此通过将该召回策略脚本文件配置到初始会话界面文件后,得到的会话界面文件能够在终端设备基于其内容加载并显示会话界面后,通过执行该召回策略脚本,进而根据其内容搭建执行环境,并按照相应的执行过程调用预设的多个召回模块进行候选语句召回操作。
在实际应用中,预先配置的召回策略脚本文件是服务器发送给终端设备的,在用户通过终端设备请求进行会话时,由服务器向终端设备发送该预先配置的召回策略脚本文件,终端设备将该预先配置的召回策略脚本文件配置到初始会话界面文件中,得到会话界面文件。这里,预先配置的召回策略脚本文件是被预先配置在服务器中的,服务器将该预先配置的召回策略脚本文件发送给终端设备后,当开发人员对该预先配置的召回策略脚本文件进行更新后,服务器还可以在终端设备请求访问会话页面时,重新向终端设备发送预先配置的召回策略脚本文件,也即将该更新后的预先配置的召回策略脚本文件发送给终端设备,令终端设备能够将该更新后的预先配置的召回策略脚本文件,配置到初始会话界面文件中,得到新的会话界面文件。
例如,当用户通过终端设备访问服务器并请求进行会话活动时,服务器将该预先配置的召回策略脚本文件发送至终端设备,终端设备在接收到该召回策略脚本文件后,将其配置到初始会话界面文件,进而得到会话界面文件,终端设备通过加载该会话界面文件,进而显示会话界面,同时执行召回策略脚本文件。
在实际应用时,开发方可以根据召回需求对召回策略脚本文件于服务器端进行预先配置,例如,根据召回需求配置该召回策略脚本文件的不同召回策略、召回渠道、召回范围等。
可以理解的是,本领域技术人员在配置召回策略脚本文件时,必然会需要考虑到召回策略脚本文件与初始会话界面文件之间的兼容性问题,因此只需要确保终端设备在加载会话界面文件时,能够正常执行该召回策略脚本文件即可,故此处不再对如何配置得到召回策略脚本文件进行赘述。
以上方案中,当用户通过会话界面触发预设召回操作时,调用预设的多个召回模块根据用户在会话界面输入的信息分别进行候选语句召回操作,得到多个候选语句,按照预设的编码策略对每个候选语句的特征信息进行编码,得到语句特征向量,因为每个候选语句分别对应有语句特征向量,所以将每个候选语句对应的语句特征向量输入预先训练后的语句排序模型,能够得到每个候选语句的排序值,且该排序值用于指示候选语句的质量高低,再将根据每个候选语句的排序值对多个候选语句进行排序得到的候选语句列表,在会话界面中进行显示,实现了以统一的排序逻辑对多个候选语句进行排序,令排序后得到的候选语句列表的适用性得到提高。
此外,通过将预先配置的召回策略脚本文件配置到初始会话界面文件中,得到会话界面文件,由于召回策略脚本文件用于描述调用预设的多个召回模块进行候选语句召回操作的执行环境与执行过程,因此在终端设备加载会话界面文件,且显示会话界面时,能够通过执行召回策略脚本文件,实现以不同方式且不同渠道对候选语句进行召回操作,提高了候选语句召回的效率和科学化程度,避免候选语句召回出现遗漏。
请参阅图3,图3是本申请实施例提供的一种显示候选语句列表的装置的结构框图。本实施例中该移动终端包括的各单元用于执行图1与图2对应的实施例中的各步骤。具体请参阅图1与图2以及图1与图2所对应的实施例中的相关描述。为了便于说明,仅示出了与本实施例相关的部分。参见图3,显示候选语句列表的装置30包括:召回单元31、编码单元32、排序单元33以及显示单元34。具体地:
召回单元31,用于响应于用户通过会话界面触发的预设召回操作,调用预设的多个召回模块根据用户在所述会话界面输入的信息分别进行候选语句召回操作,得到多个候选语句;
编码单元32,用于按照预设的编码策略对每个所述候选语句的特征信息进行编码,得到语句特征向量;
排序单元33,用于将所述语句特征向量输入预先训练后的语句排序模型,得到每个所述候选语句的排序值;其中,所述排序值用于指示各所述候选语句的质量高低;
显示单元34,用于将根据每个所述候选语句的排序值对所述多个候选语句进行排序得到的候选语句列表,在所述会话界面中进行显示。
作为一个实施例,显示候选语句列表的装置30还包括:配置单元35与执行单元36。具体地:
配置单元35,用于将预先配置的召回策略脚本文件配置到初始会话界面文件中,得到会话界面文件;其中,所述召回策略脚本文件用于描述调用所述预设的多个召回模块进行候选语句召回操作的执行环境与执行过程;
执行单元36,用于若加载所述会话界面文件,且显示所述会话界面,则执行所述召回策略脚本文件。
应当理解的是,图3示出的显示候选语句列表的装置的结构框图中,各单元用于执行图1与2对应的实施例中的各步骤,而对于图1与图2对应的实施例中的各步骤已在上述实施例中进行详细解释,具体请参阅图1与图2以及图1与图2所对应的实施例中的相关描述,此处不再赘述。
图4是本申请实施例提供的一种终端设备的结构框图。如图4所示,该实施例的终端设备40包括:处理器41、存储器42以及存储在所述存储器42中并可在所述处理器41上运行的计算机程序43,例如显示候选语句列表的方法的程序。处理器41执行所述计算机程序43时实现上述各个显示候选语句列表的方法各实施例中的步骤,例如图1所示的S11至S14,再例如图2所示的S21、S22、S11至S14,所述处理器41执行所述计算机程序43时实现上述图3对应的实施例中各单元的功能,例如,图3所示的单元31至36的功能,具体请参阅图3对应的实施例中的相关描述,此处不赘述。
示例性的,所述计算机程序43可以被分割成一个或多个单元,所述一个或者多个单元被存储在所述存储器42中,并由所述处理器41执行,以完成本申请。所述一个或多个单元可以是能够完成特定功能的一系列计算机程序指令段,该指令段用于描述所述计算机程序43在所述终端设备40中的执行过程。例如,所述计算机程序43可以被分割成召回单元、编码单元、排序单元、显示单元、配置单元以及执行单元具体功能如上所述。
所述转台设备可包括,但不仅限于,处理器41、存储器42。本领域技术人员可以理解,图4仅仅是终端设备40的示例,并不构成对终端设备40的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件,例如所述转台设备还可以包括输入输出设备、网络接入设备、总线等。
所称处理器41可以是中央处理单元(Central Processing Unit,CPU),还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器42可以是所述终端设备40的内部存储单元,例如终端设备40的硬盘或内存。所述存储器42也可以是所述终端设备40的外部存储设备,例如所述终端设备40上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。进一步地,所述存储器42还可以既包括所述终端设备40的内部存储单元也包括外部存储设备。所述存储器42用于存储所述计算机程序以及所述转台设备所需的其他程序和数据。所述存储器42还可以用于暂时地存储已经输出或者将要输出的数据。
以上所述实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围,均应包含在本申请的保护范围之内。
Claims (10)
1.一种显示候选语句列表的方法,其特征在于,包括:
响应于用户通过会话界面触发的预设召回操作,调用预设的多个召回模块根据用户在所述会话界面输入的信息分别进行候选语句召回操作,得到多个候选语句;
按照预设的编码策略对每个所述候选语句的特征信息进行编码,得到语句特征向量;
将所述语句特征向量输入预先训练后的语句排序模型,得到每个所述候选语句的排序值;其中,所述排序值用于指示各所述候选语句的质量高低;
将根据每个所述候选语句的排序值对所述多个候选语句进行排序得到的候选语句列表,在所述会话界面中进行显示。
2.根据权利要求1所述的显示候选语句列表的方法,其特征在于,在所述响应于用户通过会话界面触发的预设召回操作,调用预设的多个召回模块根据用户在所述会话界面输入的信息分别进行候选语句召回操作,得到多个候选语句的步骤之前,还包括:
将预先配置的召回策略脚本文件配置到初始会话界面文件中,得到会话界面文件;其中,所述召回策略脚本文件用于描述调用所述预设的多个召回模块进行候选语句召回操作的执行环境与执行过程;
若加载所述会话界面文件,且显示所述会话界面,则执行所述召回策略脚本文件。
3.根据权利要求1所述的显示候选语句列表的方法,其特征在于,所述按照预设的编码策略对每个所述候选语句的特征信息进行编码,得到语句特征向量,包括:
对每个所述候选语句进行特征信息构建,得到每个所述候选语句的特征信息集合;
按照预设的编码策略对每个所述特征信息集合中的特征信息进行编码,得到特征向量集合;
将所述特征向量集合中全部特征向量进行拼接,得到语句特征向量。
4.根据权利要求1所述的显示候选语句列表的方法,其特征在于,所述将所述语句特征向量输入预先训练后的语句排序模型,得到每个所述候选语句的排序值,包括:
根据所述语句特征向量得到每个所述候选语句的被选取概率值;
基于每个所述候选语句的被选取概率值,得到每个所述候选语句的排序值。
5.根据权利要求1所述的显示候选语句列表的方法,其特征在于,所述将根据每个所述候选语句的排序值对所述多个候选语句进行排序得到的候选语句列表,在所述会话界面中进行显示,包括:
根据每个所述候选语句的排序值对所述多个候选语句进行排序,得到候选语句列表;
依据预设展示个数在所述会话界面中显示所述候选语句列表的部分内容或全部内容。
6.根据权利要求5所述的显示候选语句列表的方法,其特征在于,所述依据预设展示个数在所述会话界面中显示所述候选语句列表的部分内容或全部内容,包括:
当所述候选语句列表中的候选语句个数大于预设展示个数时,在所述会话界面中显示所述候选语句列表的部分内容;
当所述候选语句列表中的候选语句个数等于或小于预设展示个数时,在所述会话界面中显示所述候选语句列表的部分内容。
7.根据权利要求1至6任一项所述的显示候选语句列表的方法,其特征在于,所述候选语句的特征信息集合包括:语句关联特征、语句来源、语句点击率、语句内容质量以及语义特征中的至少两种。
8.一种显示候选语句列表的装置,其特征在于,包括:
召回单元,用于响应于用户通过会话界面触发的预设召回操作,调用预设的多个召回模块根据用户在所述会话界面输入的信息分别进行候选语句召回操作,得到多个候选语句;
编码单元,用于按照预设的编码策略对每个所述候选语句的特征信息进行编码,得到语句特征向量;
排序单元,用于将所述语句特征向量输入预先训练后的语句排序模型,得到每个所述候选语句的排序值;其中,所述排序值用于指示各所述候选语句的质量高低;
显示单元,用于将根据每个所述候选语句的排序值对所述多个候选语句进行排序得到的候选语句列表,在所述会话界面中进行显示。
9.一种终端设备,其特征在于,所述终端设备包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时如权利要求1至7任一项所述方法的步骤。
10.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至7任一项所述方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110651345.3A CN113239175A (zh) | 2021-06-10 | 2021-06-10 | 一种显示候选语句列表的方法及终端设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110651345.3A CN113239175A (zh) | 2021-06-10 | 2021-06-10 | 一种显示候选语句列表的方法及终端设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113239175A true CN113239175A (zh) | 2021-08-10 |
Family
ID=77139737
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110651345.3A Pending CN113239175A (zh) | 2021-06-10 | 2021-06-10 | 一种显示候选语句列表的方法及终端设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113239175A (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104991887A (zh) * | 2015-06-18 | 2015-10-21 | 北京京东尚科信息技术有限公司 | 提供信息的方法及装置 |
CN107463704A (zh) * | 2017-08-16 | 2017-12-12 | 北京百度网讯科技有限公司 | 基于人工智能的搜索方法和装置 |
CN109255070A (zh) * | 2018-08-01 | 2019-01-22 | 百度在线网络技术(北京)有限公司 | 推荐信息处理方法、装置、计算机设备及存储介质 |
CN111563167A (zh) * | 2020-07-15 | 2020-08-21 | 智者四海(北京)技术有限公司 | 文本分类***及方法 |
WO2020199662A1 (zh) * | 2019-04-02 | 2020-10-08 | 北京字节跳动网络技术有限公司 | 用于推送信息的方法和装置 |
-
2021
- 2021-06-10 CN CN202110651345.3A patent/CN113239175A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104991887A (zh) * | 2015-06-18 | 2015-10-21 | 北京京东尚科信息技术有限公司 | 提供信息的方法及装置 |
CN107463704A (zh) * | 2017-08-16 | 2017-12-12 | 北京百度网讯科技有限公司 | 基于人工智能的搜索方法和装置 |
CN109255070A (zh) * | 2018-08-01 | 2019-01-22 | 百度在线网络技术(北京)有限公司 | 推荐信息处理方法、装置、计算机设备及存储介质 |
WO2020199662A1 (zh) * | 2019-04-02 | 2020-10-08 | 北京字节跳动网络技术有限公司 | 用于推送信息的方法和装置 |
CN111563167A (zh) * | 2020-07-15 | 2020-08-21 | 智者四海(北京)技术有限公司 | 文本分类***及方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107844586B (zh) | 新闻推荐方法和装置 | |
CN112868004B (zh) | 资源推荐方法、装置、电子设备及存储介质 | |
JP7334395B2 (ja) | ビデオ分類方法、装置、機器、および記憶媒体 | |
CN113079417B (zh) | 生成弹幕的方法、装置、设备和存储介质 | |
CN111258995A (zh) | 数据处理方法、装置、存储介质及设备 | |
CN110990598B (zh) | 资源检索方法、装置、电子设备及计算机可读存储介质 | |
EP3961426A2 (en) | Method and apparatus for recommending document, electronic device and medium | |
CN109670033A (zh) | 内容的检索方法、装置、设备及存储介质 | |
CN112579822A (zh) | 一种视频数据的推送方法、装置、计算机设备和存储介质 | |
CN113239204A (zh) | 文本分类方法及装置、电子设备、计算机可读存储介质 | |
CN110059172B (zh) | 基于自然语言理解的推荐答案的方法和装置 | |
CN113435523B (zh) | 预测内容点击率的方法、装置、电子设备以及存储介质 | |
CN112818195A (zh) | 数据获取方法、装置、***及计算机存储介质 | |
CN114817478A (zh) | 基于文本的问答方法、装置、计算机设备及存储介质 | |
CN110442803A (zh) | 由计算设备执行的数据处理方法、装置、介质和计算设备 | |
CN110532448B (zh) | 基于神经网络的文档分类方法、装置、设备及存储介质 | |
CN116597443A (zh) | 素材标签处理方法、装置、电子设备及介质 | |
CN108509059B (zh) | 一种信息处理方法、电子设备和计算机存储介质 | |
CN114398883B (zh) | 演示文稿生成方法、装置、计算机可读存储介质及服务器 | |
CN115576789A (zh) | 流失用户识别方法和*** | |
CN115994534A (zh) | 政务场景热词挖掘方法、装置、设备及存储介质 | |
CN113239175A (zh) | 一种显示候选语句列表的方法及终端设备 | |
CN112685540A (zh) | 搜索方法、装置、存储介质以及终端 | |
CN113342998B (zh) | 一种多媒体资源推荐方法、装置、电子设备及存储介质 | |
CN116976343A (zh) | 一种标签生成方法、装置、计算机设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |