CN110874401B - 信息处理方法、模型训练方法、装置、终端及计算设备 - Google Patents
信息处理方法、模型训练方法、装置、终端及计算设备 Download PDFInfo
- Publication number
- CN110874401B CN110874401B CN201811014895.9A CN201811014895A CN110874401B CN 110874401 B CN110874401 B CN 110874401B CN 201811014895 A CN201811014895 A CN 201811014895A CN 110874401 B CN110874401 B CN 110874401B
- Authority
- CN
- China
- Prior art keywords
- sentence
- training
- user input
- standard text
- input sentence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012549 training Methods 0.000 title claims abstract description 523
- 238000000034 method Methods 0.000 title claims abstract description 73
- 230000010365 information processing Effects 0.000 title claims abstract description 38
- 238000003672 processing method Methods 0.000 title claims abstract description 19
- 230000004044 response Effects 0.000 claims description 40
- 238000012545 processing Methods 0.000 claims description 39
- 239000013598 vector Substances 0.000 claims description 35
- 238000013528 artificial neural network Methods 0.000 claims description 10
- 230000000694 effects Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 7
- 238000004590 computer program Methods 0.000 description 5
- 238000013145 classification model Methods 0.000 description 4
- 230000003993 interaction Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000003491 array Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 230000003068 static effect Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 238000004883 computer application Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
Landscapes
- Machine Translation (AREA)
Abstract
本申请实施例提供一种信息处理方法、模型训练方法、装置、终端及计算设备,其中,针对当前一轮对话中的第一用户输入语句;从当前一轮对话的历史对话信息中,确定至少一个第二用户输入语句;结合所述至少一个第二用户输入语句,从知识库中查找与所述第一用户输入语句匹配的至少一个标准文本。本申请实施例提供的技术方案提高了文本匹配准确度。
Description
技术领域
本申请实施例涉及计算机应用技术领域,尤其涉及一种信息处理法、模型训练方法、装置、终端及计算设备。
背景技术
随着人机交互技术的发展,人机对话在诸多场景中得到了广泛应用,所谓人机对话也即是基于用户输入语句,能够智能输出相应的应答内容,看起来像是用户与设备进行了对话。
目前实现人机对话的方案,主要是通过预先创建知识库存储<Q,A>数据,Q为基于用户意图采用标准术语表述的标准文本,A为该标准文本对应的应答内容。从而基于用户输入语句,可以在知识库中查找与用户输入语句匹配的标准文本,以识别用户意图,进而可以根据标准文本对应的应答内容完成对话。
但是,实际应用中,用户输入语句可能是不完整的,往往存在着关键信息欠缺等问题,因此可能无法获得与用户输入语句匹配的标准文本,或者获得的标准文本与用户意图不相符,从而影响人机对话效果。
发明内容
本申请实施例提供一种信息处理方法、装置、计算设备及终端,用以解决现有技术中文本匹配准确度低的技术问题。
第一方面,本申请实施例中提供了一种信息处理方法,包括:
确定当前一轮对话中的第一用户输入语句;
从当前一轮对话的历史对话信息中,确定至少一个第二用户输入语句;
结合所述至少一个第二用户输入语句,从知识库中查找与所述第一用户输入语句匹配的至少一个标准文本。
第二方面,本申请实施例中提供了一种信息处理方法,包括:
获取当前一轮对话中的第一用户输入语句;
发送所述第一用户输入语句至服务端,以供服务端结合当前一轮对话的历史对话信息中的至少一个第二用户输入语句,从知识库中查找与所述第一用户输入语句匹配的至少一个标准文本。
第三方面,本申请实施例中提供了一种模型训练方法,包括:
确定第一训练语句、与所述第一训练语句具有关联关系的至少一个第二训练语句以及与所述第一训练语句对应的目标标准文本;
将所述第一训练语句与所述目标标准文本的匹配概率作为训练结果,基于所述第一训练语句、所述至少一个第二训练语句以及所述目标标准文本,训练文本识别模型。
第四方面,本申请实施例中提供了一种信息处理装置,包括:
第一语句确定模块,用于确定当前一轮对话中的第一用户输入语句;
第二语句确定模块,用于从当前一轮对话的历史对话信息中,确定至少一个第二用户输入语句;
文本匹配模块,用于结合所述至少一个第二用户输入语句,从知识库中查找与所述第一用户输入语句匹配的至少一个标准文本。
第五方面,本申请实施例中提供了一种信息处理装置,包括:
输入语句获取模块,用于获取当前一轮对话中的第一用户输入语句;
输入语句发送模块,用于发送所述第一用户输入语句至服务端,以供服务端结合当前一轮对话的历史对话信息中的至少一个第二用户输入语句,从知识库中查找与所述第一用户输入语句匹配的至少一个标准文本。
第六方面,本申请实施例中提供了一种计算设备,包括处理组件以及存储组件;
所述存储组件存储一个或多个计算机指令;所述一个或多个计算机指令用以被所述处理组件调用执行;
所述处理组件用于:
确定当前一轮对话中的第一用户输入语句;
从当前一轮对话的历史对话信息中,确定至少一个第二用户输入语句;
结合所述至少一个第二用户输入语句,从知识库中查找与所述第一用户输入语句匹配的至少一个标准文本。
第七方面,本申请实施例中提供了一种终端,包括处理组件以及存储组件;
所述存储组件存储一个或多个计算机指令;所述一个或多个计算机指令用以被所述处理组件调用执行;
所述处理组件用于:
获取当前一轮对话中的第一用户输入语句;
发送所述第一用户输入语句至服务端,以供服务端结合当前一轮对话的历史对话信息中的至少一个第二用户输入语句,从知识库中查找与所述第一用户输入语句匹配的至少一个标准文本。
第八方面,本申请实施例中提供了一种计算设备,包括处理组件以及存储组件;
所述存储组件存储一个或多个计算机指令;所述一个或多个计算机指令用以被所述处理组件调用执行;
所述处理组件用于:
确定第一训练语句、与所述第一训练语句具有关联关系的至少一个第二训练语句以及与所述第一训练语句对应的目标标准文本;
将所述第一训练语句与所述目标标准文本的匹配概率作为训练结果,基于所述第一训练语句、所述至少一个第二训练语句以及所述目标标准文本,训练文本识别模型。
本申请实施例中,确定当前一轮对话中的第一用户输入语句之后,从当前一轮对话的历史对话信息中,确定至少一个第二用户输入语句;结合所述至少一个第二用户输入语句,从知识库中查找与所述第一用户输入语句匹配的至少一个标准文本。本申请实施例在查找与用户的第一用户输入语句匹配的标准文本时,结合了上下文信息,也即历史对话信息中的第二用户输入语句,使得匹配得到的至少一个标准文本可以更加贴近用户意图,从而提高了文本匹配准确度,进而保证了人机对话效果。
本申请的这些方面或其他方面在以下实施例的描述中会更加简明易懂。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1示出了本申请提供的一种信息处理方法一个实施例的流程图;
图2示出了本申请提供的一种模型训练方法一个实施例的流程图;
图3示出了本申请提供的一种模型训练方法又一个实施例的流程图;
图4示出了本申请提供的一种信息处理方法又一个实施例的流程图;
图5示出了本申请提供的一种信息处理方法又一个实施例的流程图;
图6示出了本申请实施例在一个实际应用中对话界面示意图;
图7示出了本申请提供的一种信息处理装置一个实施例的结构示意图;
图8示出了本申请提供的一种计算设备一个实施例的结构示意图;
图9示出了本申请提供的一种模型训练装置一个实施例的结构示意图;
图10示出了本申请提供的一种计算设备又一个实施例的结构示意图;
图11示出了本申请提供的一种信息处理装置又一个实施例的结构示意图;
图12示出了本申请提供的一种终端一个实施例的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述。
在本申请的说明书和权利要求书及上述附图中的描述的一些流程中,包含了按照特定顺序出现的多个操作,但是应该清楚了解,这些操作可以不按照其在本文中出现的顺序来执行或并行执行,操作的序号如101、102等,仅仅是用于区分开各个不同的操作,序号本身不代表任何的执行顺序。另外,这些流程可以包括更多或更少的操作,并且这些操作可以按顺序执行或并行执行。需要说明的是,本文中的“第一”、“第二”等描述,是用于区分不同的消息、设备、模块等,不代表先后顺序,也不限定“第一”和“第二”是不同的类型。
本申请实施例的技术方案主要应用于人机对话场景中,人机对话技术广泛应用于很多领域中,例如智能问答、机器人客服、聊天机器人等。
目前实现人机对话的方案,主要是通过预先创建知识库存储<Q,A>数据,采用文本相似度方式,查找与用户输入语句匹配的Q,就可以向用户推荐对应的A。例如Q为“你喜欢的电影是什么”,A为“我最喜欢的电影当然是《XXX》了,啥时候咱俩一起去看”。用户输入语句为即为一个文本,查找与用户输入语句匹配的标准文本的过程也即为文本匹配过程。
但是,如果用户输入语句表达不完整,缺少关键信息等,根据用户的输入语句匹配得到的标准文本就无法准确表达用户意图,导致文本匹配准确度降低,进而影响人机对话效果。
为了提高文本匹配准确度,发明人在研究中发现,在一次对话交互场景中,用户与后端***之间可能会进行多轮对话,每一轮对话由用户输入语句及针对该用户输入语句的***回复内容构成,目前是基于每一轮对话中的用户输入语句去匹配标准文本,一旦用户输入语句表达不完整,匹配得到的标准文本就无法准确表达用户意图。而发明人进一步发现,用户可能会在多轮对话中分别输入关联性较强的多个输入语句,多个输入语句组合在一起才能完整表述用户意图,比如前一轮对话中,用户输入语句为“我刚失误点了退款”,后一轮对话中,用户输入语句为“你帮我拒绝吧”,可知,任一个输入语句均无法准确表达用户意图。这两个输入语句组合起来才是一个完整的表述。据此发现,发明人提出了本申请实施例的技术方案,在本申请实施例中,确定当前一轮对话中的第一用户输入语句之后,从当前一轮对话的历史对话信息中,确定至少一个第二用户输入语句;结合所述至少一个第二用户输入语句,从知识库中查找与所述第一用户输入语句匹配的至少一个标准文本。本申请实施例在查找与用户的第一用户输入语句匹配的标准文本时,结合了上下文信息,也即历史对话信息中的第二用户输入语句,使得匹配得到的至少一个标准文本可以更加贴近用户意图,从而提高了文本匹配准确度,进而保证了人机对话效果。
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
图1为本申请实施例提供的一种信息处理方法一个实施例的流程图,该方法可以包括以下几个步骤:
101:确定当前一轮对话中的第一用户输入语句。
102:从当前一轮对话的历史对话信息中,确定至少一个第二用户输入语句。
该第一用户输入语句即是指当前一轮对话中的用户输入语句。
该至少一个第二用户输入语句即是指从历史对话信息的至少一轮对话中获得的用户输入语句。
由于实际应用中,一个对话场景可能包括多轮对话,其中,如果具备下述多个因素中的一个或多个,可以认为多轮对话形成一个对话场景,否则即不在一个对话场景中,该多个因素可以包括:
针对同一用户在预定时间范围内的人机交互过程;
相邻两轮对话的时间间隔小于预定间隔;
相邻两轮对话中的前一轮对话中的输入语句不是从其前一轮对话的应答内容中选择的标准文本;以及
对话总轮次小于等于预设轮次。
因此,从当前一轮对话的历史对话信息中,确定至少一个第二用户输入语句可以包括:
从当前对话场景中,当前一轮对话的历史对话信息中,确定至少一个第二用户输入语句。
该至少一个第二用户输入语句可以是从当前一轮对话的历史对话信息,按照发生时间由近及远的顺序,选择前N轮对话中的N个第二用户输入语句,其中,N即大于等于1。
由于通常每一轮对话中的用户输入语句仅与其上一轮对话中的用户输入语句相关联,因此,可选地,可以具体是获取当前一轮对话的上一轮对话中中的第二用户输入语句。
103:结合所述至少一个第二用户输入语句,从知识库中查找与所述第一用户输入语句匹配的至少一个标准文本。
由于通常一轮对话中用户的第一用户输入语句通常与其上下文对话中用户的输入语句具有一定关联系,比如上一轮对话中的输入语句为“我刚失误点了退款”,当前一轮对话的输入语句为:“你帮我拒绝吧“,可知当前一轮对话的输入语句是上一轮对话的输入语句的继续表达,需要两者组合才能表达用户的完整意图,因此本申请实施例中,针对当前一轮对话中的第一用户输入语句,首先确定历史对话信息中的至少一个第二用户输入语句,从而结合该至少一个第二用户输入语句,再从知识库中查找与所述第一用户输入语句匹配的至少一个标准文本。本实施例考虑了上下文对话的关联系,使得匹配得到的标准文本可以更加贴合用户意图,因此提高了文本匹配准确度,由于获得标准文本更加准确,因此即可以提高人机对话的准确度,保证人机对话效果。
为了进一步提高文本匹配准确度,作为一种可选方式,从当前一轮对话的历史对话信息中,确定至少一个第二用户输入语句之后,所述方法还可以包括:
确定所述至少一个第二用户输入语句各自匹配的知识类型;
所述结合所述至少一个第二用户输入语句,从知识库中查找与所述第一用户输入语句匹配的至少一个标准文本可以包括:
结合所述至少一个第二用户输入语句以及所述至少一个第二用户输入语句各自匹配的知识类型,从知识库中查找与所述第一用户输入语句匹配的至少一个标准文本。
其中,知识库中的标准文本可以按照知识类型进行分类,比如在电子商务场景中的客户服务场景中,标准文本对应知识类型可以包括例如退款、退货、人工服务等等。知识类型作为每个标准文本对应的一个标签信息可以预先设定,可以采用人工设定方式,当然也可以采用其它方式,比如通过分类模型识别,分类模型可以根据预先设定知识类型的训练文本训练获得等。
该至少一个第二用户输入语句各自匹配的知识类型,例如可以通过查找每个第二用户输入语句中是否包括任一个知识类型对应的关键词等,若是,则该任一个知识类型即可以作为第二用户输入语句匹配的知识类型。
当然也可以采用上述训练获得的分类模型进行识别获得,本申请实施例不对此进行限定。
通过结合至少一个第二用户输入语句各自匹配的知识类型,可以作为对该至少一个第二用户输入语句的补充,因此可以进一步提高文本匹配准确度。
作为又一种可选方式,所述确定当前一轮对话中的第一用户输入语句之后,所述方法还可以包括:
确定所述第一用户输入语句对应的当前对话轮次;
所述结合所述至少一个第二用户输入语句,从知识库中查找与所述第一用户输入语句匹配的至少一个标准文本可以包括:
结合所述至少一个第二用户输入语句以及所述当前对话轮次,从知识库中查找与所述第一用户输入语句匹配的至少一个标准文本。
由于一个对话场景中可能包括多轮对话,当前对话轮次即是指当前一轮对话对应的轮次。
由于在对话轮次在文本匹配过程中也起着一定作用,比如在一个对话场景中通常设定了一个额定总轮次,比如10次,如果对话轮次超过10轮,用户耐心已经降低,此时需要尽快找到与用户意图接近的标准文本。因此,本申请实施例结合当前对话轮次,可以保证时效性,在提高文本匹配准确度的前提下,进一步保证人机对话效果,保证用户体验。
作为又一种可选方式,所述确定当前一轮对话中的第一用户输入语句之后,所述方法还可以包括:
确定所述第一用户输入语句对应的当前对话轮次;
从当前一轮对话的历史对话信息中,确定至少一个第二用户输入语句之后,所述方法还可以包括:
确定所述至少一个第二用户输入语句各自匹配的知识类型;
所述结合所述至少一个第二用户输入语句,从知识库中查找与所述第一用户输入语句匹配的至少一个标准文本可以包括:
结合所述至少一个第二用户输入语句、所述至少一个第二用户输入语句各自匹配的知识类型以及所述当前对话轮次,从知识库中查找与所述第一用户输入语句匹配的至少一个标准文本。
本申请实施例在一个实际应用中,可以应用于智能问答场景中,为了提高人机对话准确度,可以向用户推送准确的应答内容,可以获得与第一用户输入语句匹配的多个标准文本,其中,可以按照文本相似度从高到低的顺序选择多个标准文本,将该多个标准文本推送给用户,由用户选择与自身意图最接近的一个标准文本,进而可以将该最接近的标准文本的应答内容推送给用户,完成智能问答。
因此,在某些实施例中,所述结合所述至少一个第二用户输入语句,从知识库中查找与所述第一用户输入语句匹配的至少一个标准文本包括:
结合所述至少一个第二用户输入语句,从知识库中查找与所述第一用户输入语句匹配的多个标准文本;
所述方法还包括:
基于所述多个标准文本,生成文本推荐内容;
将所述文本推荐内容发送至用户端,以供所述用户端输出所述文本推荐内容,以提示用户从所述至少一个标准文本中进行选择;
获取从所述至少一个标准文本中选择的第一标准文本;
将所述第一标准文本对应的应答内容发送至所述用户端,以供所述用户端输出所述第一标准文本对应的应答内容。
其中,该文本推荐内容中可以包括该至少一个标准文本,此外还可以包括选择控件,以方便用户操作该选择控件以所述至少一个标准文本中选择第一标准文本。
当然,该第一标准文本也可以是用户根据该文本推荐内容采用文字形式或者语音形式输入的。
将所述第一标准文本对应的应答内容发送至所述用户端,用户端即可以查看该应答内容。
在某些实施例中,所述确定当前一轮对话中的第一用户输入语句之后,所述方法还可以包括:
判断知识库中是否存在与所述第一用户输入语句匹配的至少一个标准文本;
如果不存在与所述第一用户输入语句匹配的至少一个标准文本,则可以再执行所述述从当前一轮对话的历史对话信息中,确定至少一个第二用户输入语句的步骤。
可选地,如果存在与所述第一用户输入语句匹配的至少一个标准文本,则可以按照现有流程执行,例如如果存在多个标准文本,即基于该多个标准文本生成文本推荐内容并发送至用户端,以供用户从中选择一个标准文本,并将用户选择的标准文本对应的应答内容发送至用户端;
而如果存在一个标准文本,则可以将该一个标准文本对应的应答内容发送至用户端。
可选地,将所述第一标准文本对应的应答内容发送至所述用户端,以供所述用户端输出所述第一标准文本对应的应答内容之后,即可以结束当前对话场景。因此,在某些实施例中,所述方法还可以包括:
判断所述第一用户输入语句是否是从上一轮对话中的文本推荐内容中选择获得;
如果否,执行所述从当前一轮对话的历史对话信息中,确定至少一个第二用户输入语句的步骤;
如果是,则可以向用户端发送预定回复内容,以供所述用户端输出所述预定回复内容。
本申请实施例在又一个实际应用中,可以直接确定与第一用户输入语句匹配的一个标准文本,进而将该标准文本对应的应答内容发送至用户端,以完成人机对话。因此,在某些实施例中,所述结合所述至少一个第二用户输入语句,从知识库中查找与所述第一用户输入语句匹配的至少一个标准文本可以包括:
结合所述至少一个第二用户输入语句,从知识库中查找与所述第一用户输入语句匹配的一个第二标准文本;
所述方法还可以包括:
将所述第二标准文本对应的应答内容发送至所述用户端,以供所述用户端输出所述第二标准文本对应的应答内容。
在某些实施例中,所述结合所述至少一个第二用户输入语句,从知识库中查找与所述第一用户输入语句匹配的至少一个标准文本可以包括:
基于所述第一用户输入语句及所述至少一个第二用户输入语句,利用文本识别模型从知识库中查找与所述第一用户输入语句匹配的至少一个标准文本。
也即利用文本识别模型进行识别以获得与所述第一用户输入语句匹配的至少一个标准文本。
该文本识别模型可以基于第一训练语句、与所述第一训练语句具有关联关系的至少一个第二训练语句以及与所述第一训练语句对应的目标标准文本训练获得。
因此,本申请实施例还提供了一种模型训练方法,如图2中所示,该方法可以包括:
201:确定第一训练语句、与所述第一训练语句具有关联关系的至少一个第二训练语句以及与所述第一训练语句对应的目标标准文本。
其中,与第一训练语句具有关联关系的至少一个第二训练语句为该第一训练语句的继续表达,结合该第一训练语句以及该至少一个第二训练语句,才可以确定一个完整意图。
作为又一个实施例,所述确定第一训练语句、与所述第一训练语句具有关联关系的至少一个第二训练语句以及与所述第一训练语句对应的目标标准文本可以包括:
将历史对话记录中一轮对话中的用户输入语句作为第一训练语句;
将所述第一训练语句对应历史对话信息中的用至少一个户输入语句作为与所述第一训练语句具有关联关系的至少一个第二训练语句;
将所述历史对话记录中与所述第一训练语句匹配的一个标准文本作为目标标准文本。
也即可以利用历史对话记录中的对话数据进行模型训练。
可选地,所述将历史对话记录中一轮对话中的用户输入语句作为第一训练语句可以包括:
将历史对话记录中,对应文本推荐内容的用户输入语句作为第一训练语句。
对应文本推荐内容的用户输入语句,是指该文本推荐内容为该用户输入语句的应答内容,也即后台对话***针对该用户输入语句作出的回复。
可选地,可以是将历史对话记录中的任一个对话场景中,,对应文本推荐内容的用户输入语句作为第一训练语句。
可选地,所述将所述历史对话记录中与所述第一训练语句匹配的一个标准文本作为目标标准文本可以包括:
将所述历史对话记录中,针对所述第一训练语句的文本推荐内容中选择的一个标准文本作为目标标准文本。
202:将所述第一训练语句与所述目标标准文本的匹配概率作为训练结果,基于所述第一训练语句、所述至少一个第二训练语句以及所述目标标准文本,训练文本识别模型。
通过本实施例的文本识别模型,即可以基于当前一轮对话中的第一用户输入语句、当前一轮对话的历史对话信息中至少一个第二用户输入语句,从知识库查找与所述第一用户输入语句匹配的至少一个标准文本,以保证文本匹配准确度。
其中,该文本识别模型可以采用全连接神经网络实现。
在某些实施例中,所述将所述第一训练语句与所述目标标准文本的匹配概率作为训练结果,基于所述第一训练语句、所述至少一个第二训练语句以及所述目标标准文本,训练文本识别模型可以包括:
将所述目标标准文本作为正样本;
将所述知识库中不包括所述目标标准文本的至少一个标准文本作为负样本;
分别将所述第一训练语句与所述正样本的匹配概率、以及将所述第一训练语句与所述负样本的匹配概率作为训练结果,基于所述第一训练语句、所述至少一个第二训练语句、所述正样本以及所述负样本,训练文本识别模型。
其中,可选地,该目标标准文本为从针对所述第一训练语句的文本推荐内容中选择获得时,所述将所述知识库中不包括所述目标标准文本的至少一个标准文本作为负样本可以包括:
将从针对所述第一训练语句的文本推荐内容中不包括所述目标标准文本的至少一个标准文本作为负样本。
此外,在某些实施例中,可以是将所述第一训练语句与所述目标标准文本的匹配概率作为训练结果,基于所述第一训练语句、所述至少一个第二训练语句、所述至少一个第二训练语句各自匹配的知识类型以及所述目标标准文本,训练文本识别模型。
该至少一个第二训练语句各自匹配的知识类型通过查找第二训练语句中是否包括任一个知识类型对应的关键词等确定,若是,则该任一个知识类型即可以作为第二训练语句匹配的知识类型。
当然也可以采用分类模型进行识别获得。
可选地,可以具体是将所述第一训练语句与所述目标标准文本的匹配概率作为训练结果,基于所述第一训练语句、所述至少一个第二训练语句、所述第一训练语句的对话轮次以及所述目标标准文本,训练文本识别模型。
其中,第一训练语句从历史对话记录中的任一个对话场景中获得时,即可以确定该第一训练语句在该任一个对话场景中的对话轮次。
可选地,可以具体是将所述第一训练语句与所述目标标准文本的匹配概率作为训练结果,基于所述第一训练语句、所述至少一个第二训练语句、所述至少一个第二训练语句各自匹配的知识类型、所述第一训练语句的对话轮次以及所述目标标准文本,训练文本识别模型。
图3为本申请实施例提供的一种模型训练方法又一个实施例的流程图,该方法可以包括以下几个步骤:
301:确定第一训练语句、与所述第一训练语句具有关联关系的至少一个第二训练语句以及与所述第一训练语句对应的目标标准文本。
302:计算所述第一训练语句、所述至少一个第二训练语句及所述目标标准文本两两之间的语义相似度;
303:基于所述第一训练语句、所述至少一个第二训练语句以及所述目标标准文本两两之间的语义相似度,生成模型输入训练特征。
304:将所述第一训练语句与所述目标标准文本的匹配概率作为训练结果,基于所述模型输入训练特征,训练文本识别模型。
其中,第一训练语句与所述目标标准文本的匹配概率可以设定为1。
为了提高模型训练准确度,该目标标准文本可以作为正样本,该方法还可以包括:
将知识库中不包括所述目标标准文本的至少一个标准文本分别作为负样本;
计算所述第一训练语句、所述至少一个第二训练语句及任一个负样本两两之间的语义相似度;
基于所述第一训练语句、所述至少一个第二训练语句以及任一个负样本两两之间的语义相似度,生成负样本训练特征。
将所述第一训练语句与所述任一个负样本的匹配概率作为训练结果,基于所述负样本训练特征,训练文本识别模型。
其中,第一训练语句与所述任一个负样本的匹配概率可以设定为0。
在某些实施例中,所述方法还可以包括:
基于所述至少一个第二训练语句各自匹配的知识类型,生成意图训练特征;
所述基于所述第一训练语句、所述至少一个第二训练语句以及所述目标标准文本两两之间的语义相似度,生成模型输入训练特征可以包括:
将所述第一用户输入语句、所述至少一个第二用户输入语句以及所述知识库中任一标准文本两两之间的语义相似度,构成语义训练特征;
将所述语义训练特征以及所述意图训练特征进行拼接,获得模型输入训练特征。
可选地,可以将该至少一个第二训练语句各自匹配的知识类型进行编码,获得意图训练特征,比如可以知识库对应N个知识类型,该N知识类型可以构成N维特征,每一维数据对应一个知识类型,初始值可以设定为0,该至少一个训练语句命中的知识类型即可以设定为1,从而得到意图训练特征。
当然,本申请不对该意图训练特征的生成进行具体限定,其它任意可以表示该至少一个第二训练语句各自匹配的知识类型的特征生成方式均应在本申请实施例的保护范围内,比如采用不同字符或者不同数字等表示不同知识类型等。
其中,该语义训练特征可以是包括将所述第一用户输入语句、所述至少一个第二用户输入语句以及所述知识库中任一标准文本两两之间的语义相似度的一个向量表示。
例如至少一个第二用户输入语句具体是指上一轮对话中的一个第二用户输入语句。
则计算所述第一用户输入语句、所述第二用户输入语句以及所述知识库中任一标准文本两两之间的语义相似度,总共可以获得三个语义相似度,比如X,Y以及Z,该三个语义相似度即构成一个三维的语义训练特征,即(X,Y,Z)。
可选地,所述基于所述第一训练语句、所述至少一个第二训练语句以及任一个负样本两两之间的语义相似度,生成负样本训练特征可以包括:
基于所述第一训练语句、所述至少一个第二训练语句以及任一个负样本两两之间的语义相似度,获得负样本语义训练特征;
将所述负样本语义训练特征以及所述意图训练特征进行拼接,获得负样本训练特征。
在某些实施例中,所述方法还可以包括:
基于所述第一训练语句的对话轮次,生成轮次训练特征;
所述基于所述第一训练语句、所述至少一个第二训练语句以及所述目标标准文本两两之间的语义相似度,生成模型输入训练特征可以包括:
将所述第一用户输入语句、所述至少一个第二用户输入语句以及所述知识库中任一标准文本两两之间的语义相似度,构成语义训练特征;
将所述语义训练特征以及所述轮次训练特征进行拼接,获得模型输入训练特征。
该轮次训练特征可以对对话轮次编码获得,比如预先设定一个对话场景的对话总轮次,超过该对话总轮次,该结束对话。假设对话总伦次为M次,构建M维特征,该M维特征中的M个数据分别依次对应M次对话轮次,初始值均为0,第一训练语句的对话轮次命中哪一维数据,该维数据即设定为1等,比如对话总伦次为3次,第一训练语句的对话轮次为第2次,则该轮次训练特征可以为采用向量(0,1,0)表示等。
可选地,所述基于所述第一训练语句、所述至少一个第二训练语句以及任一个负样本两两之间的语义相似度,生成负样本训练特征可以包括:
基于所述第一训练语句、所述至少一个第二训练语句以及任一个负样本两两之间的语义相似度,获得负样本语义训练特征;
将所述负样本语义训练特征以及所述轮次训练特征进行拼接,获得负样本训练特征。
在某些实施例中,所述方法还可以包括:
基于所述第一训练语句的对话轮次,生成轮次训练特征;
基于所述至少一个第二训练语句各自匹配的知识类型,生成意图训练特征;
所述基于所述第一训练语句、所述至少一个第二训练语句以及所述目标标准文本两两之间的语义相似度,生成模型输入训练特征可以包括:
将所述第一用户输入语句、所述至少一个第二用户输入语句以及所述知识库中任一标准文本两两之间的语义相似度,构成语义训练特征;
将所述语义训练特征、所述轮次训练特征以及所述意图训练特征进行拼接,获得模型输入训练特征。
可选地,所述基于所述第一训练语句、所述至少一个第二训练语句以及任一个负样本两两之间的语义相似度,生成负样本训练特征可以包括:
基于所述第一训练语句、所述至少一个第二训练语句以及任一个负样本两两之间的语义相似度,获得负样本语义训练特征;
将所述负样本语义训练特征、所述轮次训练特征以及所述意图训练特征进行拼接,获得负样本训练特征。
此外,在某些实施例中,所述计算所述第一训练语句、所述至少一个第二训练语句及任一个负样本两两之间的语义相似度可以包括:
利用神经网络将所述第一训练语句、所述至少一个第二训练语句及所述目标标准文本进行语义编码,获得所述第一训练语句、所述至少一个第二训练语句及所述目标标准文本各自的文本特征;
基于所述第一训练语句、所述至少一个第二训练语句及所述目标标准文本各自的文本特征,计算所述第一训练语句、所述至少一个第二训练语句以及所述目标标准文本两两之间的第一语义相似度;
确定所述第一训练语句、所述至少一个第二训练语句及所述目标标准文本各自的词向量;
基于所述第一训练语句、所述至少一个第二训练语句及所述目标标准文本各自的词向量,计算所述第一训练语句、所述至少一个第二训练语句及所述目标标准文本各自的句子向量;
基于所述第一训练语句、所述至少一个第二训练语句及所述目标标准文本各自的句子向量,计算所述第一训练语句、所述至少一个第二训练语句以及所述目标标准文本两两之间的第二语义相似度。
在某些实施例中,所述将所述第一训练语句、所述至少一个第二训练语句以及所述目标标准文本两两之间的语义相似度,构成语义训练特征可以包括:
将所述第一训练语句、所述至少一个第二训练语句以及所述目标标准文本两两之间的第一语义相似度以及第二语义相似度,构成语义训练特征。
在某些实施例中,所述基于所述第一训练语句、所述至少一个第二训练语句以及所述目标标准文本两两之间的语义相似度,生成模型输入训练特征可以包括:
基于所述第一训练语句、所述至少一个第二训练语句以及所述目标标准文本两两之间的第一语义相似度以及第二语义相似度,生成模型输入训练特征。
其中,该神经网络可以为卷积神经网络(,CNN)或者循环神经网络(,RNN)等,例如可以利用卷积神经网络通过卷积与池化操作学习获得一个文本或语句的文本特征。
其中,该词向量可以利用Word2vec(一种产生词向量的模型)计算获得等,当然还可以采用其它形式实现,与现有技术相同,在此不再赘述。
基于一个文本或一个语句的词向量,例如可以采用词向量平均叠加的方式(word-average)获得句子向量等。
该至少一个第二用户输入语句为上一轮对话中的第二用户输入语句时,计算所述第一训练语句、所述至少一个第二训练语句以及所述目标标准文本两两之间的第一语义相似度可以获得3个第一语义相似度,计算所述第一训练语句、所述至少一个第二训练语句以及所述目标标准文本两两之间的第二语义相似度,可以获得3个第二语义相似度,该3个第一语义相似度以及该3个第二语义相似度,即可以构成6维的语义训练特征。
在某些实施例中,计算所述第一训练语句、所述至少一个第二训练语句及任一个负样本两两之间的语义相似度可以包括:
利用神经网络将所述第一训练语句、所述至少一个第二训练语句及所述任一个负样本进行语义编码,获得所述第一训练语句、所述至少一个第二训练语句及所述任一个负样本各自的文本特征;
基于所述第一训练语句、所述至少一个第二训练语句及所述目标标准文本各自的文本特征,计算所述第一训练语句、所述至少一个第二训练语句以及所述任一个负样本两两之间的第一语义相似度;
确定所述第一训练语句、所述至少一个第二训练语句及所述任一个负样本各自的词向量;
基于所述第一训练语句、所述至少一个第二训练语句及所述任一个负样本各自的词向量,计算所述第一训练语句、所述至少一个第二训练语句及所述任一个负样本各自的句子向量;
基于所述第一训练语句、所述至少一个第二训练语句及所述任一个负样本各自的句子向量,计算所述第一训练语句、所述至少一个第二训练语句以及所述任一个负样本两两之间的第二语义相似度。
在某些实施例中,基于所述第一训练语句、所述至少一个第二训练语句以及任一个负样本两两之间的语义相似度,获得负样本语义训练特征可以包括:
基于所述第一训练语句、所述至少一个第二训练语句以及任一个负样本两两之间的第一语义相似度以及第二语义相似度,构成负样本语义训练特征。
图4为本申请实施例提供的一种信息处理方法又一个实施例的流程图,该方法可以包括以下几个步骤:
401:确定当前一轮对话中的第一用户输入语句。
402:从当前一轮对话的历史对话信息中,确定至少一个第二用户输入语句。
403:计算所述第一用户输入语句、所述至少一个第二用户输入语句及所述知识库中任一标准文本两两之间的语义相似度。
404:基于所述第一用户输入语句、所述至少一个第二用户输入语句以及所述知识库中任一标准文本两两之间的语义相似度,生成模型输入特征。
405:将所述模型输入特征输入文本识别模型,获得所述第一用户输入语句与所述任一标准文本的匹配概率。
406:根据所述第一用户输入语句与各个标准文本的匹配概率,确定与所述第一用户输入语句匹配的至少一个标准文本。
在某些实施例中,所述方法还可以包括:
基于所述第一用户输入语句的当前会话轮次,生成轮次特征;
所述基于所述第一用户输入语句、所述至少一个第二用户输入语句以及所述知识库中任一标准文本两两之间的语义相似度,生成模型输入特征包括:
将所述第一用户输入语句、所述至少一个第二用户输入语句以及所述知识库中任一标准文本两两之间的语义相似度,构成语义特征;
将所述语义特征以及所述轮次特征进行拼接,获得模型输入特征。
在某些实施例中,所述方法还可以包括:
基于所述至少一个第二用户输入语句各自匹配的知识类型,生成意图特征;
所述基于所述第一用户输入语句、所述至少一个第二用户输入语句以及所述知识库中任一标准文本两两之间的语义相似度,生成模型输入特征包括:
将所述第一用户输入语句、所述至少一个第二用户输入语句以及所述知识库中任一标准文本两两之间的语义相似度,构成语义特征;
将所述语义特征以及所述意图特征进行拼接,获得模型输入特征。
在某些实施例中,所述方法还可以包括:
基于所述第一用户输入语句的当前会话轮次,生成轮次特征;
基于所述至少一个第二用户输入语句各自匹配的知识类型,生成意图特征;
所述基于所述第一用户输入语句、所述至少一个第二用户输入语句以及所述知识库中任一标准文本两两之间的语义相似度,生成模型输入特征包括:
将所述第一用户输入语句、所述至少一个第二用户输入语句以及所述知识库中任一标准文本两两之间的语义相似度,构成语义特征;
将所述语义特征、所述轮次特征以及所述意图特征进行拼接,获得模型输入特征。
此外,在某些实施例中,所述计算所述第一用户输入语句、所述至少一个第二用户输入语句及所述知识库中任一标准文本两两之间的语义相似度可以包括:
利用神经网络将所述第一用户输入语句、所述至少一个第二用户输入语句及所述知识库中任一标准文本进行语义编码,获得所述第一用户输入语句、所述至少一个第二用户输入语句及所述任一标准文本各自的文本特征;
基于所述第一用户输入语句、所述至少一个第二用户输入语句及所述任一标准文本各自的文本特征,计算所述第一用户输入语句、所述至少一个第二用户输入语句以及所述知识库中任一标准文本两两之间的第一语义相似度;
确定所述第一用户输入语句、所述至少一个第二用户输入语句及所述任一标准文本各自的词向量;
基于所述第一用户输入语句、所述至少一个第二用户输入语句及所述任一标准文本各自的词向量,计算所述第一用户输入语句、所述至少一个第二用户输入语句及所述任一标准文本各自的句子向量;
基于所述第一用户输入语句、所述至少一个第二用户输入语句及所述任一标准文本各自的句子向量,计算所述第一用户输入语句、所述至少一个第二用户输入语句以及所述知识库中任一标准文本两两之间的第二语义相似度。
在某些实施例中,所述基于所述第一用户输入语句、所述至少一个第二用户输入语句以及所述知识库中任一标准文本两两之间的语义相似度,生成模型输入特征可以包括:
基于所述第一用户输入语句、所述至少一个第二用户输入语句以及所述知识库中任一标准文本两两之间的第一语义相似度以及第二语义相似度,生成模型输入特征。
在某些实施例中,所述将所述第一用户输入语句、所述至少一个第二用户输入语句以及所述知识库中任一标准文本两两之间的语义相似度,构成语义特征包括:
将所述第一用户输入语句、所述至少一个第二用户输入语句以及所述知识库中任一标准文本两两之间的第一语义相似度以及第二语义相似度,构成语义特征
图5为本申请实施例提供的一种信息处理方法又一个实施例的流程图,本实施例从用户端角度进行描述,该方法可以包括以下几个步骤:
501:获取当前一轮对话中的第一用户输入语句。
502:发送所述第一用户输入语句至服务端。
从而服务端即可以结合当前一轮对话的历史对话信息中的至少一个第二用户输入语句,从知识库中查找与所述第一用户输入语句匹配的至少一个标准文本。
其中,服务端的具体处理方式可以具体参见上述图1或图4等实施例中所述,在此不再赘述。
作为一种可选方式,发送所述第一用户输入语句至服务端之后,所述方法还可以包括:
接收所述服务端发送的文本推荐内容;其中,所述文本推荐内容为所述服务端基于所述至少一个标准文本生成;
输出所述文本推荐内容;
响应于针对所述文本推荐内容的文本选择操作,确定从所述文本推荐内容中选择的第一标准文本;
发送所述第一标准文本的选择请求至服务端,以供所述服务端查找所述第一标准文本对应的应答内容;
接收服务端发送的所述第一标准文本对应的应答内容;
输出所述第一标准文本对应的应答内容。
作为另一个可选方式,发送所述第一用户输入语句至服务端之后,所述方法还可以包括:
接收所述服务端发送的与所述第一用户输入语句匹配的第二标准文本对应的应答内容;
输出所述第二标准文本对应的应答内容。
本申请实施例在一个实际应用可以应用于智能问答的问题推荐场景中,也可以基于用户输入语句可以获得多个标准文本,基于多个标准文本生成文本推荐内容反问用户,以供再从中选择一个第二标准文本,也即最接近用户意图的标准文本,以进一步提高人机对话准确度。
为了方便理解,图6示出了在一个实际应用中的对话界面显示示意图,该对话界面由用户端输出,图6示出了一个对话场景的对话示意图,该对话场景由三轮对话构成,如图6中的每一轮对话601。
假设当前一轮对话的第一用户输入语句为图6中的用户输入语句602“你帮我拒绝吧”,可知,如果仅针对该第一用户输入语句去知识库中查找标准文本,可能无法获得与用户意图贴合的标准文本。
因此,本申请实施例中,可以查找结合当前一轮对话的历史对话信息中至少一个第二用户输入语句,可选地,可以是查找上一轮对话中的第二用户输入语句,例如如图6中的用户输入语句603“我刚失误点了退款”。
从而结合上一轮对话中的第二用户输入语句,采用本申请实施例的技术方案,可以获得更加准确的多个标准文本,例如包括两个标准文本:“我想取消退款申请”、“我已经申请推荐了”。
服务端基于该两个标准文本可以生成文本推荐内容,并发送至用户端,由用户端在对话界面中展示,如图6中的回复内容604。
该文本推荐内容可以提示用户从两个标准文本中进行选择,此外,该文本推荐内容中还可以包括人工选择提示信息,以在两个标准文本均不符合用户意图时,用户可以直接发起人工服务请求。
假设用户从该两个标准文本选择了其中一个标准文本,也即第一标准文本,通过用户端可以将该第一标准文本作为用户输入语句发送至服务端,同时会在对话界面中显示该第一标准文本,如图6中的用户输入语句605“我想取消退款申请”。
服务端即可以从知识库中查找该第一标准文本对应的应答内容,并将第一标准文本对应的应答内容反馈给用户端,由用户端输出,如图6中的回复内容606,“好的,会尽快帮您取消”,之后即可以结束当前对话场景。
其中,可选地,若第一用户输入语句为图6中的用户输入语句601时,此时第一用户输入语句位于当前对话场景中第一轮对话中,在当前对话场景中不存在历史对话信息,此时,即可以输出预定回复内容,如图6中的回复内容607“无答案”。
图7为本申请实施例提供的一种信息处理装置一个实施例的结构示意图,该装置可以包括:
第一语句确定模块701,用于确定当前一轮对话中的第一用户输入语句;
第二语句确定模块702,用于从当前一轮对话的历史对话信息中,确定至少一个第二用户输入语句;
文本匹配模块703,用于结合所述至少一个第二用户输入语句,从知识库中查找与所述第一用户输入语句匹配的至少一个标准文本。
在某些实施例中,所述文本匹配模块可以具体用于基于所述第一用户输入语句及所述至少一个第二用户输入语句,利用文本识别模型从知识库中查找与所述第一用户输入语句匹配的至少一个标准文本。
在某些实施例中,所述文本匹配模块可以具体用于:
计算所述第一用户输入语句、所述至少一个第二用户输入语句及所述知识库中任一标准文本两两之间的语义相似度;
基于所述第一用户输入语句、所述至少一个第二用户输入语句以及所述知识库中任一标准文本两两之间的语义相似度,生成模型输入特征;
将所述模型输入特征输入文本识别模型,获得所述第一用户输入语句与所述任一标准文本的匹配概率;
根据所述第一用户输入语句与各个标准文本的匹配概率,确定与所述第一用户输入语句匹配的至少一个标准文本。
在某些实施例中,所述文本匹配模块计算所述第一用户输入语句、所述至少一个第二用户输入语句及所述知识库中任一标准文本两两之间的语义相似度包括:
利用神经网络将所述第一用户输入语句、所述至少一个第二用户输入语句及所述知识库中任一标准文本进行语义编码,获得所述第一用户输入语句、所述至少一个第二用户输入语句及所述任一标准文本各自的文本特征;
基于所述第一用户输入语句、所述至少一个第二用户输入语句及所述任一标准文本各自的文本特征,计算所述第一用户输入语句、所述至少一个第二用户输入语句以及所述知识库中任一标准文本两两之间的第一语义相似度;
确定所述第一用户输入语句、所述至少一个第二用户输入语句及所述任一标准文本各自的词向量;
基于所述第一用户输入语句、所述至少一个第二用户输入语句及所述任一标准文本各自的词向量,计算所述第一用户输入语句、所述至少一个第二用户输入语句及所述任一标准文本各自的句子向量;
基于所述第一用户输入语句、所述至少一个第二用户输入语句及所述任一标准文本各自的句子向量,计算所述第一用户输入语句、所述至少一个第二用户输入语句以及所述知识库中任一标准文本两两之间的第二语义相似度;
所述文本匹配模块基于所述第一用户输入语句、所述至少一个第二用户输入语句以及所述知识库中任一标准文本两两之间的语义相似度,生成模型输入特征包括:
基于所述第一用户输入语句、所述至少一个第二用户输入语句以及所述知识库中任一标准文本两两之间的第一语义相似度以及第二语义相似度,生成模型输入特征。
在某些实施例中,所述文本匹配模块还用于基于所述第一用户输入语句的当前会话轮次,生成轮次特征;基于所述至少一个第二用户输入语句各自匹配的知识类型,生成意图特征;
所述文本匹配模块基于所述第一用户输入语句、所述至少一个第二用户输入语句以及所述知识库中任一标准文本两两之间的语义相似度,生成模型输入特征包括:
将所述第一用户输入语句、所述至少一个第二用户输入语句以及所述知识库中任一标准文本两两之间的语义相似度,构成语义特征;
将所述语义特征、所述轮次特征以及所述意图特征进行拼接,获得模型输入特征。
在某些实施例中,该装置还可以包括:
模型训练模块,用于确定第一训练语句、与所述第一训练语句具有关联关系的至少一个第二训练语句以及与所述第一训练语句匹配的目标标准文本;
计算所述第一训练语句、所述至少一个第二训练语句以及所述目标标准文本两两之间的语义相似度;
基于所述第一训练语句、所述至少一个第二训练语句以及所述目标标准文本两两之间的语义相似度,生成模型输入训练特征;
利用所述模型输入训练特征,训练文本识别模型。
在某些实施例中,该文本匹配模块还用于确定所述至少一个第二用户输入语句各自匹配的知识类型;
该文本匹配模块结合所述至少一个第二用户输入语句,从知识库中查找与所述第一用户输入语句匹配的至少一个标准文本包括:
结合所述至少一个第二用户输入语句以及所述知识类型,从知识库中查找与所述第一用户输入语句匹配的至少一个标准文本。
在某些实施例中,该文本匹配模块还用于确定所述第一用户输入语句对应的当前对话轮次;
该文本匹配模块结合所述至少一个第二用户输入语句,从知识库中查找与所述第一用户输入语句匹配的至少一个标准文本包括:
结合所述至少一个第二用户输入语句以及所述当前对话轮次,从知识库中查找与所述第一用户输入语句匹配至少一个标准文本。
在某些实施例中,该文本匹配模块可以具体用于结合所述至少一个第二用户输入语句,从知识库中查找与所述第一用户输入语句匹配的多个标准文本;
该装置还可以包括:
第一推荐模块,用于基于所述多个标准文本,生成文本推荐内容;
将所述文本推荐内容发送至用户端,以供所述用户端输出所述文本推荐内容,以提示用户从所述至少一个标准文本中进行选择;
获取从所述至少一个标准文本中选择的第一标准文本;
将所述第一标准文本对应的应答内容发送至所述用户端,以供所述用户端输出所述第一标准文本对应的应答内容。
在某些实施例中,该文本匹配模块可以具体用于结合所述至少一个第二用户输入语句,从知识库中查找与所述第一用户输入语句匹配的一个第二标准文本;
该装置还可以包括:
第二推荐模块用于将所述第二标准文本对应的应答内容发送至所述用户端,以供所述用户端输出所述第二标准文本对应的应答内容。
在某些实施例中,所述第二语句确定模块可以具体用于获取上一轮对话中的第二用户输入语句。
在某些实施例中,该装置还可以包括:
第三推荐模块,用于如果不存在当前一轮对话的历史对话信息,向用户端发送预定回复内容,以供所述用户端输出所述预定回复内容。
在某些实施例中,该第一语句确定模块可以具体是如果所述知识库中不存在与所述第一用户输入语句匹配的至少一个标准文本,从当前一轮对话的历史对话信息中,确定至少一个第二用户输入语句。
图7所述的信息处理装置可以执行图1或图4所示实施例所述的信息处理方法,其实现原理和技术效果不再赘述。对于上述实施例中的信息处理装置其中各个模块、单元执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
在一个可能的设计中,图7所示实施例的信息处理装置可以实现为一计算设备,如图8所示,该计算设备可以包括存储组件801以及处理组件802;
所述存储组件801一条或多条计算机指令,其中,所述一条或多条计算机指令供所述处理组件调用执行。
所述处理组件802用于:
确定当前一轮对话中的第一用户输入语句;
从当前一轮对话的历史对话信息中,确定至少一个第二用户输入语句;
结合所述至少一个第二用户输入语句,从知识库中查找与所述第一用户输入语句匹配的至少一个标准文本。
其中,处理组件802可以包括一个或多个处理器来执行计算机指令,以完成上述的方法中的全部或部分步骤。当然处理组件也可以为一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现,用于执行上述方法。
存储组件801被配置为存储各种类型的数据以支持在计算设备的操作。存储组件可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(SRAM),电可擦除可编程只读存储器(EEPROM),可擦除可编程只读存储器(EPROM),可编程只读存储器(PROM),只读存储器(ROM),磁存储器,快闪存储器,磁盘或光盘。
当然,计算设备必然还可以包括其他部件,例如输入/输出接口、通信组件等。
本申请实施例还提供了一种计算机可读存储介质,存储有计算机程序,所述计算机程序被计算机执行时可以实现上述图1或图4所示实施例的信息处理方法。
图9为本申请实施例提供的一种信息处理装置又一个实施例的结构示意图,该装置可以包括:
样本确定模块901,用于确定第一训练语句、与所述第一训练语句具有关联关系的至少一个第二训练语句以及与所述第一训练语句对应的目标标准文本;
模型训练模块902,用于将所述第一训练语句与所述目标标准文本的匹配概率作为训练结果,基于所述第一训练语句、所述至少一个第二训练语句以及所述目标标准文本,训练文本识别模型。
其中,所述文本识别模块用于基于当前一轮对话中的第一用户输入语句、当前一轮对话的历史对话信息中至少一个第二用户输入语句,从知识库查找与所述第一用户输入语句匹配的至少一个标准文本。
在某些实施例中,所述模型训练模块具体用于:
计算所述第一训练语句、所述至少一个第二训练语句及所述目标标准文本两两之间的语义相似度;
基于所述第一训练语句、所述至少一个第二训练语句以及所述目标标准文本两两之间的语义相似度,生成模型输入训练特征;
将所述第一训练语句与所述目标标准文本的匹配概率作为训练结果,基于所述模型输入训练特征,训练文本识别模型。
在某些实施例中,所述模型训练模块还用于基于所述至少一个第二训练语句各自匹配的知识类型,生成意图训练特征;
所述模型训练模块基于所述第一训练语句、所述至少一个第二训练语句以及所述目标标准文本两两之间的语义相似度,生成模型输入训练特征包括:
将所述第一用户输入语句、所述至少一个第二用户输入语句以及所述知识库中任一标准文本两两之间的语义相似度,构成语义训练特征;
将所述语义训练特征以及所述意图训练特征进行拼接,获得模型输入训练特征。
在某些实施例中,所述模型训练模块,所述计算所述第一训练语句、所述至少一个第二训练语句及所述目标标准文本两两之间的语义相似度包括:
利用神经网络将所述第一训练语句、所述至少一个第二训练语句及所述目标标准文本进行语义编码,获得所述第一训练语句、所述至少一个第二训练语句及所述目标标准文本各自的文本特征;
基于所述第一训练语句、所述至少一个第二训练语句及所述目标标准文本各自的文本特征,计算所述第一训练语句、所述至少一个第二训练语句以及所述目标标准文本两两之间的第一语义相似度;
确定所述第一训练语句、所述至少一个第二训练语句及所述目标标准文本各自的词向量;
基于所述第一训练语句、所述至少一个第二训练语句及所述目标标准文本各自的词向量,计算所述第一训练语句、所述至少一个第二训练语句及所述目标标准文本各自的句子向量;
基于所述第一训练语句、所述至少一个第二训练语句及所述目标标准文本各自的句子向量,计算所述第一训练语句、所述至少一个第二训练语句以及所述目标标准文本两两之间的第二语义相似度;
所述模型训练模块基于所述第一训练语句、所述至少一个第二训练语句以及所述目标标准文本两两之间的语义相似度,生成模型输入训练特征包括:
基于所述第一训练语句、所述至少一个第二训练语句以及所述目标标准文本两两之间的第一语义相似度以及第二语义相似度,生成模型输入训练特征。
在某些实施例中,所述样本确定模块可以具体用于将历史对话记录中的任一个对话场景的一轮对话中的用户输入语句作为第一训练语句;
将所述第一训练语句对应历史对话信息中的至少一个户输入语句作为与所述第一训练语句具有关联关系的至少一个第二训练语句;
将所述历史对话记录中与所述第一训练语句匹配的一个标准文本作为目标标准文本。
在某些实施例中,所述样本确定模块将所述历史对话记录中与所述第一训练语句匹配的一个标准文本作为目标标准文本包括:
将所述历史对话记录中,针对所述第一训练语句的文本推荐内容中选择的一个标准文本作为目标标准文本。
在某些实施例中,所述样本确定模块将历史对话记录中一轮对话中的用户输入语句作为第一训练语句包括:
将历史对话记录中,对应文本推荐内容的用户输入语句作为第一训练语句。
在某些实施例中,所述模型训练模块具体用于:
将所述目标标准文本作为正样本;
将所述知识库中不包括所述目标标准文本的至少一个标准文本作为负样本;
分别将所述第一训练语句与所述正样本的匹配概率、以及将所述第一训练语句与所述负样本的匹配概率作为训练结果,基于所述第一训练语句、所述至少一个第二训练语句、所述正样本以及所述负样本,训练文本识别模型。
图9所述的信息处理装置可以执行图2或图3所示实施例所述的模型训练方法,其实现原理和技术效果不再赘述。对于上述实施例中的信息处理装置其中各个模块、单元执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
在一个可能的设计中,图9所示实施例的信息处理装置可以实现为一计算设备,如图10所示,该计算设备可以包括存储组件1001以及处理组件1002;
所述存储组件1001一条或多条计算机指令,其中,所述一条或多条计算机指令供所述处理组件调用执行。
所述处理组件1002用于:
确定第一训练语句、与所述第一训练语句具有关联关系的至少一个第二训练语句以及与所述第一训练语句对应的目标标准文本;
将所述第一训练语句与所述目标标准文本的匹配概率作为训练结果,基于所述第一训练语句、所述至少一个第二训练语句以及所述目标标准文本,训练文本识别模型。
其中,处理组件1002可以包括一个或多个处理器来执行计算机指令,以完成上述的方法中的全部或部分步骤。当然处理组件也可以为一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现,用于执行上述方法。
存储组件1001被配置为存储各种类型的数据以支持在计算设备的操作。存储组件可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(SRAM),电可擦除可编程只读存储器(EEPROM),可擦除可编程只读存储器(EPROM),可编程只读存储器(PROM),只读存储器(ROM),磁存储器,快闪存储器,磁盘或光盘。
当然,计算设备必然还可以包括其他部件,例如输入/输出接口、通信组件等。
本申请实施例还提供了一种计算机可读存储介质,存储有计算机程序,所述计算机程序被计算机执行时可以实现上述图2或图3所示实施例的模型训练方法。
图11为本申请实施例中提供的一种信息处理装置又一个实施例的结构示意图,该装置可以包括:
输入语句获取模块1101,用于获取当前一轮对话中的第一用户输入语句;
输入语句发送模块1102,用于发送所述第一用户输入语句至服务端,以供服务端结合当前一轮对话的历史对话信息中的至少一个第二用户输入语句,从知识库中查找与所述第一用户输入语句匹配的至少一个标准文本。
在某些实施例中,该装置还包括:
第一输出模块,用于接收所述服务端发送的文本推荐内容;其中,所述文本推荐内容为所述服务端基于与第一用户输入语句匹配的多个标准文本生成;
输出所述文本推荐内容;
响应于针对所述文本推荐内容的文本选择操作,确定从所述文本推荐内容中选择的第一标准文本;
发送所述第一标准文本的选择请求至服务端,以供所述服务端查找所述第一标准文本对应的应答内容;
接收服务端发送的所述第一标准文本对应的应答内容;
输出所述第一标准文本对应的应答内容。
在某些实施例中,该装置还可以包括:
第二输出模块,用于接收所述服务端发送的与所述第一用户输入语句匹配的第二标准文本对应的应答内容;
输出所述第二标准文本对应的应答内容。
图11所述的信息处理装置可以执行图5所示实施例所述的信息处理方法,其实现原理和技术效果不再赘述。对于上述实施例中的信息处理装置其中各个模块、单元执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
在一个可能的设计中,图11所示实施例的信息处理装置可以实现为一计算设备,如图12所示,该计算设备可以包括存储组件1201以及处理组件1202;
所述存储组件1201一条或多条计算机指令,其中,所述一条或多条计算机指令供所述处理组件调用执行。
所述处理组件1202用于:
获取当前一轮对话中的第一用户输入语句;
发送所述第一用户输入语句至服务端,以供服务端结合当前一轮对话的历史对话信息中的至少一个第二用户输入语句,从知识库中查找与所述第一用户输入语句匹配的至少一个标准文本。
其中,处理组件1202可以包括一个或多个处理器来执行计算机指令,以完成上述的方法中的全部或部分步骤。当然处理组件也可以为一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现,用于执行上述方法。
存储组件1201被配置为存储各种类型的数据以支持在终端的操作。存储组件可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(SRAM),电可擦除可编程只读存储器(EEPROM),可擦除可编程只读存储器(EPROM),可编程只读存储器(PROM),只读存储器(ROM),磁存储器,快闪存储器,磁盘或光盘。
当然,计算设备必然还可以包括其他部件,例如输入/输出接口、通信组件等。
本申请实施例还提供了一种计算机可读存储介质,存储有计算机程序,所述计算机程序被计算机执行时可以实现上述图5所示实施例的信息处理方法。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的***,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是:以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。
Claims (26)
1.一种信息处理方法,其特征在于,包括:
确定当前一轮对话中的第一用户输入语句;
从当前一轮对话的历史对话信息中,确定至少一个第二用户输入语句;
结合所述至少一个第二用户输入语句,从知识库中查找与所述第一用户输入语句匹配的至少一个标准文本;
所述结合所述至少一个第二用户输入语句,从知识库中查找与所述第一用户输入语句匹配的至少一个标准文本包括:
计算所述第一用户输入语句、所述至少一个第二用户输入语句及所述知识库中任一标准文本两两之间的语义相似度;
基于所述第一用户输入语句、所述至少一个第二用户输入语句以及所述知识库中任一标准文本两两之间的语义相似度,生成模型输入特征;
将所述模型输入特征输入文本识别模型,获得所述第一用户输入语句与所述任一标准文本的匹配概率;
根据所述第一用户输入语句与各个标准文本的匹配概率,确定与所述第一用户输入语句匹配的至少一个标准文本;
所述方法还包括:
基于所述第一用户输入语句的当前会话轮次,生成轮次特征;
基于所述至少一个第二用户输入语句各自匹配的知识类型,生成意图特征;
所述基于所述第一用户输入语句、所述至少一个第二用户输入语句以及所述知识库中任一标准文本两两之间的语义相似度,生成模型输入特征包括:
将所述第一用户输入语句、所述至少一个第二用户输入语句以及所述知识库中任一标准文本两两之间的语义相似度,构成语义特征;
将所述语义特征、所述轮次特征以及所述意图特征进行拼接,获得模型输入特征。
2.根据权利要求1所述的方法,其特征在于,所述计算所述第一用户输入语句、所述至少一个第二用户输入语句及所述知识库中任一标准文本两两之间的语义相似度包括:
利用神经网络将所述第一用户输入语句、所述至少一个第二用户输入语句及所述知识库中任一标准文本进行语义编码,获得所述第一用户输入语句、所述至少一个第二用户输入语句及所述任一标准文本各自的文本特征;
基于所述第一用户输入语句、所述至少一个第二用户输入语句及所述任一标准文本各自的文本特征,计算所述第一用户输入语句、所述至少一个第二用户输入语句以及所述知识库中任一标准文本两两之间的第一语义相似度;
确定所述第一用户输入语句、所述至少一个第二用户输入语句及所述任一标准文本各自的词向量;
基于所述第一用户输入语句、所述至少一个第二用户输入语句及所述任一标准文本各自的词向量,计算所述第一用户输入语句、所述至少一个第二用户输入语句及所述任一标准文本各自的句子向量;
基于所述第一用户输入语句、所述至少一个第二用户输入语句及所述任一标准文本各自的句子向量,计算所述第一用户输入语句、所述至少一个第二用户输入语句以及所述知识库中任一标准文本两两之间的第二语义相似度;
所述基于所述第一用户输入语句、所述至少一个第二用户输入语句以及所述知识库中任一标准文本两两之间的语义相似度,生成模型输入特征包括:
基于所述第一用户输入语句、所述至少一个第二用户输入语句以及所述知识库中任一标准文本两两之间的第一语义相似度以及第二语义相似度,生成模型输入特征。
3.根据权利要求1所述的方法,其特征在于,所述文本识别模型按照如下方式预先训练获得:
确定第一训练语句、与所述第一训练语句具有关联关系的至少一个第二训练语句以及与所述第一训练语句匹配的目标标准文本;
计算所述第一训练语句、所述至少一个第二训练语句以及所述目标标准文本两两之间的语义相似度;
基于所述第一训练语句、所述至少一个第二训练语句以及所述目标标准文本两两之间的语义相似度,生成模型输入训练特征;
利用所述模型输入训练特征,训练文本识别模型。
4.根据权利要求1所述的方法,其特征在于,还包括:
确定所述至少一个第二用户输入语句各自匹配的知识类型;
所述结合所述至少一个第二用户输入语句,从知识库中查找与所述第一用户输入语句匹配的至少一个标准文本包括:
结合所述至少一个第二用户输入语句以及所述知识类型,从知识库中查找与所述第一用户输入语句匹配的至少一个标准文本。
5.根据权利要求1所述的方法,其特征在于,还包括:
确定所述第一用户输入语句对应的当前对话轮次;
所述结合所述至少一个第二用户输入语句,从知识库中查找与所述第一用户输入语句匹配的至少一个标准文本包括:
结合所述至少一个第二用户输入语句以及所述当前对话轮次,从知识库中查找与所述第一用户输入语句匹配至少一个标准文本。
6.根据权利要求1所述的方法,其特征在于,所述结合所述至少一个第二用户输入语句,从知识库中查找与所述第一用户输入语句匹配的至少一个标准文本包括:
结合所述至少一个第二用户输入语句,从知识库中查找与所述第一用户输入语句匹配的多个标准文本;
所述方法还包括:
基于所述多个标准文本,生成文本推荐内容;
将所述文本推荐内容发送至用户端,以供所述用户端输出所述文本推荐内容,以提示用户从所述至少一个标准文本中进行选择;
获取从所述至少一个标准文本中选择的第一标准文本;
将所述第一标准文本对应的应答内容发送至所述用户端,以供所述用户端输出所述第一标准文本对应的应答内容。
7.根据权利要求1所述的方法,其特征在于,所述结合所述至少一个第二用户输入语句,从知识库中查找与所述第一用户输入语句匹配的至少一个标准文本包括:
结合所述至少一个第二用户输入语句,从知识库中查找与所述第一用户输入语句匹配的一个第二标准文本;
所述方法还包括:
将所述第二标准文本对应的应答内容发送至用户端,以供所述用户端输出所述第二标准文本对应的应答内容。
8.根据权利要求1所述的方法,其特征在于,从当前一轮对话的历史对话信息确定至少一个第二用户输入语句包括:
获取上一轮对话中的第二用户输入语句。
9.根据权利要求1所述的方法,其特征在于,还包括:
如果不存在当前一轮对话的历史对话信息,向用户端发送预定回复内容,以供所述用户端输出所述预定回复内容。
10.根据权利要求1所述的方法,其特征在于,所述从当前一轮对话的历史对话信息中,确定至少一个第二用户输入语句包括:
如果所述知识库中不存在与所述第一用户输入语句匹配的至少一个标准文本,从当前一轮对话的历史对话信息中,确定至少一个第二用户输入语句。
11.一种信息处理方法,其特征在于,包括:
获取当前一轮对话中的第一用户输入语句;
从当前一轮对话的历史对话信息中,确定至少一个第二用户输入语句;
发送所述第一用户输入语句至服务端,以供服务端计算所述第一用户输入语句、所述至少一个第二用户输入语句及知识库中任一标准文本两两之间的语义相似度,将所述第一用户输入语句、所述至少一个第二用户输入语句以及所述知识库中任一标准文本两两之间的语义相似度,构成语义特征;将所述语义特征、轮次特征以及意图特征进行拼接,获得模型输入特征,将所述模型输入特征输入文本识别模型,获得所述第一用户输入语句与所述任一标准文本的匹配概率,根据所述第一用户输入语句与各个标准文本的匹配概率,确定与所述第一用户输入语句匹配的至少一个标准文本,所述轮次特征基于所述第一用户输入语句的当前会话轮次生成,所述意图特征基于所述至少一个第二用户输入语句各自匹配的知识类型生成。
12.根据权利要求11所述的方法,其特征在于,还包括:
接收所述服务端发送的文本推荐内容;其中,所述文本推荐内容为所述服务端基于与第一用户输入语句匹配的多个标准文本生成;
输出所述文本推荐内容;
响应于针对所述文本推荐内容的文本选择操作,确定从所述文本推荐内容中选择的第一标准文本;
发送所述第一标准文本的选择请求至服务端,以供所述服务端查找所述第一标准文本对应的应答内容;
接收服务端发送的所述第一标准文本对应的应答内容;
输出所述第一标准文本对应的应答内容。
13.根据权利要求11所述的方法,其特征在于,还包括:
接收所述服务端发送的与所述第一用户输入语句匹配的第二标准文本对应的应答内容;
输出所述第二标准文本对应的应答内容。
14.一种模型训练方法,其特征在于,包括:
确定当前一轮对话中的第一训练语句;
从当前一轮对话的历史对话信息中,确定至少一个第二训练语句,所述第二训练语句与所述第一训练语句具有关联关系;
结合所述至少一个第二训练语句,从知识库中查找与所述第一训练语句对应的目标标准文本;
将所述第一训练语句与所述目标标准文本的匹配概率作为训练结果,基于所述第一训练语句、所述至少一个第二训练语句以及所述目标标准文本,训练文本识别模型;
所述将所述第一训练语句与所述目标标准文本的匹配概率作为训练结果,基于所述第一训练语句、所述至少一个第二训练语句以及目标标准文本,训练文本识别模型包括:
计算所述第一训练语句、所述至少一个第二训练语句及所述目标标准文本两两之间的语义相似度;
基于所述第一训练语句、所述至少一个第二训练语句以及所述目标标准文本两两之间的语义相似度,生成模型输入训练特征;
将所述第一训练语句与所述目标标准文本的匹配概率作为训练结果,基于所述模型输入训练特征,训练文本识别模型;
所述方法还包括:
基于所述第一训练语句的当前对话轮次,生成轮次特征;
基于所述至少一个第二训练语句各自匹配的知识类型,生成意图训练特征;
所述基于所述第一训练语句、所述至少一个第二训练语句以及所述目标标准文本两两之间的语义相似度,生成模型输入训练特征包括:
将所述第一训练语句、所述至少一个第二训练语句以及所述知识库中任一标准文本两两之间的语义相似度,构成语义训练特征;
将所述语义训练特征、所述轮次特征以及所述意图训练特征进行拼接,获得模型输入训练特征。
15.根据权利要求14所述的方法,其特征在于,所述文本识别模块用于基于当前一轮对话中的第一用户输入语句、当前一轮对话的历史对话信息中至少一个第二用户输入语句,从知识库查找与所述第一用户输入语句匹配的至少一个标准文本。
16.根据权利要求14所述的方法,其特征在于,所述计算所述第一训练语句、所述至少一个第二训练语句及所述目标标准文本两两之间的语义相似度包括:
利用神经网络将所述第一训练语句、所述至少一个第二训练语句及所述目标标准文本进行语义编码,获得所述第一训练语句、所述至少一个第二训练语句及所述目标标准文本各自的文本特征;
基于所述第一训练语句、所述至少一个第二训练语句及所述目标标准文本各自的文本特征,计算所述第一训练语句、所述至少一个第二训练语句以及所述目标标准文本两两之间的第一语义相似度;
确定所述第一训练语句、所述至少一个第二训练语句及所述目标标准文本各自的词向量;
基于所述第一训练语句、所述至少一个第二训练语句及所述目标标准文本各自的词向量,计算所述第一训练语句、所述至少一个第二训练语句及所述目标标准文本各自的句子向量;
基于所述第一训练语句、所述至少一个第二训练语句及所述目标标准文本各自的句子向量,计算所述第一训练语句、所述至少一个第二训练语句以及所述目标标准文本两两之间的第二语义相似度;
所述基于所述第一训练语句、所述至少一个第二训练语句以及所述目标标准文本两两之间的语义相似度,生成模型输入训练特征包括:
基于所述第一训练语句、所述至少一个第二训练语句以及所述目标标准文本两两之间的第一语义相似度以及第二语义相似度,生成模型输入训练特征。
17.根据权利要求14所述的方法,其特征在于,所述方法还包括:
将历史对话记录中的任一个对话场景的一轮对话中的用户输入语句作为第一训练语句;
将所述第一训练语句对应历史对话信息中的至少一个户输入语句作为与所述第一训练语句具有关联关系的至少一个第二训练语句;
将所述历史对话记录中与所述第一训练语句匹配的一个标准文本作为目标标准文本。
18.根据权利要求17所述的方法,其特征在于,所述将所述历史对话记录中与所述第一训练语句匹配的一个标准文本作为目标标准文本包括:
将所述历史对话记录中,针对所述第一训练语句的文本推荐内容中选择的一个标准文本作为目标标准文本。
19.根据权利要求17所述的方法,其特征在于,所述将历史对话记录中一轮对话中的用户输入语句作为第一训练语句包括:
将历史对话记录中,对应文本推荐内容的用户输入语句作为第一训练语句。
20.根据权利要求14所述的方法,其特征在于,所述将所述第一训练语句与所述目标标准文本的匹配概率作为训练结果,基于所述第一训练语句、所述至少一个第二训练语句以及所述目标标准文本,训练文本识别模型包括:
将所述目标标准文本作为正样本;
将所述知识库中不包括所述目标标准文本的至少一个标准文本作为负样本;
分别将所述第一训练语句与所述正样本的匹配概率、以及将所述第一训练语句与所述负样本的匹配概率作为训练结果,基于所述第一训练语句、所述至少一个第二训练语句、所述正样本以及所述负样本,训练文本识别模型。
21.一种信息处理装置,其特征在于,包括:
第一语句确定模块,用于确定当前一轮对话中的第一用户输入语句;
第二语句确定模块,用于从当前一轮对话的历史对话信息中,确定至少一个第二用户输入语句;
文本匹配模块,用于结合所述至少一个第二用户输入语句,从知识库中查找与所述第一用户输入语句匹配的至少一个标准文本;
所述文本匹配模块,具体用于计算所述第一用户输入语句、所述至少一个第二用户输入语句及所述知识库中任一标准文本两两之间的语义相似度;基于所述第一用户输入语句、所述至少一个第二用户输入语句以及所述知识库中任一标准文本两两之间的语义相似度,生成模型输入特征;将所述模型输入特征输入文本识别模型,获得所述第一用户输入语句与所述任一标准文本的匹配概率;根据所述第一用户输入语句与各个标准文本的匹配概率,确定与所述第一用户输入语句匹配的至少一个标准文本;
所述文本匹配模块,还用于基于所述第一用户输入语句的当前会话轮次,生成轮次特征;基于所述至少一个第二用户输入语句各自匹配的知识类型,生成意图特征;
所述文本匹配模块基于所述第一用户输入语句、所述至少一个第二用户输入语句以及所述知识库中任一标准文本两两之间的语义相似度,生成模型输入特征包括:
将所述第一用户输入语句、所述至少一个第二用户输入语句以及所述知识库中任一标准文本两两之间的语义相似度,构成语义特征;将所述语义特征、所述轮次特征以及所述意图特征进行拼接,获得模型输入特征。
22.一种信息处理装置,其特征在于,包括:
输入语句获取模块,用于获取当前一轮对话中的第一用户输入语句以及从当前一轮对话的历史对话信息中,确定至少一个第二用户输入语句;
输入语句发送模块,用于发送所述第一用户输入语句至服务端,以供服务端计算所述第一用户输入语句、所述至少一个第二用户输入语句及知识库中任一标准文本两两之间的语义相似度,将所述第一用户输入语句、所述至少一个第二用户输入语句以及所述知识库中任一标准文本两两之间的语义相似度,构成语义特征;将所述语义特征、轮次特征以及意图特征进行拼接,获得模型输入特征,将所述模型输入特征输入文本识别模型,获得所述第一用户输入语句与所述任一标准文本的匹配概率,根据所述第一用户输入语句与各个标准文本的匹配概率,确定与所述第一用户输入语句匹配的至少一个标准文本,所述轮次特征基于所述第一用户输入语句的当前会话轮次生成,所述意图特征基于所述至少一个第二用户输入语句各自匹配的知识类型生成。
23.一种模型训练装置,其特征在于,包括:
样本确定模块,用于确定当前一轮对话中的第一训练语句;从当前一轮对话的历史对话信息中,确定至少一个第二训练语句,所述第二训练语句与所述第一训练语句具有关联关系;结合所述至少一个第二训练语句,从知识库中查找与所述第一训练语句对应的目标标准文本;
模型训练模块,用于将所述第一训练语句与所述目标标准文本的匹配概率作为训练结果,基于所述第一训练语句、所述至少一个第二训练语句以及所述目标标准文本,训练文本识别模型;
所述模型训练模块,具体用于计算所述第一训练语句、所述至少一个第二训练语句及所述目标标准文本两两之间的语义相似度;基于所述第一训练语句、所述至少一个第二训练语句以及所述目标标准文本两两之间的语义相似度,生成模型输入训练特征;将所述第一训练语句与所述目标标准文本的匹配概率作为训练结果,基于所述模型输入训练特征,训练文本识别模型;
所述模型训练模块,还用于基于所述第一训练语句的当前对话轮次,生成轮次特征,以及基于所述至少一个第二训练语句各自匹配的知识类型,生成意图训练特征;所述模型训练模块基于所述第一训练语句、所述至少一个第二训练语句以及所述目标标准文本两两之间的语义相似度,生成模型输入训练特征包括:
将所述第一训练语句、所述至少一个第二训练语句以及所述知识库中任一标准文本两两之间的语义相似度,构成语义训练特征;将所述语义训练特征、所述轮次特征以及所述意图训练特征进行拼接,获得模型输入训练特征。
24.一种计算设备,其特征在于,包括处理组件以及存储组件;
所述存储组件存储一个或多个计算机指令;所述一个或多个计算机指令用以被所述处理组件调用执行;
所述处理组件用于:
确定当前一轮对话中的第一用户输入语句;
从当前一轮对话的历史对话信息中,确定至少一个第二用户输入语句;
结合所述至少一个第二用户输入语句,从知识库中查找与所述第一用户输入语句匹配的至少一个标准文本;
所述结合所述至少一个第二用户输入语句,从知识库中查找与所述第一用户输入语句匹配的至少一个标准文本包括:
计算所述第一用户输入语句、所述至少一个第二用户输入语句及所述知识库中任一标准文本两两之间的语义相似度;
基于所述第一用户输入语句、所述至少一个第二用户输入语句以及所述知识库中任一标准文本两两之间的语义相似度,生成模型输入特征;
将所述模型输入特征输入文本识别模型,获得所述第一用户输入语句与所述任一标准文本的匹配概率;
根据所述第一用户输入语句与各个标准文本的匹配概率,确定与所述第一用户输入语句匹配的至少一个标准文本;
所述处理组件还用于:
基于所述第一用户输入语句的当前会话轮次,生成轮次特征;
基于所述至少一个第二用户输入语句各自匹配的知识类型,生成意图特征;
所述基于所述第一用户输入语句、所述至少一个第二用户输入语句以及所述知识库中任一标准文本两两之间的语义相似度,生成模型输入特征包括:
将所述第一用户输入语句、所述至少一个第二用户输入语句以及所述知识库中任一标准文本两两之间的语义相似度,构成语义特征;
将所述语义特征、所述轮次特征以及所述意图特征进行拼接,获得模型输入特征。
25.一种终端,其特征在于,包括处理组件以及存储组件;
所述存储组件存储一个或多个计算机指令;所述一个或多个计算机指令用以被所述处理组件调用执行;
所述处理组件用于:
获取当前一轮对话中的第一用户输入语句;
从当前一轮对话的历史对话信息中,确定至少一个第二用户输入语句;
发送所述第一用户输入语句至服务端,以供服务端计算所述第一用户输入语句、所述至少一个第二用户输入语句及知识库中任一标准文本两两之间的语义相似度,将所述第一用户输入语句、所述至少一个第二用户输入语句以及所述知识库中任一标准文本两两之间的语义相似度,构成语义特征;将所述语义特征、轮次特征以及意图特征进行拼接,获得模型输入特征,将所述模型输入特征输入文本识别模型,获得所述第一用户输入语句与所述任一标准文本的匹配概率,根据所述第一用户输入语句与各个标准文本的匹配概率,确定与所述第一用户输入语句匹配的至少一个标准文本,所述轮次特征基于所述第一用户输入语句的当前会话轮次生成,所述意图特征基于所述至少一个第二用户输入语句各自匹配的知识类型生成。
26.一种计算设备,其特征在于,包括处理组件以及存储组件;
所述存储组件存储一个或多个计算机指令;所述一个或多个计算机指令用以被所述处理组件调用执行;
所述处理组件用于:
确定当前一轮对话中的第一训练语句;
从当前一轮对话的历史对话信息中,确定至少一个第二训练语句,所述第二训练语句与所述第一训练语句具有关联关系;
结合所述至少一个第二训练语句,从知识库中查找与所述第一训练语句对应的目标标准文本;
将所述第一训练语句与所述目标标准文本的匹配概率作为训练结果,基于所述第一训练语句、所述至少一个第二训练语句以及所述目标标准文本,训练文本识别模型;
所述将所述第一训练语句与所述目标标准文本的匹配概率作为训练结果,基于所述第一训练语句、所述至少一个第二训练语句以及目标标准文本,训练文本识别模型包括:
计算所述第一训练语句、所述至少一个第二训练语句及所述目标标准文本两两之间的语义相似度;
基于所述第一训练语句、所述至少一个第二训练语句以及所述目标标准文本两两之间的语义相似度,生成模型输入训练特征;
将所述第一训练语句与所述目标标准文本的匹配概率作为训练结果,基于所述模型输入训练特征,训练文本识别模型;
所述处理组件还用于:
基于所述第一训练语句的当前对话轮次,生成轮次特征;
基于所述至少一个第二训练语句各自匹配的知识类型,生成意图训练特征;
所述基于所述第一训练语句、所述至少一个第二训练语句以及所述目标标准文本两两之间的语义相似度,生成模型输入训练特征包括:
将所述第一训练语句、所述至少一个第二训练语句以及所述知识库中任一标准文本两两之间的语义相似度,构成语义训练特征;
将所述语义训练特征、所述轮次特征以及所述意图训练特征进行拼接,获得模型输入训练特征。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811014895.9A CN110874401B (zh) | 2018-08-31 | 2018-08-31 | 信息处理方法、模型训练方法、装置、终端及计算设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811014895.9A CN110874401B (zh) | 2018-08-31 | 2018-08-31 | 信息处理方法、模型训练方法、装置、终端及计算设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110874401A CN110874401A (zh) | 2020-03-10 |
CN110874401B true CN110874401B (zh) | 2023-12-15 |
Family
ID=69715415
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811014895.9A Active CN110874401B (zh) | 2018-08-31 | 2018-08-31 | 信息处理方法、模型训练方法、装置、终端及计算设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110874401B (zh) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113761136B (zh) * | 2020-06-02 | 2024-07-19 | 阿里巴巴集团控股有限公司 | 对话处理、信息处理、模型训练方法、设备及存储介质 |
CN112328754A (zh) * | 2020-08-19 | 2021-02-05 | 北京京东尚科信息技术有限公司 | 应答处理方法、装置、计算机***和存储介质 |
CN112988963B (zh) * | 2021-02-19 | 2024-05-10 | 平安科技(深圳)有限公司 | 基于多流程节点的用户意图预测方法、装置、设备及介质 |
CN113360622B (zh) * | 2021-06-22 | 2023-10-24 | 中国平安财产保险股份有限公司 | 用户对话信息的处理方法、装置及计算机设备 |
CN113609266B (zh) * | 2021-07-09 | 2024-07-16 | 阿里巴巴创新公司 | 资源处理方法以及装置 |
CN114416941B (zh) * | 2021-12-28 | 2023-09-05 | 北京百度网讯科技有限公司 | 融合知识图谱的对话知识点确定模型的生成方法及装置 |
CN117972057A (zh) * | 2023-08-22 | 2024-05-03 | 浙江口碑网络技术有限公司 | 对话内容处理方法、设备、存储介质及产品 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2010045375A1 (en) * | 2008-10-14 | 2010-04-22 | Honda Motor Co., Ltd. | Improving dialog coherence using semantic features |
CN106934068A (zh) * | 2017-04-10 | 2017-07-07 | 江苏东方金钰智能机器人有限公司 | 机器人基于环境上下文的语义理解的方法 |
CN108121799A (zh) * | 2017-12-21 | 2018-06-05 | 广东欧珀移动通信有限公司 | 回复语句的推荐方法、装置、存储介质及移动终端 |
CN108170749A (zh) * | 2017-12-21 | 2018-06-15 | 北京百度网讯科技有限公司 | 基于人工智能的对话方法、装置及计算机可读介质 |
CN108320738A (zh) * | 2017-12-18 | 2018-07-24 | 上海科大讯飞信息科技有限公司 | 语音数据处理方法及装置、存储介质、电子设备 |
WO2018133761A1 (zh) * | 2017-01-17 | 2018-07-26 | 华为技术有限公司 | 一种人机对话的方法和装置 |
CN108388638A (zh) * | 2018-02-26 | 2018-08-10 | 出门问问信息科技有限公司 | 语义解析方法、装置、设备及存储介质 |
-
2018
- 2018-08-31 CN CN201811014895.9A patent/CN110874401B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2010045375A1 (en) * | 2008-10-14 | 2010-04-22 | Honda Motor Co., Ltd. | Improving dialog coherence using semantic features |
WO2018133761A1 (zh) * | 2017-01-17 | 2018-07-26 | 华为技术有限公司 | 一种人机对话的方法和装置 |
CN106934068A (zh) * | 2017-04-10 | 2017-07-07 | 江苏东方金钰智能机器人有限公司 | 机器人基于环境上下文的语义理解的方法 |
CN108320738A (zh) * | 2017-12-18 | 2018-07-24 | 上海科大讯飞信息科技有限公司 | 语音数据处理方法及装置、存储介质、电子设备 |
CN108121799A (zh) * | 2017-12-21 | 2018-06-05 | 广东欧珀移动通信有限公司 | 回复语句的推荐方法、装置、存储介质及移动终端 |
CN108170749A (zh) * | 2017-12-21 | 2018-06-15 | 北京百度网讯科技有限公司 | 基于人工智能的对话方法、装置及计算机可读介质 |
CN108388638A (zh) * | 2018-02-26 | 2018-08-10 | 出门问问信息科技有限公司 | 语义解析方法、装置、设备及存储介质 |
Non-Patent Citations (1)
Title |
---|
一种基于记忆网络的多轮对话下的意图识别方法;杨成彪;吕荣荣;吴刚;;电子技术与软件工程(第10期);210-211 * |
Also Published As
Publication number | Publication date |
---|---|
CN110874401A (zh) | 2020-03-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110874401B (zh) | 信息处理方法、模型训练方法、装置、终端及计算设备 | |
US20200301954A1 (en) | Reply information obtaining method and apparatus | |
CN109616108B (zh) | 多轮对话交互处理方法、装置、电子设备及存储介质 | |
CN110543552B (zh) | 对话交互方法、装置及电子设备 | |
CN108509463B (zh) | 一种问题的应答方法及装置 | |
CN112100354B (zh) | 人机对话方法、装置、设备及存储介质 | |
CN112365894B (zh) | 基于ai的复合语音交互方法、装置及计算机设备 | |
KR102133825B1 (ko) | 단어자질을 강화한 음성 대화 방법 및 시스템 | |
CN107168546B (zh) | 输入提示方法及装置 | |
JP6677419B2 (ja) | 音声対話方法及び装置 | |
CN110472136B (zh) | 查询结果的推送方法、装置、存储介质和计算机设备 | |
CN111078856B (zh) | 一种群聊对话处理方法、装置及电子设备 | |
CN111597313B (zh) | 问答方法、装置、计算机设备和存储介质 | |
CN108959388B (zh) | 信息生成方法及装置 | |
CN110717027B (zh) | 多轮智能问答方法、***以及控制器和介质 | |
CN112487810A (zh) | 一种智能客服服务方法、装置、设备及存储介质 | |
CN111291172A (zh) | 用于处理文本的方法和装置 | |
CN113064980A (zh) | 一种智能问答方法、装置、计算机设备及存储介质 | |
CN109635079A (zh) | 一种用户意图的确定方法、装置、计算机设备和存储介质 | |
CN111400340B (zh) | 一种自然语言处理方法、装置、计算机设备和存储介质 | |
CN117332112A (zh) | 多模态检索模型训练以及多模态检索方法、电子设备及存储介质 | |
CN110517672B (zh) | 用户意图识别方法、用户指令执行方法、***及设备 | |
CN113850383A (zh) | 文本匹配模型训练方法、装置、电子设备及存储介质 | |
CN115481222A (zh) | 语义向量提取模型的训练及语义向量表示方法、装置 | |
CN114970559B (zh) | 智能应答方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |