CN111159377B - 属性召回模型训练方法、装置、电子设备以及存储介质 - Google Patents

属性召回模型训练方法、装置、电子设备以及存储介质 Download PDF

Info

Publication number
CN111159377B
CN111159377B CN201911395747.0A CN201911395747A CN111159377B CN 111159377 B CN111159377 B CN 111159377B CN 201911395747 A CN201911395747 A CN 201911395747A CN 111159377 B CN111159377 B CN 111159377B
Authority
CN
China
Prior art keywords
vector
attribute
text
text sentence
recall model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911395747.0A
Other languages
English (en)
Other versions
CN111159377A (zh
Inventor
辛雯
马工利
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Zhuiyi Technology Co Ltd
Original Assignee
Shenzhen Zhuiyi Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Zhuiyi Technology Co Ltd filed Critical Shenzhen Zhuiyi Technology Co Ltd
Priority to CN201911395747.0A priority Critical patent/CN111159377B/zh
Publication of CN111159377A publication Critical patent/CN111159377A/zh
Application granted granted Critical
Publication of CN111159377B publication Critical patent/CN111159377B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33Querying
    • G06F16/332Query formulation
    • G06F16/3329Natural language query formulation or dialogue systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Machine Translation (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请实施例公开一种属性召回模型训练方法、装置、电子设备及存储介质。本方法通过获取训练样本数据;再将文本语句中的名词实体替换为表征名词实体的实体类别的替换符,并在文本语句的首端添加预设数量的指定替换符,得到文本替换后训练样本数据;再对替换后训练样本数据进行向量化处理,然后将得到的第一向量以及第二向量输入到预设召回模型中,计算得到损失参数,并基于损失参数调整预设召回模型的参数,得到属性召回模型。通过用文本语句中表征名词实体的实体类别的替换符替换名词实体的方式,引入了实体类别的语义特征,再在文本语句的首端添加指定替换符,强调了文本语句的语义属性,使得训练得到的召回模型更加准确的召回文本语句的属性。

Description

属性召回模型训练方法、装置、电子设备以及存储介质
技术领域
本申请涉及人工智能技术领域,更具体地,涉及一种属性召回模型训练方法、装置、电子设备以及存储介质。
背景技术
问答*** (Question Answering System,QA System)是信息检索***的下一代范式,它能够理解人类的自然语言并能够通过准确、简洁的自然语言回答用户的问题,是人工智能重要的应用方向。基于知识图谱(Knowledge Graph,KG)的问答***因其满足了问答***对高质量知识来源的需求,能够有效利用到人类总结的知识,实现更深层次的问题理解以及高准确率的问题反馈,有着广泛的应用场景,受到各大公司和研究机构的重视。在基于知识图谱的问答领域中,正确的理解文本语句中的语义至关重要,其中最重要的两个环节为提取文本语句中的关键信息以及关键信息之间的关系,除去已经被正确识别了的实体以及实体之间的关系,这些实体之间可能还有不同的隐含关系及隐含属性。然而,现有的问答模型由于过于庞大导致运算速度慢,并不能准确的识别这些实体之间的隐含关系以及隐含属性,且难以直接运用到工程项目上进行召回隐含属性打分。
发明内容
鉴于上述问题,本申请提出了一种属性召回模型训练方法、装置、电子设备以及存储介质,以改善上述问题。
第一方面,本申请实施例提供了一种属性召回模型训练方法,所述方法包括:获取训练样本数据,所述训练样本数据包括文本语句、所述文本语句的属性以及所述属性与所述文本语句之间的关联参数;将所述文本语句中的名词实体替换为表征所述名词实体的实体类别的替换符,并在所述文本语句的首端添加预设数量的指定替换符,得到文本替换后训练样本数据;对所述替换后训练样本数据进行向量化处理,得到待处理向量,所述待处理向量包括与所述文本语句对应的第一向量以及与所述属性对应的第二向量;将所述第一向量以及所述第二向量输入到预设召回模型中,以用于触发所述预设召回模型基于所述第一向量以及所述第二向量,计算得到损失参数,并基于所述损失参数调整所述预设召回模型的参数,得到属性召回模型,所述属性召回模型用于召回文本语句的属性。
进一步的,所述获取训练样本数据,包括:获取文本语句数据集,所述文本语句数据集包括多个文本语句;获取与所述多个文本语句对应的属性;获取所述多个文本语句与所述对应的属性之间的关联参数,所述关联参数用于区分所述属性是否为与对应的文本语句匹配的属性;将所述文本语句、所述对应的属性以及对应的所述关联参数以三元组的形式进行关联存储,得到训练样本数据。
进一步的,所述方法还包括:获取所述文本语句数据集所包括的名词实体;获取所述名词实体的所属实体类别。
进一步的,所述对所述训练样本数据进行向量化处理,得到待处理向量,包括:通过预先构建的数字字典对所述文本语句数据集进行映射处理;将映射处理的结果向量作为待处理向量,所述数字字典中存储有预先定义的字和数字、以及字符和数字的对应关系。
进一步的,所述通过预先构建的数字字典对所述文本语句数据集进行映射处理之前,还包括:获取每一文本语句的所述替换符的出现次数;按照所述替换符的排列顺序依次替换与所述出现次数的数量对应的所述指定替换符。
进一步的,所述通过预先构建的数字字典对所述文本语句数据集进行映射处理,包括:查找所述数字字典中与所述替换符以及所述指定替换符所表征的字符对应的数字,并将所述替换符以及所述指定替换符替换成对应的数字;以及查找所述数字字典中与所述文本语句数据集的字对应的数字,并将所述字替换成对应的数字,其中,若所述数字字典中不存在与所述文本语句数据集中的字对应的数字,将所述字替换成特定数字,得到待处理向量。
进一步的,所述预设召回模型包括嵌入层、丢失层、第一双向长短期记忆层以及第二双向长短期记忆层,所述将所述第一向量以及所述第二向量输入到预设召回模型中,以用于触发所述预设召回模型基于所述第一向量以及所述第二向量,计算得到损失参数,包括:将所述第一向量以及所述第二向量输入所述嵌入层,将所述嵌入层的输出输入到所述丢失层,得到第一待处理向量以及第二待处理向量;再将所述第一待处理向量输入到所述第一双向长短期记忆层,将所述第二待处理向量输入到所述第二双向长短期记忆层,输出得到对应的第一目标向量以及第二目标向量;利用余弦相似度算法计算所述第一目标向量所表征的特征与所述第二目标向量所表征的特征之间的相似度;基于所述相似度以及所述关联参数计算得到损失参数。
进一步的,所述第一双向长短期记忆层包括两层双向长短期记忆层,所述第二双向长短期记忆层包括一层双向长短期记忆层。
进一步的,并基于所述损失参数调整所述预设召回模型的参数,得到属性召回模型,包括:基于调整后的模型参数和所述损失参数继续进行调整所述预设召回模型的参数的过程,直至调整次数达到预设次数;将所述调整次数达到预设次数时所得到的模型参数对应的模型作为所述属性召回模型。
进一步的,所述获取训练样本数据时,还包括:获取测试样本数据,所述测试样本数据包括第二文本语句以及所述第二文本语句的属性。
进一步的,所述方法还包括:获取所述属性召回模型对所述第二文本语句的属性的打分排名列表;获取基于所述打分排名列表确定的所述第二文本语句的属性精度参数;判断所述属性精度参数是否满足预设阈值;若是,判定所述属性召回模型符合训练标准;若否,判定所述属性召回模型不符合训练标准。
第二方面,本申请实施例提供了一种属性召回模型训练装置,所述装置包括:获取模块,用于获取训练样本数据,所述训练样本数据包括文本语句、所述文本语句的属性以及所述属性与所述文本语句之间的关联参数;第一处理模块,用于将所述文本语句中的名词实体替换为表征所述名词实体的实体类别的替换符,并在所述文本语句的首端添加预设数量的指定替换符,得到文本替换后训练样本数据,所述替换符存储在预先构建的字符字典中,所述字符字典中存储有实体类别与替换符的对应关系;第二处理模块,用于对所述替换后训练样本数据进行向量化处理,得到待处理向量,所述待处理向量包括与所述文本语句对应的第一向量以及与所述属性对应的第二向量;第三处理模块,用于将所述第一向量以及所述第二向量输入到预设召回模型中,以用于触发所述预设召回模型基于所述第一向量以及所述第二向量,计算得到损失参数,并基于所述损失参数调整所述预设召回模型的参数,得到属性召回模型,所述属性召回模型用于召回文本语句的属性。
进一步的,所述获取模块具体可以用于获取文本语句数据集,所述文本语句数据集包括多个文本语句;获取与所述多个文本语句对应的属性;获取所述多个文本语句与所述对应的属性之间的关联参数,所述关联参数用于区分所述属性是否为与对应的文本语句匹配的属性;将所述文本语句、所述对应的属性以及对应的所述关联参数以三元组的形式进行关联存储,得到训练样本数据。
进一步的,所述获取模块可以包括第一获取单元以及第二获取单元,第一获取单元用于获取所述文本语句数据集所包括的名词实体,第二获取单元用于获取所述名词实体的所属实体类别。
进一步的,所述第二处理模块具体可以用于通过预先构建的数字字典对所述文本语句数据集进行映射处理;将映射处理的结果向量作为待处理向量,所述数字字典中存储有预先定义的字和数字、以及字符和数字的对应关系。
进一步的,所述装置还可以包括第三获取单元以及替换单元,第三获取单元用于在通过预先构建的数字字典对所述文本语句数据集进行映射处理之前,获取每一文本语句的所述替换符的出现次数;进一步的,替换单元用于按照所述替换符的排列顺序依次替换与所述出现次数的数量对应的所述指定替换符。
进一步的,所述第二处理模块可以用于查找所述数字字典中与所述替换符以及所述指定替换符所表征的字符对应的数字,并将所述替换符以及所述指定替换符替换成对应的数字;以及查找所述数字字典中与所述文本语句数据集的字对应的数字,并将所述字替换成对应的数字,其中,若所述数字字典中不存在与所述文本语句数据集中的字对应的数字,将所述字替换成特定数字,得到待处理向量。
进一步的,所述预设召回模型包括嵌入层、丢失层、第一双向长短期记忆层以及第二双向长短期记忆层,所述第三处理模块具体可以用于将所述第一向量以及所述第二向量输入所述嵌入层,将所述嵌入层的输出输入到所述丢失层,得到第一待处理向量以及第二待处理向量;再将所述第一待处理向量输入到所述第一双向长短期记忆层,将所述第二待处理向量输入到所述第二双向长短期记忆层,输出得到对应的第一目标向量以及第二目标向量;利用余弦相似度算法计算所述第一目标向量所表征的特征与所述第二目标向量所表征的特征之间的相似度;基于所述相似度以及所述关联参数计算得到损失参数。
进一步的,所述第一双向长短期记忆层包括两层双向长短期记忆层,所述第二双向长短期记忆层包括一层双向长短期记忆层。
进一步的,第三处理模块可以用于基于调整后的模型参数和所述损失参数继续进行调整所述预设召回模型的参数的过程,直至调整次数达到预设次数;将所述调整次数达到预设次数时所得到的模型参数对应的模型作为所述属性召回模型。
进一步的,所述获取模块可以用于获取训练样本数据时,获取测试样本数据,所述测试样本数据包括第二文本语句以及所述第二文本语句的属性。
进一步的,所述装置还可以包括排名列表获取模块,用于获取所述属性召回模型对所述第二文本语句的属性的打分排名列表,属性精度参数获取模块,用于获取基于所述打分排名列表确定的所述第二文本语句的属性精度参数,判断模块,用于判断所述属性精度参数是否满足预设阈值;若是,判定所述属性召回模型符合训练标准;若否,判定所述属性召回模型不符合训练标准。
第三方面,本申请实施例提供了一种电子设备,包括一个或多个处理器以及存储器;一个或多个程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行,所述一个或多个程序配置用于执行上述第一方面所述的方法。
第四方面,本申请实施例提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有程序代码,其中,在所述程序代码运行时执行上述第一方面所述的方法。
本申请提供的一种属性召回模型训练方法、装置、电子设备及存储介质,涉及人工智能技术领域。本方法通过获取训练样本数据,训练样本数据包括文本语句、文本语句的属性以及属性与文本语句之间的关联参数;继而将文本语句中的名词实体替换为表征名词实体的实体类别的替换符,并在文本语句的首端添加预设数量的指定替换符,得到文本替换后训练样本数据;再对替换后训练样本数据进行向量化处理,得到待处理向量,待处理向量包括与文本语句对应的第一向量以及与属性对应的第二向量;然后将第一向量以及第二向量输入到预设召回模型中,以用于触发预设召回模型基于第一向量以及第二向量,计算得到损失参数,并基于损失参数调整预设召回模型的参数,得到属性召回模型,属性召回模型用于召回文本语句的属性。本方法通过用文本语句中表征名词实体的实体类别的替换符替换名词实体的方式,引入了实体类别的语义特征,再在文本语句的首端添加指定替换符,强调了文本语句的语义属性,使得训练得到的召回模型可以更加准确的召回文本语句的属性。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1示出了本申请一实施例提出的属性召回模型训练方法的方法流程图。
图2示出了本申请另一实施例提出的属性召回模型训练方法的方法流程图。
图3示出了本申请又一实施例提出的属性召回模型训练方法的方法流程图。
图4示出了本申请再一实施例提出的属性召回模型训练方法的方法流程图。
图5示出了本申请再一实施例提出的属性召回模型训练方法的方法流程图。
图6示出了本申请实施例提出的预设召回模型的模型结构框图。
图7示出了本申请再一实施例提出的属性召回模型训练方法的方法流程图。
图8示出了本申请再一实施例提出的属性召回模型训练方法的方法流程图。
图9示出了本申请实施例提供的测试属性召回模型召回文本语句的属性的一示例图。
图10示出了本申请实施例提出的属性召回模型训练装置的结构框图。
图11示出了本申请的用于执行根据本申请实施例的属性召回模型训练方法的电子设备的结构框图。
图12是本申请实施例的用于保存或者携带实现根据本申请实施例的属性召回模型训练方法的程序代码的存储单元。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
随着人工智能技术的快速发展,让人机之间能够通过自然语言进行交互的自然语言人机交互***变得越来越重要。人机之间能够通过自然语言进行交互,需要***能够识别出人类自然语言的具体含义。但是自然语言人机交互***学习到的只是语言本身的含义,对于人类自然语言的理解不够准确。
作为一种方式,可以采用基于知识图谱的问答***使***理解用户的自然语言,例如,可以通过提取文本语句中的关键信息以及关键信息之间的关系理解自然语言。然而,自然语言除了已经被正确识别了的实体以及实体之间的关系,这些实体之间可能还有不同的隐含关系及隐含属性,然而现有的识别技术无法准确快速的识别出这些隐含关系及隐含属性,因而难以直接运用到工程项目上对模型召回隐含属性的能力进行打分。
因此,发明人提出了本申请中用于改善上述问题的属性召回模型训练方法、装置、电子设备以及存储介质。
下面将结合附图具体描述本申请的各实施例。
第一实施例
请参阅图1,本申请一实施例提供了一种属性召回模型训练方法,可应用于电子设备,所述方法包括:
步骤S110:获取训练样本数据,所述训练样本数据包括文本语句、所述文本语句的属性以及所述属性与所述文本语句之间的关联参数。
其中,文本语句可以包括不同语气类型的语句,例如,文本语句可以包括疑问句、反问句、陈述句、感叹句等。可选的,文本语句可以是某一种语气类型的语句,也可以是某几种语气类型组合的语句。文本语句具有属性,该属性为整条文本语句的属性,同一文本语句可以包括一个或者多个属性,不同的文本语句的属性可以相同(包括部分属性相同),也可以不同(包括部分属性不相同)。属性与文本语句之间的关联参数表征属性是否为文本语句对应的属性。作为一种方式,可以设定状态值标记关联参数的类型,可选的,若属性为文本语句对应的属性,可以将该状态值设定为“1”,若属性不为文本语句对应的属性,可以将该状态值设定为“0”,具体状态值的数值可以根据需要进行调整。
例如,某条文本语句“百公里油耗1.9L,售价30万的宝马你觉得值吗?”,若该文本语句的属性包括价格、性价比、油耗、速度,那么,在该条文本语句中,属性与文本语句之间的关联参数可以包括:价格是否为文本语句对应的属性所对应的状态值、性价比是否为文本语句对应的属性所对应的状态值、油耗是否为文本语句对应的属性所对应的状态值以及速度是否为文本语句对应的属性所对应的状态值。
那么,可以对这些属性是否为文本语句对应的属性进行标记。可选的,结合上述设定的状态值的标记方式,若属性“价格、性价比”均为文本语句的属性,而属性“油耗、速度”均不为文本语句的属性,那么可以将与属性“价格、性价比”分别对应的关联参数标记为“1”,将与属性“油耗、速度”分别对应的关联参数标记为“0”。
作为一种方式,可以从历史问答会话记录中获取训练样本数据,也可以是从网络上随机或定期抓取与问答会话相关的数据作为训练样本数据。作为另一种方式,可以通过实时采集会话内容的方式获取训练样本数据,训练样本数据的具体获取方式可以不作限定。
步骤S120:将所述文本语句中的名词实体替换为表征所述名词实体的实体类别的替换符,并在所述文本语句的首端添加预设数量的指定替换符,得到文本替换后训练样本数据。
本申请实施例中,文本语句包括有名词实体,同一文本语句可以包括多个不同的名词实体,不同的文本语句的名词实体可以不同。名词实体根据内容的不同可以对应有不同的所属实体类别。例如,上述文本语句“百公里油耗1.9L,售价30万的宝马你觉得值吗?”的名词实体可以为“宝马”,实体类别为“车系”。可选的,不同专业领域的名词实体以及名词实体所述的实体类别可以不同。
可以理解的是,在语义相似度计算方法中,通过采用标签标注文本语句中的名词实体的方式可以保留标签自带的语义性以及不同标签或多个标签之间的语义相关度,然而,文本语句的隐含属性仅凭名词实体可能并不能准确捕捉。
作为一种改善上述问题的方式,本实施例采取将文本语句中的名词实体替换为表征名词实体的实体类别的替换符的方式,引入实体类别的语义特征,从而可以结合名词实体与所属实体类别的关联的语义特征,准确的查找出文本语句的隐含属性。可选的,名词实体以及实体类别均有对应的替换符,名词实体的替换符中存储了名词实体的语义信息,实体类别的替换符中存储了实体类别的语义信息。
例如,对于文本语句“百公里油耗1.9L,售价30万的宝马你觉得值吗?”,其中,若名词实体为“宝马”,名词实体的对应替换符为字符“c”,名词实体的所属实体类别(车系)对应的替换符为字符“k”,那么,进行替换之后,可以得到文本语句为“百公里油耗1.9L,售价30万的<k>你觉得值吗?”。
其中,指定替换符可以为未存储有对应语义信息、用于占位的字符,可选的,本实施例中,指定替换符可以理解为无意义替换符。例如,假设26个字母(这里每一个字母为一个字符)中,用于存储与名词实体对应的语义信息的替换符为字符“c”,而用于存储与实体类别对应的语义信息的替换符为字符“k”,那么剩余的24个字符是没有对应的语义信息的,在该种方式下,该24个字符可以为指定替换符。可选的,可以从该24个字符中任意选定一个字符作为指定替换符。
作为一种实施方式,可以在将文本语句中的名词实体替换为表征名词实体的实体类别的替换符(即存储有与该替换符对应的语义信息的字符)的基础之上,可以在文本语句的首端添加预设数量的指定替换符,得到文本替换后训练样本数据。其中,首端为文本语句的前端区间。预设数量可以根据实际情况进行设定,可选的,本实施例中的预设数量可以为5。通过在文本语句的首端添加指定替换符,可以实现强调文本语句的语义属性,以便于可以实现准确的查找文本语句的隐含属性。
例如,在一个具体的应用场景中,文本语句“百公里油耗1.9L,售价30万的宝马你觉得值吗?”的前端区间为“百”字之前的位置,可选的,若指定替换符为字符“z”,名词实体为“宝马”,名词实体的对应替换符为字符“c”,名词实体的所属实体类别(车系)对应的替换符为字符“k”,那么,进行替换之后,可以得到文本替换后文本语句为“<z><z><z><z><z>百公里油耗1.9L,售价30万的<k>你觉得值吗?”。需要说明的是,不同的文本语句首端所添加的指定替换符可以不同。
可选的,可以对多个文本语句进行如此替换操作后得到的文本语句作为替换后训练样本数据。
通过将名词实体替换为与名词实体的所属实体类别对应的替换符的方式,以及在文本语句的首端添加预设数量的指定替换符的方式,可以减小名词实体本身的语义的干扰,突出了名词实体与其所属实体类别的语义关联性,从而提升了文本语句的隐含属性查找的可靠性。
需要说明的是,对于文本语句中的标点符号,例如逗号、顿号、问号或者是感叹号等,本申请实施例忽略不计其所对应的语义信息,因而在替换的过程中可以忽略标点符号。
步骤S130:对所述替换后训练样本数据进行向量化处理,得到待处理向量,所述待处理向量包括与所述文本语句对应的第一向量以及与所述属性对应的第二向量。
作为一种方式,在对文本语句进行相应的替换符替换后,可以对替换后训练样本数据进行向量化处理,以得到待处理向量。其中,待处理向量为待用于训练预设召回模型的向量。可选的,可以对替换后训练样本数据进行基于字的切分,即将替换后训练样本数据中的字符替换为与字符对应的数字,而替换后训练样本数据中的非字符(即仍然是文字部分的字)可以用数字0进行替代,从而可以将替换后训练样本数据转换为数组形式的待处理向量。
其中,替换后训练样本数据可以包括文本语句子训练样本数据以及属性子训练样本数据,在向量化处理的过程中,可以将文本语句子训练样本数据以及属性子训练样本数据分别转化为对应的子数组向量。可选的,可以将与文本语句对应的子数组向量作为第一向量,将与属性对应的子数组向量作为第二向量,即待处理向量可以包括与文本语句对应的第一向量以及与属性对应的第二向量。
例如,在一个具体的应用场景中,假设替换后训练样本数据包括的文本语句子训练样本数据为“<z><z><z><z><z>百公里油耗1.9L,售价30万的<k>你觉得值吗?”、“<z><z><z><z><z>你是<s>?”以及“<e><e><e><e><e>我们下午去打<w>吧”;属性子训练样本数据为“速度、价格以及性价比”。其中,若<z>对应的数字为“2”,<k>对应的数字为“1”,<s>对应的数字为“9”,<e>对应的数字为“3”,<w>对应的数字为“5”,可选的,通过查询后续实施例中提到的数字字典,可以得到“速”对应的数字为“6”,“度”对应的数字为“4”,“价”对应的数字为“8”,“格”对应的数字为“7”,“性”对应的数字为“10”,“价”对应的数字为“13”,“比”对应的数字为“21”。那么,在进行向量化处理后,可以得到第一向量为{2,2,2,2,2,0,0,0,0,0,0,0,0,0,0,0,0,1,0,0,0,0,0}、{2,2,2,2,2,0,0,9}以及{3,3,3,3,3,0,0,0,0,0,0,5,0};与上述子训练样本数据对应的第二向量分别为{6,4} {8,7}以及{10,13,21}。
需要说明的是,上述示例仅作为示例进行说明,实际实现时每个字符对应的数字,以及非字符对应的数字的对应方式以及对应的具体内容可以进行调整,在此不作限定。
步骤S140:将所述第一向量以及所述第二向量输入到预设召回模型中,以用于触发所述预设召回模型基于所述第一向量以及所述第二向量,计算得到损失参数,并基于所述损失参数调整所述预设召回模型的参数,得到属性召回模型。
本实施例中,属性召回模型用于召回文本语句的属性。
作为一种方式,可以将第一向量以及第二向量输入到预设召回模型中,以用于触发预设召回模型可以基于第一向量以及第二向量,计算得到损失参数,并基于损失参数调整预设召回模型的参数,从而可以得到属性召回模型。可选的,预设召回模型为用于召回文本语句的隐含属性的训练基础模型。
本实施例通过获取训练样本数据,训练样本数据包括文本语句、文本语句的属性以及属性与文本语句之间的关联参数;继而将文本语句中的名词实体替换为表征名词实体的实体类别的替换符,并在文本语句的首端添加预设数量的指定替换符,得到文本替换后训练样本数据;再对替换后训练样本数据进行向量化处理,得到待处理向量,待处理向量包括与文本语句对应的第一向量以及与属性对应的第二向量;然后将第一向量以及第二向量输入到预设召回模型中,以用于触发预设召回模型基于第一向量以及第二向量,计算得到损失参数,并基于损失参数调整预设召回模型的参数,得到属性召回模型,属性召回模型用于召回文本语句的属性。本方法通过用文本语句中表征名词实体的实体类别的替换符替换名词实体的方式,引入了实体类别的语义特征,使得结果更精准,再在文本语句的首端添加指定替换符,强调了文本语句的语义属性,使得训练得到的召回模型可以更加准确的召回文本语句的属性。
第二实施例
请参阅图2,本申请另一实施例提供了一种属性召回模型训练方法,可应用于电子设备,所述方法包括:
步骤S210:获取文本语句数据集,所述文本语句数据集包括多个文本语句。
其中,文本语句数据集可以理解为训练样本数据集。可选的,文本语句数据集可以包括多个文本语句,多个文本语句的语气可以相同,也可以不同。
作为一种方式,可以从问答***的历史会话记录中获取文本语句数据集,或者是从各电商平台的问答数据库中获取,具体获取方式可以不作限定。
步骤S220:获取与所述多个文本语句对应的属性。
作为一种方式,可以获取由人工标注的属性作为与文本语句对应的属性,可选的,通过对文本语句数据集中的各个语句的属性进行标注,可以得到与多个文本语句对应的属性。可选的,同一文本语句可以包括一个或者多个对应的属性。
例如,文本语句“百公里油耗1.9L,售价30万的宝马你觉得值吗?”对应的属性可以包括但不限于“价格、性价比、油耗、速度、长度、宽度以及比例”等。
可选的,在获取与文本语句数据集中的各个文本语句分别对应的属性时,可以同时获取文本语句数据集所包括的名词实体,以及获取这些名词实体的所属实体类别,其中,关于名词实体与名词实体所属实体类别的描述可以参考前述实施例中的描述,在此不再赘述。
步骤S230:获取所述多个文本语句与所述对应的属性之间的关联参数。
其中,关联参数可以用于区分属性是否为与对应的文本语句匹配的属性。
作为一种实施方式,结合前述实施例的描述,可以通过获取与关联参数对应的状态值的方式获取对应的关联参数。例如,在一个具体的应用场景中,假设文本语句为:“百公里油耗1.9L,售价30万的宝马你觉得值吗?”,那么获取到的与文本语句对应的属性,以及文本语句与对应的属性之间的关联参数可以如下表1所示:
表1
文本语句 属性 是否为对应属性
百公里油耗1.9L,售价30万的宝马你觉得值吗? 价格 1
百公里油耗1.9L,售价30万的宝马你觉得值吗? 性价比 1
百公里油耗1.9L,售价30万的宝马你觉得值吗? 油耗 0
百公里油耗1.9L,售价30万的宝马你觉得值吗? 速度 0
百公里油耗1.9L,售价30万的宝马你觉得值吗? 长度 0
百公里油耗1.9L,售价30万的宝马你觉得值吗? 宽度 0
百公里油耗1.9L,售价30万的宝马你觉得值吗? 比例 0
其中,表1中的是否为对应属性表示的是当前属性是否为与文本语句对应的属性,可选的,若是,那么可以将【是否为对应属性】标注为1,若不是,则将【是否为对应属性】标注为0。
步骤S240:将所述文本语句、所述对应的属性以及对应的所述关联参数以三元组的形式进行关联存储,得到训练样本数据。
可选的,如表1所示,本实施例中的三元组可以包括文本语句、属性以及是否为对应属性。作为一种方式,可以将文本语句、文本语句的对应属性以及对应的关联参数以如表1所示的三元组的形式进行关联存储,进而得到训练样本数据。
需要说明的是,本实施例中,如表1所示,是否为对应属性中标注为“1”的对应属性为正例属性,即是从手工标注属性数据中得到的数据;而是否为对应属性中标注为“0”的对应属性为负例属性,即是从属性库中的所有属性中随机抽取的属性。可选的,本实施例中,训练样本数据的每个文本语句可以包括若干个正例属性(有多少个属性就有多少个正例)以及5个负例属性。
步骤S250:将所述文本语句中的名词实体替换为表征所述名词实体的实体类别的替换符,并在所述文本语句的首端添加预设数量的指定替换符,得到文本替换后训练样本数据。
步骤S260:对所述替换后训练样本数据进行向量化处理,得到待处理向量,所述待处理向量包括与所述文本语句对应的第一向量以及与所述属性对应的第二向量。
步骤S270:将所述第一向量以及所述第二向量输入到预设召回模型中,以用于触发所述预设召回模型基于所述第一向量以及所述第二向量,计算得到损失参数,并基于所述损失参数调整所述预设召回模型的参数,得到属性召回模型。
本实施例通过将文本语句、其对应的属性以及对应的关联参数以三元组的形式进行关联存储的方式,使上下文的语义关系更加紧密,通过用文本语句中表征名词实体的实体类别的替换符替换名词实体的方式,引入了实体类别的语义特征,再在文本语句的首端添加指定替换符,强调了文本语句的语义属性,使得训练得到的召回模型可以更加准确的召回文本语句的属性。
第三实施例
请参阅图3,本申请又一实施例提供了一种属性召回模型训练方法,可应用于电子设备,所述方法包括:
步骤S310:获取文本语句数据集,所述文本语句数据集包括多个文本语句。
步骤S320:获取与所述多个文本语句对应的属性。
步骤S330:获取所述多个文本语句与所述对应的属性之间的关联参数。
步骤S340:将所述文本语句、所述对应的属性以及对应的所述关联参数以三元组的形式进行关联存储,得到训练样本数据。
步骤S350:将所述文本语句中的名词实体替换为表征所述名词实体的实体类别的替换符,并在所述文本语句的首端添加预设数量的指定替换符,得到文本替换后训练样本数据。
步骤S360:通过预先构建的数字字典对所述文本语句数据集进行映射处理。
本实施例中,数字字典为预先构建的,存储有预先定义的字和数字、以及字符和数字的对应关系的字典。作为一种方式,可以将获取到的所有文本语句(包括训练样本数据以及后续的测试样本数据)以及文本语句对应的属性整理成一个文本文件,可选的,可以对文本文件中的所有文字(包括文本语句中的字和属性中的字)进行逐字扫描计数,当某个字的出现次数大于指定次数(例如,本实施例中,指定次数可以为5次,具体数值可以不作限定)时,可以将该字放入数字字典,同时将该字以“字-数字”的对应方式进行存储,即将该字与某个数字进行对应存储,直至遍历完文本文件中的所有文字。
可选的,数字和标点符号可以不存储至数字字典。作为一种方式,在进行向量化处理的过程中,若文本语句中原本包含数字,如果该数字是整数,可以用指定的数字进行逐位(如果包含一位以上数字时)替代,例如,文本语句“30万的车有什么?”中的“3”可以用“0”来替代,“0”也可以用“0”来替代。可选的,若文本语句中包括标点符号或者非整数数字,可以用指定字符替代标点符号或者是用指定符号逐位替代非整数数字。例如,文本语句“奔驰2.8L的多少钱?”中的“2.8”可以分别用“0、0、0”来进行替代,标点符号“?”可以用“0”来替代。
需要说明的是,对于在遍历过程中,出现次数未达到指定次数的字,可以将对应的字以“字-0”的方式进行对应存储。可选的,可以将前述实施例中的替换符以“替换符(可以是字符)-数字”或者“指定替换符(可以是字符)-数字”的方式进行对应存储与数字字典中,以便在做向量化处理时,可以加快处理速度。例如,假设替换符为字符<c>,与字符<c>对应的数字预先设定了为“6”,那么可以将替换符以“<c>-6”的方式对应存储。
作为一种方式,可以通过查找数字字典中存储的与替换符以及指定替换符所表征的字符对应的数字,并将替换符以及指定替换符替换成对应的数字;以及查找数字字典中与文本语句数据集的字对应的数字,并将该字替换成对应的数字的方式实现对文本语句数据集进行映射处理。其中,若数字字典中不存在与文本语句数据集中的字对应的数字,可以将该字替换成特定数字(例如0,具体数值可以不作限定),从而得到待处理向量。
步骤S370:将映射处理的结果向量作为待处理向量,所述待处理向量包括与所述文本语句对应的第一向量以及与所述属性对应的第二向量。
可选的,在映射处理后,可以将得到的数组向量作为待处理向量,如前述实施例中的描述,待处理向量可以包括与文本语句对应的第一向量以及与属性对应的第二向量。
步骤S380:将所述第一向量以及所述第二向量输入到预设召回模型中,以用于触发所述预设召回模型基于所述第一向量以及所述第二向量,计算得到损失参数,并基于所述损失参数调整所述预设召回模型的参数,得到属性召回模型。
本实施例通过对文本语句数据集中的替换符进行映射处理,实现了将文本语句由文字维度转换到向量维度,可以使模型运算更加便捷。通过用文本语句中表征名词实体的实体类别的替换符替换名词实体的方式,引入了实体类别的语义特征,再在文本语句的首端添加指定替换符,强调了文本语句的语义属性,使得训练得到的召回模型可以更加准确的召回文本语句的属性。
第四实施例
请参阅图4,本申请再一实施例提供了一种属性召回模型训练方法,可应用于电子设备,所述方法包括:
步骤S410:获取文本语句数据集,所述文本语句数据集包括多个文本语句。
步骤S420:获取与所述多个文本语句对应的属性。
步骤S430:获取所述多个文本语句与所述对应的属性之间的关联参数。
步骤S440:将所述文本语句、所述对应的属性以及对应的所述关联参数以三元组的形式进行关联存储,得到训练样本数据。
步骤S450:将所述文本语句中的名词实体替换为表征所述名词实体的实体类别的替换符,并在所述文本语句的首端添加预设数量的指定替换符,得到文本替换后训练样本数据。
步骤S460:获取每一文本语句的所述替换符的出现次数。
作为一种方式,对于替换后训练样本数据,可以获取每一文本语句的替换符的出现次数,以便于可以通过该替换符强调文本语句的语义信息,从而实现准确的召回文本语句的隐含属性。其中,可以通过轮询文本语句的替换符的方式获取替换符的对应出现次数。
例如,若替换后文本语句为“<e><e><e><e><e>你会打<w>或者<x>吗,我们下午去打<w>吧”,其中,<e>为指定替换符,<w>表示的是与篮球(名词实体)的所属实体类别(球类)对应的替换符,<x>表示的是与英雄联盟(名词实体)的所属实体类别(游戏)对应的替换符。那么,在这种方式下,可以获取得到该文本语句中,替换符<w>的出现次数为两次,替换符<x>的出现次数为一次。
步骤S470:按照所述替换符的排列顺序依次替换与所述出现次数的数量对应的所述指定替换符。
以上述示例为例,替换符<w>以及<x>的出现顺序为“<w>、<x>、<w>”,那么可以用替换符“<w>、<x>、<w>”分别替换掉指定替换符“<e>”中的前三个“<e>”,得到替换后的结果为“<w><x><w><e><e>你会打<w>或者<x>吗,我们下午去打<w>吧”。不难看出,通过按照替换符的排列顺序依次替换与替换符的出现次数的数量对应的指定替换符,可以实现强调文本语句的语义信息,即此时说话用户更愿意打的可能是球类中的篮球,而非游戏中的英雄联盟。
步骤S480:通过预先构建的数字字典对所述文本语句数据集进行映射处理。
步骤S490:将映射处理的结果向量作为待处理向量,所述待处理向量包括与所述文本语句对应的第一向量以及与所述属性对应的第二向量。
步骤S491:将所述第一向量以及所述第二向量输入到预设召回模型中,以用于触发所述预设召回模型基于所述第一向量以及所述第二向量,计算得到损失参数,并基于所述损失参数调整所述预设召回模型的参数,得到属性召回模型。
本实施例通过获取每一文本语句的替换符的出现次数,以及按照替换符的排列顺序依次替换与替换符出现次数的数量对应的指定替换符的方式,不仅考虑到了名词实体的实体类别在文本语句的上下文中对上下文语义的影响,还考虑到了实体列表之间的相互影响,通过替换掉对应数量的指定替换符的方式,实现了强调文本语句的实体类别,进而使得通过属性召回模型分析得到的隐含属性更精准。通过用文本语句中表征名词实体的实体类别的替换符替换名词实体的方式,引入了实体类别的语义特征,再在文本语句的首端添加指定替换符,强调了文本语句的语义属性,使得训练得到的召回模型可以更加准确的召回文本语句的属性。
第五实施例
请参阅图5,本申请再一实施例提供了一种属性召回模型训练方法,可应用于电子设备,所述方法包括:
步骤S510:获取训练样本数据,所述训练样本数据包括文本语句、所述文本语句的属性以及所述属性与所述文本语句之间的关联参数。
步骤S520:将所述文本语句中的名词实体替换为表征所述名词实体的实体类别的替换符,并在所述文本语句的首端添加预设数量的指定替换符,得到文本替换后训练样本数据。
步骤S530:对所述替换后训练样本数据进行向量化处理,得到待处理向量,所述待处理向量包括与所述文本语句对应的第一向量以及与所述属性对应的第二向量。
步骤S540:将所述第一向量以及所述第二向量输入所述嵌入层,将所述嵌入层的输出输入到所述丢失层,得到第一待处理向量以及第二待处理向量;再将所述第一待处理向量输入到所述第一双向长短期记忆层,将所述第二待处理向量输入到所述第二双向长短期记忆层,输出得到对应的第一目标向量以及第二目标向量。
请参阅图6,为本实施例中的预设召回模型的模型结构框图。如图6所示,预设召回模型10可以包括嵌入层(Embedding)11、丢失层(Dropout)12、第一双向长短期记忆层(BiLSTM)13以及第二双向长短期记忆层14。其中,第一双向长短期记忆层13包括两层双向长短期记忆层,第二双向长短期记忆层14包括一层双向长短期记忆层。
作为一种方式,可以将前述实施例中的第一向量以及第二向量输入嵌入层11,将嵌入层11的输出输入到丢失层12,得到第一待处理向量以及第二待处理向量;再将第一待处理向量输入到第一双向长短期记忆层13,将第二待处理向量输入到第二双向长短期记忆层14,输出得到对应的第一目标向量以及第二目标向量。其中,嵌入层11与丢失层12为向量化后的文本语句与向量化后的属性共享的层,向量化后的文本问句为40维向量,向量化后的属性为20维向量。每层双向长短期记忆层的维度为50units。第一目标向量为经过丢失层的文本语句经过两层双向长短期记忆层产生的向量,第二目标向量为经过丢失层的属性经过一层双向长短期记忆层产生的向量。
步骤S550:利用余弦相似度算法计算所述第一目标向量所表征的特征与所述第二目标向量所表征的特征之间的相似度。
可选的,可以利用余弦相似度算法计算第一目标向量所表征的特征与第二目标向量所表征的特征之间的得分,该得分即为第一目标向量所表征的特征与第二目标向量所表征的特征之间的相似度(如图6所示的15)。
可选的,该得分可以用于在排序损失函数中计算损失。若损失函数大,模型会自动调整自己的参数,调整参数后,模型判定正例会和1更接近,而负例会和0更接近。
步骤S560:基于所述相似度以及所述关联参数计算得到损失参数。
作为一种方式,可以基于相似度的值与前述实施例中关联参数对应的状态值对比计算损失参数。可选的,具体计算过程可以参考现有技术中损失参数的计算过程,在此不再赘述。
本实施例通过将待处理向量输入降维后的预设召回模型,使得模型的运算速度得到大规模的提升,通过用文本语句中表征名词实体的实体类别的替换符替换名词实体的方式提升了准确率,使得模型在大规模维度下降的情况下依然有很好的准确率。
第六实施例
请参阅图7,本申请再一实施例提供了一种属性召回模型训练方法,可应用于电子设备,所述方法包括:
步骤S610:获取训练样本数据,所述训练样本数据包括文本语句、所述文本语句的属性以及所述属性与所述文本语句之间的关联参数。
步骤S620:将所述文本语句中的名词实体替换为表征所述名词实体的实体类别的替换符,并在所述文本语句的首端添加预设数量的指定替换符,得到文本替换后训练样本数据。
步骤S630:对所述替换后训练样本数据进行向量化处理,得到待处理向量,所述待处理向量包括与所述文本语句对应的第一向量以及与所述属性对应的第二向量。
步骤S640:将所述第一向量以及所述第二向量输入到预设召回模型中,以用于触发所述预设召回模型基于所述第一向量以及所述第二向量,计算得到损失参数,基于调整后的模型参数和所述损失参数继续进行调整所述预设召回模型的参数的过程,直至调整次数达到预设次数。
可选的,本实施例中的预设次数可以为45次。作为一种方式,可以利用排序损失函数和训练集中的数据对预设召回模型进行45次的参数调整。以便于可以通过调整完成后得到的模型对测试样本数据集中的文本语句进行评估,从而可以验证模型的训练效果。
步骤S650:将所述调整次数达到预设次数时所得到的模型参数对应的模型作为所述属性召回模型。
可选的,可以将调整次数达到预设次数时所得到的模型参数对应的模型作为属性召回模型。
本实施例通过多轮调整模型参数,提升了模型的精确度。通过用文本语句中表征名词实体的实体类别的替换符替换名词实体的方式,引入了实体类别的语义特征,再在文本语句的首端添加指定替换符,强调了文本语句的语义属性,使得训练得到的召回模型可以更加准确的召回文本语句的属性。
第七实施例
请参阅图8,本申请再一实施例提供了一种属性召回模型训练方法,可应用于电子设备,所述方法包括:
步骤S710:获取训练样本数据以及测试样本数据,所述训练样本数据包括文本语句、所述文本语句的属性以及所述属性与所述文本语句之间的关联参数,所述测试样本数据包括第二文本语句以及所述第二文本语句的属性。
本实施例中,第二文本语句可以包括多条文本语句,每一条第二文本语句可以包括一个或者多个属性。例如,第二文本语句“宝马的售价为多少?”的属性可以为“价格”;第二文本语句“最高时速为100迈的宝马只要20万是不是超值?”的属性可以包括“速度、性价比以及价格”;第二文本语句“售价50万的奔驰你觉得值得买吗?”的属性可以包括“性价比以及价格”;第二文本语句“沃尔沃有多高?”的属性可以为“高度”。可选的,第二文本语句的属性可以为人工标注的属性。
步骤S720:将所述文本语句中的名词实体替换为表征所述名词实体的实体类别的替换符,并在所述文本语句的首端添加预设数量的指定替换符,得到文本替换后训练样本数据。
步骤S730:对所述替换后训练样本数据进行向量化处理,得到待处理向量,所述待处理向量包括与所述文本语句对应的第一向量以及与所述属性对应的第二向量。
步骤S740:将所述第一向量以及所述第二向量输入到预设召回模型中,以用于触发所述预设召回模型基于所述第一向量以及所述第二向量,计算得到损失参数,基于调整后的模型参数和所述损失参数继续进行调整所述预设召回模型的参数的过程,直至调整次数达到预设次数。
步骤S750:将所述调整次数达到预设次数时所得到的模型参数对应的模型作为所述属性召回模型。
步骤S760:获取所述属性召回模型对所述第二文本语句的属性的打分排名列表。
步骤S770:获取基于所述打分排名列表确定的所述第二文本语句的属性精度参数。
作为一种方式,在获取了测试样本数据包括的多个第二文本语句以及每个第二文本语句的属性的情况下,可以将每一第二文本语句的属性和属性库中的属性进行配对,再采用属性召回模型对每一第二文本语句的属性的配对结果进行打分并排序,得到第二文本语句的属性的打分排名列表。
例如,在一个具体的应用场景中,如下表2所示,为测试样本数据包括的第二文本语句以及第二文本语句的属性。
表2
文本语句 属性
宝马的售价为多少? 价格
售价50万的奔驰你觉得值得买吗? 性价比、价格
沃尔沃有多高? 高度
最高时速为100迈的宝马只要20万是不是超值? 速度、性价比、价格
如图9所示,可以将表2中的每一第二文本语句(例如,如图9所示的“宝马的售价为多少?”)输入到属性召回模型,以用于将每一第二文本语句的属性与属性库(如图9所示,包括属性“速度、性价比、价格以及高度”,可选的,实际实现时可以有更多或者更少的属性,此处仅作为示例,不构成对本方案的限定)中的属性进行配对,继而可以由属性召回模型对每一第二文本语句的属性的配对结果进行打分并排序,得到第二文本语句的属性的打分排名列表,可选的,打分排名列表可以“属性、排名、分数”的格式进行展示。如图9所示,对第二文本语句“宝马的售价为多少?”打分并排序后得到的打分排名列表依次可以为“价格、排名1、0.99”,“高度、排名2、0.85”,“速度、排名3、0.81”以及“性价比、排名4、0.80”。
作为一种方式,可以将第二文本语句的打分排名列表中的属性与第二文本语句的属性进行对比,以计算第二文本语句的打分排名列表中的属性的属性精度参数。具体的,可以采用在属性召回模型召回5个第二文本语句的属性的情况下计算属性精度参数,在该种方式下,本实施例中的属性精度参数可以用MAP@5进行表示。可选的,可以计算得出测试样本数据中的所有第二文本语句的MAP@5,例如,在上述示例中,可以计算得出表2中的第二文本语句对应的MAP@5分数为下表3所示:
表3
文本语句 MAP@5分数
宝马的售价为多少? 0.89
售价50万的奔驰你觉得值得买吗? 0.90
沃尔沃有多高? 0.05
最高时速为100迈的宝马只要20万是不是超值? 0.33
可选的,可以对所有第二文本语句的MAP@5分数求取平均值,即可以得到(0.89+0.90+0.05+0.33)/4=0.5425。
步骤S780:判断所述属性精度参数是否满足预设阈值。
可选的,本实施例中的预设阈值可以设置为0.85,若上述平均值大于等于0.85,则可以判定属性精度参数满足预设阈值;而若上述平均值小于0.85,那么可以判定属性精度参数不满足预设阈值。
步骤S781:判定所述属性召回模型符合训练标准。
作为一种方式,若该属性精度参数满足预设阈值,那么可以判定属性召回模型符合训练标准。
步骤S782:判定所述属性召回模型不符合训练标准。
作为另一种方式,若该属性精度参数不满足预设阈值,那么可以判定属性召回模型不符合训练标准。在该种方式下,可以调整属性召回模型的参数,重新训练模型,直至训练得到的属性召回模型符合训练标准。可选的,上述平均值为0.5425,0.5425<0.85,因而该次测试得出属性召回模型需要重新训练。
本实施例通过获取属性召回模型对第二文本语句的属性的打分排名列表,以及判断基于打分排名列表确定的第二文本语句的属性精度参数是否满足预设阈值,提升了模型可以应用于工程项目中进行即时的打分的可靠性。通过用文本语句中表征名词实体的实体类别的替换符替换名词实体的方式,引入了实体类别的语义特征,再在文本语句的首端添加指定替换符,强调了文本语句的语义属性,使得训练得到的召回模型可以更加准确的召回文本语句的属性。
第八实施例
请参阅图10,本申请实施例提供了一种属性召回模型训练装置800,运行于电子设备,所述装置800包括:
获取模块810,用于获取训练样本数据,所述训练样本数据包括文本语句、所述文本语句的属性以及所述属性与所述文本语句之间的关联参数。
作为一种方式,所述获取模块810具体可以用于获取文本语句数据集,所述文本语句数据集包括多个文本语句;获取与所述多个文本语句对应的属性;获取所述多个文本语句与所述对应的属性之间的关联参数,所述关联参数用于区分所述属性是否为与对应的文本语句匹配的属性;将所述文本语句、所述对应的属性以及对应的所述关联参数以三元组的形式进行关联存储,得到训练样本数据。
可选的,所述获取模块810可以包括第一获取单元以及第二获取单元,第一获取单元用于获取所述文本语句数据集所包括的名词实体,第二获取单元用于获取所述名词实体的所属实体类别。
第一处理模块820,用于将所述文本语句中的名词实体替换为表征所述名词实体的实体类别的替换符,并在所述文本语句的首端添加预设数量的指定替换符,得到文本替换后训练样本数据,所述替换符存储在预先构建的字符字典中,所述字符字典中存储有实体类别与替换符的对应关系。
第二处理模块830,用于对所述替换后训练样本数据进行向量化处理,得到待处理向量,所述待处理向量包括与所述文本语句对应的第一向量以及与所述属性对应的第二向量。
作为一种方式,所述第二处理模块830具体可以用于通过预先构建的数字字典对所述文本语句数据集进行映射处理;将映射处理的结果向量作为待处理向量,所述数字字典中存储有预先定义的字和数字、以及字符和数字的对应关系。
可选的,所述装置800还可以包括第三获取单元以及替换单元,第三获取单元用于在通过预先构建的数字字典对所述文本语句数据集进行映射处理之前,获取每一文本语句的所述替换符的出现次数;进一步的,替换单元用于按照所述替换符的排列顺序依次替换与所述出现次数的数量对应的所述指定替换符。
作为一种方式,所述第二处理模块830可以用于查找所述数字字典中与所述替换符以及所述指定替换符所表征的字符对应的数字,并将所述替换符以及所述指定替换符替换成对应的数字;以及查找所述数字字典中与所述文本语句数据集的字对应的数字,并将所述字替换成对应的数字,其中,若所述数字字典中不存在与所述文本语句数据集中的字对应的数字,将所述字替换成特定数字,得到待处理向量。
第三处理模块840,用于将所述第一向量以及所述第二向量输入到预设召回模型中,以用于触发所述预设召回模型基于所述第一向量以及所述第二向量,计算得到损失参数,并基于所述损失参数调整所述预设召回模型的参数,得到属性召回模型,所述属性召回模型用于召回文本语句的属性。
可选的,所述预设召回模型包括嵌入层、丢失层、第一双向长短期记忆层以及第二双向长短期记忆层。
作为一种方式,所述第三处理模块840具体可以用于将所述第一向量以及所述第二向量输入所述嵌入层,将所述嵌入层的输出输入到所述丢失层,得到第一待处理向量以及第二待处理向量;再将所述第一待处理向量输入到所述第一双向长短期记忆层,将所述第二待处理向量输入到所述第二双向长短期记忆层,输出得到对应的第一目标向量以及第二目标向量;利用余弦相似度算法计算所述第一目标向量所表征的特征与所述第二目标向量所表征的特征之间的相似度;基于所述相似度以及所述关联参数计算得到损失参数。
可选的,所述第一双向长短期记忆层包括两层双向长短期记忆层,所述第二双向长短期记忆层包括一层双向长短期记忆层。
作为一种方式,第三处理模块840可以用于基于调整后的模型参数和所述损失参数继续进行调整所述预设召回模型的参数的过程,直至调整次数达到预设次数;将所述调整次数达到预设次数时所得到的模型参数对应的模型作为所述属性召回模型。
作为一种方式,所述获取模块810可以用于获取训练样本数据时,获取测试样本数据,所述测试样本数据包括第二文本语句以及所述第二文本语句的属性。
可选的,所述装置800还可以包括排名列表获取模块,用于获取所述属性召回模型对所述第二文本语句的属性的打分排名列表,属性精度参数获取模块,用于获取基于所述打分排名列表确定的所述第二文本语句的属性精度参数,判断模块,用于判断所述属性精度参数是否满足预设阈值;若是,判定所述属性召回模型符合训练标准;若否,判定所述属性召回模型不符合训练标准。
本申请提供的一种属性召回模型训练装置,通过获取训练样本数据,训练样本数据包括文本语句、文本语句的属性以及属性与文本语句之间的关联参数;继而将文本语句中的名词实体替换为表征名词实体的实体类别的替换符,并在文本语句的首端添加预设数量的指定替换符,得到文本替换后训练样本数据;再对替换后训练样本数据进行向量化处理,得到待处理向量,待处理向量包括与文本语句对应的第一向量以及与属性对应的第二向量;然后将第一向量以及第二向量输入到预设召回模型中,以用于触发预设召回模型基于第一向量以及第二向量,计算得到损失参数,并基于损失参数调整预设召回模型的参数,得到属性召回模型,属性召回模型用于召回文本语句的属性。本方法通过用文本语句中表征名词实体的实体类别的替换符替换名词实体的方式,引入了实体类别的语义特征,再在文本语句的首端添加指定替换符,强调了文本语句的语义属性,使得训练得到的召回模型可以更加准确的召回文本语句的属性。
需要说明的是,本申请中装置实施例与前述方法实施例是相互对应的,装置实施例中具体的原理可以参见前述方法实施例中的内容,此处不再赘述。
下面将结合图11对本申请提供的一种电子设备进行说明。
请参阅图11,基于上述的属性召回模型训练方法、装置,本申请实施例还提供的另一种可以执行前述属性召回模型训练方法的电子设备100。电子设备100包括相互耦合的一个或多个(图中仅示出一个)处理器102以及存储器104。其中,该存储器104中存储有可以执行前述实施例中内容的程序,而处理器102可以执行该存储器104中存储的程序,存储器104包括前述实施例中所描述的装置。
其中,处理器102可以包括一个或者多个处理核。处理器102利用各种接口和线路连接整个电子设备100内的各个部分,通过运行或执行存储在存储器104内的指令、程序、代码集或指令集,以及调用存储在存储器104内的数据,执行电子设备100的各种功能和处理数据。可选地,处理器102可以采用数字信号处理(Digital Signal Processing,DSP)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)、可编程逻辑阵列(ProgrammableLogic Array,PLA)中的至少一种硬件形式来实现。处理器102可集成中央处理器(CentralProcessing Unit,CPU)、视频图像处理器(Graphics Processing Unit,GPU)和调制解调器等中的一种或几种的组合。其中,CPU主要处理操作***、用户界面和应用程序等;GPU用于负责显示内容的渲染和绘制;调制解调器用于处理无线通信。可以理解的是,上述调制解调器也可以不集成到处理器102中,单独通过一块通信芯片进行实现。
存储器104可以包括随机存储器(Random Access Memory,RAM),也可以包括只读存储器(Read-Only Memory)。存储器104可用于存储指令、程序、代码、代码集或指令集。存储器104可包括存储程序区和存储数据区,其中,存储程序区可存储用于实现操作***的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、视频图像播放功能等)、用于实现上述各个方法实施例的指令等。存储数据区还可以存储电子设备100在使用中所创建的数据(比如电话本、音视频数据、聊天记录数据)等。
请参考图12,其示出了本申请实施例提供的一种计算机可读存储介质的结构框图。该计算机可读介质900中存储有程序代码,所述程序代码可被处理器调用执行上述方法实施例中所描述的方法。
计算机可读存储介质900可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。可选地,计算机可读存储介质900包括非易失性计算机可读介质(non-transitory computer-readable storage medium)。计算机可读存储介质900具有执行上述方法中的任何方法步骤的程序代码910的存储空间。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。程序代码910可以例如以适当形式进行压缩。
本申请提供的一种属性召回模型训练方法、装置、电子设备以及存储介质,通过获取训练样本数据,训练样本数据包括文本语句、文本语句的属性以及属性与文本语句之间的关联参数;继而将文本语句中的名词实体替换为表征名词实体的实体类别的替换符,并在文本语句的首端添加预设数量的指定替换符,得到文本替换后训练样本数据;再对替换后训练样本数据进行向量化处理,得到待处理向量,待处理向量包括与文本语句对应的第一向量以及与属性对应的第二向量;然后将第一向量以及第二向量输入到预设召回模型中,以用于触发预设召回模型基于第一向量以及第二向量,计算得到损失参数,并基于损失参数调整预设召回模型的参数,得到属性召回模型,属性召回模型用于召回文本语句的属性。本方法通过用文本语句中表征名词实体的实体类别的替换符替换名词实体的方式,引入了实体类别的语义特征,再在文本语句的首端添加指定替换符,强调了文本语句的语义属性,使得训练得到的召回模型可以更加准确的召回文本语句的属性。
最后应说明的是:以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不驱使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (13)

1.一种属性召回模型训练方法,其特征在于,所述方法包括:
获取训练样本数据,所述训练样本数据包括文本语句、所述文本语句的属性以及所述属性与所述文本语句之间的关联参数;
将所述文本语句中的名词实体替换为表征所述名词实体的实体类别的替换符,并在所述文本语句的首端添加预设数量的指定替换符,得到文本替换后训练样本数据;
对所述替换后训练样本数据进行向量化处理,得到待处理向量,所述待处理向量包括与所述文本语句对应的第一向量以及与所述属性对应的第二向量;
将所述第一向量以及所述第二向量输入到预设召回模型中,以用于触发所述预设召回模型基于所述第一向量以及所述第二向量,计算得到损失参数,并基于所述损失参数调整所述预设召回模型的参数,得到属性召回模型,所述属性召回模型用于召回文本语句的属性。
2.根据权利要求1所述的方法,其特征在于,所述获取训练样本数据,包括:
获取文本语句数据集,所述文本语句数据集包括多个文本语句;
获取与所述多个文本语句对应的属性;
获取所述多个文本语句与所述对应的属性之间的关联参数,所述关联参数用于区分所述属性是否为与对应的文本语句匹配的属性;
将所述文本语句、所述对应的属性以及对应的所述关联参数以三元组的形式进行关联存储,得到训练样本数据。
3.根据权利要求2所述的方法,其特征在于,所述方法还包括:
获取所述文本语句数据集所包括的名词实体;
获取所述名词实体的所属实体类别。
4.根据权利要求3所述的方法,其特征在于,所述对所述替换后训练样本数据进行向量化处理,得到待处理向量,包括:
通过预先构建的数字字典对所述文本语句数据集进行映射处理;
将映射处理的结果向量作为待处理向量,所述数字字典中存储有预先定义的字和数字、以及字符和数字的对应关系。
5.根据权利要求4所述的方法,其特征在于,所述通过预先构建的数字字典对所述文本语句数据集进行映射处理之前,还包括:
获取每一文本语句的所述替换符的出现次数;
按照所述替换符的排列顺序依次替换与所述出现次数的数量对应的所述指定替换符。
6.根据权利要求4-5任一项所述的方法,其特征在于,所述通过预先构建的数字字典对所述文本语句数据集进行映射处理,包括:
查找所述数字字典中与所述替换符以及所述指定替换符所表征的字符对应的数字,并将所述替换符以及所述指定替换符替换成对应的数字;
以及查找所述数字字典中与所述文本语句数据集的字对应的数字,并将所述字替换成对应的数字,其中,若所述数字字典中不存在与所述文本语句数据集中的字对应的数字,将所述字替换成特定数字,得到待处理向量。
7.根据权利要求1所述的方法,其特征在于,所述预设召回模型包括嵌入层、丢失层、第一双向长短期记忆层以及第二双向长短期记忆层,所述将所述第一向量以及所述第二向量输入到预设召回模型中,以用于触发所述预设召回模型基于所述第一向量以及所述第二向量,计算得到损失参数,包括:
将所述第一向量以及所述第二向量输入所述嵌入层,将所述嵌入层的输出输入到所述丢失层,得到第一待处理向量以及第二待处理向量;再将所述第一待处理向量输入到所述第一双向长短期记忆层,将所述第二待处理向量输入到所述第二双向长短期记忆层,输出得到对应的第一目标向量以及第二目标向量;
利用余弦相似度算法计算所述第一目标向量所表征的特征与所述第二目标向量所表征的特征之间的相似度;
基于所述相似度以及所述关联参数计算得到损失参数。
8.根据权利要求7所述的方法,其特征在于,所述第一双向长短期记忆层包括两层双向长短期记忆层,所述第二双向长短期记忆层包括一层双向长短期记忆层。
9.根据权利要求1所述的方法,其特征在于,所述并基于所述损失参数调整所述预设召回模型的参数,得到属性召回模型,包括:
基于调整后的模型参数和所述损失参数继续进行调整所述预设召回模型的参数的过程,直至调整次数达到预设次数;
将所述调整次数达到预设次数时所得到的模型参数对应的模型作为所述属性召回模型。
10.根据权利要求9所述的方法,其特征在于,所述获取训练样本数据时,还包括:
获取测试样本数据,所述测试样本数据包括第二文本语句以及所述第二文本语句的属性;
所述方法还包括:
获取所述属性召回模型对所述第二文本语句的属性的打分排名列表;
获取基于所述打分排名列表确定的所述第二文本语句的属性精度参数;
判断所述属性精度参数是否满足预设阈值;
若是,判定所述属性召回模型符合训练标准;
若否,判定所述属性召回模型不符合训练标准。
11.一种属性召回模型训练装置,其特征在于,所述装置包括:
获取模块,用于获取训练样本数据,所述训练样本数据包括文本语句、所述文本语句的属性以及所述属性与所述文本语句之间的关联参数;
第一处理模块,用于将所述文本语句中的名词实体替换为表征所述名词实体的实体类别的替换符,并在所述文本语句的首端添加预设数量的指定替换符,得到文本替换后训练样本数据,所述替换符存储在预先构建的字符字典中,所述字符字典中存储有实体类别与替换符的对应关系;
第二处理模块,用于对所述替换后训练样本数据进行向量化处理,得到待处理向量,所述待处理向量包括与所述文本语句对应的第一向量以及与所述属性对应的第二向量;
第三处理模块,用于将所述第一向量以及所述第二向量输入到预设召回模型中,以用于触发所述预设召回模型基于所述第一向量以及所述第二向量,计算得到损失参数,并基于所述损失参数调整所述预设召回模型的参数,得到属性召回模型,所述属性召回模型用于召回文本语句的属性。
12.一种电子设备,其特征在于,包括存储器;
一个或多个处理器;
一个或多个程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行,所述一个或多个程序配置用于执行权利要求1-10任一所述的方法。
13.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有程序代码,其中,在所述程序代码由处理器运行时执行权利要求1-10任一所述的方法。
CN201911395747.0A 2019-12-30 2019-12-30 属性召回模型训练方法、装置、电子设备以及存储介质 Active CN111159377B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911395747.0A CN111159377B (zh) 2019-12-30 2019-12-30 属性召回模型训练方法、装置、电子设备以及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911395747.0A CN111159377B (zh) 2019-12-30 2019-12-30 属性召回模型训练方法、装置、电子设备以及存储介质

Publications (2)

Publication Number Publication Date
CN111159377A CN111159377A (zh) 2020-05-15
CN111159377B true CN111159377B (zh) 2023-06-30

Family

ID=70559144

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911395747.0A Active CN111159377B (zh) 2019-12-30 2019-12-30 属性召回模型训练方法、装置、电子设备以及存储介质

Country Status (1)

Country Link
CN (1) CN111159377B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112183097B (zh) * 2020-09-27 2024-06-21 深圳追一科技有限公司 一种实体召回方法及相关装置
CN112765477B (zh) * 2021-03-05 2022-03-25 北京百度网讯科技有限公司 信息处理、信息推荐的方法和装置、电子设备和存储介质

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108304368B (zh) * 2017-04-20 2022-02-08 腾讯科技(深圳)有限公司 文本信息的类型识别方法和装置及存储介质和处理器
CN109670163B (zh) * 2017-10-17 2023-03-28 阿里巴巴集团控股有限公司 信息识别方法、信息推荐方法、模板构建方法及计算设备
CN107783960B (zh) * 2017-10-23 2021-07-23 百度在线网络技术(北京)有限公司 用于抽取信息的方法、装置和设备
JP6976155B2 (ja) * 2017-12-18 2021-12-08 ヤフー株式会社 類似テキスト抽出装置、自動応答システム、類似テキスト抽出方法、およびプログラム
CN108536679B (zh) * 2018-04-13 2022-05-20 腾讯科技(成都)有限公司 命名实体识别方法、装置、设备及计算机可读存储介质
CN109766540B (zh) * 2018-12-10 2022-05-03 平安科技(深圳)有限公司 通用文本信息提取方法、装置、计算机设备和存储介质
CN110377803B (zh) * 2019-06-14 2023-04-07 创新先进技术有限公司 信息处理方法以及装置

Also Published As

Publication number Publication date
CN111159377A (zh) 2020-05-15

Similar Documents

Publication Publication Date Title
CN111046133B (zh) 基于图谱化知识库的问答方法、设备、存储介质及装置
CN108829757B (zh) 一种聊天机器人的智能服务方法、服务器及存储介质
CN112533051B (zh) 弹幕信息显示方法、装置、计算机设备和存储介质
CN112257452B (zh) 情感识别模型的训练方法、装置、设备和存储介质
CN113590810B (zh) 摘要生成模型训练方法、摘要生成方法、装置及电子设备
CN112911326B (zh) 弹幕信息处理方法、装置、电子设备和存储介质
CN111985228A (zh) 文本关键词提取方法、装置、计算机设备和存储介质
Chou et al. Exploiting annotators’ typed description of emotion perception to maximize utilization of ratings for speech emotion recognition
CN112800184B (zh) 基于Target-Aspect-Opinion联合抽取的短文本评论情感分析方法
CN111159377B (zh) 属性召回模型训练方法、装置、电子设备以及存储介质
CN113094478B (zh) 表情回复方法、装置、设备及存储介质
CN112860865A (zh) 一种智能问答的实现方法、装置、设备及存储介质
CN115099239B (zh) 一种资源识别方法、装置、设备以及存储介质
CN111859940A (zh) 一种关键词提取方法、装置、电子设备及存储介质
CN111859925B (zh) 一种基于概率情感词典的情感分析***及方法
CN112084788B (zh) 一种影像字幕隐式情感倾向自动标注方法及***
CN117112743A (zh) 文本自动生成问题的可回答性评估方法、***及存储介质
CN114842982B (zh) 一种面向医疗信息***的知识表达方法、装置及***
CN113468311B (zh) 一种基于知识图谱的复杂问句问答方法、装置及存储介质
CN112364666B (zh) 文本表征方法、装置及计算机设备
CN113761126A (zh) 文本内容的识别方法、装置、设备及可读存储介质
CN111259650A (zh) 基于类标序列生成式对抗模型的文本自动生成方法
CN111159339A (zh) 一种文本匹配处理方法和装置
CN117931858B (zh) 数据查询方法、装置、计算机设备和存储介质
CN117611845B (zh) 多模态数据的关联识别方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant