CN118171727A - 三元组的生成方法、装置、设备、介质及程序产品 - Google Patents
三元组的生成方法、装置、设备、介质及程序产品 Download PDFInfo
- Publication number
- CN118171727A CN118171727A CN202410606522.XA CN202410606522A CN118171727A CN 118171727 A CN118171727 A CN 118171727A CN 202410606522 A CN202410606522 A CN 202410606522A CN 118171727 A CN118171727 A CN 118171727A
- Authority
- CN
- China
- Prior art keywords
- graph
- node
- embedded vector
- vector
- embedded
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 68
- 239000013598 vector Substances 0.000 claims abstract description 271
- 230000004931 aggregating effect Effects 0.000 claims abstract description 4
- 238000004590 computer program Methods 0.000 claims description 19
- 238000013528 artificial neural network Methods 0.000 claims description 18
- 230000006870 function Effects 0.000 claims description 16
- 230000008569 process Effects 0.000 claims description 14
- 238000012545 processing Methods 0.000 claims description 13
- 230000007246 mechanism Effects 0.000 claims description 11
- 230000002776 aggregation Effects 0.000 claims description 8
- 238000004220 aggregation Methods 0.000 claims description 8
- 238000013527 convolutional neural network Methods 0.000 claims description 7
- 230000004913 activation Effects 0.000 claims description 5
- 230000008859 change Effects 0.000 claims description 4
- 230000001131 transforming effect Effects 0.000 claims description 4
- 238000000605 extraction Methods 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 11
- 238000004891 communication Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Landscapes
- Machine Translation (AREA)
Abstract
本申请公开了一种三元组的生成方法、装置、设备、介质及程序产品,该方法包括:获取文本描述编码后的第一嵌入向量序列以及目标图节点的位置信息向量;对第一嵌入向量序列以及与目标图节点的位置信息向量进行编码,得到第二嵌入向量序列;针对每个目标图嵌入向量,分别执行以下操作A1~A2,得到第三嵌入向量序列:A1:对目标图嵌入向量对应的目标图节点的K阶邻域信息进行聚合,生成目标图节点的图节点邻域向量;A2:使用图节点邻域向量替换第二嵌入向量序列中对应的目标图嵌入向量;根据第二嵌入向量序列和第三嵌入向量序列,生成文本描述中包括的多元组。根据本申请实施例,能够增强模型对隐含在文本描述中的三元组或多元组的抽取能力。
Description
技术领域
本发明属于信息提取的技术领域,尤其涉及一种三元组的生成方法、装置、设备、介质及程序产品。
背景技术
三元组是指从非结构化数据中抽取出符合条件的一种信息组织形式,它通过“实体-关系-实体”或“实体-属性-属性值”的结构形式,能够清晰而精准地描绘出实体之间的关联关系。这种结构化的三元组能够协助问答***理解用户问题,并利用这些三元组数据进行高效的信息检索和回答生成。
当前,人工智能生成内容(Artificial Intelligence Generated Content,AIGC)语言模型多基于变换器(Transformer)架构,Transformer架构包括自注意力机制。Transformer架构通过其自身的自注意力机制,能够生成输入文本中蕴含的三元组。然而,输入文本包含的信息量非常有限,有限的文本可能不足以包含所有相关的实体和它们之间的关系,可能导致后续的问答***可能无法全面覆盖所有相关实体及其关系,导致生成的三元组数量和种类受限。
发明内容
本发明实施例提供一种三元组的生成方法、装置、设备、介质及程序产品,能够显著增强模型对隐含在文本中的三元组的抽取能力。
第一方面,本申请实施例提供一种三元组的生成方法,该方法包括:
获取文本描述编码后的第一嵌入向量序列以及第一嵌入向量序列中的文本嵌入向量在预设知识图谱中对应的目标图节点的位置信息向量;预设知识图谱包括多个图节点,每个图节点对应一个图嵌入向量;
对第一嵌入向量序列以及与目标图节点的位置信息向量进行编码,得到第二嵌入向量序列;
针对每个目标图嵌入向量,分别执行以下操作A1~A2,得到第三嵌入向量序列,目标图嵌入向量为目标图节点对应的图嵌入向量:
A1:利用图神经网络,对目标图嵌入向量对应的目标图节点的K阶邻域信息进行聚合,生成目标图节点的图节点邻域向量,K为大于0的正整数;
A2:使用图节点邻域向量替换第二嵌入向量序列中对应的目标图嵌入向量;
根据第二嵌入向量序列和第三嵌入向量序列,生成文本描述中包括的多元组。
作为一种可选的实现方式,获取文本描述编码后的第一嵌入向量序列以及第一嵌入向量序列中的文本嵌入向量在预设知识图谱中对应的目标图节点的位置信息向量,包括:
对文本描述进行编码,得到第一嵌入向量序列;
在预设知识图谱中查找与第一嵌入向量序列中的文本嵌入向量对应的目标图节点;
根据目标图节点在预设知识图谱中的位置信息进行编码,得到位置信息向量。
作为一种可选的实现方式,对目标图嵌入向量对应的目标图节点的K阶邻域信息进行聚合,生成目标图节点的图节点邻域向量,包括:
基于预设知识图谱,获取目标图节点的K阶子图;
基于图卷积神经网络和中心差异注意力机制对K阶子图进行聚合运算,得到目标图节点的图节点邻域向量。
作为一种可选的实现方式,基于预设知识图谱,获取目标图节点的K阶子图,包括:
以目标图节点作为K阶子图的中心节点;
根据K值,在预设知识图谱中查找中心节点的K阶邻居节点;
将K阶邻居节点以及中心节点和K阶邻居节点之间的边加入到K阶子图中,生成中心节点的K阶子图。
作为一种可选的实现方式,基于图卷积神经网络和中心差异注意力机制对K阶子图进行聚合运算,得到目标图节点的图节点邻域向量,包括:
根据以下公式计算目标图节点的图节点邻域向量/>:
式中,为/>的K阶子图,/>为K阶子图中/>的邻居节点,/>为K阶子图中/>的邻居节点,/>为/>的嵌入向量,/>为/>的嵌入向量,/>为/>的嵌入向量,/>为sigmoid函数,/>为指数函数,/>,/>和/>为可学习参数。
作为一种可选的实现方式,根据第二嵌入向量序列和第三嵌入向量序列,生成文本描述中包括的多元组,包括:
将第二嵌入向量序列和第三嵌入向量序列进行拼接,得到拼接结果;
通过图卷积神经网络的全链接层,将拼接结果变换成与第一嵌入向量序列具有相同数据长度的第四嵌入向量序列;
通过图卷积神经网络对第四嵌入向量序列进行线性变化和激活函数处理,生成文本描述中包括的多元组。
第二方面,本申请实施例提供了一种三元组的生成装置,该装置包括:
获取模块,用于获取文本描述编码后的第一嵌入向量序列以及第一嵌入向量序列中的文本嵌入向量在预设知识图谱中对应的目标图节点的位置信息向量;预设知识图谱包括多个图节点,每个图节点对应一个图嵌入向量;
编码模块,用于对第一嵌入向量序列以及与目标图节点的位置信息向量进行编码,得到第二嵌入向量序列;
处理模块,用于针对每个目标图嵌入向量,分别执行以下操作A1~A2,得到第三嵌入向量序列,目标图嵌入向量为目标图节点对应的图嵌入向量:
A1:利用图神经网络,对目标图嵌入向量对应的目标图节点的K阶邻域信息进行聚合,生成目标图节点的图节点邻域向量,K为大于0的正整数;
A2:使用图节点邻域向量替换第二嵌入向量序列中对应的目标图嵌入向量;
生成模块,用于根据第二嵌入向量序列和第三嵌入向量序列,生成文本描述中包括的多元组。
第三方面,本申请实施例提供了一种电子设备,该电子设备包括:处理器以及存储有计算机程序指令的存储器;
处理器执行计算机程序指令时实现如第一方面任意一项的三元组的生成方法。
第四方面,本申请实施例提供了一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序指令,该计算机程序指令被处理器执行时实现如第一方面任意一项的三元组的生成方法。
第五方面,本申请实施例提供了一种计算机程序产品,该计算机程序产品中的指令由电子设备的处理器执行时,使得电子设备执行如第一方面任意一项的三元组的生成方法。
本申请实施例的三元组的生成方法、装置、设备、介质及程序产品,能够通过查找第一嵌入向量序列中的文本嵌入向量在预设知识图谱中的对应的目标图节点,并依据这些目标图节点的K阶邻域信息来确定图节点邻域向量。然后,将这些图节点邻域向量替换至原始的第一嵌入向量序列中,能够高效地获取与文本描述相关的其他节点信息,有助于语言模型更准确地理解文本描述中所提及的元素在预设知识图谱中的位置和关系,进而使得三元组生成过程中,不仅考虑当前文本描述,还融合了与当前文本描述相关的上下文信息。利用预设知识图谱中的结构化信息来辅助文本描述理解,能够有效提升语言模型抽取文本描述中隐含三元组的能力。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对本申请实施例中所需要使用的附图作简单的介绍,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请一个实施例提供的三元组的生成方法的流程示意图;
图2是本申请实施例提供的S101的一种具体实现方式的流程示意图;
图3是本申请实施例提供的S103中A1的一种具体实现方式的流程示意图;
图4是本申请实施例提供的S1031的一种具体实现方式的流程示意图;
图5是本申请实施例提供的S104的一种具体实现方式的流程示意图;
图6是本申请一个实施例提供的三元组的生成装置的结构示意图;
图7是本申请一个实施例提供的电子设备的结构示意图。
具体实施方式
下面将详细描述本申请的各个方面的特征和示例性实施例,为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及具体实施例,对本申请进行进一步详细描述。应理解,此处所描述的具体实施例仅意在解释本申请,而不是限定本申请。对于本领域技术人员来说,本申请可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本申请的示例来提供对本申请更好的理解。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括……”限定的要素,并不排除在包括要素的过程、方法、物品或者设备中还存在另外的相同要素。
为了解决现有技术问题,本申请实施例提供了一种三元组的生成方法、装置、设备、介质及程序产品。下面首先对本申请实施例所提供的三元组的生成方法进行介绍。
图1是本申请一个实施例提供的三元组的生成方法100的流程示意图。该三元组的生成方法应用于AIGC语言模型。如图1所示,该三元组的生成方法可以包括以下步骤:S101~S104。
S101,获取文本描述编码后的第一嵌入向量序列以及第一嵌入向量序列中的文本嵌入向量在预设知识图谱中对应的目标图节点的位置信息向量;预设知识图谱包括多个图节点,每个图节点对应一个图嵌入向量。
S102,对第一嵌入向量序列以及与目标图节点的位置信息向量进行编码,得到第二嵌入向量序列。
S103,针对每个目标图嵌入向量,分别执行以下操作A1~A2,得到第三嵌入向量序列,目标图嵌入向量为目标图节点对应的图嵌入向量:
A1:利用图神经网络,对目标图嵌入向量对应的目标图节点的K阶邻域信息进行聚合,生成目标图节点的图节点邻域向量,K为大于0的正整数;
A2:使用图节点邻域向量替换第二嵌入向量序列中对应的目标图嵌入向量;
S104,根据第二嵌入向量序列和第三嵌入向量序列,生成文本描述中包括的多元组。
通过查找第一嵌入向量序列中的文本嵌入向量在预设知识图谱中的对应的目标图节点,并依据这些目标图节点的K阶邻域信息来确定图节点邻域向量。然后,将这些图节点邻域向量替换至原始的第一嵌入向量序列中,能够高效地获取与文本描述相关的其他节点信息,有助于语言模型更准确地理解文本描述中所提及的元素在预设知识图谱中的位置和关系,进而使得三元组生成过程中,不仅考虑当前文本描述,还融合了与当前文本描述相关的上下文信息。利用预设知识图谱中的结构化信息来辅助文本描述理解,能够有效提升语言模型抽取文本描述中隐含三元组的能力。
在一些实施例中,在S101中,文本描述可以是输入到AIGC语言模型中的一段自然语言文本,以利用人工智能生成内容的技术从给定的文本描述中识别和抽取出结构化的三元组信息。具体地,文本描述可以是一段话、一篇文章、一个句子或者任何其他形式的文本内容。第一嵌入向量序列是指通过AIGC语言模型的嵌入(Embedding)层处理后得到的一系列文本嵌入向量,其中每个文本嵌入向量代表文本描述中的一个单词或短语。
知识图谱是一种结构化的语义知识库,通过结构图的形式来表示实体以及这些实体之间的各种关系。具体地,可以包括多个图节点以及多个图节点之间的连接边,每个图节点对应一个图嵌入向量,以用于表征对应图节点的语义特征。在一些实施例中,知识图谱可以预先整合于AIGC语言模型中,使AIGC语言模型可以利用知识图谱中的信息来更好地理解文本描述中的实体和关系。知识图谱中目标图节点的位置信息通常通过目标图节点在知识图谱的图结构中的上下文信息获取,具体可以包括目标图节点的邻居节点、邻居节点的关系类型、目标图节点到每个邻居节点的路径。对目标图节点的位置信息进行编码得到目标图节点的位置信息向量。
图2是本申请实施例提供的S101的一种具体实现方式200的流程示意图。如图2所示,前述S101具体可以包括以下步骤:S1011~S1013。
S1011,对文本描述进行编码,得到第一嵌入向量序列。
在一些实施例中,S1011具体可以包括对输入的文本描述进行自然语言处理,包括分词、词性标注等,然后通过Embedding层将文本描述转换为第一嵌入向量序列。具体地,对于分词后的每个单词或者词语,Embedding层会查找或计算出一个对应的文本嵌入向量。再把所有的文本嵌入向量按文本描述的顺序组合起来,形成第一嵌入向量序列。
S1012,在预设知识图谱中查找与第一嵌入向量序列中的文本嵌入向量对应的目标图节点。
S1013,根据目标图节点在预设知识图谱中的位置信息进行编码,得到位置信息向量。
在一些实施例中,可以使用机器学习模型确定文本描述中生成的文本嵌入向量与预设知识图谱中的图嵌入向量之间的匹配度,进而找到与文本嵌入向量匹配的图嵌入向量,并获取该图嵌入向量在预设知识图谱中的位置信息,即获取目标图节点的位置信息,以生成对应的位置信息向量。
在此需要说明的是,可以基于每个图节点在知识图谱中的拓扑结构为知识图谱中的每个图节点分配一个唯一的结构位置编码。
通过将文本描述的第一嵌入向量序列与知识图谱的位置信息向量相结合,有助于将文本描述中的元素与知识图谱中的目标图节点进行有效的链接。
在一些实施例中,在S102中,在第一嵌入向量序列中与知识图谱中的目标图节点匹配的文本嵌入向量上增加该目标图节点对应的位置信息向量,得到初步编码结果,再将初步编码结果输入基于自注意力的Transformer变换器,Transformer变换器输出经过处理的新的嵌入向量序列,即第二嵌入向量序列。第二嵌入向量序列反映了文本描述的更深层次的语义特征和结构信息。
在此值得说明的是,Transformer变换器是一种基于自注意力机制的神经网络结构,其通过自注意力机制,能够使得序列中的每个嵌入向量都能够考虑到序列中的其他嵌入向量,从而捕获到较为丰富的上下文信息。通过Transformer变换器对第一嵌入向量序列进行变换和编码,能够生成更具表示能力的第二嵌入向量序列。
在一些实施例中,在S103中,目标图节点的K阶邻域信息是指目标节点在预设知识图谱中与目标图节点相邻的节点、边以及这些相邻节点的相邻节点等直到第K阶的节点信息,也即K阶邻域信息包括目标图节点周围的多层节点和边的信息,有助于AIGC语言模型更全面地理解目标图节点的语义和语境。
对K阶邻域信息进行聚合是指将目标节点的K阶邻域信息进行整合和汇总,以生成目标图节点的综合表示。通过聚合K阶邻域信息,并将K阶邻域信息对应的图节点邻域向量整合到第二嵌入向量序列中得到第三嵌入向量序列,使得第三嵌入向量序列能够捕获目标图节点对应的文本嵌入向量的多层次的上下文信息。
图3是本申请实施例提供的S103的一种具体实现方式300的流程示意图。如图3所示。前述A1具体可以包括以下步骤:S1031~S1032。
S1031,基于预设知识图谱,获取目标图节点的K阶子图。
其中,K阶子图是指以目标图节点为中心,向外扩展K层所得到的子图,这个子图包含了目标图节点及其K阶邻域内的所有节点和边。
图4是本申请实施例提供的S1031的一种具体实现方式400的流程示意图。如图4所示。前述S1031具体可以包括以下步骤:S1031a~S1031c。
S1031a,以目标图节点作为K阶子图的中心节点;
S1031b,根据K值,在预设知识图谱中查找中心节点的K阶邻居节点;
S1031c,将K阶邻居节点以及中心节点和K阶邻居节点之间的边加入到K阶子图中,生成中心节点的K阶子图。
在一些实施例中,在构建目标图节点的K阶子图时,将目标图节点作为参照点,根据预设的K值,在预设的知识图谱中搜索目标图节点的K阶邻居图节点。K阶邻居节点是指距离目标图节点K阶以内的所有图节点,这里的“阶”表示边的数量。将找到的K阶邻居节点以及中心节点和这些邻居节点之间的边加入到K阶子图中,实现K阶子图的构建。
S1032,基于图卷积神经网络和中心差异注意力机制对K阶子图进行聚合运算,得到目标图节点的图节点邻域向量。
其中,利用图卷积神经网络对目标图节点的K阶子图进行特征提取。图卷积神经网络能够捕捉K阶子图中所有图节点之间的连接关系,通过学习目标图节点及其邻居图节点的聚合特征,能够增强目标图节点的语义表示。进一步地,引入中心差异注意力机制,能够根据目标图节点与其邻居节点之间的特征差异,为不同的邻居节点分配不同的注意力权重,以使图节点邻域向量可以包括目标图节点自身的特征信息以及K阶子图内的结构化信息。
基于预设知识图谱获取目标图节点的K阶子图,并通过图卷积神经网络和中心差异注意力机制对其进行聚合运算,能够增强目标图节点的特征表示能力。并且,通过为不同的邻居节点分配不同的注意力权重,能够更准确地聚合目标图节点的邻居节点的信息,进而提升整体信息处理的准确性。
在一些实施例中,为了实现对图节点邻域向量的准确计算,可以根据以下公式计算目标图节点的图节点邻域向量/>:
式中,为/>的K阶子图,即/>在K阶子图中的K阶邻居节点集合,/>为K阶子图中/>的邻居节点,/>为K阶子图中/>的邻居节点,/>为/>的嵌入向量,/>为/>的嵌入向量,/>为/>的嵌入向量,/>为sigmoid函数,/>为指数函数,/>,/>和/>为可学习参数。
其中,可以从第二嵌入向量序列获取。
在一些实施例中,在S104中,通过结合文本嵌入向量和知识图谱的嵌入,使AIGC语言模型能够更准确地捕获文本描述中的深层语义信息和各个图节点之间的关联,以生成较为准确且丰富的多元组。
图5是本申请实施例提供的S104的一种具体实现方式500的流程示意图。为了生成较为准确且丰富的多元组。如图5所示。前述S104具体可以包括以下步骤:S1041~S1043。
S1041,将第二嵌入向量序列和第三嵌入向量序列进行拼接,得到拼接结果。
S1042,通过图卷积神经网络的全链接层,将拼接结果变换成与第一嵌入向量序列具有相同数据长度的第四嵌入向量序列。
在一些实施例中,通过将包含文本嵌入向量的第二嵌入向量序列以及包含图嵌入向量的第三嵌入向量序列进行拼接,实现文本嵌入向量和知识图谱的图嵌入向量的整合。然而,这可能会使得拼接结果的数据长度与原始的第一嵌入向量序列的数据长度不匹配。
基于此,可以通过一个全链接层对拼接结果进行变换,以将第二嵌入向量序列和第三嵌入向量序列进行融合和重新组合,并可以调整至与第一嵌入向量序列的数据长度相同的第四嵌入向量序列,使得第四嵌入向量序列能够适应后续的语言模型处理。
S1043,通过图卷积神经网络对第四嵌入向量序列进行线性变化和激活函数处理,生成文本描述中包括的多元组。
利用图卷积神经网络对第四嵌入向量序列进行线性变换和激活函数处理,以更为精细地捕捉文本描述中实体与关系之间的深层交互,提升模型对于文本描述中隐含的多元关系的理解,从而能够更准确地生成和预测多元组。
基于上述实施例提供的三元组的生成方法,相应地,本申请还提供了三元组的生成装置的具体实现方式。请参见以下实施例。
首先参见图6,本申请实施例提供的三元组的生成装置600具体可以包括:
获取模块601,用于获取文本描述编码后的第一嵌入向量序列以及第一嵌入向量序列中的文本嵌入向量在预设知识图谱中对应的目标图节点的位置信息向量;预设知识图谱包括多个图节点,每个图节点对应一个图嵌入向量;
编码模块602,用于对第一嵌入向量序列以及与目标图节点的位置信息向量进行编码,得到第二嵌入向量序列;
处理模块603,用于针对每个目标图嵌入向量,分别执行以下操作A1~A2,得到第三嵌入向量序列,目标图嵌入向量为目标图节点对应的图嵌入向量:
A1:利用图神经网络,对目标图嵌入向量对应的目标图节点的K阶邻域信息进行聚合,生成目标图节点的图节点邻域向量,K为大于0的正整数;
A2:使用图节点邻域向量替换第二嵌入向量序列中对应的目标图嵌入向量;
生成模块604,用于根据第二嵌入向量序列和第三嵌入向量序列,生成文本描述中包括的多元组。
本申请实施例通过获取模块601获取第一嵌入向量序列中的文本嵌入向量在预设知识图谱中的对应的目标图节点。然后,处理模块603能够依据这些目标图节点的K阶邻域信息来确定它们的图节点邻域向量,并将这些图节点邻域向量替换至原始的第一嵌入向量序列中,能够高效地获取与文本描述相关的其他节点信息。进一步地,生成模块604通过第二嵌入向量序列和第三嵌入向量序列能够高效地获取与文本描述相关的其他节点信息,有助于语言模型更准确地理解文本描述中所提及的元素在预设知识图谱中的位置和关系,进而使得三元组生成过程中,不仅考虑当前文本描述,还融合了与当前文本描述相关的上下文信息。利用预设知识图谱中的结构化信息来辅助文本描述理解,能够有效提升语言模型抽取文本描述中隐含三元组的能力。
为了提高位置信息向量确定的准确性。前述的获取模块601可以包括:
第一编码子模块,用于对文本描述进行编码,得到第一嵌入向量序列;
查找子模块,用于在预设知识图谱中查找与第一嵌入向量序列中的文本嵌入向量对应的目标图节点;
第二编码子模块,用于根据目标图节点在预设知识图谱中的位置信息进行编码,得到位置信息向量。
为了准确获取目标图节点的图节点邻域向量。前述的处理模块603可以包括:
获取子模块,用于基于预设知识图谱,获取目标图节点的K阶子图;
确定子模块,用于基于图卷积神经网络和中心差异注意力机制对K阶子图进行聚合运算,得到目标图节点的图节点邻域向量。
为了提高K阶子图确定的效率和准确性。前述的获取子模块可以包括:
确定单元,用于以目标图节点作为K阶子图的中心节点;
查找单元,用于根据K值,在预设知识图谱中查找中心节点的K阶邻居节点;
生成单元,用于将K阶邻居节点以及中心节点和K阶邻居节点之间的边加入到K阶子图中,生成中心节点的K阶子图。
为了提高目标图节点的图节点邻域向量确定的准确性。前述的确定子模块可以用于根据以下公式计算目标图节点的图节点邻域向量/>:
式中,为/>的K阶子图,即/>在K阶子图中的K阶邻居节点集合,/>为K阶子图中/>的邻居节点,/>为K阶子图中/>的邻居节点,/>为/>的嵌入向量,/>为/>的嵌入向量,/>为/>的嵌入向量,/>为sigmoid函数,/>为指数函数,/>,/>和/>为可学习参数。
为了生成较为准确且丰富的三元组。前述的生成模块604可以包括:
拼接子模块,用于将第二嵌入向量序列和第三嵌入向量序列进行拼接,得到拼接结果;
变换子模块,用于通过图卷积神经网络的全链接层,将拼接结果变换成与第一嵌入向量序列具有相同数据长度的第四嵌入向量序列;
生成子模块,用于通过图卷积神经网络对第四嵌入向量序列进行线性变化和激活函数处理,生成文本描述中包括的多元组。
图7是本申请一个实施例提供的电子设备700的结构示意图。
该电子设备可以包括处理器701以及存储有计算机程序指令的存储器702。
具体地,上述处理器701可以包括中央处理器(CPU),或者特定集成电路(Application Specific Integrated Circuit ,ASIC),或者可以被配置成实施本申请实施例的一个或多个集成电路。
存储器702可以包括用于数据或指令的大容量存储器。举例来说而非限制,存储器702可包括硬盘驱动器(Hard Disk Drive,HDD)、软盘驱动器、闪存、光盘、磁光盘、磁带或通用串行总线(Universal Serial Bus,USB)驱动器或者两个或更多个以上这些的组合。在合适的情况下,存储器702可包括可移除或不可移除(或固定)的介质。在合适的情况下,存储器702可在综合网关容灾设备的内部或外部。在特定实施例中,存储器702是非易失性固态存储器。
存储器702可包括只读存储器(ROM),随机存取存储器(RAM),磁盘存储介质设备,光存储介质设备,闪存设备,电气、光学或其他物理/有形的存储器存储设备。因此,通常,存储器702包括一个或多个编码有包括计算机可执行指令的软件的有形(非暂态)计算机可读存储介质(例如,存储器设备),并且当该软件被执行(例如,由一个或多个处理器)时,其可操作来执行参考根据本公开的一方面的方法所描述的操作。
处理器701通过读取并执行存储器702中存储的计算机程序指令,以实现上述实施例中的任意一种三元组的生成方法。
在一个示例中,前述电子设备还可包括通信接口703和总线710。其中,如图7所示,处理器701、存储器702、通信接口703通过总线710连接并完成相互间的通信。
通信接口703,主要用于实现本申请实施例中各模块、装置、单元和/或设备之间的通信。
总线710包括硬件、软件或两者,将电子设备的部件彼此耦接在一起。举例来说而非限制,总线710可包括加速图形端口(AGP)或其他图形总线、增强工业标准架构(EISA)总线、前端总线(FSB)、超传输(HT)互连、工业标准架构(ISA)总线、无限带宽互连、低引脚数(LPC)总线、存储器总线、微信道架构(MCA)总线、***组件互连(PCI)总线、PCI-Express(PCI-X)总线、串行高级技术附件(SATA)总线、视频电子标准协会局部(VLB)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下,总线710可包括一个或多个总线。尽管本申请实施例描述和示出了特定的总线,但本申请考虑任何合适的总线或互连。
该电子设备可以执行本申请实施例中的三元组的生成方法,从而实现结合图1和图6描述的三元组的生成方法和装置。
另外,结合上述实施例中的三元组的生成方法,本申请实施例可提供一种计算机存储介质来实现。该计算机存储介质上存储有计算机程序指令;该计算机程序指令被处理器执行时实现上述实施例中的任意一种三元组的生成方法。
本申请实施例还提供了一种计算机程序产品,该计算机程序产品包括计算机程序,该计算机程序被处理其执行时实现前述的三元组的生成方法。
需要明确的是,本申请并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见,这里省略了对已知方法的详细描述。在上述实施例中,描述和示出了若干具体的步骤作为示例。但是,本申请的方法过程并不限于所描述和示出的具体步骤,本领域的技术人员可以在领会本申请的精神后,作出各种改变、修改和添加,或者改变步骤之间的顺序。
以上的结构框图中所示的功能块可以实现为硬件、软件、固件或者它们的组合。当以硬件方式实现时,其可以例如是电子电路、专用集成电路(ASIC)、适当的固件、插件、功能卡等等。当以软件方式实现时,本申请的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中,或者通过载波中携带的数据信号在传输介质或者通信链路上传送。“机器可读介质”可以包括能够存储或传输信息的任何介质。机器可读介质的例子包括电子电路、半导体存储器设备、ROM、闪存、可擦除ROM(EROM)、软盘、CD-ROM、光盘、硬盘、光纤介质、射频(RF)链路,等等。代码段可以经由诸如因特网、内联网等的计算机网络被下载。
还需要说明的是,本申请中提及的示例性实施例,基于一系列的步骤或者装置描述一些方法或***。但是,本申请不局限于上述步骤的顺序,也就是说,可以按照实施例中提及的顺序执行步骤,也可以不同于实施例中的顺序,或者若干步骤同时执行。
上面参考根据本公开的实施例的方法、装置(***)和计算机程序产品的流程图和/或框图描述了本公开的各方面。应当理解,流程图和/或框图中的每个方框以及流程图和/或框图中各方框的组合可以由计算机程序指令实现。这些计算机程序指令可被提供给通用计算机、专用计算机、或其它可编程数据处理装置的处理器,以产生一种机器,使得经由计算机或其它可编程数据处理装置的处理器执行的这些指令使能对流程图和/或框图的一个或多个方框中指定的功能/动作的实现。这种处理器可以是但不限于是通用处理器、专用处理器、特殊应用处理器或者现场可编程逻辑电路。还可理解,框图和/或流程图中的每个方框以及框图和/或流程图中的方框的组合,也可以由执行指定的功能或动作的专用硬件来实现,或可由专用硬件和计算机指令的组合来实现。
以上所述,仅为本申请的具体实施方式,所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,上述描述的***、模块和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。应理解,本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到各种等效的修改或替换,这些修改或替换都应涵盖在本申请的保护范围之内。
Claims (10)
1.一种三元组的生成方法,其特征在于,包括:
获取文本描述编码后的第一嵌入向量序列以及所述第一嵌入向量序列中的文本嵌入向量在预设知识图谱中对应的目标图节点的位置信息向量;所述预设知识图谱包括多个图节点,每个所述图节点对应一个图嵌入向量;
对所述第一嵌入向量序列以及与所述目标图节点的位置信息向量进行编码,得到第二嵌入向量序列;
针对每个目标图嵌入向量,分别执行以下操作A1~A2,得到第三嵌入向量序列,所述目标图嵌入向量为所述目标图节点对应的图嵌入向量:
A1:利用图神经网络,对所述目标图嵌入向量对应的目标图节点的K阶邻域信息进行聚合,生成所述目标图节点的图节点邻域向量,K为大于0的正整数;
A2:使用所述图节点邻域向量替换所述第二嵌入向量序列中对应的目标图嵌入向量;
根据所述第二嵌入向量序列和所述第三嵌入向量序列,生成所述文本描述中包括的多元组。
2.根据权利要求1所述的方法,其特征在于,所述获取文本描述编码后的第一嵌入向量序列以及所述第一嵌入向量序列中的文本嵌入向量在预设知识图谱中对应的目标图节点的位置信息向量,包括:
对文本描述进行编码,得到第一嵌入向量序列;
在预设知识图谱中查找与所述第一嵌入向量序列中的文本嵌入向量对应的目标图节点;
根据所述目标图节点在预设知识图谱中的位置信息进行编码,得到位置信息向量。
3.根据权利要求1所述的方法,其特征在于,所述对所述目标图嵌入向量对应的目标图节点的K阶邻域信息进行聚合,生成所述目标图节点的图节点邻域向量,包括:
基于预设知识图谱,获取所述目标图节点的K阶子图;
基于图卷积神经网络和中心差异注意力机制对所述K阶子图进行聚合运算,得到所述目标图节点的图节点邻域向量。
4.根据权利要求3所述的方法,其特征在于,所述基于预设知识图谱,获取所述目标图节点的K阶子图,包括:
以所述目标图节点作为K阶子图的中心节点;
根据K值,在所述预设知识图谱中查找所述中心节点的K阶邻居节点;
将所述K阶邻居节点以及所述中心节点和所述K阶邻居节点之间的边加入到所述K阶子图中,生成所述中心节点的K阶子图。
5.根据权利要求3所述的方法,其特征在于,所述基于图卷积神经网络和中心差异注意力机制对所述K阶子图进行聚合运算,得到所述目标图节点的图节点邻域向量,包括:
根据以下公式计算目标图节点的图节点邻域向量/>:
式中,为/>的K阶子图,/>为K阶子图中/>的邻居节点,/>为K阶子图中/>的邻居节点,/>为/>的嵌入向量,/>为/>的嵌入向量,/>为/>的嵌入向量,/>为sigmoid函数,/>为指数函数,/>,/>和/>为可学习参数。
6.根据权利要求1-5任一项所述的方法,其特征在于,所述根据所述第二嵌入向量序列和所述第三嵌入向量序列,生成所述文本描述中包括的多元组,包括:
将所述第二嵌入向量序列和所述第三嵌入向量序列进行拼接,得到拼接结果;
通过图卷积神经网络的全链接层,将所述拼接结果变换成与所述第一嵌入向量序列具有相同数据长度的第四嵌入向量序列;
通过所述图卷积神经网络对所述第四嵌入向量序列进行线性变化和激活函数处理,生成所述文本描述中包括的多元组。
7.一种三元组的生成装置,其特征在于,所述装置包括:
获取模块,用于获取文本描述编码后的第一嵌入向量序列以及所述第一嵌入向量序列中的文本嵌入向量在预设知识图谱中对应的目标图节点的位置信息向量;所述预设知识图谱包括多个图节点,每个所述图节点对应一个图嵌入向量;
编码模块,用于对所述第一嵌入向量序列以及与所述目标图节点的位置信息向量进行编码,得到第二嵌入向量序列;
处理模块,用于针对每个目标图嵌入向量,分别执行以下操作A1~A2,得到第三嵌入向量序列,所述目标图嵌入向量为所述目标图节点对应的图嵌入向量:
A1:利用图神经网络,对所述目标图嵌入向量对应的目标图节点的K阶邻域信息进行聚合,生成所述目标图节点的图节点邻域向量,K为大于0的正整数;
A2:使用所述图节点邻域向量替换所述第二嵌入向量序列中对应的目标图嵌入向量;
生成模块,用于根据所述第二嵌入向量序列和所述第三嵌入向量序列,生成所述文本描述中包括的多元组。
8.一种电子设备,其特征在于,所述设备包括:处理器以及存储有计算机程序指令的存储器;
所述处理器执行所述计算机程序指令时实现如权利要求1-6任意一项所述的三元组的生成方法。
9.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序指令,所述计算机程序指令被处理器执行时实现如权利要求1-6任意一项所述的三元组的生成方法。
10.一种计算机程序产品,其特征在于,所述计算机程序产品中的指令由电子设备的处理器执行时,使得所述电子设备执行如权利要求1-6任意一项所述的三元组的生成方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410606522.XA CN118171727A (zh) | 2024-05-16 | 2024-05-16 | 三元组的生成方法、装置、设备、介质及程序产品 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410606522.XA CN118171727A (zh) | 2024-05-16 | 2024-05-16 | 三元组的生成方法、装置、设备、介质及程序产品 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN118171727A true CN118171727A (zh) | 2024-06-11 |
Family
ID=91349097
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410606522.XA Pending CN118171727A (zh) | 2024-05-16 | 2024-05-16 | 三元组的生成方法、装置、设备、介质及程序产品 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN118171727A (zh) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112214608A (zh) * | 2020-09-21 | 2021-01-12 | 清华大学 | 基于知识推理的文本生成方法、介质、装置和计算设备 |
CN112528035A (zh) * | 2020-07-22 | 2021-03-19 | 中国人民解放军国防科技大学 | 基于关系注意力的知识图谱推理方法、装置和计算机设备 |
WO2021096009A1 (ko) * | 2019-11-15 | 2021-05-20 | 숭실대학교산학협력단 | 릴레이션 네트워크에 기반한 지식 보완 방법 및 장치 |
WO2022022045A1 (zh) * | 2020-07-27 | 2022-02-03 | 平安科技(深圳)有限公司 | 基于知识图谱的文本比对方法、装置、设备及存储介质 |
CN116467466A (zh) * | 2023-04-18 | 2023-07-21 | 平安科技(深圳)有限公司 | 基于知识图谱的编码推荐方法、装置、设备及介质 |
CN117252264A (zh) * | 2023-11-20 | 2023-12-19 | 神思电子技术股份有限公司 | 一种结合语言模型与图神经网络的关系抽取方法 |
-
2024
- 2024-05-16 CN CN202410606522.XA patent/CN118171727A/zh active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021096009A1 (ko) * | 2019-11-15 | 2021-05-20 | 숭실대학교산학협력단 | 릴레이션 네트워크에 기반한 지식 보완 방법 및 장치 |
CN112528035A (zh) * | 2020-07-22 | 2021-03-19 | 中国人民解放军国防科技大学 | 基于关系注意力的知识图谱推理方法、装置和计算机设备 |
WO2022022045A1 (zh) * | 2020-07-27 | 2022-02-03 | 平安科技(深圳)有限公司 | 基于知识图谱的文本比对方法、装置、设备及存储介质 |
CN112214608A (zh) * | 2020-09-21 | 2021-01-12 | 清华大学 | 基于知识推理的文本生成方法、介质、装置和计算设备 |
CN116467466A (zh) * | 2023-04-18 | 2023-07-21 | 平安科技(深圳)有限公司 | 基于知识图谱的编码推荐方法、装置、设备及介质 |
CN117252264A (zh) * | 2023-11-20 | 2023-12-19 | 神思电子技术股份有限公司 | 一种结合语言模型与图神经网络的关系抽取方法 |
Non-Patent Citations (3)
Title |
---|
KRISHANU MAITY 等: "MTBullyGNN: A Graph Neural Network-Based Multitask Framework for Cyberbullying Detection", 《EEE TRANSACTIONS ON COMPUTATIONAL SOCIAL SYSTEMS》, 29 February 2024 (2024-02-29), pages 849 - 858 * |
沈冬东;汪海涛;姜瑛;陈星;: "基于知识图谱嵌入与多神经网络的序列推荐算法", 计算机工程与科学, no. 09, 15 September 2020 (2020-09-15), pages 144 - 152 * |
黄培馨;赵翔;方阳;朱慧明;肖卫东;: "融合对抗训练的端到端知识三元组联合抽取", 计算机研究与发展, no. 12, 15 December 2019 (2019-12-15), pages 20 - 32 * |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113313022B (zh) | 文字识别模型的训练方法和识别图像中文字的方法 | |
CN113627447B (zh) | 标签识别方法、装置、计算机设备、存储介质及程序产品 | |
CN111767796B (zh) | 一种视频关联方法、装置、服务器和可读存储介质 | |
CN112580328A (zh) | 事件信息的抽取方法及装置、存储介质、电子设备 | |
CN112632314A (zh) | 一种图像检索方法、***、设备以及介质 | |
CN113076720B (zh) | 长文本的分段方法及装置、存储介质、电子装置 | |
CN115759254A (zh) | 基于知识增强生成式语言模型的问答方法、***及介质 | |
CN115438169A (zh) | 一种文本与视频的互检方法、装置、设备及存储介质 | |
CN116955644A (zh) | 基于知识图谱的知识融合方法、***及存储介质 | |
CN116644180A (zh) | 文本匹配模型的训练方法、训练***和文本标签确定方法 | |
CN116029290A (zh) | 文本匹配方法、装置、设备、介质及产品 | |
CN111104520A (zh) | 一种基于人物身份的人物实体链接方法 | |
CN111144575A (zh) | 舆情预警模型的训练方法、预警方法、装置、设备及介质 | |
CN118171727A (zh) | 三元组的生成方法、装置、设备、介质及程序产品 | |
CN112541357B (zh) | 实体识别方法、装置及智能设备 | |
CN112182164B (zh) | 一种高维数据特征处理方法及*** | |
CN114817562A (zh) | 知识图谱的构建方法、训练方法、信息推荐方法及装置 | |
CN114239606A (zh) | 一种信息处理方法、装置、设备及计算机存储介质 | |
CN114036283A (zh) | 一种文本匹配的方法、装置、设备和可读存储介质 | |
CN114492452A (zh) | 一种预训练语言模型的训练、诉求转接方法、装置和设备 | |
CN113919338A (zh) | 处理文本数据的方法及设备 | |
CN112464087A (zh) | 推荐概率的输出方法及装置、存储介质、电子设备 | |
CN111460214A (zh) | 分类模型训练方法、音频分类方法、装置、介质及设备 | |
CN113836907B (zh) | 文本聚类图片识别方法、装置和*** | |
CN114492457B (zh) | 语义识别方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |