CN113722510A - 一种基于图神经网络的知识图谱复杂问题生成方法及*** - Google Patents
一种基于图神经网络的知识图谱复杂问题生成方法及*** Download PDFInfo
- Publication number
- CN113722510A CN113722510A CN202111068700.0A CN202111068700A CN113722510A CN 113722510 A CN113722510 A CN 113722510A CN 202111068700 A CN202111068700 A CN 202111068700A CN 113722510 A CN113722510 A CN 113722510A
- Authority
- CN
- China
- Prior art keywords
- graph
- node
- knowledge
- subgraph
- nodes
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 57
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 39
- 239000013598 vector Substances 0.000 claims abstract description 75
- 230000007246 mechanism Effects 0.000 claims abstract description 28
- 238000001228 spectrum Methods 0.000 claims abstract description 16
- 230000010076 replication Effects 0.000 claims abstract description 10
- 238000004364 calculation method Methods 0.000 claims description 18
- 239000011159 matrix material Substances 0.000 claims description 17
- 230000008569 process Effects 0.000 claims description 14
- 230000004913 activation Effects 0.000 claims description 7
- 238000013507 mapping Methods 0.000 claims description 6
- 239000000126 substance Substances 0.000 claims description 6
- 235000008694 Humulus lupulus Nutrition 0.000 claims description 3
- 238000003058 natural language processing Methods 0.000 abstract description 2
- 230000006870 function Effects 0.000 description 15
- 230000007774 longterm Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000002457 bidirectional effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000012458 free base Substances 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000000547 structure data Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
- G06F16/367—Ontology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/332—Query formulation
- G06F16/3329—Natural language query formulation or dialogue systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/3331—Query processing
- G06F16/334—Query execution
- G06F16/3346—Query execution using probabilistic model
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Databases & Information Systems (AREA)
- Artificial Intelligence (AREA)
- Biophysics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Human Computer Interaction (AREA)
- Probability & Statistics with Applications (AREA)
- Animal Behavior & Ethology (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Machine Translation (AREA)
Abstract
本发明公开了一种基于图神经网络的知识图谱复杂问题生成方法及***,属于自然语言处理领域。所述方法包括将输入的带权值的知识图谱子图进行重构,转换成有向无权的知识图谱子图;初始化所述有向无权的知识图谱子图中的向量表示;利用Bi‑MHDGT图神经网络对知识图谱子图进行编码,结合知识图谱子图结构信息更新节点的向量表示;根据更新后的节点向量表示,使用GRU网络进行解码,并使用注意力机制和复制机制,生成复杂问题。本发明方法能有效提升对输入知识图谱子图的编码能力,准确提取生成问题所需的复杂关系信息,实现生成复杂问题的目的。
Description
技术领域
本发明属于自然语言处理领域,具体涉及一种基于图神经网络的知识图谱复杂问题生成方法及***。
背景技术
随着万维网技术的飞速发展,互联网上的网页数量呈几何倍数的增长。借助互联网,人们能够更加便捷地获取大量网页信息,但是传统的万维网缺乏对网页的形式化组织,没有明确的语义信息,使得计算机难以理解这些信息,人们也无法有效从海量的信息中获取所需信息。为此Google于2012年提出了知识图谱(KnowledgeGraph,KG)的概念,将知识结构化表示成形式为<头实体,关系,尾实体>的三元组数据,如<奥巴马,妻子,米歇尔>,并通过融合基于知识图谱的问答技术提升搜索引擎的能力,使人与计算机更好地协同。基于知识图谱的问答技术广泛应用于现有主流搜索引擎,对用户搜索的问题实现精准返回所需信息,以更友好的方式满足用户的需求,在不需要学习SPARQL等复杂查询语言的情况下,以一种可访问的、自然的方式从知识图谱中检索问题。但是现有基于知识图谱的问答无法回答“奥巴马的妻子毕业于哪所学校?”这种包含多跳关系的复杂问题。这主要是因为相关数据集的缺失,限制了复杂问题的知识图谱问答研究的进展,而标注这类复杂数据需要大量人力物力,难以得到足够规模的高质量问答数据集。这使得本发明提出的知识图谱复杂问题生成具有重要意义,可以用于大规模自动构建复杂问题数据集。
基于知识图谱的问题生成(Question Generation over Knowledge Graph,KGQG)以知识图谱(Knowledge Graph,KG)子图和目标答案实体作为输入,目标生成可以被给定知识图谱子图回答,并以给定目标答案实体为答案的自然语言表述问题。知识图谱复杂问题生成基于一个更符合实际情况的设定,认为输入知识图谱子图可以包含多个三元组,而以往基于单个三元组生成问题属于知识图谱问题生成任务的一种特殊情况。知识图谱复杂问题生成更具有普适性,囊括知识图谱问题生成任务的各种情况。而在复杂问题场景,输入的知识图谱子图为复杂的非欧式空间结构数据,现有大部分方法将子图转化成序列进行处理,无法有效编码子图的结构信息。少部分通过图神经网络的方法也无法有效学习节点之间的长期依赖关系,无法有效编码子图中涉及的多跳关系,无法确保生成问题包含期望的复杂关系。
发明内容
技术问题:针对知识图谱复杂问题生成的研究,难以有效编码输入的知识图谱子图,生成包含复杂关系信息的问题,提供一种基于图神经网络的知识图谱复杂问题生成方法及***。
技术方案:一方面,本发明提供一种基于图神经网络的知识图谱复杂问题生成方法,包括:
S1:将输入的带权值的知识图谱子图进行重构,转换成有向无权的知识图谱子图;
S2:初始化所述有向无权的知识图谱子图中的向量表示;
S3:利用Bi-MHDGT图神经网络对知识图谱子图进行编码,结合知识图谱子图结构信息更新节点的向量表示;
S4:根据更新后的节点向量表示,使用GRU网络进行解码,并使用注意力机制和复制机制,生成复杂问题。
进一步地,所述步骤S1中将带权值的知识图谱子图进行重构,转换成有向无权的知识图谱子图的方法包括:
将带属性的关系边转化成为一个节点,同时添加两条有向边连接头实体节点和尾实体节点;
添加全局关系节点,并通过边连接所有关系节点;
对每个节点增加自循环边连接自身。
进一步地,所述步骤S2中初始化所述有向无权的知识图谱子图中的向量表示的方法包括:对知识图谱中的实体节点和关系节点进行初始化向量表示。
进一步地,对知识图谱中的实体节点进行初始化向量表示的方法为:
通过一个可学习的嵌入表示矩阵Eentity将实体节点映射为向量;
使用one-hot向量标记实体节点中的答案实体,再通过另一个嵌入表示矩阵Eanswer将该one-hot向量映射为与Eentity维度相同的向量,然后相加得到实体节点的初始化向量表示。
进一步地,对知识图谱的关系节点进行初始化向量表示的方法为:
将关系节点包含的领域、类型和主题信息表示成一个序列{r1,r2,r3},然后使用Bi-GRU网络对其进行编码,计算过程如下:
进一步地,所述步骤S3中利用Bi-MHDGT图神经网络对知识图谱子图进行编码,结合知识图谱子图结构信息更新节点的向量表示的方法为:
根据子图的邻接矩阵信息,在图神经网络的每一层,节点能根据经过该层层数以内跳数的节点的信息更新表示,并引入额外的嵌入表示向量标识不同节点之间的距离;其中,子图中节点i的更新方式为:
其中,hopij表示节点i和节点j之间跳数的向量表示,和Wk是可学习的参数矩阵,softmax是激活函数,最后αij计算过程包括两部分,(a)部分与Transformer网络的注意力计算过程一致,(b)部分表示节点i对节点j的关系偏向;
分别对节点的出边和入边编码得到节点的出边编码和入边编码;
最后经过L层图神经网络的编码,得到子图节点的表示。
进一步地,所述步骤S4中根据更新后的节点向量表示,使用GRU网络进行解码,并使用注意力机制和复制机制,生成复杂问题的方法包括:
使用GRU网络进行解码,生成问题文本序列,GRU的初始隐藏状态为全局关系的向量表示,在每一个时间步t根据当前输入和编码器输出的节点向量表示H预测当前时间步的输出,其初始输入为自定义标识符“sos”,后续时间步的输入为前一个时间步的输出yt-1;
利用注意力机制,在每一个时间步解码器注意到编码器输出的H={h1,h2,...,hN}中不同信息,得到当前时间步的上下文信息向量ct,计算公式如下:
其中,αtj的计算公式如下:
然后,预测词典分布Pvocab,公式如下所示:
Pvocab=softmax(tanh(W*[st||ct||yt-1]+b)
其中,W和b是可学习参数,tanh是激活函数;
然后,确定当前时间步生成问题词语的概率分布:
p(yt|y<t)=pgen*Pvocab+(1-pgen)*Pcopy
其中,pgen表示直接从词典中生成当前时间步的生成问题词语的概率,Pcopy表示利用复制机制从输入子图中复制一个节点当作当前时间步的生成问题词语的概率;
最后,通过softmax函数求得概率最高的词语作为时间步输出的yt。
进一步地,所述方法还包括对步骤S1~S4所构成的模型进行优化,优化的方法为,定义损失函数,通过最小化损失函数,使得模型达到最优。
进一步地,所述的损失函数为:
另一方面,本发明提供一种基于图神经网络的知识图谱复杂问题生成***,用于实现所述的基于图神经网络的知识图谱复杂问题生成方法,包括:
重构单元,用于将输入的带权值的知识图谱子图进行重构,转换成有向无权的知识图谱子图;
初始化单元,用于初始化所述有向无权的知识图谱子图中的向量表示;
编码单元,用于利用Bi-MHDGT图神经网络对知识图谱子图进行编码,结合知识图谱子图结构信息更新节点的向量表示;
生成单元,用于根据更新后的节点向量表示,使用GRU网络进行解码,并使用注意力机制和复制机制,生成复杂问题。
有益效果:相比于现有的知识图谱问题生成方法,本发明考虑到了针对复杂问题情况,设计了一种基于图神经网络方法,能在有效利用输入子图的结构信息的同时,学习节点之间的长期依赖信息,提升对多跳复杂关系的提取能力;另外通过在解码过程中使用注意力机制和复制机制,能够解决知识图谱问题生成任务中普遍存在的未登录词问题。
并且,经实验验证,本发明提出的图神经网络方法能有效提升对知识图谱复杂问题场景输入子图的编码能力,有效提取生成问题所需的关系信息,保证了生成问题的复杂性。另外,在解码过程使用注意力机制和复制机制,有效解决未登录词问题,可以生成更高质量的问题,包含期望的复杂关系。
附图说明
图1为本发明的实施例中基于图神经网络的知识图谱复杂问题生成方法的流程图;
图2为本发明的实施例中知识图谱复杂问题任务实施示例图;
图3为本发明的实施例中输入知识图谱子图重构示例。
具体实施方式
下面结合实施例和说明书附图对本发明作进一步的说明。图1示出了本发明的一个实施例中基于图神经网络的知识图谱复杂问题生成方法的流程图方法的流程图,结合图1所示,本发明的方法包括以下步骤:
S1:将输入的带权值的知识图谱子图进行重构,转换成有向无权的知识图谱子图;
结合图2所示的示例中,输入子图多个三元组构成,每个三元组可以表示为<subject,predicate,object>,分别表示主语、谓语、宾语,主语和宾语作为实体(entity)节点,而关系(谓语)作为边连接实体节点,构成一个子图其中V是实体节点集合,E是关系边集合。该子图为带权值图,而现有的大多数图神经网络对这种图编码时边将有相同的向量表示。实际上,关系边所具有的隐藏信息应该是跟它在图中所处的位置有关的。
根据给定不同答案,可以生成不同问题,如给定答案实体“MichelleObama”可以生成问题“Whois Barack Obama’s wife?”。在知识图谱复杂问题生成场景,输入子图为带权值图,而现有图神经网络无法有效处理,为此,本发明的实施例中在对子图编码之前先将子图重构为有向无权图。
子图重构的思路如图3所示,左侧的带权值图重构为如右侧所示有向无权图。具体方法为:将带属性的关系边转化成为一个节点,同时添加两条有向边连接头实体节点和尾实体节点;添加全局关系节点“global”,并通过边连接所有关系节点,用来聚集问题生成所需的多跳复杂关系信息;同时为了让节点能够结合自身信息,对每一个节点都添加一条自循环边。
S2:初始化所述有向无权的知识图谱子图中的向量表示;
重构后的子图可以表示为其中V={v1,v2,...,vN},N是节点的数目,调整顺序让V1表示全局关系节点。是邻接矩阵,记录子图N个节点之间的连通关系。在本发明的实施例中,对于知识图谱子图中的实体节点,通过一个可学习的嵌入表示矩阵Eentity将实体节点映射为向量xe,同时使用one-hot向量标记实体节点中的答案实体,再通过另一个嵌入表示矩阵Eanswer将该one-hot向量映射为与Xe维度相同的向量Xa,然后相加得到实体节点最终初始化向量表示。
对于知识图谱子图中的关系节点,将关系节点包含的领域、类型和主题信息表示成一个序列{r1,r2,r3},如关系谓词“spouse”在Freebase知识图谱中对应“people.marriage.spouse”,包含“人”、“婚姻”和“配偶”三部分信息,可以表示为序列{people,marriage,spouse},然后使用Bi-GRU网络对其进行编码,计算过程如下:
其中和分别表示前向GRU和后向GRU网络的时间步t隐藏状态,最后将前向GRU网络和后向GRU的最后隐藏状态串联结果作为关系节点的初始化向量表示,即最后节点的向量表示初始化为X=Xa+Xe+Xr,作为后续图神经网络的输入。
S3:利用Bi-MHDGT图神经网络对知识图谱子图进行编码,结合知识图谱子图结构信息更新节点的向量表示。
在使用图神经网络对输入子图编码,更新子图节点的向量表示过程中,不同于以往方法每个节点只能聚集一阶邻居节点信息更新自身表示,无法有效学习节点之间的长期依赖关系。在本发明的实施例中,用双向多跳依赖Graph Transformer(BidirectionalMulti-Hop Dependency Graph Transformer,Bi-MHDGT)图神经网络对子图进行编码,根据子图的邻接矩阵信息,在图神经网络的每一层,节点能根据经过该层层数以内跳数的节点的信息更新表示,并通过引入额外的嵌入表示向量标识不同节点之间的距离,在实现节点之间的长期信息交互的同时,有效利用子图的结构信息。如图3右侧重构后的子图中,在第2层图神经网络编码过程中,节点“MichelleObama”能同时根据节点“Barack Obama”和“spouse”的信息更新自身向量表示,而不是仅仅根据相邻的“spouse”。具体的子图中节点i的更新方式如下式所示:
其中,hopij表示节点i和节点j之间跳数的向量表示,和Wk表示可学习的参数矩阵,softmax是激活函数,最后αij计算过程包括两部分,(a)部分与Transformer网络的注意力计算过程一致,(b)部分表示节点i对节点j的关系偏向。
因为知识图谱复杂问题生成中输入的子图是有向图,节点的信息只能通过边进行传递,此时节点信息只能从一个方向传递,头节点无法获取尾结点的信息,因此,在本发明的实施例中,分别对节点的出边和入边编码得到节点的出边编码和入边编码,使得节点信息可以反向传递,得到节点的双向信息。
最后经过L层图神经网络的编码,得到子图节点的表示H={h1,h2,...,hN},N是节点的数目,L是自定义层数,其中h1是全局关系节点的向量表示,作为解码层的初始隐藏状态输入。
S4:根据更新后的节点向量表示,使用注意力机制和复制机制进行解码,生成复杂问题。
在本发明的实施例中,解码使用GRU网络实现,目标生成问题文本序列Y={y1,y2,...,yT},T是问题文本的长度。GRU的初始隐藏状态为全局关系的向量表示,即s0=h1。在每一个时间步t根据当前输入和编码器输出的节点向量表示H预测当前时间步的输出。其实初始输入为自定义标识符“sos”,后续时间步的输入为前一个时间步的输出yt-1。
通过注意力机制,在每一个时间步解码器注意到编码器输出的H={h1,h2,...,hN}中不同信息,得到当前时间步的上下文信息向量ct,计算公式如下:
其中,αtj的计算如下式所示:
其中,a表示注意力计算函数,用于计算输入的两个向量相关性,通过线性层实现。
然后预测词典分布Pvocab,公式如下所示:
Pvocab=softmax(tanh(W*[st||ct||yt-1]+b)
其中,W和b是可学习参数,tanh是激活函数。
Pvocab是关于问题词语的概率分布,无法生成未登录词。在当前时间步的生成问题词语就有一定概率直接从词典中生成,也有一定概率从输入中复制,在本发明的实施例中,直接生成的概率pgen计算过程如下式所示:
pgen=σ(Wgen[st||ct||yt-1]+bgen)
Wgen和bgen是可学习参数矩阵,σ是激活函数sigmoid。
在本发明的实施例中,使用复制机制,可以从输入子图中复制一个节点到最终生成问题文本中,这个从输入中复制的概率分布Pcopy就是注意力权重序列αt=(αt1,αt2,...,αtN),计算过程如上αtj的计算公式。
从而可得到最后当前时间步生成问题词语的概率分布为:
p(yt|y<t)=pgen*Pvocab+(1-pgen)*Pcopy
然后通过softmax函数求得概率最高的词语作为时间步输出的yt。
在本发明的实施例中,为了使得步骤S1~S4整个过程构成的模型能够更好的提升生成问题的质量,还定义了损失函数,通过最小化损失函数,优化模型。
知识图谱复杂问题生成的目标就是最大化生成问题文本序列Y={y1,y2,…,yT}的概率,本发明的实施例中,定义如下损失函数:
此外,在本发明的实施例中,还提供一种基于图神经网络的知识图谱复杂问题生成***,用以实现本发明的实施例中,所提出的图神经网络的知识图谱复杂问题生成方法,该***包括重构单元、初始化单元、编码单元和生成单元,其中:
重构单元,用于将输入的带权值的知识图谱子图进行重构,转换成有向无权的知识图谱子图;
初始化单元,用于初始化所述有向无权的知识图谱子图中的向量表示;
编码单元,用于利用Bi-MHDGT图神经网络对知识图谱子图进行编码,结合知识图谱子图结构信息更新节点的向量表示;
生成单元,用于根据更新后的节点向量表示,使用GRU网络进行解码,并使用注意力机制和复制机制,生成复杂问题。
对于各个单元具体如何实现相应的功能,与上述实施例中本发明关于生成方法的描述相同,此处就不再赘述。
上述实施例仅是本发明的优选实施方式,应当指出:对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和等同替换,这些对本发明权利要求进行改进和等同替换后的技术方案,均落入本发明的保护范围。
Claims (10)
1.一种基于图神经网络的知识图谱复杂问题生成方法,其特征在于,包括:
S1:将输入的带权值的知识图谱子图进行重构,转换成有向无权的知识图谱子图;
S2:初始化所述有向无权的知识图谱子图中的向量表示;
S3:利用Bi-MHDGT图神经网络对知识图谱子图进行编码,结合知识图谱子图结构信息更新节点的向量表示;
S4:根据更新后的节点向量表示,使用GRU网络进行解码,并使用注意力机制和复制机制,生成复杂问题。
2.根据权利要求1所述的方法,其特征在于,所述步骤S1中将带权值的知识图谱子图进行重构,转换成有向无权的知识图谱子图的方法包括:
将带属性的关系边转化成为一个节点,同时添加两条有向边连接头实体节点和尾实体节点;
添加全局关系节点,并通过边连接所有关系节点;
对每个节点增加自循环边连接自身。
3.根据权利要求1所述的方法,其特征在于,所述步骤S2中初始化所述有向无权的知识图谱子图中的向量表示的方法包括:对知识图谱中的实体节点和关系节点进行初始化向量表示。
4.根据权利要求3所述的方法,其特征在于,对知识图谱中的实体节点进行初始化向量表示的方法为:
通过一个可学习的嵌入表示矩阵Eentity将实体节点映射为向量;
使用one-hot向量标记实体节点中的答案实体,再通过另一个嵌入表示矩阵Eanswer将该one-hot向量映射为与Eentity维度相同的向量,然后相加得到实体节点的初始化向量表示。
6.根据权利要求1所述的方法,其特征在于,所述步骤S3中利用Bi-MHDGT图神经网络对知识图谱子图进行编码,结合知识图谱子图结构信息更新节点的向量表示的方法为:
根据子图的邻接矩阵信息,在图神经网络的每一层,节点能根据经过该层层数以内跳数的节点的信息更新表示,并引入额外的嵌入表示向量标识不同节点之间的距离;其中,子图中节点i的更新方式为:
其中,hopij表示节点i和节点j之间跳数的向量表示,和Wk是可学习的参数矩阵,softmax是激活函数,最后αij计算过程包括两部分,(a)部分与Transformer网络的注意力计算过程一致,(b)部分表示节点i对节点j的关系偏向;
分别对节点的出边和入边编码得到节点的出边编码和入边编码;
最后经过L层图神经网络的编码,得到子图节点的表示。
7.根据权利要求1所述的方法,其特征在于,所述步骤S4中根据更新后的节点向量表示,使用GRU网络进行解码,并使用注意力机制和复制机制,生成复杂问题的方法包括:
使用GRU网络进行解码,生成问题文本序列,GRU的初始隐藏状态为全局关系的向量表示,在每一个时间步t根据当前输入和编码器输出的节点向量表示H预测当前时间步的输出,其初始输入为自定义标识符“sos”,后续时间步的输入为前一个时间步的输出yt-1;
利用注意力机制,在每一个时间步解码器注意到编码器输出的H={h1,h2,…,hN}中不同信息,得到当前时间步的上下文信息向量ct,计算公式如下:
其中,αtj的计算公式如下:
然后,预测词典分布Pvocab,公式如下所示:
Pvocab=softmax(tanh(W*[st||ct||yt-1]+b)
其中,W和b是可学习参数,tanh是激活函数;
然后,确定当前时间步生成问题词语的概率分布:
p(yt∣y<t)=pgen*Pvocab+(1-pgen)*Pcopy
其中,pgen表示直接从词典中生成当前时间步的生成问题词语的概率,Pcopy表示利用复制机制从输入子图中复制一个节点当作当前时间步的生成问题词语的概率;
最后,通过softmax函数求得概率最高的词语作为时间步输出的yt。
8.根据权利要求1-7任一项所述的方法,其特征在于,所述方法还包括对步骤S1~S4所构成的模型进行优化,优化的方法为,定义损失函数,通过最小化损失函数,使得模型达到最优。
10.一种基于图神经网络的知识图谱复杂问题生成***,用于实现权利要求1-9任一项所述的基于图神经网络的知识图谱复杂问题生成方法,其特征在于,包括:
重构单元,用于将输入的带权值的知识图谱子图进行重构,转换成有向无权的知识图谱子图;
初始化单元,用于初始化所述有向无权的知识图谱子图中的向量表示;
编码单元,用于利用Bi-MHDGT图神经网络对知识图谱子图进行编码,结合知识图谱子图结构信息更新节点的向量表示;
生成单元,用于根据更新后的节点向量表示,使用GRU网络进行解码,并使用注意力机制和复制机制,生成复杂问题。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111068700.0A CN113722510B (zh) | 2021-09-13 | 2021-09-13 | 一种基于图神经网络的知识图谱复杂问题生成方法及*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111068700.0A CN113722510B (zh) | 2021-09-13 | 2021-09-13 | 一种基于图神经网络的知识图谱复杂问题生成方法及*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113722510A true CN113722510A (zh) | 2021-11-30 |
CN113722510B CN113722510B (zh) | 2024-04-05 |
Family
ID=78683533
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111068700.0A Active CN113722510B (zh) | 2021-09-13 | 2021-09-13 | 一种基于图神经网络的知识图谱复杂问题生成方法及*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113722510B (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114780619A (zh) * | 2022-06-07 | 2022-07-22 | 国网浙江省电力有限公司金华供电公司 | 一种自动工程审价审计数据的异常预警方法 |
CN115062587A (zh) * | 2022-06-02 | 2022-09-16 | 北京航空航天大学 | 一种基于周围信息的知识图谱嵌入及回复生成方法 |
WO2024119831A1 (zh) * | 2022-12-08 | 2024-06-13 | 浙江极氪智能科技有限公司 | 问题生成方法、生成装置及计算机设备和存储介质 |
CN118193756A (zh) * | 2024-05-16 | 2024-06-14 | 南京邮电大学 | 一种基于图谱结构的知识图谱规则学习方法及*** |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019220128A1 (en) * | 2018-05-18 | 2019-11-21 | Benevolentai Technology Limited | Graph neutral networks with attention |
CN111159425A (zh) * | 2019-12-30 | 2020-05-15 | 浙江大学 | 一种基于历史关系和双图卷积网络的时态知识图谱表示方法 |
-
2021
- 2021-09-13 CN CN202111068700.0A patent/CN113722510B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019220128A1 (en) * | 2018-05-18 | 2019-11-21 | Benevolentai Technology Limited | Graph neutral networks with attention |
CN111159425A (zh) * | 2019-12-30 | 2020-05-15 | 浙江大学 | 一种基于历史关系和双图卷积网络的时态知识图谱表示方法 |
Non-Patent Citations (1)
Title |
---|
黎雪微: "基于知识图谱的在线学习资源个性化推荐研究", 中国博士学位论文全文数据库信息科技辑, 1 May 2020 (2020-05-01) * |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115062587A (zh) * | 2022-06-02 | 2022-09-16 | 北京航空航天大学 | 一种基于周围信息的知识图谱嵌入及回复生成方法 |
CN115062587B (zh) * | 2022-06-02 | 2024-05-31 | 北京航空航天大学 | 一种基于周围信息的知识图谱嵌入及回复生成方法 |
CN114780619A (zh) * | 2022-06-07 | 2022-07-22 | 国网浙江省电力有限公司金华供电公司 | 一种自动工程审价审计数据的异常预警方法 |
CN114780619B (zh) * | 2022-06-07 | 2022-09-13 | 国网浙江省电力有限公司金华供电公司 | 一种自动工程审价审计数据的异常预警方法 |
WO2024119831A1 (zh) * | 2022-12-08 | 2024-06-13 | 浙江极氪智能科技有限公司 | 问题生成方法、生成装置及计算机设备和存储介质 |
CN118193756A (zh) * | 2024-05-16 | 2024-06-14 | 南京邮电大学 | 一种基于图谱结构的知识图谱规则学习方法及*** |
Also Published As
Publication number | Publication date |
---|---|
CN113722510B (zh) | 2024-04-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113722510A (zh) | 一种基于图神经网络的知识图谱复杂问题生成方法及*** | |
Gao et al. | Advances and challenges in conversational recommender systems: A survey | |
Zhou et al. | A comprehensive survey on pretrained foundation models: A history from bert to chatgpt | |
Qi et al. | Finding all you need: web APIs recommendation in web of things through keywords search | |
CN111291212B (zh) | 基于图卷积神经网络的零样本草图图像检索方法和*** | |
CN110188176B (zh) | 深度学习神经网络及训练、预测方法、***、设备、介质 | |
CN111541570B (zh) | 基于多源特征学习的云服务QoS预测方法 | |
CN108921657B (zh) | 一种基于知识增强记忆网络的序列推荐方法 | |
TW201915790A (zh) | 關注點文案的生成 | |
CN112597296B (zh) | 一种基于计划机制和知识图谱引导的摘要生成方法 | |
CN112035743A (zh) | 数据推荐方法、装置、计算机设备以及存储介质 | |
CN111625276A (zh) | 基于语义与语法信息融合的代码摘要生成方法及*** | |
Zhou et al. | Automatic source code summarization with graph attention networks | |
CN113312919A (zh) | 一种知识图谱的文本生成方法及装置 | |
CN114547325B (zh) | 一种概率超图驱动的地学知识图谱推理优化***和方法 | |
CN114936287A (zh) | 预训练语言模型的知识注入方法和相应的交互*** | |
Zhou et al. | Learning with annotation of various degrees | |
CN111476038A (zh) | 长文本生成方法、装置、计算机设备和存储介质 | |
CN111639254A (zh) | 一种医疗领域的sparql查询语句的生成***和方法 | |
CN112560456A (zh) | 一种基于改进神经网络的生成式摘要生成方法和*** | |
de Bézenac et al. | Optimal unsupervised domain translation | |
CN113704495B (zh) | 实体对齐方法、装置、电子设备和存储介质 | |
CN112231461B (zh) | 一种融合知识的对话生成方法 | |
CN117058276B (zh) | 图像生成方法、装置、设备及存储介质 | |
CN116386895B (zh) | 基于异构图神经网络的流行病舆情实体识别方法与装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |