CN115757804A - 一种基于多层路径感知的知识图谱外推方法及*** - Google Patents
一种基于多层路径感知的知识图谱外推方法及*** Download PDFInfo
- Publication number
- CN115757804A CN115757804A CN202211088984.4A CN202211088984A CN115757804A CN 115757804 A CN115757804 A CN 115757804A CN 202211088984 A CN202211088984 A CN 202211088984A CN 115757804 A CN115757804 A CN 115757804A
- Authority
- CN
- China
- Prior art keywords
- entity
- layer
- task
- graph
- entities
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 58
- 238000013213 extrapolation Methods 0.000 title claims abstract description 47
- 230000008447 perception Effects 0.000 title claims abstract description 15
- 238000012545 processing Methods 0.000 claims abstract description 38
- 230000006870 function Effects 0.000 claims description 22
- 239000013598 vector Substances 0.000 claims description 20
- 235000008694 Humulus lupulus Nutrition 0.000 claims description 7
- 230000004931 aggregating effect Effects 0.000 claims description 6
- 238000007477 logistic regression Methods 0.000 claims description 5
- 239000011159 matrix material Substances 0.000 claims description 5
- 150000001875 compounds Chemical class 0.000 claims description 4
- 239000000126 substance Substances 0.000 claims 2
- 241000764238 Isis Species 0.000 claims 1
- 238000000638 solvent extraction Methods 0.000 claims 1
- 238000012549 training Methods 0.000 description 17
- 230000008569 process Effects 0.000 description 9
- 238000004422 calculation algorithm Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 5
- 238000005065 mining Methods 0.000 description 5
- 230000004913 activation Effects 0.000 description 4
- 238000011161 development Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000012800 visualization Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 239000000969 carrier Substances 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000002441 reversible effect Effects 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 101100498818 Arabidopsis thaliana DDR4 gene Proteins 0.000 description 1
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000010225 co-occurrence analysis Methods 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000005094 computer simulation Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 239000010931 gold Substances 0.000 description 1
- 229910052737 gold Inorganic materials 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 238000011423 initialization method Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 238000005215 recombination Methods 0.000 description 1
- 230000006798 recombination Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/02—Knowledge representation; Symbolic representation
- G06N5/022—Knowledge engineering; Knowledge acquisition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/042—Knowledge-based neural networks; Logical representations of neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及一种基于多层路径感知的知识图谱外推方法及***，知识图谱外推方法包括：应用关系图卷积网络编码器学习实体、关系和时间戳的嵌入表示，捕获事实的动态演变；设计新兴任务处理单元，以构建多层实体集，并对不同层的实体集匹配相应的历史相关度；将预测任务划分为多种推理场景，并将各个推理场景接入相应层次的处理单元，以完成多层历史相关实体集的划分；使用多分类任务解决方法以获取目标实体的预测概率分布，将最高概率的实体作为预测答案，以完成时序知识图谱的外推任务，其中，预测任务是根据历史中未出现的实体和关系是否存在而进行推理场景划分的。知识图谱外推***包括一个能够运行知识图谱外推方法的程序编码信息的处理器。
Description
技术领域
本发明涉及时序知识图谱推理技术领域，尤其涉及一种基于多层路径感知的知识图谱外推方法及***。
背景技术
知识图谱是显示知识发展进程与结构关系的一系列各种不同的图形，用可视化技术描述知识资源及其载体，挖掘、分析、构建、绘制和显示知识及它们之间的相互联系。知识图谱通过将应用数学、图形学、信息可视化技术、信息科学等学科的理论与方法与计量学引文分析、共现分析等方法结合，并利用可视化的图谱形象地展示学科的核心结构、发展历史、前沿领域以及整体知识架构达到多学科融合目的。
时序知识图谱是真实世界中一系列时序事实(或者知识)的全新表现形式，常由四元组形式存储，也就是(主语实体，谓语关系，宾语实体，时间戳)，简写为(s,r,o,t)。时序知识图谱拥有丰富的概念、属性、关系等语义信息，使能机器语言认知，广泛地应用于基础自然语言处理任务，例如常识知识抽取、阅读理解等。此外，时序知识图谱使能知识引导和可解释人工智能，可助力推荐***、智能对话***等的实现。
时序知识图谱推理本质上是从现有时序事实中预测出新事实，即知识补全或链路预测。假如一个四元组(s,r,o,[t0,t1])成立的时间戳区间是从t0到t1，那么时序知识图谱推理可分为内推和外推两种模式。两种模式的主要不同在于，在内推设置中的已知事实的时间戳可晚于t1，而在外推设置中的已知事实的时间戳都早于t1。现有的推理模型大多集中研究内推，同时外推模型在近些年也得到了一定的关注，其中包含：使用时间嵌入、时间超平面和加性时间序列分解对时间信息进行编码的模型，通过旋转事实以捕捉时间与多关系特征之间的丰富交互信息的模型，以及利用消息传递网络来捕获图形快照邻域信息的模型等。
CN114780739A公开了一种基于时间图卷积网络的时序知识图谱补全方法及***，该发明的时间图卷积网络包括结构编码器、时序编码器和解码器三个模块；该发明首先选择待补全的时序知识图谱G，并确定该时序知识图谱待补全的目标时间步；然后通过结构编码器产生时序知识图谱每个时间步的实体嵌入向量和关系嵌入向量；接着通过时序编码器生成实体和关系在预测时间步对应的最终嵌入向量；最后通过解码器对每个候选四元组(s,r,o,t)根据得到的头实体s、关系r和尾实体o在时间步t对应的最终嵌入向量，对待补全时序知识图谱中缺失内容进行预测，完成时序知识图谱的补全。该发明可以有效提升时序知识图谱补全任务的准确率。
CN112860918A公开了一种基于协同演化建模的时序知识图谱表示学习方法，属于时序知识图谱技术领域，根据待表示的时序知识图谱，初始化模型的参数以及任一实体和关系的嵌入表示；计算得到每个已知事实的发生概率，并通过最大化已知事实的发生概率得到局部结构的演化损失；为每个时序知识图谱快照的图结构计算其对应的软模块度，并最大化软模块度得到全局结构的演化损失；计算得到模型的整体损失函数；利用梯度下降法迭代优化所述模型的整体损失函数，直至模型收敛。该发明解决了以往的工作因为忽略时序知识图谱的演化本质而无法获得准确的嵌入表示的问题。
但随着在各领域的广泛应用，时序知识图谱通常是不完备的，且受限于闭合世界和现有事实的假设，限制了时序知识图谱应用程序的发展广度和深度，阻碍了诸多推理应用的准确性和可解释性。例如：(1)现有模型在一定时间戳范围内没有前述事件给出的事实情况下，无法按顺序预测未来时间戳的事件；(2)现有模型对每个查询的历史记录进行单独编码，故效率低；(3)现有模型未专门考虑预测任务中的看不见的实体或关系，这会导致推理准确度大幅降低。
此外，一方面由于对本领域技术人员的理解存在差异；另一方面由于申请人做出本发明时研究了大量文献和专利，但篇幅所限并未详细罗列所有的细节与内容，然而这绝非本发明不具备这些现有技术的特征，相反本发明已经具备现有技术的所有特征，而且申请人保留在背景技术中增加相关现有技术之权利。
发明内容
针对现有技术之不足，本发明提供了一种基于多层路径感知的知识图谱外推方法及***，尤其是一种围绕历史事件进行多层路径挖掘以灵活处理包含历史中看不见的实体或关系的预测任务的计算模型，以至少解决上述技术问题。
优选地，本发明针对时序知识图谱的不完备性，部分现有模型忽略考虑预测任务包含历史中看不见的信息从而导致推理能力弱、结果不精确，部分现有模型只考虑看不见的实体从而导致推理场景拓扑结构不完善等问题，设计了一种基于时序多层路径感知的知识图谱外推方法，其可基于历史事实预测未来潜在事件，其能发掘隐式知识，相较于静态方法和动态内推方法更具现实意义。
本发明提供了一种新型的基于多层路径感知的知识图谱外推模型TMP-Net，其为每个快照连续学习实体、关系和时间戳的表示，从而具备捕获长期依赖关系的能力，使得模型语义表现力更强；进一步地，其能根据历史相关度划分现有实体集，以为预测任务提供四层不同关联度的实体集合，结合回顾已知和展望未知的机制，进行相对高准确率的预测。其特殊之处在于将实体和关系分开考虑，能灵活地处理包含历史中看不见的实体或关系的四种推理场景，设计了新兴任务处理单元统一完成四种推理场景的四层实体集合的挖掘，采用多分类任务解决方法以获取目标实体的预测概率分布，并为推理结果提供一定的可解释性。
本发明公开了一种基于多层路径感知的知识图谱外推方法，其包括：
应用关系图卷积网络编码器学习实体、关系和时间戳的嵌入表示，捕获事实的动态演变；
设计新兴任务处理单元，以构建多层实体集，并对不同层的实体集匹配相应的历史相关度；
将预测任务划分为多种推理场景，并将各个推理场景接入相应层次的处理单元，以完成多层历史相关实体集的划分；
使用多分类任务解决方法以获取目标实体的预测概率分布，将最高概率的实体作为预测答案，以完成时序知识图谱的外推任务，
其中，预测任务是根据历史中未出现的实体和关系是否存在而进行推理场景划分的。
根据一种优选实施方式，新兴任务处理单元在现有事实中搜索与预测任务相关的实体作为第一、二、三层实体集合，对照数据集的整个实体集合获取未出现过的实体作为第四层实体集，其中，第一层是与预测任务的关系谓语直接相连的实体集合，第二层是与预测任务主语实体一跳和二跳可达的实体集合，第三层是现有事实剩余路径中多跳可达的实体集，第四层是历史中看不见的实体集。
根据一种优选实施方式，针对四层实体集设置的历史相关度由层数从里到外被标量为α，β，γ和δ，其中，α>β>γ>δ，并且α+β+γ+δ＝1。
根据一种优选实施方式，预测任务至少能够划分以下四种推理场景：无看不见的实体和关系的场景1，只存在看不见的实体的场景2，只存在看不见的关系的场景3，同时存在看不见的实体和关系的场景4。
根据一种优选实施方式，根据预测任务的不同采用多层路径外推的不同层数进行处理，将各个推理场景接入相应层次的处理单元，其中，多层路径外推的不同层数对应于多层实体集。
根据一种优选实施方式，将数据集的每一个实体、关系和时间戳数据映射到低维稠密向量空间，通过Xavier initialization初始化所有既定参数，继而使用交叉熵损失函数最小化全局损失以优化参数学习。
根据一种优选实施方式，采用ω层关系图卷积网络编码器进行表示学习，聚合并提取来自不同关系的特征，其中，ω层关系图卷积网络编码器表示为：
式中，
分别是在时间戳tT的图谱快照
上的实体s和o的第l层嵌入，
分别为用于聚合来自不同关系特征的权重矩阵和第l层自循环矩阵。
根据一种优选实施方式，多分类任务解决方法能够应用多层感知器和SoftMax逻辑回归模型将预测任务转化为实体多分类任务，其中，每一类对应于每个目标实体的概率，从而将最高概率的实体作为预测答案。
根据一种优选实施方式，最终预测
是获得最高组合概率的实体，定义如下：
本发明还公开了一种基于多层路径感知的知识图谱外推***，其包括至少一个处理器，所述处理器被配置为：
应用关系图卷积网络编码器学习实体、关系和时间戳的嵌入表示，捕获事实的动态演变；
设计新兴任务处理单元，以构建多层实体集，并对不同层的实体集匹配相应的历史相关度；
将预测任务划分为多种推理场景，并将各个推理场景接入相应层次的处理单元，以完成多层历史相关实体集的划分；
使用多分类任务解决方法以获取目标实体的预测概率分布，将最高概率的实体作为预测答案，以完成时序知识图谱的外推任务，
其中，预测任务是根据历史中未出现的实体和关系是否存在而进行推理场景划分的。
优选地，新兴任务处理单元配置于处理器内。
优选地，本发明的基于时序多层路径感知的知识图谱外推方法，其综合考虑了历史中看不见的实体和关系，据此设计了新兴任务处理单元和四种推理场景(无看不见的实体和关系，只存在看不见的实体，只存在看不见的关系，同时存在看不见的实体和关系)。为应对推理场景1、2、3的挑战，此方法创新地将实体和关系分离考虑，基于历史相关度在已知事实中进行路径挖掘，获取与关系直连的实体集(第一层相关)、与关系二跳可达和多跳可达的实体集(第二、三层相关)；为解决推理场景4，此方法获取历史中未出现的实体集(第四层相关)；最后联合四层推理模式、采用多分类任务解决方法获取预测概率分布，完成事实推理。
附图说明
图1是本发明提供的一种优选实施方式的TMP-Net模型结构图；
图2是本发明提供的一种优选实施方式的新兴任务处理单元的建模流程图。
附图标记列表
sE：现有的主语实体；sN：看不见的主语实体；rE：现有的关系谓语；rN：看不见的关系谓语；tq：时间戳。
具体实施方式
下面结合附图进行详细说明。
图1是本发明提供的一种优选实施方式的TMP-Net模型结构图；图2是本发明提供的一种优选实施方式的新兴任务处理单元的建模流程图。
本发明提供一种基于多层路径感知的知识图谱外推方法。本发明还可以提供一种基于多层路径感知的知识图谱外推***，该知识图谱外推***可以是使用知识图谱外推方法的装置或一种具有知识图谱外推功能的电子设备等。优选地，知识图谱外推***可包括新兴任务处理单元。
本发明还可以提供一种储存介质，该储存介质存储有本发明的知识图谱外推方法的程序编码信息。
本发明还可以提供一种处理器，该处理器能够运行本发明的知识图谱外推方法的程序编码信息。优选地，新兴任务处理单元可配置于处理器内。
优选地，知识图谱是指：一种由大量节点和边构成的有向图，节点代表现实中的实体概念，边代表实体之间丰富的关联关系，其中每一条知识一般是三元组的形式，表示头实体和尾实体之间存在关系。
进一步地，时序知识图谱是真实世界中一系列时序事实(或者知识)的全新表现形式，常由四元组形式存储，也就是(主语实体，谓语关系，宾语实体，时间戳)，简写为(s,r,o,t)。
优选地，多层路径感知为本发明所采用的实验方法，即通过多层路径挖掘，每一层都有其相应的获取实体集的方法。
优选地，子图是时序知识图谱的在某个时间戳上的子图，时序知识图谱是由四元组组成的，那么按照时间戳从小到大进行排序后，可以很自然地将所有四元组按照时间戳划分为各个子图。
优选地，卷积网络编码器即为关系图卷积网络编码器，其中关系图卷积网络，即R-GCN，是一个深度学习神经网络模型，可有助于链路预测任务的实现，因为R-GCN是一个编码-解码模型，其原本用法是：先使用编码器将所有实体、关系通过编码器表示学习为向量，然后使用解码器(一般是得分函数)得到各实体的预测概率分布。具体地，在本发明中只使用了关系图卷积网络的编码器，用于得到实体、关系和时间戳的向量表示，之后使用多层感知机和Softmax实现多分类任务。
优选地，初始化工具Xavier initialization即Xavier初始化，是解决随机初始化问题的一种变量初始化方法，其主要思想是尽可能的让输入和输出服从相同的分布，这样就能够避免后面层的激活函数的输出值趋向于0。具体到本发明，在网络训练的过程中容易出现梯度消失(梯度特别的接近0)和梯度***(梯度特别的大)的情况，导致大部分反向传播得到的梯度不起作用或者起反作用(反向传播在本文中主要由交叉墒损失函数和Adam优化器实现)，所以合理地对所有要训练的向量和变量进行初始化格外重要，依据Xavier初始化优良的表现，在本发明中使用其对实体、关系、时间戳向量，以及权重、偏移量等训练参数进行初始化。
优选地，交叉熵损失函数即深度学习中的CrossEntropy Loss Function，是在处理分类问题中常用的一种损失函数。具体地，本发明使用其得到每次训练后的预测结果到正确结果之间的损失，并使用Adam优化器进行反向梯度下降传播，用于对所有训练的变量进行实时更新，以达到下一次训练预测结果更准确的目的效果。
优选地，多层感知器即MLP，是一种简单且原汁原味的神经网络模型，其常用于实现多分类任务。一般多层感知器包括三层：输入层、隐藏层和输出层，不同层之间是全连接的(全连接的意思就是：上一层的任何一个神经元与下一层的所有神经元都有连接)，其实现包含了三大要素：权重、偏置和激活函数，即对应于本文公式里的Wmlp、bmlp和tanh。具体到本发明，多层感知器接收多层路径感知得到的由关系图卷积网络编码器训练得到的四类实体集合的向量，经过隐藏层后使用激活函数，将各实体在多层感知器的输出限制在(-1，1)的数值范围内。
优选地，逻辑回归算法是在各个领域中应用比较广泛的机器学习算法，Softmax是其中的一种，常用于多分类任务模型，其可将多分类的输出值转换为范围在[0，1]和为1的概率分布。具体地，本发明使用Softmax接收来自多层感知器得到的各实体在预测中的输出，转化为各实体的预测概率，最大(max)的即为候选实体。
优选地，深度学习的目标是通过不断改变网络参数，使得参数能够对输入做各种非线性变换拟合输出，本质上就是一个函数去寻找最优解，所以如何去更新参数是深度学习研究的重点。通常将更新参数的算法称为优化器，字面理解就是通过什么算法去优化网络模型的参数。常用的优化器就是梯度下降。而Adam优化器即是一种可以替代传统随机梯度下降过程的一阶优化算法，它能基于训练数据迭代地更新神经网络权重。具体地，本发明使用Adam优化器对整个模型训练过程的参数进行迭代更新优化，以期提升预测结果准确率。
优选地，在本发明中定义预测时间戳是未来的时间戳，那在此之前的时间戳定义为已经发生的时间，即历史已经发生的事实。所以，现有的实体，即为历史四元组中包含的实体；看不见的实体，即为在历史中没出现过的实体。现有的关系，即为历史四元组中包含的关系谓语；看不见的关系，也就为在历史中没出现过的关系。
根据一种优选实施方式，本发明的基于多层路径感知的知识图谱外推方法包括如下步骤：
S1.将时序知识图谱按时间戳进行子图划分
应用关系图卷积网络编码器学习实体、关系和时间戳的嵌入表示，捕获事实的动态演变；
具体地，采用Xavier initialization初始化所有训练参数，给每个快照继续划分训练批次连续学习表示，捕获事实的动态演变。
S2.设计新兴任务处理单元，以构建多层实体集，并对不同层的实体集匹配相应的历史相关度；
具体地，新兴任务处理单元在现有事实中搜索与预测任务相关的实体作为第一、二、三层实体集，对照数据集的整个实体集合获取未出现过的实体作为第四层实体集，并对以上四层实体集匹配相应的历史相关度；
S3.将预测任务划分为四种推理场景，并将各个推理场景接入相应层次的处理单元，进而统一完成四层历史相关实体集的划分；
具体地，预测任务根据历史中未出现的实体和关系是否存在而划分为四种推理场景。
S4.使用多分类任务解决方法以获取目标实体的预测概率分布，最终将最高概率的实体作为预测答案。
具体地，结合四层实体集在第一部分的向量表示，使用多层感知器、接入Softmax逻辑回归模型以获取目标实体的预测概率分布，最终将最高概率的实体作为预测答案，完成时序知识图谱的外推任务。
优选地，在步骤S1中，时序知识图谱是按照时间戳的升序排列而成的。优选地，在步骤S1中，“应用关系图卷积网络编码器学习实体、关系和时间戳的嵌入表示”，主要包含以下功能：
(1)将数据集的每一个实体、关系和时间戳数据映射到低维稠密向量空间，通过Xavier initialization初始化所有既定参数，继而使用交叉熵损失函数最小化全局损失以优化参数学习；
(2)采用ω层关系图卷积网络编码器进行表示学习，聚合并提取来自不同关系的特征，使各个时间戳上具有关系的实体对富有一定的计算和关联性。
进一步地，图1中TMP-Net模型结构图中的向量和参数训练过程，将实体、关系、时间戳向量，权重、偏移量，以及其他训练参数作为输入映射到低维连续向量空间中，使用深度学习中的常用初始化工具Xavier initialization以让关系图卷积网络在训练过程中学习到更多有用的语义信息，其中，ω层关系图卷积网络编码器表示为：
式中，
分别是在时间戳tT的图谱快照
上的实体s和o的第l层嵌入，
分别为用于聚合来自不同关系特征的权重矩阵和第l层自循环矩阵。
为优化参数学习，TMP-Net采用多元交叉熵损失函数：
式中，εt是快照
的实体集，p(oi|s,r,t)是在给定查询(s,r,？,tq)的情况下，当真实宾语实体为otruth时第i个对象实体的组合概率值，并且使用Adam优化器进行训练损失。
优选地，在步骤S2中，新兴任务处理单元在现有事实中搜索与预测任务历史相关的实体作为第一、二、三层实体集合，对照数据集的整个实体集合获取未出现过的实体作为第四层实体集。
示例性地，以预测宾语(s,r,？,tq)为例，新兴任务处理单元学习过程包括以下步骤：
(1)将现有事实中所有与预测任务的关系直接相连的实体集合
作为多层路径外推的第一层；
(2)在现有事实中搜索与预测任务主语实体一跳和二跳可达的实体集
将其组成多层路径外推的第二层；
(3)在现有事实剩余路径中多跳可达的实体集
组成多层路径外推的第三层，以消除二跳路径搜索带来的局限性；
(4)基于目标谓语存在历史中看不见的可能性，对照整体实体集进行差异性分析，获取未出现过的实体子集
组成多层路径外推的第四层；
(5)随后对第一、二、三、四层实体集赋予历史关联度，依据层数由内到外被标量为α，β，γ和δ，以实现在整个训练和推理阶段相互作用。
进一步地，以预测宾语(s,r,？,tq)为例，第一层是与预测任务的关系谓语直接相连的实体集合，第二层是与预测任务主语实体一跳和二跳可达的实体集合，第三层是现有事实剩余路径中多跳可达的实体集，第四层是历史中看不见的实体集，以消除目标谓词可能是历史中看不见的实体带来的影响，其分别表示为
其中X、Y、Z、U都是N维multi-hot指示向量，N是数据集实体的总数标量，具体实施流程可如图2所示。
优选地，为四层实体集匹配的历史相关度由层数从里到外被标量为α，β，γ和δ，其中，α>β>γ>δ，并且α+β+γ+δ＝1。
进一步地，TMP-Net获取的历史关联表可表示为：
优选地，如果一个实体同时出现在X、Y和Z中，则该实体的预测概率会相应叠加，并且c(s,r)中实体的最大和最小标量分别为1和0。
优选地，在步骤S3中，TMP-Net可根据s、r是否分别为sN、rN，而将预测任务划分为以下四种推理场景：case 1:(sE,rE,？,tq)，case 2:(sN,rE,？,tq)，case 3:(sE,rN,？,tq)和case4:(sN,rN,？,tq)，其中，sE和sN分别表示现有的和看不见的主语实体，rE和rN分别表示现有的和看不见的关系谓语。因此，需首先识别出预测任务的种类，然后新兴任务处理单元采取如图2中相应的程序得到与查询历史相关度不同的实体集。
进一步地，根据预测任务的不同采用多层路径外推的不同层数进行处理，将各个推理场景接入相应层次的处理单元，进而统一完成四层历史相关实体集的划分。
具体地，场景1经过多层路径感知的第一、二、三、四层，场景2经过多层路径感知的第一、三、四层，场景3经过多层路径感知的第二、三、四层，以及场景4经过多层路径感知的第三、四层。
进一步地，当一个实体与查询越相关，那么其预测概率会越大。
优选地，在步骤S4中，可应用多层感知器和Softmax逻辑回归模型将预测任务转化为实体多分类任务，其中，每一类对应于每个目标实体的概率，从而自然地将最高概率的实体作为预测答案，完成知识图谱预测任务。
进一步地，致力于预测相较于现有事实还未发生的事件的TMP-Net可先使用多层感知器训练一个索引向量VO；
然后通过将c(s,r)添加到VO来增加与给定查询最相关的实体的估计概率：
式中，
都是训练参数，tanh为非线性激活函数；
最后，使用Softmax函数来估计目标谓词实体在现有事实中的概率：
式中，p(r)的是一个N维向量，包含所有实体的推理概率，最终p(r)中的最大维度即表示目标对象实体。
优选地，最终预测
将是获得最高组合概率的实体，定义如下：
式中，p(o|s,r,tq)为p(r)的另一种表示形式，表示现有事实中的预测概率分布。
优选地，为完成测试的训练闭环，在训练过程中采用第一部分的交叉熵损失函数实现张量和参数的更新以适当调整预测结果。
示例性地，本发明的知识图谱外推方法使用的服务器设备型号为Dell R740，其中央处理器CPU为Intel(R)Xeon(R)Gold [email protected]，图形处理器GPU为Tesla M40，内存容量为128GB DDR4 RAM，存储容量为1TB SSD+4TB HDD。
优选地，本发明的知识图谱外推方法或应用该知识图谱外推方法的服务器可用于综合科技服务平台中，为用户提供科技数据的推荐(推理)服务。例如可应用于如知网、维普、万方等平台上提供如论文、专利、项目等科技数据的推荐(推理)服务。
具体地，当用户在综合科技服务平台检索数据时，本发明可在时序知识图谱中根据用户历史的搜索记录和前期设置的喜好标签，自动推荐相关领域的科技数据。在此中，如搜索论文数据，顶点代表论文发表的会议/期刊、年份，或论文的作者、名称、总页数等重要属性信息，即时序知识图谱可视化的节点；边代表顶点与顶点之间存在依赖关系，可具体到某种属性关系，比如说会议/期刊归属于某某组织，作者任职于某某单位，或论文发表于某某年份，即时序知识图谱可视化的边。而由于实体是会随着时间的推移而进行演变的，那么依赖关系记录了此属性关系作用时间段(也可称为生存期)，比如关于某篇论文所有相关信息的作用期即从论文被录用的那个时刻开始的，并且生存期是永久的，因为已录用的论文不会被撤稿，除非发生重大学术诚信问题。此外，还比如某个人(艾萨克·牛顿，出生于1643年1月4日，逝世于1727年3月31日)的生活信息，只能在相应的时间段中([1643.1.3,1727.3.31])，在此之外是不被信任或认可的。
优选地，处理器所处理的数据可以是文本(.txt)、表格(.xls\.xlsx\.csv\.sql)等结构化关系数据，也可为Neo4j等图数据库的图数据。在服务器后端，构建KGQL数据处理单元(主要由Java编程语言实现)，其通过调用平台API接口的方式进行***间的通信，从而交互采集上述数据，所用到的应用层网络协议为HTTPS(以安全为目标的HTTP通道)，其相对于HTTP的好处重点在有利于保护数据的安全性。在此基础上，KGQL将通过接口采集的数据进行知识抽取处理，形成一条条四元组知识，最终在服务器内部交付给处理器进行后续工作。
优选地，服务器会将处理完的数据传输给SSD、HDD等磁盘阵列存储***，进而通过MYSQL、Neo4j等数据库管理***进行保存，为数据提供重组和管理服务；并在此基础上，为后续应用提供数据支持，以实现知识表示学***台的科技成果转化及应用示范中，为政府单位或企业个人提供全方位的科技服务功能。
优选地，处理结束后，数据以时序知识图谱的存储模式存储在数据库中，能够被数据库接口传输给知识表示学***台提供数据推荐服务。
需要注意的是，上述具体实施例是示例性的，本领域技术人员可以在本发明公开内容的启发下想出各种解决方案，而这些解决方案也都属于本发明的公开范围并落入本发明的保护范围之内。本领域技术人员应该明白，本发明说明书及其附图均为说明性而并非构成对权利要求的限制。本发明的保护范围由权利要求及其等同物限定。本发明说明书包含多项发明构思，诸如“优选地”、“根据一个优选实施方式”或“可选地”均表示相应段落公开了一个独立的构思，申请人保留根据每项发明构思提出分案申请的权利。在全文中，“优选地”所引导的特征仅为一种可选方式，不应理解为必须设置，故此申请人保留随时放弃或删除相关优选特征之权利。
Claims (10)
1.一种基于多层路径感知的知识图谱外推方法，其特征在于，其包括：
应用关系图卷积网络编码器学习实体、关系和时间戳的嵌入表示，捕获事实的动态演变；
设计新兴任务处理单元，以构建多层实体集，并对不同层的实体集匹配相应的历史相关度；
将预测任务划分为多种推理场景，并将各个推理场景接入相应层次的处理单元，以完成多层历史相关实体集的划分；
使用多分类任务解决方法以获取目标实体的预测概率分布，将最高概率的实体作为预测答案，以完成时序知识图谱的外推任务，
其中，
预测任务是根据历史中未出现的实体和关系是否存在而进行推理场景划分的。
2.根据权利要求1所述的知识图谱外推方法，其特征在于，新兴任务处理单元在现有事实中搜索与预测任务相关的实体作为第一、二、三层实体集合，对照数据集的整个实体集合获取未出现过的实体作为第四层实体集，其中，第一层是与预测任务的关系谓语直接相连的实体集合，第二层是与预测任务主语实体一跳和二跳可达的实体集合，第三层是现有事实剩余路径中多跳可达的实体集，第四层是历史中看不见的实体集。
3.根据权利要求1或2所述的知识图谱外推方法，其特征在于，针对四层实体集设置的历史相关度由层数从里到外被标量为α，β，γ和δ，其中，α＞β＞γ＞δ，并且α+β+γ+δ＝1。
4.根据权利要求1～3任一项所述的知识图谱外推方法，其特征在于，预测任务至少能够划分以下四种推理场景：无看不见的实体和关系的场景1，只存在看不见的实体的场景2，只存在看不见的关系的场景3，同时存在看不见的实体和关系的场景4。
5.根据权利要求1～4任一项所述的知识图谱外推方法，其特征在于，根据预测任务的不同采用多层路径外推的不同层数进行处理，将各个推理场景接入相应层次的处理单元，其中，多层路径外推的不同层数对应于多层实体集。
6.根据权利要求1～5任一项所述的知识图谱外推方法，其特征在于，将数据集的每一个实体、关系和时间戳数据映射到低维稠密向量空间，通过Xavier initialization初始化所有既定参数，继而使用交叉熵损失函数最小化全局损失以优化参数学习。
7.根据权利要求1～6任一项所述的知识图谱外推方法，其特征在于，采用ω层关系图卷积网络编码器进行表示学习，聚合并提取来自不同关系的特征，其中，ω层关系图卷积网络编码器表示为：
式中，
分别是在时间戳tT的图谱快照
上的实体s和o的第l层嵌入，
分别为用于聚合来自不同关系特征的权重矩阵和第l层自循环矩阵。
8.根据权利要求1～7任一项所述的知识图谱外推方法，其特征在于，多分类任务解决方法能够应用多层感知器和SoftMax逻辑回归模型将预测任务转化为实体多分类任务，其中，每一类对应于每个目标实体的概率，从而将最高概率的实体作为预测答案。
9.根据权利要求1～8任一项所述的知识图谱外推方法，其特征在于，最终预测
是获得最高组合概率的实体，定义如下：
10.一种基于多层路径感知的知识图谱外推***，其特征在于，包括至少一个处理器，所述处理器被配置为：
应用关系图卷积网络编码器学习实体、关系和时间戳的嵌入表示，捕获事实的动态演变；
设计新兴任务处理单元，以构建多层实体集，并对不同层的实体集匹配相应的历史相关度；
将预测任务划分为多种推理场景，并将各个推理场景接入相应层次的处理单元，以完成多层历史相关实体集的划分；
使用多分类任务解决方法以获取目标实体的预测概率分布，将最高概率的实体作为预测答案，以完成时序知识图谱的外推任务，
其中，
预测任务是根据历史中未出现的实体和关系是否存在而进行推理场景划分的。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211088984.4A CN115757804A (zh) | 2022-09-06 | 2022-09-06 | 一种基于多层路径感知的知识图谱外推方法及*** |
| US18/154,637 US20240086731A1 (en) | 2022-09-06 | 2023-01-13 | Knowledge-graph extrapolating method and system based on multi-layer perception |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211088984.4A CN115757804A (zh) | 2022-09-06 | 2022-09-06 | 一种基于多层路径感知的知识图谱外推方法及*** |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115757804A true CN115757804A (zh) | 2023-03-07 |
Family
ID=85349900
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211088984.4A Pending CN115757804A (zh) | 2022-09-06 | 2022-09-06 | 一种基于多层路径感知的知识图谱外推方法及*** |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US20240086731A1 (zh) |
| CN (1) | CN115757804A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117827882A (zh) * | 2024-01-04 | 2024-04-05 | 北京新数科技有限公司 | 一种基于深度学习的金融数据库sql质量评分方法、***、设备和可存储介质 |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117933400B (zh) * | 2024-03-21 | 2024-07-09 | 深圳大学 | 基于知识图谱的海事事故分析方法、***、终端及介质 |
-
2022
- 2022-09-06 CN CN202211088984.4A patent/CN115757804A/zh active Pending
-
2023
- 2023-01-13 US US18/154,637 patent/US20240086731A1/en active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117827882A (zh) * | 2024-01-04 | 2024-04-05 | 北京新数科技有限公司 | 一种基于深度学习的金融数据库sql质量评分方法、***、设备和可存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20240086731A1 (en) | 2024-03-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Abu-El-Haija et al. | Watch your step: Learning node embeddings via graph attention | |
| CN111784081B (zh) | 一种采用知识图谱嵌入和时间卷积网络的社交网络链路预测方法 | |
| Chang et al. | Continuous-time dynamic graph learning via neural interaction processes | |
| US11636341B2 (en) | Processing sequential interaction data | |
| CN109460479A (zh) | 一种基于事理图谱的预测方法、装置和*** | |
| CN115757804A (zh) | 一种基于多层路径感知的知识图谱外推方法及*** | |
| CN114896472B (zh) | 一种基于多源时空数据的知识图谱机器推理***和方法 | |
| Usuga Cadavid et al. | Valuing free-form text data from maintenance logs through transfer learning with camembert | |
| CN113239186A (zh) | 一种基于多依存关系表示机制的图卷积网络关系抽取方法 | |
| US20190286978A1 (en) | Using natural language processing and deep learning for mapping any schema data to a hierarchical standard data model (xdm) | |
| Gusmão et al. | Interpreting embedding models of knowledge bases: a pedagogical approach | |
| CN111339249B (zh) | 一种联合多角度特征的深度智能文本匹配方法和装置 | |
| CN114358657B (zh) | 一种基于模型融合的岗位推荐方法及装置 | |
| US20190228297A1 (en) | Artificial Intelligence Modelling Engine | |
| CN116611546B (zh) | 基于知识图谱的目标研究区域滑坡预测方法及*** | |
| Bai et al. | FTMF: Few-shot temporal knowledge graph completion based on meta-optimization and fault-tolerant mechanism | |
| CN116974554A (zh) | 代码数据处理方法、装置、计算机设备和存储介质 | |
| Zhou et al. | Spectral transform forms scalable transformer | |
| US20230359825A1 (en) | Knowledge graph entities from text | |
| CN116226404A (zh) | 一种针对肠-脑轴的知识图谱构建方法及知识图谱*** | |
| US20230018525A1 (en) | Artificial Intelligence (AI) Framework to Identify Object-Relational Mapping Issues in Real-Time | |
| Pahwa et al. | Big Data and Machine Learning in Healthcare: Tools & Challenges | |
| ChongYong et al. | Comparison of Scoring Functions on Greedy Search Bayesian Network Learning Algorithms. | |
| US11829735B2 (en) | Artificial intelligence (AI) framework to identify object-relational mapping issues in real-time | |
| US11985571B2 (en) | Predicting user interaction with communications |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |