CN114780879A - 一种用于知识超图的可解释性链接预测方法 - Google Patents
一种用于知识超图的可解释性链接预测方法 Download PDFInfo
- Publication number
- CN114780879A CN114780879A CN202210324786.7A CN202210324786A CN114780879A CN 114780879 A CN114780879 A CN 114780879A CN 202210324786 A CN202210324786 A CN 202210324786A CN 114780879 A CN114780879 A CN 114780879A
- Authority
- CN
- China
- Prior art keywords
- hypergraph
- knowledge
- tuple
- hidden
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- 230000006870 function Effects 0.000 claims abstract description 26
- 238000012549 training Methods 0.000 claims abstract description 20
- 238000012795 verification Methods 0.000 claims abstract description 6
- 238000009826 distribution Methods 0.000 claims description 35
- 238000005457 optimization Methods 0.000 claims description 7
- 230000008569 process Effects 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000005070 sampling Methods 0.000 claims description 4
- 238000011478 gradient descent method Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 6
- 239000013598 vector Substances 0.000 abstract description 6
- 239000013256 coordination polymer Substances 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000005192 partition Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 239000002585 base Substances 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005315 distribution function Methods 0.000 description 1
- 239000012458 free base Substances 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000007480 spreading Effects 0.000 description 1
- 238000003892 spreading Methods 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/955—Retrieval from the web using information identifiers, e.g. uniform resource locators [URL]
- G06F16/9558—Details of hyperlinks; Management of linked annotations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
- G06F16/367—Ontology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N7/00—Computing arrangements based on specific mathematical models
- G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Optimization (AREA)
- Mathematical Physics (AREA)
- Mathematical Analysis (AREA)
- Computational Mathematics (AREA)
- Pure & Applied Mathematics (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Algebra (AREA)
- Life Sciences & Earth Sciences (AREA)
- Animal Behavior & Ethology (AREA)
- Computational Linguistics (AREA)
- Probability & Statistics with Applications (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种用于知识超图的可解释性链接预测方法，包括基于知识超图嵌入模型和马尔科夫逻辑网络构建可解释的知识超图表示学习模型；通过马尔科夫逻辑网络为知识超图的所有可观测元组和隐元组建立联合概率，以最大化可观测元组的对数似然为训练目标；采用变分EM算法优化对数似然函数的置信下界实现模型的训练和验证；利用验证后的可解释的知识超图表示学习模型对知识超图数据集进行链接预测，即将知识超图数据集中的一个隐元组作为该模型的输入，该模型输出该隐元组成立的概率值和与该隐元组相连的实体和关系对该隐元组成立的贡献度。利用本发明方法能够充分利用逻辑规则中的领域知识及向量空间中的语义信息，提升知识超图表示学习的效果。
Description
技术领域
本发明涉及知识超图，尤其涉及一种面向大规模知识超图的表示学习。
背景技术
随着互联网的迅速发展，数据量呈***性的增长。为深入理解用户查询背后的语义信息，进而增强搜索引擎搜索质量，Google公司在2012年第一次提出了知识图谱(Knowledge Graph)这一概念。知识图谱形式化地描述现实世界中的事物及其相互之间的关系，是以图的形式存储人类知识的大规模语义网络。它将知识表示为三元组p(s,o)，其中p是谓语，s是主语，o是宾语。一个三元组p(s,o)用于表示资源s与资源o之间具有关系p，或资源s具有属性p且其取值为o。
知识超图(Knowledge Hypergraph)是一种图结构的知识库，以多元组的形式存储世界上的事实，可以被视作知识图谱的推广，他将知识表示为n元组p(e1,…,en-1)，其中p是谓语，ei是组成元组的第i个实体。一个n元组用于表示资源ei间具有关系p。由于现实世界中存在大量事实，在知识超图中储存所有事实是不现实的。所以对现有知识超图的最大挑战是其严重的不完整性，即部分实体间的链接是缺失的。以Freebase为例，其包含的关系有61％是多元关系，其储存的超过三分之一的实体参与到了多元关系的组成中。面对知识超图的高度不完整性，手动为实体间添加链接是十分耗费人力和物力的，因此产生了对自动推理实体间缺失链接算法的需求。
知识超图表示学习旨在将实体和关系嵌入为连续低维的向量，以便有效地存储和计算。通过使用这些向量表示，可以有效地表示实体和关系的语义关联，也可以有效地解决计算效率低和数据稀疏的问题。知识表示学习的这些特点对知识超图的构建、推理和应用起着重要的作用。m-TransH是一种代表性的知识超图表示学习方法，它将实体和关系投影到同一个向量空间中。m-TransH模型简单高效，在链接预测问题上取得了可喜的成果。目前研究人员已经提出了几种增强的m-TransH模型，包括RAE和NaLP，以提高知识超图在预测和推理方面的能力。然而，知识超图嵌入方法仍然存在两个关键性的挑战。
(1)链接预测的结果不具有可解释性。现有的知识图谱嵌入方法大多为纯数据驱动的黑盒模型，无法清晰表明某个实体或关系对推理结果的贡献度，也无法给出关于预测可靠性的任何信息。对于诸如银行、医疗、法律等决策会产生影响重大的领域而言，给出推理结果的具体缘由是十分重要的。因此，如何成为一个紧迫的技术问题。
(2)嵌入方法无法与逻辑规则的领域知识结合完成推理。目前的大部分表示学习研究集中于保留实体和关系的语义信息以有效预测缺失的n元组，然而一个局限性是，它们没有利用到逻辑规则，逻辑规则可以紧凑地编码领域知识，这在包括解释推理结果等诸多应用中都很有用。因此，使嵌入方法与逻辑规则同步完成推理以同时利用嵌入空间中的语义信息和逻辑规则中的领域知识是知识表示学习未来研究的一个重要方向。
综上所述，急需一种新的具备可解释性并能够同时利用嵌入空间中的语义信息和逻辑规则中的领域知识的知识超图表示学习方法，解决现有技术中存在的链接预测的结果不具有可解释性和嵌入方法推理无法融入领域知识这两个关键性挑战。
发明内容
针对上述现有技术，随着知识超图的发展，具有可解释性，融入领域知识的知识超图表示学习是人工智能的学术前沿问题，具有非常高的学术价值和潜在应用价值。本发明的目的是提供一种用于知识超图的可解释性链接预测方法，模型同时使用知识超图嵌入方法和马尔科夫逻辑网络进行知识超图表示学习并使用逻辑规则对推理结果进行解释，在实现推理结果可解释的同时提高知识超图的表示性能。
为了解决上述技术问题，本发明提出的一种用于知识超图的可解释性链接预测方法，包括以下步骤：
步骤一、基于知识超图嵌入模型和马尔科夫逻辑网络构建可解释的知识超图表示学习模型；
步骤二、通过马尔科夫逻辑网络为知识超图的所有可观测元组和隐元组建立联合概率，以最大化可观测元组的对数似然为训练目标；采用变分EM算法优化对数似然函数的置信下界，包括：首先执行变分E步推理隐元组成立的概率，从而对所述的知识超图嵌入模型的参数进行优化，然后执行M步，根据变分E步推理所得隐元组成立概率值对所述的马尔科夫逻辑网络的逻辑规则权重进行调整，按照此顺序循环迭代变分E步与M步以完成可解释的知识超图表示学习模型的训练与验证；
步骤三、利用经过步骤二训练及验证后的可解释的知识超图表示学习模型对知识超图数据集进行链接预测，即将知识超图数据集中的一个隐元组作为该模型的输入，该模型的输出是：该隐元组成立的概率值和与该隐元组相连的实体和关系对该隐元组成立的贡献度。
进一步讲，本发明所述的用于知识超图的可解释性链接预测方法，其中：
步骤一的内容是：分别向所述知识超图嵌入模型和马尔科夫逻辑网络输入知识超图的可观测元组，同时，向所述马尔科夫逻辑网络输入与所述的知识超图的可观测元组相应的逻辑规则数据。
步骤二中，所述变分EM算法由变分E步和M步组成并按照此顺序循环迭代变分E步与M步以完成可解释的知识超图表示学习模型的训练与验证；执行变分E步时，将逻辑规则中的知识融入知识超图嵌入模型中，对所述的知识超图嵌入模型的参数进行优化；执行M步时，将嵌入空间中的语义信息与逻辑规则结合，对所述的马尔科夫逻辑网络的逻辑规则权重进行调整。
本发明中，对所述的知识超图嵌入模型的参数进行优化的内容包括；
2-1)调整变分分布优化函数并将知识超图嵌入模型融入变分E步训练中；
2-2)使用马尔科夫逻辑网络获得隐元组的真实后验分布，并采用采样方式优化马尔科夫毯的计算过程；
2-3)通过最小化变分分布和真实后验分布的KL散度以优化知识超图嵌入模型的参数值。
本发明中，对所述的马尔科夫逻辑网络的逻辑规则权重进行调整的内容包括：
3-1)采用伪似然函数作为优化对象，通过优化伪似然函数来最大化对数似然函数以调整逻辑规则权重值；
3-2)采用随机梯度下降方法计算逻辑规则的梯度，并更新权重值。
与现有技术相比，本发明的有益效果是：
(1)本发明针对大规模知识超图，设计了一种用于知识超图的可解释性链接预测方法，是同时基于知识超图嵌入模型和马尔科夫逻辑网络构建的知识表示学习模型，采用变分EM算法循环迭代变分E步和M步分别完成对知识超图嵌入模型的参数优化和马尔科夫逻辑网络的逻辑规则权重调整，经过迭代训练后，两者针对所有元组定义的联合分布收敛并趋于一致，马尔科夫逻辑网络的逻辑规则可用于解释知识超图各实体和关系对推理元组成立的贡献度，在实现推理结果可解释的同时有效提高了链接预测的性能。
(2)相比于纯数据驱动的知识超图表示学习模型，本发明通过基于马尔科夫逻辑网络融入逻辑规则，使得模型可通过马尔科夫毯获得马尔科夫网络中与推理结果相关联的实体和关系，并使用与这些实体关系相关的逻辑规则权重解释推理结果的由来。在知识超图嵌入方法的基础上，本发明探索了将逻辑规则融入知识超图嵌入模型的方法，充分结合了两个模型的优势，可同时利用嵌入空间的语义信息和逻辑规则的领域知识进行隐元组的推理工作，能够更好地完成知识超图链接预测。
附图说明
图1是本发明一个知识超图，相关逻辑规则及马尔科夫毯的示例图；
图2是本发明可解释的知识超图表示学习的流程图；
图3是本发明及现有技术相关方法在知识超图数据集上进行链接预测的实验结果；
图4-1和图4-2是本发明及现有技术相关方法在知识图谱数据集上进行链接预测的实验结果；
图5-1和图5-2是知识超图嵌入方法结合，在知识超图数据集上分别仅使用变分E步和(本发明)同时使用EM步完成进行链接预测的实验结果；
图6-1至图6-4是知识超图嵌入方法结合，在知识图谱数据集上分别仅使用变分E步和(本发明)同时使用EM步完成进行链接预测的实验结果。
具体实施方式
下面结合附图及具体实施例对本发明做进一步的说明，但下述实施例绝非对本发明有任何限制。
本发明提出一种用于知识超图的可解释性链接预测方法，主要包括：
步骤一、基于知识超图嵌入模型和马尔科夫逻辑网络构建可解释的知识超图表示学习模型，包括：向所述知识超图嵌入模型输入知识超图的可观测元组，同时向马尔科夫逻辑网络输入知识超图的可观测元组及与所述可观测元组相应的逻辑规则数据。
步骤二、对步骤一构建的可解释的知识超图表示学习模型进行训练和验证，包括：通过马尔科夫逻辑网络为知识超图的所有可观测元组和隐元组建立联合概率，以最大化可观测元组的对数似然为训练目标。为了使用变分EM算法将知识超图嵌入模型与马尔科夫逻辑网络相结合并同时迭代训练，转而优化对数似然函数的置信下界。
采用变分EM算法优化对数似然函数的置信下界，所述变分EM算法由变分E步和M步组成。首先执行变分E步推理隐元组成立的概率，从而对所述的知识超图嵌入模型的参数进行优化，然后执行M步，根据变分E步推理所得隐元组成立概率值对所述的马尔科夫逻辑网络的逻辑规则权重进行调整，按照此顺序循环迭代变分E步与M步以完成可解释的知识超图表示学习模型的训练与验证。
执行变分E步时，将逻辑规则中的知识融入知识超图嵌入模型中，对所述的知识超图嵌入模型的参数进行优化，包括：
1)调整变分分布优化函数并结合平摊推理使得知识超图嵌入模型可针对单个隐元组进行推理，从而将知识超图嵌入模型融入变分E步训练中；
2)使用马尔科夫逻辑网络获得隐元组的真实后验分布，并采用采样与隐元组相关的元组指示变量值优化马尔科夫毯的计算过程；
3)使用知识超图嵌入模型当前的参数值计算元组的真实后验分布，通过最小化变分分布和真实后验分布的KL散度以优化知识超图嵌入模型的参数值。
执行M步时，将嵌入空间中的语义信息与逻辑规则结合，根据元组成立概率值对所述的马尔科夫逻辑网络的逻辑规则权重进行调整，包括：
1)采用伪似然函数作为优化对象以避免计算涉及大量隐元组指示变量值的配分函数，通过优化伪似然函数来最大化对数似然函数以调整逻辑规则权重值；
2)采用随机梯度下降方法计算逻辑规则的梯度，并更新权重值。
步骤三、利用经过步骤二训练及验证后的可解释的知识超图表示学习模型对知识超图数据集进行链接预测，即将知识超图数据集中的一个隐元组作为该模型的输入，通过隐元组的马尔科夫毯寻找到与该隐元组连接的所有元组及相关的实体和关系，通过逻辑规则权重计算各自对隐元组成立的贡献度，该模型的输出是：该隐元组成立的概率值和与该隐元组相连的实体和关系对该隐元组成立的贡献度。
利用本发明提出的用于知识超图的可解释性链接预测方法，能够充分利用逻辑规则中的领域知识和向量空间中的语义信息，提升知识超图表示学习的效果。
实施例1
本发明中构建的可解释的知识超图表示学习模型，如图1所示，给出了一个知识超图，相关逻辑规则及马尔科夫毯的示例图。其中，圆形表示实体，上图椭圆表示知识超图的数个n元组，下图椭圆表示一个团，知识超图的n元组由多个实体组成，其中parentsOf表示父母子关系，couple表示夫妻关系，wasBornIn表示出生地关系，workAsFor表示工作身份关系，分别由3个、2个、3个、3个实体组成，基于这些谓词组成的规则如中图马尔科夫逻辑网络所示，马尔科夫逻辑网络由逻辑规则和规则权重组成。在变分E步中，知识超图嵌入方法由左侧n元组得到的嵌入向量完成隐元组(如知识超图中不存在的serveAsFor(LebronJames,Basketball Player,Laker))的预测，在M步中，以可观测元组及变分E步预测的隐元组为训练数据调整马尔科夫逻辑网络的规则权重。解释推理结果时，使用推理结果的马尔科夫毯，以隐元组serveAsFor(Lebron James,Basketball Player,Laker)为例，马尔科夫毯将与该隐元组连接的所有实体进行展示，在一个逻辑规则中的实体彼此相连为一个团，对应一条闭规则涉及的所有实体，通过M步训练所得逻辑规则的权重即可解释各相关实体和关系对推理结果成立的贡献度。
实施例2
利用本发明提出的可解释性连接预测方法实现知识超图表示学习的过程，如图2所示，该知识超图表示学习方法过程如下：
一、建立可解释的知识超图表示学习模型
1-1)输入元组和规则数据，使用马尔科夫建立联合概率并最大化可观测元组的对数似然。
将知识超图表示为
其中
ε、
和
分别为知识超图、实体、关系和可观测元组的有限集合。可观测元组ti＝r(e1，e2，...，ek)，其中r为一个关系，每个
为一个实体，k是关系r的非负整元数，i是可观测元组索引。每个元组ti与一个指示变量
关联，
表示元组为真，
则表示元组为假。
给定逻辑规则集合L，所有元组的联合分布可通过以下公式(1)进行定义：
其中p为联合分布，Z为配分函数，
是第i个逻辑规则的权重值，
是第i个闭规则集合
的大小，bH为隐元组。通过上述公式(1)，将预测隐变量是否为真的问题变为推理后验分布pt(bH|bO)的数值大小，马尔科夫逻辑网络的训练通过最大化可观测元组bO的对数似然log pt(bO)完成。
1-2)优化对数似然函数的置信下界，引入变分EM算法。
为了同时将知识超图嵌入模型和马尔科夫逻辑网络进行结合，转而优化步骤1-1)中对数似然的置信下界，如公式(2)所示：
其中，KL计算真实后验和变分后验的KL散度，在变分后验pv与真实后验pt相等时，该置信下界可有效地被变分EM算法进行优化。
变分EM算法由变分E步和M步组成，当执行变分E步时，真实后验分布固定的同时更新变分分布以缩小pv(bH)与pt(bO，bH)的KL散度，这个过程可将逻辑规则中的知识融入知识超图嵌入模型中；当执行M步时，变分分布固定的同时更新真实后验分布以最大化所有元组下的对数似然函数
这个过程可将嵌入空间中的语义信息与逻辑规则结合。
二、执行变分E步推理隐元组成立的概率
2-1)使用知识超图嵌入模型得到隐元组的变分分布。
变分E步的目标是推断隐元组bH的真实后验分布pt(bH|bO)的数值大小，但由于知识超图复杂的图结构导致精确推理不可行，因此通过使用平均场变分分布来近似真实后验分布，使得变分分布pv(bH)可独立地为每个隐元组t进行推理。
知识超图嵌入模型预测隐元组的方法是学习可观测元组bO的实体和关系的嵌入，基于这些嵌入可将所有元组的联合分布定义为如下公式(3)：
其中，Bern表示伯努利分布，打分函数f基于关系嵌入r和实体嵌入e计算元组t＝r(e1，e2，...，ek)为正确的概率。通过将可观测元组作为正例，隐元组作为负例，通过随机梯度下降最大化对数概率log p(bO＝1，bH＝0)以有效优化模型参数。
为将马尔科夫逻辑网络与知识超图嵌入模型进行结合，利用平摊推理使变分分布pv(bH)参数化为知识超图嵌入模型的参数，这样公式(3)的联合分布可在变分E步中与马尔科夫逻辑网络进行结合，推理公式(4)如下：
2-2)使用马尔科夫逻辑网络获得隐元组的真实后验分布
通过最小化pv(bH)与pt(bH|bO)间的KL散度，马尔科夫逻辑网络预测隐元组的概率值通过一个固定公式(5)进行：
其中，MB(t)是元组t的马尔科夫毯，const为固定常量，任何规则的闭规则集中的元组，只要与元组t同时出现的都可在该马尔科夫毯MB(t)中找到。
公式(5)中的期望可通过采样
来估计以简化计算，这样对马尔科夫毯中的每个元组t‘，如果t’是可观测的，则
否则
取由知识超图嵌入模型计算所得的变分分布值，这样变分分布可进一步简化为
通过步骤2-1)和本步的执行，每个隐元组t的指示变量值bt可同时通过知识超图嵌入模型和马尔科夫逻辑网络进行预测，如果与元组t相连的任意一个t′是隐元组，其指示变量可取，结合变分分布的简化
可知知识超图嵌入模型的预测结果应与马尔科夫逻辑网络的预测结果保持相同。
2-3)优化知识超图嵌入模型的参数值。
学习知识超图模型的参数μ，可通过下述公式(6)的目标函数Oμ进行：
该目标函数可通过当前μ值计算
并以真实后验分布作为目标来更新μ以最小化变分分布和真实分布的KL散度。这样编码在逻辑规则中的领域知识可融入知识超图嵌入模型。
三、执行M步根据元组成立概率值调整逻辑规则权重
3-1)优化伪似然函数更新权重值大小。
在M步中，为了解决公式(1)中的配分函数，转向通过固定知识超图嵌入模型的参数并最大化对数似然以优化伪似然函数实现对逻辑规则权重的调整，伪似然函数如公式(7)所示：
3-2)使用随机梯度下降计算逻辑规则权重的梯度。
针对步骤3-1)中公式(7)的期望，对于隐元组在马尔科夫毯中相连的规则l，其权重的梯度可通过公式(8)的随机梯度下降来计算：
最终，对每个可观测的元组，试图最大化
对每个隐元组，pv(bt＝1)作为目标来更新概率值
如此可将知识超图嵌入模型学习到的语义信息与逻辑规则进行结合。
四、输出隐元组成立的概率及各实体关系对隐元组成立的贡献度
对每个预测元组t而言，在任意逻辑规则l中，与t同时出现的元组t′＝r(e1，e2，...，ek)可在马尔科夫毯MB(t)中被找到。在马尔科夫毯中出现的所有实体和关系可被分组为集合ε′和集合
元组集合
由马尔科夫毯中所有包含实体e′的元组组成，每个实体e′对元组t的贡献度可通过公式(9)计算：
其中，
可通过上述相同方式获得的元组集合
来计算每个关系r′的贡献度。有了每个实体和关系的贡献度，各自的贡献百分比可通过除以本类型贡献度的求和来获得，对于某一实体在特定一个关系r′∈l下对预测结果的贡献度或某一关系在特定一个规则l下对预测结果的贡献度，可通过训练后马尔科夫逻辑网络的规则权重值获得。
实施例3
本发明方法与现有技术中相关方法在知识超图数据集或知识图谱数据集上进行链接预测的实验结果。
本发明在知识超图数据集JF17K、M-FB15K、FB-AUTO和知识图谱数据集FB15k、WN18、FB15k-237、WN18RR上进行链接预测。
参见图3，在知识超图数据集上，选择m-CP作为知识超图的嵌入模型。与纯m-CP和其他知识超图嵌入方法相比，本发明技术方案在几乎所有的评价指标上都取得了更好的表现。原因是知识超图嵌入方法只利用了嵌入空间中的语义信息，而本发明使用进一步结合了逻辑规则中的领域知识的嵌入来预测马尔科夫逻辑网络发现的隐元组的成立概率值，并进一步更新逻辑规则的权重以达到更好的性能。从FB-AUTO数据集的结果来看，与纯m-CP相比，本发明取得了相同的效果。这主要与FB-AUTO数据集的大小有关(7个关系，总共11213个元组)，在搜索隐藏元组时没有具有贡献的逻辑规则。因此，测试集和隐元组集之间的交集为空，这导致所包含的逻辑规则不能提炼到知识超图嵌入中，导致综合效果与纯嵌入方法相同。
参见图4-1和图4-2，在知识图谱数据集上，选择m-DistMult作为知识超图的嵌入模型。与知识超图上的结果类似，将本发明应用于知识图谱中，在具有二元关系的普通知识图谱中也得到了更好的结果，证明了本发明的有效性。由于纯马尔科夫逻辑网络只应用于二元关系，本发明仅在知识图谱数据集上与纯马尔科夫逻辑网络进行推理性能对比。与知识超图数据集类似，实验结果显示本发明中创建的模型在这些评价指标上的高效表现。
图5-1、图5-2和图6-1至图6-4分别说明了用变分EM算法和其变体(仅用变分E步)训练本发明的结果。在变分E步中，嵌入模型从逻辑规则中学习领域知识，而在M步中，逻辑规则的权重可以通过学习的嵌入来优化。当本发明在同一数据集下结合使用相同的嵌入方法时，同时使用变分E步和M步的效果一般要高于只使用变分E步的效果。
尽管上面结合附图对本发明进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨的情况下，还可以做出很多变形，这些均属于本发明的保护之内。
Claims (5)
1.一种用于知识超图的可解释性链接预测方法，其特征在于，包括以下步骤：
步骤一、基于知识超图嵌入模型和马尔科夫逻辑网络构建可解释的知识超图表示学习模型；
步骤二、通过马尔科夫逻辑网络为知识超图的所有可观测元组和隐元组建立联合概率，以最大化可观测元组的对数似然为训练目标；采用变分EM算法优化对数似然函数的置信下界，包括：首先执行变分E步推理隐元组成立的概率，从而对所述的知识超图嵌入模型的参数进行优化，然后执行M步，根据变分E步推理所得隐元组成立概率值对所述的马尔科夫逻辑网络的逻辑规则权重进行调整，按照此顺序循环迭代变分E步与M步以完成可解释的知识超图表示学习模型的训练与验证；
步骤三、利用经过步骤二训练及验证后的可解释的知识超图表示学习模型对知识超图数据集进行链接预测，即将知识超图数据集中的一个隐元组作为该模型的输入，该模型的输出是：该隐元组成立的概率值和与该隐元组相连的实体和关系对该隐元组成立的贡献度。
2.根据权利要求1所述的用于知识超图的可解释性链接预测方法，其特征在于，步骤一的内容是：分别向所述知识超图嵌入模型和马尔科夫逻辑网络输入知识超图的可观测元组，同时，向所述马尔科夫逻辑网络输入与所述的知识超图的可观测元组相应的逻辑规则数据。
3.根据权利要求1所述的用于知识超图的可解释性链接预测方法，其特征在于，步骤二中，所述变分EM算法由变分E步和M步组成，并按照此顺序循环迭代变分E步与M步以完成可解释的知识超图表示学习模型的训练与验证；
执行变分E步时，将逻辑规则中的知识融入知识超图嵌入模型中，对所述的知识超图嵌入模型的参数进行优化；
执行M步时，将嵌入空间中的语义信息与逻辑规则结合，对所述的马尔科夫逻辑网络的逻辑规则权重进行调整。
4.根据权利要求1或2所述的用于知识超图的可解释性链接预测方法，其特征在于，对所述的知识超图嵌入模型的参数进行优化的内容包括；
2-1)调整变分分布优化函数并将知识超图嵌入模型融入变分E步训练中；
2-2)使用马尔科夫逻辑网络获得隐元组的真实后验分布，并采用采样方式优化马尔科夫毯的计算过程；
2-3)通过最小化变分分布和真实后验分布的KL散度以优化知识超图嵌入模型的参数值。
5.根据权利要求1或2所述的用于知识超图的可解释性链接预测方法，其特征在于，对所述的马尔科夫逻辑网络的逻辑规则权重进行调整的内容包括：
3-1)采用伪似然函数作为优化对象，通过优化伪似然函数来最大化对数似然函数以调整逻辑规则权重值；
3-2)采用随机梯度下降方法计算逻辑规则的梯度，并更新权重值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210324786.7A CN114780879A (zh) | 2022-03-30 | 2022-03-30 | 一种用于知识超图的可解释性链接预测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210324786.7A CN114780879A (zh) | 2022-03-30 | 2022-03-30 | 一种用于知识超图的可解释性链接预测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114780879A true CN114780879A (zh) | 2022-07-22 |
Family
ID=82428083
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210324786.7A Pending CN114780879A (zh) | 2022-03-30 | 2022-03-30 | 一种用于知识超图的可解释性链接预测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114780879A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115757806A (zh) * | 2022-09-21 | 2023-03-07 | 清华大学 | 超关系知识图谱嵌入方法、装置、电子设备及存储介质 |
| CN117273143A (zh) * | 2023-08-08 | 2023-12-22 | 南京邮电大学 | 基于马尔可夫逻辑网络的时序知识图谱推理方法及*** |
-
2022
- 2022-03-30 CN CN202210324786.7A patent/CN114780879A/zh active Pending
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115757806A (zh) * | 2022-09-21 | 2023-03-07 | 清华大学 | 超关系知识图谱嵌入方法、装置、电子设备及存储介质 |
| CN115757806B (zh) * | 2022-09-21 | 2024-05-28 | 清华大学 | 超关系知识图谱嵌入方法、装置、电子设备及存储介质 |
| CN117273143A (zh) * | 2023-08-08 | 2023-12-22 | 南京邮电大学 | 基于马尔可夫逻辑网络的时序知识图谱推理方法及*** |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112653142B (zh) | 优化深度Transformer网络的风电功率预测方法及*** | |
| CN109783817B (zh) | 一种基于深度强化学习的文本语义相似计算模型 | |
| CN109948029B (zh) | 基于神经网络自适应的深度哈希图像搜索方法 | |
| CN112529168B (zh) | 一种基于gcn的属性多层网络表示学习方法 | |
| Lobato et al. | Multi-objective genetic algorithm for missing data imputation | |
| Jin et al. | Empowering graph representation learning with test-time graph transformation | |
| WO2022205833A1 (zh) | 无线网络协议知识图谱构建分析方法、***、设备及介质 | |
| CN114780879A (zh) | 一种用于知识超图的可解释性链接预测方法 | |
| CN106411896A (zh) | 基于apde‑rbf神经网络的网络安全态势预测方法 | |
| Chen et al. | Rlpath: a knowledge graph link prediction method using reinforcement learning based attentive relation path searching and representation learning | |
| CN112905801A (zh) | 基于事件图谱的行程预测方法、***、设备及存储介质 | |
| Zhao et al. | Multi-strategy ensemble firefly algorithm with equilibrium of convergence and diversity | |
| CN115905691B (zh) | 一种基于深度强化学习的偏好感知推荐方法 | |
| Xu et al. | Graph partitioning and graph neural network based hierarchical graph matching for graph similarity computation | |
| Mu et al. | Auto-CASH: A meta-learning embedding approach for autonomous classification algorithm selection | |
| CN112580728B (zh) | 一种基于强化学习的动态链路预测模型鲁棒性增强方法 | |
| Wei et al. | Autoias: Automatic integrated architecture searcher for click-trough rate prediction | |
| CN114708479B (zh) | 一种基于图结构和特征的自适应防御方法 | |
| Czajkowski et al. | Steering the interpretability of decision trees using lasso regression-an evolutionary perspective | |
| Zhang et al. | Reinforcement learning with actor-critic for knowledge graph reasoning | |
| Hruschka et al. | Towards efficient imputation by nearest-neighbors: A clustering-based approach | |
| CN116975434A (zh) | 内容推荐方法以及相关设备 | |
| CN114444697A (zh) | 一种基于知识图谱的常识缺失信息多跳推理方法 | |
| Liu | POI recommendation model using multi-head attention in location-based social network big data | |
| Chen et al. | A feature selection method of parallel grey wolf optimization algorithm based on spark |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |