CN112860918B - 一种基于协同演化建模的时序知识图谱表示学习方法 - Google Patents

一种基于协同演化建模的时序知识图谱表示学习方法 Download PDF

Info

Publication number
CN112860918B
CN112860918B CN202110305818.4A CN202110305818A CN112860918B CN 112860918 B CN112860918 B CN 112860918B CN 202110305818 A CN202110305818 A CN 202110305818A CN 112860918 B CN112860918 B CN 112860918B
Authority
CN
China
Prior art keywords
social
representing
entity
knowledge graph
fact
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110305818.4A
Other languages
English (en)
Other versions
CN112860918A (zh
Inventor
张嘉昇
梁爽
邵杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan Artificial Intelligence Research Institute Yibin
Original Assignee
Sichuan Artificial Intelligence Research Institute Yibin
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan Artificial Intelligence Research Institute Yibin filed Critical Sichuan Artificial Intelligence Research Institute Yibin
Priority to CN202110305818.4A priority Critical patent/CN112860918B/zh
Publication of CN112860918A publication Critical patent/CN112860918A/zh
Application granted granted Critical
Publication of CN112860918B publication Critical patent/CN112860918B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
    • G06F16/367—Ontology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G06F40/295—Named entity recognition
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明提供了一种基于协同演化建模的时序知识图谱表示学习方法，属于时序知识图谱技术领域，根据待表示的时序知识图谱，初始化模型的参数以及任一实体和关系的嵌入表示；计算得到每个已知事实的发生概率，并通过最大化已知事实的发生概率得到局部结构的演化损失；为每个时序知识图谱快照的图结构计算其对应的软模块度，并最大化软模块度得到全局结构的演化损失；计算得到模型的整体损失函数；利用梯度下降法迭代优化所述模型的整体损失函数，直至模型收敛。本发明解决了以往的工作因为忽略时序知识图谱的演化本质而无法获得准确的嵌入表示的问题。

Description

一种基于协同演化建模的时序知识图谱表示学习方法
技术领域
本发明属于时序知识图谱技术领域，尤其涉及一种基于协同演化建模的时序知识图谱表示学习方法。
背景技术
知识图谱作为一种具有语义属性的知识库***，被广泛用于各个领域中结构化数据的存储与管理，比如动态社交。知识图谱可以被表示成一个异构有向图，其中节点代表了现实世界中的实体与概念，而带有标签的有向边则代表了它们之间的关系。尽管目前已有很多知识图谱表示学习方法被提出，但他们很少考虑知识图谱的动态性，尤其是忽略了其演化本质，这种知识的更新迭代反映到知识图谱上则表现为实体的出现与消失或关系的建立与解除，因此知识图谱本身具有时变性和演化性。现有的工作忽略了知识图谱的时间特性，导致他们所学习到的嵌入表示是不准确不合理的。
近年来，一些工作尝试为这种随时间变化的知识图谱学***面的方法，其通过将不同时间下的知识映射到不同的超平面上来分别学习每个时间下的嵌入表示；基于历时实体嵌入的方法，其将实体的嵌入表示看作一个与时间相关的非线性函数；基于张量分解的方法，其利用邻接矩阵的低秩分解来学习时序知识图谱的嵌入表示。
然而，上述工作要么独立地学习每个时刻的嵌入表示，从而忽略了时序知识图谱的演化本质；要么将其演化本质简化为实体的非线性动态性，无法反映时序知识图谱的详细演化机制。事实上，从局部结构来看，随着时间的发展，关系不断在实体之间建立或解除，从而驱动了时序知识图谱的演化。而从全局结构来看，大量的关系建立与解除共同形成了时序知识图谱中社团结构的缓慢演化过程，同时，局部结构演化与全局结构演化并非互相独立的，局部结构演化是全局结构演化的内在机制，全局结构演化是局部结演化的外驱动因，考虑局部和全局结构的协同演化过程能够学习到更为准确的时序知识图谱嵌入表示，目前还没有工作考虑到这一点。
发明内容
针对现有技术中的上述不足，本发明提供的一种基于协同演化建模的时序知识图谱表示学习方法，其创新点在于同时从局部结构和全局结构两个角度建模时序知识的演化过程，并提出了一个新的软模块度用于衡量社团结构，本方法解决了以往的工作因为忽略时序知识图谱的演化本质而无法获得准确的嵌入表示的问题。
为了达到以上目的，本发明采用的技术方案为：
本方案提供一种基于协同演化建模的时序知识图谱表示学习方法，包括以下步骤：
S1、根据待表示的时序知识图谱，初始化模型的参数以及任一实体和关系的嵌入表示；
S2、以时序知识图谱中事实对应时间戳的顺序，输入时序知识图谱的已知事实计算得到每个已知事实的发生概率，并通过最大化已知事实的发生概率得到局部结构的演化损失；
S3、以时间顺序输入时序知识图谱在每个时间戳下的时序知识图谱快照，为每个时序知识图谱快照的图结构计算其对应的软模块度，并最大化软模块度得到全局结构的演化损失；
S4、根据所述局部结构的演化损失以及全局结构的演化损失，计算得到模型的整体损失函数；
S5、利用梯度下降法迭代优化所述模型的整体损失函数，并更新模型的参数以及实体和关系的嵌入表示；
S6、判断模型是否收敛，若是，得到最终的实体和关系嵌入表示，完成时序知识图谱表示学习，否则，返回步骤S1。
本发明的有益效果是：本发明设计了一个新的基于协同演化的时序知识图谱表示学习方法，能够从局部和全局演化两个方面对知识的演化过程进行建模，捕获知识演化的内在机理，从而学习到更准确的表示向量来提升事件预测等下游任务的性能。相比于以往的方法，本发明提出的方法具有更高的运行效率且能够适应流式数据的线上环境。
进一步地，所述步骤S1中初始化任一实体e在时间戳τ下的嵌入表示uτe的表达式如下：
Figure BDA0002987658900000031
其中，θe、ωe和ve均表示特定于当前实体的向量。
上述进一步方案的有益效果是：能够充分考虑不同实体的不同策略演化方式，如：周期型演化策略，非周期型演化趋势以及静态属性。
再进一步地，所述步骤S2包括以下步骤：
S201、以时序知识图谱中事实对应时间戳τ的顺序，输入当前时序知识图谱的已知事实，对于任一已知事实(s,r,o,τ)，根据其参与者计算得到该事实自发发生的强度
Figure BDA0002987658900000032
其中，所述参与者为已知事实中包含的实体s,o以及关系r；
S202、利用发生于τi时刻的历史事实将当前动态事实的激励作用
Figure BDA0002987658900000033
划分为两部分：
Figure BDA0002987658900000041
Figure BDA0002987658900000042
Figure BDA0002987658900000043
Figure BDA0002987658900000044
其中，ηs,r(τi)和ηo,r(τi)分别表示当前动态事实中的头实体s和尾实体o在τi时刻的历史事实对当前动态事实的影响，
Figure BDA0002987658900000045
表示在τi时刻下实体e所具有的关系集合，
Figure BDA0002987658900000046
表示关系级注意力，
Figure BDA0002987658900000047
和Zr表示历史事实中关系的嵌入表示，
Figure BDA0002987658900000048
表示历史事件所包含的关系，V表示用于衡量关系向量间相似性的参数矩阵，h表示τi时刻下与实体e存在关系的实体，βh,x表示实体注意力，
Figure BDA0002987658900000049
表示h在τi时刻下的向量表示，
Figure BDA00029876589000000410
表示x在τi时刻下的向量表示，x表示实体e在当前动态事实中存在关系的实体，r'表示τi时刻下实体e所具有的关系中的某一个，h'表示h特定的某一个，
Figure BDA00029876589000000411
表示τi时刻下与实体e具有关系的实体集合，
Figure BDA00029876589000000412
表示h'在τi时刻下的向量表示；
S203、根据该事实自发发生的强度
Figure BDA00029876589000000413
和当前动态事实的激励作用
Figure BDA00029876589000000414
划分的两部分，计算得到已知事实(s,r,o,τ)的发生强度
Figure BDA00029876589000000415
S204、根据所述已知事实(s,r,o,τ)的发生强度
Figure BDA00029876589000000416
计算得到每个已知事实发生的概率p(s,r,o|I(τ))；
S205、根据所述每个已知事实的发生概率，通过最大化事实的发生概率计算得到局部结构的演化损失Llocal：
Figure BDA00029876589000000417
其中，I(τ)表示τ时刻之前的历史事件组成的集合。
上述进一步方案的有益效果是：对不同的历史事件施加自适应的重要性权重，从而灵活地考虑不同的历史事实对当前事实的不同影响。
进一步地，所述步骤S201中该事实自发发生的强度
Figure BDA0002987658900000051
的表达式如下：
Figure BDA0002987658900000052
其中，
Figure BDA0002987658900000053
和
Figure BDA0002987658900000054
分别表示事实中的头实体s和尾实体o在时间戳下的嵌入表示，Zr表示关系r对应的嵌入表示，w表示用于衡量向量间相似性的学习参数矩阵。
上述进一步方案的有益效果是：能够有效识别任一时刻的自发事实。
再进一步地，所述步骤S203中已知事实(s,r,o,τ)的发生强度
Figure BDA0002987658900000055
的表达式如下：
Figure BDA0002987658900000056
Figure BDA0002987658900000057
其中，
Figure BDA0002987658900000058
表示原始的事实发生强度，θ表示超参数，
Figure BDA0002987658900000059
表示历史事实对当前事实的激励作用，τ表示当前事实的发生时间，τi表示历史事件的发生时间，k(τ-τi)表示时间衰减函数。
上述进一步方案的有益效果是：同时考虑了事实的自发强度和历史事实对其的影响，能够充分建模一个事实的发生强度。
再进一步地，所述步骤S204中每个已知事实发生的概率p(s,r,o|I(τ))的表达式如下：
Figure BDA00029876589000000510
其中，
Figure BDA00029876589000000511
表示候选事实(e,r,o,τ)的发生强度，
Figure BDA00029876589000000512
表示候选事实(s,r,e,τ)的发生强度，e表示实体集合中的任一实体，ε表示一个时序知识图谱的实体集合，I(τ)表示τ时刻之前的历史事件组成的集合，s表示当前事实包含的头实体，r表示当前事实包含的关系，o表示当前事实包含的尾实体。
上述进一步方案的有益效果是：充分最大化有效事实的发生概率。
再进一步地，所述步骤S3包括以下步骤：
S301、以时间顺序输入时序知识图谱在每个时间戳下的时序知识图谱快照，计算得到两个实体间的连接强度
Figure BDA0002987658900000061
S302、根据所述连接强度
Figure BDA0002987658900000062
计算得到每个时序知识图谱快照的图结构对应的软模块度，其中，所述软模块度中每个元素
Figure BDA0002987658900000063
的表达式如下：
Figure BDA0002987658900000064
其中，
Figure BDA0002987658900000065
和
Figure BDA0002987658900000066
分别表示实体i和实体j在时间戳τ下的度数，mτ表示时序知识图谱在τ时间戳下存在的关系总数；
S303、计算得到每个实体的社团分配向量
Figure BDA0002987658900000067
S304、根据所述每个实体的社团分配向量，最大化所述软模块度得到全局结构的演化损失Lglobal。
上述进一步方案的有益效果是：能充分考虑时序知识图谱的动态性与异构性。
再进一步地，所述步骤S301中两个实体间的连接强度
Figure BDA0002987658900000068
的表达式如下：
Figure BDA0002987658900000069
其中，r表示集合
Figure BDA00029876589000000610
中的任一关系，
Figure BDA00029876589000000611
表示在τ时间戳下存在于实体i和实体j之间的关系集合，Zr表示关系r的向量表示，a表示用于衡量不同关系的连接强度的参数向量，
Figure BDA00029876589000000612
表示非线性激活函数。
上述进一步方案的有益效果是：能够灵活地考虑不同关系带来的实体间不同的连接强度。
再进一步地，所述步骤S303中每个实体的社团分配向量
Figure BDA0002987658900000071
的表达式如下：
Figure BDA0002987658900000072
其中，F表示用于将实体的嵌入表示映射为实体的社团分配向量的参数矩阵，
Figure BDA0002987658900000073
表示实体i在时间戳τ下的嵌入表示，
Figure BDA0002987658900000074
表示上一时间戳中实体i所属的社团对应的嵌入表示。
上述进一步方案的有益效果是：能够同时基于当前时间戳下时序知识图谱的拓扑结构以及社团缓慢演化的特性计算实体的社团划分。
再进一步地，所述步骤S304中全局结构的演化损失Lglobal的表达式如下：
Figure BDA0002987658900000075
其中，T表示转置运算符号，mτ表示时序知识图谱在时间戳τ存在的关系总数，Tr(·)表示矩阵的迹，Hτ表示时间戳τ下的社团分配矩阵，
Figure BDA0002987658900000076
表示软模块度矩阵，norm(·)表示二范数正则化，Hτ表示时间戳τ下的社团分配矩阵。
上述进一步方案的有益效果是：能够简化软模块度的最大化过程，加速模型收敛。
附图说明
图1为本发明的方法流程图。
图2为本方法应用于动态社交网络的方法流程图。
具体实施方式
下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。
实施例
如图1所示，本发明提供了一种基于协同演化建模的时序知识图谱表示学习方法，其实现方法如下：
S1、根据待表示的时序知识图谱，初始化模型的参数以及任一实体和关系的嵌入表示；
本实施例中，初始化任一实体e在时间戳τ下的嵌入表示
Figure BDA0002987658900000081
的表达式如下：
Figure BDA0002987658900000082
其中，θe、ωe和ve均表示特定于当前实体的向量。
S2、以时序知识图谱中事实对应时间戳的顺序，输入时序知识图谱的已知事实计算得到每个已知事实的发生概率，并通过最大化已知事实的发生概率得到局部结构的演化损失，其实现方法如下：
S201、以时序知识图谱中事实对应时间戳τ的顺序，输入当前时序知识图谱的已知事实，对于任一已知事实(s,r,o,τ)，根据其参与者计算得到该事实自发发生的强度
Figure BDA0002987658900000083
其中，所述参与者为已知事实中包含的实体s,o以及关系r；
S202、利用发生于τi时刻的历史事实将当前动态事实的激励作用
Figure BDA0002987658900000084
划分为两部分：
S203、根据该事实自发发生的强度
Figure BDA0002987658900000085
和当前动态事实的激励作用
Figure BDA0002987658900000086
划分的两部分，计算得到已知事实(s,r,o,τ)的发生强度
Figure BDA0002987658900000087
S204、根据所述已知事实(s,r,o,τ)的发生强度
Figure BDA0002987658900000088
计算得到每个已知事实发生的概率p(s,r,o|I(τ))；
S205、根据所述每个已知事实的发生概率，通过最大化事实的发生概率计算得到局部结构的演化损失Llocal。
本实施例中，为了考虑历史事实对当前事实发生概率的影响，本发明首先将发生于τi时刻的历史事实对当前时间的影响分解为两部分：
Figure BDA0002987658900000091
其中，ηs,r(τi)和ηo,r(τi)分别表示当前动态事实中的头实体s和尾实体o在τi时刻的历史事实对当前动态事实的影响。对于每一个实体，由于其不同的历史事实会通过不同的关系与不同的实体连接，因此不同的历史事实对当前事实具有不同的影响，为此，本发明将τi时间戳下实体e的所有历史事实看作一种层次结构，并通过如下方式量化其对当前事实的影响力：
Figure BDA0002987658900000092
其中，e代表考虑历史事实影响的实体(s或o)，x代表历史事实中的目标实体(当e为s时，x为o)，
Figure BDA0002987658900000093
表示在τi时刻下实体e所具有的关系集合，
Figure BDA0002987658900000094
是在τi时间戳下实体τi存在关系
Figure BDA0002987658900000095
的实体的集合V表示用于衡量关系向量间相似性的参数矩阵。为了建模不同历史事实对当前事实的不同重要性，本发明使用层次注意力机制，分别计算了关系级注意力
Figure BDA0002987658900000096
和实体级注意力βh,x，关系级注意力的计算方式如下：
Figure BDA0002987658900000097
其中，
Figure BDA0002987658900000098
和Zr表示历史事实中关系的嵌入表，实体级注意力的计算方式如下：
Figure BDA0002987658900000099
其中，
Figure BDA00029876589000000910
和
Figure BDA00029876589000000911
为历史事实中的目标实体在对应时间戳下的嵌入表示。
本实施例中，根据该事实自发发生的强度
Figure BDA0002987658900000101
和当前事实的影响被分为的两部分
Figure BDA0002987658900000102
计算得到已知事实(s,r,o,τ)的发生强度：
Figure BDA0002987658900000103
由于上式可能得到负值，而事实发生的概率为小于等于1的正数，因此本发明通过一个指数函数将上述发生强度转换为正数：
Figure BDA0002987658900000104
其中，
Figure BDA0002987658900000105
表示原始的事实发生强度，θ表示超参数，
Figure BDA0002987658900000106
表示历史事实对当前事实的激励作用，τ表示当前事实的发生时间，τi表示历史事件的发生时间，k(τ-τi)表示时间衰减函数。
因此，可以得到每个已知事实发生的概率p(s,r,o|I(τ))：
Figure BDA0002987658900000107
其中，
Figure BDA0002987658900000108
表示候选事实(e,r,o,τ)的发生强度，
Figure BDA0002987658900000109
表示候选事实(s,r,e,τ)的发生强度，e表示实体集合中的任一实体，ε表示一个时序知识图谱的实体集合，I(τ)表示τ时刻之前的历史事件组成的集合，s表示当前事实包含的头实体，r表示当前事实包含的关系，o表示当前事实包含的尾实体。
本实施例中，通过最小化损失函数来最大化每个已知事实发生的概率：
Figure BDA00029876589000001010
S3、以时间顺序输入时序知识图谱在每个时间戳下的时序知识图谱快照，为每个时序知识图谱快照的图结构计算其对应的软模块度，并最大化软模块度得到全局结构的演化损失，其实现方法如下：
S301、以时间顺序输入时序知识图谱在每个时间戳下的时序知识图谱快照，计算得到两个实体间的连接强度
Figure BDA00029876589000001011
S302、根据所述连接强度
Figure BDA0002987658900000111
计算得到每个时序知识图谱快照的图结构对应的软模块度；
S303、计算得到每个实体的社团分配向量
Figure BDA0002987658900000112
S304、根据所述每个实体的社团分配向量，最大化所述软模块度得到全局结构的演化损失Lglobal。
本实施例中，在建模时序知识图谱的社团结构过程时，考虑到实体间使用不同的关系连接可能会带来不同的连接强度，首先通过下式计算两个实体间的连接强度：
Figure BDA0002987658900000113
其中，r表示集合
Figure BDA0002987658900000114
中的任一关系，
Figure BDA0002987658900000115
表示在τ时间戳下存在于实体i和实体j之间的关系集合，Zr表示关系r的向量表示，a表示用于衡量不同关系的连接强度的参数向量，
Figure BDA0002987658900000116
表示非线性激活函数。
基于此，可以得到时序知识图谱在每个时间戳下的软模块矩阵，该矩阵中的每个元素通过以下方式得到：
Figure BDA0002987658900000117
其中，
Figure BDA0002987658900000118
和
Figure BDA0002987658900000119
分别表示实体i和实体j在时间戳τ下的度数，mτ表示时序知识图谱在τ时间戳下存在的关系总数。
为了最大化时序知识图谱在每个时间戳下的软模块度，本发明需要得到每个实体的社团分配向量。考虑到时序知识图谱中的实体具有多种类型，且同一个实体可能同时属于多个不同的社团，允许对实体进行软社团分配，并通过下式得到每个实体的社团分配：
Figure BDA00029876589000001110
其中，F表示用于将实体的嵌入表示映射为实体的社团分配向量的参数矩阵，
Figure BDA0002987658900000121
表示实体i在时间戳τ下的嵌入表示，
Figure BDA0002987658900000122
表示上一时间戳中实体i所属的社团对应的嵌入表示。
本实施例中，最后通过最小化如下损失函数来最大化时序知识图谱在各时间戳下的软模块度：
Figure BDA0002987658900000123
S4、根据所述局部结构的演化损失以及全局结构的演化损失，计算得到模型的整体损失函数L：
L＝Llocal+Lglobal
S5、利用梯度下降法迭代优化所述模型的整体损失函数，并更新模型的参数以及实体和关系的嵌入表示；
S6、判断模型是否收敛，若是，得到最终的实体和关系嵌入表示，完成时序知识图谱表示学习，否则，返回步骤S1。
本发明不同于现有方法都忽视了时序知识图谱的演化本质，本发明的模型通过同时建模时序知识图谱的局部结构演化和全局结构演化来学习时序知识图谱的嵌入表示，因而本发明的模型所学习到的嵌入表示能够有效捕获时序知识图谱的演化本质。本发明所提出的基于层次注意力的时序点过程能够考虑实体语义的多种演化模式，并为不同的历史事件计算不同的影响力，从而有效建模实体间关系的建立。本发明的模型能够基于软模块度有效建模时序知识图谱中的动态社团划分，学习到时序知识图谱在宏观层面上的演化过程。如表1所示，表1为实验结果对比表。
表1
Figure BDA0002987658900000131
实施例2
下面对本发明作进一步说明。
本发明中对于任一现实世界中的动态社交网络，先通过实体消歧，关系抽取等手段将其表示为一个用于描述实体间关系的时序知识图谱，进而将该所得时序知识图谱输入上述提出的模型中通过梯度下降优化得到社会实体与关系所对应的嵌入表示，之后该嵌入表示被用于描述事实可信度的得分函数从而衡量每个候选事实的可信度，并从中选出可信度最高的事实来对原始动态社交网络进行补充，如图2所示，其实现方法如下：
A1、根据待表示的当前动态社交知识图谱，初始化模型的参数以及任一社交实体和关系的嵌入表示；
本实施例中，初始化任一社交实体e在时间戳τ下的嵌入表示
Figure BDA0002987658900000132
的表达式如下：
Figure BDA0002987658900000133
其中，θe、ωe和ve均表示特定于当前社交实体的向量。
A2、以社交知识图谱中事实对应时间戳的顺序，输入当前动态社交知识图谱的已知社交事实计算得到每个已知社交事实的发生概率，并通过最大化已知社交事实的发生概率得到局部结构的演化损失，其实现方法如下：
A201、以社交知识图谱中事实对应时间戳τ的顺序，输入当前动态社交时序知识图谱的已知社交事实，对于任一已知社交事实(s,r,o,τ)，根据其参与者计算得到该社交事实自发发生的强度
Figure BDA0002987658900000141
其中，所述参与者为已知社交事实中包含的社交实体s,o以及社交关系r；
A202、利用发生于τi时刻的历史社交事实将当前动态社交事实的激励作用
Figure BDA0002987658900000142
划分为两部分：
A203、根据该社交事实自发发生的强度
Figure BDA0002987658900000143
和当前动态社交事实的激励作用
Figure BDA0002987658900000144
划分的两部分，计算得到已知社交事实(s,r,o,τ)的发生强度
Figure BDA0002987658900000145
A204、根据所述已知社交事实(s,r,o,τ)的发生强度
Figure BDA0002987658900000146
计算得到每个已知社交事实发生的概率p(s,r,o|I(τ))；
A205、根据所述每个已知社交事实的发生概率，通过最大化事实的发生概率计算得到局部结构的演化损失Llocal。
本实施例中，为了考虑历史事实对当前事实发生概率的影响，本发明首先将发生于τi时刻的历史事实对当前时间的影响分解为两部分：
Figure BDA0002987658900000147
其中，ηs,r(τi)和ηo,r(τi)分别表示当前动态社交事实中的头社交实体s和尾社交实体o在τi时刻的历史社交事实对当前动态社交事实的影响。对于每一个实体，由于其不同的历史事实会通过不同的关系与不同的实体连接，因此不同的历史事实对当前事实具有不同的影响，为此，本发明将τi时间戳下实体e的所有历史事实看作一种层次结构，并通过如下方式量化其对当前事实的影响力：
Figure BDA0002987658900000148
其中，e代表考虑历史社交事实影响的社交实体(s或o)，x代表历史事实中的目标实体(当e为s时，x为o)，
Figure BDA0002987658900000151
表示在τi时刻下实体e所具有的关系集合，
Figure BDA0002987658900000152
是在τi时间戳下实体τi存在关系
Figure BDA0002987658900000153
的实体的集合V表示用于衡量关系向量间相似性的参数矩阵。为了建模不同历史事实对当前事实的不同重要性，本发明使用层次注意力机制，分别计算了关系级注意力
Figure BDA0002987658900000154
和社交实体级注意力βh,x，关系级注意力的计算方式如下：
Figure BDA0002987658900000155
其中，
Figure BDA0002987658900000156
和Zr表示历史事实中关系的嵌入表，社交实体级注意力的计算方式如下：
Figure BDA0002987658900000157
其中，
Figure BDA0002987658900000158
和
Figure BDA0002987658900000159
为历史事实中的目标实体在对应时间戳下的嵌入表示。
本实施例中，根据该事实自发发生的强度
Figure BDA00029876589000001510
和当前事实的影响被分为的两部分
Figure BDA00029876589000001511
计算得到已知事实(s,r,o,τ)的发生强度：
Figure BDA00029876589000001512
由于上式可能得到负值，而事实发生的概率为小于等于1的正数，因此本发明通过一个指数函数将上述发生强度转换为正数：
Figure BDA00029876589000001513
其中，
Figure BDA00029876589000001514
表示原始的事实发生强度，θ表示超参数，
Figure BDA00029876589000001515
表示历史事实对当前事实的激励作用，τ表示当前事实的发生时间，τi表示历史事件的发生时间，k(τ-τi)表示时间衰减函数。
因此，可以得到每个已知社交事实发生的概率p(s,r,o|I(τ))：
Figure BDA0002987658900000161
其中，
Figure BDA0002987658900000162
表示候选社交事实(e,r,o,τ)的发生强度，
Figure BDA0002987658900000163
表示候选社交事实(s,r,e,τ)的发生强度，e表示实体集合中的任一社交实体，ε表示一个社交知识图谱的实体集合，I(τ)表示τ时刻之前的历史事件组成的集合，s表示当前事实包含的头社交实体，r表示当前事实包含的社交关系，o表示当前事实包含的尾社交实体。
本实施例中，通过最小化损失函数来最大化每个已知事实发生的概率：
Figure BDA0002987658900000164
A3、以时间顺序输入当前动态社交知识图谱在每个时间戳下的社交知识图谱快照，为每个社交知识图谱快照的图结构计算其对应的软模块度，并最大化软模块度得到全局结构的演化损失，其实现方法如下：
A301、以时间顺序输入当前动态社交知识图谱在每个时间戳下的社交知识图谱快照，计算得到两个社交实体间的连接强度
Figure BDA0002987658900000165
A302、根据所述连接强度
Figure BDA0002987658900000166
计算得到每个社交知识图谱快照的图结构对应的软模块度；
A303、计算得到每个社交实体的社团分配向量
Figure BDA0002987658900000167
A304、根据所述每个社交实体的社团分配向量，最大化所述软模块度得到全局结构的演化损失Lglobal。
本实施例中，在建模时序知识图谱的社团结构过程时，考虑到实体间使用不同的关系连接可能会带来不同的连接强度，首先通过下式计算两个实体间的连接强度：
Figure BDA0002987658900000168
其中，r表示集合
Figure BDA0002987658900000171
中的任一社交关系，
Figure BDA0002987658900000172
表示在τ时间戳下存在于社交实体i和社交实体j之间的社交关系集合，Zr表示社交关系r的向量表示，a表示用于衡量不同关系的连接强度的参数向量，
Figure BDA0002987658900000173
表示非线性激活函数。
基于此，可以得到时序知识图谱在每个时间戳下的软模块矩阵，该矩阵中的每个元素通过以下方式得到：
Figure BDA0002987658900000174
其中，
Figure BDA0002987658900000175
和
Figure BDA0002987658900000176
分别表示社交实体i和社交实体j在时间戳τ下的度数，mτ表示社交知识图谱在τ时间戳下存在的关系总数。
为了最大化时序知识图谱在每个时间戳下的软模块度，本发明需要得到每个社交实体的社团分配向量。考虑到时序知识图谱中的实体具有多种类型，且同一个社交实体可能同时属于多个不同的社团，允许对社交实体进行软社团分配，并通过下式得到每个实体的社团分配：
Figure BDA0002987658900000177
其中，F表示用于将社交实体的嵌入表示映射为社交实体的社团分配向量的参数矩阵，
Figure BDA0002987658900000178
表示社交实体i在时间戳τ下的嵌入表示，
Figure BDA0002987658900000179
表示上一时间戳中社交实体i所属的社团对应的嵌入表示。
本实施例中，最后通过最小化如下损失函数来最大化时序知识图谱在各时间戳下的软模块度：
Figure BDA00029876589000001710
A4、根据所述局部结构的演化损失以及全局结构的演化损失，计算得到模型的整体损失函数L：
L＝Llocal+Lglobal
A5、利用梯度下降法迭代优化所述模型的整体损失函数，并更新模型的参数以及社交实体和关系的嵌入表示；
A6、判断模型是否收敛，若是，得到最终的社交实体和关系嵌入表示，完成时序知识图谱表示学习，否则，返回步骤A1。

Claims (6)

1.一种基于协同演化建模的时序知识图谱表示学习方法，其特征在于，包括以下步骤：
S1、根据待表示的当前动态社交时序知识图谱，初始化模型的参数以及任一社交实体和关系的嵌入表示；
S2、以社交时序知识图谱中事实对应时间戳的顺序，输入当前动态社交时序知识图谱的已知社交事实计算得到每个已知社交事实的发生概率，并通过最大化已知社交事实的发生概率得到局部结构的演化损失；
S3、以时间顺序输入当前动态社交时序知识图谱在每个时间戳下的社交时序知识图谱快照，为每个社交时序知识图谱快照的图结构计算其对应的软模块度，并最大化软模块度得到全局结构的演化损失；
所述步骤S3包括以下步骤：
S301、以时间顺序输入当前动态社交时序知识图谱在每个时间戳下的社交时序知识图谱快照，计算得到两个社交实体间的连接强度
Figure FDA0004070142580000011
S302、根据所述连接强度
Figure FDA0004070142580000012
计算得到每个社交时序知识图谱快照的图结构对应的软模块度，其中，所述软模块度中每个元素
Figure FDA0004070142580000013
的表达式如下：
Figure FDA0004070142580000014
其中，
Figure FDA0004070142580000015
和
Figure FDA0004070142580000016
分别表示社交实体i和社交实体j在时间戳τ下的度数，mτ表示社交时序知识图谱在τ时间戳下存在的关系总数；
S303、计算得到每个社交实体的社团分配向量
Figure FDA0004070142580000017
S304、根据所述每个社交实体的社团分配向量，最大化所述软模块度得到全局结构的演化损失Lglobal；
所述步骤S301中两个实体间的连接强度
Figure FDA0004070142580000018
的表达式如下：
Figure FDA0004070142580000021
其中，r表示集合
Figure FDA0004070142580000022
中的任一社交关系，
Figure FDA0004070142580000023
表示在τ时间戳下存在于社交实体i和社交实体j之间的社交关系集合，Zr表示社交关系r的向量表示，a表示用于衡量不同关系的连接强度的参数向量，
Figure FDA0004070142580000024
表示非线性激活函数；
所述步骤S303中每个实体的社团分配向量
Figure FDA0004070142580000025
的表达式如下：
Figure FDA0004070142580000026
其中，F表示用于将社交实体的嵌入表示映射为社交实体的社团分配向量的参数矩阵，
Figure FDA0004070142580000027
表示社交实体i在时间戳τ下的嵌入表示，
Figure FDA0004070142580000028
表示上一时间戳中社交实体i所属的社团对应的嵌入表示；
所述步骤S304中全局结构的演化损失Lglobal的表达式如下：
Figure FDA0004070142580000029
其中，T表示转置运算符号，mτ表示时序知识图谱在时间戳τ存在的关系总数，Tr(·)表示矩阵的迹，Hτ表示时间戳τ下的社团分配矩阵，
Figure FDA00040701425800000210
表示软模块度矩阵，norm(·)表示二范数正则化；
S4、根据所述局部结构的演化损失以及全局结构的演化损失，计算得到模型的整体损失函数；
S5、利用梯度下降法迭代优化所述模型的整体损失函数，并更新模型的参数以及社交实体和社交关系的嵌入表示；
S6、判断模型是否收敛，若是，得到最终的社交实体和社交关系嵌入表示，完成时序知识图谱表示学习，否则，返回步骤S1。
2.根据权利要求1所述的基于协同演化建模的时序知识图谱表示学习方法，其特征在于，所述步骤S1中初始化任一社交实体e在时间戳τ下的嵌入表示
Figure FDA00040701425800000211
的表达式如下：
Figure FDA0004070142580000031
其中，θe、ωe和ve均表示特定于当前社交实体的向量。
3.根据权利要求1所述的基于协同演化建模的时序知识图谱表示学习方法，其特征在于，所述步骤S2包括以下步骤：
S201、以社交时序知识图谱中事实对应时间戳τ的顺序，输入当前动态社交时序知识图谱的已知社交事实，对于任一已知社交事实(s,r,o,τ)，根据其参与者计算得到该社交事实自发发生的强度
Figure FDA0004070142580000032
其中，所述参与者为已知社交事实中包含的社交实体s,o以及社交关系r；
S202、利用发生于τi时刻的历史社交事实将当前动态社交事实的激励作用
Figure FDA0004070142580000033
划分为两部分：
Figure FDA0004070142580000034
Figure FDA0004070142580000035
Figure FDA0004070142580000036
Figure FDA0004070142580000037
其中，ηs,r(τi)和ηo,r(τi)分别表示当前动态社交事实中的头社交实体s和尾社交实体o在τi时刻的历史社交事实对当前动态社交事实的影响，
Figure FDA0004070142580000038
表示在τi时刻下社交实体e所具有的关系集合，
Figure FDA0004070142580000039
表示关系级注意力，
Figure FDA00040701425800000310
和Zr表示历史社交事实中关系的嵌入表示，
Figure FDA00040701425800000311
表示历史事件所包含的关系，V表示用于衡量关系向量间相似性的参数矩阵，h表示τi时刻下与社交实体e存在关系的社交实体，βh,x表示实体注意力，
Figure FDA00040701425800000312
表示h在τi时刻下的向量表示，
Figure FDA00040701425800000313
表示x在τi时刻下的向量表示，x表示社交实体e在当前动态社交事实中存在关系的实体，r'表示τi时刻下社交实体e所具有的社交关系中的某一个，h'表示h特定的某一个，
Figure FDA0004070142580000041
表示τi时刻下与社交实体e具有社交关系的实体集合，
Figure FDA0004070142580000042
表示h'在τi时刻下的向量表示；
S203、根据该社交事实自发发生的强度
Figure FDA0004070142580000043
和当前动态社交事实的激励作用
Figure FDA00040701425800000416
划分的两部分，计算得到已知社交事实(s,r,o,τ)的发生强度
Figure FDA0004070142580000044
S204、根据所述已知社交事实(s,r,o,τ)的发生强度
Figure FDA0004070142580000045
计算得到每个已知社交事实发生的概率p(s,r,o|I(τ))；
S205、根据所述每个已知社交事实的发生概率，通过最大化事实的发生概率计算得到局部结构的演化损失Llocal：
Figure FDA0004070142580000046
其中，I(τ)表示τ时刻之前的历史事件组成的集合。
4.根据权利要求3所述的基于协同演化建模的时序知识图谱表示学习方法，其特征在于，所述步骤S201中该事实自发发生的强度
Figure FDA0004070142580000047
的表达式如下：
Figure FDA0004070142580000048
其中，
Figure FDA0004070142580000049
和
Figure FDA00040701425800000410
分别表示社交事实中的头社交实体s和尾社交实体o在时间戳下的嵌入表示，Zr表示社交关系r对应的嵌入表示，w表示用于衡量向量间相似性的学习参数矩阵。
5.根据权利要求3所述的基于协同演化建模的时序知识图谱表示学习方法，其特征在于，所述步骤S203中已知事实(s,r,o,τ)的发生强度
Figure FDA00040701425800000411
的表达式如下：
Figure FDA00040701425800000412
Figure FDA00040701425800000413
其中，
Figure FDA00040701425800000414
表示原始的事实发生强度，θ表示超参数，
Figure FDA00040701425800000415
表示历史事实对当前事实的激励作用，τ表示当前事实的发生时间，τi表示历史事件的发生时间，k(τ-τi)表示时间衰减函数。
6.根据权利要求3所述的基于协同演化建模的时序知识图谱表示学习方法，其特征在于，所述步骤S204中每个已知事实发生的概率p(s,r,oI(τ))的表达式如下：
Figure FDA0004070142580000051
其中，
Figure FDA0004070142580000052
表示候选社交事实(e,r,o,τ)的发生强度，
Figure FDA0004070142580000053
表示候选社交事实(s,r,e,τ)的发生强度，e表示实体集合中的任一社交实体，ε表示一个社交时序知识图谱的实体集合，I(τ)表示τ时刻之前的历史事件组成的集合，s表示当前事实包含的头社交实体，r表示当前事实包含的社交关系，o表示当前事实包含的尾社交实体。
CN202110305818.4A 2021-03-23 2021-03-23 一种基于协同演化建模的时序知识图谱表示学习方法 Active CN112860918B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110305818.4A CN112860918B (zh) 2021-03-23 2021-03-23 一种基于协同演化建模的时序知识图谱表示学习方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110305818.4A CN112860918B (zh) 2021-03-23 2021-03-23 一种基于协同演化建模的时序知识图谱表示学习方法

Publications (2)

Publication Number Publication Date
CN112860918A CN112860918A (zh) 2021-05-28
CN112860918B true CN112860918B (zh) 2023-03-14

Family

ID=75992217

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110305818.4A Active CN112860918B (zh) 2021-03-23 2021-03-23 一种基于协同演化建模的时序知识图谱表示学习方法

Country Status (1)

Country Link
CN (1) CN112860918B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113742489B (zh) * 2021-08-05 2024-07-05 昆明理工大学 一种基于时序知识图谱的综合影响力补偿方法
CN113934862B (zh) * 2021-09-29 2022-10-14 北方工业大学 社区安全风险预测方法、装置、电子设备及介质
CN114117064B (zh) * 2021-11-09 2023-05-26 西南交通大学 一种基于多时间粒度的知识动态演化的城市地铁流量预测方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10795937B2 (en) * 2016-08-08 2020-10-06 International Business Machines Corporation Expressive temporal predictions over semantically driven time windows
US20190018827A1 (en) * 2017-07-12 2019-01-17 Google Inc. Electronic content insertion systems and methods
CN108733792B (zh) * 2018-05-14 2020-12-01 北京大学深圳研究生院 一种实体关系抽取方法
CN111581396B (zh) * 2020-05-06 2023-03-31 西安交通大学 一种基于多维特征融合与依存句法的事件图谱构建***及方法
CN111723729B (zh) * 2020-06-18 2022-08-05 四川千图禾科技有限公司 基于知识图谱的监控视频犬类姿态和行为智能识别方法
CN112215435B (zh) * 2020-11-02 2023-06-09 银江技术股份有限公司 一种基于循环自回归模型的城市拥堵传播模式的预测方法
CN112364132A (zh) * 2020-11-12 2021-02-12 苏州大学 基于依存句法的相似度计算模型和***及搭建***的方法

Also Published As

Publication number Publication date
CN112860918A (zh) 2021-05-28

Similar Documents

Publication Publication Date Title
CN112860918B (zh) 一种基于协同演化建模的时序知识图谱表示学习方法
Zheng et al. Meta label correction for noisy label learning
WO2023065545A1 (zh) 风险预测方法、装置、设备及存储介质
CN111047085B (zh) 一种基于元学习的混合动力车辆工况预测方法
CN112699247A (zh) 一种基于多类交叉熵对比补全编码的知识表示学习框架
CN110244689A (zh) 一种基于判别性特征学习方法的auv自适应故障诊断方法
CN113361685B (zh) 一种基于学习者知识状态演化表示的知识追踪方法及***
CN111931814B (zh) 一种基于类内结构紧致约束的无监督对抗域适应方法
CN107092987B (zh) 一种中小型无人机自主着舰风速预测方法
CN111198550A (zh) 基于案例推理的云端智能生产优化调度在线决策方法及***
Lin et al. Master general parking skill via deep learning
CN116402352A (zh) 一种企业风险预测方法、装置、电子设备及介质
Vadrot et al. Survey of machine-learning wall models for large-eddy simulation
Xu et al. Living with artificial intelligence: A paradigm shift toward future network traffic control
CN114399055A (zh) 一种基于联邦学习的域泛化方法
CN116501444B (zh) 智能网联汽车域控制器虚拟机异常云边协同监测和恢复***及方法
CN116484016A (zh) 一种基于时序路径自动维护的时序知识图谱推理方法和***
CN114240539B (zh) 一种基于Tucker分解和知识图谱的商品推荐方法
CN113835964B (zh) 基于小样本学习的云数据中心服务器能耗预测方法
Imani et al. Hierarchical, distributed and brain-inspired learning for internet of things systems
CN115423105A (zh) 一种预训练语言模型构建方法、***及装置
Papageorgiou et al. Bagged nonlinear hebbian learning algorithm for fuzzy cognitive maps working on classification tasks
CN112070127A (zh) 一种基于智能分析的海量数据样本增量分析方法
CN111950691A (zh) 一种基于潜在动作表示空间的强化学习策略学习方法
CN112131403B (zh) 一种动态环境下的知识图谱表示学习方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant