CN112417159A - 一种上下文对齐增强图注意力网络的跨语言实体对齐方法 - Google Patents

Abstract

本发明提出了一种上下文对齐增强图注意力网络的跨语言实体对齐方法。引入第一知识图谱、第二知识图谱并筛选对齐种子实体集合，把其中每个实体名翻译为英文；从翻译后的对齐种子集中构建训练集和测试集，使用word2vec算法将实体名转换为词向量；通过对每个实体名的词向量求和来分别构建两图谱的初始特征。将训练集划分为上下文对齐种子集和目标对齐种子集，并与前述的初始特征共同作为输入数据；通过跨知识图谱聚合层和基于注意力图神经网络得到包含图谱融合信息和多跳邻居信息的每个实体的特征。本发明充分利用上下文对齐种子集，通过跨知识图谱聚合层传递图谱间的信息；通过基于注意力的图神经网络收集传递实体邻居信息以及跨图谱的实体对齐信息。

Description

一种上下文对齐增强图注意力网络的跨语言实体对齐方法

技术领域

本发明涉及一种跨语言的实体对齐方法，具体是涉及使用跨知识图谱的图神经网络模型收集并传播异质知识图谱的信息来解决跨语言知识图谱的实体对齐问题，包括一个跨知识图谱的聚合层和一个基于注意力的信息传播层。将预先对齐的种子实体对看作不同语言的两个异质知识图谱之间信息传递的媒介，在两个异质知识图谱之间进行信息传递，从而为不同知识图谱中的等价实体提供更多邻居对齐特征，然后通过学习到的特征表示预测不同知识图谱中的等价实体。

背景技术

近年来，知识图谱在许多自然语言处理任务中展现出了巨大的潜力，如语言建模和问答等。随着多种语言知识图谱的快速增长(例如DBpedia、YAGO)，由于缺乏跨语言实体间的联系，跨语言实体对齐引起了很多研究者的关注。跨语言实体对齐任务旨在自动实现从不同单语言知识图谱中寻找等价实体，以弥合不同语言的鸿沟。

最近，许多基于图神经网络(GNNs)的方法被提出用于实体对齐任务。由于GNN能够通过聚集邻域信息来学习图结构数据的表示，因此基于GNN的方法取得了很好的性能。然而,现有基于GNN方法模型分别对跨语言的两个知识图谱进行单独的建模,忽略两个知识图谱之间有用的预对齐的联系(种子实体)。这些基于GNN的方法只在训练过程使用种子实体优化目标函数，但却不能充分利用这些提供了上下文对齐信息的种子实体，从而导致结果不理想。

发明内容

本发明针对现有技术在跨语言实体对齐方面的不足，提出了一种基于上下文对齐增强图注意力网络的跨语言实体对齐方法，该方法包含一个跨知识图谱的聚合层和一个基于注意力的跨知识图谱传播层。通过预先对齐的种子实体对传播跨知识图谱的信息，从而获得不同知识图谱的特征表示，然后通过学习到的特征表示(embedding)预测不同知识图谱中的等价实体。

为了达到上述的目的，本发明的构思如下：首先，把种子实体对看作两个异质知识图谱之间信息传递的媒介，使用跨知识图谱聚合层收集跨知识图谱的信息；然后使用基于注意力的图神经网络收集实体的邻居信息。通过多个上述两个层的堆叠，学习多跳邻居信息。最后使用基于边缘的损失函数优化模型参数。

根据以上构思，本发明采用的一个技术方案是：提供一种上下文对齐增强图注意力网络的跨语言实体对齐方法，包括以下步骤：

步骤1：引入第一知识图谱、第二知识图谱，根据第一知识图谱、第二知识图谱筛选对齐的种子实体集合，将对齐的种子实体集合中每个对齐的实体对中实体的名字翻译为英文，定义对齐的种子实体集合中对齐的实体对中翻译后每个实体的名字，从翻译后对齐的种子实体集合中构建训练集以及测试集；

步骤2：将对齐的种子实体集合中对齐的实体对中翻译后每个实体的名字使用word2vec算法转换为实体名字的词向量，步骤2所述将每个实体名字的词向量求和作为该实体的初始化特征，分别构建第一知识图谱的初始化特征、第二知识图谱的初始化特征；

步骤3：将训练集随机划分为上下文对齐种子集、目标对齐种子集，通过上下文对齐种子集、目标对齐种子集、第一知识图谱的初始化特征、第二知识图谱的初始化特征构建神经网络的输入数据；

步骤4：通过跨知识图谱聚合层进行不同知识图谱的信息传播；

步骤5：通过基于注意力神经网络收集第一知识图谱、第二知识图谱中每个实体的邻居信息；

步骤6：将上下文对齐种子集，以及实体的初始化特征输入模型，经过步骤4和步骤5可以得到包含图谱融合信息和多跳邻居信息的每个实体的特征；

作为优选，步骤1所述第一知识图谱为：

G₁＝(E₁，R₁，T₁)

步骤1所述第二知识图谱为：

G₂＝(E₂，R₂，T₂)

其中，E₁表示第一知识图谱的实体集，R₁表示第一知识图谱的关系集，T₁表示第一知识图谱的三元组集，E₂表示第二知识图谱的实体集，R₂表示第二知识图谱的关系集，T₂表示第二知识图谱的三元组集，

步骤1所述对齐的种子实体集合：

A＝{a_k＝(e_k,1,i，e_k,2,j)|e_k,1,i∈E₁，e_k,2,j∈E₂}

i∈[1,M]，j∈[1,N]

k∈[1,K]

其中，A表示对齐的种子实体集合，a_k表示第k个对齐的实体对，K表示对齐的种子实体集合中对齐的实体对的数量，e_k,1,i表示第k个对齐的实体对中来自第一知识图谱的实体集的第i个实体，e_k,2,j表示第k个对齐的实体对中来自第二知识图谱的实体集的第j个实体，e_k,1,i与e_k,2,j均属于第k个对齐的实体对且二者的中文含义相同，M表示A中来自第一知识图谱实体的个数，N表示A中来自第二知识图谱实体的个数；

步骤1所述将对齐的种子实体集合中每个对齐的实体对中实体的名字翻译为英文为：

将A中每个对齐的实体对中实体的名字即e_k,1,i,e_k,2,j均翻译为英文，翻译后对齐的种子实体集合记为A^*，具体定义为：

A^*＝{a^* _k＝(e^* _k,1,i，e^* _k,2,j)}

i∈[1,M]，j∈[1,N]

k∈[1,K]

其中，A^*表示翻译后对齐的种子实体集合，a^* _k表示翻译后第k个对齐的实体对，K表示翻译后对齐的种子实体集合中对齐的实体对的数量，e^* _k,1,i表示第k个对齐的实体对中来自第一知识图谱的实体集的翻译后第i个实体，e^* _k,2,j表示第k个对齐的实体对中来自第一知识图谱的实体集的翻译后第i个实体，M表示A^*中来自第一知识图谱实体的个数，N表示A^*中来自第二知识图谱实体的个数；

步骤1所述定义过翻译后每个实体的名字为：

翻译后每个实体的名字包含为多个英文单词，具体表示为：

其中，word_{k，1，i，t}表示第k个对齐的实体对中来自第一知识图谱的实体集的翻译后第i个实体的第t个单词，word_{k，2，j，t}表示第k个对齐的实体对中来自第二知识图谱的实体集的翻译后第j个实体的第t个单词，n是第k个对齐的实体对中来自第一知识图谱的实体集的翻译后第i个实体的单词总数,m是第k个对齐的实体对中来自第二知识图谱的实体集的翻译后第j个实体的单词总数；

步骤1所述从翻译后对齐的种子实体集合中构建训练集以及测试集为：

从翻译后对齐的种子实体集合即A^*中K个对齐的实体对中随机选择P个作为训练集，用A_train表示，A^*中剩下的K-P个对齐的实体对作为测试集，用A_test表示；

作为优选，步骤2所述每个实体名字的词向量为：

i∈[1,M]，j∈[1,N]

k∈[1,K]

其中，

表示第k个对齐的实体对中来自第一知识图谱的实体集的翻译后第i个实体的第t个单词的词向量，

表示第k个对齐的实体对中来自第二知识图谱的实体集的翻译后第j个实体的第t个单词的词向量，K表示翻译后对齐的种子实体集合中对齐的实体对的数量，M表示A^*中来自第一知识图谱实体的个数，N表示A^*中来自第二知识图谱实体的个数；

步骤2所述将每个实体名字的词向量求和作为该实体的初始化特征，具体如下：

其中，n是第k个对齐的实体对中来自第一知识图谱的实体集的翻译后第i个实体的单词总数,m是第k个对齐的实体对中来自第一知识图谱的实体集的翻译后第i个实体的单词总数，

表示第k个对齐的实体对中来自第一知识图谱的实体集的翻译后第i个实体的初始化特征，

表示第k个对齐的实体对中来自第二知识图谱的实体集的翻译后第j个实体的初始化特征；

步骤2所述分别构建来自第一知识图谱的初始化特征、来自第二知识图谱的初始化特征为：

所述第一知识图谱的初始化特征记为

具体定义为：

所述第二知识图谱的初始化特征记为

具体定义为：

其中，E₁表示第一知识图谱的实体集，E₂表示第二知识图谱的实体集，e_k,1,i表示第k个对齐的实体对中来自第一知识图谱的实体集的第i个实体，e_k,2,j表示第k个对齐的实体对中来自第二知识图谱的实体集的第j个实体，A^*表示翻译后对齐的种子实体集合，e^* _k,1,i表示第k个对齐的实体对中来自第一知识图谱的实体集的翻译后第i个实体，e^* _k,2,j表示第k个对齐的实体对中来自第二知识图谱的实体集的翻译后第j个实体；

作为优选，步骤3所述训练集为A_train；

步骤3所述上下文对齐种子集为A_ctx，作为模型的输入数据，用于第一知识图谱、第二知识图谱之间传递信息；

步骤3所述目标对齐种子集为A_obj，用于计算损失函数；

步骤3所述第一知识图谱的初始化特征为

作为模型的输入数据；

步骤3所述第二知识图谱的初始化特征为

作为模型的输入数据；

作为优选，步骤4所述通过跨知识图谱聚合层进行不同知识图谱的信息传播为：

步骤4.1：以上下文对齐种子集、对齐的实体对中来自第一知识图谱的实体集的翻译后实体的初始化特征、对齐的实体对中来自第二知识图谱的实体集的翻译后实体的初始化特征，使用门机制计算第一知识图谱、第二知识图谱实体信息融合的权重，具体计算如下：

i∈[1,M]，j∈[1,N]

k∈[1,K]

其中，||表示向量的拼接操作，W是在训练过程中学习到的权重矩阵，b是偏差，σ是sigmoid激活函数。

是A^*中第k个实体对中来自知识图谱G₁的第i个实体的embedding，

是A^*中第k个实体对中来自知识图谱G₂中的第j个实体的embedding。l指的是网络的第l层。K表示翻译后对齐的种子实体集合中对齐的实体对的数量，M表示A^*中来自第一知识图谱G1实体的个数，N表示A^*中来自第二知识图谱G2实体的个数；

表示A^*中第k个实体对中来自知识图谱G₁的第i个实体的融合权重，

表示A^*中第k个实体对中来自知识图谱G₂的第j个实体的融合权重；

步骤4.2：使用门机制融合第一知识图谱、第二知识图谱的信息，以获取第一知识图谱、第二知识图的融合表示，具体计算如下：

其中，

表示A^*中第k个实体对中来自知识图谱G₁的第i个实体的融合权重，

表示A^*中第k个实体对中来自知识图谱G₂的第j个实体的融合权重；

表示A^*中第k个实体对中来自知识图谱G₁的第i个实体的embedding，

A^*中第k个实体对中来自知识图谱G₁的第i个实体的embedding；

表示A^*中第k个实体对中来自知识图谱G₁的第i个实体经过门机制后的embedding，

表示A^*中第k个实体对中来自知识图谱G₂的第j个实体经过门机制后的embedding，

步骤4.3：对第一知识图谱、第二知识图谱中的所有实体计算经过跨知识图谱聚合层后的特征矩阵；

所述经过跨知识图谱聚合层后的特征矩阵为：

其中，crossAggr的计算公式如下：

其中，

表示翻译后对齐的种子实体集合中第k个实体对中来自第一知识图谱的第i个实体的特征表示，

表示翻译后对齐的种子实体集合A^*中第k个实体对中来自第二知识图谱的第i个实体的特征表示；

作为优选，步骤5通过基于注意力神经网络收集第一知识图谱、第二知识图谱中每个实体的邻居信息为：

步骤5.1：根据实体的邻居实体计算其权重即注意力，具体计算公式如下：

其中，，

表示在第一知识图谱中和实体e_k，1，i有链接的邻居实体的集合，exp是指数函数；

表示翻译后对齐的种子实体集合中第k个实体对中来自第一知识图谱的第i个实体经过门机制后的特征表示；

和

分别表示A^*中第k个实体对中来自第一知识图谱的第i个实体的第q个和第p个邻居的特征表示,α_1，k，i表示A*中第k个实体对中来自第一知识图谱G1的第i个实体的权重；

为打分函数，其计算公式如下：

其中，LeakyRelu为激活函数，V是可学习的网络参数矩阵，

表示将

和

两个特征表示执行拼接操作，

为实体e_k，1，i的某个邻居实体，

表示翻译后对齐的种子实体集合中第k个实体对中来自第一知识图谱的第i个实体经过门机制后的特征表示

步骤5.2：根据步骤5.1计算出的权重进行邻居信息的融合，以收集实体的邻居信息，其计算公式如下：

其中，Relu为激活函数，α_{k，1，i，p}是第一知识图谱G₁中的第i实体的第p个邻居的权重。crossAtt为基于注意力的图神经网络层，crossAggr为跨知识图谱聚合层，

表示A^*中第k个实体对中来自知识图谱G₁的第i个实体的特征表示

表示A^*中第k个实体对中来自第一知识图谱的第i个实体经过门机制后的特征表示；

表示A^*中第k个实体对中来自第一知识图谱的第i个实体的第p个邻居的特征表示；α_1，k，i表示A*中第k个实体对中来自第一知识图谱G1的第i个实体的权重；

步骤5.3：对第一知识图谱、第二知识图谱的所有实体根据实体的邻居实体计算其权重并且根据计算出的权重进行邻居信息的融合，以收集实体的邻居信息，即步骤5.1和步骤5.2,然后得到经过基于注意力的图神经网络层收集邻居信息后的特征矩阵，即：

其中，crossAtt为基于注意力的图神经网络层，

是第一知识图谱通过跨知识图谱聚合层的输出特征表示；

是第二知识图谱通过跨知识图谱聚合层的输出特征表示；

作为优选，步骤6所述包含图谱融合信息和多跳邻居信息的每个实体的特征为：

其中，

是第一知识图谱通过第l个CGAT层的输出；其中

是第二知识图谱通过第l个CGAT层的输出；

为第一知识图谱初始的特征

为第二知识图谱初始的特征

crossAtt为基于注意力的图神经网络层；crossAggr为跨知识图谱聚合层。通过叠加L个CGAT层，可以对第一知识图谱和第二知识图谱的特征进行L次更新，最终输出更新后的特征

和

在目标对齐种子集上计算目标损失函数，其公式如下：

其中，

表示实体最终的embedding，

表示两实体间的L1距离，φ是可以训练的模型参数，e^-指的是某一实体对应的负实体，A_obj是用来优化模型参数的数据。

使用Adam算法优化更新模型参数φ，模型参数φ包括跨知识图谱聚合层和基于注意力的图神经网络层的参数可训练的参数，根据优化后的参数φ构建基于上下文对齐增强图注意力网络模型。

本发明优点在于，充分利用上下文对齐种子集，通过跨知识图谱聚合层传递图谱间的信息；通过基于注意力的图神经网络收集传递实体邻居信息以及跨图谱的实体对齐信息。

附图说明

图1是本发明中的上下文增强图注意力网络的示意图。

具体实施方式

为了便于本领域普通技术人员理解和实施本发明，下面结合实例对本发明作进一步详细描述，应当理解，此处所描述的实施案例仅用于说明和解释本发明，并不用于限定本发明。

下面结合图1介绍本发明的具体实施方式为：

步骤1、引入第一知识图谱、第二知识图谱，根据第一知识图谱、第二知识图谱筛选对齐的种子实体集合，将对齐的种子实体集合中每个对齐的实体对中实体的名字翻译为英文，定义对齐的种子实体集合中对齐的实体对中翻译后每个实体的名字，从翻译后对齐的种子实体集合中构建训练集以及测试集；

步骤1所述第一知识图谱为：

G₁＝(E₁，R₁，T₁)

步骤1所述第二知识图谱为：

G₂＝(E₂，R₂，T₂)

其中，E₁表示第一知识图谱的实体集，R₁表示第一知识图谱的关系集，T₁表示第一知识图谱的三元组集，E₂表示第二知识图谱的实体集，R₂表示第二知识图谱的关系集，T₂表示第二知识图谱的三元组集，

步骤1所述对齐的种子实体集合：

A＝{a_k＝(e_k,1,i，e_k,2,j)|e_k,1,i∈E₁，e_k,2,j∈E₂}

i∈[1,M]，j∈[1,N]

k∈[1,K]

其中，A表示对齐的种子实体集合，a_k表示第k个对齐的实体对，K＝15000表示对齐的种子实体集合中对齐的实体对的数量，e_k,1,i表示第k个对齐的实体对中来自第一知识图谱的实体集的第i个实体，e_k,2,j表示第k个对齐的实体对中来自第二知识图谱的实体集的第j个实体，e_k,1,i与e_k,2,j均属于第k个对齐的实体对且二者的中文含义相同，M＝66469表示A中来自第一知识图谱实体的个数，N＝98125表示A中来自第二知识图谱实体的个数；

步骤1所述将对齐的种子实体集合中每个对齐的实体对中实体的名字翻译为英文为：

将A中每个对齐的实体对中实体的名字即e_k,1,i,e_k,2,j均翻译为英文，翻译后对齐的种子实体集合记为A^*，具体定义为：

A^*＝{a^* _k＝(e^* _k,1,i，e^* _k,2,j)}

i∈[1,M]，j∈[1,N]

k∈[1,K]

其中，A^*表示翻译后对齐的种子实体集合，a^* _k表示翻译后第k个对齐的实体对，K＝15000表示翻译后对齐的种子实体集合中对齐的实体对的数量，e^* _k,1,i表示第k个对齐的实体对中来自第一知识图谱的实体集的翻译后第i个实体，e^* _k,2,j表示第k个对齐的实体对中来自第一知识图谱的实体集的翻译后第i个实体，M＝66469表示A^*中来自第一知识图谱实体的个数，N＝98125表示A^*中来自第二知识图谱实体的个数；

步骤1所述定义过翻译后每个实体的名字为：

翻译后每个实体的名字包含为多个英文单词，具体表示为：

其中，word_{k，1，i，t}表示第k个对齐的实体对中来自第一知识图谱的实体集的翻译后第i个实体的第t个单词，word_{k，2，j，t}表示第k个对齐的实体对中来自第二知识图谱的实体集的翻译后第j个实体的第t个单词，n是第k个对齐的实体对中来自第一知识图谱的实体集的翻译后第i个实体的单词总数,m是第k个对齐的实体对中来自第二知识图谱的实体集的翻译后第j个实体的单词总数；

步骤1所述从翻译后对齐的种子实体集合中构建训练集以及测试集为：

从翻译后对齐的种子实体集合即A^*中K＝15000个对齐的实体对中随机选择P＝4500个作为训练集，用A_train表示，A^*中剩下的K-P＝10500个对齐的实体对作为测试集，用A_test表示；

步骤2、将对齐的种子实体集合中对齐的实体对中翻译后每个实体的名字使用word2vec算法转换为实体名字的词向量，步骤2所述将每个实体名字的词向量求和作为该实体的初始化特征，分别构建第一知识图谱的初始化特征、第二知识图谱的初始化特征；

步骤2所述每个实体名字的词向量为：

i∈[1,M]，j∈[1,N]

k∈[1,K]

其中，

表示第k个对齐的实体对中来自第一知识图谱的实体集的翻译后第i个实体的第t个单词的词向量，

表示第k个对齐的实体对中来自第二知识图谱的实体集的翻译后第j个实体的第t个单词的词向量，K＝4500表示翻译后对齐的种子实体集合中对齐的实体对的数量，M＝4500表示A^*中来自第一知识图谱实体的个数，N＝4500表示A^*中来自第二知识图谱实体的个数；

步骤2所述将每个实体名字的词向量求和作为该实体的初始化特征，具体如下：

其中，n是第k个对齐的实体对中来自第一知识图谱的实体集的翻译后第i个实体的单词总数,m是第k个对齐的实体对中来自第一知识图谱的实体集的翻译后第i个实体的单词总数，

表示第k个对齐的实体对中来自第一知识图谱的实体集的翻译后第i个实体的初始化特征，

表示第k个对齐的实体对中来自第二知识图谱的实体集的翻译后第j个实体的初始化特征；

步骤2所述分别构建来自第一知识图谱的初始化特征、来自第二知识图谱的初始化特征为：

所述第一知识图谱的初始化特征记为

具体定义为：

所述第二知识图谱的初始化特征记为

具体定义为：

其中，E₁表示第一知识图谱的实体集，E₂表示第二知识图谱的实体集，e_k,1,i表示第k个对齐的实体对中来自第一知识图谱的实体集的第i个实体，e_k,2,j表示第k个对齐的实体对中来自第二知识图谱的实体集的第j个实体，A^*表示翻译后对齐的种子实体集合，e^* _k,1,i表示第k个对齐的实体对中来自第一知识图谱的实体集的翻译后第i个实体，e^* _k,2,j表示第k个对齐的实体对中来自第二知识图谱的实体集的翻译后第j个实体；

步骤3、上下文对齐增强图注意力网络(CGAT)主要包括跨知识图谱聚合层和基于注意力的图神经网络层。跨知识图谱聚合层用来在两个知识图谱之间传递跨知识图谱的信息，而基于注意力的图神经网络层用来收集知识图谱中每个实体的邻居信息。通过叠加多个CGAT层，在知识图谱中传播多跳的跨知识图谱信息及邻居信息。下面具体介绍模型的构造和训练过程。

步骤4：将训练集随机划分为上下文对齐种子集、目标对齐种子集，通过上下文对齐种子集、目标对齐种子集、第一知识图谱的初始化特征、第二知识图谱的初始化特征构建神经网络的输入数据；

步骤4所述训练集为A_train；

步骤4所述上下文对齐种子集为A_ctx，作为模型的输入数据，用于第一知识图谱、第二知识图谱之间传递信息；

步骤4所述目标对齐种子集为A_obj，用于计算损失函数；

步骤4所述第一知识图谱的初始化特征为

作为模型的输入数据；

步骤4所述第二知识图谱的初始化特征为

作为模型的输入数据；

步骤5：通过跨知识图谱聚合层进行不同知识图谱的信息传播；

步骤5所述通过跨知识图谱聚合层进行不同知识图谱的信息传播为：

步骤5.1：以上下文对齐种子集、对齐的实体对中来自第一知识图谱的实体集的翻译后实体的初始化特征、对齐的实体对中来自第二知识图谱的实体集的翻译后实体的初始化特征，使用门机制计算第一知识图谱、第二知识图谱实体信息融合的权重，具体计算如下：

i∈[1,M]，j∈[1,N]

k∈[1,K]

其中，||表示向量的拼接操作，W是在训练过程中学习到的权重矩阵，b是偏差，σ是sigmoid激活函数。

是A^*中第k个实体对中来自知识图谱G₁的第i个实体的embedding，

是A^*中第k个实体对中来自知识图谱G₂中的第j个实体的embedding。l指的是网络的第l层。K＝4500表示翻译后对齐的种子实体集合中对齐的实体对的数量，M＝4500表示A^*中来自第一知识图谱G1实体的个数，N＝4500表示A^*中来自第二知识图谱G2实体的个数；

表示A^*中第k个实体对中来自知识图谱G₁的第i个实体的融合权重，

表示A^*中第k个实体对中来自知识图谱G₂的第j个实体的融合权重；

步骤5.2：使用门机制融合第一知识图谱、第二知识图谱的信息，以获取第一知识图谱、第二知识图的融合表示，具体计算如下：

其中，

表示A^*中第k个实体对中来自知识图谱G₁的第i个实体的融合权重，

表示A^*中第k个实体对中来自知识图谱G₂的第j个实体的融合权重；

表示A^*中第k个实体对中来自知识图谱G₁的第i个实体的embedding，

表示A^*中第k个实体对中来自知识图谱G₁的第i个实体的embedding；

表示A^*中第k个实体对中来自知识图谱G₁的第i个实体经过门机制后的embedding，

表示A^*中第k个实体对中来自知识图谱G₂的第j个实体经过门机制后的embedding，

步骤5.3：对第一知识图谱、第二知识图谱中的所有实体计算经过跨知识图谱聚合层后的特征矩阵；

所述经过跨知识图谱聚合层后的特征矩阵为：

其中，crossAggr的计算公式如下：

其中，

表示翻译后对齐的种子实体集合中第k个实体对中来自第一知识图谱的第i个实体的特征表示，

表示翻译后对齐的种子实体集合A^*中第k个实体对中来自第二知识图谱的第i个实体的特征表示；

步骤6：通过基于注意力神经网络收集第一知识图谱、第二知识图谱中每个实体的邻居信息；

步骤6通过基于注意力神经网络收集第一知识图谱、第二知识图谱中每个实体的邻居信息为：

步骤6.1：根据实体的邻居实体计算其权重即注意力，具体计算公式如下：

其中，，

表示在第一知识图谱中和实体e_k，1，i有链接的邻居实体的集合，exp是指数函数；

表示翻译后对齐的种子实体集合中第k个实体对中来自第一知识图谱的第i个实体经过门机制后的特征表示；

和

分别表示A^*中第k个实体对中来自第一知识图谱的第i个实体的第q个和第p个邻居的特征表示,α_1，k，i表示A*中第k个实体对中来自第一知识图谱G1的第i个实体的权重；

为打分函数，其计算公式如下：

其中，LeakyRelu为激活函数，V是可学习的网络参数矩阵，

表示将

和

两个特征表示执行拼接操作，

为实体e_k，1，i的某个邻居实体，

表示翻译后对齐的种子实体集合中第k个实体对中来自第一知识图谱的第i个实体经过门机制后的特征表示

步骤6.2：根据步骤6.1计算出的权重进行邻居信息的融合，以收集实体的邻居信息，其计算公式如下：

其中，Relu为激活函数，α_{k，1，i，p}是第一知识图谱G₁中的第i实体的第p个邻居的权重。crossAtt为基于注意力的图神经网络层，crossAggr为跨知识图谱聚合层，

表示A^*中第k个实体对中来自知识图谱G₁的第i个实体的特征表示

表示A^*中第k个实体对中来自第一知识图谱的第i个实体经过门机制后的特征表示；

表示A^*中第k个实体对中来自第一知识图谱的第i个实体的第p个邻居的特征表示；α_1，k，i表示A*中第k个实体对中来自第一知识图谱G1的第i个实体的权重；

步骤6.3：对第一知识图谱、第二知识图谱的所有实体根据实体的邻居实体计算其权重并且根据计算出的权重进行邻居信息的融合，以收集实体的邻居信息，即步骤6.1和步骤6.2,然后得到经过基于注意力的图神经网络层收集邻居信息后的特征矩阵，即：

其中，crossAtt为基于注意力的图神经网络层，

是第一知识图谱通过跨知识图谱聚合层的输出特征表示；

是第二知识图谱通过跨知识图谱聚合层的输出特征表示；

步骤7：将上下文对齐种子集，以及实体的初始化特征输入模型，经过步骤5和步骤6可以得到包含图谱融合信息和多跳邻居信息的每个实体的特征表示，其公式为：

其中，

是第一知识图谱通过第l个CGAT层的输出；其中

是第二知识图谱通过第l个CGAT层的输出；

为第一知识图谱初始的特征

为第二知识图谱初始的特征

crossAtt为基于注意力的图神经网络层；crossAggr为跨知识图谱聚合层。通过叠加L个CGAT层，可以对第一知识图谱和第二知识图谱的特征进行L次更新，最终输出更新后的特征

和

在目标对齐种子集上计算目标损失函数，其公式如下：

其中，

表示实体最终的embedding，

表示两实体间的L1距离，φ是可以训练的模型参数，e^-指的是某一实体对应的负实体，A_obj是用来优化模型参数的数据。

应当理解的是，本申请书未详细阐述的部分均属于现有技术。

应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本申请专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本申请权利要求所保护的范围情况下，还可以做出替换或变形，均落入本申请的保护范围之内，本申请的请求保护范围应以所附权利要求为准。

Claims (7)

1.一种上下文对齐增强图注意力网络的跨语言实体对齐方法，其特征在于，包括以下步骤：

步骤1：引入第一知识图谱、第二知识图谱，根据第一知识图谱、第二知识图谱筛选对齐的种子实体集合，将对齐的种子实体集合中每个对齐的实体对中实体的名字翻译为英文，定义对齐的种子实体集合中对齐的实体对中翻译后每个实体的名字，从翻译后对齐的种子实体集合中构建训练集以及测试集；

步骤2：将对齐的种子实体集合中对齐的实体对中翻译后每个实体的名字使用word2vec算法转换为实体名字的词向量，步骤2所述将每个实体名字的词向量求和作为该实体的初始化特征，分别构建第一知识图谱的初始化特征、第二知识图谱的初始化特征；

步骤3：将训练集随机划分为上下文对齐种子集、目标对齐种子集，通过上下文对齐种子集、目标对齐种子集、第一知识图谱的初始化特征、第二知识图谱的初始化特征构建神经网络的输入数据；

步骤4：通过跨知识图谱聚合层进行不同知识图谱的信息传播；

步骤5：通过基于注意力神经网络收集第一知识图谱、第二知识图谱中每个实体的邻居信息；

步骤6：将上下文对齐种子集，以及实体的初始化特征输入模型，经过步骤4和步骤5可以得到包含图谱融合信息和多跳邻居信息的每个实体的特征。

2.根据权利要求1所述的上下文对齐增强图注意力网络的跨语言实体对齐方法，其特征在于：

步骤1所述第一知识图谱为：

G₁＝(E₁，R₁，T₁)

步骤1所述第二知识图谱为：

G₂＝(E₂，R₂，T₂)

其中，E₁表示第一知识图谱的实体集，R₁表示第一知识图谱的关系集，T₁表示第一知识图谱的三元组集，E₂表示第二知识图谱的实体集，R₂表示第二知识图谱的关系集，T₂表示第二知识图谱的三元组集，

步骤1所述对齐的种子实体集合：

A＝{a_k＝(e_k,1,i，e_k,2,j)|e_k,1,i∈E₁，e_k,2,j∈E₂}

i∈[1,M]，j∈[1,N]

k∈[1,K]

其中，A表示对齐的种子实体集合，a_k表示第k个对齐的实体对，K表示对齐的种子实体集合中对齐的实体对的数量，e_k,1,i表示第k个对齐的实体对中来自第一知识图谱的实体集的第i个实体，e_k,2,j表示第k个对齐的实体对中来自第二知识图谱的实体集的第j个实体，e_k,1,i与e_k,2,j均属于第k个对齐的实体对且二者的中文含义相同，M表示A中来自第一知识图谱实体的个数，N表示A中来自第二知识图谱实体的个数；

步骤1所述将对齐的种子实体集合中每个对齐的实体对中实体的名字翻译为英文为：

将A中每个对齐的实体对中实体的名字即e_k,1,i,e_k,2,j均翻译为英文，翻译后对齐的种子实体集合记为A^*，具体定义为：

A^*＝{a^* _k＝(e^* _k,1,i，e^* _k,2,j)}

i∈[1,M]，j∈[1,N]

k∈[1,K]

其中，A^*表示翻译后对齐的种子实体集合，a^* _k表示翻译后第k个对齐的实体对，K表示翻译后对齐的种子实体集合中对齐的实体对的数量，e^* _k,1,i表示第k个对齐的实体对中来自第一知识图谱的实体集的翻译后第i个实体，e^* _k,2,j表示第k个对齐的实体对中来自第一知识图谱的实体集的翻译后第i个实体，M表示A^*中来自第一知识图谱实体的个数，N表示A^*中来自第二知识图谱实体的个数；

步骤1所述定义过翻译后每个实体的名字为：

翻译后每个实体的名字包含为多个英文单词，具体表示为：

其中，word_{k，1，i，t}表示第k个对齐的实体对中来自第一知识图谱的实体集的翻译后第i个实体的第t个单词，word_{k，2，j，t}表示第k个对齐的实体对中来自第二知识图谱的实体集的翻译后第j个实体的第t个单词，n是第k个对齐的实体对中来自第一知识图谱的实体集的翻译后第i个实体的单词总数,m是第k个对齐的实体对中来自第二知识图谱的实体集的翻译后第j个实体的单词总数；

步骤1所述从翻译后对齐的种子实体集合中构建训练集以及测试集为：从翻译后对齐的种子实体集合即A^*中K个对齐的实体对中随机选择P个作为训练集，用A_train表示，A^*中剩下的K-P个对齐的实体对作为测试集，用A_test表示。

3.根据权利要求1所述的上下文对齐增强图注意力网络的跨语言实体对齐方法，其特征在于：

步骤2所述每个实体名字的词向量为：

i∈[1,M]，j∈[1,N]

k∈[1,K]

其中，

表示第k个对齐的实体对中来自第一知识图谱的实体集的翻译后第i个实体的第t个单词的词向量，

表示第k个对齐的实体对中来自第二知识图谱的实体集的翻译后第j个实体的第t个单词的词向量，K表示翻译后对齐的种子实体集合中对齐的实体对的数量，M表示A^*中来自第一知识图谱实体的个数，N表示A^*中来自第二知识图谱实体的个数；

步骤2所述将每个实体名字的词向量求和作为该实体的初始化特征，具体如下：

其中，n是第k个对齐的实体对中来自第一知识图谱的实体集的翻译后第i个实体的单词总数,m是第k个对齐的实体对中来自第一知识图谱的实体集的翻译后第i个实体的单词总数，

表示第k个对齐的实体对中来自第一知识图谱的实体集的翻译后第i个实体的初始化特征，

表示第k个对齐的实体对中来自第二知识图谱的实体集的翻译后第j个实体的初始化特征；

步骤2所述分别构建来自第一知识图谱的初始化特征、来自第二知识图谱的初始化特征为：

所述第一知识图谱的初始化特征记为

具体定义为：

所述第二知识图谱的初始化特征记为

具体定义为：

其中，E₁表示第一知识图谱的实体集，E₂表示第二知识图谱的实体集，e_k,1,i表示第k个对齐的实体对中来自第一知识图谱的实体集的第i个实体，e_k,2,j表示第k个对齐的实体对中来自第二知识图谱的实体集的第j个实体，A^*表示翻译后对齐的种子实体集合，e^* _k,1,i表示第k个对齐的实体对中来自第一知识图谱的实体集的翻译后第i个实体，e^* _k,2,j表示第k个对齐的实体对中来自第二知识图谱的实体集的翻译后第j个实体。

4.根据权利要求1所述的上下文对齐增强图注意力网络的跨语言实体对齐方法，其特征在于：

步骤3所述训练集为A_train；

步骤3所述上下文对齐种子集为A_ctx，作为模型的输入数据，用于第一知识图谱、第二知识图谱之间传递信息；

步骤3所述目标对齐种子集为A_obj，用于计算损失函数；

步骤3所述第一知识图谱的初始化特征为

作为模型的输入数据；

步骤3所述第二知识图谱的初始化特征为

作为模型的输入数据。

5.根据权利要求1所述的上下文对齐增强图注意力网络的跨语言实体对齐方法，其特征在于：

步骤4所述通过跨知识图谱聚合层进行不同知识图谱的信息传播为：

步骤4.1：以上下文对齐种子集、对齐的实体对中来自第一知识图谱的实体集的翻译后实体的初始化特征、对齐的实体对中来自第二知识图谱的实体集的翻译后实体的初始化特征，使用门机制计算第一知识图谱、第二知识图谱实体信息融合的权重，具体计算如下：

i∈[1,M]，j∈[1,N]

k∈[1,K]

其中，||表示向量的拼接操作，W是在训练过程中学习到的权重矩阵，b是偏差，σ是sigmoid激活函数；

是A^*中第k个实体对中来自知识图谱G₁的第i个实体的特征表示，

是A^*中第k个实体对中来自知识图谱G₂中的第j个实体的特征表示；l指的是网络的第l层；K表示翻译后对齐的种子实体集合中对齐的实体对的数量，M表示A^*中来自第一知识图谱G1实体的个数，N表示A^*中来自第二知识图谱G2实体的个数；

表示A^*中第k个实体对中来自知识图谱G₁的第i个实体的融合权重，

表示A^*中第k个实体对中来自知识图谱G₂的第j个实体的融合权重；

步骤4.2：使用门机制融合第一知识图谱、第二知识图谱的信息，以获取第一知识图谱、第二知识图的融合表示，具体计算如下：

其中，

表示A^*中第k个实体对中来自知识图谱G₁的第i个实体的融合权重，

表示A^*中第k个实体对中来自知识图谱G₂的第j个实体的融合权重；

表示A^*中第k个实体对中来自知识图谱G₁的第i个实体的特征表示，

中第k个实体对中来自知识图谱G₁的第i个实体的特征表示；

表示A^*中第k个实体对中来自知识图谱G₁的第i个实体经过门机制后的特征表示，

表示A^*中第k个实体对中来自知识图谱G₂的第j个实体经过门机制后的特征表示，

步骤4.3：对第一知识图谱、第二知识图谱中的所有实体计算经过跨知识图谱聚合层后的特征矩阵；

所述经过跨知识图谱聚合层后的特征矩阵为：

其中，crossAggr的计算公式如下：

其中，

表示翻译后对齐的种子实体集合中第k个实体对中来自第一知识图谱的第i个实体的特征表示，

表示翻译后对齐的种子实体集合A^*中第k个实体对中来自第二知识图谱的第i个实体的特征表示。

6.根据权利要求1所述的上下文对齐增强图注意力网络的跨语言实体对齐方法，其特征在于：

步骤5通过基于注意力神经网络收集第一知识图谱、第二知识图谱中每个实体的邻居信息为：

步骤5.1：根据实体的邻居实体计算其权重即注意力，具体计算公式如下：

其中，，

表示在第一知识图谱中和实体e_k，1，i有链接的邻居实体的集合，exp是指数函数；

表示翻译后对齐的种子实体集合中第k个实体对中来自第一知识图谱的第i个实体经过门机制后的特征表示；

和

分别表示A^*中第k个实体对中来自第一知识图谱的第i个实体的第q个和第p个邻居的特征表示,α_1，k，i表示A*中第k个实体对中来自第一知识图谱G1的第i个实体的权重；

为打分函数，其计算公式如下：

其中，LeakyRelu为激活函数，V是可学习的网络参数矩阵，

表示将

和

两个特征表示执行拼接操作，

为实体e_k，1，i的某个邻居实体，

表示翻译后对齐的种子实体集合中第k个实体对中来自第一知识图谱的第i个实体经过门机制后的特征表示

步骤5.2：根据步骤5.1计算出的权重进行邻居信息的融合，以收集实体的邻居信息，其计算公式如下：

其中，Relu为激活函数，α_{k，1，i，p}是第一知识图谱G₁中的第i实体的第p个邻居的权重；crossAtt为基于注意力的图神经网络层，crossAggr为跨知识图谱聚合层，

表示A^*中第k个实体对中来自知识图谱G₁的第i个实体的特征表示

表示A^*中第k个实体对中来自第一知识图谱的第i个实体经过门机制后的特征表示；

表示A^*中第k个实体对中来自第一知识图谱的第i个实体的第p个邻居的特征表示；α_1，k，i表示A*中第k个实体对中来自第一知识图谱G1的第i个实体的权重；

步骤5.3：对第一知识图谱、第二知识图谱的所有实体根据实体的邻居实体计算其权重并且根据计算出的权重进行邻居信息的融合，以收集实体的邻居信息，即步骤5.1和步骤5.2,然后得到经过基于注意力的图神经网络层收集邻居信息后的特征矩阵，即：

其中，crossAtt为基于注意力的图神经网络层，

是第一知识图谱通过跨知识图谱聚合层的输出特征表示；

是第二知识图谱通过跨知识图谱聚合层的输出特征表示。

7.根据权利要求1所述的上下文对齐增强图注意力网络的跨语言实体对齐方法，其特征在于：

步骤6所述包含图谱融合信息和多跳邻居信息的每个实体的特征为：

其中，

是第一知识图谱通过第l个CGAT层的输出；其中

是第二知识图谱通过第l个CGAT层的输出；

为第一知识图谱初始的特征

为第二知识图谱初始的特征

crossAtt为基于注意力的图神经网络层；crossAggr为跨知识图谱聚合层；通过叠加L个CGAT层，可以对第一知识图谱和第二知识图谱的特征进行L次更新，最终输出更新后的特征

和

在目标对齐种子集上计算目标损失函数，其公式如下：

其中，

表示实体最终的特征表示，

表示两实体间的L1距离，φ是可以训练的模型参数，e^-指的是某一实体对应的负实体，A_obj是用来优化模型参数的数据；

使用Adam算法优化更新模型参数φ，模型参数φ包括跨知识图谱聚合层和基于注意力的图神经网络层的参数可训练的参数，根据优化后的参数φ构建基于上下文对齐增强图注意力网络模型。

Images