CN112417159A - 一种上下文对齐增强图注意力网络的跨语言实体对齐方法 - Google Patents
一种上下文对齐增强图注意力网络的跨语言实体对齐方法 Download PDFInfo
- Publication number
- CN112417159A CN112417159A CN202011201832.1A CN202011201832A CN112417159A CN 112417159 A CN112417159 A CN 112417159A CN 202011201832 A CN202011201832 A CN 202011201832A CN 112417159 A CN112417159 A CN 112417159A
- Authority
- CN
- China
- Prior art keywords
- entity
- graph
- knowledge
- entities
- aligned
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 25
- 230000002776 aggregation Effects 0.000 claims abstract description 34
- 238000004220 aggregation Methods 0.000 claims abstract description 34
- 238000013528 artificial neural network Methods 0.000 claims abstract description 30
- 239000013598 vector Substances 0.000 claims abstract description 23
- 238000012549 training Methods 0.000 claims abstract description 22
- 230000004927 fusion Effects 0.000 claims abstract description 21
- 238000012360 testing method Methods 0.000 claims abstract description 13
- 238000012216 screening Methods 0.000 claims abstract description 4
- 230000007246 mechanism Effects 0.000 claims description 21
- 230000006870 function Effects 0.000 claims description 20
- 238000013519 translation Methods 0.000 claims description 18
- 238000004364 calculation method Methods 0.000 claims description 15
- 239000011159 matrix material Substances 0.000 claims description 12
- 230000004913 activation Effects 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 5
- 238000010276 construction Methods 0.000 claims description 4
- 230000005540 biological transmission Effects 0.000 claims description 3
- 230000003472 neutralizing effect Effects 0.000 claims description 3
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 2
- 102100034330 Chromaffin granule amine transporter Human genes 0.000 claims 3
- 101000641221 Homo sapiens Chromaffin granule amine transporter Proteins 0.000 claims 3
- 238000012512 characterization method Methods 0.000 claims 1
- 230000001323 posttranslational effect Effects 0.000 claims 1
- 238000012546 transfer Methods 0.000 description 3
- 230000004931 aggregating effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 238000000547 structure data Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
- G06F16/367—Ontology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/205—Parsing
- G06F40/211—Syntactic parsing, e.g. based on context-free grammar [CFG] or unification grammars
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
- G06F40/295—Named entity recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Data Mining & Analysis (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- Evolutionary Computation (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Biophysics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Animal Behavior & Ethology (AREA)
- Databases & Information Systems (AREA)
- Machine Translation (AREA)
Abstract
本发明提出了一种上下文对齐增强图注意力网络的跨语言实体对齐方法。引入第一知识图谱、第二知识图谱并筛选对齐种子实体集合,把其中每个实体名翻译为英文;从翻译后的对齐种子集中构建训练集和测试集,使用word2vec算法将实体名转换为词向量;通过对每个实体名的词向量求和来分别构建两图谱的初始特征。将训练集划分为上下文对齐种子集和目标对齐种子集,并与前述的初始特征共同作为输入数据;通过跨知识图谱聚合层和基于注意力图神经网络得到包含图谱融合信息和多跳邻居信息的每个实体的特征。本发明充分利用上下文对齐种子集,通过跨知识图谱聚合层传递图谱间的信息;通过基于注意力的图神经网络收集传递实体邻居信息以及跨图谱的实体对齐信息。
Description
技术领域
本发明涉及一种跨语言的实体对齐方法,具体是涉及使用跨知识图谱的图神经网络模型收集并传播异质知识图谱的信息来解决跨语言知识图谱的实体对齐问题,包括一个跨知识图谱的聚合层和一个基于注意力的信息传播层。将预先对齐的种子实体对看作不同语言的两个异质知识图谱之间信息传递的媒介,在两个异质知识图谱之间进行信息传递,从而为不同知识图谱中的等价实体提供更多邻居对齐特征,然后通过学习到的特征表示预测不同知识图谱中的等价实体。
背景技术
近年来,知识图谱在许多自然语言处理任务中展现出了巨大的潜力,如语言建模和问答等。随着多种语言知识图谱的快速增长(例如DBpedia、YAGO),由于缺乏跨语言实体间的联系,跨语言实体对齐引起了很多研究者的关注。跨语言实体对齐任务旨在自动实现从不同单语言知识图谱中寻找等价实体,以弥合不同语言的鸿沟。
最近,许多基于图神经网络(GNNs)的方法被提出用于实体对齐任务。由于GNN能够通过聚集邻域信息来学习图结构数据的表示,因此基于GNN的方法取得了很好的性能。然而,现有基于GNN方法模型分别对跨语言的两个知识图谱进行单独的建模,忽略两个知识图谱之间有用的预对齐的联系(种子实体)。这些基于GNN的方法只在训练过程使用种子实体优化目标函数,但却不能充分利用这些提供了上下文对齐信息的种子实体,从而导致结果不理想。
发明内容
本发明针对现有技术在跨语言实体对齐方面的不足,提出了一种基于上下文对齐增强图注意力网络的跨语言实体对齐方法,该方法包含一个跨知识图谱的聚合层和一个基于注意力的跨知识图谱传播层。通过预先对齐的种子实体对传播跨知识图谱的信息,从而获得不同知识图谱的特征表示,然后通过学习到的特征表示(embedding)预测不同知识图谱中的等价实体。
为了达到上述的目的,本发明的构思如下:首先,把种子实体对看作两个异质知识图谱之间信息传递的媒介,使用跨知识图谱聚合层收集跨知识图谱的信息;然后使用基于注意力的图神经网络收集实体的邻居信息。通过多个上述两个层的堆叠,学习多跳邻居信息。最后使用基于边缘的损失函数优化模型参数。
根据以上构思,本发明采用的一个技术方案是:提供一种上下文对齐增强图注意力网络的跨语言实体对齐方法,包括以下步骤:
步骤1:引入第一知识图谱、第二知识图谱,根据第一知识图谱、第二知识图谱筛选对齐的种子实体集合,将对齐的种子实体集合中每个对齐的实体对中实体的名字翻译为英文,定义对齐的种子实体集合中对齐的实体对中翻译后每个实体的名字,从翻译后对齐的种子实体集合中构建训练集以及测试集;
步骤2:将对齐的种子实体集合中对齐的实体对中翻译后每个实体的名字使用word2vec算法转换为实体名字的词向量,步骤2所述将每个实体名字的词向量求和作为该实体的初始化特征,分别构建第一知识图谱的初始化特征、第二知识图谱的初始化特征;
步骤3:将训练集随机划分为上下文对齐种子集、目标对齐种子集,通过上下文对齐种子集、目标对齐种子集、第一知识图谱的初始化特征、第二知识图谱的初始化特征构建神经网络的输入数据;
步骤4:通过跨知识图谱聚合层进行不同知识图谱的信息传播;
步骤5:通过基于注意力神经网络收集第一知识图谱、第二知识图谱中每个实体的邻居信息;
步骤6:将上下文对齐种子集,以及实体的初始化特征输入模型,经过步骤4和步骤5可以得到包含图谱融合信息和多跳邻居信息的每个实体的特征;
作为优选,步骤1所述第一知识图谱为:
G1=(E1,R1,T1)
步骤1所述第二知识图谱为:
G2=(E2,R2,T2)
其中,E1表示第一知识图谱的实体集,R1表示第一知识图谱的关系集,T1表示第一知识图谱的三元组集,E2表示第二知识图谱的实体集,R2表示第二知识图谱的关系集,T2表示第二知识图谱的三元组集,
步骤1所述对齐的种子实体集合:
A={ak=(ek,1,i,ek,2,j)|ek,1,i∈E1,ek,2,j∈E2}
i∈[1,M],j∈[1,N]
k∈[1,K]
其中,A表示对齐的种子实体集合,ak表示第k个对齐的实体对,K表示对齐的种子实体集合中对齐的实体对的数量,ek,1,i表示第k个对齐的实体对中来自第一知识图谱的实体集的第i个实体,ek,2,j表示第k个对齐的实体对中来自第二知识图谱的实体集的第j个实体,ek,1,i与ek,2,j均属于第k个对齐的实体对且二者的中文含义相同,M表示A中来自第一知识图谱实体的个数,N表示A中来自第二知识图谱实体的个数;
步骤1所述将对齐的种子实体集合中每个对齐的实体对中实体的名字翻译为英文为:
将A中每个对齐的实体对中实体的名字即ek,1,i,ek,2,j均翻译为英文,翻译后对齐的种子实体集合记为A*,具体定义为:
A*={a* k=(e* k,1,i,e* k,2,j)}
i∈[1,M],j∈[1,N]
k∈[1,K]
其中,A*表示翻译后对齐的种子实体集合,a* k表示翻译后第k个对齐的实体对,K表示翻译后对齐的种子实体集合中对齐的实体对的数量,e* k,1,i表示第k个对齐的实体对中来自第一知识图谱的实体集的翻译后第i个实体,e* k,2,j表示第k个对齐的实体对中来自第一知识图谱的实体集的翻译后第i个实体,M表示A*中来自第一知识图谱实体的个数,N表示A*中来自第二知识图谱实体的个数;
步骤1所述定义过翻译后每个实体的名字为:
翻译后每个实体的名字包含为多个英文单词,具体表示为:
其中,wordk,1,i,t表示第k个对齐的实体对中来自第一知识图谱的实体集的翻译后第i个实体的第t个单词,wordk,2,j,t表示第k个对齐的实体对中来自第二知识图谱的实体集的翻译后第j个实体的第t个单词,n是第k个对齐的实体对中来自第一知识图谱的实体集的翻译后第i个实体的单词总数,m是第k个对齐的实体对中来自第二知识图谱的实体集的翻译后第j个实体的单词总数;
步骤1所述从翻译后对齐的种子实体集合中构建训练集以及测试集为:
从翻译后对齐的种子实体集合即A*中K个对齐的实体对中随机选择P个作为训练集,用Atrain表示,A*中剩下的K-P个对齐的实体对作为测试集,用Atest表示;
作为优选,步骤2所述每个实体名字的词向量为:
i∈[1,M],j∈[1,N]
k∈[1,K]
其中,表示第k个对齐的实体对中来自第一知识图谱的实体集的翻译后第i个实体的第t个单词的词向量,表示第k个对齐的实体对中来自第二知识图谱的实体集的翻译后第j个实体的第t个单词的词向量,K表示翻译后对齐的种子实体集合中对齐的实体对的数量,M表示A*中来自第一知识图谱实体的个数,N表示A*中来自第二知识图谱实体的个数;
步骤2所述将每个实体名字的词向量求和作为该实体的初始化特征,具体如下:
其中,n是第k个对齐的实体对中来自第一知识图谱的实体集的翻译后第i个实体的单词总数,m是第k个对齐的实体对中来自第一知识图谱的实体集的翻译后第i个实体的单词总数,表示第k个对齐的实体对中来自第一知识图谱的实体集的翻译后第i个实体的初始化特征,表示第k个对齐的实体对中来自第二知识图谱的实体集的翻译后第j个实体的初始化特征;
步骤2所述分别构建来自第一知识图谱的初始化特征、来自第二知识图谱的初始化特征为:
其中,E1表示第一知识图谱的实体集,E2表示第二知识图谱的实体集,ek,1,i表示第k个对齐的实体对中来自第一知识图谱的实体集的第i个实体,ek,2,j表示第k个对齐的实体对中来自第二知识图谱的实体集的第j个实体,A*表示翻译后对齐的种子实体集合,e* k,1,i表示第k个对齐的实体对中来自第一知识图谱的实体集的翻译后第i个实体,e* k,2,j表示第k个对齐的实体对中来自第二知识图谱的实体集的翻译后第j个实体;
作为优选,步骤3所述训练集为Atrain;
步骤3所述上下文对齐种子集为Actx,作为模型的输入数据,用于第一知识图谱、第二知识图谱之间传递信息;
步骤3所述目标对齐种子集为Aobj,用于计算损失函数;
作为优选,步骤4所述通过跨知识图谱聚合层进行不同知识图谱的信息传播为:
步骤4.1:以上下文对齐种子集、对齐的实体对中来自第一知识图谱的实体集的翻译后实体的初始化特征、对齐的实体对中来自第二知识图谱的实体集的翻译后实体的初始化特征,使用门机制计算第一知识图谱、第二知识图谱实体信息融合的权重,具体计算如下:
i∈[1,M],j∈[1,N]
k∈[1,K]
其中,||表示向量的拼接操作,W是在训练过程中学习到的权重矩阵,b是偏差,σ是sigmoid激活函数。是A*中第k个实体对中来自知识图谱G1的第i个实体的embedding,是A*中第k个实体对中来自知识图谱G2中的第j个实体的embedding。l指的是网络的第l层。K表示翻译后对齐的种子实体集合中对齐的实体对的数量,M表示A*中来自第一知识图谱G1实体的个数,N表示A*中来自第二知识图谱G2实体的个数;表示A*中第k个实体对中来自知识图谱G1的第i个实体的融合权重,表示A*中第k个实体对中来自知识图谱G2的第j个实体的融合权重;
步骤4.2:使用门机制融合第一知识图谱、第二知识图谱的信息,以获取第一知识图谱、第二知识图的融合表示,具体计算如下:
其中,表示A*中第k个实体对中来自知识图谱G1的第i个实体的融合权重,表示A*中第k个实体对中来自知识图谱G2的第j个实体的融合权重;表示A*中第k个实体对中来自知识图谱G1的第i个实体的embedding,A*中第k个实体对中来自知识图谱G1的第i个实体的embedding;表示A*中第k个实体对中来自知识图谱G1的第i个实体经过门机制后的embedding,表示A*中第k个实体对中来自知识图谱G2的第j个实体经过门机制后的embedding,
步骤4.3:对第一知识图谱、第二知识图谱中的所有实体计算经过跨知识图谱聚合层后的特征矩阵;
所述经过跨知识图谱聚合层后的特征矩阵为:
其中,crossAggr的计算公式如下:
作为优选,步骤5通过基于注意力神经网络收集第一知识图谱、第二知识图谱中每个实体的邻居信息为:
步骤5.1:根据实体的邻居实体计算其权重即注意力,具体计算公式如下:
其中,,表示在第一知识图谱中和实体ek,1,i有链接的邻居实体的集合,exp是指数函数;表示翻译后对齐的种子实体集合中第k个实体对中来自第一知识图谱的第i个实体经过门机制后的特征表示;和分别表示A*中第k个实体对中来自第一知识图谱的第i个实体的第q个和第p个邻居的特征表示,α1,k,i表示A*中第k个实体对中来自第一知识图谱G1的第i个实体的权重;
其中,LeakyRelu为激活函数,V是可学习的网络参数矩阵,表示将和两个特征表示执行拼接操作,为实体ek,1,i的某个邻居实体,表示翻译后对齐的种子实体集合中第k个实体对中来自第一知识图谱的第i个实体经过门机制后的特征表示
步骤5.2:根据步骤5.1计算出的权重进行邻居信息的融合,以收集实体的邻居信息,其计算公式如下:
其中,Relu为激活函数,αk,1,i,p是第一知识图谱G1中的第i实体的第p个邻居的权重。crossAtt为基于注意力的图神经网络层,crossAggr为跨知识图谱聚合层,表示A*中第k个实体对中来自知识图谱G1的第i个实体的特征表示表示A*中第k个实体对中来自第一知识图谱的第i个实体经过门机制后的特征表示;表示A*中第k个实体对中来自第一知识图谱的第i个实体的第p个邻居的特征表示;α1,k,i表示A*中第k个实体对中来自第一知识图谱G1的第i个实体的权重;
步骤5.3:对第一知识图谱、第二知识图谱的所有实体根据实体的邻居实体计算其权重并且根据计算出的权重进行邻居信息的融合,以收集实体的邻居信息,即步骤5.1和步骤5.2,然后得到经过基于注意力的图神经网络层收集邻居信息后的特征矩阵,即:
作为优选,步骤6所述包含图谱融合信息和多跳邻居信息的每个实体的特征为:
其中,是第一知识图谱通过第l个CGAT层的输出;其中是第二知识图谱通过第l个CGAT层的输出;为第一知识图谱初始的特征为第二知识图谱初始的特征crossAtt为基于注意力的图神经网络层;crossAggr为跨知识图谱聚合层。通过叠加L个CGAT层,可以对第一知识图谱和第二知识图谱的特征进行L次更新,最终输出更新后的特征和
在目标对齐种子集上计算目标损失函数,其公式如下:
使用Adam算法优化更新模型参数φ,模型参数φ包括跨知识图谱聚合层和基于注意力的图神经网络层的参数可训练的参数,根据优化后的参数φ构建基于上下文对齐增强图注意力网络模型。
本发明优点在于,充分利用上下文对齐种子集,通过跨知识图谱聚合层传递图谱间的信息;通过基于注意力的图神经网络收集传递实体邻居信息以及跨图谱的实体对齐信息。
附图说明
图1是本发明中的上下文增强图注意力网络的示意图。
具体实施方式
为了便于本领域普通技术人员理解和实施本发明,下面结合实例对本发明作进一步详细描述,应当理解,此处所描述的实施案例仅用于说明和解释本发明,并不用于限定本发明。
下面结合图1介绍本发明的具体实施方式为:
步骤1、引入第一知识图谱、第二知识图谱,根据第一知识图谱、第二知识图谱筛选对齐的种子实体集合,将对齐的种子实体集合中每个对齐的实体对中实体的名字翻译为英文,定义对齐的种子实体集合中对齐的实体对中翻译后每个实体的名字,从翻译后对齐的种子实体集合中构建训练集以及测试集;
步骤1所述第一知识图谱为:
G1=(E1,R1,T1)
步骤1所述第二知识图谱为:
G2=(E2,R2,T2)
其中,E1表示第一知识图谱的实体集,R1表示第一知识图谱的关系集,T1表示第一知识图谱的三元组集,E2表示第二知识图谱的实体集,R2表示第二知识图谱的关系集,T2表示第二知识图谱的三元组集,
步骤1所述对齐的种子实体集合:
A={ak=(ek,1,i,ek,2,j)|ek,1,i∈E1,ek,2,j∈E2}
i∈[1,M],j∈[1,N]
k∈[1,K]
其中,A表示对齐的种子实体集合,ak表示第k个对齐的实体对,K=15000表示对齐的种子实体集合中对齐的实体对的数量,ek,1,i表示第k个对齐的实体对中来自第一知识图谱的实体集的第i个实体,ek,2,j表示第k个对齐的实体对中来自第二知识图谱的实体集的第j个实体,ek,1,i与ek,2,j均属于第k个对齐的实体对且二者的中文含义相同,M=66469表示A中来自第一知识图谱实体的个数,N=98125表示A中来自第二知识图谱实体的个数;
步骤1所述将对齐的种子实体集合中每个对齐的实体对中实体的名字翻译为英文为:
将A中每个对齐的实体对中实体的名字即ek,1,i,ek,2,j均翻译为英文,翻译后对齐的种子实体集合记为A*,具体定义为:
A*={a* k=(e* k,1,i,e* k,2,j)}
i∈[1,M],j∈[1,N]
k∈[1,K]
其中,A*表示翻译后对齐的种子实体集合,a* k表示翻译后第k个对齐的实体对,K=15000表示翻译后对齐的种子实体集合中对齐的实体对的数量,e* k,1,i表示第k个对齐的实体对中来自第一知识图谱的实体集的翻译后第i个实体,e* k,2,j表示第k个对齐的实体对中来自第一知识图谱的实体集的翻译后第i个实体,M=66469表示A*中来自第一知识图谱实体的个数,N=98125表示A*中来自第二知识图谱实体的个数;
步骤1所述定义过翻译后每个实体的名字为:
翻译后每个实体的名字包含为多个英文单词,具体表示为:
其中,wordk,1,i,t表示第k个对齐的实体对中来自第一知识图谱的实体集的翻译后第i个实体的第t个单词,wordk,2,j,t表示第k个对齐的实体对中来自第二知识图谱的实体集的翻译后第j个实体的第t个单词,n是第k个对齐的实体对中来自第一知识图谱的实体集的翻译后第i个实体的单词总数,m是第k个对齐的实体对中来自第二知识图谱的实体集的翻译后第j个实体的单词总数;
步骤1所述从翻译后对齐的种子实体集合中构建训练集以及测试集为:
从翻译后对齐的种子实体集合即A*中K=15000个对齐的实体对中随机选择P=4500个作为训练集,用Atrain表示,A*中剩下的K-P=10500个对齐的实体对作为测试集,用Atest表示;
步骤2、将对齐的种子实体集合中对齐的实体对中翻译后每个实体的名字使用word2vec算法转换为实体名字的词向量,步骤2所述将每个实体名字的词向量求和作为该实体的初始化特征,分别构建第一知识图谱的初始化特征、第二知识图谱的初始化特征;
步骤2所述每个实体名字的词向量为:
i∈[1,M],j∈[1,N]
k∈[1,K]
其中,表示第k个对齐的实体对中来自第一知识图谱的实体集的翻译后第i个实体的第t个单词的词向量,表示第k个对齐的实体对中来自第二知识图谱的实体集的翻译后第j个实体的第t个单词的词向量,K=4500表示翻译后对齐的种子实体集合中对齐的实体对的数量,M=4500表示A*中来自第一知识图谱实体的个数,N=4500表示A*中来自第二知识图谱实体的个数;
步骤2所述将每个实体名字的词向量求和作为该实体的初始化特征,具体如下:
其中,n是第k个对齐的实体对中来自第一知识图谱的实体集的翻译后第i个实体的单词总数,m是第k个对齐的实体对中来自第一知识图谱的实体集的翻译后第i个实体的单词总数,表示第k个对齐的实体对中来自第一知识图谱的实体集的翻译后第i个实体的初始化特征,表示第k个对齐的实体对中来自第二知识图谱的实体集的翻译后第j个实体的初始化特征;
步骤2所述分别构建来自第一知识图谱的初始化特征、来自第二知识图谱的初始化特征为:
其中,E1表示第一知识图谱的实体集,E2表示第二知识图谱的实体集,ek,1,i表示第k个对齐的实体对中来自第一知识图谱的实体集的第i个实体,ek,2,j表示第k个对齐的实体对中来自第二知识图谱的实体集的第j个实体,A*表示翻译后对齐的种子实体集合,e* k,1,i表示第k个对齐的实体对中来自第一知识图谱的实体集的翻译后第i个实体,e* k,2,j表示第k个对齐的实体对中来自第二知识图谱的实体集的翻译后第j个实体;
步骤3、上下文对齐增强图注意力网络(CGAT)主要包括跨知识图谱聚合层和基于注意力的图神经网络层。跨知识图谱聚合层用来在两个知识图谱之间传递跨知识图谱的信息,而基于注意力的图神经网络层用来收集知识图谱中每个实体的邻居信息。通过叠加多个CGAT层,在知识图谱中传播多跳的跨知识图谱信息及邻居信息。下面具体介绍模型的构造和训练过程。
步骤4:将训练集随机划分为上下文对齐种子集、目标对齐种子集,通过上下文对齐种子集、目标对齐种子集、第一知识图谱的初始化特征、第二知识图谱的初始化特征构建神经网络的输入数据;
步骤4所述训练集为Atrain;
步骤4所述上下文对齐种子集为Actx,作为模型的输入数据,用于第一知识图谱、第二知识图谱之间传递信息;
步骤4所述目标对齐种子集为Aobj,用于计算损失函数;
步骤5:通过跨知识图谱聚合层进行不同知识图谱的信息传播;
步骤5所述通过跨知识图谱聚合层进行不同知识图谱的信息传播为:
步骤5.1:以上下文对齐种子集、对齐的实体对中来自第一知识图谱的实体集的翻译后实体的初始化特征、对齐的实体对中来自第二知识图谱的实体集的翻译后实体的初始化特征,使用门机制计算第一知识图谱、第二知识图谱实体信息融合的权重,具体计算如下:
i∈[1,M],j∈[1,N]
k∈[1,K]
其中,||表示向量的拼接操作,W是在训练过程中学习到的权重矩阵,b是偏差,σ是sigmoid激活函数。是A*中第k个实体对中来自知识图谱G1的第i个实体的embedding,是A*中第k个实体对中来自知识图谱G2中的第j个实体的embedding。l指的是网络的第l层。K=4500表示翻译后对齐的种子实体集合中对齐的实体对的数量,M=4500表示A*中来自第一知识图谱G1实体的个数,N=4500表示A*中来自第二知识图谱G2实体的个数;表示A*中第k个实体对中来自知识图谱G1的第i个实体的融合权重,表示A*中第k个实体对中来自知识图谱G2的第j个实体的融合权重;
步骤5.2:使用门机制融合第一知识图谱、第二知识图谱的信息,以获取第一知识图谱、第二知识图的融合表示,具体计算如下:
其中,表示A*中第k个实体对中来自知识图谱G1的第i个实体的融合权重,表示A*中第k个实体对中来自知识图谱G2的第j个实体的融合权重;表示A*中第k个实体对中来自知识图谱G1的第i个实体的embedding,表示A*中第k个实体对中来自知识图谱G1的第i个实体的embedding;表示A*中第k个实体对中来自知识图谱G1的第i个实体经过门机制后的embedding,表示A*中第k个实体对中来自知识图谱G2的第j个实体经过门机制后的embedding,
步骤5.3:对第一知识图谱、第二知识图谱中的所有实体计算经过跨知识图谱聚合层后的特征矩阵;
所述经过跨知识图谱聚合层后的特征矩阵为:
其中,crossAggr的计算公式如下:
步骤6:通过基于注意力神经网络收集第一知识图谱、第二知识图谱中每个实体的邻居信息;
步骤6通过基于注意力神经网络收集第一知识图谱、第二知识图谱中每个实体的邻居信息为:
步骤6.1:根据实体的邻居实体计算其权重即注意力,具体计算公式如下:
其中,,表示在第一知识图谱中和实体ek,1,i有链接的邻居实体的集合,exp是指数函数;表示翻译后对齐的种子实体集合中第k个实体对中来自第一知识图谱的第i个实体经过门机制后的特征表示;和分别表示A*中第k个实体对中来自第一知识图谱的第i个实体的第q个和第p个邻居的特征表示,α1,k,i表示A*中第k个实体对中来自第一知识图谱G1的第i个实体的权重;
其中,LeakyRelu为激活函数,V是可学习的网络参数矩阵,表示将和两个特征表示执行拼接操作,为实体ek,1,i的某个邻居实体,表示翻译后对齐的种子实体集合中第k个实体对中来自第一知识图谱的第i个实体经过门机制后的特征表示
步骤6.2:根据步骤6.1计算出的权重进行邻居信息的融合,以收集实体的邻居信息,其计算公式如下:
其中,Relu为激活函数,αk,1,i,p是第一知识图谱G1中的第i实体的第p个邻居的权重。crossAtt为基于注意力的图神经网络层,crossAggr为跨知识图谱聚合层,表示A*中第k个实体对中来自知识图谱G1的第i个实体的特征表示表示A*中第k个实体对中来自第一知识图谱的第i个实体经过门机制后的特征表示;表示A*中第k个实体对中来自第一知识图谱的第i个实体的第p个邻居的特征表示;α1,k,i表示A*中第k个实体对中来自第一知识图谱G1的第i个实体的权重;
步骤6.3:对第一知识图谱、第二知识图谱的所有实体根据实体的邻居实体计算其权重并且根据计算出的权重进行邻居信息的融合,以收集实体的邻居信息,即步骤6.1和步骤6.2,然后得到经过基于注意力的图神经网络层收集邻居信息后的特征矩阵,即:
步骤7:将上下文对齐种子集,以及实体的初始化特征输入模型,经过步骤5和步骤6可以得到包含图谱融合信息和多跳邻居信息的每个实体的特征表示,其公式为:
其中,是第一知识图谱通过第l个CGAT层的输出;其中是第二知识图谱通过第l个CGAT层的输出;为第一知识图谱初始的特征为第二知识图谱初始的特征crossAtt为基于注意力的图神经网络层;crossAggr为跨知识图谱聚合层。通过叠加L个CGAT层,可以对第一知识图谱和第二知识图谱的特征进行L次更新,最终输出更新后的特征和
在目标对齐种子集上计算目标损失函数,其公式如下:
应当理解的是,本申请书未详细阐述的部分均属于现有技术。
应当理解的是,上述针对较佳实施例的描述较为详细,并不能因此而认为是对本申请专利保护范围的限制,本领域的普通技术人员在本发明的启示下,在不脱离本申请权利要求所保护的范围情况下,还可以做出替换或变形,均落入本申请的保护范围之内,本申请的请求保护范围应以所附权利要求为准。
Claims (7)
1.一种上下文对齐增强图注意力网络的跨语言实体对齐方法,其特征在于,包括以下步骤:
步骤1:引入第一知识图谱、第二知识图谱,根据第一知识图谱、第二知识图谱筛选对齐的种子实体集合,将对齐的种子实体集合中每个对齐的实体对中实体的名字翻译为英文,定义对齐的种子实体集合中对齐的实体对中翻译后每个实体的名字,从翻译后对齐的种子实体集合中构建训练集以及测试集;
步骤2:将对齐的种子实体集合中对齐的实体对中翻译后每个实体的名字使用word2vec算法转换为实体名字的词向量,步骤2所述将每个实体名字的词向量求和作为该实体的初始化特征,分别构建第一知识图谱的初始化特征、第二知识图谱的初始化特征;
步骤3:将训练集随机划分为上下文对齐种子集、目标对齐种子集,通过上下文对齐种子集、目标对齐种子集、第一知识图谱的初始化特征、第二知识图谱的初始化特征构建神经网络的输入数据;
步骤4:通过跨知识图谱聚合层进行不同知识图谱的信息传播;
步骤5:通过基于注意力神经网络收集第一知识图谱、第二知识图谱中每个实体的邻居信息;
步骤6:将上下文对齐种子集,以及实体的初始化特征输入模型,经过步骤4和步骤5可以得到包含图谱融合信息和多跳邻居信息的每个实体的特征。
2.根据权利要求1所述的上下文对齐增强图注意力网络的跨语言实体对齐方法,其特征在于:
步骤1所述第一知识图谱为:
G1=(E1,R1,T1)
步骤1所述第二知识图谱为:
G2=(E2,R2,T2)
其中,E1表示第一知识图谱的实体集,R1表示第一知识图谱的关系集,T1表示第一知识图谱的三元组集,E2表示第二知识图谱的实体集,R2表示第二知识图谱的关系集,T2表示第二知识图谱的三元组集,
步骤1所述对齐的种子实体集合:
A={ak=(ek,1,i,ek,2,j)|ek,1,i∈E1,ek,2,j∈E2}
i∈[1,M],j∈[1,N]
k∈[1,K]
其中,A表示对齐的种子实体集合,ak表示第k个对齐的实体对,K表示对齐的种子实体集合中对齐的实体对的数量,ek,1,i表示第k个对齐的实体对中来自第一知识图谱的实体集的第i个实体,ek,2,j表示第k个对齐的实体对中来自第二知识图谱的实体集的第j个实体,ek,1,i与ek,2,j均属于第k个对齐的实体对且二者的中文含义相同,M表示A中来自第一知识图谱实体的个数,N表示A中来自第二知识图谱实体的个数;
步骤1所述将对齐的种子实体集合中每个对齐的实体对中实体的名字翻译为英文为:
将A中每个对齐的实体对中实体的名字即ek,1,i,ek,2,j均翻译为英文,翻译后对齐的种子实体集合记为A*,具体定义为:
A*={a* k=(e* k,1,i,e* k,2,j)}
i∈[1,M],j∈[1,N]
k∈[1,K]
其中,A*表示翻译后对齐的种子实体集合,a* k表示翻译后第k个对齐的实体对,K表示翻译后对齐的种子实体集合中对齐的实体对的数量,e* k,1,i表示第k个对齐的实体对中来自第一知识图谱的实体集的翻译后第i个实体,e* k,2,j表示第k个对齐的实体对中来自第一知识图谱的实体集的翻译后第i个实体,M表示A*中来自第一知识图谱实体的个数,N表示A*中来自第二知识图谱实体的个数;
步骤1所述定义过翻译后每个实体的名字为:
翻译后每个实体的名字包含为多个英文单词,具体表示为:
其中,wordk,1,i,t表示第k个对齐的实体对中来自第一知识图谱的实体集的翻译后第i个实体的第t个单词,wordk,2,j,t表示第k个对齐的实体对中来自第二知识图谱的实体集的翻译后第j个实体的第t个单词,n是第k个对齐的实体对中来自第一知识图谱的实体集的翻译后第i个实体的单词总数,m是第k个对齐的实体对中来自第二知识图谱的实体集的翻译后第j个实体的单词总数;
步骤1所述从翻译后对齐的种子实体集合中构建训练集以及测试集为:从翻译后对齐的种子实体集合即A*中K个对齐的实体对中随机选择P个作为训练集,用Atrain表示,A*中剩下的K-P个对齐的实体对作为测试集,用Atest表示。
3.根据权利要求1所述的上下文对齐增强图注意力网络的跨语言实体对齐方法,其特征在于:
步骤2所述每个实体名字的词向量为:
i∈[1,M],j∈[1,N]
k∈[1,K]
其中,表示第k个对齐的实体对中来自第一知识图谱的实体集的翻译后第i个实体的第t个单词的词向量,表示第k个对齐的实体对中来自第二知识图谱的实体集的翻译后第j个实体的第t个单词的词向量,K表示翻译后对齐的种子实体集合中对齐的实体对的数量,M表示A*中来自第一知识图谱实体的个数,N表示A*中来自第二知识图谱实体的个数;
步骤2所述将每个实体名字的词向量求和作为该实体的初始化特征,具体如下:
其中,n是第k个对齐的实体对中来自第一知识图谱的实体集的翻译后第i个实体的单词总数,m是第k个对齐的实体对中来自第一知识图谱的实体集的翻译后第i个实体的单词总数,表示第k个对齐的实体对中来自第一知识图谱的实体集的翻译后第i个实体的初始化特征,表示第k个对齐的实体对中来自第二知识图谱的实体集的翻译后第j个实体的初始化特征;
步骤2所述分别构建来自第一知识图谱的初始化特征、来自第二知识图谱的初始化特征为:
其中,E1表示第一知识图谱的实体集,E2表示第二知识图谱的实体集,ek,1,i表示第k个对齐的实体对中来自第一知识图谱的实体集的第i个实体,ek,2,j表示第k个对齐的实体对中来自第二知识图谱的实体集的第j个实体,A*表示翻译后对齐的种子实体集合,e* k,1,i表示第k个对齐的实体对中来自第一知识图谱的实体集的翻译后第i个实体,e* k,2,j表示第k个对齐的实体对中来自第二知识图谱的实体集的翻译后第j个实体。
5.根据权利要求1所述的上下文对齐增强图注意力网络的跨语言实体对齐方法,其特征在于:
步骤4所述通过跨知识图谱聚合层进行不同知识图谱的信息传播为:
步骤4.1:以上下文对齐种子集、对齐的实体对中来自第一知识图谱的实体集的翻译后实体的初始化特征、对齐的实体对中来自第二知识图谱的实体集的翻译后实体的初始化特征,使用门机制计算第一知识图谱、第二知识图谱实体信息融合的权重,具体计算如下:
i∈[1,M],j∈[1,N]
k∈[1,K]
其中,||表示向量的拼接操作,W是在训练过程中学习到的权重矩阵,b是偏差,σ是sigmoid激活函数;是A*中第k个实体对中来自知识图谱G1的第i个实体的特征表示,是A*中第k个实体对中来自知识图谱G2中的第j个实体的特征表示;l指的是网络的第l层;K表示翻译后对齐的种子实体集合中对齐的实体对的数量,M表示A*中来自第一知识图谱G1实体的个数,N表示A*中来自第二知识图谱G2实体的个数;表示A*中第k个实体对中来自知识图谱G1的第i个实体的融合权重,表示A*中第k个实体对中来自知识图谱G2的第j个实体的融合权重;
步骤4.2:使用门机制融合第一知识图谱、第二知识图谱的信息,以获取第一知识图谱、第二知识图的融合表示,具体计算如下:
其中,表示A*中第k个实体对中来自知识图谱G1的第i个实体的融合权重,表示A*中第k个实体对中来自知识图谱G2的第j个实体的融合权重;表示A*中第k个实体对中来自知识图谱G1的第i个实体的特征表示,中第k个实体对中来自知识图谱G1的第i个实体的特征表示;表示A*中第k个实体对中来自知识图谱G1的第i个实体经过门机制后的特征表示,表示A*中第k个实体对中来自知识图谱G2的第j个实体经过门机制后的特征表示,
步骤4.3:对第一知识图谱、第二知识图谱中的所有实体计算经过跨知识图谱聚合层后的特征矩阵;
所述经过跨知识图谱聚合层后的特征矩阵为:
其中,crossAggr的计算公式如下:
6.根据权利要求1所述的上下文对齐增强图注意力网络的跨语言实体对齐方法,其特征在于:
步骤5通过基于注意力神经网络收集第一知识图谱、第二知识图谱中每个实体的邻居信息为:
步骤5.1:根据实体的邻居实体计算其权重即注意力,具体计算公式如下:
其中,,表示在第一知识图谱中和实体ek,1,i有链接的邻居实体的集合,exp是指数函数;表示翻译后对齐的种子实体集合中第k个实体对中来自第一知识图谱的第i个实体经过门机制后的特征表示;和分别表示A*中第k个实体对中来自第一知识图谱的第i个实体的第q个和第p个邻居的特征表示,α1,k,i表示A*中第k个实体对中来自第一知识图谱G1的第i个实体的权重;
其中,LeakyRelu为激活函数,V是可学习的网络参数矩阵,表示将和两个特征表示执行拼接操作,为实体ek,1,i的某个邻居实体,表示翻译后对齐的种子实体集合中第k个实体对中来自第一知识图谱的第i个实体经过门机制后的特征表示
步骤5.2:根据步骤5.1计算出的权重进行邻居信息的融合,以收集实体的邻居信息,其计算公式如下:
其中,Relu为激活函数,αk,1,i,p是第一知识图谱G1中的第i实体的第p个邻居的权重;crossAtt为基于注意力的图神经网络层,crossAggr为跨知识图谱聚合层,表示A*中第k个实体对中来自知识图谱G1的第i个实体的特征表示表示A*中第k个实体对中来自第一知识图谱的第i个实体经过门机制后的特征表示;表示A*中第k个实体对中来自第一知识图谱的第i个实体的第p个邻居的特征表示;α1,k,i表示A*中第k个实体对中来自第一知识图谱G1的第i个实体的权重;
步骤5.3:对第一知识图谱、第二知识图谱的所有实体根据实体的邻居实体计算其权重并且根据计算出的权重进行邻居信息的融合,以收集实体的邻居信息,即步骤5.1和步骤5.2,然后得到经过基于注意力的图神经网络层收集邻居信息后的特征矩阵,即:
7.根据权利要求1所述的上下文对齐增强图注意力网络的跨语言实体对齐方法,其特征在于:
步骤6所述包含图谱融合信息和多跳邻居信息的每个实体的特征为:
其中,是第一知识图谱通过第l个CGAT层的输出;其中是第二知识图谱通过第l个CGAT层的输出;为第一知识图谱初始的特征 为第二知识图谱初始的特征crossAtt为基于注意力的图神经网络层;crossAggr为跨知识图谱聚合层;通过叠加L个CGAT层,可以对第一知识图谱和第二知识图谱的特征进行L次更新,最终输出更新后的特征和
在目标对齐种子集上计算目标损失函数,其公式如下:
使用Adam算法优化更新模型参数φ,模型参数φ包括跨知识图谱聚合层和基于注意力的图神经网络层的参数可训练的参数,根据优化后的参数φ构建基于上下文对齐增强图注意力网络模型。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011201832.1A CN112417159B (zh) | 2020-11-02 | 2020-11-02 | 一种上下文对齐增强图注意力网络的跨语言实体对齐方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011201832.1A CN112417159B (zh) | 2020-11-02 | 2020-11-02 | 一种上下文对齐增强图注意力网络的跨语言实体对齐方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112417159A true CN112417159A (zh) | 2021-02-26 |
CN112417159B CN112417159B (zh) | 2022-04-15 |
Family
ID=74827829
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011201832.1A Active CN112417159B (zh) | 2020-11-02 | 2020-11-02 | 一种上下文对齐增强图注意力网络的跨语言实体对齐方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112417159B (zh) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112905807A (zh) * | 2021-03-25 | 2021-06-04 | 北京邮电大学 | 一种多源时空知识融合方法 |
CN113157935A (zh) * | 2021-03-16 | 2021-07-23 | 中国科学技术大学 | 基于关系上下文进行实体对齐的图神经网络模型及方法 |
CN113392216A (zh) * | 2021-06-23 | 2021-09-14 | 武汉大学 | 基于一致性文本增强的远程监督关系抽取方法及装置 |
CN113407759A (zh) * | 2021-08-18 | 2021-09-17 | 中国人民解放军国防科技大学 | 一种基于自适应特征融合的多模态实体对齐方法 |
CN113704495A (zh) * | 2021-08-30 | 2021-11-26 | 合肥智能语音创新发展有限公司 | 实体对齐方法、装置、电子设备和存储介质 |
CN113761221A (zh) * | 2021-06-30 | 2021-12-07 | 中国人民解放军32801部队 | 基于图神经网络的知识图谱实体对齐方法 |
CN115080761A (zh) * | 2022-06-08 | 2022-09-20 | 昆明理工大学 | 一种基于语义感知的低资源知识图谱实体对齐方法 |
CN116257643A (zh) * | 2023-05-09 | 2023-06-13 | 鹏城实验室 | 跨语言实体对齐方法、装置、设备及可读存储介质 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110929041A (zh) * | 2019-11-20 | 2020-03-27 | 北京邮电大学 | 基于分层注意力机制的实体对齐方法及*** |
CN111723587A (zh) * | 2020-06-23 | 2020-09-29 | 桂林电子科技大学 | 一种面向跨语言知识图谱的汉泰实体对齐方法 |
-
2020
- 2020-11-02 CN CN202011201832.1A patent/CN112417159B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110929041A (zh) * | 2019-11-20 | 2020-03-27 | 北京邮电大学 | 基于分层注意力机制的实体对齐方法及*** |
CN111723587A (zh) * | 2020-06-23 | 2020-09-29 | 桂林电子科技大学 | 一种面向跨语言知识图谱的汉泰实体对齐方法 |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113157935A (zh) * | 2021-03-16 | 2021-07-23 | 中国科学技术大学 | 基于关系上下文进行实体对齐的图神经网络模型及方法 |
CN113157935B (zh) * | 2021-03-16 | 2024-02-27 | 中国科学技术大学 | 基于关系上下文进行实体对齐的图神经网络***及方法 |
CN112905807A (zh) * | 2021-03-25 | 2021-06-04 | 北京邮电大学 | 一种多源时空知识融合方法 |
CN113392216A (zh) * | 2021-06-23 | 2021-09-14 | 武汉大学 | 基于一致性文本增强的远程监督关系抽取方法及装置 |
CN113392216B (zh) * | 2021-06-23 | 2022-06-17 | 武汉大学 | 基于一致性文本增强的远程监督关系抽取方法及装置 |
CN113761221A (zh) * | 2021-06-30 | 2021-12-07 | 中国人民解放军32801部队 | 基于图神经网络的知识图谱实体对齐方法 |
CN113407759A (zh) * | 2021-08-18 | 2021-09-17 | 中国人民解放军国防科技大学 | 一种基于自适应特征融合的多模态实体对齐方法 |
CN113407759B (zh) * | 2021-08-18 | 2021-11-30 | 中国人民解放军国防科技大学 | 一种基于自适应特征融合的多模态实体对齐方法 |
CN113704495A (zh) * | 2021-08-30 | 2021-11-26 | 合肥智能语音创新发展有限公司 | 实体对齐方法、装置、电子设备和存储介质 |
CN113704495B (zh) * | 2021-08-30 | 2024-05-28 | 合肥智能语音创新发展有限公司 | 实体对齐方法、装置、电子设备和存储介质 |
CN115080761A (zh) * | 2022-06-08 | 2022-09-20 | 昆明理工大学 | 一种基于语义感知的低资源知识图谱实体对齐方法 |
CN116257643A (zh) * | 2023-05-09 | 2023-06-13 | 鹏城实验室 | 跨语言实体对齐方法、装置、设备及可读存储介质 |
CN116257643B (zh) * | 2023-05-09 | 2023-08-25 | 鹏城实验室 | 跨语言实体对齐方法、装置、设备及可读存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN112417159B (zh) | 2022-04-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112417159B (zh) | 一种上下文对齐增强图注意力网络的跨语言实体对齐方法 | |
CN110188331B (zh) | 模型训练方法、对话***评价方法、装置、设备及存储介质 | |
Han et al. | A survey on metaheuristic optimization for random single-hidden layer feedforward neural network | |
CN108095716B (zh) | 一种基于置信规则库和深度神经网络的心电信号检测方法 | |
JPWO2018051841A1 (ja) | モデル学習装置、その方法、及びプログラム | |
CN112685504B (zh) | 一种面向生产过程的分布式迁移图学习方法 | |
CN114898121B (zh) | 基于图注意力网络的混凝土坝缺陷图像描述自动生成方法 | |
US20230401390A1 (en) | Automatic concrete dam defect image description generation method based on graph attention network | |
CN113190688A (zh) | 基于逻辑推理和图卷积的复杂网络链接预测方法及*** | |
CN114818703B (zh) | 基于BERT语言模型和TextCNN模型的多意图识别方法及*** | |
CN114564596A (zh) | 一种基于图注意力机制的跨语言知识图谱链接预测方法 | |
CN114491039B (zh) | 基于梯度改进的元学习少样本文本分类方法 | |
CN113344044A (zh) | 一种基于领域自适应的跨物种医疗影像分类方法 | |
CN110322959A (zh) | 一种基于知识的深度医疗问题路由方法及*** | |
CN114969367B (zh) | 基于多方面子任务交互的跨语言实体对齐方法 | |
CN114580388A (zh) | 数据处理方法、对象预测方法、相关设备及存储介质 | |
CN117131933A (zh) | 一种多模态知识图谱建立方法及应用 | |
CN107766895A (zh) | 一种诱导式非负投影半监督数据分类方法及*** | |
CN114841318A (zh) | 基于跨模态知识蒸馏的智能合约漏洞检测方法 | |
CN115101145A (zh) | 一种基于自适应元学习的药物虚拟筛选方法 | |
Zheng et al. | Learning from the guidance: Knowledge embedded meta-learning for medical visual question answering | |
CN112529188B (zh) | 基于知识蒸馏的工业过程优化决策模型迁移优化方法 | |
CN115330142B (zh) | 联合能力模型的训练方法、能力需求匹配方法和装置 | |
Remya | An adaptive neuro-fuzzy inference system to monitor and manage the soil quality to improve sustainable farming in agriculture | |
CN114003270A (zh) | 基于深度学习的软件安全漏洞修复者推荐方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |