CN114610897A - 基于图注意力机制的医学知识图谱关系预测方法 - Google Patents

基于图注意力机制的医学知识图谱关系预测方法 Download PDF

Info

Publication number
CN114610897A
CN114610897A CN202210181938.2A CN202210181938A CN114610897A CN 114610897 A CN114610897 A CN 114610897A CN 202210181938 A CN202210181938 A CN 202210181938A CN 114610897 A CN114610897 A CN 114610897A
Authority
CN
China
Prior art keywords
entity
embedding
matrix
attention
vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210181938.2A
Other languages
English (en)
Inventor
何坚
苗宁
张仰
陈建辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Technology
Original Assignee
Beijing University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Technology filed Critical Beijing University of Technology
Priority to CN202210181938.2A priority Critical patent/CN114610897A/zh
Publication of CN114610897A publication Critical patent/CN114610897A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
    • G06F16/367—Ontology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases
    • G06F16/288—Entity relationship models

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Computational Linguistics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

基于图注意力机制的医学知识图谱关系预测方法属于电子信息领域。本发明涉及如下3点：(1)将不同权重(注意力)分配给附近的节点，并通过迭代和分层计算传播注意力。(2)并在多跳邻居之间引入辅助边，实现了实体之间知识流的有效传播，构建了基于图注意力的嵌入模型。(3)应用ConvKB作为解码器有效捕获实体及其邻域间存在的关联关系。本发明针对医疗知识图谱中关系预测任务，通过扩展图注意力机制，构建了基于图注意力的嵌入模型，捕获给定实体的多跳邻域间实体和关系特征，进而完善医疗知识图谱中实体间关联关系。

Description

基于图注意力机制的医学知识图谱关系预测方法
技术领域
本发明属于电子信息领域，是一种基于图神经网络、可应用于医疗知识图谱关系预测的技术。
背景技术
知识图谱是真实世界信息的结构化表示，即使是最先进的知识图谱也存在不完整、需不断完善的问题。关系预测是一种根据知识图谱中已存在的实体去预测缺失事实的技术，可对知识图谱进行补全和增强。近年来的研究表明，基于卷积神经网络(CNN)的模型可生成丰富且更具表现力的特征嵌入，因此在关系预测方面具有良好表现。然而，这类知识图谱模型独立地处理三元组，无法捕获三元组周围的局部邻域中固有的复杂和隐藏信息。
针对上述卷积神经网络模型在知识图谱关系预测中存在的问题，本文提出了一种基于图注意力机制的特征嵌入方法，捕获实体及其领域间存在的关联关系。
发明内容
本文针对基于平移距离和卷积神经网络(CNN)的模型只能独立地处理单个三元组，难以捕获给定实体附近邻域间的关系等问题，提出了一种基于注意力的关系预测图嵌入方法，实现更具表达性的知识图谱关系预测技术。
本发明涉及如下3点：
(1)将不同权重(注意力)分配给附近的节点，并通过迭代和分层计算传播注意力。
(2)并在多跳邻居之间引入辅助边，实现了实体之间知识流的有效传播，构建了基于图注意力的嵌入模型。
(3)应用ConvKB作为解码器有效捕获实体及其邻域间存在的关联关系。
本发明核心算法：
(1)用于关系预测的基于图注意力的图嵌入方法
知识图谱中实体在不同关系下扮演不同的角色，而图注意力网络(GraphAttention networks，GATs)忽略了知识图谱中关系的作用，本文通过将关系和相邻节点的特征纳入注意力机制，提出了一种新颖的基于图注意力的图嵌入方法。
与GATs不同，本模型的每一层的输入包含实体嵌入矩阵和关系嵌入矩阵。
其中，实体嵌入矩阵H如(1)式：
Figure BDA0003521544920000021
其中，
Figure BDA0003521544920000022
表示实体的特征矩阵，Ne是实体总数，T是每个实体嵌入的特征维度。
关系嵌入矩阵G如(2)式：
Figure BDA0003521544920000023
其中，
Figure BDA0003521544920000024
表示关系的特征矩阵，Nr是关系数量，P为关系矩阵嵌入的特征维度。
参考图1网络结构，根据输入矩阵H和G，按照如下步骤计算出更新后的嵌入矩阵H′和G′：
步骤一：定义医学知识图谱中的实体集合E＝{e1,…,ei,…,en}，ei是第i个实体的嵌入。首先，学习与ei关联的每个三元组的表示，以获取实体ei
的新嵌入。通过对特定的三元组
Figure BDA0003521544920000025
的实体和关系特征向量如式(3)执行线性变换来学习这些嵌入。
Figure BDA0003521544920000026
其中，
Figure BDA0003521544920000027
是三元组
Figure BDA0003521544920000028
的一个向量表示。
Figure BDA0003521544920000029
分别为实体ei、ej和关系rk的嵌入表示，W1为线性转化矩阵。
步骤二：采用与GATs相同的思路来获取每一个三元组的重要程度，即注意力系数bijk。如公式(4)所示，先进行一个线性变换，再应用一个非线性的激活函数得到bijk，公式(4)中，W2是一个线性转换矩阵。
bijk＝LeakyReLU(W2cijk) (4)
此外，采用式(5)进行注意力系数的归一化，得到相对注意力值αijk。
Figure BDA0003521544920000031
其中，Ni表示所有与ei相邻的实体集合，Rin表示连接实体ei、en关系的集合，binr表示与ei相邻的实体的注意力系数。
得到归一化后的注意力系数后，依据公式(8)计算更新后的嵌入向量。模型采用多头注意力机制，使模型在不同的表示子空间里学***均值的方法得到最终的嵌入向量。
Figure BDA0003521544920000032
其中，M为注意力头的数量，σ表示一个非线性函数。j代表与实体ei相邻的实体，k代表实体ei与实体ej之间的关系。
步骤三：如公式(9)所示，使用权重矩阵WR对关系矩阵G做线性变换得到新嵌入矩阵。
G′＝GWR (7)
其中，WR∈RT×T′，T′是该层输出的关系嵌入向量的维度。
步骤四：实体权重矩阵WE(
Figure BDA0003521544920000033
Figure BDA0003521544920000034
表示关系的特征矩阵，Ti、Tj分别代表初始和最终的实体嵌入向量的维数)，Hi为输入模型的实体嵌入向量，按照公式(8)对初始的实体嵌入向量Hi做线性变换，得到转化后的实体嵌入向量Ht。
Ht＝WEHi (8)
步骤五：依据式(9)将初始的实体嵌入向量Ht与最后一个注意力层获得的实体嵌入向量Hf相加得到更新实体嵌入向量H”。
H”＝Ht+Hf (9)
其中，
Figure BDA0003521544920000035
(
Figure BDA0003521544920000036
为实体的特征矩阵)为最后注意力层输出的实体嵌入矩阵，Ne是实体总数，Tf是最终的实体嵌入向量的特征维度。
另外，定义k(k>1)跳邻接(图2中虚有向线段)为知识图谱中的辅助关系，辅助关系的嵌入为有向路径中所有关系的嵌入之和。这样对于一个多层的模型，在第s层就可以通过聚合相邻s跳的邻居计算出更新的嵌入向量。
图注意力网络会把知识图谱中存在的三元组作为有效三元组
Figure BDA0003521544920000041
作为训练的正例。并用实体随机地替换三元组中的头实体或尾实体，构成无效三元组t′ij，作为训练的负例。
同时，本发明借鉴翻译评分函数思想来学习嵌入，即对于给定的有效三元组
Figure BDA0003521544920000042
有
Figure BDA0003521544920000043
其中ei是实体，ej是ei最邻近的实体，rk是ei和ej之间的关系。
Figure BDA0003521544920000044
是实体ei的嵌入向量，
Figure BDA0003521544920000045
是关系rk的嵌入向量，
Figure BDA0003521544920000046
是实体ej的嵌入向量。
在模型训练中，实体关系嵌入学习采用了最小L1非相似度范数
Figure BDA0003521544920000047
Figure BDA0003521544920000048
并使用公式(10)所示的hinge loss损失函数。
Figure BDA0003521544920000049
其中，γ>0，是一个边际超参数；S是正确的三元组集合，S′是无效三元组集合。S′根据公式(11)计算求得，包括替代头实体得到的三元组
Figure BDA00035215449200000410
和替代尾实体得到的三元组
Figure BDA00035215449200000411
Figure BDA00035215449200000412
(2)基于卷积神经网络的解码器ConvKB
模型采用ConvKB作为解码器，通过卷积层分析三元组
Figure BDA00035215449200000413
不同维度的全局嵌入特性，进而概括模型的转化特性。模型在解码过程中依据公式(12)计算多个特征映射得分。
Figure BDA00035215449200000414
其中，ωq表示第q个滤波器，Ω为滤波器的数量，*是卷积运算符，W∈RΩk×1是一个用于计算三元组最终得分的线性转化矩阵。
为提高模型的泛化能力，模型训练中采用公式(13)所示的软边界损失函数来计算损失：
Figure BDA0003521544920000051
其中，
Figure BDA0003521544920000052
代表正负例的系数，当
Figure BDA0003521544920000053
时，
Figure BDA0003521544920000054
当
Figure BDA0003521544920000055
时，
Figure BDA0003521544920000056
λ是L2范数的超参数。
发明效果
针对医疗知识图谱中关系预测任务，通过扩展图注意力机制，构建了基于图注意力的嵌入模型，捕获给定实体的多跳邻域间实体和关系特征，进而完善医疗知识图谱中实体间关联关系。
附图说明
图1为网络架构图；
图2为辅助关系边示意图；
图3为注意力机制示意图；
图4为ConvKB结构图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。
鉴于知识图谱在构建初期，因为知识源受限，往往会导致知识覆盖面不全而造成大量相关知识的缺失。因此，在医疗领域，需要关系预测对医学知识图谱进行知识补全。
本实例提供了一种知识图谱关系补全方法流程，具体实施分为2步：
1)训练GAT来编码实体和关系信息。
2)训练ConvKB作为解码器来进行关系预测任务。
以下给出本发明的相关定义：
定义1(知识图谱，
Figure BDA0003521544920000057
)
Figure BDA0003521544920000058
表示知识图谱中包含的所有实体和关系。
定义2(实体集，E)E＝{e1,…,ei,…,en}，表示知识图谱中所有的实体节点，对应于知识库中的实体集合。
定义3(关系集，R)R＝{r1,…,ri,…,rn}，表示知识图谱中所有的关系边，对应于知识库中的关系集和。
定义4(三元组，
Figure BDA0003521544920000061
)
Figure BDA0003521544920000062
ei表示头实体，rk表示关系，ej表示尾实体。其中，ei,ej∈E，rk∈R，一个三元组也叫做一个知识。
1)第一阶段
训练GAT来编码图中实体和关系的信息，以便得到更好、表达程度更高的嵌入。
S1：获取待处理的医学知识图谱，将知识图谱中的所有知识转换为三元组存储形式的知识库文件。利用Neo4j图数据库将知识图谱转换为三元组存储形式的RDF知识库文件。
S2：因为计算机无法识别文本形式的三元组，所以在输入神经网络进行关系判断之前，需要将其转换为词向量空间表示的形式。
本发明借鉴翻译评分函数思想，采用TransE来学习初始嵌入，即对于给定的有效三元组
Figure BDA0003521544920000063
有
Figure BDA0003521544920000064
其中ei是实体，ej是ei最邻近的实体，rk是ei和ej之间的关系。
Figure BDA0003521544920000065
是实体ei的嵌入向量，
Figure BDA0003521544920000066
是关系rk的嵌入向量，
Figure BDA0003521544920000067
是实体ej的嵌入向量。
其中，实体嵌入矩阵H如(1)式：
Figure BDA0003521544920000068
其中，R表示实体的特征矩阵，Ne是实体总数，T是每个实体嵌入的特征维度。
关系嵌入矩阵G如(2)式：
Figure BDA0003521544920000069
其中，
Figure BDA00035215449200000610
表示关系的特征矩阵，Nr是关系数量，P为关系矩阵嵌入的特征维度。
S3：对于每个实体，需要学习与其关联的所有三元组的向量表示，以获得实体的新嵌入，通过对特定的三元组
Figure BDA0003521544920000071
的实体和关系特征向量如式(3)执行线性变换来学习这些嵌入。
Figure BDA0003521544920000072
其中，
Figure BDA0003521544920000073
是三元组
Figure BDA0003521544920000074
的一个向量表示。
Figure BDA0003521544920000075
分别为实体ei、ej和关系rk的嵌入表示，W1为线性转化矩阵。
S4：为了将输入特征映射到更高维度的输出特征空间，需要先进行一个线性变换，再应用一个非线性的激活函数得到注意力系数bijk，代表每一个三元组的重要程度。
如公式(4)所示，W2是一个线性转换矩阵。为了避免梯度消失等问题，本发明采用LeakyReLU作为激活函数，经过多次对比实验以及参考得出，LeakyReLU的超参数取值为0.2。
bijk＝LeakyReLU(W2cijk) (4)
S5：对于一个节点所有入边得到的原始注意力分数应用softmax操作，如式(5)进行注意力系数的归一化，得到相对注意力值αijk。
Figure BDA0003521544920000076
其中，Ni表示所有与ei相邻的实体集合，Rin表示连接实体ei、en关系的集合，binr表示与ei相邻的实体的注意力系数。
S6：得到归一化后的注意力系数后，依据公式(8)计算更新后的嵌入向量。
模型采用多头注意力机制，使模型在不同的表示子空间里学***均值的方法得到最终的嵌入向量。
Figure BDA0003521544920000077
其中，M为注意力头的数量，σ表示一个非线性函数。j代表与实体ei相邻的实体，k代表实体ei与实体ej之间的关系。
此外，本发明采用dropout操作，以0.3的概率丢弃一些神经元的激活，避免过拟合等问题。
S7：如公式(9)所示，使用权重矩阵WR对关系矩阵G做线性变换得到新嵌入矩阵。
G′＝GWR (7)
其中，WR∈RT×T′，T′是该层输出的关系嵌入向量的维度。
S8：按照公式(8)对初始的实体嵌入向量Hi做线性变换，得到转化后的实体嵌入向量Ht。
Ht＝WEHi (8)
其中，实体权重矩阵WE(
Figure BDA0003521544920000081
Figure BDA0003521544920000082
表示关系的特征矩阵，Ti、Tj分别代表初始和最终的实体嵌入向量的维数)，Hi为输入模型的实体嵌入向量。
S9：在学习新的嵌入向量时，可能会丢失它们初始的嵌入信息，所以依据式(9)将初始的实体嵌入向量Ht与最后一个注意力层获得的实体嵌入向量Hf相加得到更新实体嵌入向量H”。
H”＝Ht+Hf (9)
其中，
Figure BDA0003521544920000083
(
Figure BDA0003521544920000084
为实体的特征矩阵)为最后注意力层输出的实体嵌入矩阵，Ne是实体总数，Tf是最终的实体嵌入向量的特征维度。
S10：图注意力网络会把知识图谱中存在的三元组作为有效三元组
Figure BDA0003521544920000085
作为训练的正例。并用实体随机地替换三元组中的头实体或尾实体，构成无效三元组t′ij，作为训练的负例。在此训练阶段中，有效三元组和无效三元组数量比为2:1。
在模型训练中，实体关系嵌入学习采用了最小L1非相似度范数
Figure BDA0003521544920000086
Figure BDA0003521544920000087
并使用公式(10)所示的hinge loss损失函数。
Figure BDA0003521544920000088
其中，γ>0，是一个边际超参数，取值为5；S是正确的三元组集合，S′是无效三元组集合。S′根据公式(11)计算求得，包括替代头实体得到的三元组
Figure BDA0003521544920000089
和替代尾实体得到的三元组
Figure BDA00035215449200000810
表示实体集合E中除去ei的实体。
Figure BDA0003521544920000091
此外，采用学习率为0.001的Adam优化器不断对模型进行优化。
2)第二阶段
模型采用ConvKB作为解码器，通过卷积层分析三元组
Figure BDA0003521544920000092
不同维度的全局嵌入特性，进而概括模型的转化特性。
S11：模型在解码过程中依据公式(12)计算多个特征映射得分。
Figure BDA0003521544920000093
其中，ωq表示第q个滤波器，Ω为滤波器的数量，*是卷积运算符，W∈RΩk×1是一个用于计算三元组最终得分的线性转化矩阵。
Figure BDA0003521544920000094
如式(3)所示，是三元组
Figure BDA0003521544920000095
的一个向量表示。
经过多次对比实验，为了避免梯度消失等问题，本发明采用超参数取值为0.2的LeakyReLU作为激活函数。
S12：为提高模型的泛化能力，模型训练中采用公式(13)所示的软边界损失函数来计算损失：
Figure BDA0003521544920000096
其中，
Figure BDA0003521544920000097
代表正负例的系数，当
Figure BDA0003521544920000098
时，
Figure BDA0003521544920000099
当
Figure BDA00035215449200000910
时，
Figure BDA00035215449200000911
是L2范数的超参数，取值为0.00001。
在此训练阶段中，有效三元组和无效三元组数量比为4:1。

Claims (2)

1.基于图注意力机制的医学知识图谱关系预测方法，其特征在于：
(1)用于关系预测的基于图注意力的图嵌入方法
模型的每一层的输入包含实体嵌入矩阵和关系嵌入矩阵；其中，实体嵌入矩阵H如(1)式：
Figure FDA0003521544910000011
其中，R表示实体的特征矩阵，Ne是实体总数，T是每个实体嵌入的特征维度；
关系嵌入矩阵G如(2)式：
Figure FDA0003521544910000012
其中，
Figure FDA0003521544910000013
表示关系的特征矩阵，Nr是关系数量，P为关系矩阵嵌入的特征维度；
根据输入矩阵H和G，按照如下步骤计算出更新后的嵌入矩阵H′和G′：
步骤一：定义医学知识图谱中的实体集合E＝{e1,…,ei,…,en}，ei是第i个实体的嵌入；首先，学习与ei关联的每个三元组的表示，以获取实体ei的新嵌入；通过对特定的三元组
Figure FDA0003521544910000014
的实体和关系特征向量如式(3)执行线性变换来学习这些嵌入；
Figure FDA0003521544910000015
其中，
Figure FDA0003521544910000016
是三元组
Figure FDA0003521544910000017
的一个向量表示；
Figure FDA0003521544910000018
分别为实体ei、ej和关系rk的嵌入表示，W1为线性转化矩阵；
步骤二：获取每一个三元组的重要程度，即注意力系数bijk；如公式(4)所示，先进行一个线性变换，再应用一个非线性的激活函数得到bijk，公式(4)中，W2是一个线性转换矩阵；
bijk＝LeakyReLU(W2cijk) (4)
此外，采用式(5)进行注意力系数的归一化，得到相对注意力值αijk；
Figure FDA0003521544910000019
其中，Ni表示所有与ei相邻的实体集合，Rin表示连接实体ei、en关系的集合，binr表示与ei相邻的实体的注意力系数；
得到归一化后的注意力系数后，依据公式(8)计算更新后的嵌入向量；模型采用多头注意力机制，使模型在不同的表示子空间里学***均值的方法得到最终的嵌入向量；
Figure FDA0003521544910000021
其中，M为注意力头的数量，σ表示一个非线性函数；j代表与实体ei相邻的实体，k代表实体ei与实体ej之间的关系；
步骤三：如公式(9)所示，使用权重矩阵WR对关系矩阵G做线性变换得到新嵌入矩阵；
G′＝GWR (7)
其中，WR∈RT×T′，T′是该层输出的关系嵌入向量的维度；
步骤四：实体权重矩阵WE，
Figure FDA0003521544910000022
Figure FDA0003521544910000023
表示关系的特征矩阵，Ti、Tj分别代表初始和最终的实体嵌入向量的维数，为输入模型的实体嵌入向量，按照公式(8)对初始的实体嵌入向量Hi做线性变换，得到转化后的实体嵌入向量Ht；
Ht＝WEHi (8)
步骤五：依据式(9)将初始的实体嵌入向量Ht与最后一个注意力层获得的实体嵌入向量Hf相加得到更新实体嵌入向量H”；
H”＝Ht+Hf (9)
其中，
Figure FDA0003521544910000024
Figure FDA0003521544910000025
为实体的特征矩阵，为最后注意力层输出的实体嵌入矩阵，Ne是实体总数，Tf是最终的实体嵌入向量的特征维度；
另外，定义k跳邻接为知识图谱中的辅助关系，辅助关系的嵌入为有向路径中所有关系的嵌入之和，k>1；这样对于一个多层的模型，在第s层就可以通过聚合相邻s跳的邻居计算出更新的嵌入向量；
图注意力网络会把知识图谱中存在的三元组作为有效三元组
Figure FDA0003521544910000026
作为训练的正例；并用实体随机地替换三元组中的头实体或尾实体，构成无效三元组t′ij，作为训练的负例；
借鉴翻译评分函数思想来学习嵌入，即对于给定的有效三元组
Figure FDA0003521544910000031
Figure FDA0003521544910000032
有
Figure FDA0003521544910000033
其中ei是实体，ej是ei最邻近的实体，rk是ei和ej之间的关系；
Figure FDA0003521544910000034
是实体ei的嵌入向量，
Figure FDA0003521544910000035
是关系rk的嵌入向量，
Figure FDA0003521544910000036
是实体ej的嵌入向量；
在模型训练中，实体关系嵌入学习采用了最小L1非相似度范数
Figure FDA0003521544910000037
Figure FDA0003521544910000038
并使用公式(10)所示的hinge loss损失函数；
Figure FDA0003521544910000039
其中，γ>0，是一个边际超参数；S是正确的三元组集合，S′是无效三元组集合；S′根据公式(11)计算求得，包括替代头实体得到的三元组
Figure FDA00035215449100000310
和替代尾实体得到的三元组
Figure FDA00035215449100000311
Figure FDA00035215449100000312
(2)基于卷积神经网络的解码器ConvKB
模型采用ConvKB作为解码器，通过卷积层分析三元组
Figure FDA00035215449100000313
不同维度的全局嵌入特性，进而概括模型的转化特性；模型在解码过程中依据公式(12)计算多个特征映射得分；
Figure FDA00035215449100000314
其中，ωq表示第q个滤波器，Ω为滤波器的数量，*是卷积运算符，W∈RΩk×1是一个用于计算三元组最终得分的线性转化矩阵；
采用公式(13)所示的软边界损失函数来计算损失：
Figure FDA00035215449100000315
其中，
Figure FDA00035215449100000316
代表正负例的系数，当
Figure FDA00035215449100000317
时，
Figure FDA00035215449100000318
当
Figure FDA00035215449100000319
时，
Figure FDA00035215449100000320
λ是L2范数的超参数。
2.根据权利要求1所述的方法，其特征在于：
以下相关定义：
定义1(知识图谱，
Figure FDA00035215449100000321
)
Figure FDA00035215449100000322
表示知识图谱中包含的所有实体和关系；
定义2(实体集，E)E＝{e1,…,ei,…,en}，表示知识图谱中所有的实体节点，对应于知识库中的实体集合；
定义3(关系集，R)R＝{r1,…,ri,…,rn}，表示知识图谱中所有的关系边，对应于知识库中的关系集和；
定义4(三元组，
Figure FDA0003521544910000041
)
Figure FDA0003521544910000042
ei表示头实体，rk表示关系，ej表示尾实体；其中，ei,ej∈E，rk∈R，一个三元组也叫做一个知识；
第一阶段
训练GAT来编码图中实体和关系的信息；
S1：获取待处理的医学知识图谱，将知识图谱中的所有知识转换为三元组存储形式的知识库文件；利用Neo4j图数据库将知识图谱转换为三元组存储形式的RDF知识库文件；
S2：因为计算机无法识别文本形式的三元组，所以在输入神经网络进行关系判断之前，需要将其转换为词向量空间表示的形式；
借鉴翻译评分函数思想，采用TransE来学习初始嵌入，即对于给定的有效三元组
Figure FDA0003521544910000043
有
Figure FDA0003521544910000044
其中ei是实体，ej是ei最邻近的实体，rk是ei和ej之间的关系；
Figure FDA0003521544910000045
是实体ei的嵌入向量，
Figure FDA0003521544910000046
是关系rj的嵌入向量，
Figure FDA0003521544910000047
是实体ej的嵌入向量；
其中，实体嵌入矩阵H如(1)式：
Figure FDA0003521544910000048
其中，R表示实体的特征矩阵，Ne是实体总数，T是每个实体嵌入的特征维度；
关系嵌入矩阵G如(2)式：
Figure FDA0003521544910000049
其中，
Figure FDA00035215449100000410
表示关系的特征矩阵，Nr是关系数量，P为关系矩阵嵌入的特征维度；
S3：对于每个实体，需要学习与其关联的所有三元组的向量表示，以获得实体的新嵌入，通过对特定的三元组
Figure FDA00035215449100000411
的实体和关系特征向量如式(3)执行线性变换来学习这些嵌入；
Figure FDA0003521544910000051
其中，
Figure FDA0003521544910000052
是三元组
Figure FDA0003521544910000053
的一个向量表示；
Figure FDA0003521544910000054
分别为实体ei、ej和关系rk的嵌入表示，W1为线性转化矩阵；
S4：为了将输入特征映射到更高维度的输出特征空间，需要先进行一个线性变换，再应用一个非线性的激活函数得到注意力系数bijk，代表每一个三元组的重要程度；
如公式(4)所示，W2是一个线性转换矩阵；为了避免梯度消失等问题，采用LeakyReLU作为激活函数，经过多次对比实验以及参考得出，LeakyReLU的超参数取值为0.2；
bijk＝LeakyReLU(W2cijk) (4)
S5：对于一个节点所有入边得到的原始注意力分数应用softmax操作，如式(5)进行注意力系数的归一化，得到相对注意力值αijk；
Figure FDA0003521544910000055
其中，Ni表示所有与ei相邻的实体集合，Rin表示连接实体ei、en关系的集合，binr表示与ei相邻的实体的注意力系数；
S6：得到归一化后的注意力系数后，依据公式(8)计算更新后的嵌入向量；
模型采用多头注意力机制，使模型在不同的表示子空间里学***均值的方法得到最终的嵌入向量；
Figure FDA0003521544910000056
其中，M为注意力头的数量，σ表示一个非线性函数；j代表与实体ei相邻的实体，k代表实体ei与实体ej之间的关系；
此外，采用dropout操作，以0.3的概率丢弃一些神经元的激活；
S7：如公式(9)所示，使用权重矩阵WR对关系矩阵G做线性变换得到新嵌入矩阵；
G′＝GWR (7)
其中，WR∈RT×T′，T′是该层输出的关系嵌入向量的维度；
S8：按照公式(8)对初始的实体嵌入向量Hi做线性变换，得到转化后的实体嵌入向量Ht；
Ht＝WEHi (8)
其中，实体权重矩阵WE，
Figure FDA0003521544910000061
Figure FDA0003521544910000062
表示关系的特征矩阵，Ti、Tj分别代表初始和最终的实体嵌入向量的维数，Hi为输入模型的实体嵌入向量；
S9：在学习新的嵌入向量时，可能会丢失它们初始的嵌入信息，所以依据式(9)将初始的实体嵌入向量Ht与最后一个注意力层获得的实体嵌入向量Hf相加得到更新实体嵌入向量H”；
H”＝Ht+Hf (9)
其中，
Figure FDA0003521544910000063
Figure FDA0003521544910000064
为实体的特征矩阵为最后注意力层输出的实体嵌入矩阵，Ne是实体总数，Tf是最终的实体嵌入向量的特征维度；
S10：图注意力网络会把知识图谱中存在的三元组作为有效三元组
Figure FDA0003521544910000065
作为训练的正例；并用实体随机地替换三元组中的头实体或尾实体，构成无效三元组t′ij，作为训练的负例；在此训练阶段中，有效三元组和无效三元组数量比为2:1；
在模型训练中，实体关系嵌入学习采用了最小L1非相似度范数
Figure FDA0003521544910000066
Figure FDA0003521544910000067
并使用公式(10)所示的hinge loss损失函数；
Figure FDA0003521544910000068
其中，γ>0，是一个边际超参数，取值为5；S是正确的三元组集合，S′是无效三元组集合；S′根据公式(11)计算求得，包括替代头实体得到的三元组
Figure FDA0003521544910000069
和替代尾实体得到的三元组
Figure FDA00035215449100000610
表示实体集合E中除去ei的实体；
Figure FDA00035215449100000611
此外，采用学习率为0.001的Adam优化器不断对模型进行优化；
2)第二阶段
模型采用ConvKB作为解码器，通过卷积层分析三元组
Figure FDA0003521544910000071
不同维度的全局嵌入特性，进而概括模型的转化特性；
S11：模型在解码过程中依据公式(12)计算多个特征映射得分；
Figure FDA0003521544910000072
其中，ωq表示第q个滤波器，Ω为滤波器的数量，*是卷积运算符，W∈RΩk×1是一个用于计算三元组最终得分的线性转化矩阵；
Figure FDA0003521544910000073
如式(3)所示，是三元组
Figure FDA0003521544910000074
的一个向量表示；
采用超参数取值为0.2的LeakyReLU作为激活函数；
S12：为提高模型的泛化能力，模型训练中采用公式(13)所示的软边界损失函数来计算损失：
Figure FDA0003521544910000075
其中，
Figure FDA0003521544910000076
代表正负例的系数，当
Figure FDA0003521544910000077
时，
Figure FDA0003521544910000078
当
Figure FDA0003521544910000079
时，
Figure FDA00035215449100000710
是L2范数的超参数，取值为0.00001。
CN202210181938.2A 2022-02-25 2022-02-25 基于图注意力机制的医学知识图谱关系预测方法 Pending CN114610897A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210181938.2A CN114610897A (zh) 2022-02-25 2022-02-25 基于图注意力机制的医学知识图谱关系预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210181938.2A CN114610897A (zh) 2022-02-25 2022-02-25 基于图注意力机制的医学知识图谱关系预测方法

Publications (1)

Publication Number Publication Date
CN114610897A true CN114610897A (zh) 2022-06-10

Family

ID=81858174

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210181938.2A Pending CN114610897A (zh) 2022-02-25 2022-02-25 基于图注意力机制的医学知识图谱关系预测方法

Country Status (1)

Country Link
CN (1) CN114610897A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115861715A (zh) * 2023-02-15 2023-03-28 创意信息技术股份有限公司 基于知识表示增强的图像目标关系识别算法
CN117010494A (zh) * 2023-09-27 2023-11-07 之江实验室 一种基于因果表示学习的医学数据生成方法及***
CN117435747A (zh) * 2023-12-18 2024-01-23 中南大学 基于多层级细化网络的少样本链接预测药物再利用方法
CN117610662A (zh) * 2024-01-19 2024-02-27 江苏天人工业互联网研究院有限公司 一种通过gat提取代表性子图信息的知识图谱嵌入方法
CN117747124A (zh) * 2024-02-20 2024-03-22 浙江大学 基于网络激发图分解的医学大模型逻辑反演方法及***
WO2024138803A1 (zh) * 2022-12-29 2024-07-04 之江实验室 一种融合多源知识图谱的药物重定位方法和***

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
DEEPAK NATHANI 等: "Learning Attention-based Embeddings for Relation Prediction in Knowledge Graphs", 《ARXIV》, 30 June 2019 (2019-06-30), pages 1 - 10 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024138803A1 (zh) * 2022-12-29 2024-07-04 之江实验室 一种融合多源知识图谱的药物重定位方法和***
CN115861715A (zh) * 2023-02-15 2023-03-28 创意信息技术股份有限公司 基于知识表示增强的图像目标关系识别算法
CN117010494A (zh) * 2023-09-27 2023-11-07 之江实验室 一种基于因果表示学习的医学数据生成方法及***
CN117010494B (zh) * 2023-09-27 2024-01-05 之江实验室 一种基于因果表示学习的医学数据生成方法及***
CN117435747A (zh) * 2023-12-18 2024-01-23 中南大学 基于多层级细化网络的少样本链接预测药物再利用方法
CN117435747B (zh) * 2023-12-18 2024-03-29 中南大学 基于多层级细化网络的少样本链接预测药物再利用方法
CN117610662A (zh) * 2024-01-19 2024-02-27 江苏天人工业互联网研究院有限公司 一种通过gat提取代表性子图信息的知识图谱嵌入方法
CN117747124A (zh) * 2024-02-20 2024-03-22 浙江大学 基于网络激发图分解的医学大模型逻辑反演方法及***

Similar Documents

Publication Publication Date Title
CN114610897A (zh) 基于图注意力机制的医学知识图谱关系预测方法
CN109389151B (zh) 一种基于半监督嵌入表示模型的知识图谱处理方法和装置
CN110046252B (zh) 一种基于注意力机制神经网络与知识图谱的医疗文本分级方法
CN113157957A (zh) 一种基于图卷积神经网络的属性图文献聚类方法
CN113240683B (zh) 基于注意力机制的轻量化语义分割模型构建方法
CN113065649A (zh) 一种复杂网络拓扑图表示学习方法、预测方法及服务器
CN114969367B (zh) 基于多方面子任务交互的跨语言实体对齐方法
CN111353534B (zh) 一种基于自适应分数阶梯度的图数据类别预测方法
CN113361627A (zh) 一种面向图神经网络的标签感知协同训练方法
CN111949764A (zh) 一种基于双向注意力机制的知识图谱补全方法
CN112884045A (zh) 基于多视角的随机删边嵌入模型的分类方法
Rassil et al. Augmented graph neural network with hierarchical global-based residual connections
CN113806559B (zh) 一种基于关系路径与双层注意力的知识图谱嵌入方法
CN116383401A (zh) 一种融合文本描述与图卷积机制的知识图谱补全方法
CN111967528B (zh) 基于稀疏编码的深度学习网络结构搜索的图像识别方法
Du et al. CGaP: Continuous growth and pruning for efficient deep learning
CN113326884A (zh) 大规模异构图节点表示的高效学习方法及装置
CN115422321B (zh) 一种知识图谱复杂逻辑推理方法、组件和知识图谱的查询检索方法
Zhou et al. Online recommendation based on incremental-input self-organizing map
CN116226547A (zh) 基于流式数据的增量图推荐方法
Liu et al. Entity representation learning with multimodal neighbors for link prediction in knowledge graph
CN112905599B (zh) 基于端到端的分布式深度哈希检索方法
CN115525836A (zh) 一种基于自监督的图神经网络推荐方法和***
CN111951183B (zh) 基于近端交替惩罚算法的低秩全变分高光谱图像修复方法
CN114529325A (zh) 一种基于Darts的点击率预估模型自动化生成方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination