CN113190688A - 基于逻辑推理和图卷积的复杂网络链接预测方法及*** - Google Patents
基于逻辑推理和图卷积的复杂网络链接预测方法及*** Download PDFInfo
- Publication number
- CN113190688A CN113190688A CN202110500661.0A CN202110500661A CN113190688A CN 113190688 A CN113190688 A CN 113190688A CN 202110500661 A CN202110500661 A CN 202110500661A CN 113190688 A CN113190688 A CN 113190688A
- Authority
- CN
- China
- Prior art keywords
- attention
- relationship
- matrix
- confidence
- graph convolution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 39
- 239000011159 matrix material Substances 0.000 claims abstract description 125
- 238000013528 artificial neural network Methods 0.000 claims abstract description 56
- 238000012549 training Methods 0.000 claims abstract description 55
- 238000009826 distribution Methods 0.000 claims abstract description 53
- 230000007246 mechanism Effects 0.000 claims abstract description 32
- 238000011156 evaluation Methods 0.000 claims abstract description 28
- 238000013507 mapping Methods 0.000 claims abstract description 23
- 230000008569 process Effects 0.000 claims description 9
- 230000004913 activation Effects 0.000 claims description 4
- 238000004088 simulation Methods 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims description 2
- 230000006870 function Effects 0.000 description 25
- 238000001514 detection method Methods 0.000 description 4
- 238000009411 base construction Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 230000007123 defense Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000004060 metabolic process Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003012 network analysis Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 238000005303 weighing Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
- G06F16/367—Ontology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/04—Inference or reasoning models
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Mathematical Physics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Health & Medical Sciences (AREA)
- Animal Behavior & Ethology (AREA)
- Databases & Information Systems (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种基于逻辑推理和图卷积的复杂网络链接预测方法及***。该方法包括:构建复杂网络对应的知识图谱,并获取训练集;通过带缺省的一阶逻辑推理网络对训练集中的各实体对进行关系推理,并通过映射获得关系置信度矩阵;基于关系置信度矩阵,通过集中训练分散执行机制和局部关系注意力机制对基于迭代注意力的图卷积神经网络进行迭代训练,获取第一概率分布;根据网络迭代输出的关系权重矩阵和关系置信度矩阵计算第二概率分布;根据联合评价函数获取第一概率分布和第二概率分布之间的Wasserstein距离;根据Wasserstein距离迭代更新两个网络得到链接预测模型;根据链接预测模型补全知识图谱。本发明链接预测效率高。
Description
技术领域
本发明属于复杂网络分析技术领域,尤其涉及到一种基于逻辑推理和图卷积的复杂网络链接预测方法及***。
背景技术
复杂网络是社交网络、引文网络、生物代谢网络、合作关系网络等真实网络的一种抽象,知识图谱中的问题大部分可以用网络形式表达,要构建完整的复杂网络可以与知识图谱相结合,通过链接预测去完成。链接预测任务是预测复杂网络中丢失的边,或者预测未来可能出现的边,而知识图谱存储着实体和实体间的复杂关系,包含大量由实体和实体间的关系构成的事实三元组,但在大规模的知识图谱中由于数据的稀疏性,知识是不完备的,存在很多隐含的知识还未被挖掘出来,需要进行链接预测任务。现有的复杂网络链接预测方法常采用R-GCN(Relational Graph Convolutional Network,关系图卷积网络),但R-GCN的链接预测性能低。
发明内容
基于此,有必要针对上述技术问题,提供一种基于逻辑推理和图卷积的复杂网络链接预测方法及***。
基于上述目的,第一方面,本发明提供一种基于逻辑推理和图卷积的复杂网络链接预测方法,包括:
构建复杂网络对应的初始知识图谱,基于所述初始知识图谱获取训练集;
通过带缺省的一阶逻辑推理网络对所述训练集中的各实体对进行关系推理,获取各所述实体对的关系置信度,并通过映射得到关系置信度矩阵;
将所述关系置信度矩阵输入基于迭代注意力的图卷积神经网络,并通过集中训练分散执行机制和局部关系注意力机制对所述基于迭代注意力的图卷积神经网络进行迭代训练,获取第一概率分布;
获取所述基于迭代注意力的图卷积神经网络一次迭代之后输出的关系权重矩阵,根据所述关系权重矩阵和所述关系置信度矩阵计算第二概率分布;
根据联合评价函数获取所述第一概率分布和所述第二概率分布之间的Wasserstein距离;
根据所述Wasserstein距离迭代更新所述带缺省的一阶逻辑推理网络和所述基于迭代注意力的图卷积神经网络,获取链接预测模型;
根据所述链接预测模型补全所述初始知识图谱。
优选地,所述根据带缺省的一阶逻辑推理网络对所述训练集中的各实体对进行关系推理,获取各所述实体对的关系置信度,并通过映射得到关系置信度矩阵,包括:
构建带缺省规则的知识库;
基于所述带缺省规则的知识库,通过所述带缺省的一阶逻辑推理网络中包含的多类规则对所述训练集中的各所述实体对进行关系推理;
对通过多类规则推理成功的所述实体对进行置信度评估,获取所述实体对的关系置信度;
确定所述关系置信度小于预设的置信度阈值的所述实体对,并将所述实体对对应的缺省规则映射至连续空间中,获得关系置信度矩阵。
优选地,所述将所述关系置信度矩阵输入基于迭代注意力的图卷积神经网络,并通过集中训练分散执行机制和局部关系注意力机制对所述基于迭代注意力的图卷积神经网络进行迭代训练,获取第一概率分布,包括:
通过独热编码获取实体对应节点的子特征和邻居特征,累加得到特征矩阵;
根据节点间关系获取所述节点的邻接矩阵,拼接得到全局邻接矩阵;
将所有所述节点的所述特征矩阵、所述邻接矩阵以及所述全局邻接矩阵输入所述基于迭代注意力的图卷积神经网络进行迭代训练,获取各所述节点的关系权重矩阵;
将所述关系置信度矩阵输入至所述基于迭代注意力的图卷积神经网络,通过局部关系注意力机制输出第一概率分布。
优选地,所述将所述关系置信度矩阵输入基于迭代注意力的图卷积神经网络,并通过集中训练分散执行机制和局部关系注意力机制对所述基于迭代注意力的图卷积神经网络进行迭代训练,获取第一概率分布,还包括:
获取所述基于迭代注意力的图卷积神经网络一次迭代之后输出的所有所述节点的所述邻接矩阵,将重新拼接得到的新的全局邻接矩阵输入预设损失函数计算损失值,以根据所述损失值优化所述基于迭代注意力的图卷积神经网络;所述预设损失函数为:
优选地,所述将所述关系置信度矩阵输入至所述基于迭代注意力的图卷积神经网络,通过局部关系注意力机制输出第一概率分布,包括:
获取初始关系注意力;
根据所述初始关系注意力和所述关系置信度矩阵获得第一层的关系注意力;
通过两阶的邻居节点对关系注意力进行更新,获得第二层或第二层以上的关系注意力;
根据所述初始关系注意力、各层的关系注意力获得第一概率分布;所述第一概率分布为:
其中,αij为所述初始关系注意力,是对节点zi和zj拼接之后与相应关系的注意力hij做点积,并通过LeakyReLU激活函数操作得到;为第l层的关系注意力,第一层的关系注意力是对初始关系注意力αij和关系置信度矩阵We做累加,并通过SoftMax函数操作得到,第二层或第二层以上的关系注意力是在第一层的关系注意力的基础上通过两阶邻居节点对关系注意力进行更新得到。
优选地,所述第二概率分布为:
优选地,所述联合评价函数为:
其中,联合分布γ(x,y)与边缘分布p、q,满足的约束条件为:
yn为最小值时,满足的约束条件为:
其中,x由γ(x,y)组成,且x∈Rn;b由p和q组成,且b∈Rm;θ为权重;A∈Rm×n。
优选地,所述根据所述Wasserstein距离迭代更新所述带缺省的一阶逻辑推理网络和所述基于迭代注意力的图卷积神经网络,得到链接预测模型,包括:
检测所述Wasserstein距离是否小于预设距离阈值;
在所述Wasserstein距离小于预设距离阈值时,将所述实体对对应的缺省规则从所述带缺省的一阶逻辑推理网络中删除,并通过映射更新涉及所述缺省规则的所述实体对的关系置信度矩阵;
在Wasserstein距离大于等于预设距离阈值时,将所述实体对对应的所述缺省规则保留至所述带缺省的一阶逻辑推理网络中,并根据两个网络的输出更新所述关系置信度矩阵;
检测两个网络的更新迭代过程是否结束;
若结束,根据完成更新的两个网络得到链接预测模型。
优选地,更新后的所述关系置信度矩阵为:
第二方面,本发明提供一种基于逻辑推理和图卷积的复杂网络链接预测***,包括:
图谱构建模块,用于构建复杂网络对应的初始知识图谱,基于所述初始知识图谱获取训练集;
置信度评估模块,用于通过带缺省的一阶逻辑推理网络对所述训练集中的各实体对进行关系推理,获取各所述实体对的关系置信度,并通过映射得到关系置信度矩阵;
第一参数获取模块,用于将所述关系置信度矩阵输入所述基于迭代注意力的图卷积神经网络,并通过集中训练分散执行机制和局部关系注意力机制对基于迭代注意力的图卷积神经网络进行迭代训练,获取第一概率分布;
第二参数获取模块,用于获取所述基于迭代注意力的图卷积神经网络一次迭代之后输出的关系权重矩阵,根据所述关系权重矩阵和所述关系置信度矩阵计算第二概率分布;
距离评估模块,用于根据联合评价函数获取所述第一概率分布和所述第二概率分布之间的Wasserstein距离;
迭代更新模块,用于根据所述Wasserstein距离迭代更新所述带缺省的一阶逻辑推理网络和所述基于迭代注意力的图卷积神经网络,获取链接预测模型;
图谱补全模块,用于根据所述链接预测模型补全所述初始知识图谱。
本发明的基于逻辑推理和图卷积的复杂网络链接预测方法及***,首先利用带缺省的一阶逻辑推理网络计算实体间关系的置信度,通过映射到连续空间得到含有更多信息的置信度矩阵,然后采用集中训练分散执行机制对基于迭代注意力的图卷积神经网络进行训练得到权重矩阵,并通过自身节点和局部邻居节点信息提取更加丰富的实体特征,学习多路径的实体间的相关性,最后利用Wasserstein距离迭代更新带缺省的一阶逻辑推理网络和基于迭代注意力的图卷积神经网络之间的参数,得到链接预测模型,进而利用链接预测模型预测实体间的隐含关系对知识图谱进行补全。本发明通过带缺省的一阶逻辑推理网络实现高效、准确的关系推理,进一步地通过基于迭代注意力的图卷积神经网络从少量标记的实例以及缺省逻辑结果中提取知识进行学习,将规则和网络的结构化信息转换为动态参数,继而完成复杂网络的链接预测任务,链接效率高。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明一实施例中基于逻辑推理和图卷积的复杂网络链接预测方法的一流程图;
图2为本发明一实施例中基于逻辑推理和图卷积的复杂网络链接预测方法的步骤S20的一流程图;
图3为本发明一实施例中基于逻辑推理和图卷积的复杂网络链接预测方法的步骤S30的一流程图;
图4为本发明一实施例中基于逻辑推理和图卷积的复杂网络链接预测方法的步骤S60的一流程图;
图5为本发明一实施例中基于逻辑推理和图卷积的复杂网络链接预测***的一原理框图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
在一实施例中,如图1所示,提供一种基于逻辑推理和图卷积的复杂网络链接预测方法,包括如下步骤:
步骤S10,构建复杂网络对应的初始知识图谱,基于初始知识图谱获取训练集。
在步骤S10中,对复杂网络提取数据构建三元组(w,e,r),根据三元组(w,e,r)构建初始知识图谱G=(W,E,R),其中,W和R均为实体集合、E为关系集合,进一步地对初始知识图谱进行预处理,获取包含N个实体对的训练集A={(wi,ri)},i=1,2,…,N,其中,(wi,ri)为训练集中任一实体对。
步骤S20,通过带缺省的一阶逻辑推理网络对训练集中的各实体对进行关系推理,获取各实体对的关系置信度,并通过映射得到关系置信度矩阵。
在本实施例中,DFLIN(First-order Logic Inference Network with Default,带缺省的一阶逻辑推理网络)将一阶逻辑推理与缺省推理结合,能够进行实体与实体之间的关系推理,以及非单调、少数例外的关系推理。
DFLIN的关系推理过程为:对于训练集中的每个实体对,首先基于知识库中的断言集合进行一阶逻辑推理,若一阶逻辑推理成功,则输出实体对的关系置信度。而若一阶逻辑推理失败,则确定实体对的关系无法使用一阶逻辑推理,且实体对为例外(即特殊情况),进一步基于知识库中的缺省规则集合进行缺省逻辑推理,若缺省逻辑推理成功,则输出实体对的关系置信度,同时可以将推理实例所使用的规则添加至断言集合中,并使其优先级高。其中,根据DFLIN推理出的新的关系的置信度取值范围为α=[0,1],且根据一阶逻辑推理得到的关系置信度的初始值为α1=1,根据缺省逻辑推理得到的关系置信度的初始值为α2=0.5。
需要说明的是,若实体对通过缺省逻辑推理失败,则确定该实体对中的两个实体不存在关系,关系置信度为0。
作为优选,如图2所示,步骤S20包括以下步骤:
步骤S201,构建带缺省规则的知识库。
对初始知识图谱提取规则,构建带缺省规则的知识库κ=(τ,D),其中,τ为断言集合,包含用于结构化描述实体与实体之间关系的一阶逻辑规则,D为缺省规则集合,包含有限条缺省规则,也即,知识库包含断言集合和缺省规则集合。
步骤S202,基于带缺省规则的知识库,通过带缺省的一阶逻辑推理网络中包含的多类规则对训练集中的各实体对进行关系推理。
表1
步骤S203,对通过多类规则推理成功的实体对进行置信度评估,获取实体对的关系置信度。
在本实施例中,对于训练集中的各实体对,若能通过步骤S202中的六类规则推理成功,则对实体对推理出的关系进行置信度评估,可以对实体对关系所采用的推理规则进行赋值,对于所采用的推理规则为一阶逻辑规则,确定该推理规则完全可信,置信度为1,且无需进行后续迭代。而对于所采用的推理规则为缺省规则,则确定该推理规则不完全可信,置信度小于1,且需要通过正则化使得在后续迭代中保留更多信息。
步骤S204,确定关系置信度小于预设的置信度阈值的实体对,并将实体对对应的缺省规则映射至连续空间中,获得关系置信度矩阵。
Γ(Pi)=P(Pi) (1)
其中,P(Pi)为IAGCN(Graph Convolution Neural Network Based on IterativeAttention,基于迭代注意力的图卷积神经网络)得到的第i个节点Pi的节点概率,且节点概率的初始值取决于推理规则初始的置信度,可选地,节点概率的初始值为0.5;σ为Sigmoid激活函数,用于将推理规则L映射至实数域上,并将推理规则L的置信度归一化至[0,1]区间内,可以表示实体和实体间存在关系以及关系的置信度;a0、a1、b0、b1和b2均为超参数。
步骤S30,将关系置信度矩阵输入基于迭代注意力的图卷积神经网络,并通过集中训练分散执行机制和局部关系注意力机制对基于迭代注意力的图卷积神经网络进行迭代训练,获取第一概率分布。
在本实施例中,集中训练分散执行机制和局部关系注意力机制均为IAGCN中的部分。
作为优选,如图3所示,步骤S30包括以下步骤:
步骤S301,通过独热编码获取实体对应节点的子特征和邻居特征,累加得到特征矩阵。其中,邻居特征包括与节点连接的两阶的邻居节点的子特征。
具体的,对于一个实体i,采用独热编码将实体i所对应的节点嵌入向量空间,获得该节点的子特征vi,同样的,与该节点邻接的两阶的邻居节点也采用独热编码,获得两阶的邻居节点的子特征vj1,vj2,…,vjn,将节点的子特征与两阶的邻居节点的子特征累加,得到该节点的特征矩阵Vi。
步骤S302,根据节点间关系获取节点的邻接矩阵,拼接得到全局邻接矩阵。
具体的,根据节点与节点间的关系形成节点的邻接矩阵adj,并将所有节点的邻接矩阵adj按照第一维度相加,可以得到全局邻接矩阵sum(adj)。其中,邻接矩阵adj可以表示为三维张量,第一维度为关系数量,第二维度和第三维度为节点数量。
步骤S303,将所有节点的特征矩阵、邻接矩阵以及全局邻接矩阵输入基于迭代注意力的图卷积神经网络进行迭代训练,获取各节点的关系权重矩阵。
在本实施例中,将所有节点的特征矩阵Vi、所有邻接矩阵adj以及全局邻接矩阵sum(adj)输入IAGCN进行训练,获得各节点的关系权重矩阵Wi e。作为优选,获取IAGCN一次迭代之后输出的所有节点的邻接矩阵,将重新拼接得到的新的全局邻接矩阵sum*(adj)输入预设损失函数fL计算损失值,以根据损失值优化IAGCN;其中,该预设损失函数fL为:
公式(8)中,为初始的不完全边子集;G为三元组的集合;l为逻辑Sigmoid函数;f(w,e,r)为知识图谱中三元组gi=(wi,ei,ri)分配的分数,用于确定边ei属于关系集合E的可能性;y为二值函数,其值为:
公式(9)中,当y=1时,为正三元组样本,当y=0时,为负三元组样本。在IAGCN迭代训练过程中,对于每个观测到的正三元组样本,通过对每个正三元组样本的实体集合W或实体集合R进行随机抽样,获取k个负三元组样本,进一步地基于正负三元组样本,使用预设损失函数fL对IAGCN进行优化,使IAGCN的可观测的正三元组样本的评分高于负三元组样本。
步骤S304,将关系置信度矩阵输入至基于迭代注意力的图卷积神经网络,通过局部关系注意力机制输出第一概率分布。
作为优选,步骤S304包括以下步骤:
步骤一,获取初始关系注意力。其中,初始关系注意力可以表示为:
公式(10),αij为初始关系注意力,是对节点zi和节点zj拼接之后与相应关系的注意力hij做点积,并通过LeakyReLU激活函数操作得到。
可选地,节点zi和节点zj间的注意力hij表示为:
hij=(α1×zi)||(α2×zj1)||(α3×zj2) (11)
公式(11)中,α1、α2和α3分别为根据注意力机制设置的第一权重、第二权重和第三权重,且α1:α2:α3=3:2:1;zi、zj1和zj2分别为自身节点、一阶邻居节和二阶邻居节点;||为拼接。
节点zi表示为:
公式(12)中,hi为节点i的特征向量,也即节点zi由节点i经线性变换得到。
步骤二,根据初始关系注意力和关系置信度矩阵获得第一层的关系注意力。其中,第一层的关系注意力可以表示为:
步骤三,通过两阶的邻居节点对关系注意力进行更新,获得第二层或第二层以上的关系注意力。其中,第二层或第二层以上的关系注意力可以表示为:
步骤四,根据初始关系注意力、各层的关系注意力获得第一概率分布。
在本实施例中,该第一概率分布pθ(y|x)可以表示为:
可理解的,对于每一种不同的关系,在利用DFLIN获得一个关系置信度矩阵We之后,将置信度矩阵We作为可训练参数输入到IAGCN模型中,IAGCN对局部邻居(即一阶邻居和二阶邻居)的信息进行聚合,从而进行关系推理,以获得关系注意力。
步骤S40,获取基于迭代注意力的图卷积神经网络一次迭代之后输出的关系权重矩阵,根据关系权重矩阵和关系置信度矩阵计算第二概率分布。
在本实施例中,第二概率分布q(y|x)表示为:
步骤S50,根据联合评价函数获取第一概率分布和第二概率分布之间的Wasserstein距离。
在本实施例中,联合评价函数为:
公式(17)中,联合分布γ(x,y)与边缘分布p、q,满足的约束条件为:
yn为最小值时,满足的约束条件为:
公式(19)中,x由γ(x,y)组成,且x∈Rn属于n维列向量;b为p和q组成,且b∈Rm属于m维向量;θ是权重;A∈Rm×n是一个m×n的矩阵,Ax=b描述了所有的等式约束。
步骤S60,根据Wasserstein距离迭代更新带缺省的一阶逻辑推理网络和基于迭代注意力的图卷积神经网络,获取链接预测模型。
在本实施例中,链接预测模型(DA-GCN)包含DFLIN和IGACN两个部分,并通过Wasserstein距离迭代更新DFLIN和IGACN来表示实体间的关系。作为优选,如图4所示,步骤S60包括以下步骤:
步骤S601,检测Wasserstein距离是否小于预设距离阈值。
步骤S602,在Wasserstein距离小于预设距离阈值时,将实体对对应的缺省规则从带缺省的一阶逻辑推理网络中删除,并通过映射更新涉及缺省规则的实体对的关系置信度矩阵。
步骤S603,将实体对对应的缺省规则保留至带缺省的一阶逻辑推理网络中,并根据两个网络的输出更新关系置信度矩阵。
步骤S604,检测两个网络的更新迭代过程是否结束。
步骤S605,若结束,根据完成更新的两个网络得到链接预测模型。否则,两个网络进入下一轮的更新迭代过程。
具体的,在通过联合评价函数计算得到第t次迭代过程的Wasserstein距离yn之后,检测yn是否小于距离阈值σ。若yn<σ,则确定实体对对应的缺省规则为无效规则,从DFLIN中删除该条缺省规则以及该条缺省规则对应的关系边,通过映射Γ更新DFLIN中涉及该条缺省规则的实体对的关系置信度矩阵,再将关系置信度矩阵输入IAGCN。而若yn≥σ,则确定实体对对应的缺省规则为有效规则,无需删除该条缺省规则,通过平衡DFLIN和IAGCN的输出来迭代更新IAGCN的输入参数We。其中,更新后的关系置信度矩阵表示为:
进一步的,在本实施例的一方面,检测迭代次数是否大于最大迭代次数,若迭代次数大于最大迭代次数,则确定两个网络的更新迭代过程结束。否则,两个网络进入下一轮的更新迭代过程。而在本实施例的另一方面,首先根据实体对和实体对的关系构建待评分的三元组,通过评分函数对三元组进行打分获得评分结果,并根据评分结果获得预测率;然后检测预测率是否大于预设预测率阈值,若预测率大于预设预测率阈值,则确定两个网络的更新迭代过程结束。否则,两个网络进入下一轮的更新迭代过程。其中,评分函数可以表示为:
公式(21)中,Re(we)为三元组(w,e,r)的关系特征向量的对称实部,Re(f)为对应的实体特征向量的实部,Im(we)为三元组(w,e,r)的关系特征向量的反对称虚部,Im(f)为对应的实体特征向量的虚部。
可理解的,链接预测模型可以结合DFLIN的高效、准确推理能力和IAGCN的丰富表达、较强推理能力这两种优点,基于Wasserstein距离使DFLIN和IAGCN不断相互迭代产生高质量推理结果。
步骤S70,基于链接预测模型补全初始知识图谱。
也即,基于链接预测模型获取实体间存在的隐含关系,进而利用实体间存在的隐含关系在初始知识图谱中添加对应的边。
上述实施例的基于逻辑推理和图卷积的复杂网络链接预测方法,首先利用带缺省的一阶逻辑推理网络计算实体间关系的置信度,通过映射到连续空间得到含有更多信息的置信度矩阵,然后采用集中训练分散执行机制对基于迭代注意力的图卷积神经网络进行训练得到权重矩阵,并通过自身节点和局部邻居节点信息提取更加丰富的实体特征,学习多路径的实体间的相关性,最后利用Wasserstein距离迭代更新带缺省的一阶逻辑推理网络和基于迭代注意力的图卷积神经网络之间的参数,得到链接预测模型,进而利用链接预测模型预测实体间的隐含关系对知识图谱进行补全。该实施例通过带缺省的一阶逻辑推理网络实现高效、准确的关系推理,进一步地通过基于迭代注意力的图卷积神经网络从少量标记的实例以及缺省逻辑结果中提取知识进行学习,将规则和网络的结构化信息转换为动态参数,继而完成复杂网络的链接预测任务,链接效率高。此外,该实施例的基于逻辑推理和图卷积的复杂网络链接预测方法,针对特定领域来更新带缺省规则的知识库,利用更新后的知识库进行学习,能够更好地满足更多领域、各类用户的需求。
下面采用预设的军事领域数据集来评估链接预测的性能,该军事领域数据集描述的是军事领域关于空地协同攻防对抗的知识,实体是各类型的军事武器装置,包括不同型号的战斗机、雷达等,关系包括实体间对抗、协同、指挥、组成以及部署等,并且设置了多条攻击及指挥规则并根据攻击及指挥规则对数据集的实体、关系和标签进行补充。
表2军事领域数据集
数据集 | Taishi |
实体 | 12144 |
关系 | 19 |
训练边 | 119526 |
验证边 | 5000 |
测试边 | 5000 |
如表2所示的军事领域数据集,采用R-GCN、DistMult这两种模型的链接预测方法和本实施例的基于逻辑推理和图卷积的复杂网络链接预测方法,也即采用DA-GCN的链接预测方法进行性能评估测试,得到的链接预测结果如表3所示。
表3链接预测结果
由表3可以看出,DA-GCN的链接预测结果均明显高于其他R-GCN、DistMult模型。
此外,本发明实施例还提供一种基于逻辑推理和图卷积的复杂网络链接预测***,该基于逻辑推理和图卷积的复杂网络链接预测***与上述实施例中的基于逻辑推理和图卷积的复杂网络链接预测方法一一对应。如图5所示,该基于逻辑推理和图卷积的复杂网络链接预测***包括图谱构建模块110、置信度评估模块120、第一参数获取模块130、第二参数获取模块140、距离评估模块150、迭代更新模块160和图谱补全模块170,各功能模块的详细说明如下:
图谱构建模块110,用于构建复杂网络对应的初始知识图谱,基于初始知识图谱获取训练集。
置信度评估模块120,用于通过带缺省的一阶逻辑推理网络对训练集中的各实体对进行关系推理,获取各实体对的关系置信度,并通过映射得到关系置信度矩阵。
第一参数获取模块130,用于将关系置信度矩阵输入基于迭代注意力的图卷积神经网络,并通过集中训练分散执行机制和局部关系注意力机制对基于迭代注意力的图卷积神经网络进行迭代训练,获取第一概率分布。
第二参数获取模块140,用于获取基于迭代注意力的图卷积神经网络一次迭代之后输出的关系权重矩阵,根据关系权重矩阵和关系置信度矩阵计算第二概率分布。
距离评估模块150,用于根据联合评价函数获取第一概率分布和第二概率分布之间的Wasserstein距离。
迭代更新模块160,用于根据Wasserstein距离迭代更新带缺省的一阶逻辑推理网络和基于迭代注意力的图卷积神经网络,获取链接预测模型。
图谱补全模块170,用于根据链接预测模型补全初始知识图谱。
进一步地,所述置信度评估模块120包括知识库构建单元、关系推理单元、置信度评估单元和映射单元,各功能单元的详细说明如下:
知识库构建单元,用于构建带缺省规则的知识库。
关系推理单元,用于基于带缺省规则的知识库,通过带缺省的一阶逻辑推理网络中包含的多类规则对训练集中的各实体对进行关系推理。
置信度评估单元,用于对通过多类规则推理成功的实体对进行置信度评估,获取实体对的关系置信度。
映射单元,用于确定关系置信度小于预设的置信度阈值的实体对,并将实体对对应的缺省规则映射至连续空间中,获得关系置信度矩阵。
进一步地,所述第一参数获取模块130包括第一矩阵获取单元、第二矩阵获取单元、关系权重评估单元和注意力评估单元,各功能单元的详细说明如下:
第一矩阵获取单元,用于通过独热编码获取实体对应节点的子特征和邻居特征,累加得到特征矩阵。
第二矩阵获取单元,用于根据节点间关系获取节点的邻接矩阵,拼接得到全局邻接矩阵。
关系权重评估单元,用于将所有节点的特征矩阵、邻接矩阵以及全局邻接矩阵输入基于迭代注意力的图卷积神经网络进行迭代训练,获取各节点的关系权重矩阵。
注意力评估单元,用于将关系置信度矩阵输入至基于迭代注意力的图卷积神经网络,通过局部关系注意力机制输出第一概率分布。
进一步地,所述第一参数获取模块130还包括模型优化单元,该模型优化单元的详细说明如下:
模型优化单元,用于获取基于迭代注意力的图卷积神经网络一次迭代之后输出的所有节点的邻接矩阵,将重新拼接得到的新的全局邻接矩阵输入预设损失函数计算损失值,以根据损失值优化基于迭代注意力的图卷积神经网络。
进一步地,所述迭代更新模块160包括第一检测单元、第一更新单元、第二更新单元、第二检测单元和模型输出单元,各功能单元的详细说明如下:
第一检测单元,用于检测Wasserstein距离是否小于预设距离阈值。
第一更新单元,用于在Wasserstein距离小于预设距离阈值时,将关系所对应的缺省规则在带缺省的一阶逻辑推理网络中进行删除。
第二更新单元,在Wasserstein距离大于等于预设距离阈值时,将关系所对应的缺省规则在带缺省的一阶逻辑推理网络中进行保留,并更新关系置信度矩阵。
第二检测单元,用于检测两个网络的更新迭代过程是否结束。
模型输出单元,用于若结束,根据完成更新的两个网络得到链接预测模型。
本实施例的基于逻辑推理和图卷积的复杂网络链接预测***用于执行如图1所示的基于逻辑推理和图卷积的复杂网络链接预测方法实施例的技术方案,其实现原理和技术效果类似,在处不再赘述。
所属领域的普通技术人员应当理解:以上任何实施例的讨论仅为示例性的,并非旨在暗示本公开的范围(包括权利要求)被限于这些例子;在本发明的思路下,以上实施例或者不同实施例中的技术特征之间也可以进行组合,并存在如上所述的本发明的不同方面的许多其它变化,为了简明它们没有在细节中提供。因此,凡在本发明的精神和原则之内,所做的任何省略、修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于逻辑推理和图卷积的复杂网络链接预测方法,其特征在于,包括:
构建复杂网络对应的初始知识图谱,基于所述初始知识图谱获取训练集;
通过带缺省的一阶逻辑推理网络对所述训练集中的各实体对进行关系推理,获取各所述实体对的关系置信度,并通过映射得到关系置信度矩阵;
将所述关系置信度矩阵输入基于迭代注意力的图卷积神经网络,并通过集中训练分散执行机制和局部关系注意力机制对所述基于迭代注意力的图卷积神经网络进行迭代训练,获取第一概率分布;
获取所述基于迭代注意力的图卷积神经网络一次迭代之后输出的关系权重矩阵,根据所述关系权重矩阵和所述关系置信度矩阵计算第二概率分布;
根据联合评价函数获取所述第一概率分布和所述第二概率分布之间的Wasserstein距离;
根据所述Wasserstein距离迭代更新所述带缺省的一阶逻辑推理网络和所述基于迭代注意力的图卷积神经网络,获取链接预测模型;
根据所述链接预测模型补全所述初始知识图谱。
2.如权利要求1所述的基于逻辑推理和图卷积的复杂网络链接预测方法,其特征在于,所述根据带缺省的一阶逻辑推理网络对所述训练集中的各实体对进行关系推理,获取各所述实体对的关系置信度,并通过映射得到关系置信度矩阵,包括:
构建带缺省规则的知识库;
基于所述带缺省规则的知识库,通过所述带缺省的一阶逻辑推理网络中包含的多类规则对所述训练集中的各所述实体对进行关系推理;
对通过多类规则推理成功的所述实体对进行置信度评估,获取所述实体对的关系置信度;
确定所述关系置信度小于预设的置信度阈值的所述实体对,并将所述实体对对应的缺省规则映射至连续空间中,获得关系置信度矩阵。
3.如权利要求1所述的基于逻辑推理和图卷积的复杂网络链接预测方法,其特征在于,所述将所述关系置信度矩阵输入基于迭代注意力的图卷积神经网络,并通过集中训练分散执行机制和局部关系注意力机制对所述基于迭代注意力的图卷积神经网络进行迭代训练,获取第一概率分布,包括:
通过独热编码获取实体对应节点的子特征和邻居特征,累加得到特征矩阵;
根据节点间关系获取所述节点的邻接矩阵,拼接得到全局邻接矩阵;
将所有所述节点的所述特征矩阵、所述邻接矩阵以及所述全局邻接矩阵输入所述基于迭代注意力的图卷积神经网络进行迭代训练,获取各所述节点的关系权重矩阵;
将所述关系置信度矩阵输入至所述基于迭代注意力的图卷积神经网络,通过局部关系注意力机制输出第一概率分布。
4.如权利要求3所述的基于逻辑推理和图卷积的复杂网络链接预测方法,其特征在于,所述将所述关系置信度矩阵输入基于迭代注意力的图卷积神经网络,并通过集中训练分散执行机制和局部关系注意力机制对所述基于迭代注意力的图卷积神经网络进行迭代训练,获取第一概率分布,还包括:
获取所述基于迭代注意力的图卷积神经网络一次迭代之后输出的所有所述节点的所述邻接矩阵,将拼接得到的新的全局邻接矩阵输入预设损失函数计算损失值,以根据所述损失值优化所述基于迭代注意力的图卷积神经网络;所述预设损失函数为:
5.如权利要求3所述的基于逻辑推理和图卷积的复杂网络链接预测方法,其特征在于,所述将所述关系置信度矩阵输入至所述基于迭代注意力的图卷积神经网络,通过局部关系注意力机制输出第一概率分布,包括:
获取初始关系注意力;
根据所述初始关系注意力和所述关系置信度矩阵获得第一层的关系注意力;
通过两阶的邻居节点对关系注意力进行更新,获得第二层或第二层以上的关系注意力;
根据所述初始关系注意力、各层的关系注意力获得第一概率分布;所述第一概率分布为:
8.如权利要求1所述的基于逻辑推理和图卷积的复杂网络链接预测方法,其特征在于,所述根据所述Wasserstein距离迭代更新所述带缺省的一阶逻辑推理网络和所述基于迭代注意力的图卷积神经网络,得到链接预测模型,包括:
检测所述Wasserstein距离是否小于预设距离阈值;
在所述Wasserstein距离小于预设距离阈值时,将所述实体对对应的缺省规则从所述带缺省的一阶逻辑推理网络中删除,并通过映射更新涉及所述缺省规则的所述实体对的关系置信度矩阵;
在Wasserstein距离大于等于预设距离阈值时,将所述实体对对应的所述缺省规则保留至所述带缺省的一阶逻辑推理网络中,并根据两个网络的输出更新所述关系置信度矩阵;
检测两个网络的更新迭代过程是否结束;
若结束,根据完成更新的两个网络得到链接预测模型。
10.一种基于逻辑推理和图卷积的复杂网络链接预测***,其特征在于,包括:
图谱构建模块,用于构建复杂网络对应的初始知识图谱,基于所述初始知识图谱获取训练集;
置信度评估模块,用于通过带缺省的一阶逻辑推理网络对所述训练集中的各实体对进行关系推理,获取各所述实体对的关系置信度,并通过映射得到关系置信度矩阵;
第一参数获取模块,用于将所述关系置信度矩阵输入基于迭代注意力的图卷积神经网络,并通过集中训练分散执行机制和局部关系注意力机制对所述基于迭代注意力的图卷积神经网络进行迭代训练,获取第一概率分布;
第二参数获取模块,用于获取所述基于迭代注意力的图卷积神经网络一次迭代之后输出的关系权重矩阵,根据所述关系权重矩阵和所述关系置信度矩阵计算第二概率分布;
距离评估模块,用于根据联合评价函数获取所述第一概率分布和所述第二概率分布之间的Wasserstein距离;
迭代更新模块,用于根据所述Wasserstein距离迭代更新所述带缺省的一阶逻辑推理网络和所述基于迭代注意力的图卷积神经网络,获取链接预测模型;
图谱补全模块,用于根据所述链接预测模型补全所述初始知识图谱。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110500661.0A CN113190688B (zh) | 2021-05-08 | 2021-05-08 | 基于逻辑推理和图卷积的复杂网络链接预测方法及*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110500661.0A CN113190688B (zh) | 2021-05-08 | 2021-05-08 | 基于逻辑推理和图卷积的复杂网络链接预测方法及*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113190688A true CN113190688A (zh) | 2021-07-30 |
CN113190688B CN113190688B (zh) | 2022-07-19 |
Family
ID=76984309
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110500661.0A Active CN113190688B (zh) | 2021-05-08 | 2021-05-08 | 基于逻辑推理和图卷积的复杂网络链接预测方法及*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113190688B (zh) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113901151A (zh) * | 2021-09-30 | 2022-01-07 | 北京有竹居网络技术有限公司 | 用于关系抽取的方法、装置、设备和介质 |
CN114003684A (zh) * | 2021-12-31 | 2022-02-01 | 中科曙光南京研究院有限公司 | 一种基于开放世界假设的医疗信息关系预测方法及*** |
CN114225427A (zh) * | 2021-11-17 | 2022-03-25 | 中国人民解放军军事科学院国防科技创新研究院 | 一种用于多实体对抗的对手关系识别方法及装置 |
CN114513337A (zh) * | 2022-01-20 | 2022-05-17 | 电子科技大学 | 一种基于邮件数据的隐私保护链接预测方法及*** |
CN116523608A (zh) * | 2023-07-03 | 2023-08-01 | 苏州大学 | 基于概率逻辑推理的物品序列推荐方法 |
CN116738201A (zh) * | 2023-02-17 | 2023-09-12 | 云南大学 | 基于图对比学习的非法账户识别方法 |
CN116962196A (zh) * | 2023-06-08 | 2023-10-27 | 中国人民解放军国防科技大学 | 一种基于关系推理的机动通信网网络智能规划方法及*** |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109829057A (zh) * | 2019-01-11 | 2019-05-31 | 中山大学 | 一种基于图二阶相似性的知识图谱实体语义空间嵌入方法 |
CN110147450A (zh) * | 2019-05-06 | 2019-08-20 | 北京科技大学 | 一种知识图谱的知识补全方法及装置 |
CN112347268A (zh) * | 2020-11-06 | 2021-02-09 | 华中科技大学 | 一种文本增强的知识图谱联合表示学习方法及装置 |
US20210090434A1 (en) * | 2019-09-20 | 2021-03-25 | Here Global B.V. | Method and apparatus for identifying a lane level traffic surprise |
CN112633478A (zh) * | 2020-12-31 | 2021-04-09 | 天津大学 | 一种基于本体语义的图卷积网络学习模型的构建 |
-
2021
- 2021-05-08 CN CN202110500661.0A patent/CN113190688B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109829057A (zh) * | 2019-01-11 | 2019-05-31 | 中山大学 | 一种基于图二阶相似性的知识图谱实体语义空间嵌入方法 |
CN110147450A (zh) * | 2019-05-06 | 2019-08-20 | 北京科技大学 | 一种知识图谱的知识补全方法及装置 |
US20210090434A1 (en) * | 2019-09-20 | 2021-03-25 | Here Global B.V. | Method and apparatus for identifying a lane level traffic surprise |
CN112347268A (zh) * | 2020-11-06 | 2021-02-09 | 华中科技大学 | 一种文本增强的知识图谱联合表示学习方法及装置 |
CN112633478A (zh) * | 2020-12-31 | 2021-04-09 | 天津大学 | 一种基于本体语义的图卷积网络学习模型的构建 |
Non-Patent Citations (1)
Title |
---|
申宇铭等: ""时态知识图谱补全的方法及其进展"", 《计算机软件及计算机应用》 * |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113901151A (zh) * | 2021-09-30 | 2022-01-07 | 北京有竹居网络技术有限公司 | 用于关系抽取的方法、装置、设备和介质 |
CN113901151B (zh) * | 2021-09-30 | 2023-07-04 | 北京有竹居网络技术有限公司 | 用于关系抽取的方法、装置、设备和介质 |
CN114225427A (zh) * | 2021-11-17 | 2022-03-25 | 中国人民解放军军事科学院国防科技创新研究院 | 一种用于多实体对抗的对手关系识别方法及装置 |
CN114003684A (zh) * | 2021-12-31 | 2022-02-01 | 中科曙光南京研究院有限公司 | 一种基于开放世界假设的医疗信息关系预测方法及*** |
CN114513337A (zh) * | 2022-01-20 | 2022-05-17 | 电子科技大学 | 一种基于邮件数据的隐私保护链接预测方法及*** |
CN114513337B (zh) * | 2022-01-20 | 2023-04-07 | 电子科技大学 | 一种基于邮件数据的隐私保护链接预测方法及*** |
CN116738201A (zh) * | 2023-02-17 | 2023-09-12 | 云南大学 | 基于图对比学习的非法账户识别方法 |
CN116738201B (zh) * | 2023-02-17 | 2024-01-16 | 云南大学 | 基于图对比学习的非法账户识别方法 |
CN116962196A (zh) * | 2023-06-08 | 2023-10-27 | 中国人民解放军国防科技大学 | 一种基于关系推理的机动通信网网络智能规划方法及*** |
CN116523608A (zh) * | 2023-07-03 | 2023-08-01 | 苏州大学 | 基于概率逻辑推理的物品序列推荐方法 |
CN116523608B (zh) * | 2023-07-03 | 2023-08-29 | 苏州大学 | 基于概率逻辑推理的物品序列推荐方法 |
Also Published As
Publication number | Publication date |
---|---|
CN113190688B (zh) | 2022-07-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113190688B (zh) | 基于逻辑推理和图卷积的复杂网络链接预测方法及*** | |
CN109948029B (zh) | 基于神经网络自适应的深度哈希图像搜索方法 | |
CN111563706A (zh) | 一种基于lstm网络的多变量物流货运量预测方法 | |
CN106411896A (zh) | 基于apde‑rbf神经网络的网络安全态势预测方法 | |
CN113361685B (zh) | 一种基于学习者知识状态演化表示的知识追踪方法及*** | |
CN113780002A (zh) | 基于图表示学习和深度强化学习的知识推理方法及装置 | |
CN111241306A (zh) | 一种基于知识图谱和指针网络的路径规划方法 | |
CN110796233A (zh) | 基于迁移学习的深度残差卷积神经网络的自适应压缩方法 | |
WO2020171904A1 (en) | Human body part segmentation with real and synthetic images | |
CN116363423A (zh) | 面向小样本学习的知识蒸馏方法、装置及存储介质 | |
CN113255366A (zh) | 一种基于异构图神经网络的方面级文本情感分析方法 | |
CN114580388A (zh) | 数据处理方法、对象预测方法、相关设备及存储介质 | |
CN115080795A (zh) | 一种多充电站协同负荷预测方法及装置 | |
CN114444694A (zh) | 一种开放世界知识图谱补全方法及装置 | |
CN113743594A (zh) | 网络流量预测模型建立方法、装置、电子设备及存储介质 | |
Du et al. | Structure tuning method on deep convolutional generative adversarial network with nondominated sorting genetic algorithm II | |
CN116258504B (zh) | 银行客户关系管理***及其方法 | |
CN117194918A (zh) | 基于自注意力回声状态网络的气温预测方法及*** | |
CN111353525A (zh) | 一种不均衡不完整数据集的建模及缺失值填补方法 | |
CN110866838A (zh) | 基于转移概率预处理的网络表示学习算法 | |
CN116415177A (zh) | 一种基于极限学习机的分类器参数辨识方法 | |
CN116208399A (zh) | 一种基于元图的网络恶意行为检测方法及设备 | |
CN114861917A (zh) | 贝叶斯小样本学习的知识图谱推理模型、***及推理方法 | |
Lu et al. | Laplacian deep echo state network optimized by genetic algorithm | |
Kavipriya et al. | Adaptive weight deep convolutional neural network (AWDCNN) classifier for predicting student’s performance in job placement process |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |