CN111091005A - 一种基于元结构的无监督异质网络表示学习方法 - Google Patents
一种基于元结构的无监督异质网络表示学习方法 Download PDFInfo
- Publication number
- CN111091005A CN111091005A CN201911327882.1A CN201911327882A CN111091005A CN 111091005 A CN111091005 A CN 111091005A CN 201911327882 A CN201911327882 A CN 201911327882A CN 111091005 A CN111091005 A CN 111091005A
- Authority
- CN
- China
- Prior art keywords
- meta
- node
- subgraph
- event
- sampling
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/088—Non-supervised learning, e.g. competitive learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种基于元结构的无监督异质网络表示学习方法,属于人工智能领域。首先给出事件数据的定义,并构建针对事件数据的异质网络模型;采用元结构来描述事件数据中基于事件的关联关系类型,并基于给定的元结构进行邻居节点采样;提出基于元结构邻近度的网络表示学习模型,以捕捉单视角下基于事件语义的关联关系;提出融合多视角关联关系的网络表示学习模型,以捕捉多视角下基于事件语义的关联关系;最后用随机梯度下降法进行训练,得到各节点的特征向量表示。本发明提出用元结构描述复杂的事件语义关系,设计网络表示学习模型解决了事件数据缺乏标签、异质、关联多视角的挑战,提供了低复杂度的训练算法。
Description
技术领域
本发明属于人工智能领域,涉及网络表示学习,具体是一种基于元结构的无监督异质网络表示学习方法,该方法可以捕捉异质网络节点间的事件语义。
背景技术
互联网的普及以及社交媒体的井喷式发展,促使大量实体产生相互关联关系,组成了网络。独立同分布的假设在这种网络数据不再成立,使得传统的机器学习方法不再适用。
网络表示学习将相互关联的实体节点投射到低维稠密向量空间并保证尽可能多的蕴含原网络的信息,自动学习到网络中节点的特征表示,使得现成的机器学习算法可以直接运用于所学的节点表示上以实现节点分类、聚类、链接预测、数据可视化等数据挖掘任务,成为了人工智能领域面向网络数据挖掘的一种极具潜力的技术,受到学术界和工业界广泛关注。
在真实世界中,实体往往通过参与事件而产生关联,产生大量事件数据。相比于同类型的简单关联关系,如人与人之间的好友关系、文档中词语间的共现关系、互联网中页面的超链接关系等,事件数据中的关联关系更加复杂,具有以下四种特性。首先参与事件的实体往往为不同类型的,即这种关联关系为异质的,现成异质网络;其次,这种关联关系能反映出基于事件的语义信息;最后,实体参与的事件类型多样,形成了多视角的关联关系。除此之外,现实情况下,实体往往缺乏标签信息作为监督。
这些特性使得现有的网络表示学习方法难以适用。现有的网络表示学习方法按是否考虑节点类型可以分为同质网络表示学习和异质网络表示学习。同质网络表示学习方法忽略了节点的类型信息,同等对待不同类型的节点,导致语义信息捕捉不足。为解决这一问题,异质网络表示学习方法陆续提出,他们大多利用元路径结构,即由节点类型组成的序列结构来捕捉节点间关联的语义。然而复杂语义关系通常为子图结构,难以用路径结构捕捉,因此此类基于元路径的异质网络表示学习方法在捕捉复杂事件语义上受限。因此本发明研究一种可捕捉复杂事件关联关系的无监督异质网络表示学习方法以解决上述问题。
发明内容
本发明为了解决上述问题,提供了一种基于元结构的无监督异质网络表示学习方法,通过捕捉事件数据中的实体节点之间语义关系以解决缺乏标签信息的问题,将事件数据中的异质实体节点用异质网络描述以解决异质问题,提出采用元结构来捕捉节点间交互的事件语义,并采用联合训练的方式以整合多视角的关联关系。
具体步骤包括:
步骤一、构建针对事件数据的异质网络模型;
首先,将事件数据定义为实体通过参与事件产生的数据,用事件的集合表示,其中e表示事件,表示事件集合;每个事件e都有自己的事件类型且描述了参与其中的实体节点的关联关系,定义为e={Ve,Re},其中Ve为节点集合,Re为关系集合。
步骤二、基于元结构的邻居节点采样;
步骤三、基于元结构邻近度的网络表示学习模型;
给定节点v,其表示向量表示为z,为学习捕捉事件语义的节点表示向量,用某节点预测其邻居节点,则目标函数为可写作
经推导得到如下的目标函数:
步骤四、融合多视角关联关系的网络表示学习模型;
步骤五、考虑到训练计算复杂度,对上述模型做近似改写,并用随机梯度下降法进行训练,得到各节点的向量表示;
改写后的模型为:
本发明的优点在于:
(1)一种基于元结构的无监督异质网络表示学习方法,将不同类型的相互关联的实体映射到统一的特征向量空间中,使得现成的机器学习算法可以运用于学习得到的节点向量上,方便实现各种数据挖掘任务;
(2)一种基于元结构的无监督异质网络表示学习方法,针对事件数据的关联复杂性,创新的引入元结构,设计了基于元结构的邻居采样算法,使得邻居间关系更能反映事件语义关系;
(3)一种基于元结构的无监督异质网络表示学习方法,创新的设计了基于元结构邻近度的网络表示学习模型,并在其基础上设计融合多视角关联关系的网络表示学习模型,使得所学节点向量得以捕捉多视角的事件语义关系;
(4)一种基于元结构的无监督异质网络表示学习方法,提供了低复杂度的近似模型以及相应的训练算法。
附图说明
图1为本发明针对事件数据构建的异质网络模型示意图;
图2为本发明提出的元结构示意图与传统元路径示意图;
图3为本发明一种基于元结构的无监督异质网络表示学习方法的摘要图;
图4为本发明提出的基于元结构的邻居节点采样示意图。
具体实施方式
为了使本发明能够更加清楚地理解其技术原理,下面结合附图具体、详细地阐述本发明实施例。
一种基于元结构的无监督异质网络表示学习方法(MGNE,Meta-Graph basedHeterogeneous Information Network Embedding)应用于描述实体之间相互关联关系的网络数据,将不同类型的实体投射到统一特征空间中,得到能捕捉事件语义的节点表示向量;首先本发明给出事件数据的定义,并针对事件数据构建异质网络模型;然后本发明采用元结构来描述事件数据中基于事件的关联关系类型,并设计基于元结构的邻居节点采样算法;根据邻居节点采样结果,设计基于元结构邻近度的网络表示学习模型,以学习捕捉事件语义的节点表示向量;为解决事件数据中多视角的关联关系捕捉问题,本发明设计融合多视角关联关系的网络表示学习模型;最后提供了低复杂度的近似模型以及相应的训练算法。
如图3所示,整体包括异质网络模型构建、基于元结构的邻居节点采样、基于元结构邻近度的网络表示学习模型、融合多视角关联关系的网络表示学习模型及模型训练五个步骤;其中基于元结构的邻居节点采样包括元结构分解、元结构子图匹配及实例采样三个步骤。
具体步骤如下:
步骤一、构建针对事件数据的异质网络模型;
相对于单一类型的相互关联关系,如人与人之间的好友关系、文档中词语间的共现关系、互联网中页面的超链接关系等,事件数据中实体的相互关联关系更为复杂。以描述论文发表的事件数据为例,示意图如图1所示,该事件数据涉及到四种实体及关系,描述了两类事件;
将事件数据定义为实体通过参与事件产生的数据,用事件的集合表示。事件e属于某个事件类型,记为其中函数τ(·)为事件类型映射函数,表示事件类型的集合。事件e描述了参与其中的实体节点的关联关系,定义为e={Ve,Re},其中Ve为参与事件e的节点集合,Re为事件e包含的关系集合;
给定事件数据构建异质网络来建模节点间关联,其中表示节点集合,表示关系集合,其中∪符号表示并集操作。节点和关系有各自的类型映射函数,即节点类型映射函数和关系映射函数它们分别指明节点和关系所属的类型,其中为节点类型的集合,为关系类型的集合。
步骤二、基于元结构的邻居节点采样;
给定建模后的异质网络本发明采用元结构来描述事件数据中基于事件的关联关系类型。如图2所示,不同于元路径用节点类型序列来描述节点间的关联关系语义,元结构用子图来描述多个节点间更复杂的关联关系语义。形式化地,元结构被定义为类型层面上的子图其中和分别表示子图的节点集合和关系集合。
如图4所示,基于元结构的邻居节点采样方法包含元结构分解、元结构子图匹配及实例采样三个步骤,具体步骤如下:
步骤201、元结构分解;
步骤202、元结构子图匹配;
步骤203、实例采样;
从类型为起始节点类型的节点集合中,采样一个节点作为起始节点nstart,采样概率为其中|·|为取集合元素个数的运算,为起始节点类型的节点集合;如图4示例中,节点类型为作者A的节点个数为3,因此采样节点a1的概率为
给定起始节点nstart和即将采样的元结构子图M1,本发明采用随机均匀采样,则采样到子图实例S的概率为其中表示起始节点nstart的符合元结构子图M1的邻居子图;如图4示例中,由于起始节点a1的符合元结构子图M1的邻居子图有S1,1和S1,2,其中Si,j代表符合第i个元结构子图的第j个实例子图,因此给定起始节点a1和元结构子图M1采样出S1,1的概率为
取采样得到的元结构子图的终止节点,作为当下元结构子图与下个即将采样的元结构子图的连结节点,如图4示例中的p1和p2;
给定第l个连结节点nl和即将采样的元结构子图Ml,本发明采用随机均匀采样,则采样到子图实例S的概率为其中表示连结节点nl的符合元结构子图Ml的邻居子图;如图4示例中,给定连结节点p1和元结构子图M2采样出S2,2的概率为给定连结节点p2和元结构子图M3采样出S3,2的概率为Pr(S3,2|p2,M3)=1;
最后实例采样的概率用如下公式计算:
其中L为分解的元结构子图个数,第一个连结节点n1定义为起始节点nstart;
步骤三、基于元结构邻近度的网络表示学习模型;
P(c|v;z)为预测邻居节点c的条件概率,用如下softmax函数计算:
经推导得到如下的目标函数:
该模型学习反映单视角关联关系的网络表示。
步骤四、融合多视角关联关系的网络表示学习模型;
步骤五、模型训练;
采用随机梯度下降法对模型进行训练;
训练步骤如下所示:
(3)随机初始化所有节点的表示向量zv,v∈V;
(4)对于子图S的节点集合VS,选取任意一对节点(v,c);
(5)更新zc,即zc←zc+α(1-σ(zv Tzc))zv,α为学习率;
(8)返回步骤(4),直至VS内节点对遍历完毕;
(9)返回步骤(1),直至达到预设迭代次数;
(10)返回所有节点的表示向量zv,v∈V。
综上所述,通过实施本发明一种基于元结构的无监督异质网络表示方法,通过捕捉事件数据中的实体节点之间语义关系以解决缺乏标签信息的问题,将事件数据中的异质实体节点用异质网络描述以解决异质问题,提出采用元结构来捕捉节点间交互的事件语义,并采用联合训练的方式以整合多视角的关联关系;相比于同质网络表示学习方法,本发明设计的方法,可以将不同类型的节点映射到统一的特征向量空间中,使得现成的机器学习算法可以直接运用,并且本发明方法无需利用标签信息,属于无监督的方法;相比于其他基于元路径的异质网络表示学习方法,本发明所设计的方法可以更好的捕捉复杂的事件语义关联关系。
以上所述是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也视为本发明的保护范围。
Claims (1)
1.一种基于元结构的无监督异质网络表示学习方法,具体步骤包括:
步骤一、构建针对事件数据的异质网络模型;
将事件数据定义为实体通过参与事件产生的数据,用事件的集合ε={e}表示,其中e表示事件,ε表示事件集合;
事件e描述了参与其中的实体节点的关联关系,定义为e={Ve,Re},其中Ve为参与事件e的节点集合,Re为事件e包含的关系集合;
给定事件数据ε,构建异质网络Gε={V,E}来建模节点间关联,其中V=∪e∈εVe表示节点集合,R=∪e∈εRe表示关系集合,其中∪符号表示并集操作,节点和关系有各自的类型映射函数,即节点类型映射函数和关系映射函数它们分别指明节点和关系所属的类型,其中为节点类型的集合,为关系类型的集合;
步骤二、基于元结构的邻居节点采样;
给定建模后的异质网络Gε={V,E},本发明采用元结构来描述事件数据中基于事件的关联关系类型;
基于元结构的邻居节点采样方法包含元结构分解、元结构子图匹配及实例采样三个步骤,具体步骤如下:
步骤203、从根据元结构定义起始节点类型;
取采样得到的元结构子图的终止节点,作为当下元结构子图与下个即将采样的元结构子图的连结节点;
实例采样的概率用如下公式计算:
其中L为分解的元结构子图个数,第一个连结节点n1定义为起始节点nstart;
步骤三、基于元结构邻近度的网络表示学习模型;
P(c|v;z)为预测邻居节点c的条件概率,用如下softmax函数计算:
反映单视角关联关系的网络表示学习模型的目标函数为:
步骤四、融合多视角关联关系的网络表示学习模型;
步骤五、本发明采用负采样方法对上述模型做近似改写,对于每一对节点-邻居样本对(v,c),采样N个负样本对(v,un),其中un为节点v对应的负样本节点,改写后的模型为:
采用随机梯度下降法对模型进行训练,训练步骤如下所示:
(3)随机初始化所有节点的表示向量zv,v∈V;
(4)对于子图S的节点集合VS,选取任意一对节点(v,c);
(5)更新zc,即zc←zc+α(1-σ(zv Tzc))zv,α为学习率;
(8)返回步骤(4),直至VS内节点对遍历完毕;
(9)返回步骤(1),直至达到预设迭代次数;
(10)返回所有节点的表示向量zv,v∈V。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911327882.1A CN111091005B (zh) | 2019-12-20 | 2019-12-20 | 一种基于元结构的无监督异质网络表示学习方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911327882.1A CN111091005B (zh) | 2019-12-20 | 2019-12-20 | 一种基于元结构的无监督异质网络表示学习方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111091005A true CN111091005A (zh) | 2020-05-01 |
CN111091005B CN111091005B (zh) | 2022-05-13 |
Family
ID=70395256
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911327882.1A Active CN111091005B (zh) | 2019-12-20 | 2019-12-20 | 一种基于元结构的无监督异质网络表示学习方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111091005B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112464292A (zh) * | 2021-01-27 | 2021-03-09 | 支付宝(杭州)信息技术有限公司 | 基于隐私保护训练图神经网络的方法及装置 |
CN112507210A (zh) * | 2020-11-18 | 2021-03-16 | 天津大学 | 一种属性网络上事件检测的交互式可视化方法 |
CN115062210A (zh) * | 2022-07-08 | 2022-09-16 | 天津大学 | 一种融合社团结构的异质网络表示学习方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102682050A (zh) * | 2011-11-14 | 2012-09-19 | 吉林大学 | 复杂网络多元结构模式表征与发现方法 |
CN108537342A (zh) * | 2018-03-05 | 2018-09-14 | 浙江大学 | 一种基于邻居信息的网络表示学习方法及*** |
CN110020214A (zh) * | 2019-04-08 | 2019-07-16 | 北京航空航天大学 | 一种融合知识的社交网络流式事件检测*** |
CN110083696A (zh) * | 2019-04-23 | 2019-08-02 | 安徽大学 | 基于元结构技术的全局引文推荐方法、推荐*** |
KR20190091858A (ko) * | 2018-01-29 | 2019-08-07 | 주식회사 유엑스팩토리 | Cnn과 rnn이 하나의 고성능 저전력 칩으로 집적된 이기종 프로세서 구조 |
CN110555050A (zh) * | 2018-03-30 | 2019-12-10 | 华东师范大学 | 一种基于元路径的异构网络节点表示学习方法 |
-
2019
- 2019-12-20 CN CN201911327882.1A patent/CN111091005B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102682050A (zh) * | 2011-11-14 | 2012-09-19 | 吉林大学 | 复杂网络多元结构模式表征与发现方法 |
KR20190091858A (ko) * | 2018-01-29 | 2019-08-07 | 주식회사 유엑스팩토리 | Cnn과 rnn이 하나의 고성능 저전력 칩으로 집적된 이기종 프로세서 구조 |
CN108537342A (zh) * | 2018-03-05 | 2018-09-14 | 浙江大学 | 一种基于邻居信息的网络表示学习方法及*** |
CN110555050A (zh) * | 2018-03-30 | 2019-12-10 | 华东师范大学 | 一种基于元路径的异构网络节点表示学习方法 |
CN110020214A (zh) * | 2019-04-08 | 2019-07-16 | 北京航空航天大学 | 一种融合知识的社交网络流式事件检测*** |
CN110083696A (zh) * | 2019-04-23 | 2019-08-02 | 安徽大学 | 基于元结构技术的全局引文推荐方法、推荐*** |
Non-Patent Citations (2)
Title |
---|
YUXIAO DONG 等: "metapath2vec: Scalable Representation Learning for Heterogeneous Networks", 《KDD 2017 RESEARCH PAPER》 * |
曹建平: "面向文本的多属性异质网络聚类技术研究", 《中国博士学位论文全文数据库 信息科技辑》 * |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112507210A (zh) * | 2020-11-18 | 2021-03-16 | 天津大学 | 一种属性网络上事件检测的交互式可视化方法 |
CN112464292A (zh) * | 2021-01-27 | 2021-03-09 | 支付宝(杭州)信息技术有限公司 | 基于隐私保护训练图神经网络的方法及装置 |
CN113536383A (zh) * | 2021-01-27 | 2021-10-22 | 支付宝(杭州)信息技术有限公司 | 基于隐私保护训练图神经网络的方法及装置 |
CN113536383B (zh) * | 2021-01-27 | 2023-10-27 | 支付宝(杭州)信息技术有限公司 | 基于隐私保护训练图神经网络的方法及装置 |
CN115062210A (zh) * | 2022-07-08 | 2022-09-16 | 天津大学 | 一种融合社团结构的异质网络表示学习方法 |
Also Published As
Publication number | Publication date |
---|---|
CN111091005B (zh) | 2022-05-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Huang et al. | Graph meta learning via local subgraphs | |
CN111522962B (zh) | 序列推荐方法、装置及计算机可读存储介质 | |
CN111091005B (zh) | 一种基于元结构的无监督异质网络表示学习方法 | |
US10360503B2 (en) | System and method for ontology derivation | |
Louis | Genetic algorithms as a computational tool for design | |
Symeonidis et al. | Agent intelligence through data mining | |
CN112288091A (zh) | 基于多模态知识图谱的知识推理方法 | |
US7324981B2 (en) | System and method of employing efficient operators for Bayesian network search | |
Du et al. | Geospatial information integration for authoritative and crowd sourced road vector data | |
CN114265986B (zh) | 一种融合知识图谱结构与路径语义的信息推送方法和*** | |
CN112949929B (zh) | 一种基于协同嵌入增强题目表示的知识追踪方法及*** | |
CN113611356B (zh) | 一种基于自监督图表征学习的药物重定位预测方法 | |
CN115827908A (zh) | 用于交互式图像场景图模式搜索和分析的***和方法 | |
Gao et al. | Contextual spatio-temporal graph representation learning for reinforced human mobility mining | |
CN110264372A (zh) | 一种基于节点表示的主题社团发现方法 | |
Gul et al. | A systematic analysis of link prediction in complex network | |
CN115391563A (zh) | 一种基于多源异构数据融合的知识图谱链路预测方法 | |
Mao et al. | Graph foundation models | |
Chikwendu et al. | A comprehensive survey on deep graph representation learning methods | |
del Campo et al. | Imaginary plans | |
Nguyen et al. | Path-tracing semantic networks to interpret changes in semantic 3D city models | |
CN110956199A (zh) | 一种基于采样子图网络的节点分类方法 | |
CN115828988A (zh) | 一种基于自监督的异构图表示学习方法 | |
Liu et al. | Multi-relational graph convolutional networks for skeleton-based action recognition | |
CN116776175B (zh) | 一种基于层次聚类的数据标签体系构建方法及*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |