CN108228728B - 一种参数化的论文网络节点表示学习方法 - Google Patents
一种参数化的论文网络节点表示学习方法 Download PDFInfo
- Publication number
- CN108228728B CN108228728B CN201711308050.6A CN201711308050A CN108228728B CN 108228728 B CN108228728 B CN 108228728B CN 201711308050 A CN201711308050 A CN 201711308050A CN 108228728 B CN108228728 B CN 108228728B
- Authority
- CN
- China
- Prior art keywords
- paper
- node
- queue
- neighbor
- thesis
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 54
- 238000013528 artificial neural network Methods 0.000 claims abstract description 42
- 238000005070 sampling Methods 0.000 claims abstract description 41
- 239000013598 vector Substances 0.000 claims abstract description 21
- 238000005295 random walk Methods 0.000 claims abstract description 18
- 238000012549 training Methods 0.000 claims abstract description 18
- 230000009466 transformation Effects 0.000 claims abstract description 9
- 238000012545 processing Methods 0.000 claims abstract description 8
- 230000006870 function Effects 0.000 claims description 47
- 238000004422 calculation algorithm Methods 0.000 claims description 17
- 238000013507 mapping Methods 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 claims description 5
- 230000009191 jumping Effects 0.000 claims description 5
- 230000008569 process Effects 0.000 claims description 5
- 241000287196 Asthenes Species 0.000 claims description 3
- 239000000523 sample Substances 0.000 description 49
- 238000011156 evaluation Methods 0.000 description 12
- 241000689227 Cora <basidiomycete fungus> Species 0.000 description 7
- 230000000694 effects Effects 0.000 description 7
- 238000004458 analytical method Methods 0.000 description 5
- 239000013604 expression vector Substances 0.000 description 5
- 230000004913 activation Effects 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 235000008694 Humulus lupulus Nutrition 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 238000012886 linear function Methods 0.000 description 2
- 230000006855 networking Effects 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000002790 cross-validation Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000013179 statistical model Methods 0.000 description 1
- 230000004083 survival effect Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/3331—Query processing
- G06F16/334—Query execution
- G06F16/3347—Query execution using vector based model
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/01—Social networking
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Molecular Biology (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Software Systems (AREA)
- Biophysics (AREA)
- Business, Economics & Management (AREA)
- Databases & Information Systems (AREA)
- Economics (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种参数化的论文网络节点表示学习方法,该方法首先构建一个空的论文节点队列,然后采用随机游走方式采样任意一个论文节点的邻居节点、及邻居的邻居节点;并将选取的论文节点作为论文节点队列的第一个元素,随后依据跳转概率得到论文节点队列的其他元素;遍历完成所有的论文节点,则有论文节点队列集合;然后采用正负采样方法生成多层感知机的神经网络训练数据;最后采用神经网络论文概率模型进行处理,得到论文节点语义信息到论文节点向量表示的非线性变换,进而得到论文节点的向量表示。
Description
技术领域
本发明涉及论文网络的表示学习方法,更特别地说,是指一种参数化的论文网络节点表示学习方法。
背景技术
社交网络属于互联网概念名词。例如Blog、WIKI、Tag、SNS、RSS等的社交网络服务平台。互联网导致一种全新的人类社会组织和生存模式悄然走进本发明,构建了一个超越地球空间之上的、巨大的群体—网络群体,21世纪的人类社会正在逐渐浮现出崭新的形态与特质,网络全球化时代的个人正在聚合为新的社会群体。论文网络是指论文与论文之间的关系网络化,在网上表现为论文之间的相互引用及共享作者等。
目前论文网络的表示学习大都采用的是非参数化模型,如“DeepWalk:OnlineLearning of Social Representations”译文为:深度行走:社交表示的在线学习,BryanPerozzi等,26Mar 2014;该文献中使用word2vec非参数化方法对论文网络的表示进行学习。
网络结构是指网络在物理上的连通性。网络的拓扑结构有很多种,如二维结构有环形、星形、树形、近邻连接网以及搏动流水阵列等,参考《互连网络结构分析》,王鼎兴,陈国良编著,1990年10月,第36-38页内容。随着网络的发展,也出现了如网状结构、蜂窝状结构等。
目前的论文网络的表示学习方法必须要遍历完成所有论文网络中的论文,才能学习论文的表示。当论文网络有新增加论文时将不能进行新增论文的表示学习,无法进一步的完成新增论文的分类、分析工作。
发明内容
为了解决新增论文无法进行表示学习的问题,本发明提出了一种参数化的论文网络节点表示学习方法。在本发明中,首先借助随机游走统计模型对星形论文网络结构进行采样,得到论文节点向量信息;采样完成的论文节点队列由一连串的论文节点所组成,每一次对下一个论文节点的选择都是随机的;。在进行论文网络采样步骤之后,本发明构建了一个基于孪生网络框架的深度神经网络,其中孪生网络的两个完全相同的子网络是由多层感知机(MLP)组成的,本发明将学习到的多层感知机作为非线性映射函数,通过构建从网络节点富文本信息到网络节点表示向量的非线性映射函数得到网络节点表示向量。
本发明提出了一种参数化的论文网络节点表示学习方法,其特征在于包括有下列步骤:
步骤一,基于随机游走方法采样获取任意一个论文节点的邻居—论文节点集、及邻居的邻居—论文节点集;
步骤101:构建一个论文节点空队列,记为V,所述V用来存储论文节点序列;论文节点空队列V的最大队列元素位数为mv,mv的取值为10~20;然后执行步骤102;
步骤102:选取任意一个论文节点papera,然后将所述papera放入论文节点队列V中第1位;然后执行步骤103;
步骤110:循环执行步骤106和步骤109,直至论文节点队列V中的位数为mv时,本次随机游走停止;然后执行步骤111;
步骤111:对于整个论文网络中的每一个论文节点重复执行步骤101到步骤110,来完成论文节点的邻居节点采样,则有论文节点队列集合记为VF={V1,V2,...,Vf,...,VF};然后执行步骤201;
V1表示第一个论文节点队列;
V2表示第二个论文节点队列;
Vf表示任意一个论文节点队列,f表示论文节点队列的标识号;
VF表示最后一个论文节点队列,F表示论文节点队列集合的总数,f∈F;
步骤二,采用负采样方法生成多层感知机的神经网络训练数据;
步骤201:建立正样本队列Qp和负样本队列Qn,分别存放训练神经网络所需要的正采样数据和负采样数据,然后执行步骤202;
步骤204:循环执行步骤202和步骤203,直至论文节点队列集合VF={V1,V2,...,Vf,...,VF}中的所有论文节点队列中的所有论文节点都完成邻居论文节点的采样工作,得到正样本队列Qp,然后执行步骤207;
步骤205:对网络中所有论文节点进行采样,每次从网络中选取任意两个论文节点,即第一任意论文节点papera,第二任意论文节点papero;如果两个论文节点之间存在连边,或者两个随机选取的论文节点相同,则继续本步骤,否则将任意两个论文节点papera、papero组成三元组(papera,papero,-1)存入负样本队列Qn中,然后执行步骤206;
步骤206:循环执行步骤205,设立一个正负样本比例参数μ,假设正样本队列Qp中三元组个数为np,那么当Qn中的三元组数量等于μ×np时停止,然后执行步骤207;
步骤207:将步骤204中得到的正样本队列Qp与步骤206中得到的负样本队列Qn合并在一起,得到一个新的样本队列Q新={Q1....,Q(1+μ)×np},,后执行步骤208;
Q1表示新的样本队列Q新中的最小标识号的三元组;
Q(1+μ)×np表示新的样本队列Q新中的最大标识号的三元组;下标(1+μ)×np代表样本队列Q新中包含有(1+μ)×np个三元组;
步骤208:将新的样本队列Q新={Q1....,Q(1+μ)×np}中的所有元素打乱顺序,得到乱序的样本队列Q排序={Q1....,Q(1+μ)×np},然后执行步骤301;
步骤三,在基于多层感知机的神经网络论文概率模型中的处理;
步骤301:针对步骤208得到的所述Q排序={Q1....,Q(1+μ)×np},每次选择一个三元组(papera,papero,δ),作为一对论文节点放入神经网络论文概率模型中进行学习,执行步骤302;
步骤303:计算两个论文节点的欧氏距离,执行步骤304;
欧氏距离为:
Epos表示欧氏最短距离;Eneg表示欧氏最长距离;c表示跳数;
步骤304:利用δ将正负样本合并放入关于论文分布式表示的欧氏距离的损失函数中,并进行平衡正负样本的损失函数计算,得到整体的损失函数L,执行步骤305;
步骤305:采用随机梯度下降算法确定出非线性变换函数fθ,完成任意两个论文节点papera与papero的表示学习。
网络节点表示是用一个向量将网络中的各个节点进行描述。为了处理社交网络中的庞杂的信息和邻居节点关系,本发明提出了一种参数化的网络节点表示学习方法。这种网络节点表示学习方法能够学习到一个非线性的映射函数,使得可以简单的从网络节点的内容信息得到网络节点的向量表示。对于一个节点的向量表示,会先使用随机游走获取其周边节点,再依据孪生网络构建节点与其邻居节点之间的关系,进而学习确定非线性映射函数。为了验证本发明的效果,本发明采用Cora数据集,对论文网络的全部节点进行节点分类的工作,在该仿真实验中,通过本发明方法得到的网络节点表示向量在用相同SVM分类器的情况下,分类结果要显著比其他方法好,可以验证本发明在对论文网络进行网络节点表示方面是有效的。
附图说明
图1是本发明参数化的论文网络节点表示学习的流程图。
图2是在Cora数据集中Micro-F1指标的评价结果。
图3是在Cora数据集中Macro-F1指标的评价结果。
图4是在Wiki数据集中Micro-F1指标的评价结果。
图5是在Wiki数据集中Macro-F1指标的评价结果。
具体实施方式
下面将结合附图和实施例对本发明做进一步的详细说明。
在本发明中,论文记为paper,多篇论文paper构成一个论文集合,记为AP,且AP={paper1,paper2,…,papera,…,papero,…,paperA};所述论文集合AP中的任意一篇论文在星形论文网络结构中称为一个论文节点;
paper1表示第一个论文节点;
paper2表示第二个论文节点;
papera表示第a个论文节点,a表示论文节点的标识号;
paperA表示最后一个论文节点,A表示论文总数,a∈A。
为了方便说明,papera也称为任意一个论文节点,papero是除papera之外的另一个任意论文节点,下文中将papera称为第一任意论文节点,papero称为第二任意论文节点。
在本发明中,采用的星形论文网络结构为《互连网络结构分析》第37页的图1.19(c)的结构。王鼎兴,陈国良编著;1990年10月第一版。
在本发明中,论文节点语义信息指的是将论文的题目、摘要、正文包含的单词通过词化处理进行向量表示。所述的词化处理为根据任意一论文内容中的论文节点语义信息出现与否进行0或1二值化的编码,从而得到所述论文内容对应的0或1表征的向量。“0”表示未出现,“1”表示出现。采用词化处理对属于星形论文网络结构中所有的论文节点进行处理,得到单词数与论文节点数关联的二维矩阵,简称为论文二值矩阵。
采用论文节点语义信息构建多层感知机的神经网络论文概率模型
在本发明中,论文概率模型的构建包括有:(A)设置神经网络论文概率模型表达式(B)从AP={paper1,paper2,…,papera,…,papero,…,paperA}中选取任意两个论文节点papera与papero,并将papera与papero在中进行映射,分别得到属于papera的多层感知机函数属于papero的多层感知机函数(C)依据与计算papera与papero之间的欧氏距离,并进行平衡正负样本的损失函数处理;(D)采用随机梯度下降算法对属于fθ的权重参数WEIGHT和偏置参数BIAS进行处理,得到学习目标的非线性变换函数fθ,遍历所有的三元组,得到对论文节点语义信息的基于多层感知机的神经网络训练。
在本发明中,构建得到的基于多层感知机的神经网络论文概率模型表达式记为其中,fθ为非线性映射函数,为所述papera的论文节点语义信息。
通过对非线性映射函数fθ进行学习确定出非线性映射中的参数θ。基于非线性映射函数fθ可
以得到对于任意一篇论文papera的论文概率模型表达式
在本发明中,权重参数WEIGHT={weight1,weight2,...,weighth,...,weightH}。
在本发明中,偏置参数BIAS={bias1,bias2,...,biash,...,biasH}。
weight1表示神经网络中第一层网络的权重参数;
weight2表示神经网络中第二层网络的权重参数;
weighth表示神经网络中任意一层网络的权重参数,h表示感知机的层数标识号;
weightH表示神经网络中最后一层网络的权重参数,H表示感知机的总层数;
bias1表示神经网络中第一层网络的偏置参数;
bias2表示神经网络中第二层网络的偏置参数;
biash表示神经网络中任意一层网络的偏置参数;
biasH表示神经网络中最后一层网络的偏置参数。
在本发明中,对于多层感知机的中任意一层的激活函数fh,一般都选择非线性函数,例如sigmoid或者tanh函数等。对于多层感知机的最后一层的输出为多重非线性函数针对输入的变换,因此可以简单刻画为其中θ表示所有参数化函数的总和。将所述作为基于多层感知机的神经网络论文概率模型最终输出,则有
在本发明中,为了使得表达空间中相似的点之间的欧氏距离尽可能的短,而不相似的点之间的欧氏距离尽可能的长。其基本形式为:
Epos表示欧氏最短距离;Eneg表示欧氏最长距离;c表示跳数。
在本发明中,由于三元组(papera,papero,δ)中的δ代表了该三元组是正样本还是负样本的标志,其中正样本可认为是需要在空间中相似的点,而负样本可以认为是需要在空间中距离尽可能远的点。因此,对于本应用而言,本发明可以利用δ将正负样本合并放入关于论文分布式表示的欧氏距离的损失函数中:
m表示Q排序中的任意一个三元组的标识号,表示三元组m中的第一任意论文节点,表示三元组m中的第二任意论文节点,δ(m)表示三元组m中正负样本的标志。L代表的是整体的损失函数,该损失函数应该是乱序样本序列Q排序中所有元素损失函数之和。
在本发明中,由于正负样本的比例不同,而且正负样本之间的相似性不一样。比如正样本之间可能因为存在连边,会更相似,而负样本则差异较大,这样正负样本产生的损失函数将不相同,因此对于本应用,本发明需要一个调和参数γ来平衡正负样本的损失函数,因此损失函数将加入γ,成为:
在本发明中,训练神经网络的目的在于能够将损失函数的值降低到最少,为了对神经网络进行训练,确定神经网络权重和神经网络偏置的值,本发明采用随机梯度下降算法进行网络参数的学习。
在本发明中,对模型的训练为通过随机梯度下降算法确定非线性变换函数fθ,由于非线性变换函数fθ主要包含权重参数WEIGHT和偏置参数BIAS。对于权重参数WEIGHT和偏置参数BIAS的每次梯度下降的更新值为L相对于权重参数WEIGHT和偏置参数BIAS的偏导,因此,在每次迭代时,根据参数更新值对权重参数WEIGHT和偏置参数BIAS以学习率ε进行更新:
WEIGHT后=WEIGHT前+ε·ΔWEIGHT
BIAS后=BIAS前+ε·ΔBIAS
WEIGHT前为感知机中上一层的权重参数,WEIGHT后为感知机中当前层的权重参数,ΔWEIGHT为每次梯度下降以L相对于权重参数WEIGHT的偏导。
BLAS前为感知机中上一层的偏置参数,BLAS后为感知机中当前层的偏置参数,ΔBLAS为每次梯度下降以L相对于偏置参数BLAS的偏导。
在使用随机梯度下降的时候,由于训练迭代次数过多,会出现过拟合的现象,因此,本发明采用了early-stop(译文为提前终止)方法,在训练到损失函数L不继续变小时即停止训练,来防止训练时发生的过拟合现象。“提前终止”为《深度学习》第7.8节151页的内容,作者为伊恩·古德费洛,约书亚·本吉奥等,译者为赵申剑,黎彧君;2017年8月1日第一版。
在本发明中,保存感知机中各个层的权重参数WEIGHT和偏置参数BIAS,得到学习目标的非线性变换函数fθ,从而完成基于多层感知机的神经网络训练,最终得到根据学习的目标fθ对所述papera生成其表示向量,即针对论文节点语义信息构建多层感知机的神经网络论文概率模型
本发明提出的一种参数化的论文网络节点表示学习方法,具体有如下步骤:
步骤一,基于随机游走方法采样获取任意一个论文节点的邻居—论文节点集、及邻居的邻居—论文节点集;
在本发明中,由论文集合AP={paper1,paper2,…,papera,…,papero,…,paperA}
构成的星形论文网络结构中,对每个论文节点的邻居论文节点采样是以加入前后跳的跳转
概率的随机游走进行的。对于任意一个论文节点papera采用随机游走方法采样获取属于
papera的邻居—论文节点集
步骤101:构建一个论文节点空队列,记为V,所述V用来存储论文节点序列;论文节点空队列V的最大队列元素位数为mv,mv的取值为10~20;然后执行步骤102;
步骤102:选取任意一个论文节点papera,然后将所述papera放入论文节点队列V中第1位;然后执行步骤103;
在本发明中,最短跳数是指两个论文节点之间所需的最少跳。
在本发明中,p为随机游走方法中用于调节不在所述论文节点队列V中的论文节点的第二跳转概率大小的参数(简称跳出参数),q为随机游走方法中用于调节在所述论文节点队列V中的论文节点的第二跳转概率大小的参数(简称跳入参数),p,q控制跳转的概率,如果希望随机游走更多的在局部跳转,那么p需要设置大一些;反之,q需要设置大一些。
步骤110:循环执行步骤106和步骤109,直至论文节点队列V中的位数为mv时,本次随机游走停止;然后执行步骤111;
步骤111:在本发明中,对于整个论文网络中的每一个论文节点重复执行步骤101到步骤110,来完成论文节点的邻居节点采样,则有论文节点队列集合记为VF={V1,V2,...,Vf,...,VF};然后执行步骤201。
V1表示第一个论文节点队列;
V2表示第二个论文节点队列;
Vf表示任意一个论文节点队列,f表示论文节点队列的标识号;
VF表示最后一个论文节点队列,F表示论文节点队列集合的总数,f∈F。
步骤二,采用负采样方法生成多层感知机的神经网络训练数据;
在本发明中,生成神经网络可使用的训练数据为步骤一得到的论文节点队列集合VF={V1,V2,...,Vf,...,VF};除去论文节点队列集合中的训练数据之外,本发明可以借助负采样算法来产生训练模型所需的数据。
步骤201:建立正样本队列Qp和负样本队列Qn,分别存放训练神经网络所需要的正采样数据和负采样数据,然后执行步骤202;
步骤204:循环执行步骤202和步骤203,直至论文节点队列集合VF={V1,V2,...,Vf,...,VF}中的所有论文节点队列中的所有论文节点都完成邻居论文节点的采样工作,得到正样本队列Qp,然后执行步骤207;
步骤205:对网络中所有论文节点进行采样,每次从网络中选取任意两个论文节点(选取的两个论文节点可以是相邻的,也可以是不相邻的),即第一任意论文节点papera,第二任意论文节点papero。如果两个论文节点之间存在连边((papera,papero)∈E),或者两个随机选取的论文节点相同(papera=papero),则继续本步骤,否则将任意两个论文节点papera、papero组成三元组(papera,papero,-1)存入负样本队列Qn中,然后执行步骤206;
步骤206:循环执行步骤205,设立一个正负样本比例参数μ,假设正样本队列Qp中三元组个数为np,那么当Qn中的三元组数量等于μ×np时停止,然后执行步骤207;
步骤207:将步骤204中得到的正样本队列Qp与步骤206中得到的负样本队列Qn合并在一起,得到一个新的样本队列Q新={Q1....,Q(1+μ)×np},,后执行步骤208;
Q1表示新的样本队列Q新中的最小标识号的三元组。
Q(1+μ)×np表示新的样本队列Q新中的最大标识号的三元组。下标(1+μ)×np代表样本队列Q新中包含有(1+μ)×np个三元组。
步骤208:将新的样本队列Q新={Q1....,Q(1+μ)×np}中的所有元素打乱顺序,得到乱序的样本队列Q排序={Q1....,Q(1+μ)×np},然后执行步骤301。
步骤三,在基于多层感知机的神经网络论文概率模型中的处理;
步骤301:针对步骤208得到的所述Q排序={Q1....,Q(1+μ)×np},每次选择一个三元组(papera,papero,δ),作为一对论文节点放入神经网络论文概率模型中进行学习,执行步骤302;
步骤303:计算两个论文节点的欧氏距离,执行步骤304;
在本发明中,孪生网络的目的是为了使得表达空间中相似的点之间的欧氏距离尽可能的短,而不相似的点之间的欧氏距离尽可能的长。其基本形式为:
Epos表示欧氏最短距离;Eneg表示欧氏最长距离;c表示跳数。
步骤304:利用δ将正负样本合并放入关于论文分布式表示的欧氏距离的损失函数中,并进行平衡正负样本的损失函数计算,得到整体的损失函数L,执行步骤305;
步骤305:采用随机梯度下降算法确定出非线性变换函数fθ,完成任意两个论文节点papera与papero的表示学习。
实施例1
本实施例采用了Cora论文数据集与Pubmed知识网络数据集进行学习和实验工作。
Cora是一个论文数据集总共含有2708个论文节点,包含2708个节点和5429条边,每一个节点都对应一个长度为1433的论文富文本信息向量,该富文本信息向量由0/1表示单词是否存在。同时,每一个节点都关联一个类别属性,总的类别属性取值数目为7。
Pubmed是一个知识网络数据集总共含有19717个论文节点,包含19717个节点和44338条边,每一个节点都对应一个长度为500的论文富文本信息向量,该富文本信息向量由0/1表示单词是否存在。同时,每一个节点都关联一个类别属性,总的类别属性取值数目为3。
为了验证有效性,本发明主要对比了不同方法在论文节点分类任务中的表现:
DeepWalk:采用了普通随机游走算法对网络进行采样,随后用word2vec算法得到网络中每一个节点的表示。(2014DeepWalk:online learning of socialrepresentations[J].Perozzi B,Alrfou R,Skiena S.KDD:701-710.)
TADW:对DeepWalk中的随机游走进行分解,巧妙地加入了节点的富文本信息,采用矩阵相乘的方式得到网络中每一个节点的表示。(2015,Network representationlearning with rich text information[C]YangC,Zhao D,Zhao D,et al.InternationalConference on Artificial Intelligence.AAAI Press,:2111-2117.)
Node2Vec:是DeepWalk的升级版,采用了二阶随机游走算法对网络进行采样,随后用word2vec算法得到网络中每一个节点的表示。(2016,node2vec:Scalable FeatureLearning for Networks[C]//Grover A,Leskovec J.KDD:855.)
对本发明选用节点预测方法进行向量表示效果的对比。本实验均采用混合验证技术(cross-validation),在不同的分类预测方法选用SVM分类器进行分类。
本发明采用了两个评价指标进行衡量分别是Micro-F1和Macro-F1。
其中Macro-F1的计算方法为:
其中Pmacro和Rmacro分别代表宏差准率和宏查全率。
Micro-F1的计算方法为:
其中Pmicro和Rmicro分别代表微差准率和微查全率。
在Cora数据集的效果如图2和图3所示,本发明与其他方法在Cora数据集的对比效果,图2代表的是各方法在Micro-F1评价指标下的表现,图3代表的是各方法在Macro-F1评价指标下的表现。两张图的横轴代表了分类器的训练数据占全部数据的百分比。从图中可以看出,本发明方法在Micro-F1和Macro-F1评价指标下都比其他几种网络表示学习方法的效果要好,特别可以看出,相比纯粹借助网络信息,而不采用网络节点语义信息的DeepWalk和Node2vec算法,本发明算法在Micro-F1和Macro-F1评价指标下,对于各个训练数据所占比例均有5%以上的提升,可以展现出本发明在融合网络节点信息与网络拓扑结构之后,得到的网络节点表示向量要显著比单纯利用网络拓扑信息得到的网络节点表示向量要好。同时,对比TADW这个结合了网络节点信息与网络拓扑信息的方法可以看出,本发明提出的方法依然在两个评价指标上都有3%的提升。
在Wiki数据集的效果如图4和图5所示,从图中可以看出,本发明在Micro-F1和Macro-F1评价指标下都比其他几种网络表示学习方法的效果要好。由于Wiki数据集的类别数量要远远多于Cora数据集,可以发现,不采用网络节点语义信息的DeepWalk和Node2vec算法,分类效果较差,远低于使用TADW进行分析的结果。这说明语义在该数据集中占据了主导作用。本发明方法在Micro-F1和Macro-F1评价指标下,对于TADW方法得到的实验结果有2%的提升,可以展现出本发明在融合网络节点信息与网络拓扑结构之后,得到的网络节点表示向量相比直接利用矩阵相乘的到的网络节点表示向量要好。可以说明本发明在网络节点表示在结合网络信息与语义信息中能够进行更好的融合,得到更好的表示向量。
通过图2-图5的分析,这些实验体现了本发明能够自然的融合网络结构与语义信息两者,从而得到更好的网络节点表示向量,因此可以验证本发明的有效性。
Claims (3)
1.一种参数化的论文网络节点表示学习方法,其特征在于包括有下列步骤:
步骤一,基于随机游走方法采样获取任意一个论文节点的邻居论文节点集、及邻居的邻居论文节点集;
步骤101:构建一个论文节点空队列,记为V,所述V用来存储论文节点序列;论文节点空队列V的最大队列元素位数为mv,mv的取值为10~20;然后执行步骤102;
步骤102:选取任意一个论文节点papera,然后将所述papera放入论文节点队列V中第1位;然后执行步骤103;
所述第二跳转概率c表示跳数;p为随机游走方法中用于调节不在所述论文节点队列V中的论文节点的第二跳转概率大小的参数,即跳出参数;q为随机游走方法中用于调节在所述论文节点队列V中的论文节点的第二跳转概率大小的参数,即跳入参数;
步骤110:循环执行步骤106和步骤109,直至论文节点队列V中的位数为mv时,本次随机游走停止;然后执行步骤111;
步骤111:对于整个论文网络中的每一个论文节点重复执行步骤101到步骤109,来完成论文节点的邻居节点采样,则有论文节点队列集合记为VF={V1,V2,...,Vf,...,VF};然后执行步骤201;
V1表示第一个论文节点队列;
V2表示第二个论文节点队列;
Vf表示任意一个论文节点队列,f表示论文节点队列的标识号;
VF表示最后一个论文节点队列,F表示论文节点队列集合的总数,f∈F;
步骤二,采用负采样方法生成多层感知机的神经网络训练数据;
步骤201:建立正样本队列Qp和负样本队列Qn,分别存放训练神经网络所需要的正采样数据和负采样数据,然后执行步骤202;
步骤204:循环执行步骤202和步骤203,直至论文节点队列集合VF={V1,V2,...,Vf,...,VF}中的所有论文节点队列中的所有论文节点都完成邻居论文节点的采样工作,得到正样本队列Qp,然后执行步骤207;
步骤205:对网络中所有论文节点进行采样,每次从网络中选取任意两个论文节点,即第一任意论文节点papera,第二任意论文节点papero;如果两个论文节点之间存在连边,或者两个随机选取的论文节点相同,则继续本步骤,否则将任意两个论文节点papera、papero组成三元组(papera,papero,-1)存入负样本队列Qn中,然后执行步骤206;
步骤206:循环执行步骤205,设立一个正负样本比例参数μ,假设正样本队列Qp中三元组个数为np,那么当Qn中的三元组数量等于μ×np时停止,然后执行步骤207;
步骤207:将步骤204中得到的正样本队列Qp与步骤206中得到的负样本队列Qn合并在一起,得到一个新的样本队列Q新={Q1....,Q(1+μ)×np},后执行步骤208;
Q1表示新的样本队列Q新中的最小标识号的三元组;
Q(1+μ)×np表示新的样本队列Q新中的最大标识号的三元组;下标(1+μ)×np代表样本队列Q新中包含有(1+μ)×np个三元组;
步骤208:将新的样本队列Q新={Q1....,Q(1+μ)×np}中的所有元素打乱顺序,得到乱序的样本队列Q排序={Q1....,Q(1+μ)×np},然后执行步骤301;
步骤三,在基于多层感知机的神经网络论文概率模型中的处理;
步骤301:针对步骤208得到的所述Q排序={Q1....,Q(1+μ)×np},每次选择一个三元组(papera,papero,δ),作为一对论文节点放入神经网络论文概率模型中进行学习,执行步骤302;
步骤303:计算两个论文节点的欧氏距离,执行步骤304;
欧氏距离为:
Epos表示欧氏最短距离;Eneg表示欧氏最长距离;c表示跳数;
步骤304:利用δ将正负样本合并放入关于论文分布式表示的欧氏距离的损失函数中,并进行平衡正负样本的损失函数计算,得到整体的损失函数L,执行步骤305;
γ表示调和参数,是用来平衡正负样本的损失函数;
m表示Q排序中的任意一个三元组的标识号;
由于三元组(papera,papero,δ)中的δ代表了该三元组是正样本还是负样本的标志,其中正样本认为是需要在空间中相似的点,而负样本认为是需要在空间中距离尽可能远的点;
步骤305:采用随机梯度下降算法确定出非线性变换函数fθ,完成任意两个论文节点papera与papero的表示学习。
2.根据权利要求1所述的参数化的论文网络节点表示学习方法,其特征在于:步骤103、步骤104和步骤105实现了论文节点队列V中第2位元素的获取。
3.根据权利要求1所述的参数化的论文网络节点表示学习方法,其特征在于:步骤106至步骤110实现了论文节点队列V中继第2位元素之后元素的获取,直至到达论文节点空队列V的最大队列元素位数mv。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711308050.6A CN108228728B (zh) | 2017-12-11 | 2017-12-11 | 一种参数化的论文网络节点表示学习方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711308050.6A CN108228728B (zh) | 2017-12-11 | 2017-12-11 | 一种参数化的论文网络节点表示学习方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108228728A CN108228728A (zh) | 2018-06-29 |
CN108228728B true CN108228728B (zh) | 2020-07-17 |
Family
ID=62653503
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201711308050.6A Expired - Fee Related CN108228728B (zh) | 2017-12-11 | 2017-12-11 | 一种参数化的论文网络节点表示学习方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108228728B (zh) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109213831A (zh) * | 2018-08-14 | 2019-01-15 | 阿里巴巴集团控股有限公司 | 事件检测方法和装置、计算设备及存储介质 |
CN109376864A (zh) * | 2018-09-06 | 2019-02-22 | 电子科技大学 | 一种基于堆叠神经网络的知识图谱关系推理算法 |
CN109558494A (zh) * | 2018-10-29 | 2019-04-02 | 中国科学院计算机网络信息中心 | 一种基于异质网络嵌入的学者名字消歧方法 |
CN110322021B (zh) * | 2019-06-14 | 2021-03-30 | 清华大学 | 大规模网络表征学习的超参数优化方法和装置 |
CN112559734B (zh) * | 2019-09-26 | 2023-10-17 | 中国科学技术信息研究所 | 简报生成方法、装置、电子设备及计算机可读存储介质 |
CN111292062B (zh) * | 2020-02-10 | 2023-04-25 | 中南大学 | 基于网络嵌入的众包垃圾工人检测方法、***及存储介质 |
CN112148876B (zh) * | 2020-09-23 | 2023-10-13 | 南京大学 | 一种论文分类和推荐方法 |
CN117648670B (zh) * | 2024-01-24 | 2024-04-12 | 润泰救援装备科技河北有限公司 | 救援数据融合方法、电子设备、存储介质及救援消防车 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106250438A (zh) * | 2016-07-26 | 2016-12-21 | 上海交通大学 | 基于随机游走模型的零引用文章推荐方法及*** |
CN106777339A (zh) * | 2017-01-13 | 2017-05-31 | 深圳市唯特视科技有限公司 | 一种基于异构网络嵌入模型识别作者的方法 |
CN107451596A (zh) * | 2016-05-30 | 2017-12-08 | 清华大学 | 一种网络节点分类方法及装置 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8918431B2 (en) * | 2011-09-09 | 2014-12-23 | Sri International | Adaptive ontology |
-
2017
- 2017-12-11 CN CN201711308050.6A patent/CN108228728B/zh not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107451596A (zh) * | 2016-05-30 | 2017-12-08 | 清华大学 | 一种网络节点分类方法及装置 |
CN106250438A (zh) * | 2016-07-26 | 2016-12-21 | 上海交通大学 | 基于随机游走模型的零引用文章推荐方法及*** |
CN106777339A (zh) * | 2017-01-13 | 2017-05-31 | 深圳市唯特视科技有限公司 | 一种基于异构网络嵌入模型识别作者的方法 |
Also Published As
Publication number | Publication date |
---|---|
CN108228728A (zh) | 2018-06-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108228728B (zh) | 一种参数化的论文网络节点表示学习方法 | |
Suthaharan et al. | Decision tree learning | |
Tran et al. | On filter size in graph convolutional networks | |
CN110147911B (zh) | 一种基于内容感知的社交影响力预测模型及预测方法 | |
CN112508085A (zh) | 基于感知神经网络的社交网络链路预测方法 | |
Liu et al. | Fuzzy mutual information-based multilabel feature selection with label dependency and streaming labels | |
Amin | A novel classification model for cotton yarn quality based on trained neural network using genetic algorithm | |
CN112633481A (zh) | 一种多跳图卷积神经网络模型及其训练方法 | |
Nasiri et al. | A node representation learning approach for link prediction in social networks using game theory and K-core decomposition | |
CN104035978B (zh) | 社团发现方法及*** | |
Cruickshank | Multi-view Clustering of Social-based Data. | |
US11669727B2 (en) | Information processing device, neural network design method, and recording medium | |
Coscia et al. | The node vector distance problem in complex networks | |
Jenny Li et al. | Evaluating deep learning biases based on grey-box testing results | |
Lokhande et al. | Accelerating column generation via flexible dual optimal inequalities with application to entity resolution | |
Sun et al. | Graph embedding with rich information through heterogeneous network | |
Fu et al. | A community detection algorithm using network topologies and rule-based hierarchical arc-merging strategies | |
CN112507185B (zh) | 用户肖像的确定方法和装置 | |
CN113159976B (zh) | 一种微博网络重要用户的识别方法 | |
Javaheripi et al. | Swann: Small-world architecture for fast convergence of neural networks | |
Kim et al. | Network analysis for active and passive propagation models | |
CN114842247A (zh) | 基于特征累加的图卷积网络半监督节点分类方法 | |
Jayachitra Devi et al. | Link prediction model based on geodesic distance measure using various machine learning classification models | |
Montiel et al. | Reducing the size of combinatorial optimization problems using the operator vaccine by fuzzy selector with adaptive heuristics | |
Ferdaus et al. | A genetic algorithm approach using improved fitness function for classification rule mining |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20200717 |