CN111598223B - 一种基于属性和结构深度融合的网络嵌入方法及其模型 - Google Patents

一种基于属性和结构深度融合的网络嵌入方法及其模型 Download PDF

Info

Publication number
CN111598223B
CN111598223B CN202010410196.7A CN202010410196A CN111598223B CN 111598223 B CN111598223 B CN 111598223B CN 202010410196 A CN202010410196 A CN 202010410196A CN 111598223 B CN111598223 B CN 111598223B
Authority
CN
China
Prior art keywords
network
attribute
network node
node
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010410196.7A
Other languages
English (en)
Other versions
CN111598223A (zh
Inventor
张贤坤
罗学雄
马蕴玢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University of Science and Technology
Original Assignee
Tianjin University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University of Science and Technology filed Critical Tianjin University of Science and Technology
Priority to CN202010410196.7A priority Critical patent/CN111598223B/zh
Publication of CN111598223A publication Critical patent/CN111598223A/zh
Application granted granted Critical
Publication of CN111598223B publication Critical patent/CN111598223B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于属性和结构深度融合的网络嵌入方法，包括以下步骤：S1.得到重构后编码层的节点属性特征；S2.获得带有节点属性特征的节点属性信息序列；S3.将节点属性信息序列翻译为节点身份序列，得到能保留原有网络的网络结构和节点属性信息的节点嵌入向量表示；还公开了一种基于属性和结构深度融合的网络嵌入模型，包括：多模态属性感知模块、属性嵌入层和多跳结构感知模块；所述多模态属性感知模块通过所述属性嵌入层与所述多跳结构感知模块相连；本发明中不仅能捕获低阶结构和节点属性相似性，还能捕获高阶结构语义和节点属性相似性，最终得到的节点嵌入向量表示能深度融合网络结构和节点属性信息。

Description

一种基于属性和结构深度融合的网络嵌入方法及其模型
技术领域
本发明涉及网络嵌入技术领域，更具体的说是涉及一种基于属性和结构深度融合的网络嵌入方法及其模型。
背景技术
数据挖掘领域一直是备受大众关注的领域，尤其随着近几年各种社会网络数据的大量出现，比如微博网络、交通运输网络等，使得针对关于社会网络的研究分析变得尤为重要。由于这些网络数据具有大规模、高度非线性和丰富的节点属性信息的特征，传统的基于网络邻接矩阵的进行分析的方法，很容易出现计算资源和空间资源成本高昂的问题，使得无法进行有效的数据分析任务，比如网络节点分类和聚类任务、推荐任务和可视化任务等。因此，网络嵌入技术的研究出现使得这一问题得以有效解决，它旨在寻找一个合适的映射函数将大规模和高纬度网络数据映射到一个低纬度的向量空间，同时保留原有网络的固有属性，即将学习到所有网络节点的嵌入向量表示。这样的节点嵌入向量表示不但能有效的保留原有网络的结构和属性特征，而且能有效的被机器学习相关技术使用，便于进一步的网络数据研究分析。
尽管现在网络嵌入研究已有些非常好的工作，比如针对捕获网络结构信息的网络嵌入方法，DeepWalk方法提出通过截断随机游走得到节点序列，然后利用自然语言处理技术中skip-gram模型去学得网络节点的嵌入向量表示。LINE方法就提出对网络结构的一阶和二阶相似性建模，考虑到直接相连的两个节点拥有相近的向量表示，即使不相连的节点但它们拥有共同的邻居也会有相近的向量表示，从而设计针对性的损失函数得到有效的节点嵌入向量表示。为了解决网络数据的高度非线性问题，SDNE方法利用深度自编码器技术去挖掘网络结构信息同时保留网络结构的高度非线性。然而，在真实的网络数据中，网络节点是有丰富的属性信息，因此针对联合捕获网络结构和节点属性信息的方法也随之提出，比如SNE方法提出对社会网络中节点的结构和属性相似性进行学习。ANRL方法设计基于自编码器的属性感知skip-gram模块去捕获网络结构和节点属性相似性。STNE方法提出利用自我翻译网络嵌入模型来深度融合网络结构和节点属性信息得到有效的节点嵌入向量表示。
所有上述的网络嵌入方法虽然在有些网络分析任务上有着良好的表现，但是还存在着以下几个问题。首先大部分方法都是分别建模网络结构相似性和节点属性相似性，然后融合考虑学习最终的网络节点嵌入向量表示；第二现实网络中存在着高阶结构语义相似性，换句话说两个节点尽管相隔很远，但是两个节点所处的邻居范围内结构语义相似，因此这两个节点也是语义相似的；第三现有的大部分方法仅仅是考虑如何在整体框架中融合网络结构和节点属性信息，忽略了在低阶结构和高阶结构语义中的节点属性语义关系的相似性。
综上所述，现有的网络嵌入方法针对以上提出的问题目前还没有很好的解决方法，因此，如何提供一种能有效解决上述缺陷的基于属性和结构深度融合的网络嵌入方法及其模型是本领域技术人员亟需解决的问题。
发明内容
有鉴于此，本发明提供了一种基于属性和结构深度融合的网络嵌入方法及其模型，通过该方法及其模型所学习到的网路节点嵌入向量表示能有效保留原有网络的丰富属性，并且有效的利用在众多的网络数据分析任务上，提升网络分析的精度。
为了实现上述目的，本发明采用如下技术方案：
一种基于属性和结构深度融合的网络嵌入方法，包括以下步骤：
S1.通过启发式方法融合当前节点的所有邻居节点的节点属性特征，得到融合后的节点属性特征，利用深度自动编码器对网络中各个节点的节点属性特征进行编码和解码，进而对解码后的节点属性特征与融合后的节点属性特征进行重构，得到重构后编码层的节点属性特征；
S2.将重构后编码层的节点属性特征和通过随机游走生成的节点序列进行融合，获得带有节点属性特征的节点属性信息序列；
S3.将节点属性信息序列输入至自我翻译框架中，构建节点属性信息序列到节点身份序列的自我翻译过程，得到能保留原有网络的网络结构和节点属性信息的节点嵌入向量表示；
S4.通过真实网络数据集进行验证。
优选的，在S1中，得到融合后的节点属性特征的具体内容为：每个节点属性特征更新为当前节点所有邻居节点属性特征的中值，融合后的节点属性特征表示为：
其中|N(i)|是节点ui的邻居，k是节点属性特征向量的第k个维度。
优选的，在S3中，节点属性信息序列到节点身份序列的自我翻译过程具体包括以下内容：
对节点属性信息序列进行编码，引入注意力机制对编码后所学到的特征信息进行权重分配，并进一步进行解码，最后实现整个节点属性信息序列到节点身份序列的自我翻译过程。
优选的，对节点属性信息序列进行编码后输出的隐层表示为网络节点嵌入向量表示。
一种基于属性和结构深度融合的网络嵌入模型，包括：多模态属性感知模块、属性嵌入层和多跳结构感知模块；所述多模态属性感知模块通过所述属性嵌入层与所述多跳结构感知模块相连；
所述多模态属性感知模块，用于通过启发式方法融合当前节点的所有邻居节点的节点属性特征，得到融合后的节点属性特征，利用深度自动编码器对网络中各个节点的节点属性特征进行编码和解码，进而对解码后的节点属性特征与融合后的节点属性特征进行重构，得到重构后编码层的节点属性特征；
所述属性嵌入层，用于将所述多模态属性感知模块得到的重构后编码层的节点属性特征和通过随机游走生成的节点序列进行融合，获得带有节点属性特征的节点属性信息序列；
所述多跳结构感知模块，用于将所述属性嵌入层所获得的节点属性信息序列输入至自我翻译框架中，构建节点属性信息序列到节点身份序列的自我翻译过程，得到能保留原有网络的网络结构和节点属性信息的节点嵌入向量表示。
优选的，所述多模态属性感知模块包括邻居节点融合单元、深度自动编码器和重构单元；所述邻居节点融合单元、所述深度自动编码器和所述重构单元依次连接；
其中，所述邻居节点融合单元用于获取融合后的节点属性特征；
所述深度自动编码器包括第一编码层和第一解码层，所述第一编码层用于对网络中各个节点的节点属性特征进行编码，所述第一解码层用于对编码后的节点属性特征进行解码，得到解码后的节点属性特征；
所述重构单元，用于对解码后的节点属性特征与融合后的节点属性特征进行重构。
优选的，所述多跳结构感知模块包括：自我翻译框架和注意力层；
所述自我翻译框架包括第二编码层、第二解码层、翻译层和softmax层；
所述第二编码层用于对节点属性信息序列进行编码；
所述注意力层设置于所述第二编码层和所述第二解码层之间，用于向所述自我翻译框架内引入注意力机制从而对编码后所学到的特征信息进行权重分配；
所述第二解码层用于对编码后并进行过权重分配的节点属性信息序列进行解码；
所述翻译层，用于将第二解码层解码后得到的节点语义特征向量翻译到节点身份序列；
所述softmax层，用于将翻译层得到的特征向量转换为概率值。
经由上述的技术方案可知，与现有技术相比，本发明公开提供了一种基于属性和结构深度融合的网络嵌入方法及其模型，针对现有技术中存在的问题，通过本发明中所公开的该方法及其模型所得到的节点嵌入向量表示不仅能捕获低阶的结构和属性相似性，还能进一步捕获高阶结构语义和节点属性相似性，同时还能有效保留原有网络的结构和属性特征，有效保证了其精确性和实用性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1附图为本发明提供的一种基于属性和结构深度融合的网络嵌入方法的动机结构图；
图2附图为本发明提供的一种基于属性和结构深度融合的网络嵌入模型的整体架构图；
图3附图为考虑输入到多跳结构感知模块中不同属性特征嵌入维度在三个数据集上的节点分类任务的影响的柱状图；
图4附图为考虑随机游走中不同游走长度在三个数据集上的节点分类任务的影响的柱状图；
图5附图为考虑不同的节点嵌入表示在三个数据集上的节点分类任务的差别的折线图；
图6附图为本发明提供的对模型在不同模块进行消融实验上三个数据集的节点分类任务的影响的折线图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例公开了一种基于属性和结构深度融合的网络嵌入方法及其模型。
如图所示，图1表示的是真实的论文索引网络。该模型的动机分为两部分：首先它建模了低阶网络结构，也就是说，论文3和论文5直接索引对方，则这种结构关系属于一阶网络结构，论文4和论文5虽然不直接索引对方，但是它们都索引了论文1，论文2和论文3，所以这种享有共同邻居的结构属于二阶网络结构。特别地也建模了论文节点本身的属性语义关系即论文的摘要内容。第二，它建模了高阶结构语义，如图，论文5和论文8即使相隔很远，也没有二阶结构关系，但是由于前面我们同时建模了低阶结构和节点属性语义信息，因此可以建模到结构语义信息，也就是说，论文5索引的论文1，论文2和论文3与论文8索引的论文9，论文10和论文11都是同一个研究领域的研究论文，那么论文5和论文8也应该属于同一个研究领域的论文，因此能捕获到这种高阶结构语义信息，同时也考虑了论文5和论文8的本身属性语义关系。
图2为该模型整体架构图。如图2所示，具体步骤如下：
多模态属性感知模块使用深度自编码器对节点属性信息进行编码和解码。然后，提出一种启发式方法，通过整合节点邻居的属性来获得一个新的节点属性特征。最后，重构节点邻居的属性特征,而不是自己的原始属性。在属性嵌入层中，将学习到的节点属性特征与截断随机游走后生成的节点序列相融合，构造节点属性序列。对于多跳结构感知模块，本实施例使用一个增强注意力的seq2seq框架将网络从节点属性序列翻译为节点身份序列。
表1验证本模型有效性的真实网络数据集统计表
数据集 节点数 边数 属性特征维度 类别数
Cora 2708 5429 1433 7
Citeseer 3327 4732 3703 6
Wiki 2405 17981 4973 17
如表1所示，各种不同数据集内容如下：
Cora和Citeseer是两个论文引用网络，其中节点是文章，边表示文章之间的引用。从每篇文章的标题和摘要中提取与节点相关的属性，并将其表示为TFIDF向量。Wiki是一个web页面网络，其中节点表示web页面，边表示web页面之间的超链接。相关节点的属性也表示为TFIDF向量。
表2本模型中多模态属性感知模块的架构表
数据集 每层的神经元数
Cora 1433-1300-1200
Citeseer 3703-2500-1200
Wiki 4973-2500-1200
如表2所示，具体架构如下：
由于在多模态属性感知模块中，本实施例中设计了深度自编码器，因此在针对不同的数据集设计了不同的深度自编码器结构。对于Cora数据集，由于它的属性特征维度为1433，因此编码层设计了三层，每层的神经元个数依次为1433，1300和1200，然后对于解码层则相反，同样设计了三层，每层的神经元个数依次为1200,1300和1433。对于另外两个数据集的自编码器结构同理。
表3本模型中多跳结构感知模块的架构表
数据集 Cora Citeseer Wiki
嵌入维度 1200 1200 1200
前向编码层维度 500 500 500
前向编码层神经元数 1 2 1
后向编码层维度 500 500 500
后向编码层神经元数 1 2 1
上下文向量维度 1000 2000 1000
解码层维度 1000 2000 1000
预测层维度 2708 3327 2405
如表3所示，具体内容如下：
在多跳结构感知模块中，本实施例中设计了一个注意力增强的seq2seq框架，因此对于不同数据集上的结构也做了不同的定制。首先对于Cora数据集上说，由于前一个模块的最终编码层输出的维度是1200，因此即作为该模块的输入维度，对于前向编码层的维度设置为500，且层数为1，对于后向编码层的维度设置500，层数为1，最终Bi-LSTM输出的维度为1000，设计解码层的输出维度为1000，设计了预测层输出维度为2708，也就是Cora数据集的节点个数。对于其他两个数据集的结构设计如图所示，同理。
表4为本模型(下文中使用DASE作为本模型的简称)与现有的基线模型在三个真实网络数据集中的节点分类任务对比表(表4.1，表4.2，表4.3分别表示在Cora，Citeseer，Wiki数据集上的实验结果)，具体结果如下：
表4.1(Cora)
表4.2(Citeseer)
表4.3(Wiki)
为了进行综合评价该模型的性能，本实施例中随机选取训练中标签节点的百分比，从10％到50％，其余为测试集。重复这个过程10次，并以Micro-F1的形式报告平均性能。据此，可以看出：首先，DASE始终在所有方法中保持最佳性能。其次，值得注意的是，当训练的标签节点较少时，DASE也可以获得显著的性能。例如在Cora和Citeseer上，DASE分别提高了2.34％和3.92％。
表5为本模型与其他基线模型在三个真实数据集上的分类任务结果做的显著分析表：
表5
为了证明DASE确实是统计上优于基线模型，本实施例中统计成对t检验(自信水平α＝0.05)来验证和6个基线算法之间的统计学意义。在表5中，其中每个条目(值)表示两个算法之间的假定值t检验，并假定值小于α＝0.05表明差异具有统计学意义。从表中可以看出，除了在Citeseer上使用DASE和STNE的F1评分结果(p-value＝0.1661)外，本实施例中的模型与其他模型在三个数据集上有显著性的差异。
图3为考虑输入到多跳结构感知模块中不同属性特征嵌入维度(d)在三个数据集上的节点分类任务的影响的柱状图(从左至右依次是在Cora，Citeseer，Wiki数据集的结果)，具体分析如下：
为了研究在标签训练节点的百分比(r)从10％到50％时，属性特征嵌入维度对三个数据集的影响，本实施例中将其变化范围从200到1200或1600。从图中可以看出，在不同的维度下，DASE对Cora的性能是稳定的。
然而，在Wiki和Citeseer上的表现是波动的，并且嵌入维度的最佳值为1200。其原因是嵌入维度是Bi-LSTM编码器层的输入，当嵌入维度过低时，特征信息丢失。相反，当嵌入维度过高时，会产生大量的噪声。
图4为考虑随机游走中不同游走长度(l)在三个数据集上的节点分类任务的影响的柱状图(从左至右依次是在Cora，Citeseer，Wiki数据集的结果)，具体分析如下：
为了研究在标签训练节点的百分比(r)从10％到50％时，随机游走长度对三个数据集的影响，本实施例中将其变化范围从6到20。从图中可以看出，不同长度的DASE对Cora的性能是稳定的。对于Citeseer和Wiki来说，当长度增加时，最初的性能会有所提高。然而，当随机游动的长度大于10时，性能开始缓慢下降。
图5为考虑不同的节点嵌入表示在三个数据集上的节点分类任务的差别的折线图(从左至右依次是在Cora，Citeseer，Wiki数据集的结果)，具体分析如下：
该模型有以下三个节点表示:Bi-LSTM编码器的输出(e),LSTM解码器的输出层(d)，和编码器和解码器输出的结合(ed)。为了探索以上不同节点表示的影响，本实施例中在以上三个数据集上进行节点分类实验。如图所示，可以看到，在所有数据集上，编码器层输出的节点表示实验结果比其他节点表示的实验结果都要好。
图6对模型在不同模块进行消融实验上三个数据集的节点分类任务的影响的折线图(从左至右依次是在Cora，Citeseer，Wiki数据集的结果)，具体分析如下。
为了全面分析本模型的有效性和效率性，本实施例中在三个数据集上对三个不同的变量进行了实验，即增强矩阵、自编码器和注意力，它们表示在本模型中分别去掉了属性增强矩阵、自编码器和注意力。所做的分类结果如图所示，可以看到DASE达到最佳性能相比其他变体。
本发明中提供了一种基于属性和结构深度融合网络嵌入方法及其模型，其中该模型由两个模块组成，对于多模态属性感知模块，它初始化和重构节点属性特征表示，使得能捕获低阶结构和节点属性相似性；对于多跳结构感知模块，它将属性信息序列翻译到节点身份序列，使得能捕获高阶结构语义和节点属性相似性。并且得益于这两个模块的高度耦合，最终得到的节点嵌入向量表示能深度融合网络结构和节点属性信息。相比现有技术中存在的网络嵌入技术，本发明能考虑实际的使用意义，更能深度融合网络结构和节点属性信息，同时在模型设计上也具有一定的稳健性，易于实现，并且在运行效率方面也更加高效。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (7)

1.一种基于属性和结构深度融合的网络嵌入方法，其特征在于，应用于论文索引网络，用于对网络中大量数据进行挖掘分析，其中，所述论文索引网络包括多个网络节点，建模了低阶网络结构、节点属性语义信息和高阶结构语义；所述论文节点属性语义信息即论文的摘要内容；该方法具体包括以下步骤：
S1.获取论文索引网络中当前网络节点所有邻居节点的节点属性特征，通过启发式方法融合当前网络节点所有邻居节点的网络节点属性特征，得到融合后的网络节点属性特征表示，实现论文索引网络节点属性特征表示的初始化；利用深度自动编码器对论文索引网络中各个网络节点的节点属性特征进行编码和解码，进而对解码后的网络节点属性特征与融合后的网络节点属性特征进行重构，得到重构后编码层的网络节点属性特征表示，实现论文索引网络属性特征表示的重构；
S2.将重构后编码层的网络节点属性特征和通过随机游走生成的网络节点序列进行融合，获得带有节点属性特征的网络节点属性信息序列；
S3.将网络节点属性信息序列输入至自我翻译框架中，构建网络节点属性信息序列到网络节点身份序列的自我翻译过程，得到能保留原有网络的网络结构和节点属性信息的网络节点嵌入向量表示；
S4.通过真实网络数据集对网络节点嵌入向量表示进行验证。
2.根据权利要求1所述的一种基于属性和结构深度融合的网络嵌入方法，其特征在于，在S1中，得到融合后的网络节点属性特征的具体内容为：每个网络节点属性特征更新为当前网络节点所有邻居节点属性特征的中值，融合后的网络节点属性特征表示为：
其中|N(i)|是网络节点ui的邻居，k是网络节点属性特征向量的第k个维度。
3.根据权利要求1所述的一种基于属性和结构深度融合的网络嵌入方法，其特征在于，在S3中，网络节点属性信息序列到网络节点身份序列的自我翻译过程具体包括以下内容：
对网络节点属性信息序列进行编码，引入注意力机制对编码后所学到的网络节点特征信息进行权重分配，并进一步进行解码，最后实现整个网络节点属性信息序列到网络节点身份序列的自我翻译过程。
4.根据权利要求3所述的一种基于属性和结构深度融合的网络嵌入方法，其特征在于，对网络节点属性信息序列进行编码后输出的隐层表示为网络节点嵌入向量表示。
5.一种基于属性和结构深度融合的网络嵌入模型，其特征在于，应用于论文索引网络，用于对网络中大量数据进行挖掘分析，其中，所述论文索引网络包括多个网络节点，建模了低阶网络结构、节点属性语义信息和高阶结构语义；所述论文节点属性语义信息即论文的摘要内容；
该网络嵌入模型包括：多模态属性感知模块、属性嵌入层和多跳结构感知模块；所述多模态属性感知模块通过所述属性嵌入层与所述多跳结构感知模块相连；
所述多模态属性感知模块，用于获取论文索引网络中当前网络节点所有邻居节点的节点属性特征，通过启发式方法融合当前网络节点所有邻居节点的节点属性特征，得到融合后的网络节点属性特征表示，实现论文索引网络节点属性特征表示的初始化；利用深度自动编码器对论文索引网络中各个网络节点的节点属性特征进行编码和解码；进而对解码后的网络节点属性特征与融合后的网络节点属性特征进行重构，得到重构后编码层的网络节点属性特征表示，实现论文索引网络属性特征表示的重构；
所述属性嵌入层，用于将所述多模态属性感知模块得到的重构后编码层的网络节点属性特征和通过随机游走生成的网络节点序列进行融合，获得带有节点属性特征的网络节点属性信息序列；
所述多跳结构感知模块，用于将所述属性嵌入层所获得的节点属性信息序列输入至自我翻译框架中，构建节点属性信息序列到节点身份序列的自我翻译过程，得到能保留原有网络的网络结构和节点属性信息的节点嵌入向量表示。
6.根据权利要求5所述的一种基于属性和结构深度融合的网络嵌入模型，其特征在于，所述多模态属性感知模块包括邻居节点融合单元、深度自动编码器和重构单元；所述邻居节点融合单元、所述深度自动编码器和所述重构单元依次连接；
其中，所述邻居节点融合单元用于获取融合后的网络节点属性特征表示；
所述深度自动编码器包括第一编码层和第一解码层，所述第一编码层用于对网络中各个节点的节点属性特征进行编码，所述第一解码层用于对编码后的网络节点属性特征进行解码，得到解码后的网络节点属性特征；
所述重构单元，用于对解码后的网络节点属性特征与融合后的网络节点属性特征进行重构。
7.根据权利要求5所述的一种基于属性和结构深度融合的网络嵌入模型，其特征在于，所述多跳结构感知模块包括：自我翻译框架和注意力层；
所述自我翻译框架包括第二编码层、第二解码层、翻译层和softmax层；
所述第二编码层用于对网络节点属性信息序列进行编码；
所述注意力层设置于所述第二编码层和所述第二解码层之间，用于向所述自我翻译框架内引入注意力机制从而对编码后所学到的网络节点特征信息进行权重分配；
所述第二解码层用于对编码后并进行过权重分配的网络节点属性信息序列进行解码；
所述翻译层，用于将第二解码层解码后得到的网络节点语义特征向量翻译到网络节点身份序列；
所述softmax层，用于将翻译层得到的网络节点语义特征向量转换为概率值。
CN202010410196.7A 2020-05-15 2020-05-15 一种基于属性和结构深度融合的网络嵌入方法及其模型 Active CN111598223B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010410196.7A CN111598223B (zh) 2020-05-15 2020-05-15 一种基于属性和结构深度融合的网络嵌入方法及其模型

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010410196.7A CN111598223B (zh) 2020-05-15 2020-05-15 一种基于属性和结构深度融合的网络嵌入方法及其模型

Publications (2)

Publication Number Publication Date
CN111598223A CN111598223A (zh) 2020-08-28
CN111598223B true CN111598223B (zh) 2023-10-24

Family

ID=72182421

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010410196.7A Active CN111598223B (zh) 2020-05-15 2020-05-15 一种基于属性和结构深度融合的网络嵌入方法及其模型

Country Status (1)

Country Link
CN (1) CN111598223B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112541340B (zh) * 2020-12-18 2021-11-23 昆明理工大学 基于变分双主题表征的弱监督涉案微博评价对象识别方法
CN112953825A (zh) * 2021-01-26 2021-06-11 中山大学 一种属性异构网络嵌入方法、装置、设备和介质
CN116094952B (zh) * 2023-01-04 2024-05-14 中国联合网络通信集团有限公司 网络结构相似度的确定方法、装置、设备以及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107516110A (zh) * 2017-08-22 2017-12-26 华南理工大学 一种基于集成卷积编码的医疗问答语义聚类方法
CN110598061A (zh) * 2019-09-20 2019-12-20 东北大学 一种多元图融合的异构信息网嵌入方法
CN111104797A (zh) * 2019-12-17 2020-05-05 南开大学 一种基于对偶的序列到序列生成的论文网络表示学习方法
CN111127146A (zh) * 2019-12-19 2020-05-08 江西财经大学 基于卷积神经网络与降噪自编码器的信息推荐方法及***

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8380723B2 (en) * 2010-05-21 2013-02-19 Microsoft Corporation Query intent in information retrieval
US11544530B2 (en) * 2018-10-29 2023-01-03 Nec Corporation Self-attentive attributed network embedding

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107516110A (zh) * 2017-08-22 2017-12-26 华南理工大学 一种基于集成卷积编码的医疗问答语义聚类方法
CN110598061A (zh) * 2019-09-20 2019-12-20 东北大学 一种多元图融合的异构信息网嵌入方法
CN111104797A (zh) * 2019-12-17 2020-05-05 南开大学 一种基于对偶的序列到序列生成的论文网络表示学习方法
CN111127146A (zh) * 2019-12-19 2020-05-08 江西财经大学 基于卷积神经网络与降噪自编码器的信息推荐方法及***

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Liu Jie,et al.Content to Node:Self-Translation Network Embedding.KDD‘18：PROCEEDING OF THE 24TH ACM SIGKDD INTERNATIONAL CONFERENCE ON KNOWLEDGE DISCOVER&DATA MINING.2018,1794-1802. *
融合节点描述属性信息的网络表示学习算法;刘正铭，等;计算机应用;第39卷(第4期);1012-1020 *

Also Published As

Publication number Publication date
CN111598223A (zh) 2020-08-28

Similar Documents

Publication Publication Date Title
CN111598223B (zh) 一种基于属性和结构深度融合的网络嵌入方法及其模型
Wu et al. Structural entropy guided graph hierarchical pooling
Yang et al. From properties to links: Deep network embedding on incomplete graphs
CN111753024B (zh) 一种面向公共安全领域的多源异构数据实体对齐方法
CN111538848A (zh) 一种融合多源信息的知识表示学习方法
CN106909643A (zh) 基于知识图谱的社交媒体大数据主题发现方法
CN111899089A (zh) 基于知识图谱的企业风险预警方法及***
CN111460818A (zh) 一种基于增强胶囊网络的网页文本分类方法及存储介质
CN115017299A (zh) 一种基于去噪图自编码器的无监督社交媒体摘要方法
Zhang et al. Log sequence anomaly detection based on local information extraction and globally sparse transformer model
Vergari et al. Sum-product autoencoding: Encoding and decoding representations using sum-product networks
CN114218389A (zh) 一种基于图神经网络的化工制备领域长文本分类方法
Ganesh et al. Interpretation of semantic tweet representations
Park et al. Future trends of IoT, 5G mobile networks, and AI: challenges, opportunities, and solutions
Shao et al. Heterogeneous graph neural network with multi-view representation learning
CN117251779A (zh) 基于全局感知神经网络的节点分类方法
CN116467438A (zh) 一种基于图注意力机制的威胁情报归因方法
CN116958997B (zh) 一种基于异质图神经网络的图文摘要方法及***
CN108595466B (zh) 一种互联网信息过滤以及互联网用户信息和网帖结构分析方法
Li et al. Variational graph autoencoder with adversarial mutual information learning for network representation learning
CN116796288A (zh) 一种面向工业文档的多模态信息提炼方法和***
CN113688207B (zh) 基于网络的结构阅读理解的建模处理方法和装置
Dou et al. Graph embedding framework based on adversarial and random walk regularization
CN112015891A (zh) 基于深度神经网络的网络问政平台留言分类的方法及***
Peng et al. Designing a novel linear‐time graph kernel for semantic link network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant