CN116956081A - 面向异构社交网络分布外泛化的社交标签预测方法及*** - Google Patents

面向异构社交网络分布外泛化的社交标签预测方法及*** Download PDF

Info

Publication number
CN116956081A
CN116956081A CN202310720948.3A CN202310720948A CN116956081A CN 116956081 A CN116956081 A CN 116956081A CN 202310720948 A CN202310720948 A CN 202310720948A CN 116956081 A CN116956081 A CN 116956081A
Authority
CN
China
Prior art keywords
graph
social network
heterogeneous
propagation
social
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310720948.3A
Other languages
English (en)
Inventor
况琨
张瑞豪
陈政聿
吴飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN202310720948.3A priority Critical patent/CN116956081A/zh
Publication of CN116956081A publication Critical patent/CN116956081A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/042—Knowledge-based neural networks; Logical representations of neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种面向异构社交网络分布外泛化的社交标签预测方法及***。本发明包括如下步骤：1)将社交网络数据构建为异构社交网络图；2)对异构社交网络图进行初始的聚类划分；3)将经过聚类后的异构社交网络图输入基于图神经网络的自适应邻域传播模块中，在图中已有的社交信息标签监督下对自适应邻域传播模块进行一轮参数优化；4)利用经过新一轮参数优化后的自适应邻域传播模块，对异构社交网络图重新进行图特征信息的提取，然后利用更新后的图特征信息重新进行聚类簇划分；5)重复迭代，完成自适应邻域传播模块的训练并用于预测。本发明对训练集分布外的异构社交网络数据具有较强的鲁棒性和准确率，可准确预测用户标签。

Description

面向异构社交网络分布外泛化的社交标签预测方法及***
技术领域
本发明涉及机器学习领域，尤其涉及用于异构社交网络数据中，训练数据与测试数据的分布不同的图神经网络模型训练的方法、装置及***。
背景技术
图神经网络(Graph Neural Network，GNN)是近年来出现的一种利用深度学习直接对图结构数据进行学习的框架，它使用神经网络来学习图结构数据，提取和发掘图结构数据中的特征和模式，可满足聚类、分类、预测、分割、生成等图学习任务需求。
在社交网络领域中，GNN的一种典型应用是基于图的社交标签预测，此类场景可以用户为节点，通过利用GNN来预测用户节点的社交标签，如根据用户认识的其他用户喜欢的音乐类型，预测该用户喜欢的音乐类型等。但是，目前大多数现有的方法都假设训练和测试数据是独立且分布相同的，而在社交网络往往是一种异构网络，训练和测试数据之间的分布可能不同。由于缺乏分布外泛化能力，现有方法的模型性能在应用于与训练数据不同分布的数据集中会出现性能的显著降低。因此，学习具有分布外泛化能力的图神经网络，对于异构社交网络中的社交标签预测是至关重要的。
发明内容
本发明的目的是克服现有异构图神经网络算法在异构社交网络数据中，训练数据与测试数据的分布不同造成性能下降的问题，并提出了一种面向异构社交网络分布外泛化的社交标签预测方法，该方法可以直接在图神经网络的表征层面进行不变学习，从而在不同分布的测试数据集上都可以进行稳定而准确的预测。
本发明具体采用的技术方案如下：
第一方面，本发明提供了一种面向异构社交网络分布外泛化的社交标签预测方法，其包括如下步骤：
S1、将部分带有社交信息标签的社交网络数据构建为异构社交网络图，图中的每个节点代表一个用户，若用户与用户之间存在社交关系则在对应的两个用户节点之间建立边连接，若用户与用户之间不存在社交关系则在对应的两个用户节点之间不存在边连接；
S2、以异构社交网络图的节点特征和邻边数据初始化图特征信息，从异构社交网络图中随机选择若干个节点确定聚类中心，并将图中的所有节点通过环境聚类模块划分成若干个聚类簇，每个聚类簇构成异构社交网络图中的一个图环境；
S3、将经过聚类后的异构社交网络图输入基于图神经网络的自适应邻域传播模块中，在图中已有的社交信息标签监督下对自适应邻域传播模块进行一轮参数优化；所述自适应邻域传播模块中，由不变传播层融合图中的高阶和低阶邻域信息，并通过自适应传播来捕捉自适应邻域信息，生成自适应传播步骤，并用生成的自适应传播步骤调整节点特征后再进行节点社交信息标签的预测；
S4、利用经过新一轮参数优化后的自适应邻域传播模块，对异构社交网络图重新进行图特征信息的提取，然后利用更新后的图特征信息重新计算当前每个聚类簇的聚类中心，并将图中的所有节点基于新的聚类中心重新划分成若干个聚类簇；
S5、不断重复S3和S4，对自适应邻域传播模块进行迭代训练，并在训练完毕后将异构社交网络图输入最终的自适应邻域传播模块，对没有社交信息标签的节点进行社交信息标签预测。
作为上述第一方面的优选，所述S2的具体步骤如下：
S201、对输入的异构社交网络图G，初始化图特征信息Φ(X,A)＝(X,A)，并随机选择从异构社交网络图G中随机选择K个节点，以这K个节点的节点特征和邻边数据作为聚类中心点μ1,μ2,...μK∈Rn，n为节点的节点特征和邻边数据的总特征维度；
S202、针对异构社交网络图G中的所有节点，通过环境聚类模块分别计算其节点特征和邻边数据到每个聚类中心点的距离，并将各节点划分至距离最近的聚类中心点所在聚类簇，从而形成K个聚类簇Ge∈εtr，每个聚类簇Ge对应为异构社交网络图中的一个图环境e，εtr为所有图环境的集合。
作为上述第一方面的优选，所述S3中，自适应邻域传播模块中包含final层不变传播层、生成网络和输出网络；
第l∈[1,final]层不变传播层的输出为：
H(l+1)＝σ(((1-αl)Hl+αlH(0))((1-βl)In+βlW(l)))
其中，αl和βl为两个代表权重的超参数，In是恒等映射，W(l)是第l层不变传播层的权重矩阵，σ是激活函数；Hl为第l层不变传播层的输入，其采用上一层不变传播层的输出，而对于第1层不变传播层，初始输入设置为 其中W是权重矩阵，Ak是异构社交网络图G的k-阶邻接矩阵，/>是通过MLP网络处理k-阶邻接矩阵Ak得到的嵌入，hX是通过MLP网络处理节点特征X得到的嵌入；
所述生成网络以初始输入和所有不变传播层的输出[H(0),H(1),…,H(final)]作为输入，通过Gumbel-Softmax输出一个维度为M×N的自适应传播步骤概率矩阵S；其中，M为异构社交网络图G中的节点数量，N＝final+1，矩阵S中的每一行向量均对应于异构社交网络图G中的一个节点，代表该节点中的最佳传播步骤s的概率分布；
所述输出网络以σ([H(0),H(1),...,H(final)]×S)作为输入，输出异构社交网络图G中每个节点对应的社交信息标签。
作为上述第一方面的优选，所述生成网络和输出网络均采用MLP网络。
作为上述第一方面的优选，所述S3中，对自适应邻域传播模块进行一轮参数优化的具体步骤如下：
S301、将异构社交网络图G输入基于图神经网络的自适应邻域传播模块中，并根据自适应邻域传播模块对每个图环境中所有已标注节点的标签预测结果，计算总损失函数：
式中：E和Var分别代表所有图环境的损失项Le的期望和方差；Le表示图环境e的损失项，它由聚类簇Ge中所有已标注节点预测结果的负对数似然损失以及最佳传播步骤的KL散度损失构成；
S302、根据计算得到的总损失函数Lp(G；θ)，通过反向传播对自适应邻域传播模块中的可学习参数进行梯度更新，完成一轮训练。
作为上述第一方面的优选，所述S301中，图环境e的损失项Le计算式为：
式中：pθ(y|ANP(X,A))为聚类簇Ge中所有已标注节点预测结果的负对数似然损失，表示所述生成网络预测得到的最佳传播步骤概率分布/>与最佳传播步骤的最优概率分布之间的KL散度。
作为上述第一方面的优选，所述S4的具体步骤如下：
S401、利用经过新一轮参数优化后的自适应邻域传播模块ANP(,)，对异构社交网络图重新进行图特征信息的提取Φ(X,A)＝ANP(X,A)，更新异构社交网络图G中各节点的节点特征和邻边数据(Xi,Ai)；
S402、利用更新后的图特征信息，重新计算当前每个聚类簇Ge中所有节点的节点特征和邻边数据(Xi,Ai)平均值，并作为每个聚类簇Ge的新聚类中心；
S403、重新计算异构社交网络图G中各节点的节点特征和邻边数据到每个新聚类中心点的距离，并将各节点划分至距离最近的新聚类中心点所在聚类簇，从而更新K个聚类簇Ge∈εtr。
第二方面，本发明提供了一种面向异构社交网络分布外泛化的社交标签预测***，其包括如下步骤：
图构建模块，用于将部分带有社交信息标签的社交网络数据构建为异构社交网络图，图中的每个节点代表一个用户，若用户与用户之间存在社交关系则在对应的两个用户节点之间建立边连接，若用户与用户之间不存在社交关系则在对应的两个用户节点之间不存在边连接；
初始聚类模块，用于以异构社交网络图的节点特征和邻边数据初始化图特征信息，从异构社交网络图中随机选择若干个节点确定聚类中心，并将图中的所有节点通过环境聚类模块划分成若干个聚类簇，每个聚类簇构成异构社交网络图中的一个图环境；
不变图数据表示学习模块，用于将经过聚类后的异构社交网络图输入基于图神经网络的自适应邻域传播模块中，在图中已有的社交信息标签监督下对自适应邻域传播模块进行一轮参数优化；所述自适应邻域传播模块中，由不变传播层融合图中的高阶和低阶邻域信息，并通过自适应传播来捕捉自适应邻域信息，生成自适应传播步骤，并用生成的自适应传播步骤调整节点特征后再进行节点社交信息标签的预测；
聚类更新模块，用于利用经过新一轮参数优化后的自适应邻域传播模块，对异构社交网络图重新进行图特征信息的提取，然后利用更新后的图特征信息重新计算当前每个聚类簇的聚类中心，并将图中的所有节点基于新的聚类中心重新划分成若干个聚类簇；
迭代训练和预测模块，用于不断重复不变图数据表示学习模块和聚类更新模块中的流程，对自适应邻域传播模块进行迭代训练，并在训练完毕后将异构社交网络图输入最终的自适应邻域传播模块，对没有社交信息标签的节点进行社交信息标签预测。
第三方面，本发明提供了一种计算机可读存储介质，其特征在于，所述存储介质上存储有计算机程序，当所述计算机程序被处理器执行时，实现如上述第一方面任一方案所述的面向异构社交网络分布外泛化的社交标签预测方法。
第三方面，本发明提供了一种计算机电子设备，其包括存储器和处理器；
所述存储器，用于存储计算机程序；
所述处理器，用于当执行所述计算机程序时，实现如上述第一方面任一方案所述的面向异构社交网络分布外泛化的社交标签预测方法。
相对于现有技术而言，本发明将图神经网络应用于分布外的异构社交网络预测，提出了一种新的不变邻域模式学习(INPL)框架，旨在缓解异构图上的分布偏移问题。具体而言：1)为了缓解异构图上的邻域模式分布偏移问题，本发明提出了自适应邻域传播(Adaptive Neighborhood Propagation,ANP)模块，其中不变传播层(InvariantPropagation Layer,IPL)被提出来结合高阶和低阶邻域信息，自适应传播(AdaptivePropagation,AP)用来捕捉自适应邻域信息。2)为了缓解未知测试环境中的分布偏移，本发明提出了不变的异构图学习(Invariant Non-homophilous Graph Learning)来约束自适应邻域传播，它在异构图上学习不变的图表示。本发明设计了环境聚类(EnvironmentClustering)模块来学习多个子图划分，而不变图形学习(Invariant GraphRepresentation Learning)模块在多个划分的子图的基础上学习不变的图表示。相比一般异构图神经网络算法，本发明对异构社交网络中训练集分布外的测试数据具有较强的鲁棒性和准确率。
附图说明
图1是面向异构社交网络分布外泛化的社交标签预测方法的步骤示意图。
图2为自适应邻域传播模块的网络结构图。
图3为面向异构社交网络分布外泛化的社交标签预测***的模块组成示意图。
图4为实施例中的训练和测试方法流程图。
具体实施方式
下面结合附图和具体实施方式对本发明做进一步阐述和说明。
如图1所示，在本发明的一个较佳实施例中，提供了一种面向异构社交网络分布外泛化的社交标签预测方法，该方法用于对社交网络数据中的无标签用户进行社交信息标签的预测。该预测方法具体包括如下步骤：
S1、将部分带有社交信息标签的社交网络数据构建为异构社交网络图G，图G中的每个节点代表一个用户，若用户与用户之间存在社交关系则在对应的两个用户节点之间建立边连接，若用户与用户之间不存在社交关系则在对应的两个用户节点之间不存在边连接。
在本发明中，社交网络数据是反映用户的社交行为的数据，例如用户添加某位好友，用户删除某位好友等等，均可为构建社交网络提供构图依据。两个用户之间存在社交关系和不存在社交关系分别表示这两个用户之间存在关联联系和不存在关联联系，用户的社交信息标签为用户的分类类型标签。用户的社交信息标签是一种对用户进行画像时的分类类别标签，具体的标签形式可以根据实际的应用场景决定，例如用户的性别、用户喜欢的音乐类型标签、用户自身的研究领域标签等等。而且，用户之间的关联联系具体也可以根据实际应用场景决定，例如在后续的实施例中，标签形式为用户的性别，而用户之间的关联联系可以代表两个用户之间是否为好友，例如用户与其他用户如果是好友关系，则用户代表的节点与其他用户代表的节点之间有边作为连接，而不是好友关系，则没有边。
针对本发明中异构社交网络图G中存在的分布异构问题，本发明涉及了一种基于图神经网络(GNN)的自适应邻域传播模块(Adaptive Neighborhood Propagation,ANP)。如图2所示，上述ANP模块中包含final层不变传播层(Invariant Propagation Layer,IPL)、生成网络和输出网络，下面对这三部分的网络结构各自进行具体描述。
11)不变传播层
为了结合高阶和低阶邻域信息，本发明将任意第l∈[1,final]层不变传播层设计为：
H(l+1)＝σ(((1-αl)Hl+αlH(0))((1-βl)In+βlW(l)))
其中，H(l+1)为第l层不变传播层的输出，αl和βl为两个代表权重的超参数，In是恒等映射，W(l)是第l层不变传播层的权重矩阵，σ是激活函数；Hl为第l层不变传播层的输入，其采用上一层不变传播层的输出，而对于第1层不变传播层，初始输入设置为其中W是权重矩阵，Ak是异构社交网络图G的k-阶邻接矩阵，/>是通过MLP网络处理k-阶邻接矩阵Ak得到的嵌入，hX是通过MLP网络处理节点特征X得到的嵌入。hX和/>的计算公式如下：
hX＝MLPX(X)∈Rd×n
式中：MLPX均为不同的MLP网络。
12)生成网络
生成网络以初始输入和所有不变传播层的输出[H(0),H(1),…,H(final)]作为输入，通过Gumbel-Softmax输出一个维度为M×N的自适应传播步骤概率矩阵S。其中，M为异构社交网络图G中的节点数量，N＝final+1，矩阵S中的每一行向量均对应于异构社交网络图G中的一个节点，代表该节点中的最佳传播步骤s的概率分布。在本发明的实施例中，上述生成网络采用MLP网络来实现，记为/>亦可用映射函数/>表示。
上述生成网络实际实现了一种自适应传播(Adaptive Propagation,AP)机制，也就是其学习了一个自适应传播步骤s，能够控制每个节点的最佳传播步骤，即每个节点具体用哪一层不变传播层的输出去后续的输出网络进行社交信息标签预测。由于在实践中没有办法直接获取邻域信息的最优传播。为了捕捉自适应邻域信息，本发明通过生成网络MLPgenerator学习一个自适应传播步骤s，该学习过程可以视为通过推断优化传播分布并且通过损失函数学习ANP模块的参数θ。在ANP模块中，不变传播层IPL用于结合高阶和低阶邻域信息，而自适应传播AP则用于捕捉自适应邻域信息，由生成网络/>学习并生成各节点的自适应传播步骤s。然而，最佳传播步骤s是离散的和不可分的，如果采用普通Softmax会使得很难直接优化。因此，本发明采用Gumbel-Softmax采样法，即生成网络MLPgenerator用相应的Gumbel-Softmax分布中的可微分样本替代离散分布中的原始非可微分样本。
本发明的上述生成网络通过Gumbel-Softmax对最佳传播步骤s的估计值/>来自一个分类分布，其离散变异分布/>的参数为/>则其可以表示为：
其中，是从Gumbel(0,1)分布采样的i.i.d.样本，γg是Softmaxtemperature，/>是样本/>的第k个值，/>表示/>的第ak个索引，对应于第ak-1层的数字。当τ>0时，Gumbel-Softmax分布是平滑的，所以生成网络/>的参数/>可以通过标准的反向传播进行优化。
13)输出网络
输出网络以σ([H(0),H(1),…,H(final)]×S)作为输入，该输入中[H(0),H(1),…,H(final)]经过S的矩阵乘法，实际上用最佳传播步骤s对每个节点的最终输出进行了特征筛选。输出网络可基于最佳传播步骤s对应的最终特征，对异构社交网络图G中每个节点对应的社交信息标签进行预测。在本发明的实施例中，上述输出网络采用MLP网络来实现，记为MLPfinal。
本发明提出的自适应邻域传播(ANP)模块可以通过捕捉自适应邻域信息来缓解异构图上的邻域模式分布转移问题。然而，测试环境总是未知和不可预测的，其中的类分布和邻域模式分布是不同的。这种未知的分布变化会使GNN在标记的训练样本上过度优化，这妨碍了它们的鲁棒性能力，导致GNNs的泛化效果不佳。因此本发明提出了不变的异构图学习(Invariant Non-homophilous Graph Learning)策略来克服这种未知的分布转移，它在非同构图上学习不变的图表示。为了克服这些问题，有两个模块构成了上述解决策略的一部分，第一个是环境聚类(Environment Clustering)模块，该模块可学习多个子图划分，第二个是不变图形学习(Invariant Graph Representation Learning)模块，该模块在多个划分的子图的基础上学习不变的图表示。不变的异构图学习可对ANP进行约束，以减轻未知环境中的分布转移。下面对这两个模块进行具体描述：
21)环境聚类(Environment Clustering)模块
环境聚类模块以单个图为输入，输出多个图环境。环境聚类模块的目标是增加同一环境中节点的相似性，同时减少不同环境之间的偏差。因此，节点应该通过节点和目标标签之间的变体关系进行聚类。变化的信息Φ(X,A)，通过ANP更新为Φ(X,A)＝ANP(X,A)。初始时刻在前述的S2步骤中已随机选择K个集群中心点μ1,μ2,...μK∈Rn。因此在优化开始时，存在K个聚类G1,G2...GK∈εtr。本发明可选择K-means作为环境聚类的方法，它是无监督聚类的代表方法之一。环境聚类模块的目标函数是最小化所有节点与相关聚类中心点之间的距离之和。也就是说，图G中的每个节点i都被分配到最接近集群中心的聚类Ge：
Gi＝argmine‖Φ(Xi,Ai)-μe‖2,e∈1,2,...,K
其中e是聚类簇的下标，Y是图数据G的标签，Φ是图数据提取特征后的图特征，初始化Φ(X,A)＝(X,A)。Xi是图G中节点i的节点特征，Ai是图G中节点i的邻边数据，μe是环境e的聚类中心。
在实际执行时，对于每个环境Ge∈εtr，聚类中心μe可按照以下通式进行被更新为：
其中，m为图G中的节点总数，Gi表示节点i所属的环境，l是一个布尔函数，当条件为真时返回1，条件为假返回0。上述通式实际上将图G中的每个节点i都被分配到最接近集群中心的聚类。
22)不变图形学习(Invariant Graph Representation Learning)
为了学习不变的图表示，不变图学习模块把多个划分的子图作为输入，使用自适应邻域传播(Adaptive Neighborhood Propagation,ANP)模块对每个环境的节点进行预测，同时使用方差项来对损失函数进行惩罚。INPL的损失函数为：
式中：E和Var分别代表所有图环境的损失项Le的期望和方差；Le表示图环境e的损失项，它由聚类簇Ge中所有已标注节点预测结果的负对数似然损失以及最佳传播步骤的KL散度损失构成。有了这样的惩罚，就可以对ANP进行约束，以缓解未知环境下的分布偏移。
基于上述不变的异构图学习策略的介绍，下面根据S2～S5步骤对本发明中ANP模块的具体训练和预测过程进行详细描述。
S2、以异构社交网络图的节点特征和邻边数据初始化图特征信息，从异构社交网络图中随机选择若干个节点确定聚类中心，并将图中的所有节点通过环境聚类(Environment Clustering)模块划分成若干个聚类簇，每个聚类簇构成异构社交网络图中的一个图环境。
在本发明的实施例中，上述步骤S2的具体步骤如下：
S201、对输入的异构社交网络图G，初始化图特征信息Φ(X,A)＝(X,A)，并随机选择从异构社交网络图G中随机选择K个节点，以这K个节点的节点特征和邻边数据作为聚类中心点μ1,μ2,...μK∈Rn，n为节点的节点特征和邻边数据的总特征维度。
需说明的是，上述K的取值可以根据实际的用户类别情况进行优化确定，属于超参数。
S202、针对异构社交网络图G中的所有节点，通过环境聚类模块分别计算其节点特征和邻边数据到每个聚类中心点的距离，并将各节点划分至距离最近的聚类中心点所在聚类簇，从而形成K个聚类簇Ge∈εtr，每个聚类簇Ge对应为异构社交网络图中的一个图环境e，εtr为所有图环境的集合。
S3、将经过聚类后的异构社交网络图输入基于图神经网络的自适应邻域传播模块中，在图中已有的社交信息标签监督下对自适应邻域传播模块进行一轮参数优化；所述自适应邻域传播模块中，由不变传播层融合图中的高阶和低阶邻域信息，并通过自适应传播来捕捉自适应邻域信息，生成自适应传播步骤，并用生成的自适应传播步骤调整节点特征后再进行节点社交信息标签的预测。
在本发明的实施例中，上述步骤S3中，对自适应邻域传播模块进行一轮参数优化的具体步骤如下：
S301、将异构社交网络图G输入基于图神经网络的自适应邻域传播模块中，并根据自适应邻域传播模块对每个图环境中所有已标注节点的标签预测结果，计算总损失函数：
在本发明的实施例中，上述图环境e的损失项Le计算式为：
式中：pθ(y|ANP(X,A))为聚类簇Ge中所有已标注节点预测结果的负对数似然损失(NLL loss)，表示生成网络预测得到的最佳传播步骤概率分布与p(sn)之间的KL散度。其中p(sn)表示最佳传播步骤的最优概率分布，一般可采用正态分布来实现。
特别需要说明的是，由于一个聚类簇Ge中可能存在有标签的已标注节点，也可能存在没有标签的未标注节点，计算上述损失项Le时，需要用所有已标注节点来计算损失，而未标注节点则不需要参与损失计算。
S302、根据计算得到的总损失函数Lp(G；θ)，通过反向传播对自适应邻域传播模块中的可学习参数进行梯度更新，完成一轮训练。
S4、利用经过新一轮参数优化后的自适应邻域传播模块，对异构社交网络图重新进行图特征信息的提取，然后利用更新后的图特征信息重新计算当前每个聚类簇的聚类中心，并将图中的所有节点基于新的聚类中心重新划分成若干个聚类簇。
在本发明的实施例中，上述步骤S4的具体步骤如下：
S401、利用经过新一轮参数优化后的自适应邻域传播模块ANP(,)，对异构社交网络图重新进行图特征信息的提取Φ(X,A)＝ANP(X,A)，更新异构社交网络图G中各节点的节点特征和邻边数据(Xi,Ai)；
S402、环境聚类(Environment Clustering)模块利用更新后的图特征信息，重新计算当前每个聚类簇Ge中所有节点的节点特征和邻边数据(Xi,Ai)平均值，并作为每个聚类簇Ge的新聚类中心；
S403、重新计算异构社交网络图G中各节点的节点特征和邻边数据到每个新聚类中心点的距离，并将各节点划分至距离最近的新聚类中心点所在聚类簇，从而更新K个聚类簇Ge∈εtr。
S5、不断重复S3和S4，对自适应邻域传播模块进行迭代训练，并在训练完毕后将异构社交网络图输入最终的自适应邻域传播模块，对没有社交信息标签的节点进行社交信息标签预测。
基于同一发明构思，本发明的另一较佳实施例中还提供了与上述实施例提供的面向异构社交网络分布外泛化的社交标签预测方法对应的面向异构社交网络分布外泛化的社交标签预测***。如图3所示，该面向异构社交网络分布外泛化的社交标签预测***中包括三个基本的模块，分别为：
图构建模块，用于将部分带有社交信息标签的社交网络数据构建为异构社交网络图，图中的每个节点代表一个用户，若用户与用户之间存在社交关系则在对应的两个用户节点之间建立边连接，若用户与用户之间不存在社交关系则在对应的两个用户节点之间不存在边连接；
初始聚类模块，用于以异构社交网络图的节点特征和邻边数据初始化图特征信息，从异构社交网络图中随机选择若干个节点确定聚类中心，并将图中的所有节点通过环境聚类模块划分成若干个聚类簇，每个聚类簇构成异构社交网络图中的一个图环境；
不变图数据表示学习模块，用于将经过聚类后的异构社交网络图输入基于图神经网络的自适应邻域传播模块中，在图中已有的社交信息标签监督下对自适应邻域传播模块进行一轮参数优化；所述自适应邻域传播模块中，由不变传播层融合图中的高阶和低阶邻域信息，并通过自适应传播来捕捉自适应邻域信息，生成自适应传播步骤，并用生成的自适应传播步骤调整节点特征后再进行节点社交信息标签的预测；
聚类更新模块，用于利用经过新一轮参数优化后的自适应邻域传播模块，对异构社交网络图重新进行图特征信息的提取，然后利用更新后的图特征信息重新计算当前每个聚类簇的聚类中心，并将图中的所有节点基于新的聚类中心重新划分成若干个聚类簇；
迭代训练和预测模块，用于不断重复不变图数据表示学习模块和聚类更新模块中的流程，对自适应邻域传播模块进行迭代训练，并在训练完毕后将异构社交网络图输入最终的自适应邻域传播模块，对没有社交信息标签的节点进行社交信息标签预测。
由于本发明实施例中的面向异构社交网络分布外泛化的社交标签预测***解决问题的原理与本发明上述实施例的面向异构社交网络分布外泛化的社交标签预测方法相似，因此该实施例中***的各模块具体实现形式未尽之处亦可可以参见上述方法的具体实现形式，重复之处不再赘述。
同样的，基于同一发明构思，本发明的另一较佳实施例中还提供了与上述实施例提供的面向异构社交网络分布外泛化的社交标签预测方法对应的一种电子设备，其包括存储器和处理器；
所述存储器，用于存储计算机程序；
所述处理器，用于当执行所述计算机程序时，实现如前所述的面向异构社交网络分布外泛化的社交标签预测方法。
此外，上述的存储器中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。
由此，基于同一发明构思，本发明的另一较佳实施例中还提供了与上述实施例提供的面向异构社交网络分布外泛化的社交标签预测方法对应的一种计算机可读存储介质，该所述存储介质上存储有计算机程序，当所述计算机程序被处理器执行时，能实现如前所述的面向异构社交网络分布外泛化的社交标签预测方法。
具体而言，在上述两个实施例的计算机可读存储介质中，存储的计算机程序被处理器执行，可执行前述S1～S5的步骤。
可以理解的是，上述存储介质可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。同时存储介质还可以是U盘、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
可以理解的是，上述的处理器可以是通用处理器，包括中央处理器(CentralProcessing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessing，DSP)、专用集成电路(Application Specific IntegratedCircuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
另外需要说明的是，所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的***的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本申请所提供的各实施例中，所述的***和方法中对于步骤或者模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或步骤可以结合或者可以集成到一起，一个模块或者步骤亦可进行拆分。
下面将前述实施例中的面向异构社交网络分布外泛化的社交标签预测方法，应用至一个具体的实例来展示本发明在异构社交网络预测的具体效果。具体的方法步骤如前S1～S5所述，不再赘述，下面仅展示其具体效果。
实施例
本实施例在公开的异构友谊网络数据集Penn94进行实施及验证。该数据集来自2005年的Facebook 100所大学的学生网络，其中的每个节点代表学生。每个节点的标签表示用户的性别，边表示两个学生是否是朋友。节点的特征是专业、第二专业/专业、寝室/宿舍、年级和高中，该数据集由41554个节点构成。算法的任务是给定学生的图数据信息，预测学生的性别。算法训练和测试过程如图4所示，其将数据集中的48％作为有标签的训练集，数据集中的32％作为验证集，剩余作为无标签的待预测的测试集。
为了客观评估本算法的性能，使用预测准确率(Accuracy)对该方法进行评价，并将其与目前广泛使用的图神经网络算法GCN和异构图算法LINKX进行对比。
本实施例所得实验结果如表1所示：
表1图数据的图预测分类准确率
结果表明，本发明的分类方法相对于GCN和LINKX具有更高的准确率。
以上所述的实施例只是本发明的一种较佳的方案，然其并非用以限制本发明。有关技术领域的普通技术人员，在不脱离本发明的精神和范围的情况下，还可以做出各种变化和变型。因此凡采取等同替换或等效变换的方式所获得的技术方案，均落在本发明的保护范围内。

Claims (10)

1.一种面向异构社交网络分布外泛化的社交标签预测方法，其特征在于，包括如下步骤：
S1、将部分带有社交信息标签的社交网络数据构建为异构社交网络图，图中的每个节点代表一个用户，若用户与用户之间存在社交关系则在对应的两个用户节点之间建立边连接，若用户与用户之间不存在社交关系则在对应的两个用户节点之间不存在边连接；
S2、以异构社交网络图的节点特征和邻边数据初始化图特征信息，从异构社交网络图中随机选择若干个节点确定聚类中心，并将图中的所有节点通过环境聚类模块划分成若干个聚类簇，每个聚类簇构成异构社交网络图中的一个图环境；
S3、将经过聚类后的异构社交网络图输入基于图神经网络的自适应邻域传播模块中，在图中已有的社交信息标签监督下对自适应邻域传播模块进行一轮参数优化；所述自适应邻域传播模块中，由不变传播层融合图中的高阶和低阶邻域信息，并通过自适应传播来捕捉自适应邻域信息，生成自适应传播步骤，并用生成的自适应传播步骤调整节点特征后再进行节点社交信息标签的预测；
S4、利用经过新一轮参数优化后的自适应邻域传播模块，对异构社交网络图重新进行图特征信息的提取，然后利用更新后的图特征信息重新计算当前每个聚类簇的聚类中心，并将图中的所有节点基于新的聚类中心重新划分成若干个聚类簇；
S5、不断重复S3和S4，对自适应邻域传播模块进行迭代训练，并在训练完毕后将异构社交网络图输入最终的自适应邻域传播模块，对没有社交信息标签的节点进行社交信息标签预测。
2.如权利要求1所述的面向异构社交网络分布外泛化的社交标签预测方法，其特征在于，所述S2的具体步骤如下：
S201、对输入的异构社交网络图G，初始化图特征信息Φ(X,A)＝(X,A)，并随机选择从异构社交网络图G中随机选择K个节点，以这K个节点的节点特征和邻边数据作为聚类中心点μ1,μ2,...μK∈Rn，n为节点的节点特征和邻边数据的总特征维度；
S202、针对异构社交网络图G中的所有节点，通过环境聚类模块分别计算其节点特征和邻边数据到每个聚类中心点的距离，并将各节点划分至距离最近的聚类中心点所在聚类簇，从而形成K个聚类簇Ge∈εtr，每个聚类簇Ge对应为异构社交网络图中的一个图环境e，εtr为所有图环境的集合。
3.如权利要求1所述的面向异构社交网络分布外泛化的社交标签预测方法，其特征在于，所述S3中，自适应邻域传播模块中包含final层不变传播层、生成网络和输出网络；
第l∈[1，final]层不变传播层的输出为：
H(l+1)＝σ(((1-αl)Hl+αlH(0))((1-βl)In+βlW(l)))
其中，αl和βl为两个代表权重的超参数，In是恒等映射，W(l)是第l层不变传播层的权重矩阵，σ是激活函数；Hl为第l层不变传播层的输入，其采用上一层不变传播层的输出，而对于第1层不变传播层，初始输入设置为 其中W是权重矩阵，Ak是异构社交网络图G的k-阶邻接矩阵，/>是通过MLP网络处理k-阶邻接矩阵Ak得到的嵌入，hX是通过MLP网络处理节点特征X得到的嵌入；
所述生成网络以初始输入和所有不变传播层的输出[H(0)，H(1)，...，H(final)]作为输入，通过Gumbel-Softmax输出一个维度为M×N的自适应传播步骤概率矩阵S；其中，M为异构社交网络图G中的节点数量，N＝final+1，矩阵S中的每一行向量均对应于异构社交网络图G中的一个节点，代表该节点中的最佳传播步骤s的概率分布；
所述输出网络以σ([H(0)，H(1)，...，H(final)]×S)作为输入，输出异构社交网络图G中每个节点对应的社交信息标签。
4.如权利要求3所述的面向异构社交网络分布外泛化的社交标签预测方法，其特征在于，所述生成网络和输出网络均采用MLP网络。
5.如权利要求3所述的面向异构社交网络分布外泛化的社交标签预测方法，其特征在于，所述S3中，对自适应邻域传播模块进行一轮参数优化的具体步骤如下：
S301、将异构社交网络图G输入基于图神经网络的自适应邻域传播模块中，并根据自适应邻域传播模块对每个图环境中所有已标注节点的标签预测结果，计算总损失函数：
式中：E和Var分别代表所有图环境的损失项Le的期望和方差；Le表示图环境e的损失项，它由聚类簇Ge中所有已标注节点预测结果的负对数似然损失以及最佳传播步骤的KL散度损失构成；
S302、根据计算得到的总损失函数Lp(G；θ)，通过反向传播对自适应邻域传播模块中的可学习参数进行梯度更新，完成一轮训练。
6.如权利要求1所述的面向异构社交网络分布外泛化的社交标签预测方法，其特征在于，所述S301中，图环境e的损失项Le计算式为：
式中：pθ(y|ANP(X，A))为聚类簇Ge中所有已标注节点预测结果的负对数似然损失，表示所述生成网络预测得到的最佳传播步骤概率分布/>与最佳传播步骤的最优概率分布之间的KL散度。
7.如权利要求1所述的面向异构社交网络分布外泛化的社交标签预测方法，其特征在于，所述S4的具体步骤如下：
S401、利用经过新一轮参数优化后的自适应邻域传播模块ANP(，)，对异构社交网络图重新进行图特征信息的提取Φ(X，A)＝ANP(X，A)，更新异构社交网络图G中各节点的节点特征和邻边数据(Xi，Ai)；
S402、利用更新后的图特征信息，重新计算当前每个聚类簇Ge中所有节点的节点特征和邻边数据(Xi，Ai)平均值，并作为每个聚类簇Ge的新聚类中心；
S403、重新计算异构社交网络图G中各节点的节点特征和邻边数据到每个新聚类中心点的距离，并将各节点划分至距离最近的新聚类中心点所在聚类簇，从而更新K个聚类簇Ge∈εtr。
8.一种面向异构社交网络分布外泛化的社交标签预测***，其特征在于，包括如下步骤：
图构建模块，用于将部分带有社交信息标签的社交网络数据构建为异构社交网络图，图中的每个节点代表一个用户，若用户与用户之间存在社交关系则在对应的两个用户节点之间建立边连接，若用户与用户之间不存在社交关系则在对应的两个用户节点之间不存在边连接；
初始聚类模块，用于以异构社交网络图的节点特征和邻边数据初始化图特征信息，从异构社交网络图中随机选择若干个节点确定聚类中心，并将图中的所有节点通过环境聚类模块划分成若干个聚类簇，每个聚类簇构成异构社交网络图中的一个图环境；
不变图数据表示学习模块，用于将经过聚类后的异构社交网络图输入基于图神经网络的自适应邻域传播模块中，在图中已有的社交信息标签监督下对自适应邻域传播模块进行一轮参数优化；所述自适应邻域传播模块中，由不变传播层融合图中的高阶和低阶邻域信息，并通过自适应传播来捕捉自适应邻域信息，生成自适应传播步骤，并用生成的自适应传播步骤调整节点特征后再进行节点社交信息标签的预测；
聚类更新模块，用于利用经过新一轮参数优化后的自适应邻域传播模块，对异构社交网络图重新进行图特征信息的提取，然后利用更新后的图特征信息重新计算当前每个聚类簇的聚类中心，并将图中的所有节点基于新的聚类中心重新划分成若干个聚类簇；
迭代训练和预测模块，用于不断重复不变图数据表示学习模块和聚类更新模块中的流程，对自适应邻域传播模块进行迭代训练，并在训练完毕后将异构社交网络图输入最终的自适应邻域传播模块，对没有社交信息标签的节点进行社交信息标签预测。
9.一种计算机可读存储介质，其特征在于，所述存储介质上存储有计算机程序，当所述计算机程序被处理器执行时，实现如权利要求1～7任一项所述的面向异构社交网络分布外泛化的社交标签预测方法。
10.一种计算机电子设备，其特征在于，包括存储器和处理器；
所述存储器，用于存储计算机程序；
所述处理器，用于当执行所述计算机程序时，实现如权利要求1～7任一项所述的面向异构社交网络分布外泛化的社交标签预测方法。
CN202310720948.3A 2023-06-16 2023-06-16 面向异构社交网络分布外泛化的社交标签预测方法及*** Pending CN116956081A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310720948.3A CN116956081A (zh) 2023-06-16 2023-06-16 面向异构社交网络分布外泛化的社交标签预测方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310720948.3A CN116956081A (zh) 2023-06-16 2023-06-16 面向异构社交网络分布外泛化的社交标签预测方法及***

Publications (1)

Publication Number Publication Date
CN116956081A true CN116956081A (zh) 2023-10-27

Family

ID=88445259

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310720948.3A Pending CN116956081A (zh) 2023-06-16 2023-06-16 面向异构社交网络分布外泛化的社交标签预测方法及***

Country Status (1)

Country Link
CN (1) CN116956081A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117493490A (zh) * 2023-11-17 2024-02-02 南京信息工程大学 基于异构多关系图的话题检测方法、装置、设备及介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117493490A (zh) * 2023-11-17 2024-02-02 南京信息工程大学 基于异构多关系图的话题检测方法、装置、设备及介质
CN117493490B (zh) * 2023-11-17 2024-05-14 南京信息工程大学 基于异构多关系图的话题检测方法、装置、设备及介质

Similar Documents

Publication Publication Date Title
Kc et al. GNE: a deep learning framework for gene network inference by aggregating biological information
Tsiotas Detecting different topologies immanent in scale-free networks with the same degree distribution
CN112529168B (zh) 一种基于gcn的属性多层网络表示学习方法
Dormann et al. A method for detecting modules in quantitative bipartite networks
Kong et al. A balanced power consumption algorithm based on enhanced parallel cat swarm optimization for wireless sensor network
CN110929046B (zh) 一种基于异质网络嵌入的知识实体推荐方法及***
Lu CNN Convolutional layer optimisation based on quantum evolutionary algorithm
CN113962358B (zh) 一种基于时序超图注意力神经网络的信息扩散预测方法
Lu et al. GLR: A graph-based latent representation model for successive POI recommendation
Zhang et al. Hybrid fuzzy clustering method based on FCM and enhanced logarithmical PSO (ELPSO)
Zhao et al. A cellular learning automata based algorithm for detecting community structure in complex networks
Feng et al. A hierarchical multi-label classification method based on neural networks for gene function prediction
CN115293919B (zh) 面向社交网络分布外泛化的图神经网络预测方法及***
Yang et al. Cost-effective incremental deep model: Matching model capacity with the least sampling
CN112380344A (zh) 文本分类的方法、话题生成的方法、装置、设备及介质
Bien et al. Non-convex global minimization and false discovery rate control for the TREX
Aher et al. Rider-chicken optimization dependent recurrent neural network for cancer detection and classification using gene expression data
CN116956081A (zh) 面向异构社交网络分布外泛化的社交标签预测方法及***
Kose et al. Fair contrastive learning on graphs
Nadimi-Shahraki et al. Discrete improved grey wolf optimizer for community detection
Shakibian et al. Multi-kernel one class link prediction in heterogeneous complex networks
CN110717116B (zh) 关系网络的链接预测方法及***、设备、存储介质
Saranya et al. Hybrid global sensitivity analysis based optimal attribute selection using classification techniques by machine learning algorithm
Ragab Hybrid firefly particle swarm optimisation algorithm for feature selection problems
CN117349494A (zh) 空间图卷积神经网络的图分类方法、***、介质及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination