CN114358111A - 对象聚类模型的获取方法、对象聚类方法及装置 - Google Patents
对象聚类模型的获取方法、对象聚类方法及装置 Download PDFInfo
- Publication number
- CN114358111A CN114358111A CN202111296472.2A CN202111296472A CN114358111A CN 114358111 A CN114358111 A CN 114358111A CN 202111296472 A CN202111296472 A CN 202111296472A CN 114358111 A CN114358111 A CN 114358111A
- Authority
- CN
- China
- Prior art keywords
- sample
- graph data
- model
- node
- graph
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请提供了一种对象聚类模型的获取方法、对象聚类方法及装置,涉及图数据处理技术领域,该方法包括:对于每个样本图数据包括的每个样本节点,以每个样本节点的原始特征向量和每个样本节点的邻居节点集合为对象聚类模型的输入,输出每个样本图数据的更新隐藏特征表示,根据每个样本图数据的更新隐藏特征表示、c个待学习聚类中心的均值向量、c个真实聚类中心的均值向量和每个样本图数据的图类别标签,计算共识损失函数,反向传播调整对象聚类模型的模型参数,以得到优化共识损失函数,根据与优化共识损失函数对应的对象聚类模型的目标模型参数,得到对象聚类模型。通过该方法得到的对象聚类模型可提高对象聚类的准确性。
Description
技术领域
本申请实施例涉及图数据处理技术领域,尤其涉及一种对象聚类模型的获取方法、对象聚类方法及装置。
背景技术
聚类是按照某种特定标准将一个数据集分割成不同的类或簇,使得同一个簇内的数据对象的相似性尽可能大,同时不在同一个簇中的数据对象的相似性尽可能小。节点聚类任务在图学习领域已有较长时间的研究,并在社区检测、点云图像分割和社交网络用户画像等任务上具有广泛的应用。
目前的节点聚类方法中,一般是先计算节点之间的特征相似性或结构相似性,根据节点之间的特征相似性或结构相似性确定出各个聚类簇的聚类中心,针对每个聚类簇的聚类中心,将与聚类中心的相似性在预设范围内的节点归为该聚类中心对应的聚类簇,从而完成节点聚类。
然而,对于与多个聚类中心的相似性均在预设范围内的节点,上述方法难以区分出不同聚类簇的节点,因此聚类的准确性较低。
发明内容
本申请提供一种对象聚类模型的获取方法、对象聚类方法及装置,以提高对象聚类的准确性。
第一方面,本申请提供一种对象聚类模型的获取方法,包括:
获取样本数据,所述样本数据包括K个样本图数据、所述每个样本图数据的图类别标签和所述K个样本图数据的c个真实聚类中心的均值向量,所述K、所述c均为正整数;
对于所述每个样本图数据包括的每个样本节点,以所述每个样本节点的原始特征向量和所述每个样本节点的邻居节点集合为对象聚类模型的输入,输出所述每个样本图数据的更新隐藏特征表示;
根据所述每个样本图数据的更新隐藏特征表示、c个待学习聚类中心的均值向量、所述c个真实聚类中心的均值向量和所述每个样本图数据的图类别标签,计算共识损失函数;
反向传播调整所述对象聚类模型的模型参数,以得到优化共识损失函数,所述优化共识损失函数用于使所述每个样本图数据的更新隐藏特征表示与所述每个样本图数据的图类别标签对应的聚类中心的均值向量之间的相似度在预设范围内;
根据与所述优化共识损失函数对应的所述对象聚类模型的目标模型参数,得到所述对象聚类模型。
第二方面,本申请提供一种对象聚类方法,包括:
获取M个图数据,每个所述图数据包括多个节点和节点间的关联信息,所述M为正整数;
对于每个所述图数据,根据预先训练的图神经网络模型,确定所述多个节点中每个节点的隐藏层向量表示;
对于所述每个节点,根据所述每个节点的隐藏层向量表示与预先训练的c个聚类中心的均值向量中每个所述聚类中心的均值向量之间的相似度,确定所述每个节点的聚类;
其中,所述c个聚类中心的均值向量根据第一方面所述的对象聚类模型的获取方法得到,所述c个聚类中心的均值向量为所述目标模型参数包括的c个待学习聚类中心的均值向量,所述对象聚类模型包括所述图神经网络模型。
第三方面,本申请提供一种对象聚类模型的获取装置,包括:
获取模块,用于获取样本数据,所述样本数据包括K个样本图数据、所述每个样本图数据的图类别标签和所述K个样本图数据的c个真实聚类中心的均值向量,所述K、所述 c均为正整数;
模型训练模块,用于:
对于所述每个样本图数据包括的每个样本节点,以所述每个样本节点的原始特征向量和所述每个样本节点的邻居节点集合为对象聚类模型的输入,输出所述每个样本图数据的更新隐藏特征表示;
根据所述每个样本图数据的更新隐藏特征表示、c个待学习聚类中心的均值向量、所述c个真实聚类中心的均值向量和所述每个样本图数据的图类别标签,计算共识损失函数;
反向传播调整所述对象聚类模型的模型参数,以得到优化共识损失函数,所述优化共识损失函数用于使所述每个样本图数据的更新隐藏特征表示与所述每个样本图数据的图类别标签对应的聚类中心的均值向量之间的相似度在预设范围内;
根据与所述优化共识损失函数对应的所述对象聚类模型的目标模型参数,得到所述对象聚类模型。
第四方面,本申请提供一种对象聚类装置,包括:
获取模块,用于获取M个图数据,每个所述图数据包括多个节点和节点间的关联信息,所述M为正整数;
第一确定模块,用于对于每个所述图数据,根据预先训练的图神经网络模型,确定所述多个节点中每个节点的隐藏层向量表示;
第二确定模块,用于对于所述每个节点,根据所述每个节点的隐藏层向量表示与预先训练的c个聚类中心的均值向量中每个所述聚类中心的均值向量之间的相似度,确定所述每个节点的聚类;
其中,所述c个聚类中心的均值向量根据第一方面所述的对象聚类模型的获取方法得到,所述c个聚类中心的均值向量为所述目标模型参数包括的c个待学习聚类中心的均值向量,所述对象聚类模型包括所述图神经网络模型。
第五方面,本申请提供一种对象聚类设备,包括:处理器和存储器,该存储器用于存储计算机程序,该处理器用于调用并运行该存储器中存储的计算机程序,以执行第一方面或第二方面的方法。
第六方面,本申请提供一种计算机可读存储介质,用于存储计算机程序,该计算机程序使得计算机执行第一方面或第二方面的方法。
第七方面,本申请提供一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现第一方面或第二方面的方法。
综上,在本申请中,在根据样本数据训练对象聚类模型时,对于每个样本图数据包括的每个样本节点,以每个样本节点的原始特征向量和每个样本节点的邻居节点集合为对象聚类模型的输入,输出每个样本图数据的更新隐藏特征表示,根据每个样本图数据的更新隐藏特征表示、c个待学习聚类中心的均值向量、c个真实聚类中心的均值向量和每个样本图数据的图类别标签,计算共识损失函数,反向传播调整对象聚类模型的模型参数,以得到优化共识损失函数,根据与优化共识损失函数对应的对象聚类模型的目标模型参数,得到对象聚类模型。在模型训练的过程中,充分利用了图数据的图类别标签,有效地解决了弱监督节点聚类任务,通过图数据的图类别标签辅助训练模型,利用图结构的全局属性学习局部节点特征对图分类的影响,提高了对象聚类模型的聚类效果。进而该对象聚类模型可提高对象聚类的准确性。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种图数据的结构示意图;
图2为本申请实施例提供的一种对象聚类方法的流程图;
图3为本申请实施例提供的一种对象聚类模型的获取方法的流程图;
图4为本申请实施例提供的一种一个样本图数据的更新隐藏特征表示的获取过程示意图;
图5为本申请实施例提供的一种对象聚类方法中的对象聚类模型的训练过程示意图;
图6为本申请实施例提供的一种对象聚类模型的获取装置的结构示意图;
图7为本申请实施例提供的一种对象聚类装置的结构示意图;
图8是本申请实施例提供的对象聚类设备的示意性框图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、***、产品或服务器不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
在实际的一些场景中,对对象进行聚类的需求广泛存在,例如,通过聚类,实现对对象的分类,对象可以是任一实体(如城市、设备、用户、商品、用户社交账号、图像、文本或多媒体数据等)。例如,在社交网络中,如何借助于社交网络的全局属性和用户的特征将社交网络划分为若干个社团,其中相同社团内的用户具有相似的兴趣爱好或特征,而不同社团之间的用户具有不同的兴趣爱好或特征。又例如,若将点云分割看作是一种点云节点的聚类任务,那么把点云中所包含的物品如:家具、天花板、地板等看作是点云图像的全局标签,如何实现点云节点的聚类任务。
在一些实施例中,对象可以具有多个属性或特征,对象间具有关联关系,因此可以基于多个对象以及对象之间的关联关系构造图数据,图数据可以包括多个节点和节点间的关联信息,其中,节点可以与对象对应。
在一些实施例中,节点聚类可以定义为:给定一组图数据,如何根据节点的特征和图结构,将图中节点分割为不同的类或簇。
相关技术的节点聚类方法中,对于与多个聚类中心的相似性均在预设范围内的节点,难以区分出不同聚类簇的节点,因此聚类的准确性较低。为了解决该技术问题,本申请通过根据样本数据训练对象聚类模型,样本数据包括K个样本图数据、每个样本图数据的图类别标签和K个样本图数据的c个真实聚类中心的均值向量,结合每个样本图数据的图类别标签和K个样本图数据的c个真实聚类中心的均值向量,预先训练对象聚类模型学习得到c个聚类中心的均值向量,从而在对M个图数据包括的所有节点进行聚类时,可根据每个节点的隐藏层向量表示与预先训练的c个聚类中心的均值向量中每个聚类中心的均值向量之间的相似度,确定每个节点的聚类。由于c个聚类中心的均值向量是通过模型训练得到的,c个聚类中心的均值向量的准确性较高,且在进行对象聚类模型的训练时结合了图数据的图类别标签,在根据节点的隐藏层向量表示与聚类中心的均值向量之间的相似度确定节点的聚类时可提高节点聚类的准确性。
下面将对本申请实施例的技术方案能够适用的应用场景做一些简单介绍,需要说明的是,下面介绍的应用场景仅用于说明本申请实施例而非限定。在具体实施时,可以根据实际需要灵活地应用本申请实施例提供的技术方案。
本申请实施例提供的对象聚类方法,可应用于需要对一个或多个图数据中的节点进行聚类的场景中。例如可应用于在已知图类别标签信息的情况下推理图中节点的类别的任务,例如能够解决识别出谣言传播网络中的谣言传播者(例如在谣言出现的群会话中识别哪些用户是谣言传播者),或者识别化学分子中有特殊性质的化学官能团,或者实现程序控制流图中的错误定位,或者实现社交软件用户画像等实际问题。
图1为本申请实施例提供的一种图数据的结构示意图,如图1所示,图1中有5个图数据,每个图数据包括多个节点和节点间的关联信息,图1中所示的节点间的关联信息为节点间的边,例如,图1中标注出的一个图数据包括6个节点。可选的,图数据与图数据之间也可以有连接关系。本实施例提供的对象聚类方法,可以根据图数据中节点的特征和图结构,将图数据中所有节点分割为不同的类或簇,即可得到每个节点的聚类簇(也可称为聚类或类别)。
图2为本申请实施例提供的一种对象聚类方法的流程图,该方法可以由对象聚类装置执行,该对象聚类装置可以通过软件和/或硬件的方式实现。该对象聚类装置可以是服务器。如图2所示,该方法可以包括如下步骤:
S101、获取M个图数据,每个图数据包括多个节点和节点间的关联信息,M为正整数。
具体地,可以是接收输入的M个图数据,M个图数据的类型例如可以是图1所示的类似类型。
S102、对于每个图数据,根据预先训练的图神经网络模型,确定多个节点中每个节点的隐藏层向量表示。
具体地,图神经网络模型可以是图卷积神经网络模型或图注意力神经网络模型,其中,图卷积神经网络模型例如可以是图卷积网络模型(Graph Convolutional Network,GCN) 或GraphSAGE(Graph Sample and Aggregate)等。
对于每个图数据,根据预先训练的图神经网络模型,确定多个节点中每个节点的隐藏层向量表示,具体可以是:分别针对每个图数据,对于每个图数据包括的每个节点,以每个节点的原始特征向量和每个节点的邻居节点集合为图神经网络模型的输入,输出每个节点的隐藏层向量表示。
图注意力神经网络可以在节点更新的过程中应用不同的注意力聚合邻居节点特征,以预先训练的图神经网络模型为图注意力神经网络模型为例,图注意力神经网络模型可以是一个多头的图注意力卷积层,图注意力神经网络模型可以通过如下公式一描述:
其中,为节点i的原始特征向量,N(i)为节点i的邻居节点集合,为节点i的隐藏层向量表示,||表示拼接操作,σ(·)为非线性激活函数,Θ为第一权重矩阵,是第k个注意力机制的权重系数,K为图注意力卷积层的头数量,由一个单层的前向神经网络计算得到,具体可以通过如下公式得到:
可选的,本实施例中使用图神经网络模型的层数为2,即K等于2。
S103、对于每个节点,根据每个节点的隐藏层向量表示与预先训练的c个聚类中心的均值向量中每个聚类中心的均值向量之间的相似度,确定每个节点的聚类,c个聚类中心的均值向量为根据对象聚类模型的获取方法得到,c个聚类中心的均值向量为目标模型参数包括的c个待学习聚类中心的均值向量,对象聚类模型包括图神经网络模型。
具体地,对象聚类模型的获取方法将通过图3所示实施例进行详细说明,可选的,对象聚类模型的获取可以是根据样本数据训练对象聚类模型,其中的样本数据包括K个样本图数据、每个样本图数据的图类别标签和K个样本图数据的c个真实聚类中心的均值向量, K、c均为正整数。
具体地,作为一种可实施的方式,对于每个节点,根据每个节点的隐藏层向量表示与预先训练的c个聚类中心的均值向量中每个聚类中心的均值向量之间的相似度,确定每个节点的聚类,可以为:
计算每个节点的隐藏层向量表示与c个聚类中心的均值向量中每个聚类中心的均值向量之间的相似度,将与c个聚类中心的均值向量中相似度最大的聚类中心的均值向量对应的聚类,确定为每个节点的聚类。
可选的,相似度可以为距离或夹角,距离可以为余弦距离或欧式距离。
本实施例提供的对象聚类方法,通过根据样本数据训练高斯混合层次图卷积神经网络模型,样本数据包括K个样本图数据、每个样本图数据的图类别标签和K个样本图数据的c个真实聚类中心的均值向量,结合每个样本图数据的图类别标签和K个样本图数据的 c个真实聚类中心的均值向量,预先训练高斯混合层次图卷积神经网络模型学习得到c个聚类中心的均值向量,从而在对图数据包括的所有节点进行聚类时,可根据每个节点的隐藏层向量表示与预先训练的c个聚类中心的均值向量中每个聚类中心的均值向量之间的相似度,确定每个节点的聚类。由于c个聚类中心的均值向量是通过对象聚类模型训练得到的,c个聚类中心的均值向量的准确性较高,且在进行对象聚类模型的训练时结合了图数据的图类别标签,在根据节点的隐藏层向量表示与聚类中心的均值向量之间的相似度确定节点的聚类时可提高节点聚类的准确性。
本实施例中,预先训练的对象聚类模型包括图神经网络模型,c个聚类中心的均值向量为根据样本数据训练对象聚类模型得到,下面结合图3详细说明对象聚类模型的训练过程。
图3为本申请实施例提供的一种对象聚类模型的获取方法的流程图,该方法可以由对象聚类装置执行,该对象聚类装置可以通过软件和/或硬件的方式实现。该对象聚类装置可以是服务器。如图3所示,该方法可以包括如下步骤:
S201、获取样本数据,样本数据包括K个样本图数据、每个样本图数据的图类别标签和K个样本图数据的c个真实聚类中心的均值向量,K、c均为正整数。
S202、对于每个样本图数据包括的每个样本节点,以每个样本节点的原始特征向量和每个样本节点的邻居节点集合为对象聚类模型的输入,输出每个样本图数据的更新隐藏特征表示。
具体来说,用于训练对象聚类模型的样本数据包括K个样本图数据、每个样本图数据的图类别标签和K个样本图数据的c个真实聚类中心的均值向量,其中图类别标签为图数据的类别标识,图数据的类别标识例如可以为家具、天花板、地板和具体的物体等等。c 个真实聚类中心的均值向量是指根据K个样本图数据确定的c个真实的聚类中心的均值向量,c的个数根据样本图数据确定。
首先,对于K个样本图数据中的每个样本图数据,先通过S201获得每个样本图数据的更新隐藏特征表示。图4为本申请实施例提供的一种一个样本图数据的更新隐藏特征表示的获取过程示意图,如图4所示,以K个样本图数据中的一个样本图数据为例,例如该样本图数据包括N个样本节点,分别以每个样本节点的原始特征向量和每个样本节点的邻居节点集合为对象聚类模型的输入,即分别输入每个样本节点的原始特征向量和每个样本节点的邻居节点集合,输入N次,输出得到该样本图数据的更新隐藏特征表示。
可选的,本实施例中的对象聚类模型还包括高斯混合层模型、图注意力池化层模型和层次图卷积神经网络模型,相应地,作为一种可实施的方式,S202具体可以包括:
S2021、以每个样本节点的原始特征向量和每个样本节点的邻居节点集合为图神经网络模型的输入,输出每个样本节点的隐藏层向量表示。
以图神经网络模型为图注意力神经网络模型为例,图注意力神经网络模型可以是一个多头的图注意力卷积层,图注意力神经网络模型可以通过如下公式一描述:
其中,为样本节点i的原始特征向量,N(i)为样本节点i的邻居节点集合,为样本节点i的隐藏层向量表示,||表示拼接操作,σ(·)为非线性激活函数,σ(·)可以采用ReLU 非线性激活函数,Θ为第一权重矩阵,是第k个注意力机制的权重系数,K为图注意力卷积层的头数量,由一个单层的前向神经网络计算得到,具体可以通过如下公式二得到:
可选的,本实施例中使用图注意力神经网络模型的层数为2,即K等于2。
可选的,使用图神经网络模型的层数为2时,一个样本图数据包括的所有样本节点的隐藏层向量表示可以通过一个矩阵H表示,H可以通过如下公式描述:
其中,X是一个样本图数据包括的所有样本节点的原始特征向量组成的矩阵,σ(·)为非线性激活函数,Θa1为第一层图注意力神经网络的第一权重矩阵,Θa2为第二层图注意力神经网络的第一权重矩阵,||表示拼接操作,αk是k个注意力机制的权重系数组成的矩阵,α是权重向量组成的矩阵。
S2022、以每个样本节点的隐藏层向量表示和每个样本节点的待学习聚类中心的均值向量为高斯混合层模型的输入,输出每个样本节点的高斯混合隐藏向量表示,待学习聚类中心的均值向量为c个待学习聚类中心的均值向量中的一个。
具体地,待学习聚类中心的均值向量可以是预存的一组数据,在训练时从该组数据中选取一个均值向量作为一个图数据中所有样本节点的待学习聚类中心的均值向量。
可选的,高斯混合层模型可以通过如下公式四和公式五描述:
其中,为每个样本节点的隐藏层向量表示,为每个样本节点的待学习聚类中心的均值向量,ΘGML为第二权重矩阵,为每个样本节点的高斯混合隐藏向量表示,ωc(·)为第 c个高斯权重函数,为ωc(·)中可训练更新的协方差矩阵。
S2023、以每个样本图数据的高斯混合隐藏表示为图注意力池化层模型的输入,输出每个样本图数据的隐藏特征向量表示,每个样本图数据的高斯混合隐藏表示根据每个样本图数据包括的多个样本节点的高斯混合隐藏向量表示拼接得到。
具体地,对于每个样本图数据,通过S2012得到每个样本节点的高斯混合隐藏向量表示后,先根据每个样本图数据包括的多个样本节点的高斯混合隐藏向量表示拼接得到每个样本图数据的高斯混合隐藏表示。例如,一个样本图数据包括N个样本节点,将N个样本节点的高斯混合隐藏向量表示拼接为一个矩阵,即可得到该样本图数据的高斯混合隐藏表示H’。
可选的,图注意力池化层模型用于:
根据每个样本图数据的高斯混合隐藏表示、第一层感知机的权重矩阵和第二层感知机的权重矩阵,确定每个样本图数据所包括的每个节点的节点注意力分数。
具体地,可以是将第一层感知机的权重矩阵和每个样本图数据的高斯混合隐藏表示的转秩的积的正切反函数与第二层感知机的权重矩阵的积,确定为每个样本图数据所包括的每个样本节点的节点注意力分数。
以每个样本图数据所包括的每个样本节点的节点注意力分数作为权重将每个样本图数据的高斯混合隐藏表示加权求和,得到每个样本图数据的隐藏特征向量表示。
可选的,图注意力池化层模型可通过如下公式六描述:
e=Attn(H’)=softmax(Θs2tanh(Θs1H’T))H’ 公式六
其中,H’为一个样本图数据的高斯混合隐藏表示,Θs1为第一层感知机的权重矩阵,Θs2为第二层感知机的权重矩阵,softmax函数用于归一化样本图数据中每个样本节点的重要性,softmax(Θs2tanh(Θs1H’T))为每个样本图数据所包括的每个样本节点的节点注意力分数, tanh()为正切反函数,softmax(Θs2tanh(Θs1H’T))与H’的积为每个样本图数据的隐藏特征向量表示。
S2024、以K个样本图数据的隐藏特征表示为层次图卷积神经网络模型的输入,输出K 个样本图数据的更新隐藏特征表示,K个样本图数据的隐藏特征表示根据K个样本图数据中每个样本图数据的隐藏特征向量拼接得到。
具体地,例如有K个样本图数据,第一个样本图数据有N1个样本节点,通过 S2011-S2013得到第一个样本图数据的高斯混合隐藏表示H’,H’的维度是N1*D1,将该H’输入公式六中,H’T的维度是D1*N1,Θs1的维度是D2*D1,因此Θs1H’T的维度是D2*N1,Θs2的维度是1*D2,因此Θs2tanh(Θs1H’T)的维度是1*N1,H’的维度是N1*D1,因此 softmax(Θs2tanh(Θs1H’T))与H’的积的维度是1*D1,即得到第一个样本图数据的隐藏特征向量表示e1的维度是1*D1,同样地,第二个样本图数据的隐藏特征向量表示e2的维度是 1*D1,第三个样本图数据的隐藏特征向量表示e3的维度是1*D1,…第三个样本图数据的隐藏特征向量表示ek的维度是1*D1,得到K个1*D1的向量,将该K个1*D1的向量拼接起来得到一个矩阵E,E的维度是K*D1,E为K个样本图数据的隐藏特征表示。
得到K个样本图数据的隐藏特征表示E后,将K个样本图数据的隐藏特征表示E输入层次图卷积神经网络模型,输出K个样本图数据的更新隐藏特征表示。
本实施例中,层次图卷积神经网络模型是指在层次图上做卷积神经网络得到的模型。
可选的,层次图卷积神经网络模型用于:根据层次图卷积神经网络模型的层次l、层次图注意力系数矩阵αhier和目标参数β对K个样本图数据的隐藏特征表示进行更新,得到K 个样本图数据的更新隐藏特征表示,l大于或等于2,层次图注意力系数矩阵αhier由注意力权重系数构成。其中的可通过上述公式二描述。
进一步地,根据层次图卷积神经网络模型的层次l、层次图注意力系数矩阵αhier和目标参数β对K个样本图数据的隐藏特征表示进行更新,得到K个样本图数据的更新隐藏特征表示,具体可以为:
根据第一结果与第二结果的和得到K个样本图数据的更新隐藏特征表示;
其中,第一结果为β与αhier和第l-1层的K个样本图数据的更新隐藏特征表示,第二结果为(1-β)与K个样本图数据的隐藏特征表示的积。
可选的,层次图卷积神经网络模型可通过如下公式七描述:
上述公式七中,其中,l∈{0,1,2…}表示层次图注意力网络的层次,为输入的K个样本图数据的隐藏特征表示E,为第l-1层的K个样本图数据的更新隐藏特征表示,为K个样本图数据的更新隐藏特征表示,目标参数β取值可以是0-1之间的数值,当β=0时,该层次图卷积神经网络模型将输出原始输入的E,此时可以用于K个样本图数据中缺乏图数据之间的连接关系的情况。
S2025、根据K个样本图数据的更新隐藏特征表示得到每个样本图数据的更新隐藏特征表示。
S203、根据每个样本图数据的更新隐藏特征表示、c个待学习聚类中心的均值向量、 c个真实聚类中心的均值向量和每个样本图数据的图类别标签,计算共识损失函数。
具体地,作为一种可实施的方式,S203具体可以为:
S2031、样本图数据的更新隐藏特征表示、c个待学习聚类中心的均值向量和c个真实聚类中心的均值向量,确定K个样本图数据的更新隐藏特征表示与c个待学习聚类中心的均值向量之间的距离矩阵。
具体地,S2031可以包括:首先,对于每个样本图数据,计算每个样本图数据的更新隐藏特征表示与每个待学习聚类中心的均值向量之间的第一距离。
可选的,第一距离可通过公式八描述:
其中,为每个样本图数据的更新隐藏特征表示,为每个待学习聚类中心的均值向量,dkc为第一距离。例如,以一个样本图数据为例,若有c个待学习聚类中心的均值向量,则需要计算该样本图数据与c个待学习聚类中心的均值向量中每个待学习聚类中心的均值向量之间距离。
接着,计算每个样本图数据的更新隐藏特征表示与每个真实聚类中心的均值向量之间的第二距离。
例如,以一个样本图数据为例,若有c个真实聚类中心的均值向量,则需要计算该样本图数据与c个真实聚类中心的均值向量中每个真实聚类中心的均值向量之间距离。
接着,将第二距离与折扣超参数的积加上第一距离得到的第三距离确定为每个样本图数据的更新隐藏特征表示与每个待学习聚类中心的均值向量之间的距离,折扣超参数为常数。
可选的,第三距离可通过如下公式九描述:
其中,(dkc)enhance为第三距离,为每个样本图数据的更新隐藏特征表示与每个真实聚类中心的均值向量之间的第二距离,δ为折扣超参数,δ可以为0-1之间的数值,例如0.1或0.01,dkc为第一距离。
最后,根据每个样本图数据的更新隐藏特征表示与每个待学习聚类中心的均值向量之间的距离得到距离矩阵。
具体地,得到每个样本图数据的更新隐藏特征表示与每个待学习聚类中心的均值向量之间的距离即(dkc)enhance后,将K个(dkc)enhance拼接,得到维度为K*c的距离矩阵Denhance。
S2032、归一化距离矩阵得到相似性矩阵。
具体地,S=softmax(-Denhance),其中,S为相似性矩阵,S的维度为K*c,S的每一行的概率和是1,S中每一个元素的值表示一个样本图数据属于一个聚类的概率。
S2033、根据相似性矩阵和每个样本图数据的图类别标签之间的交叉熵,得到共识损失函数。
具体地,计算相似性矩阵和每个样本图数据的图类别标签之间的交叉熵,得到共识损失函数。
S204、反向传播调整对象聚类模型的模型参数,以得到优化共识损失函数,优化共识损失函数用于使每个样本图数据的更新隐藏特征表示与每个样本图数据的图类别标签对应的聚类中心的均值向量之间的相似度在预设范围内。
具体地,得到共识损失函数后,不断调整对象聚类模型的模型参数,以得到优化共识损失函数,优化共识损失函数用于使每个样本图数据的更新隐藏特征表示与每个样本图数据的图类别标签对应的聚类中心的均值向量之间的相似度在预设范围内,该预设范围例如可以是相似度最高,从而,可以实现有相同图类别标签的图数据相似性越高,有不同图类别标签的图数据相似性越低。
本实施例中,对象聚类模型包括图神经网络模型、高斯混合层模型、图注意力池化层模型和层次图卷积神经网络模型,调整对象聚类模型的模型参数,具体可以是:调整图神经网络模型的模型参数、高斯混合层模型的模型参数、图注意力池化层模型的模型参数和层次图卷积神经网络模型的模型参数,以得到优化共识损失函数。
具体来说,图神经网络模型的模型参数包括K个第一权重矩阵和K个权重向量,K等于图神经网络模型的层数。高斯混合层模型的模型参数包括第二权重矩阵ΘGML和c个待学习聚类中心的均值向量。
图注意力池化层模型的模型参数包括第一层感知机的权重矩阵Θs1和第二层感知机的权重矩阵Θs2。层次图卷积神经网络模型的模型参数包括层次图注意力系数矩阵αhier。
S205、根据与优化共识损失函数对应的对象聚类模型的目标模型参数,得到对象聚类模型。
具体地,得到优化共识损失函数后,将与优化共识损失函数对应的对象聚类模型的目标模型参数作为对象聚类模型的模型参数,得到对象聚类模型。
其中,c个聚类中心的均值向量为目标模型参数包括的c个待学习聚类中心的均值向量,具体地,得到优化共识损失函数后,将优化共识损失函数对应的c个待学习聚类中心的均值向量确定为训练得到的最终的c个聚类中心的均值向量。
本实施例提供的对象聚类模型的获取方法,在根据样本数据训练对象聚类模型时,对于每个样本图数据包括的每个样本节点,以每个样本节点的原始特征向量和每个样本节点的邻居节点集合为对象聚类模型的输入,输出每个样本图数据的更新隐藏特征表示,根据每个样本图数据的更新隐藏特征表示、c个待学习聚类中心的均值向量、c个真实聚类中心的均值向量和每个样本图数据的图类别标签,计算共识损失函数,反向传播调整对象聚类模型的模型参数,以得到优化共识损失函数,根据与优化共识损失函数对应的对象聚类模型的目标模型参数,得到对象聚类模型。在模型训练的过程中,充分利用了图数据的图类别标签,有效地解决了弱监督节点聚类任务,通过图数据的图类别标签辅助训练模型,利用图结构的全局属性学习局部节点特征对图分类的影响,提高了对象聚类模型的聚类效果。进而该对象聚类模型可提高对象聚类的准确性。
下面结合一个具体的实施例,对对象聚类模型的训练过程进行详细的描述。
图5为本申请实施例提供的一种对象聚类方法中的对象聚类模型的训练过程示意图,本实施例中以K=5个样本图数据、待学习聚类中心的均值向量为3为例,该5个样本图数据之间有连接关系,如图5所示,该方法可以包括如下步骤:
S301、对于每个样本图数据包括的每个样本节点,以每个样本节点的原始特征向量和每个样本节点的邻居节点集合为图神经网络模型的输入,输出每个样本节点的隐藏层向量表示。
本实施例中以图神经网络模型为图注意力神经网络模型为例,图注意力神经网络模型可以是一个多头的图注意力卷积层,本实施例中采用二头的图注意力卷积层,图注意力神经网络模型可以通过上述公式一描述:
其中,为样本节点i的原始特征向量,N(i)为样本节点i的邻居节点集合,为样本节点i的隐藏层向量表示,||表示拼接操作,σ(·)为非线性激活函数,Θ为第一权重矩阵,是第k个注意力机制的权重系数,K为图注意力卷积层的头数量(本实施例中K=2),由一个单层的前向神经网络计算得到,具体可以通过上述公式二得到。
本实施例中,一个样本图数据包括的所有样本节点的隐藏层向量表示可以通过一个矩阵H表示,H可以通过如下公式描述:
其中,X是一个样本图数据包括的所有样本节点的原始特征向量组成的矩阵,σ(·)为非线性激活函数,Θa1为第一层图注意力神经网络的第一权重矩阵,Θa2为第二层图注意力神经网络的第一权重矩阵,||表示拼接操作,αk是k个注意力机制的权重系数组成的矩阵,α是权重向量组成的矩阵。
S302、以每个样本节点的隐藏层向量表示和每个样本节点的待学习聚类中心的均值向量为高斯混合层模型的输入,输出每个样本节点的高斯混合隐藏向量表示,待学习聚类中心的均值向量为3个待学习聚类中心的均值向量中的一个。
S303、根据每个样本图数据包括的多个样本节点的高斯混合隐藏向量表示拼接得到每个样本图数据的高斯混合隐藏表示,以每个样本图数据的高斯混合隐藏表示为图注意力池化层模型的输入,输出每个样本图数据的隐藏特征向量表示。
图注意力池化层模型可通过如下公式六描述:
e=Attn(H’)=softmax(Θs2tanh(Θs1H’T))H’ 公式六
其中,H’为一个样本图数据的高斯混合隐藏表示,Θs1为第一层感知机的权重矩阵,Θs2为第二层感知机的权重矩阵,softmax函数用于归一化样本图数据中每个样本节点的重要性, softmax(Θs2tanh(Θs1H’T))为每个样本图数据所包括的每个样本节点的节点注意力分数, tanh()为正切反函数,softmax(Θs2tanh(Θs1H’T))与H’的积为每个样本图数据的隐藏特征向量表示。
输入样本图数据的H’至图注意力池化层模型,输出该样本图数据的隐藏特征向量表示e。
S304、根据5个样本图数据中每个样本图数据的隐藏特征向量拼接得到5个样本图数据的隐藏特征表示,以5个样本图数据的隐藏特征表示为层次图卷积神经网络模型的输入,输出5个样本图数据的更新隐藏特征表示,再根据5个样本图数据的更新隐藏特征表示得到每个样本图数据的更新隐藏特征表示。
具体地,本实施例中采用三层的层次图卷积神经网络模型,根据5个样本图数据中每个样本图数据的隐藏特征向量表示e拼接得到5个样本图数据的隐藏特征表示E,层次图卷积神经网络模型可通过如下公式七描述:
上述公式七中,其中,l∈{0,1,2}表示本实施例中层次图注意力网络的层次,为输入的K个样本图数据的隐藏特征表示E,为第l-1层的5个样本图数据的更新隐藏特征表示,为5个样本图数据的更新隐藏特征表示,目标参数β取值可以是0-1之间的数值,当β=0时,该层次图卷积神经网络模型将输出原始输入的E,此时可以用于5个样本图数据中缺乏图数据之间的连接关系的情况。
S305、根据每个样本图数据的更新隐藏特征表示、3个待学习聚类中心的均值向量、 3个真实聚类中心的均值向量和每个样本图数据的图类别标签,计算共识损失函数。
具体地,首先通过上述实施例中公式八和公式九计算每个样本图数据的更新隐藏特征表示与每个待学习聚类中心的均值向量之间的距离(dkc)enhance,图5中有3个待学习聚类中心的均值向量,u1、u2和u3为3个待学习聚类中心,每个样本图数据的更新隐藏特征表示与第一个待学习聚类中心的均值向量之间的距离为每个样本图数据的更新隐藏特征表示与第二个待学习聚类中心的均值向量之间的距离为每个样本图数据的更新隐藏特征表示与第三个待学习聚类中心的均值向量之间的距离为
接着,得到每个样本图数据的更新隐藏特征表示与每个待学习聚类中心的均值向量之间的距离即(dkc)enhance后,将5个(dkc)enhance拼接,得到维度为5*3的距离矩阵Denhance。
接着,归一化距离矩阵Denhance得到相似性矩阵。
具体地,S=softmax(-Denhance),其中,S为相似性矩阵,S的维度为K*c,S的每一行的概率和是1,S中每一个元素的值表示一个样本图数据属于一个聚类的概率。
然后,计算相似性矩阵和每个样本图数据的图类别标签之间的交叉熵,得到共识损失函数。
S306、反向传播调整图神经网络模型的模型参数、高斯混合层模型的模型参数、图注意力池化层模型的模型参数和层次图卷积神经网络模型的模型参数,以得到优化共识损失函数。优化共识损失函数用于使每个样本图数据的更新隐藏特征表示与每个样本图数据的图类别标签对应的聚类中心的均值向量之间的相似度在预设范围内。
S307、将优化共识损失函数对应的3个待学习聚类中心的均值向量确定为3个聚类中心的均值向量。
本实施例中,在根据样本数据训练对象聚类模型时,通过图神经网络模型输出每个样本节点的隐藏层向量表示,通过高斯混合层模型得到每个样本节点的高斯混合隐藏向量表示,通过图注意力池化层模型得到每个样本图数据的隐藏特征向量表示,通过层次图卷积神经网络模型得到述K个样本图数据的更新隐藏特征表示,进而得到每个样本图数据的更新隐藏特征表示,接着根据每个样本图数据的更新隐藏特征表示、c个待学习聚类中心的均值向量、c个真实聚类中心的均值向量和每个样本图数据的图类别标签,计算共识损失函数,调整对象聚类模型的模型参数,以得到优化共识损失函数,最后根据优化共识损失函数对应的c个待学习聚类中心的均值向量可以得到要训练得到的c个聚类中心的均值向量。在模型训练的过程中,充分利用了图数据的图类别标签,有效地解决了弱监督节点聚类任务,相比于传统的无监督学习方法,本实施例的对象聚类方法通过图数据的图类别标签辅助训练模型,利用图结构的全局属性学习局部节点特征对图分类的影响,提高了对象聚类模型的聚类效果。进而该对象聚类模型可提高对象聚类的准确性。
以下为本申请装置实施例,可以用于执行本申请上述方法实施例。对于本申请装置实施例中未披露的细节,可参考本申请上述方法实施例。
图6为本申请实施例提供的一种对象聚类模型的获取装置的结构示意图,如图6所示,本实施例的装置可以包括:获取模块11和模型训练模块12,其中,
获取模块,用于获取样本数据,样本数据包括K个样本图数据、每个样本图数据的图类别标签和K个样本图数据的c个真实聚类中心的均值向量,K、c均为正整数;
模型训练模块12用于:
对于每个样本图数据包括的每个样本节点,以每个样本节点的原始特征向量和每个样本节点的邻居节点集合为对象聚类模型的输入,输出每个样本图数据的更新隐藏特征表示;
根据每个样本图数据的更新隐藏特征表示、c个待学习聚类中心的均值向量、c个真实聚类中心的均值向量和每个样本图数据的图类别标签,计算共识损失函数;
反向传播调整对象聚类模型的模型参数,以得到优化共识损失函数,优化共识损失函数用于使每个样本图数据的更新隐藏特征表示与每个样本图数据的图类别标签对应的聚类中心的均值向量之间的相似度在预设范围内;
根据与优化共识损失函数对应的对象聚类模型的目标模型参数,得到对象聚类模型。
可选的,对象聚类模型包括图神经网络模型、高斯混合层模型、图注意力池化层模型和层次图卷积神经网络模型。
可选的,模型训练模块12用于:
以每个样本节点的原始特征向量和每个样本节点的邻居节点集合为图神经网络模型的输入,输出每个样本节点的隐藏层向量表示;
以每个样本节点的隐藏层向量表示和每个样本节点的待学习聚类中心的均值向量为高斯混合层模型的输入,输出每个样本节点的高斯混合隐藏向量表示,待学习聚类中心的均值向量为c个待学习聚类中心的均值向量中的一个;
以每个样本图数据的高斯混合隐藏表示为图注意力池化层模型的输入,输出每个样本图数据的隐藏特征向量表示,每个样本图数据的高斯混合隐藏表示根据每个样本图数据包括的多个样本节点的高斯混合隐藏向量表示拼接得到;
以K个样本图数据的隐藏特征表示为层次图卷积神经网络模型的输入,输出K个样本图数据的更新隐藏特征表示,K个样本图数据的隐藏特征表示根据K个样本图数据中每个样本图数据的隐藏特征向量拼接得到;
根据K个样本图数据的更新隐藏特征表示得到每个样本图数据的更新隐藏特征表示。
可选的,图注意力池化层模型用于:
根据每个样本图数据的高斯混合隐藏表示、第一层感知机的权重矩阵和第二层感知机的权重矩阵,确定每个样本图数据所包括的每个节点的节点注意力分数;
以每个样本图数据所包括的每个节点的节点注意力分数作为权重将每个样本图数据的高斯混合隐藏表示加权求和,得到每个样本图数据的隐藏特征向量表示。
可选的,图注意力池化层模型具体用于:将第一层感知机的权重矩阵和每个样本图数据的高斯混合隐藏表示的转秩的积的正切反函数与第二层感知机的权重矩阵的积,确定为每个样本图数据所包括的每个节点的节点注意力分数。
可选的,层次图卷积神经网络模型用于:
根据层次图卷积神经网络模型的层次l、层次图注意力系数矩阵αhier和目标参数β对K 个样本图数据的隐藏特征表示进行更新,得到K个样本图数据的更新隐藏特征表示,l大于或等于2,层次图注意力系数矩阵αhier由注意力权重系数构成。
可选的,层次图卷积神经网络模型具体用于:
根据β对第一结果和第二结果进行加权求和,得到K个样本图数据的更新隐藏特征表示;
其中,第一结果为αhier和第l-1层的K个样本图数据的更新隐藏特征表示的积,第二结果为K个样本图数据的隐藏特征表示。
可选的,模型训练模块12用于:
根据K个样本图数据的更新隐藏特征表示、c个待学习聚类中心的均值向量和c个真实聚类中心的均值向量,确定K个样本图数据的更新隐藏特征表示与c个待学习聚类中心的均值向量之间的距离矩阵;
归一化距离矩阵得到相似性矩阵;
计算相似性矩阵和每个样本图数据的图类别标签之间的交叉熵,得到共识损失函数。
可选的,模型训练模块12具体用于:
对于每个样本图数据,计算每个样本图数据的更新隐藏特征表示与每个待学习聚类中心的均值向量之间的第一距离;
计算每个样本图数据的更新隐藏特征表示与每个真实聚类中心的均值向量之间的第二距离;
将第二距离与折扣超参数的积加上第一距离得到的第三距离确定为每个样本图数据的更新隐藏特征表示与每个待学习聚类中心的均值向量之间的距离,折扣超参数为常数;
根据每个样本图数据的更新隐藏特征表示与每个待学习聚类中心的均值向量之间的距离得到距离矩阵。
可选的,模型训练模块12具体用于:反向传播调整图神经网络模型的模型参数、高斯混合层模型的模型参数、图注意力池化层模型的模型参数和层次图卷积神经网络模型的模型参数,以得到优化共识损失函数。
可选的,图神经网络模型的模型参数包括K个第一权重矩阵和K个权重向量,K等于图神经网络模型的层数;
高斯混合层模型的模型参数包括第二权重矩阵和c个待学习聚类中心的均值向量;
图注意力池化层模型的模型参数包括第一层感知机的权重矩阵和第二层感知机的权重矩阵;
层次图卷积神经网络模型的模型参数包括层次图注意力系数矩阵αhier。
可选的,相似度包括距离或夹角,距离为余弦距离或欧式距离。
本申请实施例提供的装置,可执行上述方法实施例,其具体实现原理和技术效果,可参见上述方法实施例,本实施例此处不再赘述。
图7为本申请实施例提供的一种对象聚类装置的结构示意图,如图7所示,本实施例的装置可以包括:获取模块21、第一确定模块22和第二确定模块23,其中,
获取模块21用于获取M个图数据,每个图数据包括多个节点和节点间的关联信息,M为正整数;
第一确定模块22用于对于每个图数据,根据预先训练的图神经网络模型,确定多个节点中每个节点的隐藏层向量表示;
第二确定模块23对于每个节点,根据每个节点的隐藏层向量表示与预先训练的c个聚类中心的均值向量中每个聚类中心的均值向量之间的相似度,确定每个节点的聚类;
其中,c个聚类中心的均值向量根据上述的对象聚类模型的获取方法得到,c个聚类中心的均值向量为目标模型参数包括的c个待学习聚类中心的均值向量,对象聚类模型包括图神经网络模型。
可选的,第二确定模块23用于:计算每个节点的隐藏层向量表示与c个聚类中心的均值向量中每个聚类中心的均值向量之间的相似度,将与c个聚类中心的均值向量中相似度最大的聚类中心的均值向量对应的聚类,确定为每个节点的聚类。
本申请实施例提供的装置,可执行上述方法实施例,其具体实现原理和技术效果,可参见上述方法实施例,本实施例此处不再赘述。
应理解的是,装置实施例与方法实施例可以相互对应,类似的描述可以参照方法实施 例。为避免重复,此处不再赘述。具体地,图7所示的对象聚类装置可以执行服务器对应 的方法实施例,并且对象聚类装置中的各个模块的前述和其它操作和/或功能分别为了实 现服务器对应的方法实施例,为了简洁,在此不再赘述。
上文中结合附图从功能模块的角度描述了本申请实施例的对象聚类装置。应理解,该功能模块可以通过硬件形式实现,也可以通过软件形式的指令实现,还可以通过硬件和软件模块组合实现。具体地,本申请实施例中的方法实施例的各步骤可以通过处理器中的硬件的集成逻辑电路和/或软件形式的指令完成,结合本申请实施例公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。可选地,软件模块可以位于随机存储器,闪存、只读存储器、可编程只读存储器、电可擦写可编程存储器、寄存器等本领域的成熟的存储介质中。该存储介质位于存储器,处理器读取存储器中的信息,结合其硬件完成上述方法实施例中的步骤。
图8是本申请实施例提供的对象聚类设备的示意性框图。
如图8所示,该对象聚类设备可包括:
存储器210和处理器220,该存储器210用于存储计算机程序,并将该程序代码传输给该处理器220。换言之,该处理器220可以从存储器210中调用并运行计算机程序,以实现本申请实施例中的方法。
例如,该处理器220可用于根据该计算机程序中的指令执行上述方法实施例。
在本申请的一些实施例中,该处理器220可以包括但不限于:
通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(FieldProgrammable GateArray,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等等。
在本申请的一些实施例中,该存储器210包括但不限于:
易失性存储器和/或非易失性存储器。其中,非易失性存储器可以是只读存储器(Read-Only Memory,ROM)、可编程只读存储器(Programmable ROM,PROM)、可擦除可编程只读存储器(Erasable PROM,EPROM)、电可擦除可编程只读存储器(Electrically EPROM,EEPROM)或闪存。易失性存储器可以是随机存取存储器(RandomAccess Memory, RAM),其用作外部高速缓存。通过示例性但不是限制性说明,许多形式的RAM可用,例如静态随机存取存储器(Static RAM,SRAM)、动态随机存取存储器(Dynamic RAM, DRAM)、同步动态随机存取存储器(Synchronous DRAM,SDRAM)、双倍数据速率同步动态随机存取存储器(DoubleData Rate SDRAM,DDR SDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM,ESDRAM)、同步连接动态随机存取存储器(synch link DRAM,SLDRAM)和直接内存总线随机存取存储器(Direct Rambus RAM,DR RAM)。
在本申请的一些实施例中,该计算机程序可以被分割成一个或多个模块,该一个或者多个模块被存储在该存储器210中,并由该处理器220执行,以完成本申请提供的方法。该一个或多个模块可以是能够完成特定功能的一系列计算机程序指令段,该指令段用于描述该计算机程序在该对象聚类设备中的执行过程。
如图8所示,该对象聚类设备还可包括:
收发器230,该收发器230可连接至该处理器220或存储器210。
其中,处理器220可以控制该收发器230与其他设备进行通信,具体地,可以向其他设备发送信息或数据,或接收其他设备发送的信息或数据。收发器230可以包括发射机和接收机。收发器230还可以进一步包括天线,天线的数量可以为一个或多个。
应当理解,该对象聚类设备中的各个组件通过总线***相连,其中,总线***除包括数据总线之外,还包括电源总线、控制总线和状态信号总线。
本申请还提供了一种计算机存储介质,其上存储有计算机程序,该计算机程序被计算机执行时使得该计算机能够执行上述方法实施例的方法。或者说,本申请实施例还提供一种包含指令的计算机程序产品,该指令被计算机执行时使得计算机执行上述方法实施例的方法。
当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。该计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行该计算机程序指令时,全部或部分地产生按照本申请实施例该的流程或功能。该计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。该计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,该计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line,DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。该计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。该可用介质可以是磁性介质(例如,软盘、硬盘、磁带)、光介质(例如数字视频光盘(digital video disc,DVD))、或者半导体介质(例如固态硬盘(solid state disk,SSD))等。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的模块及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
在本申请所提供的几个实施例中,应该理解到,所揭露的***、装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,该模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个模块或组件可以结合或者可以集成到另一个***,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或模块的间接耦合或通信连接,可以是电性,机械或其它的形式。
作为分离部件说明的模块可以是或者也可以不是物理上分开的,作为模块显示的部件可以是或者也可以不是物理模块,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。例如,在本申请各个实施例中的各功能模块可以集成在一个处理模块中,也可以是各个模块单独物理存在,也可以两个或两个以上模块集成在一个模块中。
以上该,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以该权利要求的保护范围为准。
Claims (19)
1.一种对象聚类模型的获取方法,其特征在于,包括:
获取样本数据,所述样本数据包括K个样本图数据、所述每个样本图数据的图类别标签和所述K个样本图数据的c个真实聚类中心的均值向量,所述K、所述c均为正整数;
对于所述每个样本图数据包括的每个样本节点,以所述每个样本节点的原始特征向量和所述每个样本节点的邻居节点集合为对象聚类模型的输入,输出所述每个样本图数据的更新隐藏特征表示;
根据所述每个样本图数据的更新隐藏特征表示、c个待学习聚类中心的均值向量、所述c个真实聚类中心的均值向量和所述每个样本图数据的图类别标签,计算共识损失函数;
反向传播调整所述对象聚类模型的模型参数,以得到优化共识损失函数,所述优化共识损失函数用于使所述每个样本图数据的更新隐藏特征表示与所述每个样本图数据的图类别标签对应的聚类中心的均值向量之间的相似度在预设范围内;
根据与所述优化共识损失函数对应的所述对象聚类模型的目标模型参数,得到所述对象聚类模型。
2.根据权利要求1所述的方法,其特征在于,所述对象聚类模型包括图神经网络模型、高斯混合层模型、图注意力池化层模型和层次图卷积神经网络模型。
3.根据权利要求2所述的方法,其特征在于,所述以所述每个样本节点的原始特征向量和所述每个样本节点的邻居节点集合为所述对象聚类模型的输入,输出所述每个样本图数据的更新隐藏特征表示,包括:
以所述每个样本节点的原始特征向量和所述每个样本节点的邻居节点集合为所述图神经网络模型的输入,输出所述每个样本节点的隐藏层向量表示;
以所述每个样本节点的隐藏层向量表示和所述每个样本节点的所述待学习聚类中心的均值向量为所述高斯混合层模型的输入,输出所述每个样本节点的高斯混合隐藏向量表示,所述待学习聚类中心的均值向量为c个待学习聚类中心的均值向量中的一个;
以所述每个样本图数据的高斯混合隐藏表示为所述图注意力池化层模型的输入,输出所述每个样本图数据的隐藏特征向量表示,所述每个样本图数据的高斯混合隐藏表示根据所述每个样本图数据包括的多个样本节点的高斯混合隐藏向量表示拼接得到;
以所述K个样本图数据的隐藏特征表示为所述层次图卷积神经网络模型的输入,输出所述K个样本图数据的更新隐藏特征表示,所述K个样本图数据的隐藏特征表示根据所述K个样本图数据中所述每个样本图数据的隐藏特征向量拼接得到;
根据所述K个样本图数据的更新隐藏特征表示得到所述每个样本图数据的更新隐藏特征表示。
4.根据权利要求3所述的方法,其特征在于,所述图注意力池化层模型用于:
根据所述每个样本图数据的高斯混合隐藏表示、第一层感知机的权重矩阵和第二层感知机的权重矩阵,确定所述每个样本图数据所包括的每个节点的节点注意力分数;
以所述每个样本图数据所包括的每个样本节点的节点注意力分数作为权重将所述每个样本图数据的高斯混合隐藏表示加权求和,得到所述每个样本图数据的隐藏特征向量表示。
5.根据权利要求4所述的方法,其特征在于,所述根据所述每个样本图数据的高斯混合隐藏表示、第一层感知机的权重矩阵和第二层感知机的权重矩阵,确定所述每个样本图数据所包括的每个节点的节点注意力分数,包括:
将所述第一层感知机的权重矩阵和所述每个样本图数据的高斯混合隐藏表示的转秩的积的正切反函数与所述第二层感知机的权重矩阵的积,确定为所述每个样本图数据所包括的每个样本节点的节点注意力分数。
6.根据权利要求3所述的方法,其特征在于,所述层次图卷积神经网络模型用于:
根据所述层次图卷积神经网络模型的层次l、层次图注意力系数矩阵αhier和目标参数β对所述K个样本图数据的隐藏特征表示进行更新,得到所述K个样本图数据的更新隐藏特征表示,所述l大于或等于2,所述层次图注意力系数矩阵αhier由注意力权重系数构成。
7.根据权利要求6所述的方法,其特征在于,所述根据所述层次图卷积神经网络模型的层次l、层次图注意力系数矩阵αhier和目标参数β对所述K个样本图数据的隐藏特征表示进行更新,得到所述K个样本图数据的更新隐藏特征表示,包括:
根据所述β对第一结果和第二结果进行加权求和,得到所述K个样本图数据的更新隐藏特征表示;
其中,所述第一结果为所述αhier和第l-1层的所述K个样本图数据的更新隐藏特征表示的积,所述第二结果为所述K个样本图数据的隐藏特征表示。
8.根据权利要求1所述的方法,其特征在于,所述根据所述每个样本图数据的更新隐藏特征表示、c个待学习聚类中心的均值向量、所述c个真实聚类中心的均值向量和所述每个样本图数据的图类别标签,计算共识损失函数,包括:
根据所述K个样本图数据的更新隐藏特征表示、所述c个待学习聚类中心的均值向量和所述c个真实聚类中心的均值向量,确定所述K个样本图数据的更新隐藏特征表示与所述c个待学习聚类中心的均值向量之间的距离矩阵;
归一化所述距离矩阵得到相似性矩阵;
计算所述相似性矩阵和所述每个样本图数据的图类别标签之间的交叉熵,得到所述共识损失函数。
9.根据权利要求8所述的方法,其特征在于,所述根据所述K个样本图数据的更新隐藏特征表示、所述c个待学习聚类中心的均值向量和所述c个真实聚类中心的均值向量,确定所述K个样本图数据的更新隐藏特征表示与所述c个待学习聚类中心的均值向量之间的距离矩阵,包括:
对于每个样本图数据,计算所述每个样本图数据的更新隐藏特征表示与每个所述待学习聚类中心的均值向量之间的第一距离;
计算所述每个样本图数据的更新隐藏特征表示与每个所述真实聚类中心的均值向量之间的所述第二距离;
将所述第二距离与折扣超参数的积加上所述第一距离得到的第三距离确定为所述每个样本图数据的更新隐藏特征表示与每个所述待学习聚类中心的均值向量之间的距离,所述折扣超参数为预设数值;
根据所述每个样本图数据的更新隐藏特征表示与每个所述待学习聚类中心的均值向量之间的距离得到所述距离矩阵。
10.根据权利要求2所述的方法,其特征在于,所述反向传播调整所述对象聚类模型的模型参数,以得到优化共识损失函数,包括:
反向传播调整所述图神经网络模型的模型参数、所述高斯混合层模型的模型参数、所述图注意力池化层模型的模型参数和所述层次图卷积神经网络模型的模型参数,以得到所述优化共识损失函数。
11.根据权利要求10所述的方法,其特征在于,
所述图神经网络模型的模型参数包括K个第一权重矩阵和K个权重向量,所述K等于所述图神经网络模型的层数;
所述高斯混合层模型的模型参数包括第二权重矩阵和所述c个待学习聚类中心的均值向量;
所述图注意力池化层模型的模型参数包括第一层感知机的权重矩阵和第二层感知机的权重矩阵;
所述层次图卷积神经网络模型的模型参数包括层次图注意力系数矩阵αhier。
12.根据权利要求1所述的方法,其特征在于,所述相似度包括距离或夹角,所述距离为余弦距离或欧式距离。
13.一种对象聚类方法,其特征在于,包括:
获取M个图数据,每个所述图数据包括多个节点和节点间的关联信息,所述M为正整数;
对于每个所述图数据,根据预先训练的图神经网络模型,确定所述多个节点中每个节点的隐藏层向量表示;
对于所述每个节点,根据所述每个节点的隐藏层向量表示与预先训练的c个聚类中心的均值向量中每个所述聚类中心的均值向量之间的相似度,确定所述每个节点的聚类;
其中,所述c个聚类中心的均值向量根据权利要求1-12任一项所述的对象聚类模型的获取方法得到,所述c个聚类中心的均值向量为所述目标模型参数包括的c个待学习聚类中心的均值向量,所述对象聚类模型包括所述图神经网络模型。
14.根据权利要求13所述的方法,其特征在于,所述根据所述每个节点的隐藏层向量表示与预先训练的c个聚类中心的均值向量中每个所述聚类中心的均值向量之间的相似度,确定所述每个节点的聚类,包括:
计算所述每个节点的隐藏层向量表示与所述c个聚类中心的均值向量中每个所述聚类中心的均值向量之间的相似度,将与所述c个聚类中心的均值向量中相似度最大的聚类中心的均值向量对应的聚类,确定为所述每个节点的聚类。
15.一种对象聚类模型的获取装置,其特征在于,包括:
获取模块,用于获取样本数据,所述样本数据包括K个样本图数据、所述每个样本图数据的图类别标签和所述K个样本图数据的c个真实聚类中心的均值向量,所述K、所述c均为正整数;
模型训练模块,用于:
对于所述每个样本图数据包括的每个样本节点,以所述每个样本节点的原始特征向量和所述每个样本节点的邻居节点集合为对象聚类模型的输入,输出所述每个样本图数据的更新隐藏特征表示;
根据所述每个样本图数据的更新隐藏特征表示、c个待学习聚类中心的均值向量、所述c个真实聚类中心的均值向量和所述每个样本图数据的图类别标签,计算共识损失函数;
反向传播调整所述对象聚类模型的模型参数,以得到优化共识损失函数,所述优化共识损失函数用于使所述每个样本图数据的更新隐藏特征表示与所述每个样本图数据的图类别标签对应的聚类中心的均值向量之间的相似度在预设范围内;
根据与所述优化共识损失函数对应的所述对象聚类模型的目标模型参数,得到所述对象聚类模型。
16.一种对象聚类装置,其特征在于,包括:
获取模块,用于获取M个图数据,每个所述图数据包括多个节点和节点间的关联信息,所述M为正整数;
第一确定模块,用于对于每个所述图数据,根据预先训练的图神经网络模型,确定所述多个节点中每个节点的隐藏层向量表示;
第二确定模块,用于对于所述每个节点,根据所述每个节点的隐藏层向量表示与预先训练的c个聚类中心的均值向量中每个所述聚类中心的均值向量之间的相似度,确定所述每个节点的聚类;
其中,所述c个聚类中心的均值向量根据权利要求1-12任一项所述的对象聚类模型的获取方法得到,所述c个聚类中心的均值向量为所述目标模型参数包括的c个待学习聚类中心的均值向量,所述对象聚类模型包括所述图神经网络模型。
17.一种对象聚类设备,其特征在于,包括:
处理器和存储器,所述存储器用于存储计算机程序,所述处理器用于调用并运行所述存储器中存储的计算机程序,以执行权利要求1-12或13-14中任一项所述的方法。
18.一种计算机可读存储介质,其特征在于,用于存储计算机程序,所述计算机程序使得计算机执行如权利要求1-12或13-14中任一项所述的方法。
19.一种计算机程序产品,包括计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1-12或13-14中任一项所述方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111296472.2A CN114358111A (zh) | 2021-11-03 | 2021-11-03 | 对象聚类模型的获取方法、对象聚类方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111296472.2A CN114358111A (zh) | 2021-11-03 | 2021-11-03 | 对象聚类模型的获取方法、对象聚类方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114358111A true CN114358111A (zh) | 2022-04-15 |
Family
ID=81095742
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111296472.2A Pending CN114358111A (zh) | 2021-11-03 | 2021-11-03 | 对象聚类模型的获取方法、对象聚类方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114358111A (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115293919A (zh) * | 2022-07-22 | 2022-11-04 | 浙江大学 | 面向社交网络分布外泛化的图神经网络预测方法及*** |
CN115994226A (zh) * | 2023-03-21 | 2023-04-21 | 杭州金智塔科技有限公司 | 基于联邦学习的聚类模型训练***及方法 |
WO2024120166A1 (zh) * | 2022-12-08 | 2024-06-13 | 马上消费金融股份有限公司 | 数据处理方法、类别识别方法及计算机设备 |
-
2021
- 2021-11-03 CN CN202111296472.2A patent/CN114358111A/zh active Pending
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115293919A (zh) * | 2022-07-22 | 2022-11-04 | 浙江大学 | 面向社交网络分布外泛化的图神经网络预测方法及*** |
CN115293919B (zh) * | 2022-07-22 | 2023-08-04 | 浙江大学 | 面向社交网络分布外泛化的图神经网络预测方法及*** |
WO2024120166A1 (zh) * | 2022-12-08 | 2024-06-13 | 马上消费金融股份有限公司 | 数据处理方法、类别识别方法及计算机设备 |
CN115994226A (zh) * | 2023-03-21 | 2023-04-21 | 杭州金智塔科技有限公司 | 基于联邦学习的聚类模型训练***及方法 |
CN115994226B (zh) * | 2023-03-21 | 2023-10-20 | 杭州金智塔科技有限公司 | 基于联邦学习的聚类模型训练***及方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US12008459B2 (en) | Multi-task machine learning architectures and training procedures | |
He et al. | Neural factorization machines for sparse predictive analytics | |
US11227190B1 (en) | Graph neural network training methods and systems | |
CN109902706B (zh) | 推荐方法及装置 | |
US11770571B2 (en) | Matrix completion and recommendation provision with deep learning | |
Majumder et al. | 500+ times faster than deep learning: A case study exploring faster methods for text mining stackoverflow | |
WO2021233199A1 (zh) | 搜索推荐模型的训练方法、搜索结果排序的方法及装置 | |
CN103268317B (zh) | 对图像进行语义注释的***和方法 | |
CN114358111A (zh) | 对象聚类模型的获取方法、对象聚类方法及装置 | |
Stone | Calibrating rough volatility models: a convolutional neural network approach | |
CN114048331A (zh) | 一种基于改进型kgat模型的知识图谱推荐方法及*** | |
CN111667022A (zh) | 用户数据处理方法、装置、计算机设备和存储介质 | |
Soui et al. | Bankruptcy prediction using stacked auto-encoders | |
WO2021089012A1 (zh) | 图网络模型的节点分类方法、装置及终端设备 | |
CN112861936A (zh) | 一种基于图神经网络知识蒸馏的图节点分类方法及装置 | |
US20220138502A1 (en) | Graph neural network training methods and systems | |
CN111814842A (zh) | 基于多通路图卷积神经网络的对象分类方法及装置 | |
CN116204729B (zh) | 一种基于超图神经网络的跨领域群组智能推荐方法 | |
CN113609337A (zh) | 图神经网络的预训练方法、训练方法、装置、设备及介质 | |
US11669565B2 (en) | Method and apparatus for tracking object | |
CN112131261A (zh) | 基于社区网络的社区查询方法、装置和计算机设备 | |
CN112241920A (zh) | 基于图神经网络的投融资机构评估方法、***及设备 | |
Yang et al. | In-context operator learning with data prompts for differential equation problems | |
Yoshida et al. | Spatial prediction of apartment rent using regression-based and machine learning-based approaches with a large dataset | |
CN108475346A (zh) | 神经随机访问机器 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |