CN117951517A - 节点分类模型的训练方法、装置、电子设备及存储介质 - Google Patents
节点分类模型的训练方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN117951517A CN117951517A CN202311204311.5A CN202311204311A CN117951517A CN 117951517 A CN117951517 A CN 117951517A CN 202311204311 A CN202311204311 A CN 202311204311A CN 117951517 A CN117951517 A CN 117951517A
- Authority
- CN
- China
- Prior art keywords
- node
- candidate
- network
- networks
- graph
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012549 training Methods 0.000 title claims abstract description 190
- 238000013145 classification model Methods 0.000 title claims abstract description 146
- 238000000034 method Methods 0.000 title claims abstract description 88
- 238000003860 storage Methods 0.000 title claims abstract description 21
- 238000012545 processing Methods 0.000 claims abstract description 72
- 238000000605 extraction Methods 0.000 claims abstract description 24
- 230000006870 function Effects 0.000 claims description 114
- 238000005096 rolling process Methods 0.000 claims description 111
- 238000010586 diagram Methods 0.000 claims description 83
- 238000013507 mapping Methods 0.000 claims description 5
- 230000008569 process Effects 0.000 description 31
- 238000004364 calculation method Methods 0.000 description 29
- 230000004927 fusion Effects 0.000 description 20
- 238000012216 screening Methods 0.000 description 18
- 239000010410 layer Substances 0.000 description 12
- 238000007499 fusion processing Methods 0.000 description 10
- 238000013528 artificial neural network Methods 0.000 description 8
- 238000004590 computer program Methods 0.000 description 7
- 239000002356 single layer Substances 0.000 description 6
- 239000013598 vector Substances 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 3
- 238000012163 sequencing technique Methods 0.000 description 3
- 230000002776 aggregation Effects 0.000 description 2
- 238000004220 aggregation Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000002860 competitive effect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000004931 aggregating effect Effects 0.000 description 1
- 238000013475 authorization Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 238000003012 network analysis Methods 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请实施例提供了节点分类模型的训练方法、装置、电子设备及存储介质,该方法包括:在当前训练轮次中,将N个同构图输入图卷积网络进行特征提取处理,得到N个节点特征信息并据此确定M个候选网络;根据每个候选网络的待训练参数,计算每个候选网络被选择用于生成节点分类模型的选择概率,并基于每个候选网络的选择概率和N个节点特征信息生成节点分类预测结果;根据节点分类预测结果、M个候选网络的待训练参数以及节点真实标签确定预测损失函数,并基于预测损失函数确定模型损失函数;如果根据模型损失函数确定当前训练轮次满足训练结束条件,则选取目标候选网络,并基于目标候选网络生成节点分类模型。以此,可提高图数据处理效率。
Description
技术领域
本申请涉及图数据领域,尤其涉及一种节点分类模型的训练方法、装置、电子设备及存储介质。
背景技术
随着电子技术的发展,图神经网络的应用越来越广泛,在网络分析、推荐***、生物化学、交通预测、计算机视觉、自然语言处理等各个领域,图神经网络都起到了非常重要的作用。现实生活中存在大量的图数据,其结构复杂,蕴含着丰富的信息,利用图神经网络技术处理图数据是常见的图数据处理方法之一,比如利用图神经网络对图数据进行节点分类。
然而,在多关系图的场景中,输入图神经网络的待处理的图数据包括多个图像,其中可能仅有一部分图像包含的信息对图神经网络的预测有益,另一部分图像包含的信息对图神经网络来说是冗余数据。因此,在此种场景下,为了确保节点分类的准确性,需要根据多关系图对节点分类模型进行训练,得到适合多关系图的节点分类模型。
发明内容
本申请实施例提供了一种节点分类模型的训练方法、装置、电子设备及存储介质,以在多关系图的场景下提高训练后的节点分类模型的图数据处理效率。
第一方面,本申请实施例提供了一种节点分类模型的训练方法,包括:
在当前训练轮次中,将N个同构图输入图卷积网络进行特征提取处理,得到N个节点特征信息,并根据所述N个节点特征信息确定M个候选网络;N和M均为大于1的整数;M大于N;一个同构图对应一个节点特征信息;
针对每个候选网络,根据候选网络在当前训练轮次中的待训练参数,计算候选网络被选择用于生成节点分类模型的选择概率,并基于M个候选网络的选择概率和N个节点特征信息生成节点分类预测结果;
根据所述节点分类预测结果、所述当前训练轮次中M个候选网络的待训练参数以及节点真实标签确定预测损失函数,并基于所述预测损失函数确定模型损失函数;
如果根据所述模型损失函数确定当前训练轮次满足训练结束条件,则选取所述M个候选网络中选择概率满足概率阈值的目标候选网络,并基于所述目标候选网络生成节点分类模型。
第二方面,本申请实施例提供了一种节点分类模型的训练装置,包括:
确定单元,用于在当前训练轮次中,将N个同构图输入图卷积网络进行特征提取处理,得到N个节点特征信息,并根据所述N个节点特征信息确定M个候选网络;N和M均为大于1的整数;M大于N;一个同构图对应一个节点特征信息;
生成单元,用于针对每个候选网络,根据候选网络在当前训练轮次中的待训练参数,计算候选网络被选择用于生成节点分类模型的选择概率,并基于M个候选网络的选择概率和N个节点特征信息生成节点分类预测结果;
所述确定单元,还用于根据所述节点分类预测结果、所述当前训练轮次中M个候选网络的待训练参数以及节点真实标签确定预测损失函数,并基于所述预测损失函数确定模型损失函数;
所述生成单元,还用于如果根据所述模型损失函数确定当前训练轮次满足训练结束条件,则选取所述M个候选网络中选择概率满足概率阈值的目标候选网络,并基于所述目标候选网络生成节点分类模型。
第三方面,本申请实施例提供了一种电子设备,包括:处理器;以及,被配置为存储计算机可执行指令的存储器,所述计算机可执行指令在被执行时使所述处理器执行如第一方面所述的节点分类模型的训练方法。
第四方面,本申请实施例提供了一种计算机可读存储介质,用于存储计算机可执行指令,所述计算机可执行指令在被处理器执行时实现如第一方面所述的节点分类模型的训练方法。
可以看出,在本申请实施例中,首先,在当前训练轮次中,将N个同构图输入图卷积网络进行特征提取处理,得到N个节点特征信息,并根据N个节点特征信息确定M个候选网络;N和M均为大于1的整数;M大于N;一个同构图对应一个节点特征信息;然后,针对每个候选网络,根据候选网络在当前训练轮次中的待训练参数,计算候选网络被选择用于生成节点分类模型的选择概率,并基于M个候选网络的选择概率和N个节点特征信息生成节点分类预测结果;接着,根据节点分类预测结果、当前训练轮次中M个候选网络的待训练参数以及节点真实标签确定预测损失函数,并基于预测损失函数确定模型损失函数;最后,如果根据模型损失函数确定当前训练轮次满足训练结束条件,则选取M个候选网络中选择概率满足概率阈值的目标候选网络,并基于目标候选网络生成节点分类模型。以此,节点特征信息的数量可以反映输出对应的节点特征信息的图卷积网络的数量,进而可以基于节点特征信息的数量对图卷积网络排列组合得到M个候选网络,每个候选网络对应的选择概率可以用于表征这个候选网络最终能够被保留或者被选择用于生成节点分类模型的可能性,概率越大,可能性越大,也就是说可能性越大,这个候选网络在节点分类时做出的贡献越大,进一步的,利用M个候选网络的选择概率和N个节点特征信息生成节点分类预测结果,基于分类预测结果和各个候选网络的待训练参数生成模型损失函数,如果模型损失函数满足了训练结束条件,说明可以结束训练了,此时将M个候选网络中选择概率阈值满足目标候选网络用于生成节点分类模型。如此一来,实现了在模型训练过程中,对最优网络结构的筛选,通过此方法生成的节点分类模型更适合该N个同构图,以便于后续对N同构图进行节点分类预测时,更加准确。
并且,该目标候选网络可以用于确定前述M个候选网络中冗余的图卷积网络,在生成节点分类模型时,不考虑这些冗余的图卷积网络,只基于目标候选网络生成节点分类模型,可以简化模型结构,缩小模型体积,减少冗余的图数据处理,节省计算资源,在多关系图的场景下提高图数据的处理效率。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本说明书中记载的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图;
图1为本申请实施例提供的一种节点分类模型的训练方法的处理流程图;
图2为本申请实施例提供的一种节点分类模型的训练方法的网络架构示意图;
图3为本申请实施例提供的一种节点分类模型的工作流程图;
图4为本申请实施例提供的一种节点分类模型的训练装置示意图;
图5为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请实施例中的技术方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本说明书的一部分实施例,而不是全部的实施例。基于本申请实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本申请的保护范围。
在多关系图的场景中,输入模型的图数据包括多个,且该多个图数据之间存在一定的联系。实际应用中,输入模型的多个图数据包含的信息不一样,重要程度存在差异,一部分图像可能会出现错误。若通过固定的网络结构的节点分类模型对多个图数据进行图数据处理,无论输入的多个图像是否包含了有效信息,模型都会公平对待,一方面,可能会出现将最佳的预测与最差的预测相结合以致降低了预测效果的情况,另一方面,可能会导致模型体积较大,计算速度较低,数据处理效率低下。为此,本申请实施例提供了一种节点分类模型的训练方法,首先,在当前训练轮次中,将N个同构图输入图卷积网络进行特征提取处理,得到N个节点特征信息,并根据N个节点特征信息确定M个候选网络;N和M均为大于1的整数;M大于N;然后,根据每个候选网络在当前训练轮次中的待训练参数,计算每个候选网络被选择用于生成节点分类模型的选择概率,并基于每个候选网络的选择概率和N个节点特征信息生成节点分类预测结果;接着,根据节点分类预测结果、当前训练轮次中M个候选网络的待训练参数以及节点真实标签确定预测损失函数,并基于预测损失函数确定模型损失函数;最后,如果根据模型损失函数确定当前训练轮次满足训练结束条件,则选取M个候选网络中选择概率满足概率阈值的目标候选网络,并基于目标候选网络生成节点分类模型。以此,节点特征信息的数量可以反映输出对应的节点特征信息的图卷积网络的数量,进而可以基于节点特征信息的数量对图卷积网络排列组合得到M个候选网络,每个候选网络对应的选择概率可以用于表征这个候选网络最终能够被保留或者被选择用于生成节点分类模型的可能性,概率越大,可能性越大,也就是说可能性越大,这个候选网络在节点分类时做出的贡献越大,进一步的,利用每个候选网络的选择概率和N个节点特征信息生成节点分类预测结果,基于分类预测结果和各个候选网络的待训练参数生成模型损失函数,如果模型损失函数满足了训练结束条件,说明可以结束训练了,此时将M个候选网络中选择概率阈值满足目标候选网络用于生成节点分类模型。如此一来,实现了在模型训练过程中,对最优网络结构的筛选,通过此方法生成的节点分类模型更适合该N个同构图,以便于后续对N同构图进行节点分类预测时,更加准确。
并且,该目标候选网络可以用于确定前述M个候选网络中冗余的图卷积网络,在生成节点分类模型时,不考虑这些冗余的图卷积网络,只基于目标候选网络生成节点分类模型,可以简化模型结构,缩小模型体积,减少冗余的图数据处理,节省计算资源,在多关系图的场景下提高图数据的处理效率。
图1为本申请实施例提供的一种节点分类模型的训练方法的处理流程图。图1所述的节点分类模型的训练方法可由电子设备执行,该电子设备可以是终端设备,比如手机、笔记本电脑、智能交互设备等等;或者,该电子设备还可以是服务器,比如独立的物理服务器、服务器集群或者是能够进行云计算的云服务器。参照图1,本实施例提供的节点分类模型的训练方法,具体包括步骤S102至步骤S108:
步骤S102,在当前训练轮次中,将N个同构图输入图卷积网络进行特征提取处理,得到N个节点特征信息,并根据N个节点特征信息映射得到M个候选网络。
N可以是大于1的整数,M可以是大于1的整数,M可以大于N。M的数值可以由N确定。该N个同构图中,一个同构图对应一个节点特征信息。
同构图是指具有相同节点,但是不同边的图。N个同构图可以组成元素数量为N的同构图集合,该N个同构图中每个同构图为该同构图集合中的一个元素。位于同一个同构图集合中的多个同构图可以具有相同节点。
例如,N=3,同构图集合包括同构图G1,同构图G2以及同构图G3。其中,G1包括k1、k2、k3、k4四个节点,G2包括k1、k2、k3、k4四个节点,G3包括k1、k2、k3、k4四个节点。位于同一个同构图集合中的任意两个同构图可以具有相同的节点连接关系,也可以具有不同的节点连接关系。也就是说,两个同构图之间可以有相同的边,但是两个同构图之间的边不是完全相同的。
例如,N=3,同构图集合包括同构图G1,同构图G2以及同构图G3。其中,G1包括k1、k2、k3、k4四个节点,G2包括k1、k2、k3、k4四个节点,G3包括k1、k2、k3、k4四个节点。在G1中,k1与k2连接,k2与k4连接,k3与k4连接。在G2中,k1与k2连接,k1与k3连接,k1与k4连接,k2与k4连接,k3与k4连接。在G3中,k1与k2连接,k2与k4连接,k3与k4连接。G1与G2的节点连接关系不同,G1与G3的节点连接关系相同,G2与G3的节点连接关系不同。
位于同一个同构图集合中的任意两个同构图中节点之间的连接关系表征不同的信息。例如,N=3,同构图集合包括同构图G1,同构图G2以及同构图G3。G1中每个节点用于表示一个用户,节点之间的连接关系用于表示用户之间存在好友关系且每月的消费资源数量相近;G2中每个节点用于表示一个用户,节点之间的连接关系用于表示用户之间存在好友关系且每月的收入相近;G3中每个节点用于表示一个用户,节点之间的连接关系用于表示用户之间在预设时间段内存在资源转移记录。
本实施例中,N个同构图的节点信息相同,且该N个同构图的边信息不同。节点信息包括且不限于:节点类型、节点标识、节点名称、节点属性信息,等等。两个同构图的节点信息相同指的是,该两个同构图具有相同的节点,且在该两个同构图中,存在对应关系的两个节点的节点信息相同。
例如,同构图1包括节点1和节点2,同构图2包括节点1和节点2。同构图1中的节点1与同构图2中的节点1存在对应关系,该同构图1中的节点1与该同构图2中的节点1的节点类型、节点标识、节点名称以及节点属性信息相同。同构图1中的节点2与同构图2中的节点2存在对应关系,该同构图1中的节点2与该同构图2中的节点2的节点类型、节点标识、节点名称以及节点属性信息相同。
同构图中任意一个节点的节点类型可以是多个预先配置的候选节点类型中的其中一者。每个节点的节点类型与节点所表征的对象的种类存在对应关系。在两个节点的节点类型相同的情况下,该两个节点分别表征的对象属于同一种类。节点所表征的对象的种类可以是人,也可以是物体,等等。上述列举的种类仅仅是实例性的,具体可根据实际场景进行配置确定,本实施例在此不做限定。
例如,同构图1包括3个节点,每个节点所表征的对象的种类是人,其中,节点A对应于用户1,节点B对应于用户2,节点C对应于用户3。
又例如,同构图1包括2个节点,每个节点所表征的对象的种类是商品,其中,节点A对应于商品1,节点B对应于商品2。
节点标识可以是用于标识唯一对应的节点的标识信息。节点属性信息可以描述节点所表征的对象的特征。
边信息包括且不限于:边类型、边标识、边属性信息、位于边两端的节点标识,等等。边用于表示节点之间的关系,一个边的边类型可以由位于该边的两端的节点之间的关系确定。
同构图中任意一个边的边类型可以是多个预先配置的候选边类型中的其中一者。边标识可以是用于表示唯一对应的边的标识信息。边属性信息可以描述边所表征的节点连接关系的特征。
在N个同构图中,每个同构图对应的边类型可以是不同的。例如,N=2,N个同构图包括同构图1和同构图2。
同构图1中包括节点A、节点B以及节点C,节点A与节点C之间存在边L1。该边L1为第一边类型,用于表示节点A对应的用户1和节点C对应的用户2在社交平台甲存在好友关系。
同构图2包括节点A、节点B以及节点C,节点A与节点C之间存在边L2。该边L2为第二边类型,用于表示节点A对应的用户1和节点C对应的用户2在支付平台存在历史交易记录。
在N个同构图中,每个同构图所包括的边的数量和/或边的位置可以是不同的。例如,N=2,N个同构图包括同构图1和同构图2。同构图1中包括节点A、节点B、节点C以及节点D,节点A与节点B之间存在边L1。该边L1用于表示节点A对应的用户1和节点B对应的用户2在社交平台甲存在好友关系且均符合预设条件1。
同构图2包括节点A、节点B、节点C以及节点D,节点A与节点C之间存在边L2,节点B与节点D之间存在边L3。该边L2用于表示节点A对应的用户1和节点C对应的用户3在社交平台甲存在好友关系且均符合预设条件2。该边L3用于表示节点B对应的用户2和节点D对应的用户4在社交平台甲存在好友关系且均符合预设条件2。
在一个实施例中,本申请实施例主要构思是通过N个同构图进行最优网络结构搜索也即从M个候选网络中选择目标候选网络,基于搜索得到的最优网络结构构建节点分类模型,如此得到的节点分类模型更适用于N个同构图,采用节点分类模型基于N个同构图进行节点分类预测时,可以提高节点分类的准确性。
应当理解的,通过N个同构图进行最优网络结构搜索的过程可能需要经历多个训练轮次才能完成,在步骤S102中,当前训练轮次可以是任意一个训练轮次。图卷积网络的数量可以是一个或N个,当图卷积网络的数量为一个时,N个同构图是输入到同一个图卷积网络进行特征提取处理,当图卷积网络的数量为N个时,一个同构图对应一个图卷积网络,每个同构图是通过相对应的图卷积网络进行特征提取处理,得到每个同构图对应的节点特征信息。
例如,在N=3的情况下,将3个同构图(G1、G2以及G3)输入图卷积网络进行特征提取处理,得到3个节点特征信息:同构图G1的节点特征信息Z1,同构图G2的节点特征信息Z2以及同构图G3的节点特征信息Z3。
具体实施时,图卷积网络的数量可以是N个,每个同构图与该N个图卷积网络的其中一者之间存在对应关系。将N个同构图输入图卷积网络进行特征提取处理,得到N个节点特征信息,可以是将该N个同构图中每个同构图输入该同构图对应的图卷积网络进行特征提取处理,得到该同构图的节点特征信息。
具体实施时,一个图卷积网络可以是GNN(Graph Neural Network,图神经网络)模块。GNN模块可以由GCNConv(Graph Convolutional Networks Conv,图卷积网络卷积层)、GraphSageConv(Graph Sample and aggregate Conv,图邻居采样和特征聚合卷积层)、GATConv(Graph Attention Network Conv,图注意力网络卷积层)等组成。
GNN模块用于图数据的特征提取,具体地,GNN模块可以通过对周围节点特征进行聚合来更新中心节点特征。单层GCNConv图卷积计算可以表示为:
H(l+1)=σ(AX(l)W(l)) (1)
式中,l表示层数,σ为激活函数,表示归一化后的邻接矩阵,表示该单层GCNConv中待训练的参数,用于对X进行维度变换,/>为输入节点特征,/>为输出节点特征。其中,V表示图中节点的个数,C表示输入维数,F表示输出维度。l、V、C、F均为大于0的自然数。
单层GraphSageConv图卷积计算通过单个节点的表示学习过程来描述:
式中,节点v为目标节点,h(l+1)(v)表示经过图卷积计算后第l层的节点v的表示。A(v,u)为归一化处理后的邻接矩阵,它表示节点v和节点u是l阶的邻节关系。h(l)(u)表示第l层节点u的表示,W(l)表示该单层GraphSageConv中第l层的待训练参数。GraphSageConv对节点v进行特征聚合时,需要对节点v和其邻居节点的特征向量进行求和(或其它方式),采集邻居节点数量固定为N。l和N均为大于0的自然数。
单层GATConv图卷积计算通过单个节点的表示学习过程来描述:
式中,节点i为目标节点,该公式对所有邻居节点的节点特征做了加权求和。表示节点i与节点j之间的权重,二者特征越相似,权重越大。/>表示节点i的邻居节点集合,/>为输出结果,表示经过图卷积计算的节点i特征。
示例性地,GNN模块可以是包括两层图卷积的网络结构,该两层图卷积中每层图卷积可以是单层GCNConv、单层GraphSageConv以及单层GATConv中的一者,也可以是其他类型的用于执行图卷积计算的卷积层。
具体实施时,GNN模块的计算流程可以参照如下公式(4)-(5):
Hi=GNNConv(Ai,Xi) (4)
Zi=GNNConv(Ai,Hi) (5)
其中,输入为节点特征和邻接矩阵/>和为各层的输出节点特征。V表示图中节点的个数,F表示输出维度。V和F均为大于0的自然数。
在实际应用中,GNN模块所包括的卷积层的类型可以由训练方式和/或图特征信息确定。
例如,在进行有监督学习的情况下,可以选择GraphSageConv和GATConv,如进行半监督学习的话,可以选择GCNConv,如进行无监督学习的话,可以选择GraphSageConv。当图规模较大的时候可以选择GraphSageConv,它可以使用batch(批次)的方式进行训练。在任务中,节点之间特征越相似,特征越重要的情况下,可以选择GATConv。节点特征区分度不高,信息主要来自于边权重的情况下,可以选择GCNConv。
在得到N个节点特征信息之后,可以根据N个节点特征信息确定M个候选网络。
在一种具体的实现方式中,根据N个节点特征信息确定M个候选网络,包括:将N个节点特征信息映射为N个原生候选网络;将N个节点特征信息进行不重复组合处理,得到组合的节点特征信息,并将组合的节点特征信息映射为组合候选网络;将N个原生候选网络和组合候选网络确定为M个候选网络。
图卷积网络的数量为N且每个图卷积网络对应于一个同构图。
原生候选网络可以是由初始模型中的单个图卷积网络构成的候选网络。
组合候选网络可以是由初始模型中的大于一个图卷积网络构成的候选网络。
下面以N=3为例,示例性说明如何根据N个图卷积网络,构建M个候选网络:3个图卷积网络包括图卷积网络A、图卷积网络B以及图卷积网络C,N个节点特征信息分别是图卷积网络A提取得到的节点特征A、图卷积网络B提取得到的节点特征B,以及图卷积网络C得到的节点特征C,将N个节点特征信息映射为N个原生候选网络就是指:将得到N个节点特征信息的N个图卷积网络作为原生候选网络。
也就是说,原生候选网络包括图卷积网络A、图卷积网络B以及图卷积网络C。将所述N个节点特征信息进行不重复组合处理,得到组合的节点特征信息,具体包括:将节点特征1、节点特征2以及节点特征3进行排列组合,然后对得到的排列组合结果去重,得到组合的节点特征信息。比如,将3个节点特征信息进行不重复的排列组合得到(节点特征1,节点特征2),(节点特征1,节点特征3),(节点特征2,节点特征3)以及(节点特征1、节点特征2,节点特征3)这几种组合的节点特征信息。
最后,将这几种组合的节点特征信息映射到组合候选网络,比如(节点特征1,节点特征2)映射得到的组合候选网络就是图卷积网络A+图卷积网络B,(节点特征2,节点特征3)映射得到的组合候选网络就是图卷积网络B+图卷积网络C。
步骤S104,针对每个候选网络,根据候选网络在当前训练轮次中的待训练参数,计算候选网络被选择用于生成节点分类模型的选择概率,并基于M个候选网络的选择概率和N个节点特征信息生成节点分类预测结果。
可选的,在步骤S102中的图卷积网络可以是指初始模型中的图卷积网络,每个候选网络的待训练参数可以是一种结构搜索参数。示例性地,在M个候选网络中,第i个候选网络在当前训练轮次中的待训练参数可以用θi表示,其中,i是大于或等于1且小于或等于M的整数,为了表述清楚,在无特殊说明的情况下,以第i个候选网络为例,介绍如何得到一个候选网络的选择概率,对弈其他候选网络,均采用相同的方式,本申请不再一一赘述。
每个候选网络被选择用于生成节点分类模型的选择概率可以简称为每个候选网络的选择概率。在初始模型的迭代训练过程中,每个候选网络对应的待训练参数的数值在每个训练轮次都可能发生变化。以第i个候选网络对应的待训练参数θi为例,在第1次训练中,θi=k1;在第2次训练中,θi=k2;在第3次训练中,θi=k3;……;在第n次训练中,θi=kn。其中,n为大于1的自然数,n用于表示迭代训练对应的训练轮次总数,k1、k2、k3、kn可以分别为数值不同的实数。
针对每个候选网络,在当前训练轮次中,该候选网络对应的待训练参数可以用于计算该候选网络的选择概率。进而,每个候选网络的选择概率的数值在每个训练轮次都可能发生变化。以第i个候选网络对应的待训练参数θi为例,在第1次训练中,θi=k1,则基于k1计算得到第i个候选网络的选择概率为q1;在第2次训练中,θi=k2,则基于k2计算得到第i个候选网络的选择概率为q1;在第3次训练中,θi=k3,则基于k3计算得到第i个候选网络的选择概率为q3;……;在第n次训练中,θi=kn,则基于k3计算得到第i个候选网络的选择概率为qn。其中,n为大于1的自然数,n用于表示迭代训练对应的训练轮次总数,k1、k2、k3、kn可以分别为数值不同的实数,q1、q2、q3、qn可以分别为位于数值区间[0,1]内的数值不同的实数。
具体实施时,根据每个候选网络在当前训练轮次中的待训练参数,计算每个候选网络被选择用于生成节点分类模型的选择概率,可以是在当前训练轮次中,根据每个候选网络的待训练参数进行求和处理得到总参数值,针对每个候选网络,基于该候选网络的待训练参数与总参数值,确定该候选网络的选择概率。
在获得每个候选网络的选择概率之后,可以基于M个候选网络的选择概率和N个节点特征信息生成节点分类预测结果。
具体实施时,基于每个候选网络的选择概率和N个节点特征信息生成节点分类预测结果,可以是根据每个候选网络的选择概率和N个节点特征信息生成综合特征信息,将综合特征信息输入FC(Full Connection,全连接)层进行分类预测处理,得到节点分类预测结果。
在一种具体的实现方式中,针对每个候选网络,根据候选网络在当前训练轮次中的待训练参数,计算候选网络被选择用于生成节点分类模型的选择概率,包括:根据候选网络在当前训练轮次中的待训练参数进行指数运算处理,得到候选网络的搜索参数值;将M个候选网络的搜索参数值进行求和处理,得到总搜索参数值;将候选网络的搜索参数值和总搜索参数值进行取比值运算,得到候选网络被选择用于生成节点分类模型的选择概率。
具体实施时,M个候选网络(Block)相当于构建了一个结构搜索空间。在最优的网络结构搜索过程中,会对所有Block进行选择,得到每个Block被选择用于生成节点分类模型的选择概率,选择概率的计算公式可以参照如下公式:
式中,αi为第i个Block的选择概率,θi为第i个Block对应的待训练参数,即结构搜索参数。exp()用于表示指数运算。k用于表示M个Block中第k个Block。i和k可以是大于0且小于等于M的自然数。θi∈θ,θ表示用于搜索最优结构的参数集合,由M个Block中每个Block对应的待训练参数构成。M为大于1的整数,用于表示Block的总数。
exp(θi)可以用于表示对第i个Block对应的待训练参数进行指数运算处理,得到该第i个Block的搜索参数值。
exp(θk)可以用于表示对第k个Block对应的待训练参数进行指数运算处理,得到该第k个Block的搜索参数值。
∑kexp(θk)可以用于表示根据M个Block中每个Block的搜索参数值进行求和处理,得到总搜索参数值。
例如,N=3,则基于N可以确定M=7,结构搜索空间可以包括7个Block。初始模型所包括的3个图卷积网络分别为:图卷积网络A、图卷积网络B以及图卷积网络C。第1个Block包括图卷积网络A;第2个Block包括图卷积网络B;第3个Block包括图卷积网络C;第4个Block包括图卷积网络A与图卷积网络B;第5个Block包括图卷积网络A与图卷积网络C;第6个Block包括图卷积网络B与图卷积网络C;第7个Block包括图卷积网络A、图卷积网络B以及图卷积网络C。
在7个Block中,第i个Block在当前训练轮次中的待训练参数可以用θi表示。
根据第1个Block在当前训练轮次中的待训练参数θ1进行指数运算处理,得到第1个Block的搜索参数值exp(θ1);
根据第2个Block在当前训练轮次中的待训练参数θ2进行指数运算处理,得到第2个Block的搜索参数值exp(θ2);
根据第3个Block在当前训练轮次中的待训练参数θ3进行指数运算处理,得到第3个Block的搜索参数值exp(θ3);
根据第4个Block在当前训练轮次中的待训练参数θ4进行指数运算处理,得到第4个Block的搜索参数值exp(θ4);
根据第5个Block在当前训练轮次中的待训练参数θ5进行指数运算处理,得到第5个Block的搜索参数值exp(θ5);
根据第6个Block在当前训练轮次中的待训练参数θ6进行指数运算处理,得到第6个Block的搜索参数值exp(θ6);
根据第7个Block在当前训练轮次中的待训练参数θ7进行指数运算处理,得到第7个Block的搜索参数值exp(θ7)。
将各个Block的搜索参数值进行求和处理,得到总搜索参数值,即∑kexp(θk)=exp(θ1)+exp(θ2)+exp(θ3)+exp(θ4)+exp(θ5)+exp(θ6)+exp(θ7)。
将第1个Block的搜索参数值exp(θ1)和总搜索参数值∑kexp(θk)进行取比值运算,得到第1个Block被选择用于生成节点分类模型的选择概率α1,即
将第2个Block的搜索参数值exp(θ2)和总搜索参数值∑kexp(θk)进行取比值运算,得到第2个Block被选择用于生成节点分类模型的选择概率α2,即
将第3个Block的搜索参数值exp(θ3)和总搜索参数值∑kexp(θk)进行取比值运算,得到第3个Block被选择用于生成节点分类模型的选择概率α3,即
将第4个Block的搜索参数值exp(θ4)和总搜索参数值∑kexp(θk)进行取比值运算,得到第4个Block被选择用于生成节点分类模型的选择概率α4,即
将第5个Block的搜索参数值exp(θ5)和总搜索参数值∑kexp(θk)进行取比值运算,得到第5个Block被选择用于生成节点分类模型的选择概率α5,即
将第6个Block的搜索参数值exp(θ6)和总搜索参数值∑kexp(θk)进行取比值运算,得到第6个Block被选择用于生成节点分类模型的选择概率α6,即
将第7个Block的搜索参数值exp(θ7)和总搜索参数值∑kexp(θk)进行取比值运算,得到第7个Block被选择用于生成节点分类模型的选择概率α7,即
在一种具体的实现方式中,基于M个候选网络的选择概率和N个节点特征信息生成节点分类预测结果,包括:针对每个候选网络,根据候选网络的节点特征信息进行分类处理,得到候选网络的输出特征信息;计算候选网络的选择概率和输出特征信息的乘积,得到候选网络对应的乘积结果;对M个候选网络对应的乘积结果进行求和处理,得到综合特征信息;根据综合特征信息生成节点分类预测结果。
每个候选网络的节点特征信息可以包括N个节点特征信息中的至少一个节点特征信息。
每个候选网络的节点特征信息可以由该候选网络所包括的图卷积网络确定。
例如,候选网络1包括图卷积网络A,则该候选网络1的节点特征信息包括图卷积网络A输出的节点特征信息Z1。候选网络2包括图卷积网络A和图卷积网络B,则该候选网络2的节点特征信息包括图卷积网络A输出的节点特征信息Z1和图卷积网络B输出的节点特征信息Z2。
具体实施时,根据候选网络的节点特征信息进行分类处理,得到候选网络的输出特征信息,可以是根据候选网络的节点特征信息的数量确定该候选网络的输出特征信息的类型,基于候选网络的节点特征信息和该输出特征信息的类型,得到输出特征信息。
候选网络的输出特征信息的类型可以表征该输出特征信息为一个节点特征信息,或者,该输出特征信息为融合大于一个节点特征信息得到的融合特征信息。
针对任一候选网络,在该候选网络仅包括一个图卷积网络的情况下,可以将该图卷积网络输出的节点特征信息作为该候选网络的输出特征信息;在该候选网络包括大于一个图卷积网络的情况下,可以根据该大于一个图卷积网络中每个图卷积网络输出的节点特征信息进行融合处理,得到融合特征信息,将该融合特征信息作为该候选网络的输出特征信息。
根据该大于一个图卷积网络中每个图卷积网络输出的节点特征信息进行融合处理,得到融合特征信息,可以是根据预先配置的特征权重信息对每个图卷积网络输出的节点特征信息进行加权求和处理,得到融合特征信息。特征权重信息用于调节特征占比,设置特征权重信息是考虑到是在一些场景中,图信息的重要程度是不同的。
例如,N=3,则基于N可以确定M=7,结构搜索空间可以包括7个Block。初始节点分类模型所包括的3个图卷积网络分别为:图卷积网络A、图卷积网络B以及图卷积网络C。第1个Block包括图卷积网络A;第2个Block包括图卷积网络B;第3个Block包括图卷积网络C;第4个Block包括图卷积网络A与图卷积网络B;第5个Block包括图卷积网络A与图卷积网络C;第6个Block包括图卷积网络B与图卷积网络C;第7个Block包括图卷积网络A、图卷积网络B以及图卷积网络C。
第1个Block包括仅包括一个图卷积网络,可以将图卷积网络A输出的节点特征信息Z1作为第1个Block的输出特征信息;
第2个Block包括仅包括一个图卷积网络,可以将图卷积网络B输出的节点特征信息Z2作为第2个Block的输出特征信息;
第3个Block包括仅包括一个图卷积网络,可以将图卷积网络C输出的节点特征信息Z3作为第3个Block的输出特征信息;
第4个Block包括两个图卷积网络,可以根据图卷积网络A输出的节点特征信息Z1和图卷积网络B输出的节点特征信息Z2进行融合处理,得到融合特征信息C1,将该融合特征信息C1作为第4个Block的输出特征信息,具体融合过程可以参照如下公式:
C1=λ1·Z1+(1-λ1)·Z2 (7)
其中,λ1为标量,用于调节特征占比,λ1可以是大于0且小于1的实数。
第5个Block包括两个图卷积网络,可以根据图卷积网络A输出的节点特征信息Z1和图卷积网络C输出的节点特征信息Z3进行融合处理,得到融合特征信息C2,将该融合特征信息C2作为第5个Block的输出特征信息,具体融合过程可以参照如下公式:
C2=λ2·Z2+(1-λ2)·Z3 (8)
其中,λ2为标量,用于调节特征占比,λ2可以是大于0且小于1的实数。
第6个Block包括两个图卷积网络,可以根据图卷积网络B输出的节点特征信息Z2和图卷积网络C输出的节点特征信息Z3进行融合处理,得到融合特征信息C3,将该融合特征信息C3作为第6个Block的输出特征信息,具体融合过程可以参照如下公式:
C3=λ3·Z1+(1-λ3)·Z3 (9)
其中,λ3为标量,用于调节特征占比,λ3可以是大于0且小于1的实数。
第7个Block包括三个图卷积网络,可以根据图卷积网络A输出的节点特征信息Z1、图卷积网络B输出的节点特征信息Z2以及图卷积网络C输出的节点特征信息Z3进行融合处理,得到融合特征信息C4,将该融合特征信息C4作为第7个Block的输出特征信息,具体融合过程可以参照如下公式:
C4=β1·Z1+β2·Z2+β3·Z3 (10)
其中,β1、β2、β3为标量,用于调节特征占比,且β1、β2、β3均为大于0且小于1的实数。
上述公式(7)-公式(10)中,λ1、λ2、λ3、β1、β2、β3均属于预先配置的特征权重信息。
在获得每个候选网络的输出特征信息之后,可以根据每个候选网络的输出特征信息与每个候选网络的选择概率,生成综合特征信息。
具体实施时,针对每个候选网络,计算候选网络的选择概率和输出特征信息的乘积,得到候选网络对应的乘积结果;根据每个候选网络对应的乘积结果进行求和处理,得到综合特征信息。
示例性地,根据每个候选网络的输出特征信息与每个候选网络的选择概率生成综合特征信息可以参照如下公式:
Xu=∑iαi·Ui,Ui∈U (11)
其中,Xu用于表示综合特征信息,αi用于表示第i个Block的选择概率,Ui用于表示该第i个Block的输出特征信息,U用于表示由M个Block的输出特征信息构成的信息集合。i为大于0且小于M的自然数。M为大于1的整数,用于表示Block的总数。
例如,N=3,则基于N可以确定M=7,结构搜索空间可以包括7个Block。第1个Block的选择概率为α1,第1个Block的输出特征信息为Z1,则第1个Block对应的乘积结果为α1·Z1;第2个Block的选择概率为α2,第2个Block的输出特征信息为Z2,则第2个Block对应的乘积结果为α2·Z2;第3个Block的选择概率为α3,第3个Block的输出特征信息为Z3,则第3个Block对应的乘积结果为α3·Z3;第4个Block的选择概率为α4,第4个Block的输出特征信息为C1,则第1个Block对应的乘积结果为α4·C1;第5个Block的选择概率为α5,第5个Block的输出特征信息为C2,则第5个Block对应的乘积结果为α5·C2;第6个Block的选择概率为α6,第6个Block的输出特征信息为C3,则第6个Block对应的乘积结果为α6·C3;第7个Block的选择概率为α7,第7个Block的输出特征信息为C4,则第1个Block对应的乘积结果为α7·C4。综合特征信息Xu=α1·Z1+α2·Z2+α3·Z3+α4·C1+α5·C2+α6·C3+α7·C4。
另外,根据每个候选网络的输出特征信息与每个候选网络的选择概率,生成综合特征信息,还可以是针对每个候选网络,计算候选网络的选择概率和输出特征信息的乘积,得到候选网络对应的乘积结果,根据每个候选网络对应的乘积结果进行拼接处理,得到综合特征信息。在乘积结果为向量形式的情况下,拼接处理可以是通过改变乘积结果的维度信息,基于多个乘积结果得到一个综合特征信息,即将多个向量拼接为一个向量。
在获得综合特征信息之后,可以根据综合特征信息生成节点分类预测结果。具体地,可以将综合特征信息输入FC层进行分类预测处理,得到节点分类预测结果Y。
另外,还可以将节点分类预测结果表示为:
式中,表示第J个节点xj的分类预测子结果,/>w与θ分别用于表示两个不同类型的待训练参数,其中,w表示用于图卷积计算的待训练参数集合;θ表示用于搜索最优结构的候选网络对应的待训练参数集合,θ可以参照步骤S104中“每个候选网络在当前训练轮次中的待训练参数”的对应说明部分。j为大于0的自然数。
第j个节点xj的分类预测子结果可以是一个向量,该向量包括M个子向量,每个子向量对应于一个候选网络。
步骤S106,根据节点分类预测结果、当前训练轮次中M个候选网络的待训练参数以及节点真实标签确定预测损失函数,并基于预测损失函数确定模型损失函数。
在多关系图的场景中,利用本实施例提供的节点分类模型的训练方法,可以在迭代训练的过程中同时完成网络结构搜索和模型参数优化两个训练任务,其技术构思可以参照如下公式:
式中,给定一个搜索空间U,期望去寻找一个最优结构a∈U,使得通过训练该最优结构a的权重wa之后,可以使损失L(a,wa)最小化。根据节点分类预测结果、当前训练轮次中M个候选网络的待训练参数以及节点真实标签确定预测损失函数,可以是根据节点分类预测结果、当前训练轮次中M个候选网络的待训练参数以及节点真实标签确定每个候选网络对应的损失函数,再将每个候选网络对应的损失函数中的最小值确定为预测损失函数。
预测损失函数可以是交叉熵损失函数CE(w,θ),w与θ为待训练参数,w与θ分别用于表示两个不同类型的待训练参数,其中,w表示用于图卷积计算的待训练参数集合;θ表示用于搜索最优结构的候选网络对应的待训练参数集合。
交叉熵损失函数CE(w,θ)的计算过程可以参照如下公式:
其中,p(xj;w,θ)可以用于表示第j个节点xj的分类预测子结果,具体可以参照前述的公式(12),yj表示第j个节点xj的节点真实标签。j为大于0的自然数。
w与θ分别用于表示两个不同类型的待训练参数,其中,w表示用于图卷积计算的待训练参数集合;θ表示用于搜索最优结构的候选网络对应的待训练参数集合。
可以用于表示通过M个候选网络中的一个候选网络,基于同构图中每个节点对应的子损失值进行均值计算处理,得到该候选网络的交叉熵损失值,其中,第j个节点xj对应的子损失值由该候选网络对应的第j个节点xj的分类预测子结果p(xj;w,θ)和第j个节点xj的节点真实标签yj生成。
可以用于表示,M个候选网络中每个候选网络的交叉熵损失值的最小值。
通过确定预测损失函数,先针对每个候选网络中基于同构图中各个节点对应的子损失值求平均值,得到每个候选网络的交叉熵损失值,再将每个候选网络的交叉熵损失值中数值最小的一者作为预测损失函数,可以最小化节点性质预测的平均误差。
具体实施时,基于预测损失函数确定模型损失函数,可以是将预测损失函数确定为模型损失函数,也可以是确定用于降低节点分类模型在硬件上的时间消耗的时延损失函数,基于预测损失函数和时延损失函数,确定模型损失函数。
在一种具体的实现方式中,基于预测损失函数确定模型损失函数,包括:根据M个候选网络的选择概率和时间消耗得到时延损失函数;基于调解参数将时延损失函数和预测损失函数进行加权相加处理,得到模型损失函数。
在初始节点分类模型的迭代训练过程中,可以获取每个候选网络在对应硬件上的时间消耗作为该候选网络的时间消耗。
时延损失函数可以参照如下公式:
/>
式中,ti表示在当前训练轮次中,第i个Block的时间消耗(单位可以是毫秒),ti为标量,可以是大于0的实数。i为大于0的自然数。αi可以是第i个Block的选择概率,具体可参照公式(6)的对应说明部分。
基于调解参数将时延损失函数和预测损失函数进行加权相加处理,得到模型损失函数,可以参照如下公式:
L(w,θ)=CE(w,θ)+γLAT(θ) (16)
式中,γ为调节参数,γ的数值越大,越优先选择时延低、效率高的候选网络;否则,优先选择预测准确度高的结构。w与θ分别用于表示两个不同类型的待训练参数,其中,w表示用于图卷积计算的待训练参数集合;θ表示用于搜索最优结构的候选网络对应的待训练参数集合。CE(w,θ)用于表示预测损失函数,LAT(θ)用于表示时延损失函数,L(w,θ)用于表示模型损失函数。
模型损失函数L(w,θ)对参数w和θ都是可导的,可以使用SGD(StochasticGradient Descent,随机梯度下降法)来高效优化损失函数。通过上述的模型损失函数L(w,θ),既能够反映节点分类准确率,也能反应目标硬件上的时延,通过模型损失函数驱动模型参数更新,可以搜索到预测准确且低时延的网络结构,提高了搜索速度,也提升了训练效率。
步骤S108,如果根据模型损失函数确定当前训练轮次满足训练结束条件,则选取M个候选网络中选择概率满足概率阈值的目标候选网络,并基于目标候选网络生成节点分类模型。
训练结束条件可以是预先设置的结束迭代训练的条件,例如,模型损失函数的数值小于等于预设损失阈值,或者,训练轮次总数达到预设数量阈值,等等。
基于目标候选网络生成节点分类模型,可以是在当前训练轮次满足训练结束条件且得到当前训练轮次对应的训练后模型的情况下,基于目标候选网络对该训练后模型进行简化处理,得到节点分类模型。
示例性地,初始模型可以包括N个图卷积网络、结构选择单元以及分类器。其中,结构选择单元用于生成每个候选网络的选择概率,分类器用于生成节点分类预测结果。在确定目标候选网络之后,可以将结构选择单元和N个图卷积网络中位于该目标候选网络之外的图卷积网络拆除掉,得到节点分类模型。
例如,N=3,初始节点分类模型包括图卷积网络A、图卷积网络B、图卷积网络C、结构选择单元以及分类器,目标候选网络包括图卷积网络A和图卷积网络B,则从在获得训练后模型之后,将该训练后模型中的结构选择单元和图卷积网络C拆除掉,得到节点分类模型。
通过将节点分类模型中目标候选网络之外的冗余的图卷积网络简化掉,可以减少模型体积,无需处理冗余图数据,节省了计算资源,提高了图数据的处理效率。且节点分类模型的模型结构可以用于供同类型的图数据的其他节点分类任务参考。
基于目标候选网络生成节点分类模型,也可以是基于目标候选网络在N个图卷积网络确定冗余网络,基于冗余网络对N个图卷积网络进行结构简化处理,得到L个图卷积网络,L为大于0小于等于N的整数。基于该L个图卷积网络和分类器构建节点分类模型。分类器的模型参数可以通过在当前训练轮次满足训练结束条件且得到当前训练轮次对应的训练后模型得到,也可以是在获得L个图卷积网络之后将L个图卷积网络与分类器拼接并重新训练得到,等等。
需要强调的是,如果采用半监督训练的训练方式,在训练完成时即可得到期望的节点分类预测结果,没必要再根据目标候选网络拆除模型中的冗余部分;如果采用全监督训练的训练方式,在训练完成之后还需要输入新的待节点分类的图数据,故需要先按照目标候选网络将冗余部分拆除得到节点分类模型,再将该节点分类模型投入使用。
在一种具体的实现方式中,图卷积网络的数量为N个,且图卷积网络部署在初始模型中;不同同构图的节点特征信息是通过不同图卷积网络提取得到的;一个候选网络与至少一个图卷积网络对应;选取M个候选网络中选择概率满足概率阈值的目标候选网络,并基于目标候选网络生成节点分类模型,包括:将M个候选网络中选择概率最大的候选网络确定为目标候选网络;根据目标候选网络,在N个图卷积网络中确定待简化的图卷积网络;根据待简化的图卷积网络对当前训练轮次得到的初始模型进行结构简化处理,得到节点分类模型。
将M个候选网络中选择概率最大的候选网络确定为目标候选网络,可以是对每个候选网络的选择概率按照数值大小进行排序,得到排序结果,基于排序结果确定选择概率最大的候选网络,将该候选网络作为目标候选网络。
根据目标候选网络,在N个图卷积网络中确定待简化的目标图卷积网络,可以是将N个图卷积网络中该目标候选网络之外的图卷积网络确定为待简化的图卷积网络。
该目标图卷积网络对于节点分类模型是一个冗余的结构。该目标图卷积网络处理的同构图对于节点分类任务是一个无效的图数据,节点分类模型的输入数据是否包括该同构图都不影响最终的节点分类预测结果。
例如,N=3,N个图卷积网络包括图卷积网络A、图卷积网络B以及图卷积网络C。
在目标候选网络包括图卷积网络A的情况下,将图卷积网络B和图卷积网络C确定待简化的图卷积网络。
在目标候选网络包括图卷积网络A和图卷积网络C的情况下,将图卷积网络B确定待简化的图卷积网络。
在目标候选网络包括图卷积网络A、图卷积网络B以及图卷积网络C的情况下,不存在待简化的图卷积网络,该情况下无需对训练后模型进行结构简化处理。
根据目标图卷积网络对当前训练轮次得到的模型进行结构简化处理,得到节点分类模型,可以是从当前训练轮次得到的模型中拆除掉目标图卷积网络,得到节点分类模型。
在一种具体的实现方式中,选取M个候选网络中选择概率满足概率阈值的目标候选网络,包括:将M个候选网络中选择概率大于或等于概率阈值的候选网络确定为待处理候选网络;在待处理候选网络的数量为多个的情况下,按照预设筛选方式对多个待处理候选网络进行至少一轮筛选处理,直到筛选处理后的待处理候选网络的数量为一个,将筛选处理后的待处理候选网络确定为目标候选网络。
待处理候选网络的数量可能是一个,也可能是多个。在待处理候选网络的数量为一个的情况下,可以将该待处理候选网络确定为目标候选网络。
在待处理候选网络的数量为多个的情况下,按照预设筛选方式对多个待处理候选网络进行至少一轮筛选处理。
示例性地,预设筛选方式可以将图卷积网络的数量最多的待处理候选网络筛掉,或者,也可以是将图卷积网络的数量最少的待处理候选网络筛掉,另外,图卷积网络有多种类型,预设筛选方式也可以是预先配置每种类型的图卷积网络的优先级顺序,并基于该优先级顺序对多个待处理候选网络进行筛选,等等。
每轮筛选处理对应的预设筛选方式可以是不同的,例如,在第1轮筛选处理中将图卷积网络的数量最多的待处理候选网络筛掉,在第2轮筛选处理中将基于优先级顺序确定需要筛掉的待处理候选网络,等等。
在筛选处理后的待处理候选网络的数量为一个的情况下,可以将该待处理候选网络确定为目标候选网络。
本申请实施例中,首先,在当前训练轮次中,将N个同构图输入图卷积网络进行特征提取处理,得到N个节点特征信息,并根据N个节点特征信息确定M个候选网络;N和M均为大于1的整数;M大于N;一个同构图对应一个节点特征信息;然后,针对每个候选网络,根据候选网络在当前训练轮次中的待训练参数,计算候选网络被选择用于生成节点分类模型的选择概率,并基于M个候选网络的选择概率和N个节点特征信息生成节点分类预测结果;接着,根据节点分类预测结果、当前训练轮次中M个候选网络的待训练参数以及节点真实标签确定预测损失函数,并基于预测损失函数确定模型损失函数;最后,如果根据模型损失函数确定当前训练轮次满足训练结束条件,则选取M个候选网络中选择概率满足概率阈值的目标候选网络,并基于目标候选网络生成节点分类模型。以此,节点特征信息的数量可以反映输出对应的节点特征信息的图卷积网络的数量,进而可以基于节点特征信息的数量对图卷积网络排列组合得到M个候选网络,每个候选网络对应的选择概率可以用于表征这个候选网络最终能够被保留或者被选择用于生成节点分类模型的可能性,概率越大,可能性越大,也就是说可能性越大,这个候选网络在节点分类时做出的贡献越大,进一步的,利用M个候选网络的选择概率和N个节点特征信息生成节点分类预测结果,基于分类预测结果和各个候选网络的待训练参数生成模型损失函数,如果模型损失函数满足了训练结束条件,说明可以结束训练了,此时将M个候选网络中选择概率阈值满足目标候选网络用于生成节点分类模型。如此一来,实现了在模型训练过程中,对最优网络结构的筛选,通过此方法生成的节点分类模型更适合该N个同构图,以便于后续对N同构图进行节点分类预测时,更加准确。
并且,该目标候选网络可以用于确定前述M个候选网络中冗余的图卷积网络,在生成节点分类模型时,不考虑这些冗余的图卷积网络,只基于目标候选网络生成节点分类模型,可以简化模型结构,缩小模型体积,减少冗余的图数据处理,节省计算资源,在多关系图的场景下提高图数据的处理效率。
在一个实施例中,本申请实施例通过图1实施例得到分类节点模型之后,就表明该分类节点模型目前已经是适合N个同构图的分类节点模型,使用该节点分类模型进行节点预测可以提高节点预测效率,节省预测资源。可选的,利用分类节点模型基于N个同构图进行节点分类预测,可以包括:
将所述N个同构图输入所述节点分类模型,并通过所述节点分类模型中图卷积网络进特征提取处理,得到目标节点特征信息;基于所述目标节点特征信息进行节点分类预测,得到节点分类预测结果。
具体来说,通过图1所述的实施例之后,初始模型中N个图卷积网络是经过简化了,比如N个图卷积网络包括图卷积网络A、图卷积网络B以及图卷积网络C,经过图1所示的节点分类模型训练之后,得到的节点分类模型中只有图卷积网络A,那么也就是说,目前节点分类模型只根据图卷积网络A进行节点分类就可以实现较为准确的节点分类,那么此时虽然输入到节点分类模型的通构图数量是N个,但是节点分类模型只对图卷积网络A对应的同构图进行特征提取,得到一个节点特征信息,根据该节点特征信息进行节点分类。如此一来,在多关系图应用场景中,避免了现有技术对每个同构图对无差别的进行处理,克服了浪费资源,节点分类准确性不高的问题。
图2为本申请实施例提供的一种节点分类模型的训练方法的网络架构示意图。
根据同样一些节点之间三种不同关系可以构建三个同构图,如图2所示,分别为同构图202、同构图204以及同构图206,形成同构图集合。
在第k次训练中,将同构图集合输入该第k次训练的初始模型中。选择一种或几种图卷积结构(例如,GCNConv、GraphSageConv、GATConv)作为图卷积模块,对三幅图进行特征提取,输出对应的节点特征信息214。k为大于0的自然数。
具体地,将同构图202输入至对应的图卷积模块208,通过该图卷积模块208对该同构图202进行特征提取,输出对应的节点特征信息2142(即节点特征信息A);将同构图204输入至对应的图卷积模块210,通过该图卷积模块210对该同构图204进行特征提取,输出对应的节点特征信息2144(即节点特征信息B);将同构图206输入至对应的图卷积模块212,通过该图卷积模块212对该同构图206进行特征提取,输出对应的节点特征信息2146(即节点特征信息C)。
对三个图卷积模块输出的节点特征信息214进行特征融合,得到融合特征信息216,进而可以得到结构搜索空间U。
如图2所示,对节点特征信息2142和节点特征信息2144进行融合,得到融合特征信息2162;对节点特征信息2142和节点特征信息2146进行融合,得到融合特征信息2164;对节点特征信息2144和节点特征信息2146进行融合,得到融合特征信息2166;对节点特征信息2142、节点特征信息2144以及节点特征信息2146进行融合,得到融合特征信息2168。
结构搜索空间U所包括的7个Block分别对应于节点特征信息2142、节点特征信息2144、节点特征信息2146、融合特征信息2162、融合特征信息2164、融合特征信息2166以及融合特征信息2168。
计算各个Block的选择概率αi并传输至分类模块218。
将节点特征信息214和融合特征信息216传输至分类模块218。
分类模块218根据节点特征信息214、融合特征信息216以及各个Block的选择概率αi进行节点分类预测处理,得到节点分类结果。分类模块218输出节点分类结果与最优模型结构220。
在最后一次训练之后,可以确定冗余的图卷积模块并据此对各个图卷积模块进行结构简化处理,将剩余的图卷积模块与分类模块218拼接得到最优模型结构,同时获得该最优模型结构下的网络参数优化结果,即完成模型训练。
由于技术构思相同,本实施例中描述得比较简单,相关的部分请参见上述提供的方法实施例的对应说明即可。
图3为本申请实施例提供的一种节点分类模型训练以及节点分类的工作流程图。在图3中,以竞对客户挖掘场景为例,金融机构需要通过竞争性营销进一步提高市场占有率。竞争性营销针对当前有外部资源借贷的用户(即竞对客户)进行针对性运营,由于客户群整体征信授权比例较低,仍有大部分用户的情况未知,因此需要进行竞对扩散,通过构建竞对识别模型来预估用户的竞对状态,即预测客户进行资源借贷的概率。此处的竟对识别模型对应前述的节点分类模型。
首先进行图构建,构建得到的同构图中每个节点为一个客户,边为客户之间存在的多种关系,包括:
(b1)客户之间存在好友关系,每月消费金额接近;
(b2)客户之间存在好友关系,每月收入金额接近;
(b3)客户之间存在好友关系,在某一时间内,采集的个人定位数据有3次以上距离在50米以内;
(b4)客户之间存在好友关系,在某一时间内,客户之间进行过转账;
(b5)业务数据相关:客户之间通过手机号相关,例如资源借贷合同中存储的借贷本人与联系人电话。
……
竞对识别模型的目标是预测客户节点是否有资源借贷的可能性,即属于一个节点分类任务。
基于采集的客户信息构建三个图作为竞对识别模型的输入数据,如图3所示,分别为同构图3022,同构图3024以及,同构图3026。
将该三个图输入到待训练的竞对识别模型中进行训练,得到训练后的竞对识别模型,该待训练的竞对识别模型可以参照图1实施例中待训练的节点分类模型,训练方式可以参照图1实施例提供的节点分类模型的训练方法。
在训练之后,可以得到该竞对识别模型的最优模型结构304,以及,优化后的网络参数306。
利用优化后的竞对识别模型对前述构建的多个同构图进行节点特征提取,并根据提取的节点特征进行节点分类预测,从而得到每个客户进行资源借贷的概率。由于技术构思相同,本实施例中描述得比较简单,相关的部分请参见上述提供的方法实施例的对应说明即可。
本说明书提供的一种节点分类模型的训练装置实施例如下:在上述的实施例中,提供了一种节点分类模型的训练方法,出于相同的技术构思,本申请实施例还提供了一种节点分类模型的训练装置,下面结合附图进行说明。
图4为本申请实施例提供的一种节点分类模型的训练装置示意图。本实施例提供一种节点分类模型的训练装置400,包括:
确定单元402,用于在当前训练轮次中,将N个同构图输入图卷积网络进行特征提取处理,得到N个节点特征信息,并根据所述N个节点特征信息确定M个候选网络;N和M均为大于1的整数;M大于N;一个同构图对应一个节点特征信息;
生成单元404,用于针对每个候选网络,根据候选网络在当前训练轮次中的待训练参数,计算候选网络被选择用于生成节点分类模型的选择概率,并基于M个候选网络的选择概率和N个节点特征信息生成节点分类预测结果;
所述确定单元402,还用于根据所述节点分类预测结果、所述当前训练轮次中M个候选网络的待训练参数以及节点真实标签确定预测损失函数,并基于所述预测损失函数确定模型损失函数;
所述生成单元404,还用于如果根据所述模型损失函数确定当前训练轮次满足训练结束条件,则选取所述M个候选网络中选择概率满足概率阈值的目标候选网络,并基于所述目标候选网络生成节点分类模型。
可选地,所述生成单元404在针对每个候选网络,根据候选网络在当前训练轮次中的待训练参数,计算候选网络被选择用于生成节点分类模型的选择概率时,执行如下步骤:
根据候选网络在当前训练轮次中的待训练参数进行指数运算处理,得到候选网络的搜索参数值;
将M个候选网络的搜索参数值进行求和处理,得到总搜索参数值;
将候选网络的搜索参数值和所述总搜索参数值进行取比值运算,得到候选网络被选择用于生成节点分类模型的选择概率。
可选地,所述确定单元402在基于所述预测损失函数确定模型损失函数时,执行如下步骤:
根据M个候选网络的选择概率和时间消耗得到时延损失函数;
基于调解参数将所述时延损失函数和所述预测损失函数进行加权相加处理,得到模型损失函数。
可选的,所述确定单元402在根据N个节点特征信息确定M个候选网络时,执行如下步骤:
将所述N个节点特征信息映射为N个原生候选网络;
将所述N个节点特征信息进行不重复组合处理,得到组合的节点特征信息,并将所述组合的节点特征信息映射为组合候选网络;
将所述N个原生候选网络和所述组合候选网络确定为M个候选网络。
可选的,所述生成单元404在基于M个候选网络的选择概率和N个节点特征信息生成节点分类预测结果时,执行如下步骤:
针对每个候选网络,根据候选网络的节点特征信息进行分类处理,得到候选网络的输出特征信息;
计算候选网络的选择概率和输出特征信息的乘积,得到候选网络对应的乘积结果;
对M个候选网络对应的乘积结果进行求和处理,得到综合特征信息;
根据所述综合特征信息生成节点分类预测结果。
可选的,所述图卷积网络的数量为N个,且所述图卷积网络部署在初始模型中;不同同构图的节点特征信息是通过不同图卷积网络提取得到的;一个候选网络与至少一个图卷积网络对应;所述生成单元404在选取所述M个候选网络中选择概率满足概率阈值的目标候选网络,并基于所述目标候选网络生成节点分类模型时,执行如下步骤:
将所述M个候选网络中选择概率最大的候选网络确定为所述目标候选网络;
根据所述目标候选网络,在N个图卷积网络中确定待简化的图卷积网络;
根据所述待简化的图卷积网络对当前训练轮次得到的初始模型进行结构简化处理,得到所述节点分类模型。
可选的,所述节点分类模型的训练装置中的确定单元402,还用于:将所述N个同构图输入所述节点分类模型,并通过所述节点分类模型中图卷积网络进特征提取处理,得到目标节点特征信息;基于所述目标节点特征信息进行节点分类预测,得到节点分类预测结果。
在本申请实施例中,首先,在当前训练轮次中,将N个同构图输入图卷积网络进行特征提取处理,得到N个节点特征信息,并根据N个节点特征信息确定M个候选网络;N和M均为大于1的整数;M大于N;一个同构图对应一个节点特征信息;然后,针对每个候选网络,根据候选网络在当前训练轮次中的待训练参数,计算候选网络被选择用于生成节点分类模型的选择概率,并基于M个候选网络的选择概率和N个节点特征信息生成节点分类预测结果;接着,根据节点分类预测结果、当前训练轮次中M个候选网络的待训练参数以及节点真实标签确定预测损失函数,并基于预测损失函数确定模型损失函数;最后,如果根据模型损失函数确定当前训练轮次满足训练结束条件,则选取M个候选网络中选择概率满足概率阈值的目标候选网络,并基于目标候选网络生成节点分类模型。以此,节点特征信息的数量可以反映输出对应的节点特征信息的图卷积网络的数量,进而可以基于节点特征信息的数量对图卷积网络排列组合得到M个候选网络,每个候选网络对应的选择概率可以用于表征这个候选网络最终能够被保留或者被选择用于生成节点分类模型的可能性,概率越大,可能性越大,也就是说可能性越大,这个候选网络在节点分类时做出的贡献越大,进一步的,利用M个候选网络的选择概率和N个节点特征信息生成节点分类预测结果,基于分类预测结果和各个候选网络的待训练参数生成模型损失函数,如果模型损失函数满足了训练结束条件,说明可以结束训练了,此时将M个候选网络中选择概率阈值满足目标候选网络用于生成节点分类模型。如此一来,实现了在模型训练过程中,对最优网络结构的筛选,通过此方法生成的节点分类模型更适合该N个同构图,以便于后续对N同构图进行节点分类预测时,更加准确。
并且,该目标候选网络可以用于确定前述M个候选网络中冗余的图卷积网络,在生成节点分类模型时,不考虑这些冗余的图卷积网络,只基于目标候选网络生成节点分类模型,可以简化模型结构,缩小模型体积,减少冗余的图数据处理,节省计算资源,在多关系图的场景下提高图数据的处理效率。
对应上述描述的一种节点分类模型的训练方法,基于相同的技术构思,本申请实施例还提供一种电子设备,该电子设备用于执行上述提供的节点分类模型的训练方法,图5为本申请实施例提供的一种电子设备的结构示意图。
如图5所示,电子设备可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上的处理器501和存储器502,存储器502中可以存储有一个或一个以上存储应用程序或数据。其中,存储器502可以是短暂存储或持久存储。存储在存储器502的应用程序可以包括一个或一个以上模块(图示未示出),每个模块可以包括电子设备中的一系列计算机可执行指令。更进一步地,处理器501可以设置为与存储器502通信,在电子设备上执行存储器502中的一系列计算机可执行指令。电子设备还可以包括一个或一个以上电源503,一个或一个以上有线或无线网络接口504,一个或一个以上输入/输出接口505,一个或一个以上键盘506等。
在一个具体的实施例中,电子设备包括有存储器,以及一个或一个以上的程序,其中一个或者一个以上程序存储于存储器中,且一个或者一个以上程序可以包括一个或一个以上模块,且每个模块可以包括对电子设备中的一系列计算机可执行指令,且经配置以由一个或者一个以上处理器执行该一个或者一个以上程序包含用于进行以下计算机可执行指令:
在当前训练轮次中,将N个同构图输入图卷积网络进行特征提取处理,得到N个节点特征信息,并根据所述N个节点特征信息确定M个候选网络;N和M均为大于1的整数;M大于N;一个同构图对应一个节点特征信息;
针对每个候选网络,根据候选网络在当前训练轮次中的待训练参数,计算候选网络被选择用于生成节点分类模型的选择概率,并基于M个候选网络的选择概率和N个节点特征信息生成节点分类预测结果;
根据所述节点分类预测结果、所述当前训练轮次中M个候选网络的待训练参数以及节点真实标签确定预测损失函数,并基于所述预测损失函数确定模型损失函数;
如果根据所述模型损失函数确定当前训练轮次满足训练结束条件,则选取所述M个候选网络中选择概率满足概率阈值的目标候选网络,并基于所述目标候选网络生成节点分类模型。
本实施例提供的计算机可读存储介质,用于存储计算机可执行指令,计算机可执行指令在被处理器执行时实现以下流程:
在当前训练轮次中,将N个同构图输入图卷积网络进行特征提取处理,得到N个节点特征信息,并根据所述N个节点特征信息确定M个候选网络;N和M均为大于1的整数;M大于N;一个同构图对应一个节点特征信息;
针对每个候选网络,根据候选网络在当前训练轮次中的待训练参数,计算候选网络被选择用于生成节点分类模型的选择概率,并基于M个候选网络的选择概率和N个节点特征信息生成节点分类预测结果;
根据所述节点分类预测结果、所述当前训练轮次中M个候选网络的待训练参数以及节点真实标签确定预测损失函数,并基于所述预测损失函数确定模型损失函数;
如果根据所述模型损失函数确定当前训练轮次满足训练结束条件,则选取所述M个候选网络中选择概率满足概率阈值的目标候选网络,并基于所述目标候选网络生成节点分类模型。
需要说明的是,本说明书中关于计算机可读存储介质的实施例与本说明书中关于节点分类模型的训练方法的实施例基于同一发明构思,因此该实施例的具体实施可以参见前述对应方法的实施,重复之处不再赘述。
在本申请实施例中,首先,在当前训练轮次中,将N个同构图输入图卷积网络进行特征提取处理,得到N个节点特征信息,并根据N个节点特征信息确定M个候选网络;N和M均为大于1的整数;M大于N;然后,根据每个候选网络在当前训练轮次中的待训练参数,计算每个候选网络被选择用于生成节点分类模型的选择概率,并基于每个候选网络的选择概率和N个节点特征信息生成节点分类预测结果;接着,根据节点分类预测结果、当前训练轮次中M个候选网络的待训练参数以及节点真实标签确定预测损失函数,并基于预测损失函数确定模型损失函数;最后,如果根据模型损失函数确定当前训练轮次满足训练结束条件,则选取M个候选网络中选择概率满足概率阈值的目标候选网络,并基于目标候选网络生成节点分类模型。以此,节点特征信息的数量可以反映输出对应的节点特征信息的图卷积网络的数量,进而可以基于节点特征信息的数量对图卷积网络排列组合得到M个候选网络,每个候选网络对应的选择概率可以用于表征这个候选网络最终能够被保留或者被选择用于生成节点分类模型的可能性,概率越大,可能性越大,也就是说可能性越大,这个候选网络在节点分类时做出的贡献越大,进一步的,利用每个候选网络的选择概率和N个节点特征信息生成节点分类预测结果,基于分类预测结果和各个候选网络的待训练参数生成模型损失函数,如果模型损失函数满足了训练结束条件,说明可以结束训练了,此时将M个候选网络中选择概率阈值满足目标候选网络用于生成节点分类模型。如此一来,实现了在模型训练过程中,对最优网络结构的筛选,通过此方法生成的节点分类模型更适合该N个同构图,以便于后续对N同构图进行节点分类预测时,更加准确。
并且,该目标候选网络可以用于确定前述M个候选网络中冗余的图卷积网络,在生成节点分类模型时,不考虑这些冗余的图卷积网络,只基于目标候选网络生成节点分类模型,可以简化模型结构,缩小模型体积,减少冗余的图数据处理,节省计算资源,在多关系图的场景下提高图数据的处理效率。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
本领域内的技术人员应明白,本申请实施例可提供为方法、***或计算机程序产品。因此,本申请实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本说明书可采用在一个或多个其中包含有计算机可用程序代码的计算机可读存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本说明书是参照根据本说明书实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程电子设备的处理器以产生一个机器,使得通过计算机或其他可编程电子设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程电子设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程电子设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本申请实施例可以在由计算机执行的计算机可执行指令的一般上下文中描述,例如程序模块。一般地,程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本说明书的一个或多个实施例,在这些分布式计算环境中,由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中,程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于***实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
以上所述仅为本文件的实施例而已,并不用于限制本文件。对于本领域技术人员来说,本文件可以有各种更改和变化。凡在本文件的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本文件的权利要求范围之内。
Claims (10)
1.一种节点分类模型的训练方法,其特征在于,包括:
在当前训练轮次中,将N个同构图输入图卷积网络进行特征提取处理,得到N个节点特征信息,并根据所述N个节点特征信息确定M个候选网络;N和M均为大于1的整数;M大于N;一个同构图对应一个节点特征信息;
针对每个候选网络,根据候选网络在当前训练轮次中的待训练参数,计算候选网络被选择用于生成节点分类模型的选择概率,并基于M个候选网络的选择概率和N个节点特征信息生成节点分类预测结果;
根据所述节点分类预测结果、所述当前训练轮次中M个候选网络的待训练参数以及节点真实标签确定预测损失函数,并基于所述预测损失函数确定模型损失函数;
如果根据所述模型损失函数确定当前训练轮次满足训练结束条件,则选取所述M个候选网络中选择概率满足概率阈值的目标候选网络,并基于所述目标候选网络生成节点分类模型。
2.根据权利要求1所述的方法,其特征在于,所述针对每个候选网络,根据候选网络在当前训练轮次中的待训练参数,计算候选网络被选择用于生成节点分类模型的选择概率,包括:
根据候选网络在当前训练轮次中的待训练参数进行指数运算处理,得到候选网络的搜索参数值;
将M个候选网络的搜索参数值进行求和处理,得到总搜索参数值;
将候选网络的搜索参数值和所述总搜索参数值进行取比值运算,得到候选网络被选择用于生成节点分类模型的选择概率。
3.根据权利要求1所述的方法,其特征在于,所述基于所述预测损失函数确定模型损失函数,包括:
根据M个候选网络的选择概率和时间消耗得到时延损失函数;
基于调解参数将所述时延损失函数和所述预测损失函数进行加权相加处理,得到模型损失函数。
4.根据权利要求1所述的方法,其特征在于,所述根据所述N个节点特征信息确定M个候选网络,包括:
将所述N个节点特征信息映射为N个原生候选网络;
将所述N个节点特征信息进行不重复组合处理,得到组合的节点特征信息,并将所述组合的节点特征信息映射为组合候选网络;
将所述N个原生候选网络和所述组合候选网络确定为M个候选网络。
5.根据权利要求4所述的方法,其特征在于,所述基于M个候选网络的选择概率和N个节点特征信息生成节点分类预测结果,包括:
针对每个候选网络,根据候选网络的节点特征信息进行分类处理,得到候选网络的输出特征信息;
计算候选网络的选择概率和输出特征信息的乘积,得到候选网络对应的乘积结果;
对M个候选网络对应的乘积结果进行求和处理,得到综合特征信息;
根据所述综合特征信息生成节点分类预测结果。
6.根据权利要求1所述的方法,其特征在于,所述图卷积网络的数量为N个,且所述图卷积网络部署在初始模型中;不同同构图的节点特征信息是通过不同图卷积网络提取得到的;一个候选网络与至少一个图卷积网络对应;所述选取所述M个候选网络中选择概率满足概率阈值的目标候选网络,并基于所述目标候选网络生成节点分类模型,包括:
将所述M个候选网络中选择概率最大的候选网络确定为所述目标候选网络;
根据所述目标候选网络,在N个图卷积网络中确定待简化的图卷积网络;
根据所述待简化的图卷积网络对当前训练轮次得到的初始模型进行结构简化处理,得到所述节点分类模型。
7.根据权利要求1-6任一项所述的方法,其特征在于,所述基于所述目标候选网络生成分类节点模型之后,所述方法还包括:
将所述N个同构图输入所述节点分类模型,并通过所述节点分类模型中图卷积网络进特征提取处理,得到目标节点特征信息;
基于所述目标节点特征信息进行节点分类预测,得到节点分类预测结果。
8.一种节点分类模型的训练装置,其特征在于,包括:
确定单元,用于在当前训练轮次中,将N个同构图输入图卷积网络进行特征提取处理,得到N个节点特征信息,并根据所述N个节点特征信息确定M个候选网络;N和M均为大于1的整数;M大于N;一个同构图对应一个节点特征信息;
生成单元,用于针对每个候选网络,根据候选网络在当前训练轮次中的待训练参数,计算候选网络被选择用于生成节点分类模型的选择概率,并基于M个候选网络的选择概率和N个节点特征信息生成节点分类预测结果;
所述确定单元,还用于根据所述节点分类预测结果、所述当前训练轮次中M个候选网络的待训练参数以及节点真实标签确定预测损失函数,并基于所述预测损失函数确定模型损失函数;
所述生成单元,还用于如果根据所述模型损失函数确定当前训练轮次满足训练结束条件,则选取所述M个候选网络中选择概率满足概率阈值的目标候选网络,并基于所述目标候选网络生成节点分类模型。
9.一种电子设备,其特征在于,包括:
处理器;以及,被配置为存储计算机可执行指令的存储器,所述计算机可执行指令在被执行时使所述处理器执行如权利要求1至7中任一项所述的节点分类模型的训练方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质用于存储计算机可执行指令,所述计算机可执行指令在被处理器执行时实现如权利要求1至7中任一项所述的节点分类模型的训练方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311204311.5A CN117951517A (zh) | 2023-09-18 | 2023-09-18 | 节点分类模型的训练方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311204311.5A CN117951517A (zh) | 2023-09-18 | 2023-09-18 | 节点分类模型的训练方法、装置、电子设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117951517A true CN117951517A (zh) | 2024-04-30 |
Family
ID=90792821
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311204311.5A Pending CN117951517A (zh) | 2023-09-18 | 2023-09-18 | 节点分类模型的训练方法、装置、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117951517A (zh) |
-
2023
- 2023-09-18 CN CN202311204311.5A patent/CN117951517A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110363449B (zh) | 一种风险识别方法、装置及*** | |
CN110852447B (zh) | 元学习方法和装置、初始化方法、计算设备和存储介质 | |
Esquivel et al. | Spatio-temporal prediction of Baltimore crime events using CLSTM neural networks | |
CN113705959B (zh) | 网络资源分配方法及电子设备 | |
CN109766454A (zh) | 一种投资者分类方法、装置、设备及介质 | |
CN113326377A (zh) | 一种基于企业关联关系的人名消歧方法及*** | |
CN114915630A (zh) | 基于物联网设备的任务分配方法、网络训练方法及装置 | |
WO2023207411A1 (zh) | 一种基于时空数据的流量确定方法、装置、设备和介质 | |
Raghavendra et al. | Artificial humming bird with data science enabled stability prediction model for smart grids | |
CN112669143A (zh) | 基于关联网络的风险评估方法、装置、设备以及存储介质 | |
Sandeep Kumar et al. | Location identification for real estate investment using data analytics | |
CN112241920A (zh) | 基于图神经网络的投融资机构评估方法、***及设备 | |
Caschera et al. | MONDE: a method for predicting social network dynamics and evolution | |
CN116992151A (zh) | 一种基于双塔图卷积神经网络的在线课程推荐方法 | |
CN116471281A (zh) | 一种考虑节点自私性的去中心化服务组合方法 | |
CN117951517A (zh) | 节点分类模型的训练方法、装置、电子设备及存储介质 | |
Ho-Kieu et al. | Clustering for Probability Density Functions by New k‐Medoids Method | |
CN115017362A (zh) | 数据处理方法、电子设备及存储介质 | |
CN116150429A (zh) | 异常对象识别方法、装置、计算设备以及存储介质 | |
CN114900435A (zh) | 一种连接关系预测方法及相关设备 | |
CN112927810A (zh) | 基于大数据的智慧医疗响应方法及智慧医疗云计算*** | |
Doan et al. | Pacela: A neural framework for user visitation in location-based social networks | |
CN115809372B (zh) | 基于解耦不变学习的点击率预测模型的训练方法及装置 | |
Prieto et al. | SOLVING BUSINESS DECISION-MAKING PROBLEMS WITH AN IMPLEMENTATION OF AZURE MACHINE LEARNING | |
CN116258921A (zh) | 预测模型训练方法以及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |