CN112580789B - 训练图编码网络、预测交互事件的方法及装置 - Google Patents

Abstract

本说明书实施例提供一种图编码网络的训练和使用方法及装置。在该训练方法中，首先基于交互事件序列构建动态交互图，从中选择构成节点对的第一节点和第二节点。利用图编码网络，对第一节点进行编码，得到第一节点的表征向量；对于第二节点，则确定其对应的结构子图，并利用图编码网络，对结构子图中的多个关联节点进行编码，然后基于该关联节点的编码向量，确定出该结构子图的图表征向量。由此可以确定预测损失，其与第一节点的表征向量和上述图表征向量之间的相似度负相关。然后，以减小预测损失为目标，更新图编码网络。

Description

训练图编码网络、预测交互事件的方法及装置

技术领域

本说明书一个或多个实施例涉及机器学习领域，尤其涉及训练图编码网络，以及利用训练的图编码网络来预测交互事件的方法和装置。

背景技术

在许多场景下，需要对用户交互事件进行分析和处理。交互事件是互联网事件的基本组成元素之一，例如，用户浏览页面时的点击行为，可以视为用户与页面内容区块之间的交互事件，电商中的购买行为可以视为用户与商品之间的交互事件，账户间转账行为则是用户与用户之间的交互事件。用户的一系列交互事件中蕴含了用户的细粒度***台的安全性。

然而，交互事件涉及交互双方，并且各个参与方本身的状态可以是动态变化的，因此，综合考虑交互参与方的多方面特点对其进行准确的特征表达非常困难。由此，希望能有改进的方案，更为有效地对交互对象和交互事件进行分析处理。

发明内容

本说明书一个或多个实施例描述了一种训练图编码网络的方法和装置，其中基于动态交互图，利用图结构对比学习的方式，训练得到图编码网络，从而可以更准确地针对节点进行编码表征，进而更有效地进行交互预测。

根据第一方面，提供了一种训练图编码网络的方法，所述方法包括：

获取动态交互图，其中包括多个节点对，每个节点对对应于一个交互事件，其中的两个节点分别表示参与该交互事件的两个对象，任意节点通过连接边指向该节点所代表的对象参与的上一交互事件对应的两个节点；

从所述动态交互图中选择构成节点对的第一节点和第二节点；

利用所述图编码网络，对所述第一节点进行编码，得到第一节点表征向量；

确定第二节点对应的第二结构子图，其中包括多个第二关联节点；

利用所述图编码网络，对所述多个第二关联节点进行编码，得到多个第二关联表征向量；

基于该多个第二关联表征向量，确定所述第二结构子图的第二图表征向量；

确定第一损失，其与所述第一节点表征向量和所述第二图表征向量之间的相似度负相关；

以减小所述第一损失为目标，更新所述图编码网络。

根据一种实施方式，利用图编码网络对所述第一节点进行编码，具体包括：将所述第一节点作为目标节点，根据第一子图确定规则，确定出第一编码子图；其中，所述第一子图确定规则包括，在所述动态交互图中确定出以目标节点为根节点，经由连接边到达的预定范围的节点所构成的子图；将所述第一编码子图输入所述图编码网络，所述图编码网络根据所述第一编码子图中的节点以及节点之间的连接关系，输出根节点的隐向量作为所述第一节点表征向量。

进一步的，在具体实施例中，上述预定范围的节点可以包括：预设数目K条连接边之内的节点；和/或，交互时间在预设时间范围内的节点。

在一个实施例中，确定第二节点对应的第二结构子图，具体包括：将第二节点作为目标节点，根据上述第一子图确定规则，确定出对应的子图作为所述第二结构子图。

在另一个实施例中，确定第二节点对应的第二结构子图，具体包括：将第二节点作为目标节点，根据第二子图确定规则，确定出对应的子图作为所述第二结构子图，其中，所述第二子图确定规则不同于上述第一子图确定规则。

在一种实施方式中，利用图编码网络，对所述多个第二关联节点进行编码的过程，具体包括：将所述多个第二关联节点分别作为目标节点，根据所述第一子图确定规则，确定出各第二关联节点分别对应的各关联编码子图；将各关联编码子图分别输入所述图编码网络，所述图编码网络根据输入的关联编码子图中的节点以及节点之间的连接关系，输出根节点的隐向量作为对应的第二关联表征向量。

进一步的，在一个实施例中，图编码网络包括LSTM层，所述LSTM层针对输入其中的任意子图，将该子图中从叶节点到根节点的各个节点分别作为当前节点，依次迭代处理各个节点，所述迭代处理包括，至少根据当前节点的节点属性特征，以及当前节点通过连接边指向的两个节点的隐向量，确定该当前节点的隐向量。

根据一种实施方式，确定所述第二结构子图的第二图表征向量，具体包括：对所述多个第二关联表征向量进行池化操作，将池化操作结果作为所述第二图表征向量；所述池化操作包括，最大池化、求和池化或平均池化。

根据另一种实施方式，确定所述第二子图的第二图表征向量，具体包括：基于自注意力机制，确定所述多个第二关联表征向量各自的注意力权重；基于所述注意力权重，对所述多个第二关联表征向量加权融合，得到所述第二图表征向量。

在一个实施例中，确定第一损失，具体包括：计算所述第一节点表征向量和第二图表征向量之间的点乘，作为其间相似度；或者，计算所述第一节点表征向量和第二图表征向量之间的向量距离，根据所述向量距离确定其间相似度。

根据一种实施方式，上述方法还包括：从所述动态交互图中，采样出不同于第二节点的多个负样本节点；确定各个负样本节点对应的负样本结构子图；对于各个负样本结构子图，利用所述图编码网络，对其中的子节点进行编码，得到子节点对应的表征向量；并基于所述子节点对应的表征向量，确定该负样本结构子图对应的负样本图表征向量；在这样的情况下，确定第一损失包括，分别计算所述第一节点表征向量与各个负样本图表征向量的各个负样本相似度，使得第一损失与各个负样本相似度之和正相关。

在一种实施方式中，上述方法还包括：利用所述图编码网络，对所述第二节点进行编码，得到第二节点表征向量；确定第一节点对应的第一结构子图，其中包括多个第一关联节点；利用所述图编码网络，对所述多个第一关联节点进行编码，得到多个第一关联表征向量；基于该多个第一关联表征向量，确定所述第一结构子图的第一图表征向量；确定第二损失，其与所述第二节点表征向量和所述第一图表征向量之间的相似度负相关；以减小所述第二损失为目标，更新所述编码网络。

根据第二方面，提供了一种预测交互事件的方法，包括：

获取根据第一方面的方法训练的图编码网络；

从动态交互图中确定出有待评估的第一对象和第二对象分别对应的第一目标节点和第二目标节点；

利用所述图编码网络，分别对所述第一目标节点和第二目标节点进行编码，得到第一目标表征向量和第二目标表征向量；

根据所述第一目标表征向量和第二目标表征向量，预测所述第一对象和第二对象发生交互事件的概率。

在一个实施例中，所述第一目标节点是所述第一对象最近参与的交互事件在所述动态交互图中对应的节点对中的节点。

根据第三方面，提供了一种训练图编码网络的装置，所述装置包括：

动态图获取单元，配置为获取动态交互图，其中包括多个节点对，每个节点对对应于一个交互事件，其中的两个节点分别表示参与该交互事件的两个对象，任意节点通过连接边指向该节点所代表的对象参与的上一交互事件对应的两个节点；

节点选择单元，配置为从所述动态交互图中选择构成节点对的第一节点和第二节点；

第一编码单元，配置为利用所述图编码网络，对所述第一节点进行编码，得到第一节点表征向量；

结构子图确定单元，配置为确定第二节点对应的第二结构子图，其中包括多个第二关联节点；

第二编码单元，配置为利用所述图编码网络，对所述多个第二关联节点进行编码，得到多个第二关联表征向量；

图向量确定单元，配置为基于该多个第二关联表征向量，确定所述第二结构子图的第二图表征向量；

第一损失确定单元，配置为确定第一损失，其与所述第一节点表征向量和所述第二图表征向量之间的相似度负相关；

更新单元，配置为以减小所述第一损失为目标，更新所述图编码网络。

根据第四方面，提供了一种预测交互事件的装置，所述装置包括：

模型获取单元，配置为获取根据第三方面的装置训练得到的图编码网络；

目标节点获取单元，配置为从动态交互图中确定出有待评估的第一对象和第二对象分别对应的第一目标节点和第二目标节点；

图编码单元，配置为利用所述图编码网络，分别对所述第一目标节点和第二目标节点进行编码，得到第一目标表征向量和第二目标表征向量；

预测单元，配置为根据所述第一目标表征向量和第二目标表征向量，预测所述第一对象和第二对象发生交互事件的概率。

根据第五方面，提供了一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行第一方面或第二方面的方法。

根据第六方面，提供了一种计算设备，包括存储器和处理器，其特征在于，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现第一方面或第二方面的方法。

根据本说明书实施例提供的方法和装置，基于交互事件序列构建动态交互图，并基于这样的动态交互图，训练图编码网络。在训练过程中，利用图结构对比学习的思想，对于发生交互的两个节点，将其中一个节点的节点表征，与另一节点相关的图表征进行相似度对比，以此对图编码网络进行训练。在训练之后，就可以利用训练得到的图编码网络对动态交互图中的节点进行编码表征，根据该编码表征更有效地进行未来交互事件的预测。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1示出根据一个实施例的实施场景示意图；

图2示出根据一个实施例的训练图编码网络的方法流程图；

图3示出根据一个实施例的动态交互序列和由此构建的动态交互图；

图4示出动态交互图中子图的示例；

图5示出LSTM层中迭代处理的工作示意图；

图6示出根据一个实施例的训练图编码网络的步骤流程；

图7示出根据一个实施例预测交互事件的方法流程图；

图8示出根据一个实施例的图编码网络的训练装置的示意性框图；

图9示出根据一个实施例的预测交互事件的装置的示意性框图。

具体实施方式

下面结合附图，对本说明书提供的方案进行描述。

如前所述，希望能够基于交互对象发生的一系列交互事件，对交互对象以及交互事件进行特征表达和建模。

在一种方案中，基于历史交互事件构建静态的交互关系网络图，从而基于该交互关系网络图，分析各个交互对象和各个交互事件。具体地，可以以各个历史事件的参与者作为节点，在存在交互关系的节点之间建立连接边，从而形成交互网络图。然而，以上的静态网络图，尽管可以示出对象之间的交互关系，但是没有包含这些交互事件的时序信息。简单地基于这样的交互关系网络图进行图嵌入，获得的特征向量也没有表达出交互事件的时间信息对节点的影响。并且，这样的静态图可扩展性不够强，对于新增交互事件和新增节点的情况，难以灵活进行处理。

考虑到以上因素，根据本说明书的一个或多个实施例，将动态变化的交互事件序列构建成动态交互图，其中各个交互事件中涉及的各个交互对象对应于该动态交互图中的各个节点。这样的动态交互图可以反映出各个交互对象所经历的交互事件的时序信息。进一步地，为了基于上述动态交互图进行交互事件的分析和预测，在本说明书的实施例中，利用图结构对比学习的方式，训练图编码网络，从而对图中的节点进行深度表征学习。具体的，对于发生交互的两个对象所对应的两个节点，用图编码网络直接对一个节点进行编码，得到一个节点表征向量；另一方面，基于图编码网络对另一节点对应的子图进行表征，得到子图的图表征向量；基于节点表征向量和图表征向量之间的相似度对比，训练该图编码网络。经过训练后，图编码网络可以基于对图结构的深度特征学习，更好地对动态交互图中的节点进行表征。如此得到的节点表征向量，可以更准确地对未来的交互事件或交互对象进行预测。

图1示出根据一个实施例的实施场景示意图。如图1所示，可以将依次发生的多个交互事件按时间顺序组织成动态交互序列<E₁,E₂,…,E_N>，其中每个元素E_i表示一个交互事件，可以表示为交互特征组的形式E_i=(a_i,b_i,t_i)，其中a_i和b_i是事件E_i的两个交互对象，t_i是交互时间。

根据本说明书的实施例，基于该动态交互序列构建动态交互图。在动态交互图中，将各个交互事件中的各个交互对象a_i,b_i用节点表示，并在包含同一对象的连续事件的节点之间建立父子关系连接边。动态交互图的结构将在后续进行更具体的描述。

为了更有效地对节点进行表征和分析，利用图结构对比学习的思路，训练图编码网络。具体的，在对比学习过程中，从动态交互图中选择出对应于某一交互事件的一对节点u和v，作为样本节点对。对于样本节点对中的一个节点u，通过图编码网络，将该节点u编码为节点表征向量h_u。对于样本节点对中的另一节点v，则获取该节点v在动态交互图中的子图Gv，然后利用图编码网络对该子图Gv中的各个节点进行编码，基于编码得到的各个节点的表征向量，得到该子图Gv的图表征向量H_Gv。然后，基于上述节点表征向量h_u和图表征向量H_Gv之间的相似度，确定预测损失，进而训练该图编码网络。如此，通过对发生交互的两个节点分别对应的节点表征和图表征进行对比，实现图结构的对比学习，从而实现图编码网络的训练。训练后的图编码网络，可以基于动态交互图的图结构对其中的节点进行准确的深度表征，得到的节点表征可以更好地用于对未来的交互事件或交互对象进行预测和分析。

下面描述以上构思的具体实现方式。

图2示出根据一个实施例的训练图编码网络的方法流程图。可以理解，该方法可以通过任何具有计算、处理能力的装置、设备、平台、设备集群来执行。下面结合具体实施例，对如图2所示的训练方法中的各个步骤进行描述。

首先，在步骤21，获取用于反映交互事件关联关系的动态交互图。

一般地，可以如前所述将依次发生的多个交互事件按时间顺序组织成交互事件序列，基于这样的交互事件序列构建动态交互图，以此反映交互事件的关联关系。交互事件序列，例如表示为<E₁,E₂,…,E_N>，可以包括按照时间顺序排列的多个交互事件，其中每个交互事件E_i可以表示为一个交互特征组E_i=(a_i,b_i,t_i)，其中a_i和b_i是事件E_i的两个交互对象，t_i是交互时间。

在一个实施例中，每个交互事件涉及的两个交互对象分属于两类对象，以下称为第一类对象和第二类对象。例如，在电商平台中，交互事件可以是用户的购买行为，其中的两个对象可以是用户对象（第一类对象）和商品对象（第二类对象）。在另一例子中，交互事件可以是用户对页面区块的点击行为，其中的两个对象可以是用户对象（第一类对象）和页面区块对象（第二类对象）。在又一例子中，交互事件可以是推荐事件，例如一个用户（第一类对象）接受了向其推送的推荐内容（第二类对象），推荐内容具体可以是各种可以推送的内容，例如，一部电影，一件商品，一篇文章，等等。在其他业务场景中，交互事件还可以是其他在两个不同类的对象之间发生的交互行为。需要理解，尽管以上例子中，都是将用户对象作为第一类对象，但是这并不是必然的，第一类对象和第二类对象的设定可以根据交互事件而定，有些交互事件并不包含用户对象，而在包含用户对象的交互事件中，也可以将用户对象作为第二类对象。

对于以上所述的动态交互序列，可以构建动态交互图。具体的，用一对节点（两个节点）表示一个交互事件涉及的两个对象，将动态交互序列中各个交互事件中的各个对象分别用节点表示。在交互事件涉及两类对象的情况下，一个节点对的两个节点分别表示，参与一个交互事件的一个第一类对象和一个第二类对象。需要理解，一个节点可以对应到一个交互事件中的一个对象，但是同一物理对象可能对应到多个节点。例如，如果用户U1在t1时刻购买了商品A1，在t2时刻购买了商品A2，那么存在两个交互事件的特征组(U1,A1,t1)和（U1，A2，t2），那么则根据这两个交互事件分别为用户U1创建两个节点U1(t1)，U1（t2）。因此可以认为，动态交互图中的节点对应于一个交互对象在一次交互事件中的状态。

对于动态交互图中的每个节点，按照以下方式构建连接边：对于任意节点i，假定其对应于交互事件i（交互时间为t），那么在动态交互序列中，从交互事件i向前回溯，也就是向早于交互时间t的方向回溯，将第一个同样包含节点i代表的对象的交互事件j（交互时间为t-，t-早于t）确定为该对象参与的上一交互事件。于是，建立从节点i指向该上一交互事件j中的两个节点的连接边。于是，这两个被指向的节点也称为节点i的关联节点。

下面结合具体例子进行描述。图3示出根据一个实施例的动态交互序列和由此构建的动态交互图。具体的，图3左侧示出按照时间顺序组织的动态交互序列，其中示例性示出分别在t₁,t₂,…,t₆时刻发生的交互事件E₁,E₂,…,E₆，每个交互事件包含交互涉及的两个交互对象以及交互时间（为了图示的清楚，省去了事件特征），其中第一列对象为用户类对象，例如David，Lucy等，第二列对象为物品类对象，例如可以是一些电影名字，在图中用M1到M4表示。图3右侧示出根据左侧的动态交互序列构建的动态交互图，其中，将各个交互事件中的两个交互对象分别作为节点。并且，任意节点通过连接边指向该节点所代表的对象参与的上一交互事件对应的两个节点。例如，节点u（t₆）代表交互事件E₆中的用户对象David，该用户参与的上一交互事件为E₄，于是，节点u（t₆）通过连接边指向E₄对应的两个节点u(t₄)和w(t₄)。类似的，u（t₄）指向E₂对应的两个节点，等等。如此，在节点之间构建连接边，从而形成图3的动态交互图。

以上描述了基于动态交互序列构建动态交互图的方式和过程。对于图2所示的训练过程而言，构建动态交互图的过程可以预先进行也可以现场进行。相应地，在一个实施例中，在步骤21，根据动态交互序列现场构建动态交互图。构建方式如以上所述。在另一实施例中，可以预先基于动态交互序列构建形成动态交互图。在步骤21，读取或接收已形成的动态交互图。

在获取到上述动态交互图的基础上，在步骤22，从图中选择对应于某一交互事件的样本节点对，该样本节点对是为了训练模型而任选的已知发生交互的一对节点。将样本节点对中的两个节点，分别称为第一节点和第二节点。

例如，在图3中，假定选取了参与交互事件E₆的两个节点作为样本节点对，则其中u(t₆)和v(t₆)分别作为第一节点和第二节点。下文中，为了描述的简单，将第一节点简单表示为节点u，第二节点表示为节点v。

接着，如图2的步骤23所示，利用图编码网络，对第一节点u进行编码，得到其对应的第一节点表征向量h_u。

需要理解，图编码网络用于基于动态交互图的图结构和节点之间的连接关系，对其中任意指定的目标节点进行编码。为此，可以首先根据一定的子图确定规则（便于描述起见，将其称为第一子图确定规则），获取包含指定目标节点的子图；然后将得到的子图输入图编码网络，图编码网络基于该子图将目标节点编码为节点表征向量。上述子图用于对目标节点进行编码，因此下文中，将其称为编码子图。

具体的，在一个实施例中，上述第一子图确定规则可以包括，以目标节点为根节点，在动态交互图中确定出从目标节点出发，经由连接边到达的预定范围的节点所形成的目标子图。于是，可以将该目标子图输入图编码网络，图编码网络根据输入的目标子图中各个节点的节点属性特征以及节点之间的连接关系，输出根节点的隐向量作为目标节点对应的节点表征向量。

在一个实施例中，上述预定范围内的节点可以是，至多经过预设数目K的连接边可达的节点。这里数目K为预设的超参数，可以根据业务情况选取。可以理解，该预设数目K体现了，从根节点向前回溯的历史交互事件的步数。数目K越大，则考虑越久的历史交互信息。

在另一实施例中，上述预定范围内的节点还可以是，交互时间在预定时间范围内的节点。例如，从根节点的交互时间向前回溯T时长（例如一天），在该时长范围内、且可通过连接边达到的节点。

在又一实施例中，上述预定范围既考虑连接边的数目，又考虑时间范围。换而言之，该预定范围内的节点是指，至多经过预设数目K的连接边可达、且交互时间在预定时间范围内的节点。

下面结合图3的例子，描述对第一节点u进行编码的过程。

在图3的例子中，假定将u(t₆)作为第一节点。为了对其进行编码，首先根据上述第一子图确定规则，确定出对应的第一编码子图。图4示出动态交互图中子图的示例。具体的，在图4中，以该节点u（t₆）为根节点，沿父子关系的连接边指向进行遍历，确定预定范围内的节点。在图4例子中，假定上述预定范围为，至多经由预设数目K=2的连接边到达的节点。那么，从当前根节点u（t₆）出发，经由2条连接边可以达到的节点如图中三角形虚线区域所示。该区域中的节点和连接关系即为第一节点u对应的第一编码子图。可以理解，在其他例子中，还可以以其他方式设置上述预定范围，例如包括向前回溯预定时长，等等。

在得到针对第一节点u的第一编码子图的基础上，可以将该第一编码子图输入图编码网络。图编码网络于是根据输入子图中各个节点的节点属性特征以及节点之间的连接关系，输出根节点，即第一节点u的隐向量作为对应的第一节点表征向量h_u。

在一个例子中，图编码网络可以是通过图嵌入的方式进行图处理的图神经网络，例如图卷积神经网络GNN。在图嵌入过程中，根据节点之间的连接关系，将输入的编码子图中各个节点作为根节点的K阶邻居节点，进行邻居节点聚合，得到根节点的隐向量作为其编码向量。

在一个具体例子中，图编码网络用于，根据编码子图中各个节点之间的连接关系，确定各个节点相对于根节点（上述例子中的第一节点）的注意力权重；根据所述注意力权重，对所述各个节点的节点属性特征进行聚合，得到根节点的隐向量作为其编码向量，即第一节点表征向量。

在另一例子中，图编码网络可以包含时间递归层，例如循环神经网络RNN层，或长短期记忆LSTM层，从而通过递归迭代的方式，对以目标节点为根节点的编码子图进行图处理。具体的，在一个实施例中，图编码网络包括LSTM层，LSTM层将输入的编码子图中从叶节点到根节点的各个节点分别作为当前节点，依次迭代处理各个节点，所述迭代处理包括，至少根据当前节点的节点属性特征，以及当前节点通过连接边指向的两个节点的隐向量，确定该当前节点的隐向量。通过从叶节点到根节点的迭代处理，最终得到根节点的隐向量作为目标节点的节点表征向量。

图5示出LSTM层中迭代处理的工作示意图。根据动态交互图的连接方式，第一编码子图中的某个节点可以通过连接边指向该节点代表的对象所参与的上一交互事件的两个节点。假定第一编码子图中的节点z（t）为当前节点，其通过连接边指向节点j₁和节点j₂。如图5所示，在T时刻，LSTM层分别处理得到节点j₁和节点j₂的表示向量H1和H2，包括中间向量c和隐向量h；在接下来的T+时刻，LSTM层根据节点z(t)的节点属性特征X_z(t)，之前处理得到的j₁和j₂的表示向量H1和H2，得到节点z(t)的表示向量H_z(t)。可以理解，该节点z(t)的表示向量可以在后续时刻，用于处理得到指向节点z(t)的节点的表示向量（其中包含隐向量），如此实现迭代处理。

以上提及的节点属性特征根据节点代表的不同类对象而有所不同。例如，在节点表示用户的情况下，节点属性特征可以包括用户的属性特征，例如年龄、职业、教育程度、所在地区、注册时长、人群标签等等；在节点表示物品的情况下，节点属性特征可以包括物品的属性特征，例如物品类别、上架时间、销量、评论数等等。在节点表示其他交互对象的情况下，可以相应的基于交互对象自身的属性，得到节点属性特征。

于是，通过以上各种方式，图编码网络针对第一节点u进行编码表征，将其编码为第一节点表征向量h_u。

对于样本节点对中的另一节点，即第二节点v，在步骤24，确定第二节点v对应的第二结构子图Gv。需要说明的是，此处的第二结构子图Gv，是基于第二节点v确定出的、用于表征第二节点v相关的图结构特点的子图，该子图的图表征后续将作为第一节点的节点表征的对比对象。因此，确定第二结构子图Gv的方式，与确定用于对节点进行编码的编码子图的方式，可以相同，也可以不同。

具体的，在一个实施例中，可以根据前述确定编码子图所采用的第一子图确定规则，确定出第二节点v对应的第二结构子图Gv。更具体的，例如，可以以第二节点v为根节点，在动态交互图中确定出从根节点出发，经由连接边到达的预定范围的节点所形成的子图，作为上述第二结构子图Gv。

在另一实施例中，可以采用与前述的第一子图确定规则不同的第二子图确定规则，确定出上述第二结构子图Gv。具体的，在一个例子中，第二子图确定规则可以是，在动态交互图中以目标节点为中心节点所确定出的一定范围的子图。在另一例子中，第二子图确定规则可以是，仍然以目标节点为根节点向历史方向回溯一定范围得到的子图，但是其回溯的范围与第一子图确定规则中的范围不同，例如，连接边阶数不同，等等。

图4还示出一个例子中的第二结构子图Gv的示例，如圆形虚线区域所示。该第二结构子图Gv是以第二节点v为根节点，向前回溯1条连接边的范围得到的子图。

对于通过以上各种方式得到的第二结构子图Gv，其中包含的节点均为与第二节点（直接或间接）相关联的节点，将该子图Gv中包含的节点称为第二关联节点（其中包含第二节点自身）。

对于第二结构子图Gv中包含的多个第二关联节点，接下来，在步骤25，利用图编码网络，对各个第二关联节点进行编码，得到多个第二关联表征向量。

对各个第二关联节点进行编码的过程，与步骤23中对第一节点进行编码的过程类似。具体的，可以将该多个第二关联节点分别作为目标节点，根据前述的第一子图确定规则，确定出各第二关联节点分别对应的各关联编码子图；然后将各关联编码子图分别输入图编码网络，所述图编码网络根据输入的关联编码子图中的节点以及节点之间的连接关系，输出根节点的隐向量作为对应的第二关联表征向量。图编码网络的具体处理过程如前所述，不复赘述。

在通过图编码网络得到前述多个第二关联节点对应的多个第二关联表征向量的基础上，在步骤26，基于该多个第二关联表征向量，确定第二结构子图Gv的第二图表征向量H_Gv。

在一个实施例中，可以对前述多个第二关联表征向量进行池化操作，将池化操作结果作为第二图表征向量H_Gv；所述池化操作包括，最大池化、求和池化或平均池化。

例如，可以通过以下公式（1），得到第二图表征向量：

(1)

其中，w为第二结构子图Gv中的任意节点，即任意一个第二关联节点；h_w为图编码网络针对该第二关联节点w编码得到的第二关联表征向量。在公式（1）中，通过对各个第二关联表征向量进行求和池化，得到第二结构子图的图表征向量。

在另一实施例中，还可以基于自注意力机制，确定上述多个第二关联表征向量各自的注意力权重；基于所述注意力权重，对该多个第二关联表征向量加权融合，得到第二图表征向量H_Gv。

于是，可以通过多种方式，对多个第二关联表征向量h_w进行融合，将融合结果作为第二结构子图的图表征向量H_Gv。该图表征向量H_Gv，可以反映第二结构子图Gv中多个节点的总体特征。

接着，在步骤27，根据前述第一节点表征向量h_u和第二图表征向量H_Gv，确定第一损失，该第一损失与第一节点表征向量h_u和第二图表征向量H_Gv之间的相似度负相关。

具体的，在一个实施例中，可以计算第一节点表征向量h_u和第二图表征向量H_Gv之间的点乘，作为其间相似度。在另一例子中，还可以计算第一节点表征向量h_u和第二图表征向量H_Gv之间的向量距离，例如余弦距离或欧式距离，根据向量距离确定其间相似度；向量距离越小，相似度越大。

进一步的，将第一损失确定为，负相关于上述相似度。

具体的，在一个例子中，可以将第一损失L1确定为：

(2)

其中，通过点乘得到h_u和H_Gv的相似度S1，进而确定出第一损失L1。

在另一例子中，可以通过以下公式（3）确定第一损失：

(3)

其中，x为第二节点v之外的其他节点，Gx为节点x对应的结构子图，H_Gx为采用与第二结构子图相同的处理方式，对结构子图Gx处理得到的图表征向量。

公式（3）意味着，可以从动态交互图中，采样出不同于第二节点v的多个负样本节点x，针对各个负样本节点x，与步骤24类似的确定出对应的负样本结构子图Gx，与前述步骤25类似的，利用图编码网络，对负样本结构子图Gx中包含的子节点进行编码，得到各个子节点对应的表征向量，并与步骤26类似的，基于子节点对应的表征向量，得到该负样本结构子图Gx对应的负样本图表征向量H_Gx。在确定第一损失时，可以分别计算第一节点表征向量与各个负样本图表征向量的各个负样本相似度，并使得第一损失与各个负样本相似度之和正相关。

在其他例子中，第一损失还可以具有其他形式，在此不一一枚举。

然后，在步骤28，以减小第一损失L1为目标，更新图编码网络。可以理解，由于第一损失L1与第一节点表征向量h_u和第二图表征向量H_Gv之间的相似度S1负相关，第一损失L1的减小意味着该相似度S1的增大，以此为目标调整图编码网络，可以使得对于发生交互的两个节点，一个节点的节点表征与另一节点相关的图表征更加接近，从而通过图结构对比得到节点更好的表征方式，这样的表征方式可以更好地反映节点的实际交互情况。

当采用公式（3）确定第一损失L1时，第一损失L1的减小不仅意味着上述相似度S1的增大，同时还意味着，各个负样本相似度减小。也就是说，对于没有与第一节点交互的负样本节点，第一节点的节点表征与负样本节点相关的图表征差距越大越好。这相当于从正样本，负样本两个方面，对图编码网络进行训练。

以上结合图2和图4描述了，通过对比第一节点u的节点表征和第二节点v对应的图表征，来训练图编码网络的过程。可以理解，第一节点和第二节点的作用是可以互换的。在一个实施例中，在通过上述步骤23-28进行训练之后，还可以交换第一节点u和第二节点v的位置或作用，通过对比第二节点的节点表征和第一节点相关的图表征，继续进行图编码网络的训练。

图6示出根据一个实施例的训练图编码网络的步骤流程。如图6所示，在步骤61，利用图编码网络，对第二节点v进行编码，得到第二节点表征向量h_v。具体编码过程与在步骤23中针对第一节点u的编码过程相似，不再赘述。

然后，在步骤62，确定第一节点u对应的第一结构子图Gu，其中包括多个第一关联节点。需要理解，确定第一结构子图Gu与步骤24中确定第二结构子图Gv的过程相似，两者采用相同的子图确定规则。

接着，在步骤63，利用图编码网络，对Gu中的多个第一关联节点进行编码，得到多个第一关联表征向量；并在步骤64，基于该多个第一关联表征向量，确定第一结构子图Gu的第一图表征向量H_Gu。步骤63和64的具体实施过程，与前述步骤25和26中针对第二结构子图的处理过程相似，不再赘述。

然后，在步骤65，确定第二损失L2，其与上述第二节点表征向量h_v和所述第一图表征向量H_Gu之间的相似度S2负相关。第二损失L2的具体形式可以与第一损失L1相对应，例如采用公式（2），或公式（3）的形式。

于是，在步骤66，以减小所述第二损失L2为目标，更新图编码网络，从而继续对图编码网络进行训练。

当然实践操作中，也可以在确定出第一损失和第二损失后，将第一损失和第二损失之和作为总预测损失，以总预测损失减小为目标，对图编码网络进行更新。

回顾以上过程，在以上各个实施例的方案中，利用图结构对比学习的思想，对于发生交互的两个节点，将其中一个节点的节点表征，与另一节点相关的图表征进行相似度对比，以此对图编码网络进行训练。在训练之后，就可以利用训练得到的图编码网络对动态交互图中的节点进行编码表征，根据该编码表征预测未来交互。

下面描述利用上述图编码网络进行交互预测的过程。

图7示出根据一个实施例预测交互事件的方法流程图。可以理解，该方法可以通过任何具有计算、处理能力的装置、设备、平台、设备集群来执行。如图7所示，预测交互事件的方法可以包括以下步骤。

在步骤71，获取根据前述方法训练的图编码网络。

在步骤72，从动态交互图中确定出有待评估的第一对象和第二对象分别对应的第一目标节点和第二目标节点。

举例来说，假定希望预测图3中的对象Lucy未来是否会与M2发生交互，则第一对象为Lucy，第二对象为M2。如前所述，在动态交互图中，一个物理对象可以对应多个节点，例如，Lucy对应于节点p和节点q。因此，在确定第一对象对应的第一目标节点时，在一个例子中，可以在动态交互图中第一对象对应的多个节点中任选一个作为第一目标节点。不过更优选的，在一个例子中，将动态交互图中第一对象对应的多个节点中，对应于最近时间的节点作为第一目标节点，或者说，将该第一对象最近参与的交互事件对应的节点对中的节点作为第一目标节点。例如，在Lucy是第一对象的情况下，其最近参与的交互事件是E₅，因此可以将节点p作为第一目标节点。第二目标节点的确定与之类似。

接着，在步骤73，利用前述训练好的图编码网络，分别对第一目标节点和第二目标节点进行编码，得到第一目标表征向量和第二目标表征向量。编码过程与上文中对训练阶段的描述相同，不再赘述。

然后，在步骤74，根据上述第一目标表征向量和第二目标表征向量，预测第一对象和第二对象发生交互事件的概率。在具体实施例中，可以对第一目标表征向量和第二目标表征向量进行简单的运算，例如求相似度，求距离等，据此确定交互概率。在另一实施例中，还可以将上述第一目标表征向量和第二目标表征向量输入训练好的分类器，通过分类器输出对第一对象和第二对象是否会交互的预测概率。

在以上过程中，通过训练好的图编码网络，可以对待评估对象对应的节点进行编码表征，进而根据该编码表征，预测两个对象之间是否会发生交互事件。对交互事件的预测，可以用于物品推荐，内容推荐等多种场景。

根据另一方面的实施例，提供了一种训练图编码网络的装置，该装置可以部署在任何具有计算、处理能力的设备、平台或设备集群中。图8示出根据一个实施例的图编码网络的训练装置的示意性框图。如图8所示，该训练装置80包括：

动态图获取单元801，配置为获取动态交互图，其中包括多个节点对，每个节点对对应于一个交互事件，其中的两个节点分别表示参与该交互事件的两个对象，任意节点通过连接边指向该节点所代表的对象参与的上一交互事件对应的两个节点；

节点选择单元802，配置为从所述动态交互图中选择构成节点对的第一节点和第二节点；

第一编码单元803，配置为利用所述图编码网络，对所述第一节点进行编码，得到第一节点表征向量；

结构子图确定单元804，配置为确定第二节点对应的第二结构子图，其中包括多个第二关联节点；

第二编码单元805，配置为利用所述图编码网络，对所述多个第二关联节点进行编码，得到多个第二关联表征向量；

图向量确定单元806，配置为基于该多个第二关联表征向量，确定所述第二结构子图的第二图表征向量；

损失确定单元807，配置为确定第一损失，其与所述第一节点表征向量和所述第二图表征向量之间的相似度负相关；

更新单元808，配置为以减小所述第一损失为目标，更新所述图编码网络。

根据一种实施方式，第一编码单元803具体配置为：将所述第一节点作为目标节点，根据第一子图确定规则，确定出第一编码子图；其中，所述第一子图确定规则包括，在所述动态交互图中确定出以目标节点为根节点，经由连接边到达的预定范围的节点所构成的子图；将所述第一编码子图输入所述图编码网络，所述图编码网络根据所述第一编码子图中的节点以及节点之间的连接关系，输出根节点的隐向量作为所述第一节点表征向量。

进一步的，在具体实施例中，上述预定范围的节点可以包括：预设数目K条连接边之内的节点；和/或，交互时间在预设时间范围内的节点。

在一个实施例中，结构子图确定单元804具体配置为：将第二节点作为目标节点，根据上述第一子图确定规则，确定出对应的子图作为所述第二结构子图。

在另一个实施例中，结构子图确定单元804具体配置为：将第二节点作为目标节点，根据第二子图确定规则，确定出对应的子图作为所述第二结构子图，其中，所述第二子图确定规则不同于上述第一子图确定规则。

在一种实施方式中，第二编码单元805具体配置为：将所述多个第二关联节点分别作为目标节点，根据所述第一子图确定规则，确定出各第二关联节点分别对应的各关联编码子图；将各关联编码子图分别输入所述图编码网络，所述图编码网络根据输入的关联编码子图中的节点以及节点之间的连接关系，输出根节点的隐向量作为对应的第二关联表征向量。

进一步的，在一个实施例中，图编码网络包括LSTM层，所述LSTM层针对输入其中的任意子图，将该子图中从叶节点到根节点的各个节点分别作为当前节点，依次迭代处理各个节点，所述迭代处理包括，至少根据当前节点的节点属性特征，以及当前节点通过连接边指向的两个节点的隐向量，确定该当前节点的隐向量。

根据一种实施方式，图向量确定单元806具体配置为：对所述多个第二关联表征向量进行池化操作，将池化操作结果作为所述第二图表征向量；所述池化操作包括，最大池化、求和池化或平均池化。

根据另一种实施方式，图向量确定单元806具体配置为：基于自注意力机制，确定所述多个第二关联表征向量各自的注意力权重；基于所述注意力权重，对所述多个第二关联表征向量加权融合，得到所述第二图表征向量。

在一个实施例中，损失确定单元807具体配置为：计算所述第一节点表征向量和第二图表征向量之间的点乘，作为其间相似度；或者，计算所述第一节点表征向量和第二图表征向量之间的向量距离，根据所述向量距离确定其间相似度。

根据一种实施方式，节点选择单元802还配置为，从所述动态交互图中，采样出不同于第二节点的多个负样本节点；结构子图确定单元804还配置为，确定各个负样本节点对应的负样本结构子图；第二编码单元805还配置为，对于各个负样本结构子图，利用所述图编码网络，对其中的子节点进行编码，得到子节点对应的表征向量；图向量确定单元806还配置为，基于所述子节点对应的表征向量，确定该负样本结构子图对应的负样本图表征向量；在这样的情况下，损失确定单元807还配置为，分别计算所述第一节点表征向量与各个负样本图表征向量的各个负样本相似度，使得第一损失与各个负样本相似度之和正相关。

在一种实施方式中，第一编码单元803还配置为，利用所述图编码网络，对所述第二节点进行编码，得到第二节点表征向量；结构子图确定单元804还配置为，确定第一节点对应的第一结构子图，其中包括多个第一关联节点；第二编码单元805还配置为，利用所述图编码网络，对所述多个第一关联节点进行编码，得到多个第一关联表征向量；图向量确定单元806还配置为，基于该多个第一关联表征向量，确定所述第一结构子图的第一图表征向量；损失确定单元807还配置为，确定第二损失，其与所述第二节点表征向量和所述第一图表征向量之间的相似度负相关；更新单元808配置为，以减小所述第二损失为目标，更新所述编码网络。

通过以上各个实施例的训练装置，基于动态交互图，利用图结构对比学习的思路，训练得到图编码网络。

根据又一方面的实施例，提供了一种预测交互事件的装置，该装置可以部署在任何具有计算、处理能力的设备、平台或设备集群中。图9示出根据一个实施例的预测交互事件的装置的示意性框图。如图9所示，该预测装置90包括：

模型获取单元901，配置为获取前述训练得到的图编码网络；

目标节点获取单元902，配置为从动态交互图中确定出有待评估的第一对象和第二对象分别对应的第一目标节点和第二目标节点；

图编码单元903，配置为利用所述图编码网络，分别对所述第一目标节点和第二目标节点进行编码，得到第一目标表征向量和第二目标表征向量；

预测单元904，配置为根据所述第一目标表征向量和第二目标表征向量，预测所述第一对象和第二对象发生交互事件的概率。

通过以上的预测装置90，利用训练得到的图编码网络，对节点进行编码，进而基于编码的表征向量，预测对象之间的交互事件。

根据另一方面的实施例，还提供一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行结合图2所描述的方法。

根据再一方面的实施例，还提供一种计算设备，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现结合图2所述的方法。

本领域技术人员应该可以意识到，在上述一个或多个示例中，本发明所描述的功能可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时，可以将这些功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。

以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本发明的保护范围之内。

Claims (18)

1.一种训练图编码网络的方法，所述方法包括：

获取动态交互图，其中包括多个节点对，每个节点对对应于一个交互事件，其中的两个节点分别表示参与该交互事件的两个对象，任意节点通过连接边指向该节点所代表的对象参与的上一交互事件对应的两个节点；

从所述动态交互图中选择构成节点对的第一节点和第二节点；

利用所述图编码网络，对所述第一节点进行编码，得到第一节点表征向量；

确定第二节点对应的第二结构子图，其中包括多个第二关联节点；

利用所述图编码网络，对所述多个第二关联节点进行编码，得到多个第二关联表征向量；

基于该多个第二关联表征向量，确定所述第二结构子图的第二图表征向量；

确定第一损失，其与所述第一节点表征向量和所述第二图表征向量之间的相似度负相关；

以减小所述第一损失为目标，更新所述图编码网络。

2.根据权利要求1所述的方法，其中，利用所述图编码网络，对所述第一节点进行编码，得到第一节点表征向量，包括：

将所述第一节点作为目标节点，根据第一子图确定规则，确定出第一编码子图；其中，所述第一子图确定规则包括，在所述动态交互图中确定出以目标节点为根节点，经由连接边到达的预定范围的节点所构成的子图；

将所述第一编码子图输入所述图编码网络，所述图编码网络根据所述第一编码子图中的节点以及节点之间的连接关系，输出根节点的隐向量作为所述第一节点表征向量。

3.根据权利要求2所述的方法，其中，所述预定范围的节点包括：

预设数目K条连接边之内的节点；和/或

交互时间在预设时间范围内的节点。

4.根据权利要求2所述的方法，其中，确定第二节点对应的第二结构子图，包括：

将所述第二节点作为目标节点，根据所述第一子图确定规则，确定出对应的子图作为所述第二结构子图。

5.根据权利要求2所述的方法，其中，确定第二节点对应的第二结构子图，包括：

将所述第二节点作为目标节点，根据第二子图确定规则，确定出对应的子图作为所述第二结构子图，其中，所述第二子图确定规则不同于所述第一子图确定规则。

6.根据权利要求2所述的方法，其中，利用所述图编码网络，对所述多个第二关联节点进行编码，得到多个第二关联表征向量，包括：

将所述多个第二关联节点分别作为目标节点，根据所述第一子图确定规则，确定出各第二关联节点分别对应的各关联编码子图；

将各关联编码子图分别输入所述图编码网络，所述图编码网络根据输入的关联编码子图中的节点以及节点之间的连接关系，输出根节点的隐向量作为对应的第二关联表征向量。

7.根据权利要求2或6所述的方法，其中，所述图编码网络包括LSTM层，所述LSTM层针对输入其中的任意子图，将该子图中从叶节点到根节点的各个节点分别作为当前节点，依次迭代处理各个节点，所述迭代处理包括，至少根据当前节点的节点属性特征，以及当前节点通过连接边指向的两个节点的隐向量，确定该当前节点的隐向量。

8.根据权利要求1所述的方法，其中，基于该多个第二关联表征向量，确定所述第二结构子图的第二图表征向量，包括：

对所述多个第二关联表征向量进行池化操作，将池化操作结果作为所述第二图表征向量；所述池化操作包括，最大池化、求和池化或平均池化。

9.根据权利要求1所述的方法，其中，基于该多个第二关联表征向量，确定所述第二结构子图的第二图表征向量，包括：

基于自注意力机制，确定所述多个第二关联表征向量各自的注意力权重；

基于所述注意力权重，对所述多个第二关联表征向量加权融合，得到所述第二图表征向量。

10.根据权利要求1所述的方法，其中，确定第一损失，包括：

计算所述第一节点表征向量和第二图表征向量之间的点乘，作为其间相似度；或者，

计算所述第一节点表征向量和第二图表征向量之间的向量距离，根据所述向量距离确定其间相似度。

11.根据权利要求1所述的方法，还包括：

从所述动态交互图中，采样出不同于第二节点的多个负样本节点；

确定各个负样本节点对应的负样本结构子图；

对于各个负样本结构子图，利用所述图编码网络，对其中的子节点进行编码，得到子节点对应的表征向量；并基于所述子节点对应的表征向量，确定该负样本结构子图对应的负样本图表征向量；

所述确定第一损失包括，分别计算所述第一节点表征向量与各个负样本图表征向量的各个负样本相似度，使得第一损失与各个负样本相似度之和正相关。

12.根据权利要求1所述的方法，还包括，

利用所述图编码网络，对所述第二节点进行编码，得到第二节点表征向量；

确定第一节点对应的第一结构子图，其中包括多个第一关联节点；

利用所述图编码网络，对所述多个第一关联节点进行编码，得到多个第一关联表征向量；

基于该多个第一关联表征向量，确定所述第一结构子图的第一图表征向量；

确定第二损失，其与所述第二节点表征向量和所述第一图表征向量之间的相似度负相关；

以减小所述第二损失为目标，更新所述编码网络。

13.一种预测交互事件的方法，所述方法包括：

获取根据权利要求1的方法训练的图编码网络；

从动态交互图中确定出有待评估的第一对象和第二对象分别对应的第一目标节点和第二目标节点；

利用所述图编码网络，分别对所述第一目标节点和第二目标节点进行编码，得到第一目标表征向量和第二目标表征向量；

根据所述第一目标表征向量和第二目标表征向量，预测所述第一对象和第二对象发生交互事件的概率。

14.根据权利要求13所述的方法，其中，所述第一目标节点是所述第一对象最近参与的交互事件在所述动态交互图中对应的节点对中的节点。

15.一种训练图编码网络的装置，所述装置包括：

动态图获取单元，配置为获取动态交互图，其中包括多个节点对，每个节点对对应于一个交互事件，其中的两个节点分别表示参与该交互事件的两个对象，任意节点通过连接边指向该节点所代表的对象参与的上一交互事件对应的两个节点；

节点选择单元，配置为从所述动态交互图中选择构成节点对的第一节点和第二节点；

第一编码单元，配置为利用所述图编码网络，对所述第一节点进行编码，得到第一节点表征向量；

结构子图确定单元，配置为确定第二节点对应的第二结构子图，其中包括多个第二关联节点；

第二编码单元，配置为利用所述图编码网络，对所述多个第二关联节点进行编码，得到多个第二关联表征向量；

图向量确定单元，配置为基于该多个第二关联表征向量，确定所述第二结构子图的第二图表征向量；

损失确定单元，配置为确定第一损失，其与所述第一节点表征向量和所述第二图表征向量之间的相似度负相关；

更新单元，配置为以减小所述第一损失为目标，更新所述图编码网络。

16.一种预测交互事件的装置，所述装置包括：

模型获取单元，配置为获取根据权利要求14的装置训练得到的图编码网络；

目标节点获取单元，配置为从动态交互图中确定出有待评估的第一对象和第二对象分别对应的第一目标节点和第二目标节点；

图编码单元，配置为利用所述图编码网络，分别对所述第一目标节点和第二目标节点进行编码，得到第一目标表征向量和第二目标表征向量；

预测单元，配置为根据所述第一目标表征向量和第二目标表征向量，预测所述第一对象和第二对象发生交互事件的概率。

17.一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行权利要求1-14中任一项的所述的方法。

18.一种计算设备，包括存储器和处理器，其特征在于，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现权利要求1-14中任一项所述的方法。

Images