CN115905687A - 基于元学习图神经网络面向冷启动的推荐***及方法 - Google Patents

Abstract

本发明公开了基于元学习图神经网络面向冷启动的推荐***及方法，属于网络推荐技术领域，本发明要解决的技术问题为如何克服针对冷启动用户交互数据稀疏无法准确动态建模用户偏好的缺陷，采用的技术方案为：该***包括二部图构建层、图嵌入层、序列编码层及元学习层。该方法具体如下：获取数据集中的交互数据，利用交互数据构建用户‑物品二部图；基于二部图利用图卷积网络构建序列间物品的高阶关系，生成准确的用户及物品的嵌入表示；利用序列编码层学习序列内物品的转移信息，结合注意力机制为用户生成动态的兴趣表示；利用元学习层实现快速适应冷启动推荐任务。

Description

基于元学习图神经网络面向冷启动的推荐***及方法

技术领域

本发明涉及网络推荐技术领域，具体地说是一种基于元学习图神经网络面向冷启动的推荐***及方法。

背景技术

随着深度学习在推荐领域的不断发展，推荐算法的性能也在逐步提高。当有新用户加入时，因缺乏足够的交互信息，推荐方法无法准确建模用户偏好。研究者利用元学习(Meta Learning)在少样本学习中的优势，将冷启动用户推荐视为一个新任务，通过梯度下降使模型快速适应冷启动任务并给出符合用户偏好的推荐内容。

目前，利用元学习解决推荐算法中的冷启动问题现已成为主流方法,以MeLU为例，利用人口统计信息和物品信息预测冷启动用户偏好，虽然取得了出色的性能，但是在辅助信息不可用的场景下，模型性能会显著下降。后来研究者转向研究不使用辅助信息的方法，以MetaTL为代例，仅使用有限交互的序列来动态地建模冷启动用户偏好，但是它们忽略了不同序列间物品的相关性。序列间物品的相关性可以捕获用户的一般偏好并缓解数据稀疏问题。

故如何克服针对冷启动用户交互数据稀疏无法准确生成用户物品嵌入表示缺陷并动态建模用户偏好是目前亟待解决的技术问题。

发明内容

本发明的技术任务是提供一种基于元学习图神经网络面向冷启动的推荐***及方法，来解决针对冷启动用户交互数据稀疏无法准确动态建模用户偏好的缺陷的问题。

本发明的技术任务是按以下方式实现的，一种基于元学习图神经网络面向冷启动的推荐***，该***包括，

二部图构建层，用于获取数据集中的交互数据，利用交互数据构建用户-物品二部图；

图嵌入层，用于基于用户-物品二部图通过图卷积网络建模序列间物品的高阶关系，生成准确的用户及物品嵌入表示；

序列编码层，用于建模序列内物品的动态变化并通过注意力网络建模用户偏好；

元学习层，用于快速适应冷启动推荐任务。

作为优选，用户-物品二部图包括用户节点u和物品节点v两个类型的节点；

若用户与物品交互，则在用户和物品之间存在边；连接多个物品节点和用户节点的路径，捕获位于路径开始和结束处的项节点之间的相关性。

更优地，嵌入图层具体如下：

聚合目标节点的邻居信息，公式如下：

其中，

表示通过对第k-1层的所有邻居上应用聚合函数得到第k层的物品节点v_i的邻域表示

及

分别表示第k层的权重矩阵和偏置向量且

表示通过对第k-1层的所有邻居上应用聚合函数得到第k层的物品节点u_i的邻域表示

及

分别表示第k层的权重矩阵和偏置向量且

对应的第k层隐表示为

用户节点u_i的第k层的隐表示为

用户-物品二部图中与目标v_i相邻的节点被定义为目标节点的1跳邻居；n(v_i)表示节点v_i的1跳邻居集合；物品节点v的初始嵌入表示为x_v；用户节点u的初始化嵌入表示为x_u；在图卷积网络(GCN)中，节点嵌入既依赖于节点自身的信息，也依赖于周围的邻居节点；

邻域信息与目标节点表示相结合作为该层的用户及物品嵌入表示，公式如下：

其中，

及

表示第k层的变换权重矩阵和偏置向量且

γ表示池化函数；σ表示激活函数；[；]表示串联；

由于不同层的嵌入具有不同的语义，为了使应用于冷启动场景的嵌入表达更加全面、丰富，将不同层的嵌入表示经加权结合得到最终的嵌入表示

公式如下：

其中，a_k表示第k层的权重矩阵,用于表示在第k层的嵌入构成中其他层嵌入的重要性，a_k为手动调整的参数或自动优化的模型参数；为了降低训练复杂度，将a_k统一设置为1/(K+1)；

为用户、物品嵌入表示。

更优地，序列编码层具体如下：

经过图嵌入层后用户u的交互序列表示为

以用户序列s_u作为输入，将每个物品v_q与其之前的物品按交互顺序生成交互物品对集

其中，每个交互序列中的第一个物品由于之前没有其他交互项，将第一个物品的交互物品对集定义为

每个物品对通过L层的神经网络获得两个物品间的映射关系，具体如下：

r^l＝ReLU(W^lr^l-1+b^l)；

其中，

表示向量m与向量n连接；v_i与v_q分别表示头实体和尾实体；L为神经网络层数，l∈{1,…,L-1}；W^l和b^l表示第l层的权重矩阵和偏置向量，

表示最终物品v_i与物品v_q的转移信息；v表示物品；q表示尾部实体；r表示拼接后的物品向量；r的上标表示层数；

由于每个物品对集中存在多个物品对，在为每个物品生成物品转移表示时，聚合所有的转换信息，公式如下：

在获得序列内每个物品的转换信息后，将序列间物品相关性信息与序列内物品间的转移信息相结合，生成最终的用户兴趣表示；

为了捕捉每个用户不断变化的兴趣，使用注意力网络为每个输入的隐状态生成一个权重，用该权重表示用户当前行为对最终偏好的影响，用户交互序列中最后一项往往对下一交互项起重要作用，故在生成注意力权重时考虑最后交互项v_n的影响，公式如下：

其中，

表示物品v_q在用户u的最终决策上的权重；W₂,W₃,W₄,b₂,b₂为多层感知网络的参数，

表示

的物品vq的影响权重；

考虑序列内物品顺序相关性和时间动态的用户兴趣被表示为：

在获得用户当前兴趣的表示后，采用经典的矩阵因式分解方法来推断用户对物品的偏好；

用户u对物品v_p的预测得分是用户兴趣I_u和物品嵌入

的内积，用户将与物品交互的概率被定义为预测分数：

利用贝叶斯个性化排名(BPR)损失来学习参数，使用户观察到的交互项的概率估计高于其未观察到的物品，BPR损失函数定义为：

其中，T_i表示第i个任务的训练样本，即T_i＝{(u,v,v^-)|(u,v)∈R⁺,(u,v^-)∈R^-}；R⁺与用户交互的物品集合；R^-表示与用户没有交互历史的物品集合；θ表示可学习的参数；λ是L₂正则化参数，用于缓解过拟合问题。

更优地，元学习层具体如下：

使用基于梯度的MAML方法优化图嵌入网络的全部参数θ_g和序列编码层的全部参数θ_t；

将训练任务分为内循环和外循环，内循环用于优化用户兴趣建模，外循环用于通过元学习层更新参数；

由于用户、物品表示是全局共享的，在内循环中不会更新物品的嵌入表示；内循环使用支持集D_s训练，通过梯度下降更新序列编码层，参数更新为Θ'_t，公式如下：

外循环优化过程，使用查询集D_q来优化全部参数：

经过元学习层的训练阶段，得到用户、物品的良好初始嵌入和二部图构建层、图嵌入层、序列编码层及元学习层所需要的参数；

在元学习层的测试阶段，使用少量的新用户数据对二部图构建层、图嵌入层、序列编码层及元学习层进行微调，快速的适用冷启动用户的推荐任务。

一种基于元学习图神经网络面向冷启动的推荐方法，该方法具体如下：

获取数据集中的交互数据，利用交互数据构建用户-物品二部图；

基于二部图利用图卷积网络构建序列间物品的高阶关系，生成准确的用户及物品的嵌入表示；

利用序列编码层学习序列内物品的转移信息，结合注意力机制为用户生成动态的兴趣表示；

利用元学习层将训练数据划分为支持集和查询集，在内循环中使用支持集优化序列编码层的参数，在外循环中使用查询集更新全部参数，在冷启动任务中采用若干次梯度下降的方式获取准确的推荐内容，实现快速适应冷启动推荐任务。

作为优选，用户-物品二部图包括用户节点u和物品节点v两个类型的节点；

若用户与物品交互，则在用户和物品之间存在边；连接多个物品节点和用户节点的路径，捕获位于路径开始和结束处的项节点之间的相关性；

基于二部图利用图卷积网络构建序列间物品的高阶关系，生成准确的用户及物品的嵌入表示具体如下：

聚合目标节点的邻居信息，公式如下：

其中，

表示通过对第k-1层的所有邻居上应用聚合函数得到第k层的物品节点v_i的邻域表示

及

分别表示第k层的权重矩阵和偏置向量且

表示通过对第k-1层的所有邻居上应用聚合函数得到第k层的物品节点u_i的邻域表示

及

分别表示第k层的权重矩阵和偏置向量且

对应的第k层隐表示为

用户节点u_i的第k层的隐表示为

用户-物品二部图中与目标v_i相邻的节点被定义为目标节点的1跳邻居；n(v_i)表示节点v_i的1跳邻居集合；物品节点v的初始嵌入表示为x_v；用户节点u的初始化嵌入表示为x_u；在图卷积网络(GCN)中，节点嵌入既依赖于节点自身的信息，也依赖于周围的邻居节点；

邻域信息与目标节点表示相结合作为该层的用户及物品嵌入表示，公式如下：

其中，

及

表示第k层的变换权重矩阵和偏置向量且

γ表示池化函数；σ表示激活函数；[；]表示串联；

由于不同层的嵌入具有不同的语义，为了使应用于冷启动场景的嵌入表达更加全面、丰富，将不同层的嵌入表示经加权结合得到最终的嵌入表示

公式如下：

其中，a_k表示第k层的权重矩阵,用于表示在第k层的嵌入构成中其他层嵌入的重要性，a_k为手动调整的参数或自动优化的模型参数；为了降低训练复杂度，将a_k统一设置为1/(K+1)；

为用户、物品嵌入表示。

更优地，利用序列编码层学习序列内物品的转移信息，结合注意力机制为用户生成动态的兴趣表示具体如下：

经过图嵌入层后用户u的交互序列表示为

以用户序列s_u作为输入，将每个物品v_q与其之前的物品按交互顺序生成交互物品对集

其中，每个交互序列中的第一个物品由于之前没有其他交互项，将第一个物品的交互物品对集定义为

每个物品对通过L层的神经网络获得两个物品间的映射关系，具体如下：

r^l＝ReLU(W^lr^l-1+b^l)；

其中，

表示向量m与向量n连接；v_i与v_q分别表示头实体和尾实体；L为神经网络层数，l∈{1,…,L-1}；W^l和b^l表示第l层的权重矩阵和偏置向量，

表示最终物品v_i与物品v_q的转移信息；v表示物品；q表示尾部实体；r表示拼接后的物品向量；r的上标表示层数；

由于每个物品对集中存在多个物品对，在为每个物品生成物品转移表示时，聚合所有的转换信息，公式如下：

在获得序列内每个物品的转换信息后，将序列间物品相关性信息与序列内物品间的转移信息相结合，生成最终的用户兴趣表示；

为了捕捉每个用户不断变化的兴趣，使用注意力网络为每个输入的隐状态生成一个权重，用该权重表示用户当前行为对最终偏好的影响，用户交互序列中最后一项往往对下一交互项起重要作用，故在生成注意力权重时考虑最后交互项v_n的影响，公式如下：

其中，

表示物品v_q在用户u的最终决策上的权重；W₂,W₃,W₄,b₂,b₂为多层感知网络的参数，

表示

的物品vq的影响权重；

考虑序列内物品顺序相关性和时间动态的用户兴趣被表示为：

在获得用户当前兴趣的表示后，采用经典的矩阵因式分解方法来推断用户对物品的偏好；

用户u对物品v_p的预测得分是用户兴趣I_u和物品嵌入

的内积，用户将与物品交互的概率被定义为预测分数：

利用贝叶斯个性化排名(BPR)损失来学习参数，使用户观察到的交互项的概率估计高于其未观察到的物品，BPR损失函数定义为：

其中，T_i表示第i个任务的训练样本，即T_i＝{(u,v,v^-)|(u,v)∈R⁺,(u,v^-)∈R^-}；R⁺与用户交互的物品集合；R^-表示与用户没有交互历史的物品集合；θ表示可学习的参数；λ是L₂正则化参数，用于缓解过拟合问题；

利用元学习层将训练数据划分为支持集和查询集，在内循环中使用支持集优化序列编码层的参数，在外循环中使用查询集更新全部参数，在冷启动任务中采用若干次梯度下降的方式获取准确的推荐内容具体如下：

使用基于梯度的MAML方法优化图嵌入网络的全部参数θ_g和序列编码层的全部参数θ_t；

将训练任务分为内循环和外循环，内循环用于优化用户兴趣建模，外循环用于通过元学习层更新参数；

由于用户、物品表示是全局共享的，在内循环中不会更新物品的嵌入表示；内循环使用支持集D_s训练，通过梯度下降更新序列编码层，参数更新为Θ'_t，公式如下：

外循环优化过程，使用查询集D_q来优化全部参数：

经过元学习层的训练阶段，得到用户、物品的良好初始嵌入和二部图构建层、图嵌入层、序列编码层及元学习层所需要的参数；

在元学习层的测试阶段，使用少量的新用户数据对二部图构建层、图嵌入层、序列编码层及元学习层进行微调，快速的适用冷启动用户的推荐任务。

一种电子设备，包括：存储器和至少一个处理器；

其中，所述存储器上存储有计算机程序；

所述至少一个处理器执行所述存储器存储的计算机程序，使得所述至少一个处理器执行如上述的基于元学习图神经网络面向冷启动的推荐方法。

一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序可被处理器执行以实现如上述的基于元学习图神经网络面向冷启动的推荐方法。

本发明的基于元学习图神经网络面向冷启动的推荐***及方法具有以下优点：

(一)本发明在不使用其他辅助信息的前提下，通过建模序列间的物品关系和序列内物品的转移关系，结合注意力机制为冷启动用户生成兴趣表示，参数优化采用基于元学习的梯度下降方法，在冷启动场景下的推荐性能有显著提高；

(二)针对冷启动用户交互数据稀疏无法准确生成用户物品嵌入表示的问题，本发明将用户交互序列构造成用户-物品二部图，利用图网络建模序列间物品的高阶关系生成准确的嵌入表示；

(三)本发明通过序列编码层捕获物品间的转移关系，在不使用其他辅助信息的场景下建模用户的偏好变化；

(四)针对冷启动场景，本发明使用元学习层进行训练，通过一次或几次梯度下降就可以准确建模冷启动用户的兴趣偏好，提供个性化推荐内容；

(五)本发明同时利用序列间物品关系与序列内物品关系来解决冷启动问题，提高了推荐内容的准确性，同时实现了快速适应冷启动推荐任务。

附图说明

下面结合附图对本发明进一步说明。

附图1为基于元学习图神经网络面向冷启动的推荐***的结构框图；

附图2为基于元学习图神经网络面向冷启动的推荐方法的流程框图；

附图3为于用户-物品二部图通过图卷积网络建模序列间物品的高阶关系，生成准确的用户及物品嵌入表示的示意图。

具体实施方式

参照说明书附图和具体实施例对本发明的基于元学习图神经网络面向冷启动的推荐***及方法作以下详细地说明。

实施例1：

如附图1所示，本实施例提供了一种基于元学习图神经网络面向冷启动的推荐***，该***包括，

二部图构建层，用于获取数据集中的交互数据，利用交互数据构建用户-物品二部图；

图嵌入层，用于基于用户-物品二部图通过图卷积网络建模序列间物品的高阶关系，生成准确的用户及物品嵌入表示；

序列编码层，用于建模序列内物品的动态变化并通过注意力网络建模用户偏好；

元学习层，用于快速适应冷启动推荐任务。

如附图3所示，本实施例中的用户-物品二部图包括用户节点u和物品节点v两个类型的节点；若用户与物品交互，则在用户和物品之间存在边；连接多个物品节点和用户节点的路径，捕获位于路径开始和结束处的项节点之间的相关性。

本实施例中的嵌入图层具体如下：

(1)、聚合目标节点的邻居信息，公式如下：

其中，

表示通过对第k-1层的所有邻居上应用聚合函数得到第k层的物品节点v_i的邻域表示

及

分别表示第k层的权重矩阵和偏置向量且

表示通过对第k-1层的所有邻居上应用聚合函数得到第k层的物品节点u_i的邻域表示

及

分别表示第k层的权重矩阵和偏置向量且

对应的第k层隐表示为

用户节点u_i的第k层的隐表示为

用户-物品二部图中与目标v_i相邻的节点被定义为目标节点的1跳邻居；n(v_i)表示节点v_i的1跳邻居集合；物品节点v的初始嵌入表示为x_v；用户节点u的初始化嵌入表示为x_u；在图卷积网络(GCN)中，节点嵌入既依赖于节点自身的信息，也依赖于周围的邻居节点；

(2)、邻域信息与目标节点表示相结合作为该层的用户及物品嵌入表示，公式如下：

其中，

及

表示第k层的变换权重矩阵和偏置向量且

γ表示池化函数；σ表示激活函数；[；]表示串联；

(3)、由于不同层的嵌入具有不同的语义，为了使应用于冷启动场景的嵌入表达更加全面、丰富，将不同层的嵌入表示经加权结合得到最终的嵌入表示

公式如下：

其中，a_k表示第k层的权重矩阵,用于表示在第k层的嵌入构成中其他层嵌入的重要性，a_k为手动调整的参数或自动优化的模型参数；为了降低训练复杂度，将a_k统一设置为1/(K+1)；

为用户、物品嵌入表示。

本实施例中的序列编码层具体如下：

(1)、经过图嵌入层后用户u的交互序列表示为

(2)、以用户序列s_u作为输入，将每个物品v_q与其之前的物品按交互顺序生成交互物品对集

其中，每个交互序列中的第一个物品由于之前没有其他交互项，将第一个物品的交互物品对集定义为

(3)、每个物品对通过L层的神经网络获得两个物品间的映射关系，具体如下：

r^l＝ReLU(W^lr^l-1+b^l)；

其中，

表示向量m与向量n连接；v_i与v_q分别表示头实体和尾实体；L为神经网络层数，l∈{1,…,L-1}；W^l和b^l表示第l层的权重矩阵和偏置向量，

表示最终物品v_i与物品v_q的转移信息；v表示物品；q表示尾部实体；r表示拼接后的物品向量；r的上标表示层数；

(4)、由于每个物品对集中存在多个物品对，在为每个物品生成物品转移表示时，聚合所有的转换信息，公式如下：

(5)、在获得序列内每个物品的转换信息后，将序列间物品相关性信息与序列内物品间的转移信息相结合，生成最终的用户兴趣表示；

(6)、为了捕捉每个用户不断变化的兴趣，使用注意力网络为每个输入的隐状态生成一个权重，用该权重表示用户当前行为对最终偏好的影响，用户交互序列中最后一项往往对下一交互项起重要作用，故在生成注意力权重时考虑最后交互项v_n的影响，公式如下：

其中，

表示物品v_q在用户u的最终决策上的权重；W₂,W₃,W₄,b₂,b₂为多层感知网络的参数，

表示

的物品vq的影响权重；

(7)、考虑序列内物品顺序相关性和时间动态的用户兴趣被表示为：

(8)、在获得用户当前兴趣的表示后，采用经典的矩阵因式分解方法来推断用户对物品的偏好；

(9)、用户u对物品v_p的预测得分是用户兴趣I_u和物品嵌入

的内积，用户将与物品交互的概率被定义为预测分数：

(10)、利用贝叶斯个性化排名(BPR)损失来学习参数，使用户观察到的交互项的概率估计高于其未观察到的物品，BPR损失函数定义为：

其中，T_i表示第i个任务的训练样本，即T_i＝{(u,v,v^-)|(u,v)∈R⁺,(u,v^-)∈R^-}；R⁺与用户交互的物品集合；R^-表示与用户没有交互历史的物品集合；θ表示可学习的参数；λ是L₂正则化参数，用于缓解过拟合问题。

本实施例中的元学习层具体如下：

(1)、使用基于梯度的MAML方法优化图嵌入网络的全部参数θ_g和序列编码层的全部参数θ_t；

将训练任务分为内循环和外循环，内循环用于优化用户兴趣建模，外循环用于通过元学习层更新参数；

(2)、由于用户、物品表示是全局共享的，在内循环中不会更新物品的嵌入表示；内循环使用支持集D_s训练，通过梯度下降更新序列编码层，参数更新为Θ'_t，公式如下：

外循环优化过程，使用查询集D_q来优化全部参数：

(3)、经过元学习层的训练阶段，得到用户、物品的良好初始嵌入和二部图构建层、图嵌入层、序列编码层及元学习层所需要的参数；

(4)、在元学习层的测试阶段，使用少量的新用户数据对二部图构建层、图嵌入层、序列编码层及元学习层进行微调，快速的适用冷启动用户的推荐任务。

实施例2：

如附图2所示，本实施例中的一种基于元学习图神经网络面向冷启动的推荐方法，该方法具体如下：

S1、获取数据集中的交互数据，利用交互数据构建用户-物品二部图；

S2、基于二部图利用图卷积网络构建序列间物品的高阶关系，生成准确的用户及物品的嵌入表示；

S3、利用序列编码层学习序列内物品的转移信息，结合注意力机制为用户生成动态的兴趣表示；

S4、利用元学习层将训练数据划分为支持集和查询集，在内循环中使用支持集优化序列编码层的参数，在外循环中使用查询集更新全部参数，在冷启动任务中采用若干次梯度下降的方式获取准确的推荐内容，实现快速适应冷启动推荐任务。

本实施例步骤S1中的具体方法为：

元学习层的目标是学习一个对所有用户足够通用的推荐方式，即通过微调就可以适应特定的用户，将训练任务T_train定义为选择n个一般用户U_train＝{u₁,u₂,…,u_n}，如附图1所示，从每个用户u的交互序列中选择K₁个连续物品集作为支持集

K₂个物品作为查询集

将交互序列构建成用户-物品二部图，以便通过图神经网络聚合图中节点的表示。如附图3所示，用户-物品二部图包含两种类型的节点，即用户节点u和物品节点v。如果用户与物品交互，则在用户和物品之间存在边。连接多个物品节点和用户节点的路径，可以捕获位于路径开始和结束处的项节点之间的相关性。

如附图3所示，本实施例步骤S2中的基于二部图利用图卷积网络构建序列间物品的高阶关系，生成准确的用户及物品的嵌入表示具体如下：

S201、聚合目标节点的邻居信息，公式如下：

其中，

表示通过对第k-1层的所有邻居上应用聚合函数得到第k层的物品节点v_i的邻域表示

及

分别表示第k层的权重矩阵和偏置向量且

表示通过对第k-1层的所有邻居上应用聚合函数得到第k层的物品节点u_i的邻域表示

及

分别表示第k层的权重矩阵和偏置向量且

对应的第k层隐表示为

用户节点u_i的第k层的隐表示为

用户-物品二部图中与目标v_i相邻的节点被定义为目标节点的1跳邻居；n(v_i)表示节点v_i的1跳邻居集合；物品节点v的初始嵌入表示为x_v；用户节点u的初始化嵌入表示为x_u；在图卷积网络(GCN)中，节点嵌入既依赖于节点自身的信息，也依赖于周围的邻居节点；

S202、邻域信息与目标节点表示相结合作为该层的用户及物品嵌入表示，公式如下：

其中，

及

表示第k层的变换权重矩阵和偏置向量且

γ表示池化函数；σ表示激活函数；[；]表示串联；

S203、由于不同层的嵌入具有不同的语义，为了使应用于冷启动场景的嵌入表达更加全面、丰富，将不同层的嵌入表示经加权结合得到最终的嵌入表示

公式如下：

其中，a_k表示第k层的权重矩阵,用于表示在第k层的嵌入构成中其他层嵌入的重要性，a_k为手动调整的参数或自动优化的模型参数；为了降低训练复杂度，将a_k统一设置为1/(K+1)；

为用户、物品嵌入表示。

如附图1所示，本实施例步骤S3中的利用序列编码层学习序列内物品的转移信息，结合注意力机制为用户生成动态的兴趣表示具体如下：

S301、经过图嵌入层后用户u的交互序列表示为

S302、以用户序列s_u作为输入，将每个物品v_q与其之前的物品按交互顺序生成交互物品对集

其中，每个交互序列中的第一个物品由于之前没有其他交互项，将第一个物品的交互物品对集定义为

S303、每个物品对通过L层的神经网络获得两个物品间的映射关系，具体如下：

r^l＝ReLU(W^lr^l-1+b^l)；

其中，

表示向量m与向量n连接；v_i与v_q分别表示头实体和尾实体；L为神经网络层数，l∈{1,…,L-1}；W^l和b^l表示第l层的权重矩阵和偏置向量，

表示最终物品v_i与物品v_q的转移信息；v表示物品；q表示尾部实体；r表示拼接后的物品向量；r的上标表示层数；

S304、由于每个物品对集中存在多个物品对，在为每个物品生成物品转移表示时，聚合所有的转换信息，公式如下：

S305、在获得序列内每个物品的转换信息后，将序列间物品相关性信息与序列内物品间的转移信息相结合，生成最终的用户兴趣表示；

S307、为了捕捉每个用户不断变化的兴趣，使用注意力网络为每个输入的隐状态生成一个权重，用该权重表示用户当前行为对最终偏好的影响，用户交互序列中最后一项往往对下一交互项起重要作用，故在生成注意力权重时考虑最后交互项v_n的影响，公式如下：

其中，

表示物品v_q在用户u的最终决策上的权重；W₂,W₃,W₄,b₂,b₂为多层感知网络的参数，

表示

的物品vq的影响权重；

S308、考虑序列内物品顺序相关性和时间动态的用户兴趣被表示为：

S309、在获得用户当前兴趣的表示后，采用经典的矩阵因式分解方法来推断用户对物品的偏好；

S310、用户u对物品v_p的预测得分是用户兴趣I_u和物品嵌入

的内积，用户将与物品交互的概率被定义为预测分数：

S311、利用贝叶斯个性化排名(BPR)损失来学习参数，使用户观察到的交互项的概率估计高于其未观察到的物品，BPR损失函数定义为：

其中，T_i表示第i个任务的训练样本，即T_i＝{(u,v,v^-)|(u,v)∈R⁺,(u,v^-)∈R^-}；R⁺与用户交互的物品集合；R^-表示与用户没有交互历史的物品集合；θ表示可学习的参数；λ是L₂正则化参数，用于缓解过拟合问题。

如附图1所示，本实施例步骤S4中的利用元学习层将训练数据划分为支持集和查询集，在内循环中使用支持集优化序列编码层的参数，在外循环中使用查询集更新全部参数，在冷启动任务中采用若干次梯度下降的方式获取准确的推荐内容具体如下：

S401、使用基于梯度的MAML方法优化图嵌入网络的全部参数θ_g和序列编码层的全部参数θ_t；

S402、将训练任务分为内循环和外循环，内循环用于优化用户兴趣建模，外循环用于通过元学习层更新参数；

S403、由于用户、物品表示是全局共享的，在内循环中不会更新物品的嵌入表示；内循环使用支持集D_s训练，通过梯度下降更新序列编码层，参数更新为Θ'_t，公式如下：

外循环优化过程，使用查询集D_q来优化全部参数：

S404、经过元学习层的训练阶段，得到用户、物品的良好初始嵌入和二部图构建层、图嵌入层、序列编码层及元学习层所需要的参数；

S405、在元学习层的测试阶段，使用少量的新用户数据对二部图构建层、图嵌入层、序列编码层及元学习层进行微调，快速的适用冷启动用户的推荐任务。

实施例3：

本发明实施例还提供了一种电子设备，包括：存储器和处理器；

其中，存储器存储计算机执行指令；

处理器执行所述存储器存储的计算机执行指令，使得处理器执行本发明任一实施例中的基于元学习图神经网络面向冷启动的推荐方法。

处理器可以是中央处理单元(CPU)，还可以是其他通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通过处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

存储器可用于储存计算机程序和/或模块，处理器通过运行或执行存储在存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现电子设备的各种功能。存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需的应用程序等；存储数据区可存储根据终端的使用所创建的数据等。此外，存储器还可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，只能存储卡(SMC)，安全数字(SD)卡，闪存卡、至少一个磁盘存储期间、闪存器件、或其他易失性固态存储器件。

实施例4：

本发明实施例还提供了一种计算机可读存储介质，其中存储有多条指令，指令由处理器加载，使处理器执行本发明任一实施例中的基于元学习图神经网络面向冷启动的推荐方法。具体地，可以提供配有存储介质的***或者装置，在该存储介质上存储着实现上述实施例中任一实施例的功能的软件程序代码，且使该***或者装置的计算机(或CPU或MPU)读出并执行存储在存储介质中的程序代码。

在这种情况下，从存储介质读取的程序代码本身可实现上述实施例中任何一项实施例的功能，因此程序代码和存储程序代码的存储介质构成了本发明的一部分。

用于提供程序代码的存储介质实施例包括软盘、硬盘、磁光盘、光盘(如CD-ROM、CD-R、CD-RW、DVD-ROM、DVD-RYM、DVD-RW、DVD+RW)、磁带、非易失性存储卡和ROM。可选择地，可以由通信网络从服务器计算机上下载程序代码。

此外，应该清楚的是，不仅可以通过执行计算机所读出的程序代码，而且可以通过基于程序代码的指令使计算机上操作的操作***等来完成部分或者全部的实际操作，从而实现上述实施例中任意一项实施例的功能。

此外，可以理解的是，将由存储介质读出的程序代码写到***计算机内的扩展板中所设置的存储器中或者写到与计算机相连接的扩展单元中设置的存储器中，随后基于程序代码的指令使安装在扩展板或者扩展单元上的CPU等来执行部分和全部实际操作，从而实现上述实施例中任一实施例的功能。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (10)

1.一种基于元学习图神经网络面向冷启动的推荐***，其特征在于，该***包括，

二部图构建层，用于获取数据集中的交互数据，利用交互数据构建用户-物品二部图；

图嵌入层，用于基于用户-物品二部图通过图卷积网络建模序列间物品的高阶关系，生成准确的用户及物品嵌入表示；

序列编码层，用于建模序列内物品的动态变化并通过注意力网络建模用户偏好；

元学习层，用于快速适应冷启动推荐任务。

2.根据权利要求1所述的基于元学习图神经网络面向冷启动的推荐***，其特征在于，用户-物品二部图包括用户节点u和物品节点v两个类型的节点；

若用户与物品交互，则在用户和物品之间存在边；连接多个物品节点和用户节点的路径，捕获位于路径开始和结束处的项节点之间的相关性。

3.根据权利要求1或2所述的基于元学习图神经网络面向冷启动的推荐***，其特征在于，嵌入图层具体如下：

聚合目标节点的邻居信息，公式如下：

其中，

表示通过对第k-1层的所有邻居上应用聚合函数得到第k层的物品节点v_i的邻域表示

及

分别表示第k层的权重矩阵和偏置向量且

表示通过对第k-1层的所有邻居上应用聚合函数得到第k层的物品节点u_i的邻域表示

及

分别表示第k层的权重矩阵和偏置向量且

对应的第k层隐表示为

用户节点u_i的第k层的隐表示为

用户-物品二部图中与目标v_i相邻的节点被定义为目标节点的1跳邻居；n(v_i)表示节点v_i的1跳邻居集合；物品节点v的初始嵌入表示为x_v；用户节点u的初始化嵌入表示为x_u；在图卷积网络中，节点嵌入既依赖于节点自身的信息，也依赖于周围的邻居节点；

邻域信息与目标节点表示相结合作为该层的用户及物品嵌入表示，公式如下：

其中，

及

表示第k层的变换权重矩阵和偏置向量且

γ表示池化函数；σ表示激活函数；[；]表示串联；

将不同层的嵌入表示经加权结合得到最终的嵌入表示

公式如下：

其中，a_k表示第k层的权重矩阵,用于表示在第k层的嵌入构成中其他层嵌入的重要性，a_k为手动调整的参数或自动优化的模型参数；将a_k统一设置为1/(K+1)；

为用户、物品嵌入表示。

4.根据权利要求3所述的基于元学习图神经网络面向冷启动的推荐***，其特征在于，序列编码层具体如下：

经过图嵌入层后用户u的交互序列表示为

以用户序列s_u作为输入，将每个物品v_q与其之前的物品按交互顺序生成交互物品对集

其中，每个交互序列中的第一个物品由于之前没有其他交互项，将第一个物品的交互物品对集定义为

每个物品对通过L层的神经网络获得两个物品间的映射关系，具体如下：

r^l＝ReLU(W^lr^l-1+b^l)；

其中，

表示向量m与向量n连接；v_i与v_q分别表示头实体和尾实体；L为神经网络层数，l∈{1,…,L-1}；W^l和b^l表示第l层的权重矩阵和偏置向量，

表示最终物品v_i与物品v_q的转移信息；v表示物品；q表示尾部实体；r表示拼接后的物品向量；r的上标表示层数；

由于每个物品对集中存在多个物品对，在为每个物品生成物品转移表示时，聚合所有的转换信息，公式如下：

在获得序列内每个物品的转换信息后，将序列间物品相关性信息与序列内物品间的转移信息相结合，生成最终的用户兴趣表示；

为了捕捉每个用户不断变化的兴趣，使用注意力网络为每个输入的隐状态生成一个权重，用该权重表示用户当前行为对最终偏好的影响，用户交互序列中最后一项对下一交互项起重要作用，故在生成注意力权重时考虑最后交互项v_n的影响，公式如下：

其中，

表示物品v_q在用户u的最终决策上的权重；W₂,W₃,W₄,b₂,b₂为多层感知网络的参数，

表示

的物品vq的影响权重；

考虑序列内物品顺序相关性和时间动态的用户兴趣被表示为：

在获得用户当前兴趣的表示后，采用经典的矩阵因式分解方法来推断用户对物品的偏好；

用户u对物品v_p的预测得分是用户兴趣I_u和物品嵌入

的内积，用户将与物品交互的概率被定义为预测分数：

利用贝叶斯个性化排名损失来学习参数，使用户观察到的交互项的概率估计高于其未观察到的物品，BPR损失函数定义为：

其中，T_i表示第i个任务的训练样本，即T_i＝{(u,v,v^-)|(u,v)∈R⁺,(u,v^-)∈R^-}；R⁺与用户交互的物品集合；R^-表示与用户没有交互历史的物品集合；θ表示可学习的参数；λ是L₂正则化参数，用于缓解过拟合问题。

5.根据权利要求4所述的基于元学习图神经网络面向冷启动的推荐***，其特征在于，元学习层具体如下：

使用基于梯度的MAML方法优化图嵌入网络的全部参数θ_g和序列编码层的全部参数θ_t；

将训练任务分为内循环和外循环，内循环用于优化用户兴趣建模，外循环用于通过元学习层更新参数；

内循环使用支持集D_s训练，通过梯度下降更新序列编码层，参数更新为Θ'_t，公式如下：

外循环优化过程，使用查询集D_q来优化全部参数：

经过元学习层的训练阶段，得到用户、物品的良好初始嵌入和二部图构建层、图嵌入层、序列编码层及元学习层所需要的参数；

在元学习层的测试阶段，使用新用户数据对二部图构建层、图嵌入层、序列编码层及元学习层进行微调，快速的适用冷启动用户的推荐任务。

6.一种基于元学习图神经网络面向冷启动的推荐方法，其特征在于，该方法具体如下：

获取数据集中的交互数据，利用交互数据构建用户-物品二部图；

基于二部图利用图卷积网络构建序列间物品的高阶关系，生成准确的用户及物品的嵌入表示；

利用序列编码层学习序列内物品的转移信息，结合注意力机制为用户生成动态的兴趣表示；

利用元学习层将训练数据划分为支持集和查询集，在内循环中使用支持集优化序列编码层的参数，在外循环中使用查询集更新全部参数，在冷启动任务中采用若干次梯度下降的方式获取准确的推荐内容，实现快速适应冷启动推荐任务。

7.根据权利要求6所述的基于元学习图神经网络面向冷启动的推荐方法，其特征在于，用户-物品二部图包括用户节点u和物品节点v两个类型的节点；

若用户与物品交互，则在用户和物品之间存在边；连接多个物品节点和用户节点的路径，捕获位于路径开始和结束处的项节点之间的相关性；

基于二部图利用图卷积网络构建序列间物品的高阶关系，生成准确的用户及物品的嵌入表示具体如下：

聚合目标节点的邻居信息，公式如下：

其中，

表示通过对第k-1层的所有邻居上应用聚合函数得到第k层的物品节点v_i的邻域表示

及

分别表示第k层的权重矩阵和偏置向量且

表示通过对第k-1层的所有邻居上应用聚合函数得到第k层的物品节点u_i的邻域表示

及

分别表示第k层的权重矩阵和偏置向量且

对应的第k层隐表示为

用户节点u_i的第k层的隐表示为

用户-物品二部图中与目标v_i相邻的节点被定义为目标节点的1跳邻居；n(v_i)表示节点v_i的1跳邻居集合；物品节点v的初始嵌入表示为x_v；用户节点u的初始化嵌入表示为x_u；在图卷积网络中，节点嵌入既依赖于节点自身的信息，也依赖于周围的邻居节点；

邻域信息与目标节点表示相结合作为该层的用户及物品嵌入表示，公式如下：

其中，

及

表示第k层的变换权重矩阵和偏置向量且

γ表示池化函数；σ表示激活函数；[；]表示串联；

将不同层的嵌入表示经加权结合得到最终的嵌入表示

公式如下：

其中，a_k表示第k层的权重矩阵,用于表示在第k层的嵌入构成中其他层嵌入的重要性，a_k为手动调整的参数或自动优化的模型参数；将a_k统一设置为1/(K+1)；

为用户、物品嵌入表示。

8.根据权利要求6或7所述的基于元学习图神经网络面向冷启动的推荐方法，其特征在于，利用序列编码层学习序列内物品的转移信息，结合注意力机制为用户生成动态的兴趣表示具体如下：

经过图嵌入层后用户u的交互序列表示为

以用户序列s_u作为输入，将每个物品v_q与其之前的物品按交互顺序生成交互物品对集

其中，每个交互序列中的第一个物品由于之前没有其他交互项，将第一个物品的交互物品对集定义为

每个物品对通过L层的神经网络获得两个物品间的映射关系，具体如下：

r^l＝ReLU(W^lr^l-1+b^l)；

其中，

表示向量m与向量n连接；v_i与v_q分别表示头实体和尾实体；L为神经网络层数，l∈{1,…,L-1}；W^l和b^l表示第l层的权重矩阵和偏置向量，

表示最终物品v_i与物品v_q的转移信息；v表示物品；q表示尾部实体；r表示拼接后的物品向量；r的上标表示层数；

由于每个物品对集中存在多个物品对，在为每个物品生成物品转移表示时，聚合所有的转换信息，公式如下：

在获得序列内每个物品的转换信息后，将序列间物品相关性信息与序列内物品间的转移信息相结合，生成最终的用户兴趣表示；

为了捕捉每个用户不断变化的兴趣，使用注意力网络为每个输入的隐状态生成一个权重，用该权重表示用户当前行为对最终偏好的影响，用户交互序列中最后一项对下一交互项起重要作用，故在生成注意力权重时考虑最后交互项v_n的影响，公式如下：

其中，

表示物品v_q在用户u的最终决策上的权重；W₂,W₃,W₄,b₂,b₂为多层感知网络的参数，

表示

的物品vq的影响权重；

考虑序列内物品顺序相关性和时间动态的用户兴趣被表示为：

在获得用户当前兴趣的表示后，采用经典的矩阵因式分解方法来推断用户对物品的偏好；

用户u对物品v_p的预测得分是用户兴趣I_u和物品嵌入

的内积，用户将与物品交互的概率被定义为预测分数：

利用贝叶斯个性化排名损失来学习参数，使用户观察到的交互项的概率估计高于其未观察到的物品，BPR损失函数定义为：

其中，T_i表示第i个任务的训练样本，即T_i＝{(u,v,v^-)|(u,v)∈R⁺,(u,v^-)∈R^-}；R⁺与用户交互的物品集合；R^-表示与用户没有交互历史的物品集合；θ表示可学习的参数；λ是L₂正则化参数，用于缓解过拟合问题；

利用元学习层将训练数据划分为支持集和查询集，在内循环中使用支持集优化序列编码层的参数，在外循环中使用查询集更新全部参数，在冷启动任务中采用若干次梯度下降的方式获取准确的推荐内容具体如下：

使用基于梯度的MAML方法优化图嵌入网络的全部参数θ_g和序列编码层的全部参数θ_t；

将训练任务分为内循环和外循环，内循环用于优化用户兴趣建模，外循环用于通过元学习层更新参数；

内循环使用支持集D_s训练，通过梯度下降更新序列编码层，参数更新为Θ'_t，公式如下：

外循环优化过程，使用查询集D_q来优化全部参数：

经过元学习层的训练阶段，得到用户、物品的良好初始嵌入和二部图构建层、图嵌入层、序列编码层及元学习层所需要的参数；

在元学习层的测试阶段，使用新用户数据对二部图构建层、图嵌入层、序列编码层及元学习层进行微调，快速的适用冷启动用户的推荐任务。

9.一种电子设备，其特征在于，包括：存储器和至少一个处理器；

其中，所述存储器上存储有计算机程序；

所述至少一个处理器执行所述存储器存储的计算机程序，使得所述至少一个处理器执行如权利要求6至8任一项所述的基于元学习图神经网络面向冷启动的推荐方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，所述计算机程序可被处理器执行以实现如权利要求6至8中任一项所述的基于元学习图神经网络面向冷启动的推荐方法。

Images