CN115438732A

CN115438732A - 面向冷启动用户基于分类偏好迁移的跨域推荐方法

Info

Publication number: CN115438732A
Application number: CN202211085488.3A
Authority: CN
Inventors: 刘小洋; 付晓杨
Original assignee: Chongqing University of Technology
Current assignee: Chongqing University of Technology
Priority date: 2022-09-06
Filing date: 2022-09-06
Publication date: 2022-12-06
Anticipated expiration: 2042-09-06
Also published as: CN115438732B

Abstract

本发明提出了一种面向冷启动用户基于分类偏好迁移的跨域推荐方法，包括以下步骤：S1，通过预训练分别学习用户和物品在源域的嵌入表示，以及用户和物品在目标域中的嵌入表示，并利用偏好编码器获得源域中用户的偏好表示；S2，通过无监督学习聚类算法将偏好相似的用户聚类到一个簇中，得到每一类用户的类别标签和质心；所述质心为该类型用户的一般偏好表示；S3，将一般偏好表示嵌入输入元网络，生成该类型用户的类别型桥函数，实现不同类型的用户使用不同的桥函数；S4，将冷启动用户所在源域的嵌入表示输入至类别型桥函数来获取目标域内的预测的嵌入表示。本发明能有效提高推荐的准确性和鲁棒性，且能避免过拟合的问题。

Description

面向冷启动用户基于分类偏好迁移的跨域推荐方法

技术领域

本发明涉及推荐技术领域，特别是涉及一种面向冷启动用户基于分类偏好迁移的跨域推荐方法。

背景技术

推荐***是缓解信息过载的方法之一，有效地实现了个性化的信息过滤，并已经被应用到Amazon、Netflix、YouTube等许多现实应用中。协同过滤(CF)是推荐***发展的一个重要里程碑，它通过用户和物品之间的显式交互(即评分)来学习用户-用户和物品-物品之间的相似性，并在用户偏好建模方面取得了巨大的成功。然而，基于CF的模型通常存在长期的用户/物品冷启动问题，即很难向没有交互历史的新用户推荐商品，并且由于新物品没有任何交互信息，导致新生产的商品无法准确地推荐给所需它的用户。总之，数据稀疏问题不利于为推荐学习有效表示。

为了缓解冷启动问题，跨域推荐(Cross-domain Recommendation,CDR)成为近年来的研究热点。其主要目的是通过迁移学习将源域的合适知识转化至目标域，解决目标域的冷启动问题。在此任务中，CDR要求通过源域和目标域中均存在的用户(即重叠用户)构建源域和目标域之间的映射关系。与重叠用户相比，只存在于源域而不存在于目标域的用户称为冷启动用户。CDR的目标是为目标域的冷启动用户提供较好的推荐。

为了有效地解决具有挑战性的冷启动问题，近年来CDR中一个很有前景的观点是通过学习映射函数来联系源域和目标域，从而将合适的知识从信息源域转移到目标域。这种新的想法是先由嵌入和映射(EMCDR)所产生的。图1(a)给出了EMCDR模型的说明。一般来说，EMCDR是指所有用户共享一个共同的桥函数，以实现从源域到目标域的知识迁移。该方法首先使用隐语义模型分别学习用户和物品在两个领域的嵌入表示，然后主要利用一些积极用户和热门物品来训练映射函数，得到用于做冷启动用户在目标域嵌入预测的桥函数。主要使用的隐语义模型包括MF和BPR，这是两种用的较多的基模型。最后，给定一个冷启动用户，将该用户在源域的嵌入表示喂入桥函数，得到其在目标域的初始嵌入表示。

然而，EMCDR仍然存在许多严重的问题。一方面，为所有用户共享一个共同的桥函数，不仅不能体现用户的个性化推荐，还会降低推荐的准确性，是一种过于粗粒度的处理方法。另一方面，仅使用部分活跃用户和热门物品来训练桥函数是不稳定的，并且忽略了另一大部分重要用户和物品，使得模型泛化能力较弱。在现实生活中，由于个体之间的差异，很难通过通用的桥函数来捕捉个人的真实兴趣，这将大大削弱CDR的性能。此外，只选择活跃用户和热门物品进行桥函数的训练，必然会导致一定的流行度偏差，从而降低用户体验。

为了缓解这一缺点，PTUPCDR提出为每个用户学习个性化的桥函数，从而弥补EMCDR的不足，并取得了较好的效果。然而，PTUPCDR的不足之处是，虽然它可以为每个用户学习个性化的桥函数，但它可能过于细粒度，会导致过拟合的问题。

因此，如何既能为目标域的冷启动用户提供较准确的推荐，又能保证提供良好的处理粒度从而避免过拟合问题，这是一个亟待解决的问题。

发明内容

本发明旨在至少解决现有技术中存在的技术问题，特别创新地提出了一种面向冷启动用户基于分类偏好迁移的跨域推荐方法。

为了实现本发明的上述目的，本发明提供了面向冷启动用户基于分类偏好迁移的跨域推荐方法，包括以下步骤：

S1，通过预训练分别学习用户和物品在源域的嵌入表示，以及用户和物品在目标域中的嵌入表示，并利用偏好编码器获得源域中用户的偏好表示；所述预训练采用MF。

S2，通过无监督学习聚类算法将偏好相似的用户聚类到一个簇中，得到每一类用户的类别标签和质心；所述质心为该类型用户的一般偏好表示；此步骤为偏好编码，用的注意力，注意力是MLP再加Softmax进行归一化。

S3，将一般偏好表示嵌入输入元网络，生成该类型用户的类别型桥函数，实现不同类型的用户使用不同的桥函数；利用元网络学习类别型桥函数的参数，从而可以快速学习并应用于不同类别的桥函数的预测。

元网络用的MLP，通过网络来学出类别型桥参数。

S4，将冷启动用户所在源域的嵌入表示输入至类别型桥函数来获取目标域内的预测的嵌入表示。由此完成以任务为导向的策略训练。

进一步地，所述利用偏好编码器获得源域中用户的偏好表示包括：

S1-1，给定一个用户在源域的交互序列

利用表示学习方法提取源域用户的整体偏好特征，并将其迁移至目标域去预测目标域冷启动用户的嵌入表示。

给定一个冷启动用户在源域中的历史交互序列，可以直观地看出序列中物品是具有不同的重要性。换句话说，每一项对用户偏好的表达都有不同的贡献。

将所述交互序列编码为表示源域用户偏好的单一表示。因此，我们在序列建模中加入注意机制，并采用加权和的形式作为整合操作：

其中

指的是经过偏好编码后的用户在源域的偏好表示；

f_Att(·)表示注意力机制函数；

表示用户在源域的交互序列；

a_j表示对于用户的整体偏好来讲物品

的注意力分数，该分数表示了在编码用户的偏好表示时此物品的重要性程度。

表示

的嵌入表示；

表示源域中任意一个物品；

S1-2，以用户在源域中与之交互的物品的嵌入表示序列作为注意力网络的输入，得到注意力分数作为注意力网络的输出；

所述注意力网络表示为：

其中，a′_j表示的是注意力网络的输出，为注意力分数；是一个标量，但还是一个原始注意力分数，最后还要进行归一化处理。

W₁、W₂是两个可学习的矩阵；

b为偏置向量；

ReLU()表示RELU激活函数；

表示

的嵌入表示；

S1-3，将所述注意力分数通过Softmax函数来进行归一化操作，得到最终的注意力分数，表达式如下：

a′_j表示的是注意力网络的输出，为注意力分数；

a_j表示最终的注意力分数，是一个标量；

表示源域交互序列中的某一个物品；

表示源域用户的历史交互序列；

a′_m表示训练集的类别标签通过MLP得到的注意力分数。所述MLP的隐藏层为两层。

因为通过归一化对于模型的性能提升是有帮助的，不会造成注意力分数有些过大，有些过小的现象。

进一步地，所述聚类包括：根据用户的偏好对用户进行聚类，得到每一类用户的类别标签和质心；

采用欧氏距离作为用户偏好相似度的度量，公式如下：

其中

表示用户i在源域的偏好向量表示；

表示用户j在源域的偏好向量表示；

dist_ed(·)为欧几里得函数；

d表示维度；

表示向量

中其中一个数值；

表示向量

中其中一个数值；

l表示标签向量；

C表示由聚类中心向量组成的矩阵；

l,C表示聚类函数得到的结果，包括标签向量以及标签向量对应的质心矩阵；

f_cluster(·)指的是聚类函数；

分别表示用户1在源域的偏好向量表示，用户2在源域的偏好向量表示，用户m在源域的偏好向量表示。

进一步地，所述聚类函数为k-means算法。

进一步地，所述元网络的结构为一个隐藏层为两层的MLP结构，表示如下：

其中h(·)指的是元网络；

θ是指元网络内的参数集合，所述参数集合包括权重矩阵和偏置向量；

c_i指的是以用户类别为l_i所对应的质心向量。

因此，所述类别型桥函数为：

其中

表示类别为l_i的类别型桥函数；

f(·)为线性函数；

表示类别为l_i的用户的参数向量。

MLP中有激活单元，采用ReLU()作为激活单元的激活函数，非线性激活效果更好，能更好拟合数据。

进一步地，所述S4包括：

对于一个冷启动用户

将其所在源域的嵌入表示输入至类别型桥函数来获取目标域内的预测的嵌入表示；所述冷启动用户是仅存在于源域的，而不存在于目标域。

冷启动用户在目标域的预测的嵌入表示为：

其中f(·)为线性函数；

表示类别为l_i的类别型桥函数；

指的是用户

在源域的嵌入表示；

指的是通过类别型桥函数变换得到该用户所在目标域的预测嵌入表示。

进一步地，还包括：通过如下损失函数优化全局参数：

其中

是全局参数；

指的是重叠用户在目标域的交互评分矩阵；

|·|表示绝对值；

r_ij表示冷启动用户所在目标域的真实评分值；

f(·)为线性函数；

表示用户

在源域的嵌入表示；

表示类别为l_i的用户的参数向量；

表示目标域内物品的嵌入表示。

表示

与

进行内积。

进一步地，还包括对训练结果进行测试：

对训练得到的全局参数得到桥函数，根据预测值和真实值进行RMSE、MAE的计算，得到测试结果；

所述预测值为：通过用户、物品信息得到的有标签的用户评分；

所述真实值为：实际的有标签的用户评分。

综上所述，由于采用了上述技术方案，本发明首先通过预训练分别获得源域和目标域的用户和物品的嵌入表示，然后使用聚类和元网络为每种类型的用户生成类别型桥函数，由此能有效提高推荐的准确性和鲁棒性，且能避免过拟合的问题。

采用面向任务的优化程序对模型进行训练，并直接以用户评分作为优化目标，替代一般的基于映射的方法。这样既避免了所学得的用户嵌入质量差的影响，又增加了训练样本。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1是模型示意图。

其中，图1中(a)是EMCDR模型示意图；

图1中(b)是本发明CDRCPT模型示意图。

图2是本发明CDRCPT模型的结构示意图。

图3是本发明场景2中不同测试(冷启动)用户比例下簇的个数的影响示意图。

图4是本发明在MF和GMF两种隐语义模型上分别应用CMF、EMCDR、PTUPCDR和CDRCPT进行泛化实验的结果。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。

本发明提出了一种基于分类偏好迁移的面向冷启动用户跨域推荐的新方法CDRCPT，如图2所示。该方法首先通过预训练分别学习源域和目标域对应的用户和物品的嵌入表示。然后，通过无监督学习聚类算法，将偏好相似的用户聚到一个簇中，簇中心表示为该类型用户的一般偏好表示。最后，通过元学习将该类的一般偏好嵌入输入到元网络中，生成该类型用户所对使用的类别型桥函数。最后，利用类别型桥函数，得到冷启动用户在目标域的初始化嵌入表示。

其中kmeans是聚类学习算法中的一种，而且我们采用的是Mini-Batch聚类，这里聚类不是使用所有的样本，而是每次都选取一个batchsize的sample进行聚类。

本发明的具体实施例如图1(b)所示：在刚开始时，四个用户在源域中观看的电影序列是不同的。通过聚类操作后，我们发现Mary和Angor的电影偏好是相似的，都喜欢情感系列电影，而Waylon和Johnny的电影偏好是相似，都喜欢动作系列电影，而之后在做迁移的时候便可以让同一类的用户去使用同一个桥函数。该实例从侧面说明了聚类对于CDR的效果可分为两方面，一方面，用户观看的电影顺序存在明显的异同。相似的用户倾向于观看相同系列的电影，这为用户喜好的聚类奠定了良好的基础。另一方面，可以通过聚类将偏好相似的用户聚成一个簇，并以簇中心作为这类用户的一般偏好表示，从而将协同过滤信号融入到类别型桥函数中。

注意到类别型桥函数的生成依赖于每种类型用户获得的簇中心的表示。实际上，生成的桥函数可以看作是学习元网络的参数的模型。

现实中，聚类程度的控制是一个复杂的问题，尤其是超参数的选择。不同的数据集对簇数的敏感性不同，高阶元网络也难以优化。聚类时通常用惯性系数和轮廓系数来衡量聚类程度。惯性系数越小或轮廓系数越大表示聚类程度越好。在模型优化方面，我们采用面向任务的优化过程，而不是大多数基于映射的方法。这是因为面向映射的优化过程对所学得用户嵌入表示的质量非常敏感，而在真实的推荐***中，很难为所有用户学得一个简洁而全面的嵌入表示。因此，我们采用面向任务的优化程序对元网络进行训练，并直接以用户评分作为优化目标。这种优化方法实际上类似于线性回归中的预测问题。

跨域推荐域中的这项工作属于单目标CDR，因此它有一个源域和一个目标域。其目的是利用源域合适的信息来增强目标域的推荐性能。每一个领域都拥有一个用户集

一个物品集和一个评分矩阵。

指的是用户u_i和物品v_j之间的交互评分，评分代表了用户对于物品的反馈。为了去区分这两个领域，我们使用

去指示源域内的用户集，物品集和评分矩阵，而使用

来表示目标域内的。对于这两个领域内的重叠用户，我们定义两个域内的重叠用户为

在这项工作中，源域和目标域之间的物品是没有关联的，这意味着重叠的用户将成为构建桥接功能的唯一枢纽。

在表示学习的背景下，为用户和物品构建一个完整、简洁的表示是至关重要的。一般情况下，将用户和物品转换为稠密向量，也称为嵌入或潜在因子，然后用户集或物品集分别形成对应的向量空间。在任何一个向量空间内，维度是相同的，以至于可以促进后续两个域内用户的嵌入表示的变换。在本工作中，我们分别将用户

和物品

的嵌入表示定义为

和

在这两个嵌入表示的空间内，d表示嵌入表示的维度，而domain∈{s,t}表示领域标签，该标签可以指定源域或目标域的用户，物品和评分矩阵。对于每一个来自源域的用户

的表示，我们将用户历史交互编码过后来形成一个用户在源域的嵌入表示。在源域内用户历史交互物品序列可表示为

在这个序列中t_n表示用户和物品在源域所产生交互的时间戳。其中

表示在时间戳为_t1时，源域内用户交互物品记录。

S1，对用户进行偏好编码

为了对用户偏好进行聚类并生成类别型桥函数，需要为每个用户生成一个全面而简洁的用户偏好表示。如前所述，用户偏好主要来源于用户的历史交互序列。由于冷启动用户在目标域中没有任何交互的物品，因此充分利用源域用户的偏好信息非常重要。

给定一个用户在源域的交互序列

利用表示学习方法可以提取源域用户的整体偏好特征，并将其迁移至目标域去预测目标域冷启动用户的嵌入表示。给定一个冷启动用户在源域中的历史交互序列，可以直观地看出序列中物品是具有不同的重要性。换句话说，每一项对用户偏好的表达都有不同的贡献；于是，我们将交互序列编码为表示源域用户偏好的单一表示。因此，我们在交互序列编码中加入注意机制，并采用加权和的形式作为整合操作：

其中f_Att(·)表示注意力机制函数，a_j表示对于用户的整体偏好来讲物品

指的是经过偏好编码后的用户在源域的偏好表示，

表示

的嵌入表示。接下来，我们利用注意网络来学习物品的注意力分数。注意力网络的输入是用户在源域中与之交互的物品的嵌入表示序列。在形式上，注意网络被定义为：

其中，a_j′表示的是注意力网络的输出，是一个标量，但还是一个原始注意力分数，最后还要进行归一化处理。

表示源域中任意的一个物品，

表示源域交互序列中的某一个物品；

是两个可学习的矩阵

指的是偏置向量。d表示的是特征嵌入的维度。注意力分数通过Softmax函数来进行归一化操作，该方法是遵循先前工作中的常用做法。我们利用ReLU()作为激活函数，并且通过实验证明结果是较好的。

S2，对用户进行聚类

我们已经提出在源领域中一些用户的偏好是相似的。这种直觉与物以类聚、人以群分的概念密切相关。学习每一类用户所使用的桥函数有助于缓解目标域的冷启动问题。一方面，通过聚类可以很好地将协同过滤信号融入到类别型桥函数的构造当中。另一方面，利用聚类可以实现构造出不同类型用户所使用的桥函数，实现不同类型的用户使用不同的桥函数。类别型桥函数具有更好的粒度并且功能非常灵活，可以根据用户的特点进行调整以实现更好的性能。基于上述思想，我们提出了根据用户的偏好对用户进行聚类，得到每一类用户的类别标签和质心，文中的质心即簇中心。特别地，我们采用欧氏距离作为用户偏好相似度的度量。聚类后返回的是簇中心(质心)和所对应的标签，聚类方法可以表示为：

其中

用于求任意两个用户偏好向量的相似度，偏好向量

偏好向量

偏好向量是由标量构成的，d表示维度，

表示用户i在源域的偏好向量表示，

表示用户j在源域的偏好向量表示，dist_ed(·)指的是欧几里得函数，它可以评估任意两个用户的偏好相似度。l＝{l₁,l₂,...,l_r}和C＝{c₁,c₂,...,c_r}分别指的是标签向量(类别)和由聚类中心向量组成的矩阵，r表示共有r个类别，在聚类后有r类，对应有r个类别型桥函数。

表示在训练时主要对重叠用户中源域用户的偏好进行聚类。

特别地，一类类别为l_i的用户所对应的质心向量为c_i，它也指的是该类用户的统一嵌入表示。f_cluster(·)指的是聚类函数。在本工作中，我们利用快速且有效的k-means算法作为聚类函数，除此之外，还可以采用进阶式高斯聚类、K中心法、CLARANS算法。DIANA算法、BIRCH算法等作为聚类函数。k-means算法仅拥有一个超参数k，其将会在实验部分进行详细讨论。

S3，将偏好表示嵌入输入元网络

显然，源域和目标领域中的用户偏好是类似的。在获得源域用户得偏好后，可以构造桥函数来生成目标域用户的预测偏好嵌入。偏好关系和用户特征之间是存在联系的。基于这种直觉，我们利用元网络来构造类别型桥函数。通过将用户类型的一般偏好表示输入到元网络后，可以生成一个类别型桥函数。此功能可用于源域和目标域的映射。提出的元网络是一个隐藏层为两层的MLP结构，表示如下：

其中h(·)指的是元网络，它是一个两层的MLP。θ是指元网络内的参数集合，主要包含了权重矩阵和偏置向量。c_i指的是以用户类别为l_i所对应的质心向量。因此，我们可以将c_i输入元网络来得到输出

作为类别为l_i的一类用户所共享的参数向量。然后，我们可以得到类别型桥函数：

其中

表示类别为l_i的类别型桥函数，f(·)利用了一个简单的线性层，它是遵循EMCDR。

是在类别型桥函数构造中的一个关键参数。对于一个冷启动用户

我们可以将其所在源域的嵌入表示输入至类别型桥函数来获取目标域内的预测的嵌入表示。冷启动用户在目标域的预测的嵌入表示为：

其中

指的是用户

在源域的嵌入表示，而

指的是通过类别型桥函数变换得到该用户所在目标域的预测嵌入表示。因此，

可以用来和目标域内的物品通过内积的形式做评分预测。CDRCPT的整体结构如图2所示。

S4，以任务为导向的训练

为了提高CDR的性能和增加训练样本，我们采用以任务为导向的训练策略对目标函数进行训练。而以往利用基于映射的方法训练目标函数的工作，由于训练数据较少，重叠用户在目标域的交互有限，难免会产生一定的偏差。此外，对于目标域的冷启动用户，学习合理的嵌入表示具有挑战性，相对不合理的嵌入表示会对模型产生负面影响。

因此，我们采用以任务为导向的策略训练元网络。换句话说，训练范式的最终目标是根据用户的评分对模型的各种参数进行优化。从本质上讲，该策略是一种线性回归任务，利用最终预测评级与地面真实值之间的误差优化模型参数。这种面向任务的优化策略表述为：

其中

是优化函数的参数集，并且该训练过程利用反向传播算法来更新权重矩阵和偏置向量。

指的是重叠用户在目标域的交互评分矩阵，|·|表示绝对值。r_ij指的是对于一个测试冷启动用户其所在目标域的真实评分值。

指的是目标域内的物品，

是目标域内物品的嵌入表示。

从优化函数中可以发现，使用面向任务的优化程序可以有效的避免不合理的用户的嵌入表示所带来的影响。而且，他可以在很大程度上增加训练样本的数量。一个简单的假设可以证明以上结论，假如重叠用户的数量为N并且采用基于映射的方法，之后则仅有N个样本，并且这N个样本需要被划分为训练集和测试集。由于基于映射的优化程序中数据样本少且有需要被划分，这就会导致训练样本不足的问题。然而，如果采用以面向任务的优化程序，则数据样本是用户所在目标域的所有评分，而不仅仅只是用户的嵌入表示。假设重叠用户为N，目标域的物品数量为M，那么将近N×M的评分样本将会用于模型的训练和测试。因此，以任务为导向的训练策略可以在一定程度上提升模型的性能，并且增加模型所需要的训练和测试集的样本数量，从而可避免过拟合问题。

实验和分析

我们通过实验来回答以下研究问题：RQ1为什么要引入CDR？在冷启动场景下，CDRCPT与其他车型相比如何？RQ2讨论聚类数k对CDRCPT的影响。RQ3为什么CDRCPT性能更好？CDRCPT泛化能力如何？

表1：跨域场景下的数据

其中Overlap指的是重叠用户的数量，Ratio指的是重叠用户的百分比。

1实验设置

数据集在之前的一些工作之后，我们使用的数据集是著名的大型公开Amazon数据集。在数据预处理中，我们使用与前面的工作中相同的划分方法来构建本工作的跨域推荐数据集。具体来说，与之前的大多数所使用的跨域数据不同，我们使用了最新发布的2018年亚马逊推荐数据集，并在其上进行了各种实验。数据集是经过整理后的数据，主要包括24个互不连通的域数据集。每个域数据集包含用户ID、物品ID、评分等相关信息，而在数据预处理中，只过滤用户ID、物品ID和评分来构建我们的跨域训练集和测试集。本工作主要选取两个真实的CDR数据集：Scenario1：Music-Movie和Scenrio2：Game-Video。分别以Music和Game为源域，Movie和Video为相应的目标域。CDR场景数据集在源域中的数据量通常比目标域多。由于该工作属于非对称CDR，其目标是仅利用源域的丰富信息来获得目标域的用户偏好，并将目标域的物品推荐给仅在源域有交互的冷启动用户。我们分别从用户集和物品集过滤具有5个以上交互的用户和具有10个以上交互的物品。对于数据集的划分，我们使用不同的比例来构建训练集和测试集，β表示测试集的比例，其值分别选择了20％、30％、50％和80％。该值还表示冷启动用户在总数据样本中的百分比。表1呈现了CDR场景中的具体数据。

评价指标由于本工作采用的是以任务为导向的训练过程，这个过程也是线性回归的一种形式。在之前的工作的基础上，我们使用预测评分与真实值之间的误差来评估CDRCPT的性能。在本研究中，我们使用RMSE(均方根误差)和MAE(平均绝对误差)，这是两个有效的误差评估指标。

基线模型在基线的选择上，选择了单域和跨域两种类型的基线模型。通过选择单域和跨域推荐模型，可以很好地比较单域和跨域推荐模型的差异。由于该工作属于非对称跨域推荐，也是通过构建桥函数实现源域和目标域知识转移的一种方式，因此CDR基线主要选择了非对称和基于桥函数的模型。因此，我们主要选择以下基线与CDRCPT进行比较：1)TGT为单目标域推荐，只利用目标域的数据训练模型。2)CMF表示用户的嵌入在这两个域中是共享的。3)EMCDR是一个基于嵌入和映射的CDR模型。它首先利用潜在因子模型学习用户和物品的嵌入，然后构建一个所有用户共享的桥梁函数。4)PTUPCDR是最新的方法，属于非对称和基于桥函数的模型，它利用元网络学习每个用户源域和目标域之间的桥接函数，实现个性化的偏好迁移。

实现细节在我们的模型和基线模型中，Pytorch框架被用于开发设计。我们主要使用MF基模型来预训练得到用户和物品在源域的嵌入表示，而另一个选择的GMF模型主要用于模型泛化实验。对于每个场景和模型，我们使用一个固定的随机种子来划分数据和训练模型。在这项工作中使用的随机种子是10。我们采用Adam对学习率、权重衰减等内部参数进行优化。通过在{0.001,0.005,0.01,0.02,0.1}内的网格搜索优化学习率。此外，我们将除聚类外的所有模块的嵌入维度设置为10，小批处理设置为256。在聚类方面，我们采用快速且高效的k-means算法来聚类用户偏好，并根据数据的特点选择合理的mini-batch。为了满足模型的性能和效率，聚类的批量输入大小一般选择5000或10000。超参数的选取是通过连续的试验得到的较合适的值，这同时取决于数据的分布特点和批量的大小设置。元网络的隐藏层单元数为2×d，其输出形状为d×d。

表2：两个跨域场景下的冷启动实验结果

其中RMSE、MAE分别表示均方根误差和平均绝对误差，最好的结果使用加粗体来表示。β表示测试(冷启动)用户的比例。

在用户偏好编码器的设计中，我们采用了注意力机制来构造偏好编码器。注意机制是一个强大的工具，它将用户在源域中与之交互的物品集成为单个表示中，本研究选择的物品序列长度为20。注意机制利用带有隐藏单元的双层MLP来学习注意力分数。在用户偏好聚类方面，分别设置不同的小批量大小和训练模型，并从大量的实验中选择更合理的模型。为了控制聚类的程度，我们采用两个常用的评价系数，即惯性系数和轮廓系数来衡量聚类的效果。一般来说，聚类程度越好，惯性系数越低，轮廓系数越高，反之亦然。在冷启动实验中，采用不同的测试用户比例来评估模型的性能。在选择簇的个数的实验中，我们主要采用场景2进行测试，并根据不同测试集的比例β详细分析需要选择的簇的个数。对于每个场景，我们在最佳簇的个数下讨论结果。

2冷启动实验(RQ1)

本节主要对提出的CDRCPT在冷启动场景下的实验结果进行详细分析，并解释CDR优于单域推荐的原因。由于CDR的产生主要是为了解决冷启动问题，我们参照先前的工作，对CDR在冷启动场景下的性能进行了评估。我们通过冷启动实验验证了CDRCPT在不同环境下的有效性，并在两个真实的跨域数据集上获得了最佳结果。冷启动实验结果如表2所示，其中最优实验结果以粗体显示，β表示测试(冷启动)用户占总重叠用户的比例。通过实验数据，我们可以得出以下结论：(1)TGT是一种直接利用目标域信息训练模型的单域推荐模型，其结果与理想效果相差甚远。TGT实验结果不佳的原因可能是目标域数据稀疏，获取的用户信息很少，不能很好地为用户建模。对比CDR，可以看出利用源域知识增强目标域信息是可以提升目标域的推荐性能的。(2)CMF是MF的扩展，直接将源域和目标域的用户信息集成为两个域共享的嵌入表示。该方法不使用桥接函数来连接这两个域，也即在获取用户的嵌入表示时不考虑两个域之间的差异，这可能就是CMF效果不好的原因。而基于桥函数的CDR模型考虑了用户嵌入在两个域之间的差异性。(3)EMCDR和PTUPCDR是基于构建桥函数的跨域模型。EMCDR是指所有用户共享一个桥梁功能，实现从源域到目标域的信息传递，而PTUPCDR则以元学习的方式为每个用户构建个性化的桥梁功能，实现个性化推荐。两种模型在冷启动实验中均取得了较好的效果。然而，这两种基于桥接函数的跨域模型虽然在一定程度上取得了较好的效果，但仍存在一些不足之处。EMCDR允许所有用户共享一个桥连接功能，这不仅降低了推荐性能，而且是一种粗粒度的处理方法。在构建桥接函数方面，PTUPCDR在一定程度上极大地弥补了EMCDR的粗粒度方法，但为每个用户构建桥接函数可能会导致过拟合问题，并且更容易受到噪声和流行偏差的影响。换句话说，PTUPCDR可能是一种粒度太细的处理方法，冷启动实验表明，在某些场景下，PTUPCDR存在过拟合问题。(4)在分析EMCDR和PTUPCDR的基础上，提出了介于EMCDR和PTUPCDR之间的CDRCPT，是一种较好的粒度处理方法。我们的模型采用聚类的思想，根据用户的偏好对其进行聚类，然后利用元学习的方式生成对应于某类用户的类别型桥函数，实现了某类用户具有相似偏好的使用同一个桥函数。实验表明，CDRCPT在冷启动实验中取得了良好的效果。

3关于簇的个数的讨论(RQ2)

本部分主要讨论在集群中选择的集群数量。由于簇的个数的选取对模型的性能有一定的影响，我们对簇的个数进行研究实验来回答RQ2。我们利用无监督学***缓，说明CDRCPT具有稳健性。以上结果表明，通过聚类可以很好地构建一类偏好相似的用户所使用的类别型桥函数，并将协同过滤信号很好地融合到桥函数的构建中。

4泛化能力和相关提升的讨论(RQ3)

在这一部分，我们针对不同的基础模型进行简单的泛化实验，并对CDRCPT对CDR的提升进行了分析。

4.1泛化实验：需要注意的是，本工作中冷启动实验主要使用的是简单的基础模型MF，并没有试图确定其他基础模型是否会对我们的模型产生影响。在CDR模型的设计过程中，更多关注的是如何在两个域之间建立桥梁，从而更好地将合适的信息从源域迁移至目标域。本部分所采用的泛化实验是为了验证更改基模型是否会对模型性能产生较大影响。我们在CDR场景2中进行了一个简单的泛化实验。在泛化实验中，采用了更复杂的GMF作为基模型。在点积预测函数中，GMF对不同的维度赋予不同的权重，可归为普通MF的泛化。具体而言，利用GMF进行场景2的泛化实验，其他所有控制变量与冷启动实验一致。结果如图4所示，图4展示了在MF和GMF两种基本模型上分别应用CMF、EMCDR、PTUPCDR和CDRCPT进行泛化实验，展示了最好的结果。通过泛化实验，可以发现CDRCPT在替换基模型后仍然可以有很好的表现，优于其他三个模型，从而证明CDRCPT在替换其他基模型时仍然具有较好的性能和鲁棒性。

4.2关于提升的解释：通过理论和实验分析，分别验证了CDRCPT方法的有效性和泛化能力，并对聚类中需要选取的簇的个数进行了详细讨论。我们相信CDRCPT可以获得更好的性能，原因如下。首先是聚类方法的效果，通过聚类将偏好相似的用户分聚成一个簇，利用聚类中心即该类用户的一般偏好嵌入来构建类别型桥函数，使偏好相似的用户共享一个共同的桥函数，将协同过滤信号合并到类别型桥函数中。其次，CDRCPT具有更好的处理粒度。最后，我们的模型在训练过程中采用任务导向策略。该策略使模型直接以用户评分为目标，不同于基于映射的方法针对目标域冷启动用户预测嵌入的准确性。面向任务的训练不仅利用了线性回归的思想，而且在一定程度上为模型增加了大量的训练样本。

综上所述，本发明专利主要研究CDR中的非对称类型，旨在将用户偏好从源域转移到目标域，解决目标域的冷启动问题。现有的大多数方法都是让所有用户共享一个共同的桥接函数来完成偏好迁移，但这种方法会导致推荐准确度的显著降低。为此，我们提出了一种基于分类偏好迁移(CDRCPT)的跨域推荐算法。本发明专利的方法的目的是利用聚类和元学习构建偏好相似的每一类用户所使用的类别型桥函数，实现不同类型的用户使用不同的桥。利用类别型桥函数实现用户偏好从源域至目标域的迁移，同时无监督聚类将协同过滤信号融合到分类桥函数中。

为了验证CDRCPT方法的有效性和鲁棒性，我们在两个跨域场景下使用Amazonreview数据集进行了大量的实验，并通过泛化实验验证了该方法的泛化能力。此外，我们还对聚类个数这一超参数进行了进一步的分析和讨论。实验验证了CDRCPT的有效性和泛化能力，并对聚类中的超参数进行了详细的讨论。未来，我们将进一步研究如何缓解由于各个领域的独立预训练而导致的领域特定因素导致的偏置表示，并尝试将该方法扩展到多领域推荐。

尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。