CN111311324A - 基于稳定神经协同过滤的用户-商品偏好预测***和方法 - Google Patents

基于稳定神经协同过滤的用户-商品偏好预测***和方法 Download PDF

Info

Publication number
CN111311324A
CN111311324A CN202010098124.3A CN202010098124A CN111311324A CN 111311324 A CN111311324 A CN 111311324A CN 202010098124 A CN202010098124 A CN 202010098124A CN 111311324 A CN111311324 A CN 111311324A
Authority
CN
China
Prior art keywords
user
commodity
model
representing
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010098124.3A
Other languages
English (en)
Other versions
CN111311324B (zh
Inventor
王庆先
张枭
陈彪
马康康
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN202010098124.3A priority Critical patent/CN111311324B/zh
Publication of CN111311324A publication Critical patent/CN111311324A/zh
Application granted granted Critical
Publication of CN111311324B publication Critical patent/CN111311324B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0201—Market modelling; Market analysis; Collecting market data
    • G06Q30/0202—Market predictions or forecasting for commercial activities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0631—Item recommendations

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • General Physics & Mathematics (AREA)
  • Strategic Management (AREA)
  • Development Economics (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Business, Economics & Management (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Game Theory and Decision Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Financial Or Insurance-Related Operations Such As Payment And Settlement (AREA)

Abstract

本发明提供了基于稳定神经协同过滤的用户‑商品偏好预测***，包括数据预处理模块、与数据预处理模块连接的数据存储模块、分别与数据存储模块连接的参数控制模块、数据输出模块和预测结果生成模块，以及与参数控制模块连接的模型训练模块，预测结果生成模块分别与参数控制模块以及模型训练模块连接。基于上述***，本发明还提供了基于稳定神经协同过滤的用户‑商品偏好预测方法。本发明旨在利用噪声模拟用户恶意攻击时的数据波动，通过引入指导模型辅助训练，对已知用户‑商品评分数据的内在统计规律进行分析，从而提供稳定准确的用户‑商品评分预测结果，为用户提供个性化、安全、可靠的金融产品推荐服务。

Description

基于稳定神经协同过滤的用户-商品偏好预测***和方法
技术领域
本发明涉及计算机数据处理技术领域，尤其设计基于稳定神经协同过滤的用户-商品偏好预测***和方法。
背景技术
市面上金融理财产品种类繁多，用户淹没在诸多的选择中，无法找到满意的适合自己的金融产品，因此针对用户个人条件和喜好进行定制化的推荐就显得十分必要，现代电子商务中的推荐***很好地解决了这一问题。在金融产品平台中，通过用户对商品的评分形成庞大的用户-商品评分矩阵，并利用评分高低来预测用户对商品的青睐程度。由于***中用户数量巨大并且商品丰富繁多，一般而言，用户-商品评分矩阵是极为稀疏的高维度矩阵，因为每个用户不可能对所有的商品一一评分。
根据在电子商务平台的历史评分，我们可以了解分析用户对商品的偏好规律，在此基础上建立有效的用户-商品偏好的预测模型。并通过用户对商品评分的仿真环境来模拟真实环境，从而为定制化的个人金融产品的推荐策略提供重要的科学依据。目前，已经有很多关于用户-商品偏好的预测方法。矩阵分解模型是推荐***中最成功的方法之一，通过将用户和商品映射到隐特征空间，然后计算用户和商品的潜在交互来预测新的评分，随后由于深度学习算法在表征数据本质方面的优秀能力，基于深度神经网络的协同过滤方法在学习用户和商品的隐藏表示方面所取得了很好的效果。然而，由于推荐***的开放性，近年来的诸多研究表明，基于因子分解的方法容易受到恶意用户攻击，通过对协同过滤算法及其参数的了解，例如，攻击者知道推荐***的体系结构或合法的用户数据就可以很容易地对该***进行攻击，降低推荐***的性能和稳定性。攻击者一方面生成恶意的用户数据，以降低***的性能，另一方面，他们又将自己的行为保持在正常用户附近，以避免被发现，这就导致原有的推荐算法完全无法处理来自用户的恶意攻击。由于金融行业的特殊性，对模型的稳定性和预测准确度都有较高的要求。因此，上述方法在实际应用于金融产品相关的电子商务***中时存在很大弊端和隐患。
发明内容
针对现有技术中的上述不足，本发明提供的基于稳定神经协同过滤的用户-商品偏好预测***及方法，能够根据用户-商品的交互记录实现：构建符合金融市场环境的推荐***，面对来自恶意用户的攻击时仍保持稳定；针对不同用户定制化的精准的金融产品预测和推荐。
为了达到以上目的，本发明采用的技术方案为：
本方案提供基于稳定神经协同过滤的用户-商品偏好预测***，包括数据预处理模块、与所述数据预处理模块连接的数据存储模块、分别与所述数据存储模块连接的参数控制模块、数据输出模块和预测结果生成模块，以及与所述参数控制模块连接的模型训练模块，所述预测结果生成模块分别与参数控制模块以及模型训练模块连接；
所述数据预处理模块，用于获取用户-商品评分数据，并对用户-商品评分数据进行预处理，并将预处理后的用户-商品评分数据输入至所述数据存储模块中；
所述数据存储模块，用于存储预处理过的用户-商品评分数据、用户-商品偏好预测模型的参数以及生成的预测评分数据；
所述模型训练模块，用于根据预处理后的用户-商品评分数据，构建和训练基于稳定神经协同过滤的用户-商品偏好预测模型；
所述参数控制模块，用于初始化用户-商品偏好预测模型的参数，同时控制参数和用户-商品偏好预测模型的训练过程；
所述预测结果生成模块，用于根据用户-商品偏好预测模型，利用用户和商品的隐特征向量生成未知的用户-商品预测评分数据，并将生成的预测评分数据存入至所述数据存储模块中；
所述数据输出模块，用于输出用户和商品的隐特征表示以及未知的用户-商品预测评分数据。
进一步地，所述模型训练模块包括指导模型训练单元、指导信息生成单元以及神经网络训练单元；
所述指导模型训练单元，用于根据预处理后的用户-商品评分数据，训练作为指导模型且不包含噪声的非负矩阵分解模型；
所述指导信息生成单元，用于根据所述非负矩阵分解模型生成指导信息；
所述神经网络训练单元，用于根据生成的指导信息，构建和训练基于稳定神经协同过滤的用户-商品偏好预测模型，其中：
所述用户-商品偏好预测模型包括依次连接的向量化层、噪声层、多层感知器层和全连接输出层。
再进一步地，所述参数控制模块包括初始化单元和参数控制单元；
所述初始化单元，用于初始化用户-商品偏好预测模型的参数；
所述参数控制单元，用于向所述预测结果生成模块传递参数，以及控制用户-商品偏好预测模型的训练过程。
再进一步地，所述预测结果生成模块包括参数接收单元和预测结果生成单元；
所述参数接收单元，用于接收由参数控制模块传递的参数；
所述预测结果生成单元，用于利用用户和商品的隐特征向量对未知的用户-商品评分做出预测。
基于上述***，本发明还公开了基于稳定神经协同过滤的用户-商品偏好预测方法，、包括以下步骤：
S1、获取用户-商品评分数据；
S2、对所述用户-商品评分数据进行预处理，并将预处理后的用户-商品评分数据进行存储；
S3、根据预处理后的用户-商品评分数据，训练作为指导模型且不包含噪声的非负矩阵分解模型；
S4、利用所述非负矩阵分解模型生成指导信息；
S5、根据所述指导信息，构建和训练包含噪声层的基于稳定神经协同过滤的用户-商品偏好预测模型；
S6、根据用户和商品的隐特征向量，利用所述用户-商品偏好预测模型生成未知的用户-商品预测评分，并对所述用户-商品预测评分进行存储；
S7、输出用户和商品的隐特征表示以及未知的用户-商品预测评分，从而完成对用户-商品偏好的预测。
进一步地，所述步骤S3包括以下步骤：
S301、初始化参数；
S302、根据预处理后的用户-商品评分数据，构建目标函数；
S303、根据所述目标函数，利用梯度下降法对用户和商品的隐特征矩阵进行训练，从而完成对作为指导模型且不包含噪声的非负矩阵分解模型的训练，所述目标函数RSER(A)的表达式如下：
Figure BDA0002385906350000051
Figure BDA0002385906350000052
Figure BDA0002385906350000053
其中，R(A)表示用户-商品评分矩阵R中用户对商品已知评分数据集合，ru,i表示用户u对商品i的评分，pu表示用户隐特征矩阵P中第u个用户对应的隐特征，qi表示金融产品隐特征矩阵Q中第i个商品对应的隐特征,λp和λQ均表示正则化因子分别作用于用户和商品的隐特征矩阵P和Q，F表示范数，
Figure BDA0002385906350000054
表示由模型计算的用户u对商品i的预测评分，Iu,Ui分别表示用户u交互过的商品的集合和与商品i有过交互的用户的集合。
再进一步地，所述步骤S4中指导信息h的表达式如下：
h＝emb(pu,qi,θG)
其中，pu表示用户隐特征矩阵P中第u个用户对应的隐特征，qi表示金融产品隐特征矩阵Q中第i个商品对应的隐特征，θG表示向量化的参数，emb(·)表示向量化操作。
再进一步地，所述步骤S5包括如下步骤：
S501、初始化参数，并构建包含噪声层的基于稳定神经协同过滤的用户-商品偏好预测模型；
S502、将用户和商品的ID以及边信息依次输入至用户-商品偏好预测模型的向量化层和噪声层，得到用户和商品的隐特征向量，所述用户和商品的隐特征向量π(pu,qi)的表达式如下：
Figure BDA0002385906350000061
其中，∈为均值为0方差为δ的高斯噪声,N(·)表示高斯分布，pu表示用户隐特征矩阵P中第u个用户对应的隐特征，qi表示金融产品隐特征矩阵Q中第i个商品对应的隐特征，emb(·)表示向量化操作，
Figure BDA0002385906350000062
表示用户u的id，
Figure BDA0002385906350000063
表示用户u的特征，
Figure BDA0002385906350000064
表示商品i的id，
Figure BDA0002385906350000065
表示商品i的特征；
S503、以所述指导信息为目标，对所述用户和商品的隐特征向量进行特征提取训练，所述特征提取训练L(θG，θr)的表达式如下：
Figure BDA0002385906350000066
其中,h表示生成的指导信息，emb(·)表示向量化操作，σ(·)表示激活函数，b表示偏执参数，θr为矩阵分解模型和神经网络中隐特征空间维度不同时的映射向量，pu表示用户隐特征矩阵P中第u个用户对应的隐特征，qi表示金融产品隐特征矩阵Q中第i个商品对应的隐特征，θG表示向量化的参数,ru,i表示用户u对商品i的评分，θ表示用户和商品隐特征向量的参数；
S504、将经特征提取训练后的用户和商品的隐特征向量，依次输入至用户-商品偏好预测模型的多层感知器和全连接输出层，并利用随机梯度下降法在目标函数上对神经网络进行训练，从而完成对包含噪声层的基于稳定神经协同过滤的用户-商品偏好预测模型的训练。
再进一步地，所述步骤S6中生成未知的用户-商品预测评分f(pu,qi)的表达式如下：
f(pu,qi)＝φout(φX(...φ2(φ1(π(pu,qi)))...))
其中，φout表示多层神经网络中输出层网络的非线性变换，φX表示多层神经网络中第X层网络的非线性变换，φ2表示多层神经网络中第二层神经网络的非线性变换，φ1表示多层神经网络中第一层神经网络的非线性变换，pu表示用户隐特征矩阵P中第u个用户对应的隐特征，qi表示金融产品隐特征矩阵Q中第i个商品对应的隐特征。
本发明的有益效果：
(1)本发明提供了基于稳定神经协同过滤的用户-商品偏好预测***和方法，旨在利用噪声模拟用户恶意攻击时的数据波动，通过引入指导模型辅助训练，对已知用户-商品评分数据的内在统计规律进行分析，从而提供稳定准确的用户-商品评分预测结果，为用户提供个性化、安全、可靠的金融产品推荐服务。本发明通过以上设计实现了：构建符合金融市场环境的推荐***，面对来自恶意用户的攻击时仍保持稳定；针对不同用户定制化的精准的金融产品预测和推荐；
(2)本发明通过在神经协同过滤模型中加入噪声层，增加了模型的鲁棒性，面对恶意用户的攻击时表现出更好的稳定性，并且通过先训练无噪声的指导模型，然后利用其生成的指导信息训练包含噪声的网络的阶段性训练过程，在提高模型稳定性的同时又保证了模型的预测精度，可广泛用于提供个性化服务的电子商务平台。
附图说明
图1为本发明的***结构图。
图2为本发明的方法流程图。
图3为应用本发明前和应用本发明后针对***恶意攻击成功率的示意图。
图4为应用本发明前后数据分析过程中RMSE对比图。
具体实施方式
下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。
实施例
如图1所示，本发明提供了基于稳定神经协同过滤的用户-商品偏好预测***，包括数据预处理模块、与数据预处理模块连接的数据存储模块、分别与数据存储模块连接的参数控制模块、数据输出模块和预测结果生成模块，以及与参数控制模块连接的模型训练模块，预测结果生成模块分别与参数控制模块以及模型训练模块连接；
数据预处理模块，用于获取用户-商品评分数据，并对用户-商品评分数据进行预处理，并将预处理后的用户-商品评分数据输入至数据存储模块中；
数据存储模块，用于存储预处理过的用户-商品评分数据、用户-商品偏好预测模型的参数以及生成的预测评分数据；
模型训练模块，用于根据预处理后的用户-商品评分数据，构建和训练基于稳定神经协同过滤的用户-商品偏好预测模型；模型训练模块包括指导模型训练单元、指导信息生成单元以及神经网络训练单元；
指导模型训练单元，用于根据预处理后的用户-商品评分数据，训练作为指导模型且不包含噪声的非负矩阵分解模型；
指导信息生成单元，用于根据非负矩阵分解模型生成指导信息；
神经网络训练单元，用于根据生成的指导信息，构建和训练基于稳定神经协同过滤的用户-商品偏好预测模型，其中：
用户-商品偏好预测模型包括依次连接的向量化层、噪声层、多层感知器层和全连接输出层；
参数控制模块，用于初始化用户-商品偏好预测模型的参数，同时控制参数和用户-商品偏好预测模型的训练过程；参数控制模块包括初始化单元和参数控制单元；
初始化单元，用于初始化用户-商品偏好预测模型的参数；
参数控制单元，用于向预测结果生成模块传递参数，以及控制用户-商品偏好预测模型的训练过程；
预测结果生成模块，用于根据用户-商品偏好预测模型，利用用户和商品的隐特征向量生成未知的用户-商品预测评分数据，并将生成的用户-商品预测评分数据存入至数据存储模块中；预测结果生成模块包括参数接收单元和预测结果生成单元；
参数接收单元，用于接收由参数控制模块传递的参数；
预测结果生成单元，用于利用用户和商品的隐特征向量对未知的用户-商品评分做出预测；
数据输出模块，用于输出用户和商品的隐特征表示以及未知的用户-商品预测评分数据。
如图2所示，基于上述***，本发明还公开了基于稳定神经协同过滤的用户-商品偏好预测方法，包括以下步骤：
S1、获取用户-商品评分数据；
本实施例中，用户-商品评分数据是指，通过用户在金融产品平台上对商品实际的挑选后对商品的评分数据。
S2、对用户-商品评分数据进行预处理，并将预处理后的用户-商品评分数据进行存储；
本实施例中，采用一个数组来表示用户和商品的评分关系，矩阵中元素所在行代表用户号，元素所在列代表商品号，用户集合记为U，商品集合记为I，根据服务器采集用户对商品的评分数据，建立一个|U|行、|I|列的矩阵作为用户-商品评分矩阵R，对矩阵中每一个矩阵元素，元素所在行代表用户号，元素所在列代表商品号，将评分矩阵R存入数据存储模块。
S3、根据预处理后的用户-商品评分数据，训练作为指导模型且不包含噪声的非负矩阵分解模型，其实现方法如下：
S301、初始化参数；
本实施例中，初始化模型参数，初始化用户和商品的隐特征矩阵P和Q以及隐特征空间d维，其中，P是一个|U|行，d列的矩阵，P中的每一个行向量对应一个用户，是该用户的隐特征向量，Q是一个|I|行，d列的矩阵，Q中的每一个行向量对应于一个商品，是该商品的隐特征向量，分别使用随机较小的正数进行初始化，d为用户隐含特征空间和商品隐含特征空间的维数,初始化为正整数；初始化正则化因子λP和λQ，分别作用于用户和商品的隐特征矩阵P和Q，初始化为较小的正数；初始化最大迭代轮数T，作为控制训练次数上限的变量，初始化为较大的正整数；初始化收敛终止阈值s，s是判断训练是否结束的参数，初始化为极小的正数。
S302、根据预处理后的用户-商品评分数据，构建目标函数；
本实施例中，训练不包含噪声的参考模型，为后续的神经网络训练提供指导参数。公式如下：
Figure BDA0002385906350000101
其中，R(A)表示用户-商品评分矩阵R中用户对商品已知评分数据集合，ru,i表示用户u对商品i的评分，pu表示用户隐特征矩阵P中第u个用户对应的隐特征，qi表示金融产品隐特征矩阵Q中第i个商品对应的隐特征,λp和λQ均表示正则化因子分别作用于用户和商品的隐特征矩阵P和Q，F表示范数，
Figure BDA0002385906350000111
表示由模型计算的用户u对商品i的预测评分，Iu,Ui分别表示用户u交互过的商品的集合和与商品i有过交互的用户的集合；
模型训练时根据已知的评分数据，按照如下更新公式：
Figure BDA0002385906350000112
Figure BDA0002385906350000113
其中，pu表示用户隐特征矩阵P中第u个用户对应的隐特征，qi表示金融产品隐特征矩阵Q中第i个商品对应的隐特征，θG表示向量化的参数,ru,i表示用户u对商品i的评分,λp和λQ均表示正则化因子分别作用于用户和商品的隐特征矩阵P和Q。
S303、根据目标函数，利用梯度下降法对用户和商品的隐特征矩阵进行训练，从而完成对作为指导模型且不包含噪声的非负矩阵分解模型的训练；
S4、利用所述非负矩阵分解模型生成指导信息；
本实施例中，常见的矩阵分解模型在面对用户的恶意攻击时无法保持稳定性，导致准确度下降。常见的攻击是通过扰动用户和商品特征矩阵来降低推荐算法的预测准确度：
Figure BDA0002385906350000114
本发明基于稳定神经协同过滤的用户-商品偏好的预测模型为了预防恶意攻击，提高算法在面对扰动时的稳定性，在用户和商品的向量化层之后加入了噪声层，来模拟恶意攻击时对特征向量的扰动，然后通过优化这个包含噪声的网络来得到最终的稳定模型。同时因为加入了噪声，可能会影响到模型的隐特征提取，所以利用提前训练好的矩阵分解模型作为指导，利用其在无噪声环境下训练好的隐特征来辅助训练，生成指导信息：
h＝emb(pu,qi,θG)
其中，pu表示用户隐特征矩阵P中第u个用户对应的隐特征，qi表示金融产品隐特征矩阵Q中第i个商品对应的隐特征，θG表示向量化的参数,emb(·)表示向量化操作。
S5、根据所述指导信息，构建和训练包含噪声层的基于稳定神经协同过滤的用户-商品偏好预测模型，其实现方法如下：
S501、初始化参数，并构建包含噪声层的基于稳定神经协同过滤的用户-商品偏好预测模型；
本实施例中，参数初始化和构造加入了噪声层后的神经协同过滤模型，模型包含向量化层、噪声层、多层感知器层和全连接输出层，采用分阶段训练的方式。初始化参数包括：初始化用户和商品的向量化层大小embed_size，对应于上述隐特征矩阵，每个向量表示用户或商品的隐特征，其大小即为隐特征空间维度，初始化为正整数；初始化模型优化方法optim，反向传播优化网络时使用的方法，初始化为Adam；初始化多层感知器的激活函数，默认初始化为ReLu；初始化最大迭代轮数T，作为控制训练次数上限的变量，初始化为较大的正整数；初始化dropout，训练中随机丢掉网络单元的数量，初始化为小于1的浮点数；初始化训练过程中停止训练的误差精度tol。
S502、将用户和商品的ID以及边信息依次输入至用户-商品偏好预测模型的向量化层和噪声层，得到用户和商品的隐特征向量，所述用户和商品的隐特征向量π(pu,qi)的表达式如下：
Figure BDA0002385906350000131
其中，∈为均值为0方差为δ的高斯噪声,N(·)表示高斯分布，pu表示用户隐特征矩阵P中第u个用户对应的隐特征，qi表示金融产品隐特征矩阵Q中第i个商品对应的隐特征，emb(·)表示向量化操作,
Figure BDA0002385906350000132
表示用户u的id，
Figure BDA0002385906350000133
表示用户u的特征，
Figure BDA0002385906350000134
表示商品i的id，
Figure BDA0002385906350000135
表示商品i的特征；
S503、以指导信息为目标，对用户和商品的隐特征向量进行特征提取训练，特征提取训练L(θG，θr)的表达式如下：
Figure BDA0002385906350000136
其中,h表示生成的指导信息，emb(·)表示向量化操作，σ(·)表示激活函数，b表示偏执参数,θr为矩阵分解模型和神经网络中隐特征空间维度不同时的映射向量，pu表示用户隐特征矩阵P中第u个用户对应的隐特征，qi表示金融产品隐特征矩阵Q中第i个商品对应的隐特征，θG表示向量化的参数,ru,i表示用户u对商品i的评分,λp和λQ均表示正则化因子分别作用于用户和商品的隐特征矩阵P和Q,θ表示用户和商品隐特征向量的参数；
S504、将经特征提取训练后的用户和商品的隐特征向量，依次输入至用户-商品偏好预测模型的多层感知器和全连接输出层：
f(pu,qi)＝φout(φX(...φ2(φ1(π(pu,qi)))...))
其中，φout表示多层神经网络中输出层网络的非线性变换，φX表示多层神经网络中第X层网络的非线性变换，φ2表示多层神经网络中第二层神经网络的非线性变换，φ1表示多层神经网络中第一层神经网络的非线性变换,pu表示用户隐特征矩阵P中第u个用户对应的隐特征，qi表示金融产品隐特征矩阵Q中第i个商品对应的隐特征；
并利用随机梯度下降法在目标函数上对神经网络进行训练：
Figure BDA0002385906350000141
得到最终的基于稳定神经协同过滤的用户-商品偏好的预测模型，并将相应的参数存入数据存储模块,从而完成对包含噪声层的基于稳定神经协同过滤的用户-商品偏好预测模型的训练。
S6、根据用户和商品的隐特征向量，利用用户-商品偏好预测模型生成未知的用户-商品预测评分，并对用户-商品预测评分进行存储；
本实施例中，参数接收单元接收由参数控制模块传递的参数，结合模型训练模块构造和训练好的模型，预测结果生成模块利用用户和商品的隐特征向量对未知的评分做出预测：
f(pu,qi)＝φout(φX(...φ2(φ1(π(pu,qi)))...))
生成的预测结果存入装置所述的数据存储模块。
S7、输出用户和商品的隐特征表示以及未知的用户-商品评分预测数据，从而完成对用户-商品偏好的预测。
本实施例中，图3为应用本发明前后***面对恶意攻击时，攻击成功率的示意图，图4为应用本发明前后***预测准确度的示意图。首先由图3很明显可以看出，在应用了本发明的预测***和方法后，针对推荐***的恶意攻击成功率明显下降，***在面对攻击时表现出更高的稳定性，远远好于不应用本发明的预测***和方法的情况。具体地由图3中数据所示，y轴为恶意攻击的成功率，x轴为应用本发明前后情况的对比。在未使用本发明前，对***的恶意攻击成功率高达0.85，而在使用了本发明后，攻击的成功率降低到了0.21，从数据分析可以清晰地看到，攻击未使用本发明中预测***和方法的模型的成功率为使用本发明的预测***和方法的4倍。即运用本发明的预测***和方法后，从推荐***安全性和稳定性的角度考虑，相对于未使用的情况提高了4倍之多，大大提高了***的鲁棒性。同时，从图4中***预测准确度的对比图中可以看到，y轴为RMSE值(RMSE是推荐算法领域常用来衡量预测准确度的标准，RMSE越小表示精度越高，模型预测的越准确)，x轴为应用本发明前后情况的对比。未使用本发明前模型的RMSE为0.855，使用了本发明后，模型的RMSE值为0.841，从前后数据分析，因为RMSE越小模型的预测准确度越高，也就是应用了本发明的预测***和方法后，不仅大大增强了模型的鲁棒性(图3结论)，同时模型预测的准确度相对未使用本发明时也有了略微的提升。在实际应用中，应用本发明可以更好的为用户提供安全、可靠且符合用户个性化需求的商品推荐。
本发明通过在神经协同过滤模型中加入噪声层，增加了模型的鲁棒性，面对恶意用户的攻击时表现出更好的稳定性，并且通过先训练无噪声的指导模型，然后利用其生成的指导信息训练包含噪声的网络的阶段性训练过程，在提高模型稳定性的同时又保证了模型的预测精度，可广泛用于提供个性化服务的电子商务平台，本发明提供了稳定准确的用户-商品评分预测结果，为用户提供个性化、安全、可靠的金融产品推荐服务，本发明实现了：构建符合金融市场环境的推荐***，面对来自恶意用户的攻击时仍保持稳定；针对不同用户定制化的精准的金融产品预测和推荐。

Claims (9)

1.基于稳定神经协同过滤的用户-商品偏好预测***，其特征在于，包括数据预处理模块、与所述数据预处理模块连接的数据存储模块、分别与所述数据存储模块连接的参数控制模块、数据输出模块和预测结果生成模块，以及与所述参数控制模块连接的模型训练模块，所述预测结果生成模块分别与参数控制模块以及模型训练模块连接；
所述数据预处理模块，用于获取用户-商品评分数据，并对用户-商品评分数据进行预处理，并将预处理后的用户-商品评分数据输入至所述数据存储模块中；
所述数据存储模块，用于存储预处理过的用户-商品评分数据、用户-商品偏好预测模型的参数以及生成的预测评分数据；
所述模型训练模块，用于根据预处理后的用户-商品评分数据，构建和训练基于稳定神经协同过滤的用户-商品偏好预测模型；
所述参数控制模块，用于初始化用户-商品偏好预测模型的参数，同时控制参数和用户-商品偏好预测模型的训练过程；
所述预测结果生成模块，用于根据用户-商品偏好预测模型，利用用户和商品的隐特征向量生成未知的用户-商品预测评分数据，并将生成的预测评分数据存入至所述数据存储模块中；
所述数据输出模块，用于输出用户和商品的隐特征表示以及未知的用户-商品预测评分数据。
2.根据权利要求1所述的基于稳定神经协同过滤的用户-商品偏好预测***，其特征在于，所述模型训练模块包括指导模型训练单元、指导信息生成单元以及神经网络训练单元；
所述指导模型训练单元，用于根据预处理后的用户-商品评分数据，训练作为指导模型且不包含噪声的非负矩阵分解模型；
所述指导信息生成单元，用于根据所述非负矩阵分解模型生成指导信息；
所述神经网络训练单元，用于根据生成的指导信息，构建和训练基于稳定神经协同过滤的用户-商品偏好预测模型，其中：
所述用户-商品偏好预测模型包括依次连接的向量化层、噪声层、多层感知器层和全连接输出层。
3.根据权利要求1所述的基于稳定神经协同过滤的用户-商品偏好预测***，其特征在于，所述参数控制模块包括初始化单元和参数控制单元；
所述初始化单元，用于初始化用户-商品偏好预测模型的参数；
所述参数控制单元，用于向所述预测结果生成模块传递参数，以及控制用户-商品偏好预测模型的训练过程。
4.根据权利要求1所述的基于稳定神经协同过滤的用户-商品偏好预测***，其特征在于，所述预测结果生成模块包括参数接收单元和预测结果生成单元；
所述参数接收单元，用于接收由参数控制模块传递的参数；
所述预测结果生成单元，用于利用用户和商品的隐特征向量对未知的用户-商品评分做出预测。
5.基于稳定神经协同过滤的用户-商品偏好预测方法，其特征在于，包括以下步骤：
S1、获取用户-商品评分数据；
S2、对所述用户-商品评分数据进行预处理，并将预处理后的用户-商品评分数据进行存储；
S3、根据预处理后的用户-商品评分数据，训练作为指导模型且不包含噪声的非负矩阵分解模型；
S4、利用所述非负矩阵分解模型生成指导信息；
S5、根据所述指导信息，构建和训练包含噪声层的基于稳定神经协同过滤的用户-商品偏好预测模型；
S6、根据用户和商品的隐特征向量，利用所述用户-商品偏好预测模型生成未知的用户-商品预测评分，并对所述用户-商品预测评分进行存储；
S7、输出用户和商品的隐特征表示以及未知的用户-商品预测评分，从而完成对用户-商品偏好的预测。
6.根据权利要求5所述的基于稳定神经协同过滤的用户-商品偏好预测方法，其特征在于，所述步骤S3包括以下步骤：
S301、初始化参数；
S302、根据预处理后的用户-商品评分数据，构建目标函数；
S303、根据所述目标函数，利用梯度下降法对用户和商品的隐特征矩阵进行训练，从而完成对作为指导模型且不包含噪声的非负矩阵分解模型的训练，所述目标函数RSER(A)的表达式如下：
Figure FDA0002385906340000031
Figure FDA0002385906340000032
Figure FDA0002385906340000033
其中，R(A)表示用户-商品评分矩阵R中用户对商品已知评分数据集合，ru,i表示用户u对商品i的评分，pu表示用户隐特征矩阵P中第u个用户对应的隐特征，qi表示金融产品隐特征矩阵Q中第i个商品对应的隐特征,λp和λQ均表示正则化因子分别作用于用户和商品的隐特征矩阵P和Q，F表示范数，
Figure FDA0002385906340000041
表示由模型计算的用户u对商品i的预测评分，Iu,Ui分别表示用户u交互过的商品的集合和与商品i有过交互的用户的集合。
7.根据权利要求5所述的基于稳定神经协同过滤的用户-商品偏好预测方法，其特征在于，所述步骤S4中指导信息h的表达式如下：
h＝emb(pu,qi,θG)
其中，pu表示用户隐特征矩阵P中第u个用户对应的隐特征，qi表示金融产品隐特征矩阵Q中第i个商品对应的隐特征，θG表示向量化的参数，emb(·)表示向量化操作。
8.根据权利要求5所述的基于稳定神经协同过滤的用户-商品偏好预测方法，其特征在于，所述步骤S5包括如下步骤：
S501、初始化参数，并构建包含噪声层的基于稳定神经协同过滤的用户-商品偏好预测模型；
S502、将用户和商品的ID以及边信息依次输入至用户-商品偏好预测模型的向量化层和噪声层，得到用户和商品的隐特征向量，所述用户和商品的隐特征向量π(pu,qi)的表达式如下：
Figure FDA0002385906340000042
其中，∈为均值为0方差为δ的高斯噪声,N(·)表示高斯分布，pu表示用户隐特征矩阵P中第u个用户对应的隐特征，qi表示金融产品隐特征矩阵Q中第i个商品对应的隐特征，emb(·)表示向量化操作，
Figure FDA0002385906340000043
表示用户u的id，
Figure FDA0002385906340000044
表示用户u的特征，
Figure FDA0002385906340000045
表示商品i的id，
Figure FDA0002385906340000046
表示商品i的特征；
S503、以所述指导信息为目标，对所述用户和商品的隐特征向量进行特征提取训练，所述特征提取训练L(θG，θr)的表达式如下：
Figure FDA0002385906340000051
其中,h表示生成的指导信息，emb(·)表示向量化操作，σ(·)表示激活函数，b表示偏执参数，θr为矩阵分解模型和神经网络中隐特征空间维度不同时的映射向量，pu表示用户隐特征矩阵P中第u个用户对应的隐特征，qi表示金融产品隐特征矩阵Q中第i个商品对应的隐特征，θG表示向量化的参数,ru,i表示用户u对商品i的评分，θ表示用户和商品隐特征向量的参数；
S504、将经特征提取训练后的用户和商品的隐特征向量，依次输入至用户-商品偏好预测模型的多层感知器和全连接输出层，并利用随机梯度下降法在目标函数上对神经网络进行训练，从而完成对包含噪声层的基于稳定神经协同过滤的用户-商品偏好预测模型的训练。
9.根据权利要求5所述的基于稳定神经协同过滤的用户-商品偏好预测方法，其特征在于，所述步骤S6中生成未知的用户-商品预测评分f(pu,qi)的表达式如下：
f(pu,qi)＝φout(φX(...φ2(φ1(π(pu,qi)))...))
其中，φout表示多层神经网络中输出层网络的非线性变换，φX表示多层神经网络中第X层网络的非线性变换，φ2表示多层神经网络中第二层神经网络的非线性变换，φ1表示多层神经网络中第一层神经网络的非线性变换，pu表示用户隐特征矩阵P中第u个用户对应的隐特征，qi表示金融产品隐特征矩阵Q中第i个商品对应的隐特征。
CN202010098124.3A 2020-02-18 2020-02-18 基于稳定神经协同过滤的用户-商品偏好预测***和方法 Active CN111311324B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010098124.3A CN111311324B (zh) 2020-02-18 2020-02-18 基于稳定神经协同过滤的用户-商品偏好预测***和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010098124.3A CN111311324B (zh) 2020-02-18 2020-02-18 基于稳定神经协同过滤的用户-商品偏好预测***和方法

Publications (2)

Publication Number Publication Date
CN111311324A true CN111311324A (zh) 2020-06-19
CN111311324B CN111311324B (zh) 2022-05-20

Family

ID=71158272

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010098124.3A Active CN111311324B (zh) 2020-02-18 2020-02-18 基于稳定神经协同过滤的用户-商品偏好预测***和方法

Country Status (1)

Country Link
CN (1) CN111311324B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112541639A (zh) * 2020-12-22 2021-03-23 宜宾电子科技大学研究院 基于图神经网络和注意力机制的推荐***评分预测方法
CN112862008A (zh) * 2021-03-29 2021-05-28 中信银行股份有限公司 偏好预测模型的训练方法及用户偏好的预测方法
CN113112328A (zh) * 2021-04-13 2021-07-13 华南农业大学 基于点割集图分割的矩阵变换与分解的商品推荐方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130226839A1 (en) * 2012-02-27 2013-08-29 Xerox Corporation Robust bayesian matrix factorization and recommender systems using same
CN108874960A (zh) * 2018-06-06 2018-11-23 电子科技大学 一种在线学习中基于降噪自编码器混合模型的课程视频推荐算法
CN108921670A (zh) * 2018-07-04 2018-11-30 重庆大学 一种融合用户潜在兴趣、时空数据和类别流行度的药品交易推荐方法
CN109543109A (zh) * 2018-11-27 2019-03-29 山东建筑大学 一种融合时间窗技术和评分预测模型的推荐算法
CN109740655A (zh) * 2018-12-26 2019-05-10 西安电子科技大学 基于矩阵分解及神经协同过滤的物品评分预测方法
CN109785062A (zh) * 2019-01-10 2019-05-21 电子科技大学 一种基于协同过滤模型的混合神经网络推荐***
CN110390561A (zh) * 2019-07-04 2019-10-29 四川金赞科技有限公司 基于动量加速随机梯度下降的用户-金融产品选用倾向高速预测方法和装置
CN110413878A (zh) * 2019-07-04 2019-11-05 四川金赞科技有限公司 基于自适应弹性网络的用户-商品偏好的预测装置和方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130226839A1 (en) * 2012-02-27 2013-08-29 Xerox Corporation Robust bayesian matrix factorization and recommender systems using same
CN108874960A (zh) * 2018-06-06 2018-11-23 电子科技大学 一种在线学习中基于降噪自编码器混合模型的课程视频推荐算法
CN108921670A (zh) * 2018-07-04 2018-11-30 重庆大学 一种融合用户潜在兴趣、时空数据和类别流行度的药品交易推荐方法
CN109543109A (zh) * 2018-11-27 2019-03-29 山东建筑大学 一种融合时间窗技术和评分预测模型的推荐算法
CN109740655A (zh) * 2018-12-26 2019-05-10 西安电子科技大学 基于矩阵分解及神经协同过滤的物品评分预测方法
CN109785062A (zh) * 2019-01-10 2019-05-21 电子科技大学 一种基于协同过滤模型的混合神经网络推荐***
CN110390561A (zh) * 2019-07-04 2019-10-29 四川金赞科技有限公司 基于动量加速随机梯度下降的用户-金融产品选用倾向高速预测方法和装置
CN110413878A (zh) * 2019-07-04 2019-11-05 四川金赞科技有限公司 基于自适应弹性网络的用户-商品偏好的预测装置和方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
YALI DU ET AL.: "Enhancing the Robustness of Neural Collaborative Filtering Systems Under Malicious Attacks", 《 IEEE TRANSACTIONS ON MULTIMEDIA》 *
伊华伟: "基于模糊核聚类和支持向量机的鲁棒协同推荐算法", 《电子与信息学报》 *
蒋伟: "推荐***若干关键技术研究", 《中国优秀博硕士学位论文全文数据库(博士)信息科技辑》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112541639A (zh) * 2020-12-22 2021-03-23 宜宾电子科技大学研究院 基于图神经网络和注意力机制的推荐***评分预测方法
CN112862008A (zh) * 2021-03-29 2021-05-28 中信银行股份有限公司 偏好预测模型的训练方法及用户偏好的预测方法
CN113112328A (zh) * 2021-04-13 2021-07-13 华南农业大学 基于点割集图分割的矩阵变换与分解的商品推荐方法

Also Published As

Publication number Publication date
CN111311324B (zh) 2022-05-20

Similar Documents

Publication Publication Date Title
CN111311324B (zh) 基于稳定神经协同过滤的用户-商品偏好预测***和方法
CN110390561B (zh) 基于动量加速随机梯度下降的用户-金融产品选用倾向高速预测方法和装置
CN113408743A (zh) 联邦模型的生成方法、装置、电子设备和存储介质
CN108470052B (zh) 一种基于矩阵补全的抗托攻击推荐算法
CN111414749B (zh) 基于深度神经网络的社交文本依存句法分析***
CN113449783B (zh) 一种对抗样本生成方法、***、计算机设备和存储介质
CN112434213B (zh) 网络模型的训练方法、信息推送方法及相关装置
US20220237465A1 (en) Performing inference and signal-to-noise ratio based pruning to train sparse neural network architectures
CN112085050A (zh) 基于pid控制器的对抗性攻击与防御方法及***
CN111178986B (zh) 用户-商品偏好的预测方法及***
CN112926661A (zh) 一种增强图像分类鲁棒性的方法
CN114330580A (zh) 基于歧义指导互标签更新的鲁棒知识蒸馏方法
CN113935496A (zh) 一种面向集成模型的鲁棒性提升防御方法
Lin et al. Differential privacy protection over deep learning: An investigation of its impacted factors
CN115834251B (zh) 基于超图Transformer威胁狩猎模型建立方法
CN112214668B (zh) 一种基于大数据的个性化金融服务推荐装置和方法
CN115510986A (zh) 一种基于AdvGAN的对抗样本生成方法
CN113935913A (zh) 一种具有视觉感知隐蔽性的黑盒图像对抗样本生成方法
CN114187966A (zh) 一种基于生成对抗网络的单细胞rna序列缺失值填补方法
CN111179070A (zh) 一种基于lstm的借贷风险时效性预测***及方法
CN115292587B (zh) 基于知识蒸馏和因果推理的推荐方法及***
CN118070107B (zh) 一种面向深度学习的网络异常检测方法、装置、存储介质及设备
CN117540791B (zh) 一种对抗训练的方法及装置
CN117454187B (zh) 一种基于频域限制目标攻击的集成模型训练方法
CN117668857A (zh) 基于模拟数据投毒攻击的推荐***安全性测试方法及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant