CN112784173A - 一种基于自注意力对抗神经网络的推荐***评分预测方法 - Google Patents

一种基于自注意力对抗神经网络的推荐***评分预测方法 Download PDF

Info

Publication number
CN112784173A
CN112784173A CN202110217932.1A CN202110217932A CN112784173A CN 112784173 A CN112784173 A CN 112784173A CN 202110217932 A CN202110217932 A CN 202110217932A CN 112784173 A CN112784173 A CN 112784173A
Authority
CN
China
Prior art keywords
self
attention
distribution
matrix
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110217932.1A
Other languages
English (en)
Other versions
CN112784173B (zh
Inventor
马康康
王庆先
黄庆
常奥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN202110217932.1A priority Critical patent/CN112784173B/zh
Publication of CN112784173A publication Critical patent/CN112784173A/zh
Application granted granted Critical
Publication of CN112784173B publication Critical patent/CN112784173B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9536—Search customisation based on social or collaborative filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于自注意力对抗神经网络的推荐***评分预测方法，包括以下步骤：S1：采集用户信息、项目信息和用户对项目评分数据，构建高维稀疏评分矩阵和对应的掩矩阵；S2：生成关于高维稀疏评分矩阵的分布信息；S3：利用自注意力对抗神经网络搭建推荐***的评分预测模型，并对评分预测模型进行训练；S4：评估高维稀疏评分矩阵，完成用户对项目的评分预测。本发明将自注意力机制和判别自动编码器结合，并给出了应用于推荐***中的具体方法。利用自注意力判别自编码器从高维稀疏矩阵的掩矩阵中提取评分数据的分布信息，为后续的学习评分数据特征和预测评分数据提供更多的分布信息。

Description

一种基于自注意力对抗神经网络的推荐***评分预测方法
技术领域
本发明属于推荐***技术领域，具体涉及一种基于自注意力对抗神经网络的推荐***评分预测方法。
背景技术
互联网的飞速发展造成了信息过载问题，严重影响用户获取有用信息的效率。为了解决这个问题，推荐***技术获得了大量的研究成果。在推荐***中，用户-项目之间的评分数据是基础的数据来源。由于***中有大量的用户和项目，每一个用户不可能给所有的项目打评，因此评分数据非常少。通常使用高维稀疏矩阵表示这些评分数据，矩阵中只有少量的元素是已知的。为了解决这个高维稀疏矩阵，大量的基于协同过滤的方法被提出。这些方法主要利用已有的评分数据提取用户和项目的低维隐特征表示，存在以下缺点：其一，没有充分利用高维稀疏矩阵数据中局部区域评分数据之间的关系；其二，没有考虑高维稀疏矩阵中评分数据的整体分布特征。
发明内容
本发明的目的是为了解决用户项目之间评分预测的问题，提出了一种基于自注意力对抗神经网络的推荐***评分预测方法。
本发明的技术方案是：一种基于自注意力对抗神经网络的推荐***评分预测方法包括以下步骤：
S1：采集用户信息、项目信息和用户对项目评分数据，构建高维稀疏评分矩阵和对应的掩矩阵；
S2：利用自注意力编码器提取掩矩阵的分布特征，生成关于高维稀疏评分矩阵的分布信息；
S3：利用自注意力对抗神经网络搭建推荐***的评分预测模型，并根据分布信息和高维稀疏评分矩阵对评分预测模型进行训练；
S4：利用训练后的评分预测模型评估高维稀疏评分矩阵，完成用户对项目的评分预测。
本发明的有益效果是：
(1)本发明将自注意力机制和判别自动编码器结合，并给出了应用于推荐***中的具体方法。利用自注意力判别自编码器从高维稀疏矩阵的掩矩阵中提取评分数据的分布信息，为后续的学习评分数据特征和预测评分数据提供更多的分布信息。同时，该模型采用卷积神经网络提取掩矩阵中的局部区域的分布特征。除此之外，还利用自注意力机制计算掩矩阵中所有数据之间的依赖关系，获得全局的分布特征。最后将局部区域的分布特征和全局分布特征融合来训练模型，能够有效的全面的获取掩矩阵的分布信息。
(2)本发明建立了基于对抗神经网络的预测模型来估计高维稀疏矩阵中缺失的评分数据。将高维稀疏矩阵的分布信息和评分数据融合作为训练数据，并且将自注意力机制融入到生成器模型中，有利于对抗神经网络感知评分数据之间的依赖关系，从而更好的学习评分数据的特征。同时，将预测的评分数据和真实的评分数据之间的均方差作为对抗神经网络目标函数的正则化项，有利于提高模型的预测精度。
进一步地，步骤S1包括以下子步骤：
S11：采集用户信息、项目信息和用户对项目评分数据，得到用户集
Figure BDA0002954630830000021
项目集
Figure BDA0002954630830000022
和用户对项目的评分集合
Figure BDA0002954630830000023
其中，n表示用户数，m表示项目数，u1,u2,…,un表示第1到第n个用户，i1,i2,…,im表示第1到第m个项目，su,i表示用户u对项目i的评分，v表示评分最大值；
S12：根据用户对项目的评分集合
Figure BDA0002954630830000031
构建高维稀疏评分矩阵R，其中，每个元素ru,i的表达式为：
Figure BDA0002954630830000032
S13：根据高维稀疏评分矩阵R，构建对应的掩矩阵H∈{0,1}n×m，其中，每个元素hu,i的表达式为：
Figure BDA0002954630830000033
其中，1表示用户u对项目i的评分已知，0表示用户u对项目i的评分未知，
Figure BDA0002954630830000034
表示R中已知元素集合，
Figure BDA0002954630830000035
表示未知元素集合。
上述进一步方案的有益效果是：在本发明中，针对基于评分反馈的互联网应用设计推荐***模型，用于预测缺失的评分数据，为用户提供可能感兴趣的项目。首先，需要从一个实际应用中收集用户信息，项目信息以及用户对项目评分数据，例如电影评分、笑话评分和网络服务质量评分数据等。矩阵
Figure BDA0002954630830000036
中,
Figure BDA0002954630830000037
和
Figure BDA0002954630830000038
分别表示R中已知元素集合和未知元素集合，由于
Figure BDA0002954630830000039
因此R是一个高维稀疏矩阵。掩矩阵H能反映R中已知评分的整体分布特征，每一个行向量hu∈H能反映用户u的评分数据的分布特征。
进一步地，步骤S2包括以下子步骤：
S21：设置掩矩阵H中的每一个行向量{h1,…,hu,…,hn}服从第一数据分布q(h)；
S22：定义自注意力编码器，将来自第一数据分布q(h)的样本hu∈H转换为对应的低维隐特征表示zu，其中，zu为第二数据分布q(z)的一个样本；
S23：将来自第二数据分布q(z)的低维隐特征表示zu作为自注意力解码器的输入，并生成样本hu的重构样本
Figure BDA0002954630830000041
S24：计算样本hu和重构样本
Figure BDA0002954630830000042
之间的重构误差rec_error；
S25：设置已知解析式的分布p(z)，并根据已知解析式的分布p(z)和第二数据分布q(z)之间的距离训练自注意力编码器和自注意力解码器；
S26：利用训练后的自注意力编码器将掩向量转换为服从已知解析式的分布p(z)的低维隐特征表示，利用训练后的自注意力解码器将来自已知解析式的分布p(z)的样本数据转换为分布信息，生成关于高维稀疏评分矩阵的分布信息。
上述进一步方案的有益效果是：在本发明中，假设H中的每一个行向量{h1,…,hu,…,hn}服从一个数据分布q(h)。对应的低维隐特征矩阵表示为
Figure BDA0002954630830000043
其中行向量{z1,…,zu,…,zn}表示低维隐特征表示，d表示隐特征表示的维度。假设低维隐特征表示服从一个解析式未知的数据分布q(z)。
进一步地，步骤S22包括以下子步骤：
S221：利用小批量梯度下降算法，从掩矩阵H中随机采样t个掩向量{hu,hu+1…,hu+t}，组成输入矩阵X；
S222：定义自注意力编码器，将输入矩阵X作为自注意力编码器的输入，将来自第一数据分布q(h)的样本hu∈H转换为对应的低维隐特征表示zu，其中，zu为第二数据分布q(z)的一个样本。
进一步地，步骤S222中，自注意力编码器包括卷积层、自注意力层和池化层；
构建卷积层的方法为：卷积层包含K个1×1的卷积核，利用卷积核提取输入矩阵X的特征映射E，其计算公式为：
Figure BDA0002954630830000044
其中，*表示二维卷积计算，
Figure BDA0002954630830000051
表示第k个卷积核的参数，
Figure BDA0002954630830000052
表示第k个卷积核的偏差，σ(·)表示激活函数；
构建自注意力层的方法为：计算特征映射E中每个元素之间的依赖关系矩阵Y，并将依赖关系矩阵Y融入至特征映射E中，得到融合特征I，其特征映射E中每个元素yp和融合特征I的计算公式分别为：
Figure BDA0002954630830000053
Figure BDA0002954630830000054
其中，ep表示特征映射E的第p个元素，eq表示特征映射E的第q个元素，yp表示Y的第p个元素，f(·)表示计算任意两点相似关系的函数，g(·)表示一个映射函数，γ(E)表示归一化因子，
Figure BDA0002954630830000055
表示第k个自注意力层卷积核的参数，
Figure BDA0002954630830000056
第k个自注意力层卷积核的偏差；
构建池化层的方法为：将融合特征I输入到池化核大小为c×c和滑动步幅为a的池化层中，池化层的表达式为：
Z＝MeanPooling2D(I)
其中，MeanPooling2D(·)表示平均池化，Z表示低维隐特征矩阵，每一个行向量{zu,zu+1…,zu+t}表示掩向量{hu,hu+1…,hu+t}的低维隐特征表示。
上述进一步方案的有益效果是：在本发明中，在自注意力层，首先计算特征映射E中每个元素之间的依赖关系矩阵Y，将依赖关系矩阵Y融入到特征映射E中，为卷积操作中每一个感受野提取的局部特征引入全局特征，从而为后面的卷积层带去更丰富的信息；其中，g(·)表示一个映射函数，用于计算一个点的特征向量。
进一步地，步骤S23中，生成样本{hu,hu+1…,hu+t}对应的重构数据
Figure BDA0002954630830000061
将重构数据组成的矩阵用
Figure BDA0002954630830000062
表示，其计算公式为：
Figure BDA0002954630830000063
Figure BDA0002954630830000064
其中，D0表示模型的输入，Dl-1表示第l-1层的输出，Dl表示第l层的输出，Ul表示第l个上采样层的输出，UL-1表示第L-1个上采样层的输出，K表示卷积核个数，σ(·)表示激活函数，
Figure BDA0002954630830000065
表示第l-1层中第k个卷积核的参数，
Figure BDA0002954630830000066
表示第l-1层中第k个卷积核的偏差，L表示反卷积层的个数，Z表示低维隐特征矩阵，UpSampling2D(·)表示上采样层，
Figure BDA0002954630830000067
表示第L层中第k个卷积核的参数，
Figure BDA0002954630830000068
表示第L层中第k个卷积核的偏差。
Dl和Ul表示该计算步骤中间结果，便于阐述该计算步骤的详细过程，和计算重构数据具有直接的关系。
进一步地，步骤S24中，重构误差rec_error的计算公式为：
Figure BDA0002954630830000069
其中，X表示输入矩阵，
Figure BDA00029546308300000610
表示重构数据矩阵。
进一步地，步骤S25中，计算已知解析式的分布p(z)和第二数据分布q(z)之间的距离C(p(z),q(z))包括以下子步骤：
S251：设置已知解析式的分布p(z)；
S252：利用全连接神经网络建立判别器；
S253：从已知解析式的分布p(z)中随机采样t个低维隐特征表示
Figure BDA00029546308300000611
从分布q(z)中随机采样t个低维隐特征表示{z1,…,zt}，
S254：将低维隐特征表示
Figure BDA00029546308300000612
和
Figure BDA00029546308300000613
作为判别器的输入，并输出判别结果；
S253：根据判别结果，计算已知解析式的分布p(z)和第二数据分布q(z)之间的距离C(p(z),q(z))，其计算公式为：
Figure BDA0002954630830000071
其中，D(·)表示判别结果，log(·)表示对数函数，
Figure BDA0002954630830000072
表示在z的第二数据分布q(z)上计算数学期望值，
Figure BDA0002954630830000073
表示在
Figure BDA0002954630830000074
的数据分布
Figure BDA0002954630830000075
上计算数学期望值。
上述进一步方案的有益效果是：在本发明中，为了使解码器能够生成新的掩向量
Figure BDA0002954630830000076
解码器必须接收来自q(z)的其他向量
Figure BDA0002954630830000077
作为输入，然而q(z)的解析式未知，难以直接获取其他数据样本。为了间接地获取q(z)分布的其他样本z*，假设一个解析式已知的分布p(z)是q(z)的等价分布，则q(z)中的样本服从于p(z)并且p(z)中的样本也服从于q(z)。此时，利用p(z)中的样本作为解码器的输入数据，就可以生成新的掩向量。为了满足该假设，将q(z)和p(z)之间的距离作为编码器和解码器目标函数的一部分，利用该目标函数更新编码器和解码器的参数，使编码器能够将数据分布q(h)转换为q(z)的等价分布p(z)，并且解码器能够将编码器输出的低维隐特征表示转换为新的掩向量。经过训练，转换后的低维隐特征表示越来越相似于p(z)的样本。
进一步地，步骤S26中，自注意力编码器的目标函数表达式为rec_error；判别器的目标函数表达式为dis_loss＝C(p(z),q(z))；自注意力解码器的目标函数表达式为
Figure BDA0002954630830000078
其中，rec_error表示样本hu和重构样本
Figure BDA0002954630830000079
之间的重构误差，C(p(z),q(z))表示已知解析式的分布p(z)和第二数据分布q(z)之间的距离，D(·)表示判别结果，log(·)表示对数函数，
Figure BDA00029546308300000710
表示在
Figure BDA00029546308300000711
的数据分布
Figure BDA00029546308300000712
上计算数学期望值。
上述进一步方案的有益效果是：在本发明中，训练完成后，编码器能够将掩向量转换为服从数据分布p(z)的低维隐特征表示，解码器可以将来自p(z)的样本数据转换为有用的分布信息。由于p(z)的解析式已知，可以从中均匀地获取大量的低维隐特征表示数据，经过解码器转换，获得更全面的关于高维稀疏评分矩阵的分布信息。
进一步地，步骤S3包括以下子步骤：
S31：设置高维稀疏评分矩阵R中的行向量{r1,…,ru,…,rn}服从真实数据分布pr，并将行向量{r1,…,ru,…,rn}作为真实评分向量，其中，ru表示用户u的评分向量；
S32：构建自注意力对抗神经网络模型，其中，自注意力对抗神经网络模型的生成器为自注意力自编码器结构，判别器为全连接神经网络，并设置生成器生成的预测评分向量服从生成器分布pg；
S33：将重构样本
Figure BDA0002954630830000081
和用户的评分向量ru进行融合，得到融合数据
Figure BDA0002954630830000082
进行融合的计算公式为：
Figure BDA0002954630830000083
其中，hu表示样本，⊙表示逻辑运算；
S34：将融合数据
Figure BDA0002954630830000084
作为生成器的输入，计算每个用户的预测评分向量
Figure BDA0002954630830000085
其计算公式为：
Figure BDA0002954630830000086
其中，
Figure BDA0002954630830000087
n表示用户数，SAAE(·)表示自注意力自编码器；
S35：将预测评分向量
Figure BDA0002954630830000088
和真实评分向量{r1,…,ru,…,rn}作为判别器的输入，判别真实数据分布pr和生成器分布pg的评分样本数据与真实评分数据的差距，并输出判别结果；
S36：根据判别结果训练评分预测模型，直至评分预测模型收敛；
步骤S35中，利用稀疏化法便于判别器区分，其表达式为：
Figure BDA0002954630830000091
其中，
Figure BDA0002954630830000092
表示经过稀疏化后的用户u的预测评分向量；
步骤S36中，根据判别结果对判别器进行训练，其目标函数表达式为：
Figure BDA0002954630830000093
其中，JDis表示判别器的目标函数，
Figure BDA0002954630830000094
表示在ru的真实数据分布pr上计算数学期望值，
Figure BDA0002954630830000095
表示在
Figure BDA0002954630830000096
的生成器分布pg上计算数学期望值，Dis(·)表示判别器对其输入的判别结果；
根据判别结果对生成器进行训练，其目标函数表达式为：
Figure BDA0002954630830000097
其中，JGen表示生成器的目标函数，
Figure BDA0002954630830000098
表示在
Figure BDA0002954630830000099
的数据分布pg上计算数学期望值，
Figure BDA00029546308300000910
λ表示正则化系数，ψ表示正则化，ru,i表示高维稀疏评分矩阵R中的元素，
Figure BDA00029546308300000911
表示用户u对项目i的预测评分，
Figure BDA00029546308300000912
表示已知的评分数据集合。
上述进一步方案的有益效果是：在本发明中，为了学习R中评分数据的特征，首先假设R中的行向量{r1,…,ru,…,rn}服从真实的数据分布pr；建立自注意力对抗神经网络模型，生成器使用自注意力自编码器结构，判别器使用全连接神经网络；为了使生成器能够生成真实的评分向量，假设生成器生成的预测评分向量服从生成器分布pg。如果能使pg和pr相同，此时生成器生成的预测评分向量是真实的；为了使pg靠近pr直至相同，将两个分布之间的距离作为模型的目标函数。利用该目标函数更新生成器的参数，使分布距离越来越小；由于pg和pr的解析式未知，无法通过明确的公式计算二者距离。因此，通过判别器估计两个分布的样本数据与真实分布的样本数据间的差距，再带入Wasserstein距离公式中近似计算pg和pr的距离；为了获取生成器分布的样本数据，首先获取生成器的输入。从S2学习的解码器采样掩向量
Figure BDA0002954630830000101
并将掩向量和用户的评分向量ru融合，为评分数据提供更多的分布信息，将融合数据作为生成器的输入。生成器计算出每个用户的预测评分向量
Figure BDA0002954630830000102
将预测评分向量
Figure BDA0002954630830000103
和真实评分向量{r1,…,ru,…,rn}作为判别器的输入，用于评估两类数据和真实评分数据的差距；由于真实评分向量只有少量的已知评分数据，大量的未知评分用0填充，而预测评分向量全部的预测的评分值，判别器难以判别二者的真假。因此，利用掩向量将预测评分向量稀疏化，只保留预测评分向量中与已知评分数据对应的预测评分，从而在形式上保持同意，在数据上只保留真假评分数据的特征，便于判别器区分。稀疏化的预测评分向量和真实评分向量作为判别器的输入，输出判别结果；最后训练模型：首先训练判别器，其次训练生成器，并使用正则化，(该正则化表示预测评分和真实评分之间的均方误差)，直到模型收敛。
附图说明
图1为推荐***评分预测方法的流程图。
具体实施方式
下面结合附图对本发明的实施例作进一步的说明。
如图1所示，本发明提供了一种基于自注意力对抗神经网络的推荐***评分预测方法，包括以下步骤：
S1：采集用户信息、项目信息和用户对项目评分数据，构建高维稀疏评分矩阵和对应的掩矩阵；
S2：利用自注意力编码器提取掩矩阵的分布特征，生成关于高维稀疏评分矩阵的分布信息；
S3：利用自注意力对抗神经网络搭建推荐***的评分预测模型，并根据分布信息和高维稀疏评分矩阵对评分预测模型进行训练；
S4：利用训练后的评分预测模型评估高维稀疏评分矩阵，完成用户对项目的评分预测。
在本发明实施例中，如图1所示，步骤S1包括以下子步骤：
S11：采集用户信息、项目信息和用户对项目评分数据，得到用户集
Figure BDA0002954630830000111
项目集
Figure BDA0002954630830000112
和用户对项目的评分集合
Figure BDA0002954630830000113
其中，n表示用户数，m表示项目数，u1,u2,…,un表示第1到第n个用户，i1,i2,…,im表示第1到第m个项目，su,i表示用户u对项目i的评分，v表示评分最大值；
S12：根据用户对项目的评分集合
Figure BDA0002954630830000114
构建高维稀疏评分矩阵R，其中，每个元素ru,i的表达式为：
Figure BDA0002954630830000115
S13：根据高维稀疏评分矩阵R，构建对应的掩矩阵H∈{0,1}n×m，其中，每个元素hu,i的表达式为：
Figure BDA0002954630830000116
其中，1表示用户u对项目i的评分已知，0表示用户u对项目i的评分未知，
Figure BDA0002954630830000117
表示R中已知元素集合，
Figure BDA0002954630830000118
表示未知元素集合。
在本发明中，针对基于评分反馈的互联网应用设计推荐***模型，用于预测缺失的评分数据，为用户提供可能感兴趣的项目。首先，需要从一个实际应用中收集用户信息，项目信息以及用户对项目评分数据，例如电影评分、笑话评分和网络服务质量评分数据等。矩阵
Figure BDA0002954630830000121
中,
Figure BDA0002954630830000122
和
Figure BDA0002954630830000123
分别表示R中已知元素集合和未知元素集合，由于
Figure BDA0002954630830000124
因此R是一个高维稀疏矩阵。掩矩阵H能反映R中已知评分的整体分布特征，每一个行向量hu∈H能反映用户u的评分数据的分布特征。
在本发明实施例中，如图1所示，步骤S2包括以下子步骤：
S21：设置掩矩阵H中的每一个行向量{h1,…,hu,…,hn}服从第一数据分布q(h)；
S22：定义自注意力编码器，将来自第一数据分布q(h)的样本hu∈H转换为对应的低维隐特征表示zu，其中，zu为第二数据分布q(z)的一个样本；
S23：将来自第二数据分布q(z)的低维隐特征表示zu作为自注意力解码器的输入，并生成样本hu的重构样本
Figure BDA0002954630830000125
S24：计算样本hu和重构样本
Figure BDA0002954630830000126
之间的重构误差rec_error；
S25：设置已知解析式的分布p(z)，并根据已知解析式的分布p(z)和第二数据分布q(z)之间的距离训练自注意力编码器和自注意力解码器；
S26：利用训练后的自注意力编码器将掩向量转换为服从已知解析式的分布p(z)的低维隐特征表示，利用训练后的自注意力解码器将来自已知解析式的分布p(z)的样本数据转换为分布信息，生成关于高维稀疏评分矩阵的分布信息。
在本发明中，假设H中的每一个行向量{h1,…,hu,…,hn}服从一个数据分布q(h)。对应的低维隐特征矩阵表示为
Figure BDA0002954630830000127
其中行向量{z1,…,zu,…,zn}表示低维隐特征表示，d表示隐特征表示的维度。假设低维隐特征表示服从一个解析式未知的数据分布q(z)。
在本发明实施例中，如图1所示，步骤S22包括以下子步骤：
S221：利用小批量梯度下降算法，从掩矩阵H中随机采样t个掩向量{hu,hu+1…,hu+t}，组成输入矩阵X；
S222：定义自注意力编码器，将输入矩阵X作为自注意力编码器的输入，将来自第一数据分布q(h)的样本hu∈H转换为对应的低维隐特征表示zu，其中，zu为第二数据分布q(z)的一个样本。
在本发明实施例中，如图1所示，步骤S222中，自注意力编码器包括卷积层、自注意力层和池化层；
构建卷积层的方法为：卷积层包含K个1×1的卷积核，利用卷积核提取输入矩阵X的特征映射E，其计算公式为：
Figure BDA0002954630830000131
其中，*表示二维卷积计算，
Figure BDA0002954630830000132
表示第k个卷积核的参数，
Figure BDA0002954630830000133
表示第k个卷积核的偏差，σ(·)表示激活函数；
构建自注意力层的方法为：计算特征映射E中每个元素之间的依赖关系矩阵Y，并将依赖关系矩阵Y融入至特征映射E中，得到融合特征I，其特征映射E中每个元素yp和融合特征I的计算公式分别为：
Figure BDA0002954630830000134
Figure BDA0002954630830000135
其中，ep表示特征映射E的第p个元素，eq表示特征映射E的第q个元素，yp表示Y的第p个元素，f(·)表示计算任意两点相似关系的函数，g(·)表示一个映射函数，γ(E)表示归一化因子，
Figure BDA0002954630830000136
表示第k个自注意力层卷积核的参数，
Figure BDA0002954630830000137
第k个自注意力层卷积核的偏差；
构建池化层的方法为：将融合特征I输入到池化核大小为c×c和滑动步幅为a的池化层中，池化层的表达式为：
Z＝MeanPooling2D(I)
其中，MeanPooling2D(·)表示平均池化，Z表示低维隐特征矩阵，每一个行向量{zu,zu+1…,zu+t}表示掩向量{hu,hu+1…,hu+t}的低维隐特征表示。
在本发明中，在自注意力层，首先计算特征映射E中每个元素之间的依赖关系矩阵Y，将依赖关系矩阵Y融入到特征映射E中，为卷积操作中每一个感受野提取的局部特征引入全局特征，从而为后面的卷积层带去更丰富的信息；其中，g(·)表示一个映射函数，用于计算一个点的特征向量。
在本发明实施例中，如图1所示，步骤S23中，生成样本{hu,hu+1…,hu+t}对应的重构数据
Figure BDA0002954630830000141
将重构数据组成的矩阵用
Figure BDA0002954630830000142
表示，其计算公式为：
Figure BDA0002954630830000143
Figure BDA0002954630830000144
其中，D0表示模型的输入，Dl-1表示第l-1层的输出，Dl表示第l层的输出，Ul表示第l个上采样层的输出，UL-1表示第L-1个上采样层的输出，K表示卷积核个数，σ(·)表示激活函数，
Figure BDA0002954630830000145
表示第l-1层中第k个卷积核的参数，
Figure BDA0002954630830000146
表示第l-1层中第k个卷积核的偏差，L表示反卷积层的个数，Z表示低维隐特征矩阵，UpSampling2D(·)表示上采样层，
Figure BDA0002954630830000147
表示第L层中第k个卷积核的参数，
Figure BDA0002954630830000148
表示第L层中第k个卷积核的偏差。
Dl和Ul表示该计算步骤中间结果，便于阐述该计算步骤的详细过程，和计算重构数据具有直接的关系。
在本发明实施例中，如图1所示，步骤S24中，重构误差rec_error的计算公式为：
Figure BDA0002954630830000151
其中，X表示输入矩阵，
Figure BDA0002954630830000152
表示重构数据矩阵。
在本发明实施例中，如图1所示，步骤S25中，计算已知解析式的分布p(z)和第二数据分布q(z)之间的距离C(p(z),q(z))包括以下子步骤：
S251：设置已知解析式的分布p(z)；
S252：利用全连接神经网络建立判别器；
S253：从已知解析式的分布p(z)中随机采样t个低维隐特征表示
Figure BDA0002954630830000153
从分布q(z)中随机采样t个低维隐特征表示{z1,…,zt}，
S254：将低维隐特征表示
Figure BDA0002954630830000154
和
Figure BDA0002954630830000155
作为判别器的输入，并输出判别结果；
S253：根据判别结果，计算已知解析式的分布p(z)和第二数据分布q(z)之间的距离C(p(z),q(z))，其计算公式为：
Figure BDA0002954630830000156
其中，D(·)表示判别结果，log(·)表示对数函数，
Figure BDA0002954630830000157
表示在z的第二数据分布q(z)上计算数学期望值，
Figure BDA0002954630830000158
表示在
Figure BDA0002954630830000159
的数据分布
Figure BDA00029546308300001510
上计算数学期望值。
在本发明中，为了使解码器能够生成新的掩向量
Figure BDA00029546308300001511
解码器必须接收来自q(z)的其他向量
Figure BDA00029546308300001512
作为输入，然而q(z)的解析式未知，难以直接获取其他数据样本。为了间接地获取q(z)分布的其他样本z*，假设一个解析式已知的分布p(z)是q(z)的等价分布，则q(z)中的样本服从于p(z)并且p(z)中的样本也服从于q(z)。此时，利用p(z)中的样本作为解码器的输入数据，就可以生成新的掩向量。为了满足该假设，将q(z)和p(z)之间的距离作为编码器和解码器目标函数的一部分，利用该目标函数更新编码器和解码器的参数，使编码器能够将数据分布q(h)转换为q(z)的等价分布p(z)，并且解码器能够将编码器输出的低维隐特征表示转换为新的掩向量。经过训练，转换后的低维隐特征表示越来越相似于p(z)的样本。
在本发明实施例中，如图1所示，步骤S26中，自注意力编码器的目标函数表达式为rec_error；判别器的目标函数表达式为dis_loss＝C(p(z),q(z))；自注意力解码器的目标函数表达式为
Figure BDA0002954630830000161
其中，rec_error表示样本hu和重构样本
Figure BDA0002954630830000162
之间的重构误差，C(p(z),q(z))表示已知解析式的分布p(z)和第二数据分布q(z)之间的距离，D(·)表示判别结果，log(·)表示对数函数，
Figure BDA0002954630830000163
表示在
Figure BDA0002954630830000164
的数据分布
Figure BDA0002954630830000165
上计算数学期望值。
在本发明中，训练完成后，编码器能够将掩向量转换为服从数据分布p(z)的低维隐特征表示，解码器可以将来自p(z)的样本数据转换为有用的分布信息。由于p(z)的解析式已知，可以从中均匀地获取大量的低维隐特征表示数据，经过解码器转换，获得更全面的关于高维稀疏评分矩阵的分布信息。
在本发明实施例中，如图1所示，步骤S3包括以下子步骤：
S31：设置高维稀疏评分矩阵R中的行向量{r1,…,ru,…,rn}服从真实数据分布pr，并将行向量{r1,…,ru,…,rn}作为真实评分向量，其中，ru表示用户u的评分向量；
S32：构建自注意力对抗神经网络模型，其中，自注意力对抗神经网络模型的生成器为自注意力自编码器结构，判别器为全连接神经网络，并设置生成器生成的预测评分向量服从生成器分布pg；
S33：将重构样本
Figure BDA0002954630830000166
和用户的评分向量ru进行融合，得到融合数据
Figure BDA0002954630830000167
进行融合的计算公式为：
Figure BDA0002954630830000168
其中，hu表示样本，⊙表示逻辑运算；
S34：将融合数据
Figure BDA0002954630830000171
作为生成器的输入，计算每个用户的预测评分向量
Figure BDA0002954630830000172
其计算公式为：
Figure BDA0002954630830000173
其中，
Figure BDA0002954630830000174
n表示用户数，SAAE(·)表示自注意力自编码器；
S35：将预测评分向量
Figure BDA0002954630830000175
和真实评分向量{r1,…,ru,…,rn}作为判别器的输入，判别真实数据分布pr和生成器分布pg的评分样本数据与真实评分数据的差距，并输出判别结果；
S36：根据判别结果训练评分预测模型，直至评分预测模型收敛；
步骤S35中，利用稀疏化法便于判别器区分，其表达式为：
Figure BDA0002954630830000176
其中，
Figure BDA0002954630830000177
表示经过稀疏化后的用户u的预测评分向量；
步骤S36中，根据判别结果对判别器进行训练，其目标函数表达式为：
Figure BDA0002954630830000178
其中，JDis表示判别器的目标函数，
Figure BDA0002954630830000179
表示在ru的真实数据分布pr上计算数学期望值，
Figure BDA00029546308300001710
表示在
Figure BDA00029546308300001711
的生成器分布pg上计算数学期望值，Dis(·)表示判别器对其输入的判别结果；
根据判别结果对生成器进行训练，其目标函数表达式为：
Figure BDA00029546308300001712
其中，JGen表示生成器的目标函数，
Figure BDA00029546308300001713
表示在
Figure BDA00029546308300001714
的数据分布pg上计算数学期望值，
Figure BDA00029546308300001715
λ表示正则化系数，ψ表示正则化，ru,i表示高维稀疏评分矩阵R中的元素，
Figure BDA00029546308300001716
表示用户u对项目i的预测评分，
Figure BDA00029546308300001717
表示已知的评分数据集合。
在本发明中，为了学习R中评分数据的特征，首先假设R中的行向量{r1,…,ru,…,rn}服从真实的数据分布pr；建立自注意力对抗神经网络模型，生成器使用自注意力自编码器结构，判别器使用全连接神经网络；为了使生成器能够生成真实的评分向量，假设生成器生成的预测评分向量服从生成器分布pg。如果能使pg和pr相同，此时生成器生成的预测评分向量是真实的；为了使pg靠近pr直至相同，将两个分布之间的距离作为模型的目标函数。利用该目标函数更新生成器的参数，使分布距离越来越小；由于pg和pr的解析式未知，无法通过明确的公式计算二者距离。因此，通过判别器估计两个分布的样本数据与真实分布的样本数据间的差距，再带入Wasserstein距离公式中近似计算pg和pr的距离；为了获取生成器分布的样本数据，首先获取生成器的输入。从S2学习的解码器采样掩向量
Figure BDA0002954630830000181
并将掩向量和用户的评分向量ru融合，为评分数据提供更多的分布信息，将融合数据作为生成器的输入。生成器计算出每个用户的预测评分向量
Figure BDA0002954630830000182
将预测评分向量
Figure BDA0002954630830000183
和真实评分向量{r1,…,ru,…,rn}作为判别器的输入，用于评估两类数据和真实评分数据的差距；由于真实评分向量只有少量的已知评分数据，大量的未知评分用0填充，而预测评分向量全部的预测的评分值，判别器难以判别二者的真假。因此，利用掩向量将预测评分向量稀疏化，只保留预测评分向量中与已知评分数据对应的预测评分，从而在形式上保持同意，在数据上只保留真假评分数据的特征，便于判别器区分。稀疏化的预测评分向量和真实评分向量作为判别器的输入，输出判别结果；最后训练模型：首先训练判别器，其次训练生成器，并使用正则化，(该正则化表示预测评分和真实评分之间的均方误差)，直到模型收敛。
在具体实施过程中，模型的超参数会影响模型的性能，需要仔细的调节生成器的隐层维度和隐层数。除此之外，在训练自注意力对抗神经网络时，目标函数中增加了正则化项，该正则化项对模型的预测精度十分关系，需要仔细的选择正则化项稀疏来权衡正则化项和分布距离之间的比重。
综上所述，本发明从高维稀疏矩阵的分布特征和评分数据特征两个角度来考虑解决高维稀疏的评分矩阵。首先，本发明将自注意力机制和判别自动编码器结合，并给出了应用于推荐***中的具体方法。利用自注意力判别自编码器从高维稀疏矩阵的掩矩阵中提取评分数据的分布信息，为后续的学习评分数据特征和预测评分数据提供更多的分布信息。同时，该模型采用卷积神经网络提取掩矩阵中的局部区域的分布特征。除此之外，还利用自注意力机制计算掩矩阵中所有数据之间的依赖关系，获得全局的分布特征。最后将局部区域的分布特征和全局分布特征融合来训练模型，能够有效的全面的获取掩矩阵的分布信息。其次，本发明建立了基于对抗神经网络的预测模型来估计高维稀疏矩阵中缺失的评分数据。将高维稀疏矩阵的分布信息和评分数据融合作为训练数据，并且将自注意力机制融入到生成器模型中，有利于对抗神经网络感知评分数据之间的依赖关系，从而更好的学习评分数据的特征。同时，将预测的评分数据和真实的评分数据之间的均方差作为对抗神经网络目标函数的正则化项，有利于提高模型的预测精度。
本发明的工作原理及过程为：本发明提供的基于自注意力对抗神经网络的推荐***评分预测方法利用自注意力对抗神经网络学习高维稀疏矩阵的整体数据分布特征，并且利用自注意力机制和卷积神经网络学习高维稀疏矩阵的局部区域评分数据之间的关系，有利于提高预测精度。
本发明的有益效果为：
(1)本发明将自注意力机制和判别自动编码器结合，并给出了应用于推荐***中的具体方法。利用自注意力判别自编码器从高维稀疏矩阵的掩矩阵中提取评分数据的分布信息，为后续的学习评分数据特征和预测评分数据提供更多的分布信息。同时，该模型采用卷积神经网络提取掩矩阵中的局部区域的分布特征。除此之外，还利用自注意力机制计算掩矩阵中所有数据之间的依赖关系，获得全局的分布特征。最后将局部区域的分布特征和全局分布特征融合来训练模型，能够有效的全面的获取掩矩阵的分布信息。
(2)本发明建立了基于对抗神经网络的预测模型来估计高维稀疏矩阵中缺失的评分数据。将高维稀疏矩阵的分布信息和评分数据融合作为训练数据，并且将自注意力机制融入到生成器模型中，有利于对抗神经网络感知评分数据之间的依赖关系，从而更好的学习评分数据的特征。同时，将预测的评分数据和真实的评分数据之间的均方差作为对抗神经网络目标函数的正则化项，有利于提高模型的预测精度。
本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的原理，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合，这些变形和组合仍然在本发明的保护范围内。

Claims (10)

1.一种基于自注意力对抗神经网络的推荐***评分预测方法，其特征在于，包括以下步骤：
S1：采集用户信息、项目信息和用户对项目评分数据，构建高维稀疏评分矩阵和对应的掩矩阵；
S2：利用自注意力编码器提取掩矩阵的分布特征，生成关于高维稀疏评分矩阵的分布信息；
S3：利用自注意力对抗神经网络搭建推荐***的评分预测模型，并根据分布信息和高维稀疏评分矩阵对评分预测模型进行训练；
S4：利用训练后的评分预测模型评估高维稀疏评分矩阵，完成用户对项目的评分预测。
2.根据权利要求1所述的基于自注意力对抗神经网络的推荐***评分预测方法，其特征在于，所述步骤S1包括以下子步骤：
S11：采集用户信息、项目信息和用户对项目评分数据，得到用户集
Figure FDA0002954630820000011
项目集
Figure FDA0002954630820000012
和用户对项目的评分集合
Figure FDA0002954630820000013
其中，n表示用户数，m表示项目数，u1,u2,…,un表示第1到第n个用户，i1,i2,…,im表示第1到第m个项目，su,i表示用户u对项目i的评分，v表示评分最大值；
S12：根据用户对项目的评分集合
Figure FDA0002954630820000014
构建高维稀疏评分矩阵R，其中，每个元素ru,i的表达式为：
Figure FDA0002954630820000015
S13：根据高维稀疏评分矩阵R，构建对应的掩矩阵H∈{0,1}n×m，其中，每个元素hu,i的表达式为：
Figure FDA0002954630820000021
其中，1表示用户u对项目i的评分已知，0表示用户u对项目i的评分未知，
Figure FDA0002954630820000022
表示R中已知元素集合，
Figure FDA0002954630820000023
表示未知元素集合。
3.根据权利要求1所述的基于自注意力对抗神经网络的推荐***评分预测方法，其特征在于，所述步骤S2包括以下子步骤：
S21：设掩矩阵H中的每一个行向量{h1,…,hu,…,hn}服从第一数据分布q(h)；
S22：定义自注意力编码器，将来自第一数据分布q(h)的样本hu∈H转换为对应的低维隐特征表示zu，其中，zu为第二数据分布q(z)的一个样本；
S23：将来自第二数据分布q(z)的低维隐特征表示zu作为自注意力解码器的输入，并生成样本hu的重构样本
Figure FDA0002954630820000024
S24：计算样本hu和重构样本
Figure FDA0002954630820000025
之间的重构误差rec_error；
S25：设置已知解析式的分布p(z)，并根据已知解析式的分布p(z)和第二数据分布q(z)之间的距离训练自注意力编码器和自注意力解码器；
S26：利用训练后的自注意力编码器将掩向量转换为服从已知解析式的分布p(z)的低维隐特征表示，利用训练后的自注意力解码器将来自已知解析式的分布p(z)的样本数据转换为分布信息，生成关于高维稀疏评分矩阵的分布信息。
4.根据权利要求3所述的基于自注意力对抗神经网络的推荐***评分预测方法，其特征在于，所述步骤S22包括以下子步骤：
S221：利用小批量梯度下降算法，从掩矩阵H中随机采样t个掩向量{hu,hu+1…,hu+t}，组成输入矩阵X；
S222：定义自注意力编码器，将输入矩阵X作为自注意力编码器的输入，将来自第一数据分布q(h)的样本hu∈H转换为对应的低维隐特征表示zu，其中，zu为第二数据分布q(z)的一个样本。
5.根据权利要求4所述的基于自注意力对抗神经网络的推荐***评分预测方法，其特征在于，所述步骤S222中，自注意力编码器包括卷积层、自注意力层和池化层；
构建所述卷积层的方法为：所述卷积层包含K个1×1的卷积核，利用卷积核提取输入矩阵X的特征映射E，其计算公式为：
Figure FDA0002954630820000031
其中，*表示二维卷积计算，
Figure FDA0002954630820000032
表示第k个卷积核的参数，
Figure FDA0002954630820000033
表示第k个卷积核的偏差，σ(·)表示激活函数；
构建所述自注意力层的方法为：计算特征映射E中每个元素之间的依赖关系矩阵Y，并将依赖关系矩阵Y融入至特征映射E中，得到融合特征I，其特征映射E中每个元素yp和融合特征I的计算公式分别为：
Figure FDA0002954630820000034
Figure FDA0002954630820000035
其中，ep表示特征映射E的第p个元素，eq表示特征映射E的第q个元素，yp表示Y的第p个元素，f(·)表示计算任意两点相似关系的函数，g(·)表示一个映射函数，γ(E)表示归一化因子，
Figure FDA0002954630820000036
表示第k个自注意力层卷积核的参数，
Figure FDA0002954630820000037
第k个自注意力层卷积核的偏差；
构建所述池化层的方法为：将融合特征I输入到池化核大小为c×c和滑动步幅为a的池化层中，池化层的表达式为：
Z＝MeanPooling2D(I)
其中，MeanPooling2D(·)表示平均池化，Z表示低维隐特征矩阵，每一个行向量{zu,zu+1…,zu+t}表示掩向量{hu,hu+1…,hu+t}的低维隐特征表示。
6.根据权利要求3所述的基于自注意力对抗神经网络的推荐***评分预测方法，其特征在于，所述步骤S23中，生成样本{hu,hu+1…,hu+t}对应的重构数据
Figure FDA0002954630820000041
将重构数据组成的矩阵用
Figure FDA0002954630820000042
表示，其计算公式为：
Figure FDA0002954630820000043
Figure FDA0002954630820000044
其中，D0表示模型的输入，Dl-1表示第l-1层的输出，Dl表示第l层的输出，Ul表示第l个上采样层的输出，UL-1表示第L-1个上采样层的输出，K表示卷积核个数，σ(·)表示激活函数，
Figure FDA0002954630820000045
表示第l-1层中第k个卷积核的参数，
Figure FDA0002954630820000046
表示第l-1层中第k个卷积核的偏差，L表示反卷积层的个数，Z表示低维隐特征矩阵，UpSampling2D(·)表示上采样层，
Figure FDA0002954630820000047
表示第L层中第k个卷积核的参数，
Figure FDA0002954630820000048
表示第L层中第k个卷积核的偏差。
7.根据权利要求3所述的基于自注意力对抗神经网络的推荐***评分预测方法，其特征在于，所述步骤S24中，重构误差rec_error的计算公式为：
Figure FDA0002954630820000049
其中，X表示输入矩阵，
Figure FDA00029546308200000410
表示重构数据矩阵。
8.根据权利要求3所述的基于自注意力对抗神经网络的推荐***评分预测方法，其特征在于，所述步骤S25中，计算已知解析式的分布p(z)和第二数据分布q(z)之间的距离C(p(z),q(z))包括以下子步骤：
S251：设置已知解析式的分布p(z)；
S252：利用全连接神经网络建立判别器；
S253：从已知解析式的分布p(z)中随机采样t个低维隐特征表示
Figure FDA00029546308200000411
从分布q(z)中随机采样t个低维隐特征表示{z1,…,zt}，
S254：将低维隐特征表示
Figure FDA0002954630820000051
和{z1,…,zt}作为判别器的输入，并输出判别结果；
S253：根据判别结果，计算已知解析式的分布p(z)和第二数据分布q(z)之间的距离C(p(z),q(z))，其计算公式为：
Figure FDA0002954630820000052
其中，D(·)表示判别结果，log(·)表示对数函数，
Figure FDA0002954630820000053
表示在z的第二数据分布q(z)上计算数学期望值，
Figure FDA0002954630820000054
表示在
Figure FDA0002954630820000055
的数据分布
Figure FDA0002954630820000056
上计算数学期望值。
9.根据权利要求3所述的基于自注意力对抗神经网络的推荐***评分预测方法，其特征在于，所述步骤S26中，自注意力编码器的目标函数表达式为rec_error；判别器的目标函数表达式为dis_loss＝C(p(z),q(z))；自注意力解码器的目标函数表达式为
Figure FDA0002954630820000057
其中，rec_error表示样本hu和重构样本
Figure FDA0002954630820000058
之间的重构误差，C(p(z),q(z))表示已知解析式的分布p(z)和第二数据分布q(z)之间的距离，D(·)表示判别结果，log(·)表示对数函数，
Figure FDA0002954630820000059
表示在
Figure FDA00029546308200000510
的数据分布
Figure FDA00029546308200000511
上计算数学期望值。
10.根据权利要求3所述的基于自注意力对抗神经网络的推荐***评分预测方法，其特征在于，所述步骤S3包括以下子步骤：
S31：设置高维稀疏评分矩阵R中的行向量{r1,…,ru,…,rn}服从真实数据分布pr，并将行向量{r1,…,ru,…,rn}作为真实评分向量，其中，ru表示用户u的评分向量；
S32：构建自注意力对抗神经网络模型，其中，所述自注意力对抗神经网络模型的生成器为自注意力自编码器结构，判别器为全连接神经网络，并设置生成器生成的预测评分向量服从生成器分布pg；
S33：将重构样本
Figure FDA0002954630820000061
和用户的评分向量ru进行融合，得到融合数据
Figure FDA0002954630820000062
进行融合的计算公式为：
Figure FDA0002954630820000063
其中，hu表示样本，⊙表示逻辑运算；
S34：将融合数据
Figure FDA0002954630820000064
作为生成器的输入，计算每个用户的预测评分向量
Figure FDA0002954630820000065
其计算公式为：
Figure FDA0002954630820000066
其中，
Figure FDA0002954630820000067
n表示用户数，SAAE(·)表示自注意力自编码器；
S35：将预测评分向量
Figure FDA0002954630820000068
和真实评分向量{r1,…,ru,…,rn}作为判别器的输入，判别真实数据分布pr和生成器分布pg的评分样本数据与真实评分数据的差距，并输出判别结果；
S36：根据判别结果训练评分预测模型，直至评分预测模型收敛；
所述步骤S35中，利用稀疏化法便于判别器区分，其表达式为：
Figure FDA0002954630820000069
其中，
Figure FDA00029546308200000610
表示经过稀疏化后的用户u的预测评分向量；
所述步骤S36中，根据判别结果对判别器进行训练，其目标函数表达式为：
Figure FDA00029546308200000611
其中，JDis表示判别器的目标函数，
Figure FDA00029546308200000612
表示在ru的真实数据分布pr上计算数学期望值，
Figure FDA00029546308200000613
表示在
Figure FDA00029546308200000614
的生成器分布pg上计算数学期望值，Dis(·)表示判别器对其输入的判别结果；
根据判别结果对生成器进行训练，其目标函数表达式为：
Figure FDA00029546308200000615
其中，JGen表示生成器的目标函数，
Figure FDA0002954630820000071
表示在
Figure FDA0002954630820000072
的数据分布pg上计算数学期望值，
Figure FDA0002954630820000073
λ表示正则化系数，ψ表示正则化，ru,i表示高维稀疏评分矩阵R中的元素，
Figure FDA0002954630820000074
表示用户u对项目i的预测评分，
Figure FDA0002954630820000075
表示已知的评分数据集合。
CN202110217932.1A 2021-02-26 2021-02-26 一种基于自注意力对抗神经网络的推荐***评分预测方法 Active CN112784173B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110217932.1A CN112784173B (zh) 2021-02-26 2021-02-26 一种基于自注意力对抗神经网络的推荐***评分预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110217932.1A CN112784173B (zh) 2021-02-26 2021-02-26 一种基于自注意力对抗神经网络的推荐***评分预测方法

Publications (2)

Publication Number Publication Date
CN112784173A true CN112784173A (zh) 2021-05-11
CN112784173B CN112784173B (zh) 2022-06-10

Family

ID=75762027

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110217932.1A Active CN112784173B (zh) 2021-02-26 2021-02-26 一种基于自注意力对抗神经网络的推荐***评分预测方法

Country Status (1)

Country Link
CN (1) CN112784173B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113486257A (zh) * 2021-07-01 2021-10-08 湖北工业大学 一种基于对抗矩阵分解的协调过滤卷积神经网络推荐***及方法
CN114693624A (zh) * 2022-03-23 2022-07-01 腾讯科技（深圳）有限公司 一种图像检测方法、装置、设备及可读存储介质
CN115225369A (zh) * 2022-07-15 2022-10-21 北京天融信网络安全技术有限公司 一种僵尸网络的检测方法、装置及设备
CN114693624B (zh) * 2022-03-23 2024-07-26 腾讯科技（深圳）有限公司 一种图像检测方法、装置、设备及可读存储介质

Citations (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102129463A (zh) * 2011-03-11 2011-07-20 北京航空航天大学 一种融合项目相关性的基于pmf的协同过滤推荐***
CN102789499A (zh) * 2012-07-16 2012-11-21 浙江大学 基于物品间情景化隐式关系的协同过滤方法
CN103942288A (zh) * 2014-04-10 2014-07-23 南京邮电大学 一种基于用户风险偏好的服务推荐方法
CN105844261A (zh) * 2016-04-21 2016-08-10 浙江科技学院 基于优化特征投影矩阵的3d掌纹稀疏表示识别方法
CN106055873A (zh) * 2016-05-20 2016-10-26 北京旷视科技有限公司 基于图像识别的健身辅助方法及装置
CN106446015A (zh) * 2016-08-29 2017-02-22 北京工业大学 一种基于用户行为偏好的视频内容访问预测与推荐方法
CN107122722A (zh) * 2017-04-19 2017-09-01 大连理工大学 一种基于多特征的自适应压缩跟踪算法
CN107273349A (zh) * 2017-05-09 2017-10-20 清华大学 一种基于多种语言的实体关系抽取方法及服务器
CN108563640A (zh) * 2018-04-24 2018-09-21 中译语通科技股份有限公司 一种多语言对的神经网络机器翻译方法及***
CN108595550A (zh) * 2018-04-10 2018-09-28 南京邮电大学 一种基于卷积神经网络的音乐推荐***及推荐方法
CN108665308A (zh) * 2018-05-07 2018-10-16 华东师范大学 评分预测方法和装置
CN108874790A (zh) * 2018-06-29 2018-11-23 中译语通科技股份有限公司 一种基于语言模型和翻译模型的清洗平行语料方法及***
CN109522372A (zh) * 2018-11-21 2019-03-26 北京交通大学 民航领域旅客价值的预测方法
CN109784806A (zh) * 2018-12-27 2019-05-21 北京航天智造科技发展有限公司 供应链控制方法、***以及存储介质
CN110188351A (zh) * 2019-05-23 2019-08-30 北京神州泰岳软件股份有限公司 语句通顺度及句法评分模型的训练方法及装置
CN110196946A (zh) * 2019-05-29 2019-09-03 华南理工大学 一种基于深度学习的个性化推荐方法
CN110442781A (zh) * 2019-06-28 2019-11-12 武汉大学 一种基于生成对抗网络的对级排序项目推荐方法
CN110832596A (zh) * 2017-10-16 2020-02-21 因美纳有限公司 基于深度学习的深度卷积神经网络训练方法
CN110866637A (zh) * 2019-11-06 2020-03-06 湖南大学 评分预测方法、装置、计算机设备和存储介质
CN111061951A (zh) * 2019-12-11 2020-04-24 华东师范大学 一种基于双层自注意力评论建模的推荐模型
CN111126864A (zh) * 2019-12-26 2020-05-08 中国地质大学（武汉） 一种基于人机对抗评分的街道品质评估方法
CN111160016A (zh) * 2019-04-15 2020-05-15 深圳碳云智能数字生命健康管理有限公司 语义识别方法、装置、计算机可读存储介质和计算机设备
CN111191718A (zh) * 2019-12-30 2020-05-22 西安电子科技大学 基于图注意力网络的小样本sar目标识别方法
US20200380072A1 (en) * 2019-05-31 2020-12-03 Accenture Global Solutions Limited System And Method For Transforming Unstructured Text Into Structured Form
CN112328900A (zh) * 2020-11-27 2021-02-05 北京工业大学 一种融合评分矩阵和评论文本的深度学习推荐方法

Patent Citations (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102129463A (zh) * 2011-03-11 2011-07-20 北京航空航天大学 一种融合项目相关性的基于pmf的协同过滤推荐***
CN102789499A (zh) * 2012-07-16 2012-11-21 浙江大学 基于物品间情景化隐式关系的协同过滤方法
CN103942288A (zh) * 2014-04-10 2014-07-23 南京邮电大学 一种基于用户风险偏好的服务推荐方法
CN105844261A (zh) * 2016-04-21 2016-08-10 浙江科技学院 基于优化特征投影矩阵的3d掌纹稀疏表示识别方法
CN106055873A (zh) * 2016-05-20 2016-10-26 北京旷视科技有限公司 基于图像识别的健身辅助方法及装置
CN106446015A (zh) * 2016-08-29 2017-02-22 北京工业大学 一种基于用户行为偏好的视频内容访问预测与推荐方法
CN107122722A (zh) * 2017-04-19 2017-09-01 大连理工大学 一种基于多特征的自适应压缩跟踪算法
CN107273349A (zh) * 2017-05-09 2017-10-20 清华大学 一种基于多种语言的实体关系抽取方法及服务器
CN110870019A (zh) * 2017-10-16 2020-03-06 因美纳有限公司 用于训练深层卷积神经网络集合的半监督学习
CN110832596A (zh) * 2017-10-16 2020-02-21 因美纳有限公司 基于深度学习的深度卷积神经网络训练方法
CN108595550A (zh) * 2018-04-10 2018-09-28 南京邮电大学 一种基于卷积神经网络的音乐推荐***及推荐方法
CN108563640A (zh) * 2018-04-24 2018-09-21 中译语通科技股份有限公司 一种多语言对的神经网络机器翻译方法及***
CN108665308A (zh) * 2018-05-07 2018-10-16 华东师范大学 评分预测方法和装置
CN108874790A (zh) * 2018-06-29 2018-11-23 中译语通科技股份有限公司 一种基于语言模型和翻译模型的清洗平行语料方法及***
CN109522372A (zh) * 2018-11-21 2019-03-26 北京交通大学 民航领域旅客价值的预测方法
CN109784806A (zh) * 2018-12-27 2019-05-21 北京航天智造科技发展有限公司 供应链控制方法、***以及存储介质
CN111160016A (zh) * 2019-04-15 2020-05-15 深圳碳云智能数字生命健康管理有限公司 语义识别方法、装置、计算机可读存储介质和计算机设备
CN110188351A (zh) * 2019-05-23 2019-08-30 北京神州泰岳软件股份有限公司 语句通顺度及句法评分模型的训练方法及装置
CN110196946A (zh) * 2019-05-29 2019-09-03 华南理工大学 一种基于深度学习的个性化推荐方法
US20200380072A1 (en) * 2019-05-31 2020-12-03 Accenture Global Solutions Limited System And Method For Transforming Unstructured Text Into Structured Form
CN110442781A (zh) * 2019-06-28 2019-11-12 武汉大学 一种基于生成对抗网络的对级排序项目推荐方法
CN110866637A (zh) * 2019-11-06 2020-03-06 湖南大学 评分预测方法、装置、计算机设备和存储介质
CN111061951A (zh) * 2019-12-11 2020-04-24 华东师范大学 一种基于双层自注意力评论建模的推荐模型
CN111126864A (zh) * 2019-12-26 2020-05-08 中国地质大学（武汉） 一种基于人机对抗评分的街道品质评估方法
CN111191718A (zh) * 2019-12-30 2020-05-22 西安电子科技大学 基于图注意力网络的小样本sar目标识别方法
CN112328900A (zh) * 2020-11-27 2021-02-05 北京工业大学 一种融合评分矩阵和评论文本的深度学习推荐方法

Non-Patent Citations (7)

* Cited by examiner, † Cited by third party
Title
D. D. LEE: "Algorithms for non-negative matrix-factorization", 《ADVANCES IN NEURAL INFORMATION PROCESSING SYSTEMS(NIPS), DENVER, CO, USA》 *
仝鑫等: "面向中文文本分类的词级对抗样本生成方法", 《信息网络安全》 *
康嘉钰等: "基于生成对抗网络的长短兴趣推荐模型", 《计算机技术与发展》 *
张军阳等: "深度学习相关研究综述", 《计算机应用研究》 *
曹大为等: "基于加权核非负矩阵分解的短文本聚类算法", 《计算机应用》 *
王宇飞等: "融合项目图像的混合推荐算法", 《计算机应用与软件》 *
罗洋等: "融合注意力LSTM的协同过滤推荐算法", 《中文信息学报》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113486257A (zh) * 2021-07-01 2021-10-08 湖北工业大学 一种基于对抗矩阵分解的协调过滤卷积神经网络推荐***及方法
CN114693624A (zh) * 2022-03-23 2022-07-01 腾讯科技（深圳）有限公司 一种图像检测方法、装置、设备及可读存储介质
CN114693624B (zh) * 2022-03-23 2024-07-26 腾讯科技（深圳）有限公司 一种图像检测方法、装置、设备及可读存储介质
CN115225369A (zh) * 2022-07-15 2022-10-21 北京天融信网络安全技术有限公司 一种僵尸网络的检测方法、装置及设备

Also Published As

Publication number Publication date
CN112784173B (zh) 2022-06-10

Similar Documents

Publication Publication Date Title
Zhu et al. Forming a new small sample deep learning model to predict total organic carbon content by combining unsupervised learning with semisupervised learning
CN112446591B (zh) 一种用于学生综合能力评价的零样本评价方法
CN111859680A (zh) 一种***性能综合评价方法
CN105975573B (zh) 一种基于knn的文本分类方法
CN110472817A (zh) 一种结合深度神经网络的XGBoost集成信用评价***及其方法
CN112784173B (zh) 一种基于自注意力对抗神经网络的推荐***评分预测方法
CN112541532B (zh) 基于密集连接结构的目标检测方法
CN113298230B (zh) 一种基于生成对抗网络的不平衡数据集的预测方法
CN111222847B (zh) 基于深度学习与非监督聚类的开源社区开发者推荐方法
CN103714148B (zh) 基于稀疏编码分类的sar图像检索方法
CN110880369A (zh) 基于径向基函数神经网络的气体标志物检测方法及应用
CN115047421A (zh) 一种基于Transformer的雷达目标识别方法
CN108108762A (zh) 一种用于冠心病数据分类的基于核极限学习机及并行化的随机森林分类方法
CN112685591A (zh) 用户兴趣区域与反馈引导的图片精准检索方法
CN114926693A (zh) 基于加权距离的sar图像小样本识别方法及装置
CN115511214A (zh) 基于多尺度样本不均的矿产预测方法及***
CN114580262A (zh) 一种锂离子电池健康状态估计方法
CN104463207A (zh) 知识自编码网络及其极化sar影像地物分类方法
Wang et al. Classification and extent determination of rock slope using deep learning
CN112508684B (zh) 一种基于联合卷积神经网络的催收风险评级方法及***
Hoang et al. Categorical weighting domination for imbalanced classification with skin cancer in intelligent healthcare systems
CN117371511A (zh) 图像分类模型的训练方法、装置、设备及存储介质
Wen et al. Short-term load forecasting based on feature mining and deep learning of big data of user electricity consumption
CN114626594A (zh) 一种基于聚类分析和深度学习的中长期电量预测方法
Abed Salman et al. Creating a cutting-edge neurocomputing model with high precision

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant