CN112784173A - 一种基于自注意力对抗神经网络的推荐***评分预测方法 - Google Patents
一种基于自注意力对抗神经网络的推荐***评分预测方法 Download PDFInfo
- Publication number
- CN112784173A CN112784173A CN202110217932.1A CN202110217932A CN112784173A CN 112784173 A CN112784173 A CN 112784173A CN 202110217932 A CN202110217932 A CN 202110217932A CN 112784173 A CN112784173 A CN 112784173A
- Authority
- CN
- China
- Prior art keywords
- self
- attention
- distribution
- matrix
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9536—Search customisation based on social or collaborative filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于自注意力对抗神经网络的推荐***评分预测方法,包括以下步骤:S1:采集用户信息、项目信息和用户对项目评分数据,构建高维稀疏评分矩阵和对应的掩矩阵;S2:生成关于高维稀疏评分矩阵的分布信息;S3:利用自注意力对抗神经网络搭建推荐***的评分预测模型,并对评分预测模型进行训练;S4:评估高维稀疏评分矩阵,完成用户对项目的评分预测。本发明将自注意力机制和判别自动编码器结合,并给出了应用于推荐***中的具体方法。利用自注意力判别自编码器从高维稀疏矩阵的掩矩阵中提取评分数据的分布信息,为后续的学习评分数据特征和预测评分数据提供更多的分布信息。
Description
技术领域
本发明属于推荐***技术领域,具体涉及一种基于自注意力对抗神经网络的推荐***评分预测方法。
背景技术
互联网的飞速发展造成了信息过载问题,严重影响用户获取有用信息的效率。为了解决这个问题,推荐***技术获得了大量的研究成果。在推荐***中,用户-项目之间的评分数据是基础的数据来源。由于***中有大量的用户和项目,每一个用户不可能给所有的项目打评,因此评分数据非常少。通常使用高维稀疏矩阵表示这些评分数据,矩阵中只有少量的元素是已知的。为了解决这个高维稀疏矩阵,大量的基于协同过滤的方法被提出。这些方法主要利用已有的评分数据提取用户和项目的低维隐特征表示,存在以下缺点:其一,没有充分利用高维稀疏矩阵数据中局部区域评分数据之间的关系;其二,没有考虑高维稀疏矩阵中评分数据的整体分布特征。
发明内容
本发明的目的是为了解决用户项目之间评分预测的问题,提出了一种基于自注意力对抗神经网络的推荐***评分预测方法。
本发明的技术方案是:一种基于自注意力对抗神经网络的推荐***评分预测方法包括以下步骤:
S1:采集用户信息、项目信息和用户对项目评分数据,构建高维稀疏评分矩阵和对应的掩矩阵;
S2:利用自注意力编码器提取掩矩阵的分布特征,生成关于高维稀疏评分矩阵的分布信息;
S3:利用自注意力对抗神经网络搭建推荐***的评分预测模型,并根据分布信息和高维稀疏评分矩阵对评分预测模型进行训练;
S4:利用训练后的评分预测模型评估高维稀疏评分矩阵,完成用户对项目的评分预测。
本发明的有益效果是:
(1)本发明将自注意力机制和判别自动编码器结合,并给出了应用于推荐***中的具体方法。利用自注意力判别自编码器从高维稀疏矩阵的掩矩阵中提取评分数据的分布信息,为后续的学习评分数据特征和预测评分数据提供更多的分布信息。同时,该模型采用卷积神经网络提取掩矩阵中的局部区域的分布特征。除此之外,还利用自注意力机制计算掩矩阵中所有数据之间的依赖关系,获得全局的分布特征。最后将局部区域的分布特征和全局分布特征融合来训练模型,能够有效的全面的获取掩矩阵的分布信息。
(2)本发明建立了基于对抗神经网络的预测模型来估计高维稀疏矩阵中缺失的评分数据。将高维稀疏矩阵的分布信息和评分数据融合作为训练数据,并且将自注意力机制融入到生成器模型中,有利于对抗神经网络感知评分数据之间的依赖关系,从而更好的学习评分数据的特征。同时,将预测的评分数据和真实的评分数据之间的均方差作为对抗神经网络目标函数的正则化项,有利于提高模型的预测精度。
进一步地,步骤S1包括以下子步骤:
S11:采集用户信息、项目信息和用户对项目评分数据,得到用户集项目集和用户对项目的评分集合其中,n表示用户数,m表示项目数,u1,u2,…,un表示第1到第n个用户,i1,i2,…,im表示第1到第m个项目,su,i表示用户u对项目i的评分,v表示评分最大值;
S13:根据高维稀疏评分矩阵R,构建对应的掩矩阵H∈{0,1}n×m,其中,每个元素hu,i的表达式为:
上述进一步方案的有益效果是:在本发明中,针对基于评分反馈的互联网应用设计推荐***模型,用于预测缺失的评分数据,为用户提供可能感兴趣的项目。首先,需要从一个实际应用中收集用户信息,项目信息以及用户对项目评分数据,例如电影评分、笑话评分和网络服务质量评分数据等。矩阵中,和分别表示R中已知元素集合和未知元素集合,由于因此R是一个高维稀疏矩阵。掩矩阵H能反映R中已知评分的整体分布特征,每一个行向量hu∈H能反映用户u的评分数据的分布特征。
进一步地,步骤S2包括以下子步骤:
S21:设置掩矩阵H中的每一个行向量{h1,…,hu,…,hn}服从第一数据分布q(h);
S22:定义自注意力编码器,将来自第一数据分布q(h)的样本hu∈H转换为对应的低维隐特征表示zu,其中,zu为第二数据分布q(z)的一个样本;
S25:设置已知解析式的分布p(z),并根据已知解析式的分布p(z)和第二数据分布q(z)之间的距离训练自注意力编码器和自注意力解码器;
S26:利用训练后的自注意力编码器将掩向量转换为服从已知解析式的分布p(z)的低维隐特征表示,利用训练后的自注意力解码器将来自已知解析式的分布p(z)的样本数据转换为分布信息,生成关于高维稀疏评分矩阵的分布信息。
上述进一步方案的有益效果是:在本发明中,假设H中的每一个行向量{h1,…,hu,…,hn}服从一个数据分布q(h)。对应的低维隐特征矩阵表示为其中行向量{z1,…,zu,…,zn}表示低维隐特征表示,d表示隐特征表示的维度。假设低维隐特征表示服从一个解析式未知的数据分布q(z)。
进一步地,步骤S22包括以下子步骤:
S221:利用小批量梯度下降算法,从掩矩阵H中随机采样t个掩向量{hu,hu+1…,hu+t},组成输入矩阵X;
S222:定义自注意力编码器,将输入矩阵X作为自注意力编码器的输入,将来自第一数据分布q(h)的样本hu∈H转换为对应的低维隐特征表示zu,其中,zu为第二数据分布q(z)的一个样本。
进一步地,步骤S222中,自注意力编码器包括卷积层、自注意力层和池化层;
构建卷积层的方法为:卷积层包含K个1×1的卷积核,利用卷积核提取输入矩阵X的特征映射E,其计算公式为:
构建自注意力层的方法为:计算特征映射E中每个元素之间的依赖关系矩阵Y,并将依赖关系矩阵Y融入至特征映射E中,得到融合特征I,其特征映射E中每个元素yp和融合特征I的计算公式分别为:
其中,ep表示特征映射E的第p个元素,eq表示特征映射E的第q个元素,yp表示Y的第p个元素,f(·)表示计算任意两点相似关系的函数,g(·)表示一个映射函数,γ(E)表示归一化因子,表示第k个自注意力层卷积核的参数,第k个自注意力层卷积核的偏差;
构建池化层的方法为:将融合特征I输入到池化核大小为c×c和滑动步幅为a的池化层中,池化层的表达式为:
Z=MeanPooling2D(I)
其中,MeanPooling2D(·)表示平均池化,Z表示低维隐特征矩阵,每一个行向量{zu,zu+1…,zu+t}表示掩向量{hu,hu+1…,hu+t}的低维隐特征表示。
上述进一步方案的有益效果是:在本发明中,在自注意力层,首先计算特征映射E中每个元素之间的依赖关系矩阵Y,将依赖关系矩阵Y融入到特征映射E中,为卷积操作中每一个感受野提取的局部特征引入全局特征,从而为后面的卷积层带去更丰富的信息;其中,g(·)表示一个映射函数,用于计算一个点的特征向量。
其中,D0表示模型的输入,Dl-1表示第l-1层的输出,Dl表示第l层的输出,Ul表示第l个上采样层的输出,UL-1表示第L-1个上采样层的输出,K表示卷积核个数,σ(·)表示激活函数,表示第l-1层中第k个卷积核的参数,表示第l-1层中第k个卷积核的偏差,L表示反卷积层的个数,Z表示低维隐特征矩阵,UpSampling2D(·)表示上采样层,表示第L层中第k个卷积核的参数,表示第L层中第k个卷积核的偏差。
Dl和Ul表示该计算步骤中间结果,便于阐述该计算步骤的详细过程,和计算重构数据具有直接的关系。
进一步地,步骤S24中,重构误差rec_error的计算公式为:
进一步地,步骤S25中,计算已知解析式的分布p(z)和第二数据分布q(z)之间的距离C(p(z),q(z))包括以下子步骤:
S251:设置已知解析式的分布p(z);
S252:利用全连接神经网络建立判别器;
S253:根据判别结果,计算已知解析式的分布p(z)和第二数据分布q(z)之间的距离C(p(z),q(z)),其计算公式为:
上述进一步方案的有益效果是:在本发明中,为了使解码器能够生成新的掩向量解码器必须接收来自q(z)的其他向量作为输入,然而q(z)的解析式未知,难以直接获取其他数据样本。为了间接地获取q(z)分布的其他样本z*,假设一个解析式已知的分布p(z)是q(z)的等价分布,则q(z)中的样本服从于p(z)并且p(z)中的样本也服从于q(z)。此时,利用p(z)中的样本作为解码器的输入数据,就可以生成新的掩向量。为了满足该假设,将q(z)和p(z)之间的距离作为编码器和解码器目标函数的一部分,利用该目标函数更新编码器和解码器的参数,使编码器能够将数据分布q(h)转换为q(z)的等价分布p(z),并且解码器能够将编码器输出的低维隐特征表示转换为新的掩向量。经过训练,转换后的低维隐特征表示越来越相似于p(z)的样本。
进一步地,步骤S26中,自注意力编码器的目标函数表达式为rec_error;判别器的目标函数表达式为dis_loss=C(p(z),q(z));自注意力解码器的目标函数表达式为其中,rec_error表示样本hu和重构样本之间的重构误差,C(p(z),q(z))表示已知解析式的分布p(z)和第二数据分布q(z)之间的距离,D(·)表示判别结果,log(·)表示对数函数,表示在的数据分布上计算数学期望值。
上述进一步方案的有益效果是:在本发明中,训练完成后,编码器能够将掩向量转换为服从数据分布p(z)的低维隐特征表示,解码器可以将来自p(z)的样本数据转换为有用的分布信息。由于p(z)的解析式已知,可以从中均匀地获取大量的低维隐特征表示数据,经过解码器转换,获得更全面的关于高维稀疏评分矩阵的分布信息。
进一步地,步骤S3包括以下子步骤:
S31:设置高维稀疏评分矩阵R中的行向量{r1,…,ru,…,rn}服从真实数据分布pr,并将行向量{r1,…,ru,…,rn}作为真实评分向量,其中,ru表示用户u的评分向量;
S32:构建自注意力对抗神经网络模型,其中,自注意力对抗神经网络模型的生成器为自注意力自编码器结构,判别器为全连接神经网络,并设置生成器生成的预测评分向量服从生成器分布pg;
其中,hu表示样本,⊙表示逻辑运算;
S36:根据判别结果训练评分预测模型,直至评分预测模型收敛;
步骤S35中,利用稀疏化法便于判别器区分,其表达式为:
步骤S36中,根据判别结果对判别器进行训练,其目标函数表达式为:
根据判别结果对生成器进行训练,其目标函数表达式为:
其中,JGen表示生成器的目标函数,表示在的数据分布pg上计算数学期望值,λ表示正则化系数,ψ表示正则化,ru,i表示高维稀疏评分矩阵R中的元素,表示用户u对项目i的预测评分,表示已知的评分数据集合。
上述进一步方案的有益效果是:在本发明中,为了学习R中评分数据的特征,首先假设R中的行向量{r1,…,ru,…,rn}服从真实的数据分布pr;建立自注意力对抗神经网络模型,生成器使用自注意力自编码器结构,判别器使用全连接神经网络;为了使生成器能够生成真实的评分向量,假设生成器生成的预测评分向量服从生成器分布pg。如果能使pg和pr相同,此时生成器生成的预测评分向量是真实的;为了使pg靠近pr直至相同,将两个分布之间的距离作为模型的目标函数。利用该目标函数更新生成器的参数,使分布距离越来越小;由于pg和pr的解析式未知,无法通过明确的公式计算二者距离。因此,通过判别器估计两个分布的样本数据与真实分布的样本数据间的差距,再带入Wasserstein距离公式中近似计算pg和pr的距离;为了获取生成器分布的样本数据,首先获取生成器的输入。从S2学习的解码器采样掩向量并将掩向量和用户的评分向量ru融合,为评分数据提供更多的分布信息,将融合数据作为生成器的输入。生成器计算出每个用户的预测评分向量将预测评分向量和真实评分向量{r1,…,ru,…,rn}作为判别器的输入,用于评估两类数据和真实评分数据的差距;由于真实评分向量只有少量的已知评分数据,大量的未知评分用0填充,而预测评分向量全部的预测的评分值,判别器难以判别二者的真假。因此,利用掩向量将预测评分向量稀疏化,只保留预测评分向量中与已知评分数据对应的预测评分,从而在形式上保持同意,在数据上只保留真假评分数据的特征,便于判别器区分。稀疏化的预测评分向量和真实评分向量作为判别器的输入,输出判别结果;最后训练模型:首先训练判别器,其次训练生成器,并使用正则化,(该正则化表示预测评分和真实评分之间的均方误差),直到模型收敛。
附图说明
图1为推荐***评分预测方法的流程图。
具体实施方式
下面结合附图对本发明的实施例作进一步的说明。
如图1所示,本发明提供了一种基于自注意力对抗神经网络的推荐***评分预测方法,包括以下步骤:
S1:采集用户信息、项目信息和用户对项目评分数据,构建高维稀疏评分矩阵和对应的掩矩阵;
S2:利用自注意力编码器提取掩矩阵的分布特征,生成关于高维稀疏评分矩阵的分布信息;
S3:利用自注意力对抗神经网络搭建推荐***的评分预测模型,并根据分布信息和高维稀疏评分矩阵对评分预测模型进行训练;
S4:利用训练后的评分预测模型评估高维稀疏评分矩阵,完成用户对项目的评分预测。
在本发明实施例中,如图1所示,步骤S1包括以下子步骤:
S11:采集用户信息、项目信息和用户对项目评分数据,得到用户集项目集和用户对项目的评分集合其中,n表示用户数,m表示项目数,u1,u2,…,un表示第1到第n个用户,i1,i2,…,im表示第1到第m个项目,su,i表示用户u对项目i的评分,v表示评分最大值;
S13:根据高维稀疏评分矩阵R,构建对应的掩矩阵H∈{0,1}n×m,其中,每个元素hu,i的表达式为:
在本发明中,针对基于评分反馈的互联网应用设计推荐***模型,用于预测缺失的评分数据,为用户提供可能感兴趣的项目。首先,需要从一个实际应用中收集用户信息,项目信息以及用户对项目评分数据,例如电影评分、笑话评分和网络服务质量评分数据等。矩阵中,和分别表示R中已知元素集合和未知元素集合,由于因此R是一个高维稀疏矩阵。掩矩阵H能反映R中已知评分的整体分布特征,每一个行向量hu∈H能反映用户u的评分数据的分布特征。
在本发明实施例中,如图1所示,步骤S2包括以下子步骤:
S21:设置掩矩阵H中的每一个行向量{h1,…,hu,…,hn}服从第一数据分布q(h);
S22:定义自注意力编码器,将来自第一数据分布q(h)的样本hu∈H转换为对应的低维隐特征表示zu,其中,zu为第二数据分布q(z)的一个样本;
S25:设置已知解析式的分布p(z),并根据已知解析式的分布p(z)和第二数据分布q(z)之间的距离训练自注意力编码器和自注意力解码器;
S26:利用训练后的自注意力编码器将掩向量转换为服从已知解析式的分布p(z)的低维隐特征表示,利用训练后的自注意力解码器将来自已知解析式的分布p(z)的样本数据转换为分布信息,生成关于高维稀疏评分矩阵的分布信息。
在本发明中,假设H中的每一个行向量{h1,…,hu,…,hn}服从一个数据分布q(h)。对应的低维隐特征矩阵表示为其中行向量{z1,…,zu,…,zn}表示低维隐特征表示,d表示隐特征表示的维度。假设低维隐特征表示服从一个解析式未知的数据分布q(z)。
在本发明实施例中,如图1所示,步骤S22包括以下子步骤:
S221:利用小批量梯度下降算法,从掩矩阵H中随机采样t个掩向量{hu,hu+1…,hu+t},组成输入矩阵X;
S222:定义自注意力编码器,将输入矩阵X作为自注意力编码器的输入,将来自第一数据分布q(h)的样本hu∈H转换为对应的低维隐特征表示zu,其中,zu为第二数据分布q(z)的一个样本。
在本发明实施例中,如图1所示,步骤S222中,自注意力编码器包括卷积层、自注意力层和池化层;
构建卷积层的方法为:卷积层包含K个1×1的卷积核,利用卷积核提取输入矩阵X的特征映射E,其计算公式为:
构建自注意力层的方法为:计算特征映射E中每个元素之间的依赖关系矩阵Y,并将依赖关系矩阵Y融入至特征映射E中,得到融合特征I,其特征映射E中每个元素yp和融合特征I的计算公式分别为:
其中,ep表示特征映射E的第p个元素,eq表示特征映射E的第q个元素,yp表示Y的第p个元素,f(·)表示计算任意两点相似关系的函数,g(·)表示一个映射函数,γ(E)表示归一化因子,表示第k个自注意力层卷积核的参数,第k个自注意力层卷积核的偏差;
构建池化层的方法为:将融合特征I输入到池化核大小为c×c和滑动步幅为a的池化层中,池化层的表达式为:
Z=MeanPooling2D(I)
其中,MeanPooling2D(·)表示平均池化,Z表示低维隐特征矩阵,每一个行向量{zu,zu+1…,zu+t}表示掩向量{hu,hu+1…,hu+t}的低维隐特征表示。
在本发明中,在自注意力层,首先计算特征映射E中每个元素之间的依赖关系矩阵Y,将依赖关系矩阵Y融入到特征映射E中,为卷积操作中每一个感受野提取的局部特征引入全局特征,从而为后面的卷积层带去更丰富的信息;其中,g(·)表示一个映射函数,用于计算一个点的特征向量。
其中,D0表示模型的输入,Dl-1表示第l-1层的输出,Dl表示第l层的输出,Ul表示第l个上采样层的输出,UL-1表示第L-1个上采样层的输出,K表示卷积核个数,σ(·)表示激活函数,表示第l-1层中第k个卷积核的参数,表示第l-1层中第k个卷积核的偏差,L表示反卷积层的个数,Z表示低维隐特征矩阵,UpSampling2D(·)表示上采样层,表示第L层中第k个卷积核的参数,表示第L层中第k个卷积核的偏差。
Dl和Ul表示该计算步骤中间结果,便于阐述该计算步骤的详细过程,和计算重构数据具有直接的关系。
在本发明实施例中,如图1所示,步骤S24中,重构误差rec_error的计算公式为:
在本发明实施例中,如图1所示,步骤S25中,计算已知解析式的分布p(z)和第二数据分布q(z)之间的距离C(p(z),q(z))包括以下子步骤:
S251:设置已知解析式的分布p(z);
S252:利用全连接神经网络建立判别器;
S253:根据判别结果,计算已知解析式的分布p(z)和第二数据分布q(z)之间的距离C(p(z),q(z)),其计算公式为:
在本发明中,为了使解码器能够生成新的掩向量解码器必须接收来自q(z)的其他向量作为输入,然而q(z)的解析式未知,难以直接获取其他数据样本。为了间接地获取q(z)分布的其他样本z*,假设一个解析式已知的分布p(z)是q(z)的等价分布,则q(z)中的样本服从于p(z)并且p(z)中的样本也服从于q(z)。此时,利用p(z)中的样本作为解码器的输入数据,就可以生成新的掩向量。为了满足该假设,将q(z)和p(z)之间的距离作为编码器和解码器目标函数的一部分,利用该目标函数更新编码器和解码器的参数,使编码器能够将数据分布q(h)转换为q(z)的等价分布p(z),并且解码器能够将编码器输出的低维隐特征表示转换为新的掩向量。经过训练,转换后的低维隐特征表示越来越相似于p(z)的样本。
在本发明实施例中,如图1所示,步骤S26中,自注意力编码器的目标函数表达式为rec_error;判别器的目标函数表达式为dis_loss=C(p(z),q(z));自注意力解码器的目标函数表达式为其中,rec_error表示样本hu和重构样本之间的重构误差,C(p(z),q(z))表示已知解析式的分布p(z)和第二数据分布q(z)之间的距离,D(·)表示判别结果,log(·)表示对数函数,表示在的数据分布上计算数学期望值。
在本发明中,训练完成后,编码器能够将掩向量转换为服从数据分布p(z)的低维隐特征表示,解码器可以将来自p(z)的样本数据转换为有用的分布信息。由于p(z)的解析式已知,可以从中均匀地获取大量的低维隐特征表示数据,经过解码器转换,获得更全面的关于高维稀疏评分矩阵的分布信息。
在本发明实施例中,如图1所示,步骤S3包括以下子步骤:
S31:设置高维稀疏评分矩阵R中的行向量{r1,…,ru,…,rn}服从真实数据分布pr,并将行向量{r1,…,ru,…,rn}作为真实评分向量,其中,ru表示用户u的评分向量;
S32:构建自注意力对抗神经网络模型,其中,自注意力对抗神经网络模型的生成器为自注意力自编码器结构,判别器为全连接神经网络,并设置生成器生成的预测评分向量服从生成器分布pg;
其中,hu表示样本,⊙表示逻辑运算;
S36:根据判别结果训练评分预测模型,直至评分预测模型收敛;
步骤S35中,利用稀疏化法便于判别器区分,其表达式为:
步骤S36中,根据判别结果对判别器进行训练,其目标函数表达式为:
根据判别结果对生成器进行训练,其目标函数表达式为:
其中,JGen表示生成器的目标函数,表示在的数据分布pg上计算数学期望值,λ表示正则化系数,ψ表示正则化,ru,i表示高维稀疏评分矩阵R中的元素,表示用户u对项目i的预测评分,表示已知的评分数据集合。
在本发明中,为了学习R中评分数据的特征,首先假设R中的行向量{r1,…,ru,…,rn}服从真实的数据分布pr;建立自注意力对抗神经网络模型,生成器使用自注意力自编码器结构,判别器使用全连接神经网络;为了使生成器能够生成真实的评分向量,假设生成器生成的预测评分向量服从生成器分布pg。如果能使pg和pr相同,此时生成器生成的预测评分向量是真实的;为了使pg靠近pr直至相同,将两个分布之间的距离作为模型的目标函数。利用该目标函数更新生成器的参数,使分布距离越来越小;由于pg和pr的解析式未知,无法通过明确的公式计算二者距离。因此,通过判别器估计两个分布的样本数据与真实分布的样本数据间的差距,再带入Wasserstein距离公式中近似计算pg和pr的距离;为了获取生成器分布的样本数据,首先获取生成器的输入。从S2学习的解码器采样掩向量并将掩向量和用户的评分向量ru融合,为评分数据提供更多的分布信息,将融合数据作为生成器的输入。生成器计算出每个用户的预测评分向量将预测评分向量和真实评分向量{r1,…,ru,…,rn}作为判别器的输入,用于评估两类数据和真实评分数据的差距;由于真实评分向量只有少量的已知评分数据,大量的未知评分用0填充,而预测评分向量全部的预测的评分值,判别器难以判别二者的真假。因此,利用掩向量将预测评分向量稀疏化,只保留预测评分向量中与已知评分数据对应的预测评分,从而在形式上保持同意,在数据上只保留真假评分数据的特征,便于判别器区分。稀疏化的预测评分向量和真实评分向量作为判别器的输入,输出判别结果;最后训练模型:首先训练判别器,其次训练生成器,并使用正则化,(该正则化表示预测评分和真实评分之间的均方误差),直到模型收敛。
在具体实施过程中,模型的超参数会影响模型的性能,需要仔细的调节生成器的隐层维度和隐层数。除此之外,在训练自注意力对抗神经网络时,目标函数中增加了正则化项,该正则化项对模型的预测精度十分关系,需要仔细的选择正则化项稀疏来权衡正则化项和分布距离之间的比重。
综上所述,本发明从高维稀疏矩阵的分布特征和评分数据特征两个角度来考虑解决高维稀疏的评分矩阵。首先,本发明将自注意力机制和判别自动编码器结合,并给出了应用于推荐***中的具体方法。利用自注意力判别自编码器从高维稀疏矩阵的掩矩阵中提取评分数据的分布信息,为后续的学习评分数据特征和预测评分数据提供更多的分布信息。同时,该模型采用卷积神经网络提取掩矩阵中的局部区域的分布特征。除此之外,还利用自注意力机制计算掩矩阵中所有数据之间的依赖关系,获得全局的分布特征。最后将局部区域的分布特征和全局分布特征融合来训练模型,能够有效的全面的获取掩矩阵的分布信息。其次,本发明建立了基于对抗神经网络的预测模型来估计高维稀疏矩阵中缺失的评分数据。将高维稀疏矩阵的分布信息和评分数据融合作为训练数据,并且将自注意力机制融入到生成器模型中,有利于对抗神经网络感知评分数据之间的依赖关系,从而更好的学习评分数据的特征。同时,将预测的评分数据和真实的评分数据之间的均方差作为对抗神经网络目标函数的正则化项,有利于提高模型的预测精度。
本发明的工作原理及过程为:本发明提供的基于自注意力对抗神经网络的推荐***评分预测方法利用自注意力对抗神经网络学习高维稀疏矩阵的整体数据分布特征,并且利用自注意力机制和卷积神经网络学习高维稀疏矩阵的局部区域评分数据之间的关系,有利于提高预测精度。
本发明的有益效果为:
(1)本发明将自注意力机制和判别自动编码器结合,并给出了应用于推荐***中的具体方法。利用自注意力判别自编码器从高维稀疏矩阵的掩矩阵中提取评分数据的分布信息,为后续的学习评分数据特征和预测评分数据提供更多的分布信息。同时,该模型采用卷积神经网络提取掩矩阵中的局部区域的分布特征。除此之外,还利用自注意力机制计算掩矩阵中所有数据之间的依赖关系,获得全局的分布特征。最后将局部区域的分布特征和全局分布特征融合来训练模型,能够有效的全面的获取掩矩阵的分布信息。
(2)本发明建立了基于对抗神经网络的预测模型来估计高维稀疏矩阵中缺失的评分数据。将高维稀疏矩阵的分布信息和评分数据融合作为训练数据,并且将自注意力机制融入到生成器模型中,有利于对抗神经网络感知评分数据之间的依赖关系,从而更好的学习评分数据的特征。同时,将预测的评分数据和真实的评分数据之间的均方差作为对抗神经网络目标函数的正则化项,有利于提高模型的预测精度。
本领域的普通技术人员将会意识到,这里所述的实施例是为了帮助读者理解本发明的原理,应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合,这些变形和组合仍然在本发明的保护范围内。
Claims (10)
1.一种基于自注意力对抗神经网络的推荐***评分预测方法,其特征在于,包括以下步骤:
S1:采集用户信息、项目信息和用户对项目评分数据,构建高维稀疏评分矩阵和对应的掩矩阵;
S2:利用自注意力编码器提取掩矩阵的分布特征,生成关于高维稀疏评分矩阵的分布信息;
S3:利用自注意力对抗神经网络搭建推荐***的评分预测模型,并根据分布信息和高维稀疏评分矩阵对评分预测模型进行训练;
S4:利用训练后的评分预测模型评估高维稀疏评分矩阵,完成用户对项目的评分预测。
2.根据权利要求1所述的基于自注意力对抗神经网络的推荐***评分预测方法,其特征在于,所述步骤S1包括以下子步骤:
S11:采集用户信息、项目信息和用户对项目评分数据,得到用户集项目集和用户对项目的评分集合其中,n表示用户数,m表示项目数,u1,u2,…,un表示第1到第n个用户,i1,i2,…,im表示第1到第m个项目,su,i表示用户u对项目i的评分,v表示评分最大值;
S13:根据高维稀疏评分矩阵R,构建对应的掩矩阵H∈{0,1}n×m,其中,每个元素hu,i的表达式为:
3.根据权利要求1所述的基于自注意力对抗神经网络的推荐***评分预测方法,其特征在于,所述步骤S2包括以下子步骤:
S21:设掩矩阵H中的每一个行向量{h1,…,hu,…,hn}服从第一数据分布q(h);
S22:定义自注意力编码器,将来自第一数据分布q(h)的样本hu∈H转换为对应的低维隐特征表示zu,其中,zu为第二数据分布q(z)的一个样本;
S25:设置已知解析式的分布p(z),并根据已知解析式的分布p(z)和第二数据分布q(z)之间的距离训练自注意力编码器和自注意力解码器;
S26:利用训练后的自注意力编码器将掩向量转换为服从已知解析式的分布p(z)的低维隐特征表示,利用训练后的自注意力解码器将来自已知解析式的分布p(z)的样本数据转换为分布信息,生成关于高维稀疏评分矩阵的分布信息。
4.根据权利要求3所述的基于自注意力对抗神经网络的推荐***评分预测方法,其特征在于,所述步骤S22包括以下子步骤:
S221:利用小批量梯度下降算法,从掩矩阵H中随机采样t个掩向量{hu,hu+1…,hu+t},组成输入矩阵X;
S222:定义自注意力编码器,将输入矩阵X作为自注意力编码器的输入,将来自第一数据分布q(h)的样本hu∈H转换为对应的低维隐特征表示zu,其中,zu为第二数据分布q(z)的一个样本。
5.根据权利要求4所述的基于自注意力对抗神经网络的推荐***评分预测方法,其特征在于,所述步骤S222中,自注意力编码器包括卷积层、自注意力层和池化层;
构建所述卷积层的方法为:所述卷积层包含K个1×1的卷积核,利用卷积核提取输入矩阵X的特征映射E,其计算公式为:
构建所述自注意力层的方法为:计算特征映射E中每个元素之间的依赖关系矩阵Y,并将依赖关系矩阵Y融入至特征映射E中,得到融合特征I,其特征映射E中每个元素yp和融合特征I的计算公式分别为:
其中,ep表示特征映射E的第p个元素,eq表示特征映射E的第q个元素,yp表示Y的第p个元素,f(·)表示计算任意两点相似关系的函数,g(·)表示一个映射函数,γ(E)表示归一化因子,表示第k个自注意力层卷积核的参数,第k个自注意力层卷积核的偏差;
构建所述池化层的方法为:将融合特征I输入到池化核大小为c×c和滑动步幅为a的池化层中,池化层的表达式为:
Z=MeanPooling2D(I)
其中,MeanPooling2D(·)表示平均池化,Z表示低维隐特征矩阵,每一个行向量{zu,zu+1…,zu+t}表示掩向量{hu,hu+1…,hu+t}的低维隐特征表示。
8.根据权利要求3所述的基于自注意力对抗神经网络的推荐***评分预测方法,其特征在于,所述步骤S25中,计算已知解析式的分布p(z)和第二数据分布q(z)之间的距离C(p(z),q(z))包括以下子步骤:
S251:设置已知解析式的分布p(z);
S252:利用全连接神经网络建立判别器;
S253:根据判别结果,计算已知解析式的分布p(z)和第二数据分布q(z)之间的距离C(p(z),q(z)),其计算公式为:
10.根据权利要求3所述的基于自注意力对抗神经网络的推荐***评分预测方法,其特征在于,所述步骤S3包括以下子步骤:
S31:设置高维稀疏评分矩阵R中的行向量{r1,…,ru,…,rn}服从真实数据分布pr,并将行向量{r1,…,ru,…,rn}作为真实评分向量,其中,ru表示用户u的评分向量;
S32:构建自注意力对抗神经网络模型,其中,所述自注意力对抗神经网络模型的生成器为自注意力自编码器结构,判别器为全连接神经网络,并设置生成器生成的预测评分向量服从生成器分布pg;
其中,hu表示样本,⊙表示逻辑运算;
S36:根据判别结果训练评分预测模型,直至评分预测模型收敛;
所述步骤S35中,利用稀疏化法便于判别器区分,其表达式为:
所述步骤S36中,根据判别结果对判别器进行训练,其目标函数表达式为:
根据判别结果对生成器进行训练,其目标函数表达式为:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110217932.1A CN112784173B (zh) | 2021-02-26 | 2021-02-26 | 一种基于自注意力对抗神经网络的推荐***评分预测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110217932.1A CN112784173B (zh) | 2021-02-26 | 2021-02-26 | 一种基于自注意力对抗神经网络的推荐***评分预测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112784173A true CN112784173A (zh) | 2021-05-11 |
CN112784173B CN112784173B (zh) | 2022-06-10 |
Family
ID=75762027
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110217932.1A Active CN112784173B (zh) | 2021-02-26 | 2021-02-26 | 一种基于自注意力对抗神经网络的推荐***评分预测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112784173B (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113486257A (zh) * | 2021-07-01 | 2021-10-08 | 湖北工业大学 | 一种基于对抗矩阵分解的协调过滤卷积神经网络推荐***及方法 |
CN114693624A (zh) * | 2022-03-23 | 2022-07-01 | 腾讯科技(深圳)有限公司 | 一种图像检测方法、装置、设备及可读存储介质 |
CN115225369A (zh) * | 2022-07-15 | 2022-10-21 | 北京天融信网络安全技术有限公司 | 一种僵尸网络的检测方法、装置及设备 |
CN114693624B (zh) * | 2022-03-23 | 2024-07-26 | 腾讯科技(深圳)有限公司 | 一种图像检测方法、装置、设备及可读存储介质 |
Citations (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102129463A (zh) * | 2011-03-11 | 2011-07-20 | 北京航空航天大学 | 一种融合项目相关性的基于pmf的协同过滤推荐*** |
CN102789499A (zh) * | 2012-07-16 | 2012-11-21 | 浙江大学 | 基于物品间情景化隐式关系的协同过滤方法 |
CN103942288A (zh) * | 2014-04-10 | 2014-07-23 | 南京邮电大学 | 一种基于用户风险偏好的服务推荐方法 |
CN105844261A (zh) * | 2016-04-21 | 2016-08-10 | 浙江科技学院 | 基于优化特征投影矩阵的3d掌纹稀疏表示识别方法 |
CN106055873A (zh) * | 2016-05-20 | 2016-10-26 | 北京旷视科技有限公司 | 基于图像识别的健身辅助方法及装置 |
CN106446015A (zh) * | 2016-08-29 | 2017-02-22 | 北京工业大学 | 一种基于用户行为偏好的视频内容访问预测与推荐方法 |
CN107122722A (zh) * | 2017-04-19 | 2017-09-01 | 大连理工大学 | 一种基于多特征的自适应压缩跟踪算法 |
CN107273349A (zh) * | 2017-05-09 | 2017-10-20 | 清华大学 | 一种基于多种语言的实体关系抽取方法及服务器 |
CN108563640A (zh) * | 2018-04-24 | 2018-09-21 | 中译语通科技股份有限公司 | 一种多语言对的神经网络机器翻译方法及*** |
CN108595550A (zh) * | 2018-04-10 | 2018-09-28 | 南京邮电大学 | 一种基于卷积神经网络的音乐推荐***及推荐方法 |
CN108665308A (zh) * | 2018-05-07 | 2018-10-16 | 华东师范大学 | 评分预测方法和装置 |
CN108874790A (zh) * | 2018-06-29 | 2018-11-23 | 中译语通科技股份有限公司 | 一种基于语言模型和翻译模型的清洗平行语料方法及*** |
CN109522372A (zh) * | 2018-11-21 | 2019-03-26 | 北京交通大学 | 民航领域旅客价值的预测方法 |
CN109784806A (zh) * | 2018-12-27 | 2019-05-21 | 北京航天智造科技发展有限公司 | 供应链控制方法、***以及存储介质 |
CN110188351A (zh) * | 2019-05-23 | 2019-08-30 | 北京神州泰岳软件股份有限公司 | 语句通顺度及句法评分模型的训练方法及装置 |
CN110196946A (zh) * | 2019-05-29 | 2019-09-03 | 华南理工大学 | 一种基于深度学习的个性化推荐方法 |
CN110442781A (zh) * | 2019-06-28 | 2019-11-12 | 武汉大学 | 一种基于生成对抗网络的对级排序项目推荐方法 |
CN110832596A (zh) * | 2017-10-16 | 2020-02-21 | 因美纳有限公司 | 基于深度学习的深度卷积神经网络训练方法 |
CN110866637A (zh) * | 2019-11-06 | 2020-03-06 | 湖南大学 | 评分预测方法、装置、计算机设备和存储介质 |
CN111061951A (zh) * | 2019-12-11 | 2020-04-24 | 华东师范大学 | 一种基于双层自注意力评论建模的推荐模型 |
CN111126864A (zh) * | 2019-12-26 | 2020-05-08 | 中国地质大学(武汉) | 一种基于人机对抗评分的街道品质评估方法 |
CN111160016A (zh) * | 2019-04-15 | 2020-05-15 | 深圳碳云智能数字生命健康管理有限公司 | 语义识别方法、装置、计算机可读存储介质和计算机设备 |
CN111191718A (zh) * | 2019-12-30 | 2020-05-22 | 西安电子科技大学 | 基于图注意力网络的小样本sar目标识别方法 |
US20200380072A1 (en) * | 2019-05-31 | 2020-12-03 | Accenture Global Solutions Limited | System And Method For Transforming Unstructured Text Into Structured Form |
CN112328900A (zh) * | 2020-11-27 | 2021-02-05 | 北京工业大学 | 一种融合评分矩阵和评论文本的深度学习推荐方法 |
-
2021
- 2021-02-26 CN CN202110217932.1A patent/CN112784173B/zh active Active
Patent Citations (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102129463A (zh) * | 2011-03-11 | 2011-07-20 | 北京航空航天大学 | 一种融合项目相关性的基于pmf的协同过滤推荐*** |
CN102789499A (zh) * | 2012-07-16 | 2012-11-21 | 浙江大学 | 基于物品间情景化隐式关系的协同过滤方法 |
CN103942288A (zh) * | 2014-04-10 | 2014-07-23 | 南京邮电大学 | 一种基于用户风险偏好的服务推荐方法 |
CN105844261A (zh) * | 2016-04-21 | 2016-08-10 | 浙江科技学院 | 基于优化特征投影矩阵的3d掌纹稀疏表示识别方法 |
CN106055873A (zh) * | 2016-05-20 | 2016-10-26 | 北京旷视科技有限公司 | 基于图像识别的健身辅助方法及装置 |
CN106446015A (zh) * | 2016-08-29 | 2017-02-22 | 北京工业大学 | 一种基于用户行为偏好的视频内容访问预测与推荐方法 |
CN107122722A (zh) * | 2017-04-19 | 2017-09-01 | 大连理工大学 | 一种基于多特征的自适应压缩跟踪算法 |
CN107273349A (zh) * | 2017-05-09 | 2017-10-20 | 清华大学 | 一种基于多种语言的实体关系抽取方法及服务器 |
CN110870019A (zh) * | 2017-10-16 | 2020-03-06 | 因美纳有限公司 | 用于训练深层卷积神经网络集合的半监督学习 |
CN110832596A (zh) * | 2017-10-16 | 2020-02-21 | 因美纳有限公司 | 基于深度学习的深度卷积神经网络训练方法 |
CN108595550A (zh) * | 2018-04-10 | 2018-09-28 | 南京邮电大学 | 一种基于卷积神经网络的音乐推荐***及推荐方法 |
CN108563640A (zh) * | 2018-04-24 | 2018-09-21 | 中译语通科技股份有限公司 | 一种多语言对的神经网络机器翻译方法及*** |
CN108665308A (zh) * | 2018-05-07 | 2018-10-16 | 华东师范大学 | 评分预测方法和装置 |
CN108874790A (zh) * | 2018-06-29 | 2018-11-23 | 中译语通科技股份有限公司 | 一种基于语言模型和翻译模型的清洗平行语料方法及*** |
CN109522372A (zh) * | 2018-11-21 | 2019-03-26 | 北京交通大学 | 民航领域旅客价值的预测方法 |
CN109784806A (zh) * | 2018-12-27 | 2019-05-21 | 北京航天智造科技发展有限公司 | 供应链控制方法、***以及存储介质 |
CN111160016A (zh) * | 2019-04-15 | 2020-05-15 | 深圳碳云智能数字生命健康管理有限公司 | 语义识别方法、装置、计算机可读存储介质和计算机设备 |
CN110188351A (zh) * | 2019-05-23 | 2019-08-30 | 北京神州泰岳软件股份有限公司 | 语句通顺度及句法评分模型的训练方法及装置 |
CN110196946A (zh) * | 2019-05-29 | 2019-09-03 | 华南理工大学 | 一种基于深度学习的个性化推荐方法 |
US20200380072A1 (en) * | 2019-05-31 | 2020-12-03 | Accenture Global Solutions Limited | System And Method For Transforming Unstructured Text Into Structured Form |
CN110442781A (zh) * | 2019-06-28 | 2019-11-12 | 武汉大学 | 一种基于生成对抗网络的对级排序项目推荐方法 |
CN110866637A (zh) * | 2019-11-06 | 2020-03-06 | 湖南大学 | 评分预测方法、装置、计算机设备和存储介质 |
CN111061951A (zh) * | 2019-12-11 | 2020-04-24 | 华东师范大学 | 一种基于双层自注意力评论建模的推荐模型 |
CN111126864A (zh) * | 2019-12-26 | 2020-05-08 | 中国地质大学(武汉) | 一种基于人机对抗评分的街道品质评估方法 |
CN111191718A (zh) * | 2019-12-30 | 2020-05-22 | 西安电子科技大学 | 基于图注意力网络的小样本sar目标识别方法 |
CN112328900A (zh) * | 2020-11-27 | 2021-02-05 | 北京工业大学 | 一种融合评分矩阵和评论文本的深度学习推荐方法 |
Non-Patent Citations (7)
Title |
---|
D. D. LEE: "Algorithms for non-negative matrix-factorization", 《ADVANCES IN NEURAL INFORMATION PROCESSING SYSTEMS(NIPS), DENVER, CO, USA》 * |
仝鑫等: "面向中文文本分类的词级对抗样本生成方法", 《信息网络安全》 * |
康嘉钰等: "基于生成对抗网络的长短兴趣推荐模型", 《计算机技术与发展》 * |
张军阳等: "深度学习相关研究综述", 《计算机应用研究》 * |
曹大为等: "基于加权核非负矩阵分解的短文本聚类算法", 《计算机应用》 * |
王宇飞等: "融合项目图像的混合推荐算法", 《计算机应用与软件》 * |
罗洋等: "融合注意力LSTM的协同过滤推荐算法", 《中文信息学报》 * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113486257A (zh) * | 2021-07-01 | 2021-10-08 | 湖北工业大学 | 一种基于对抗矩阵分解的协调过滤卷积神经网络推荐***及方法 |
CN114693624A (zh) * | 2022-03-23 | 2022-07-01 | 腾讯科技(深圳)有限公司 | 一种图像检测方法、装置、设备及可读存储介质 |
CN114693624B (zh) * | 2022-03-23 | 2024-07-26 | 腾讯科技(深圳)有限公司 | 一种图像检测方法、装置、设备及可读存储介质 |
CN115225369A (zh) * | 2022-07-15 | 2022-10-21 | 北京天融信网络安全技术有限公司 | 一种僵尸网络的检测方法、装置及设备 |
Also Published As
Publication number | Publication date |
---|---|
CN112784173B (zh) | 2022-06-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Zhu et al. | Forming a new small sample deep learning model to predict total organic carbon content by combining unsupervised learning with semisupervised learning | |
CN112446591B (zh) | 一种用于学生综合能力评价的零样本评价方法 | |
CN111859680A (zh) | 一种***性能综合评价方法 | |
CN105975573B (zh) | 一种基于knn的文本分类方法 | |
CN110472817A (zh) | 一种结合深度神经网络的XGBoost集成信用评价***及其方法 | |
CN112784173B (zh) | 一种基于自注意力对抗神经网络的推荐***评分预测方法 | |
CN112541532B (zh) | 基于密集连接结构的目标检测方法 | |
CN113298230B (zh) | 一种基于生成对抗网络的不平衡数据集的预测方法 | |
CN111222847B (zh) | 基于深度学习与非监督聚类的开源社区开发者推荐方法 | |
CN103714148B (zh) | 基于稀疏编码分类的sar图像检索方法 | |
CN110880369A (zh) | 基于径向基函数神经网络的气体标志物检测方法及应用 | |
CN115047421A (zh) | 一种基于Transformer的雷达目标识别方法 | |
CN108108762A (zh) | 一种用于冠心病数据分类的基于核极限学习机及并行化的随机森林分类方法 | |
CN112685591A (zh) | 用户兴趣区域与反馈引导的图片精准检索方法 | |
CN114926693A (zh) | 基于加权距离的sar图像小样本识别方法及装置 | |
CN115511214A (zh) | 基于多尺度样本不均的矿产预测方法及*** | |
CN114580262A (zh) | 一种锂离子电池健康状态估计方法 | |
CN104463207A (zh) | 知识自编码网络及其极化sar影像地物分类方法 | |
Wang et al. | Classification and extent determination of rock slope using deep learning | |
CN112508684B (zh) | 一种基于联合卷积神经网络的催收风险评级方法及*** | |
Hoang et al. | Categorical weighting domination for imbalanced classification with skin cancer in intelligent healthcare systems | |
CN117371511A (zh) | 图像分类模型的训练方法、装置、设备及存储介质 | |
Wen et al. | Short-term load forecasting based on feature mining and deep learning of big data of user electricity consumption | |
CN114626594A (zh) | 一种基于聚类分析和深度学习的中长期电量预测方法 | |
Abed Salman et al. | Creating a cutting-edge neurocomputing model with high precision |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |