CN113792810B - 一种基于协同过滤与深度学习的多注意力推荐方法 - Google Patents

一种基于协同过滤与深度学习的多注意力推荐方法 Download PDF

Info

Publication number
CN113792810B
CN113792810B CN202111102648.6A CN202111102648A CN113792810B CN 113792810 B CN113792810 B CN 113792810B CN 202111102648 A CN202111102648 A CN 202111102648A CN 113792810 B CN113792810 B CN 113792810B
Authority
CN
China
Prior art keywords
layer
attention
features
user
collaborative filtering
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111102648.6A
Other languages
English (en)
Other versions
CN113792810A (zh
Inventor
刘鑫强
李卫疆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kunming University of Science and Technology
Original Assignee
Kunming University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kunming University of Science and Technology filed Critical Kunming University of Science and Technology
Priority to CN202111102648.6A priority Critical patent/CN113792810B/zh
Publication of CN113792810A publication Critical patent/CN113792810A/zh
Application granted granted Critical
Publication of CN113792810B publication Critical patent/CN113792810B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Machine Translation (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明涉及一种基于协同过滤与深度学习的多注意力推荐方法，属于自然语言处理中的推荐算法领域。本发明包括：输入层，词嵌入层，局部上下文注意力层，多头注意力融合层，相似注意力层，融合决策层。输入层将用户信息文本进行文本处理作为词嵌入层的输入，词嵌入层将数据转化为低维稠密的词向量数据，局部上下文注意力层挖掘向量局部特征与上下文特征，多头注意力融合层利用协同过滤中拆分的评分隐向量作为key融入多头注意力，挖掘浅层的评分向量与评论向量之间深层关联特征，相似注意力层运用欧式距离计算用户与物品之间的相似得分，融合决策层将训练的用户特征与评分特征利用FM模型特征组合的能力，提高模型的对用户评分预测效果。

Description

一种基于协同过滤与深度学习的多注意力推荐方法
技术领域
本发明涉及一种基于协同过滤与深度学习的多注意力推荐方法，属于自然语言处理中的推荐算法领域。
背景技术
互联网高速发展，衍生了海量的数据，我们已经进入了一个信息***的时代，每时每刻都有海量信息产生，然而这些信息并不全是个人所关心的，用户从大量的信息中寻找对自己有用的信息也变得越来越困难。另一方面，信息的生产方也在绞尽脑汁的把用户感兴趣的信息送到用户面前，每个人的兴趣又不尽相同，所以可以实现千人千面的推荐***应运而生。其中基于协同过滤的传统的机器学习方法以及基于深度学习的推荐算法不断被推出，但基于协同过滤的评分模型由于数据的稀疏性与冷启动问题一直严重限制了其推荐效果。诸多研究利用深度模型去挖掘评论文本中的抽象特征，虽取得推荐性能的提升，却忽略了矩阵分解的浅层隐向量特征。如何充分挖掘评论与评分矩阵的特征的以及结合协同过滤算法于深度学习算法的问题迫待解决。
发明内容
本发明要解决的技术问题是：提供一种算法模型，解决评分模型被数据的稀疏性制约性能的问题，解决CNN作为特征的提取工具，却未能很好的解决语句长序特征丢失问题；解决充分挖掘评分隐向量与评论特征之间的深层关系的问题；解决用户特征与物品特征结合推荐的交互问题。
本发明采用的技术方案是：一种基于协同过滤与深度学习的多注意力推荐方法。本发明由六个结构构成，分别是：输入层，词嵌入层，局部上下文注意力层，多头注意力融合层，相似注意力层，融合决策层，具体步骤如下：
第一步：采用Amazon 5-core数据集作为模型的训练集，在输入层中将训练集做特征提取的预处理操作并拆分为用户物品评分矩阵和评论矩阵。
第二步：在词嵌入层中采用协同过滤模型将用户物品评分矩阵分解为用户以及物品隐向量矩阵，并使用与词向量模型将评论数据转化为更易处理的低维稠密的词向量数据。
第三步：运用CNN与全连接网络捕捉词向量局部与全局特征。
第四步：运用多头注意力挖掘评分隐向量与评论向量的多维关系。
第五步：运用欧式距离法计算用户与物品的交互关系。
第六步：运用Softmax激活归一化，后将FM特征组合特征后输入损失函数进行回归训练
所述第一步的输入层是对按比例分割的训练集的文本做预处理和数据清洗，以及数据的分类处理。
所述第二步的词嵌入层是对处理好的文本经过Word2Vec模型得到评论的词向量以及协同过滤模型得到用户以及物品的隐语义矩阵。
所述第三步运用CNN的局部卷积获得局部特征并结合全连接网络捕捉词向量全局特征，使用全连接网络弥补卷积神经网路丢失的全局信息。
所述第四步运用多头注意力挖掘评分隐向量与评论向量的多维关系，深挖用户的评分的浅层特征与用户评论的深层隐含特征之间的深层关系，使得模型能够从用户数据中得到深层训练。
所述第五步欧式距离法计算用户与物品的交互关系，不依赖于传统的静态关系推荐，转而使用用户与物品一一对应的动态关联运算，提高了用户预测评分的针对性。
所述第六步使用Softmax多分类层是对特征向量进行归一化处理输出用户评分并运用FM特征组合进行用户特征物品特征的深层融合，最后使用损失函数进行回归训练。
Softmax函数中假设有一个数组v，vi表示v中的第i个元素，j为数组中的元素总数，e为自然常数，Softmax可表达如下：
Word2Vec是一群用来产生词向量的相关模型。这些模型为浅而双层的神经网络，用来训练以重新建构语言学之词文本。用于训练词向量以重新架构词向量和文本的映射，以此表示词对词之间的关系。
CNN是一类包含卷积计算且具有深度结构的前馈神经网络，是深度学习的代表算法之一，在推荐算法领域可以方便的在数据保真的前提下进行数据的压缩和提取。
FM模型是在线性回归的基础上加上了交叉特征，通过学习交叉特征的权重从而得到每个交叉特征的重要性。
本发明的有益效果是：
1.本发明基于神经网络的方法，并结合传统的协同过滤算法，运用深度学习挖掘深层的语句特征，运用协同过滤挖掘浅层的评分数据，充分合理挖掘利用数据，解决数据稀疏问题。
2.本发明运用CNN与全连接网络用以捕捉词向量局部与全局特征。
3.本发明加入了多头注意力机制将用户的评分隐向量作为多头注意力Key值，挖掘评分隐向量与评论向量的多维关系。
4.本发明加入了欧式距离提取用户与物品之间的动态关联权重。模型与现有相关的多个优秀模型都有显著的提升。
附图说明
图1为一种基于协同过滤与深度学习的多注意力推荐方法流程图；
图2为一种基于协同过滤与深度学习的多注意力推荐方法模型图。
具体实施方式
下面结合附图和具体实施例，对本发明作进一步描述。
实施例1：如图1，2所示，一种基于协同过滤与深度学习的多注意力推荐方法，本方法由六层结构构成，分别为：输入层，词嵌入层，局部上下文注意力层，多头注意力融合层，相似注意力层，融合决策层，输入层将用户信息文本进行文本处理作为词嵌入层的输入，词嵌入层主要包含传统协同过滤模型与词向量模型，其主要职责在于将数据转化为更易处理的低维稠密的词向量数据，局部上下文注意力层是用于挖掘向量局部特征与上下文特征，多头注意力融合层是利用协同过滤中拆分的评分隐向量作为key融入多头注意力，挖掘浅层的评分向量与评论向量之间深层关联特征，相似注意力层主要包含运用欧式距离计算用户与物品之间的相似得分，拥有挖掘用户对不同物品中存在的感情偏向，将训练的用户特征的与评分特征利用FM模型特征组合的能力，学习特征间的交互关系，提高了模型的对用户评分预测效果。
具体步骤如下：
S1:采用Amazon 5-core数据集作为模型的训练集，在输入层中将训练集做特征提取的预处理操作并拆分为用户物品评分矩阵和评论矩阵。输入文本，进行数据预处理，对文本进行分词、去掉停用词等操作。
S2：将评论文本通过单词向量Word2Vec模型，使每一个单词都映射到向量中,并按照词序拼接起来，组成用户的聚合评论文本，具体形式如下所示：
Du＝[w1...,wi-1,wi,wi+1,...wl]
wi表示第i个的词向量，Du表示用户u的评论词向量集。
在评分矩阵模块中，本模型使用BiasSVD模型，它是由基本的奇异值分解算法演变而来。传统的矩阵分解是通过将评分矩阵拆分为两个低阶的矩阵，分别代表了用户的隐含特征与物品的隐含特征每个维度的内积表达了用户对物品的喜爱程度，然后进行回归预测出结果，具体公式如下：
biu＝bi+bu+μ
其中puk与分别表示含有k维隐含向量的用户数u以及物品数i的低阶矩阵，μ表示总体数据的平均值，代表了这个数据集的基调，bi表示项目的评分偏置，bu表示用户的评分偏置,/>表示的预测用户物品评分矩阵，用户评分矩阵/>和商品评分矩阵/>分别表示具有k维隐向量的m个用户的以及n个物品的评分集合。BiasSVD_Um代表BiasSVD模型分解的用户m的隐向量集合，BiasSVD_In代表BiasSVD模型分解的物品n的隐向量集合。
S3:在局部上下文注意力层中将用户的评论文本向量数组Du作为输入，其中表示第j个卷积核，﹡代表了卷积操作，/>表示数组的切片，ω代表了滑动窗口的大小同时也是卷积核j窗口的宽度，/>为第j个卷积核在位置i上的卷积输出，cu表示用户u评论词向量的局部卷积集合，其中Wa表示全连接权重矩阵，bl∈Rl表示长度为l的偏置，ReLU为激活函数，其中wa表示全连接权重矩阵，/>表示全局注意力特征矩阵，/>表示局部上下文注意力层用户评论的输出，同理，/>表示物品评论的输出，公式如下所示:
S4:多头注意力融合层利用评分隐向量作为key融入多头注意力，挖掘浅层的评分向量与评论向量之间深层关联特征，key＝BiascSVD_U，经过线性层变换得到/> 为调节因子，防止出现内积过大的问题。Su(Q,K,V)为多头注意力输出，多头注意力将输入的Q,K,V拆分n份，其中/>分别是第n个头对Q,K,V的线性变化参数矩阵，/>表示对n个头的注意力训练结果。Wl表示将n个头拼接后输入线性层的训练的权重矩阵，MHFu表示用户u评论与评分的多头注意力融合层得分，同理物品评论与物品评分为MHFi，具体公式如下。
S5:相似注意力层主要包含运用欧式距离计算用户与物品之间的相似得分。M中的每一个元素都代表用户与物品的关联对权重，R为欧氏距离计算公式，计算得到二者的相关系数。Mu,*代表了用户u与物品上下文特征的相关性权重，同理Mi,*代表了物品i与用户上下文的相关性权重,Softmax为激活函数，SMAu,SMAi分别为用户u与物品i在相似注意力层的得分，具体公式如下。
M＝R(MHFu,MHFi)
SMAu＝softmax(MHFu⊙Mu,*)
SMAi＝softmax(MHFi⊙Mi,*)
S6:融合决策层将训练的用户特征的与评分特征利用FM模型特征组合的能力，学***方损失函数的回归方法，具体公式如下。
本发明涉及一种基于协同过滤与深度学习的多注意力推荐方法，涉及自然语言处理中的推荐算法领域。本发明由六个层结构构成，分别为输入层，词嵌入层，局部上下文注意力层，多头注意力融合层，相似注意力层，融合决策层。
其中，所述输入层将用户信息文本进行文本处理作为词嵌入层的输入，所述词嵌入层主要包含协同过滤模型与词向量模型，其主要职责在于将数据转化为更易处理的低维稠密的词向量数据，所述局部上下文注意力层是用于挖掘向量局部特征与上下文特征，所述多头注意力融合层，利用评分隐向量作为key融入多头注意力，挖掘浅层的评分向量与评论向量之间深层关联特征，所述相似注意力层主要包含运用欧式距离计算用户与物品之间的相似得分，拥有挖掘用户对不同物品中存在的感情偏向，将训练的用户特征的与评分特征利用FM模型特征组合的能力，学习特征间的交互关系，提高了模型的对用户评分预测效果。
以上结合附图对本发明的具体实施方式做了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。

Claims (5)

1.一种基于协同过滤与深度学习的多注意力推荐方法，其特征在于：该方法采用的实现模型由六个结构构成，分别是：输入层，词嵌入层，局部上下文注意力层，多头注意力融合层，相似注意力层，融合决策层，输入层将用户信息文本进行文本处理作为词嵌入层的输入，词嵌入层包含传统协同过滤模型与词向量模型，其职责在于将数据转化为更易处理的低维稠密的词向量数据，局部上下文注意力层是用于挖掘向量局部特征与上下文特征，多头注意力融合层是利用协同过滤中拆分的评分隐向量作为key融入多头注意力，挖掘浅层的评分向量与评论向量之间深层关联特征，相似注意力层包含运用欧式距离计算用户与物品之间的相似得分，拥有挖掘用户对不同物品中存在的感情偏向，融合决策层将训练的用户特征与评分特征利用FM模型特征进行组合，学习特征间的交互关系；
具体步骤如下：
第一步：采用Amazon 5-core数据集作为模型的训练集，在输入层中，将训练集做特征提取预处理操作并拆分为用户物品评分矩阵和评论矩阵；
第二步：在词嵌入层采用包含传统机器学习的协同过滤模型将用户物品评分矩阵分解为用户以及物品隐向量矩阵，并使用词向量模型将评论数据转化为更易处理的低维稠密的词向量数据；
第三步：运用CNN卷积神经网络与全连接网络捕捉词向量局部与全局特征；
第四步：运用多头注意力挖掘评分隐向量与评论向量的多维关系；
第五步：运用欧式距离法计算用户与物品的交互关系；
第六步：运用Softmax激活归一化，后将FM特征组合特征后输入损失函数进行回归训练；
所述第三步运用CNN的局部卷积获得局部特征并结合全连接网络捕捉词向量全局特征，使用全连接网络弥补卷积神经网路丢失的全局信息；
所述第四步运用多头注意力挖掘评分隐向量与评论向量的多维关系，深挖用户的评分的浅层特征与用户评论的深层隐含特征之间的深层关系，使得模型能够从用户数据中得到深层训练。
2.根据权利要求1所述的一种基于协同过滤与深度学习的多注意力推荐方法，其特征在于：所述第一步的输入层是对按比例分割的训练集的文本做预处理和数据清洗，以及数据的分类处理。
3.根据权利要求2所述的一种基于协同过滤与深度学习的多注意力推荐方法，其特征在于：所述第二步的词嵌入层是对处理好的文本经过Word2Vec模型得到评论的词向量以及协同过滤模型得到用户以及物品的隐语义矩阵。
4.根据权利要求1所述的一种基于协同过滤与深度学习的多注意力推荐方法，其特征在于：所述第五步欧式距离法计算用户与物品的交互关系，使用用户与物品一一对应的动态关联运算。
5.根据权利要求4所述的一种基于协同过滤与深度学习的多注意力推荐方法，其特征在于：所述第六步的使用Softmax多分类层是对特征向量进行归一化处理输出用户评分并运用FM特征组合进行用户特征物品特征的深层融合，最后使用损失函数进行回归训练。
CN202111102648.6A 2021-09-21 2021-09-21 一种基于协同过滤与深度学习的多注意力推荐方法 Active CN113792810B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111102648.6A CN113792810B (zh) 2021-09-21 2021-09-21 一种基于协同过滤与深度学习的多注意力推荐方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111102648.6A CN113792810B (zh) 2021-09-21 2021-09-21 一种基于协同过滤与深度学习的多注意力推荐方法

Publications (2)

Publication Number Publication Date
CN113792810A CN113792810A (zh) 2021-12-14
CN113792810B true CN113792810B (zh) 2023-09-26

Family

ID=79183945

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111102648.6A Active CN113792810B (zh) 2021-09-21 2021-09-21 一种基于协同过滤与深度学习的多注意力推荐方法

Country Status (1)

Country Link
CN (1) CN113792810B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115034202A (zh) * 2022-04-13 2022-09-09 天津大学 基于增强方式融合语法信息的深度学习文本匹配方法
CN115795177B (zh) * 2022-11-25 2023-04-28 人民网股份有限公司 社交媒体内容推荐方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110196946A (zh) * 2019-05-29 2019-09-03 华南理工大学 一种基于深度学习的个性化推荐方法
CN110609948A (zh) * 2019-04-03 2019-12-24 华南理工大学 一种基于多层次注意力机制和场感知分解机的推荐方法
CN112598462A (zh) * 2020-12-19 2021-04-02 武汉大学 基于协同过滤和深度学习的个性化推荐方法及***

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110609948A (zh) * 2019-04-03 2019-12-24 华南理工大学 一种基于多层次注意力机制和场感知分解机的推荐方法
CN110196946A (zh) * 2019-05-29 2019-09-03 华南理工大学 一种基于深度学习的个性化推荐方法
CN112598462A (zh) * 2020-12-19 2021-04-02 武汉大学 基于协同过滤和深度学习的个性化推荐方法及***

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
BidirectionalLSTMwithself-attentionmechanismandmulti-channel features for sentimentclassification;Weijiang Li et al.;《Neurocomputing》;第第387卷卷;63–77 *
融合注意力机制的深度协同过滤推荐算法;王永贵 等;《计算机工程与应用》;第第13卷卷(第第55期期);8-14页 *

Also Published As

Publication number Publication date
CN113792810A (zh) 2021-12-14

Similar Documents

Publication Publication Date Title
CN110866117B (zh) 一种基于语义增强与多层次标签嵌入的短文本分类方法
CN110490946B (zh) 基于跨模态相似度和生成对抗网络的文本生成图像方法
CN111581401B (zh) 一种基于深度相关性匹配的局部引文推荐***及方法
CN108363753B (zh) 评论文本情感分类模型训练与情感分类方法、装置及设备
CN112926303B (zh) 一种基于BERT-BiGRU的恶意URL检测方法
CN113792810B (zh) 一种基于协同过滤与深度学习的多注意力推荐方法
CN110990564B (zh) 一种基于情感计算与多头注意力机制的负面新闻识别方法
CN109614487B (zh) 一种基于张量融合方式的情感分类的方法
CN110765260A (zh) 一种基于卷积神经网络与联合注意力机制的信息推荐方法
CN109189925A (zh) 基于点互信息的词向量模型和基于cnn的文本分类方法
CN110175221B (zh) 利用词向量结合机器学习的垃圾短信识别方法
CN105912524B (zh) 基于低秩矩阵分解的文章话题关键词提取方法和装置
CN112560495A (zh) 一种基于情感分析的微博谣言检测方法
CN112884045B (zh) 基于多视角的随机删边嵌入模型的分类方法
CN111984791A (zh) 一种基于注意力机制的长文分类方法
Kalaivani et al. A review on feature extraction techniques for sentiment classification
CN114004220A (zh) 一种基于cpc-ann的文本情绪原因识别方法
CN111079011A (zh) 一种基于深度学习的信息推荐方法
Jin et al. Visual sentiment classification via low-rank regularization and label relaxation
CN112818124A (zh) 一种基于注意力神经网络的实体关系抽取方法
Alqaraleh Turkish Sentiment Analysis System via Ensemble Learning
CN116842934A (zh) 一种基于持续学习的多文档融合深度学习标题生成方法
CN116561441A (zh) 一种基于自注意力神经网络的社交网络用户认知状态刻画方法
Postalcioglu et al. Comparison of Neural Network Models for Nostalgic Sentiment Analysis of YouTube Comments
Tang et al. Improving sentence representations with multi-view frameworks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant