CN112631560B - 一种推荐模型的目标函数的构建方法及终端 - Google Patents

一种推荐模型的目标函数的构建方法及终端 Download PDF

Info

Publication number
CN112631560B
CN112631560B CN202011587609.5A CN202011587609A CN112631560B CN 112631560 B CN112631560 B CN 112631560B CN 202011587609 A CN202011587609 A CN 202011587609A CN 112631560 B CN112631560 B CN 112631560B
Authority
CN
China
Prior art keywords
historical
item
feature vector
interaction
representing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011587609.5A
Other languages
English (en)
Other versions
CN112631560A (zh
Inventor
李林林
宋安军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Maritime University
Original Assignee
Shanghai Maritime University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Maritime University filed Critical Shanghai Maritime University
Priority to CN202011587609.5A priority Critical patent/CN112631560B/zh
Publication of CN112631560A publication Critical patent/CN112631560A/zh
Application granted granted Critical
Publication of CN112631560B publication Critical patent/CN112631560B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00Arrangements for software engineering
    • G06F8/20Software design
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/953Querying, e.g. by the use of web search engines
    • G06F16/9536Search customisation based on social or collaborative filtering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供了一种推荐模型的目标函数的构建方法,包括:获取目标用户历史项目的第一历史特征向量和目标特征向量;基于当前时间与历史行为时间构建时间因子模型;获取基于所述时间因子模型影响下的第二历史特征向量;获得初始特征交互向量;获取初始交互层的注意力机制权重;计算带权特征向量历史项目;基于交互结果获得深层交互模型注意力权重值;计算历史评分相似性与目标项目的乘积;构建推荐模型的目标函数。以通过优化目标函数,对参数使用自适应学习率,每次随机选择训练事例,使每个模型参数向负梯度方向更新。

Description

一种推荐模型的目标函数的构建方法及终端
技术领域
本发明涉及推荐模型的函数构建领域,尤其涉及一种推荐模型的目标函数的构建方法及终端。
背景技术
本发明公布了一种融合时间因子和双层注意力机制的协同过滤算法。涉及推荐***领域。本发明针对时间对用户行为的影响,提出了引入时间影响因子方法。考虑到用户喜好具有稳定性,并且设置了阈值。同时发现用户即使选择了同类商品,却存在选择原因可能不同的现象,为了更加准确预测用户下一行为,提出了引入注意力机制。考虑推荐***存在越喜欢越推荐,越陌生越不推荐的现象,推荐的多样性不足的问题,从而导致信息闭环。所以本专利设计先进行特征交互,发掘深层特征,再计算特征间的注意力机制。为防止推荐准确度不高,设计了双层注意力机制。提出了使用不同的方式进行特征处理,初始交互层使用特征间乘积的方式进行交互,深层交互层使用拼接向量的方式交互。
随着互联网科技的普及,信息量呈***式增长,用户获取信息的方式和途径改变。推荐***根据用户的历史行为数据,挖掘用户喜好,可以帮助用户从海量数据中推荐用户可能感兴趣的项目,有助于减少用户在海量数据中搜索信息的时间。推荐***具有一定的商业价值,在电商领域中帮助用户选购合适的商品,从而增加商品销量,带动经济增长。
然而推荐***现存的方法中存在一些问题,用户需求是模糊不确定的,很长时间前的喜好可能与现在不同,用户选择同类商品时选择的原因可能不相同,推荐***算法存在推荐多样性低,信息闭环的特点。为此,我们对这类问题进行了研究。
在时间影响因素中,用户对于很久之前的喜好,用户的喜好很可能会发生改变。比如用户四年前爱看文艺片,最近半年学习压力大,喜欢看轻松愉悦的喜剧片。因为四年前的历史行为数大,在模型学习的过程中,更偏向推荐文艺片,但这与用户现在行为不符,四年前的喜好应该对现在的偏好选择影响小,现在的喜剧片的特征向量应该权重更大,我们考虑时间对用户喜好的影响。同时用户喜好具有稳定性,一定时间不会发生变化。
在注意力机制中,由于用户选择相同类物品结果相同,但选择的原因可能不同,为了区分用户对某一特征的喜好,所以引入了注意力机制。比如用户看了电影A和B,发现共同都有女主角a,但是结合历史数据分析,发现电影B中男主角是b,用户对于女主角a来说,更喜欢男演员b,那么下一部推荐的电影,倾向于推荐男演员b的电影,为了更好的预测用户行为,我们深究其原因,对用户行为进行量化,引入了注意力机制。注意力模型最近几年在深度学习各个领域被广泛使用,无论是图像处理、语音识别还是自然语言处理的各种不同类型的任务中,都很容易遇到注意力模型的身影。
目前推荐***容易存在推荐多样性低,容易形成信息闭环。基于物品的协同过滤ItemCF,常用的衡量方法有jacarrd相似度、余弦相似度、皮尔逊相似度等等。基本思想是通过用户所有历史评分项目的相似性,计算目标项目和历史项目的距离来判断是否要给用户推荐,存在项目间向量表达不足的问题。如果出现用户较陌生的物品,则相似度很小不会推荐,会造成越喜欢越推荐,越陌生越不推荐的现象,使推荐物品多样性降低。
发明内容
本发明的目的在于提供一种推荐模型的目标函数的构建方法及终端,以通过优化目标函数,对参数使用自适应学习率,每次随机选择训练事例,使每个模型参数向负梯度方向更新。
为实现上述目的,本发明采用以下技术手段:
一种推荐模型的目标函数的构建方法,包括以下步骤:
获取目标用户历史项目的第一历史特征向量,所述第一历史特征向量由所述历史项目的多个属性特征组成,并基于所述多个属性构建所述目标用户的目标特征向量,所述目标特征向量由所述历史项目的多个属性特征组成;
基于当前时间与历史行为时间构建时间因子模型;
获取基于所述时间因子模型影响下的第二历史特征向量;
基于所述第二历史特征向量的每一个属性特征与所述目标特征向量的每一个属性特征,获得初始特征交互向量;
基于MLP模型和交互向量,获取初始交互层的注意力机制权重Attjt;
基于所述初始交互层的注意力机制权重和所述第二历史特征向量,计算带权特征向量历史项目向量;
将所述目标特征向量与所述权特征向量历史项目进行拼接交互,并基于交互结果获得深层交互模型注意力权重值;
根据所述目标项目、历史项目、所述深层交互模型注意力权重值和所述带权特征向量历史项目,计算历史评分相似性与目标项目的乘积;
基于所述历史评分相似性与目标项目的乘积,构建推荐模型的目标函数。
一种实现方式中,所述时间因子模型的具体表达为:
Figure BDA0002867695130000031
Figure BDA0002867695130000041
其中,fTj为时间因子,其值为0至1之间;Tj是当前时间与历史行为时间的时间差,aj为超参数;T0表示时间阈值。
一种实现方式中,所述获取基于所述时间因子模型影响下的第二历史特征向量的具体表达为:
Figure BDA0002867695130000042
其中,Qjt表示所述第二历史特征向量中第j个项目的第t个属性特征,
Figure BDA0002867695130000043
是时间影响因子,qjt表示所属第一历史特征向量中第j个项目的第t个属性特征。
一种实现方式中,所述基于MLP模型和交互向量,获取初始交互层的注意力机制权重的步骤,包括:
基于MLP模型,学习所述交互向量的注意力权重;
基于所述注意力权重,计算初始交互层的注意力机制权重Attjt
其中,所述注意力权重的计算公式为:
Figure BDA0002867695130000044
其中,W1,W2,W3分别表示输入层到隐藏层、隐藏层间、隐藏层到输出层的权重参数,b1,b2,b3分别是输入层到隐藏层、隐藏层间、隐藏层到输出层的偏置,ReLU是激活函数;Qjt表示所述第二历史特征向量中第j个项目的第t个属性特征;Pit表示所述目标特征向量中第i个项目的第t个属性特征;
计算初始交互层的注意力机制权重Attjt所采用的公式表达为:
Figure BDA0002867695130000045
其中,Attjt为初始交互层的注意力机制权重,β是平滑指数。
一种实现方式中,计算带权特征向量历史项目向量的具体表达为:
Figure BDA0002867695130000046
其中,
Figure BDA0002867695130000047
表示带权特征向量历史项目,Qjt表示所述第二历史特征向量中第j个项目的第t个属性特征,n表示属性特征的数量。
一种实现方式中,所述基于交互结果获得深层交互模型注意力权重值的公式表达为:
Figure BDA0002867695130000051
Figure BDA0002867695130000052
其中,
Figure BDA0002867695130000053
表示深层交互模型注意力权重值,/>
Figure BDA0002867695130000054
表示拼接向量,V1,V2,V3分别是输入层到隐藏层、隐藏层间、隐藏层到输出层的权重参数,h1,h2,h3分别是输入层到隐藏层、隐藏层间、隐藏层到输出层的偏置;γ表示平滑指数;ReLU是激活函数。
一种实现方式中,计算历史评分相似性与目标项目的乘积
Figure BDA00028676951300000511
所采用的公式表达为:
Figure BDA0002867695130000055
其中,
Figure BDA0002867695130000056
表示历史评分相似性与目标项目的乘积,/>
Figure BDA0002867695130000057
表示深层交互模型注意力权重值,Pi表示目标项目,/>
Figure BDA0002867695130000058
表示带权特征向量历史项目,α是控制归一化效应的超参数,R(u)是用户的历史交互项目集,用来模拟用户现在的偏好。
一种实现方式中,所述目标函数的具体表达为:
Figure BDA0002867695130000059
其中,
Figure BDA00028676951300000510
表示历史评分相似性与目标项目的乘积,Z表示目标函数,N代表训练集大小,σ表示sigmoid函数,R+表示样本正实例集,R-表示样本负实例集,ln函数为损失项,λ为正则化参数,使用L2范式作为惩罚项,权值向量θ中各个元素的平方和然后再求平方根用||θ||表示。
本发明还公开了一种推荐模型的目标函数的构建终端,所述推荐模型的目标函数的构建终端包括处理器、以及通过通信总线与处理器连接的存储器;其中,
所述存储器,用于存储计算机程序;
所述处理器,用于执行计算机程序时,以实现任一项所述的推荐模型的目标函数的构建方法。
相比于现有技术,本发明带来以下技术效果:
本发明的推荐模型的目标函数的构建方法及终端,通过优化目标函数,对参数使用自适应学习率,每次随机选择训练事例,使每个模型参数向负梯度方向更新。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本发明的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1示出了本发明一种推荐模型的目标函数的构建方法的流程图;
图2是融合时间因子和双层注意力机制的协同过滤算法的模块流程图;
图3为融合时间因子和双层注意力机制的协同过滤算法的框架。
具体实施方式
下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,仅用于解释本发明,而不能理解为对本发明的限制。
在本发明的描述中,需要理解的是,术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”、“顺时针”、“逆时针”、“轴向”、“径向”、“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。
此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中,“多个”的含义是两个或两个以上,除非另有明确具体的限定。
在本发明中,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或成一体;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言,可以根据具体情况理解上述术语在本发明中的具体含义。
在本发明中,除非另有明确的规定和限定,第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触,或第一和第二特征通过中间媒介间接接触。而且,第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方,或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方,或仅仅表示第一特征水平高度小于第二特征。
实施例
本实施例揭示了一种推荐模型的目标函数的构建方法,可以在根据细胞特征进行相应改变的情况下适应于其他细胞的分割技术,例如白细胞、血小板等等。
请参阅图1,所述推荐模型的目标函数的构建方法包括以下步骤:
S101,获取目标用户历史项目的第一历史特征向量,所述第一历史特征向量由所述历史项目的多个属性特征组成,并基于所述多个属性构建所述目标用户的目标特征向量,所述目标特征向量由所述历史项目的多个属性特征组成;
S102,基于当前时间与历史行为时间构建时间因子模型;
S103,获取基于所述时间因子模型影响下的第二历史特征向量;
S104,基于所述第二历史特征向量的每一个属性特征与所述目标特征向量的每一个属性特征,获得初始特征交互向量;
S105,基于MLP模型和交互向量,获取初始交互层的注意力机制权重Attjt
S106,基于所述初始交互层的注意力机制权重和所述第二历史特征向量,计算带权特征向量历史项目向量;
S107,将所述目标特征向量与所述权特征向量历史项目进行拼接交互,并基于交互结果获得深层交互模型注意力权重值;
S108,根据所述目标项目、历史项目、所述深层交互模型注意力权重值和所述带权特征向量历史项目向量项目,计算历史评分相似性与目标项目的乘积;
S109,基于所述历史评分相似性与目标项目的乘积,构建推荐模型的目标函数。
结合图1和图2所示,本发明提出了双重注意力机制,提出了信息交互的两种方式。用户选择同类商品选择原因可能不同,为准确预测用户下一行为,引入注意力机制。在第一层在初始态,用元素积的方式进行特征交互,挖掘深层信息,在初始态交互有助于减少信息闭环。第二层注意力机制,是深层交互,特征处理使用向量拼接的方式。设计双层注意力机制提高了推荐准确率。比以往只单一使用一次注意力机制、一次特征交互效果更好。
本发明实施例中,首先输入数据,如下:
基于历史项目,构建第一历史项目特征向量qj=(qj1,qj2,qj3...,qjt...,qjn),qjt表示输入历史项目的第j个项目的第t个属性特征。
基于目标项目,构建目标项目的目标特征向量Pi=(Pi1,Pi2,Pi3...,Pit...,Pin)。Pit表示输入历史项目的第i个项目的第t个属性特征。
例如,历史项目为“囧妈”,“囧妈”的特征属性=(男主角,女主角,导演,电影类型,电影时长,...),男主角,女主角,导演,电影类型,电影时长等等为其多个属性特征,属性的个数不做具体限定。
引入时间因子模型,如图3所示。
Figure BDA0002867695130000091
其中/>
Figure BDA0002867695130000092
Tj是当前时间与历史行为时间的时间差,aj为超参数,T0表示时间阈值。
Figure BDA0002867695130000093
是时间影响因子,在(0,1]之间,越接近0时表明当时的特征对现在影响越小,越趋近1表示是近期的行为喜好,对接近于下一推荐选择。
需要说明的是,超参数:在机器学习的上下文中,超参数是在开始学习过程之前设置值的参数,而不是通过训练得到的参数数据。通常情况下,需要对超参数进行优化,给学习机选择一组最优超参数,以提高学习的性能和效果。
因为用户喜好具有稳定性,短期不会改变。但历史行为距离现在的时间越长,用户改变喜好的可能性越强。故设置时间阈值。因为用户喜好具有稳定性,短期不会改变。但历史行为距离现在的时间越长,用户改变喜好的可能性越强。
比如,用户四年前爱恐怖片,最近半年学习压力大,喜欢看轻松愉悦的喜剧片。又因为四年前的历史行为数大,在模型学习的过程中,更偏向推荐恐怖片,但这与用户现在行为不符。
四年前的喜好应该对现在的偏好选择影响小,现在的喜剧片的特征向量应该权重更大,我们考虑时间对用户喜好的影响。同时设置时间阈值。如果未超过阈值设定的时间,表明用户喜好具有稳定性,时间对用户喜好影响小。若时间超过阈值,历史行为可信度随T增大而减小。重新计算历史项目的特征向量。
所以认为四年前的行为超过了时间阈值,需要受到时间的影响。
计算时间影响因子下的第二历史项目特征向量。引入时间影响因子对用户偏好的影响,计算历史项目的特征向量,如图3所示。公式如下:
Figure BDA0002867695130000101
Figure BDA0002867695130000102
是时间影响因子,范围在[0,1],qjt表示输入的第j个项目的第t个属性特征。结合时间影响因子项目j的n个属性组成n维向量为(Qj1,Qj2,Qj3...,Qjt...,Qjn),即单个历史项目Qj=(Qj1,Qj2,Qj3..,Qjt..,Qjn)
Qj是“囧妈”,“囧妈”的特征属性=(男主角,女主角,导演,电影类型,电影时长,获奖),四年前的“囧妈”=(1,0,0,0...)囧妈对现在的影响是=(0.4,0,0,0...),前几天看的“将爱情进行到底”=(1,0,0,0...)对现在的影响依旧是=(1,0,0,0,...),时间越长,用户的喜好改变的可能性越大,如果现在要推荐电影,那么用户更爱看“将爱情进行到底”的男主角演的电影。
进行初始特征交互,获得交互向量Pit⊙Qjt,如图3所示。
历史项目和目标项目之间的特征交互,增强特征向量交互,用Pit⊙Qjt表示,有效减少信息闭环现象。Qjt为第二历史项目特征向量,Pit表示表示输入历史项目的第i个项目的第t个属性特征。Pit⊙Qjt作为输入有助于隐藏层学习多层感知函数,赋予模型大量的灵活性和非线性。
捕获历史项目和目标项目之间的特征交互,用Pit⊙Qjt表示增强特征向量交互,⊙表示两个向量的元素积操作,即两个长度相同的向量对应维度相乘得到元素积向量。使模型可以提取到更高阶的交互信息。获取目标用户u的历史交互项目与目标项目Pi的二阶特征交互关系。解决推荐***容易存在推荐多样性低,容易形成信息闭环问题。
计算初始交互层的注意力权重值。
不同的历史项目对目标项目的预测有不同的贡献。因此,将这组两两交互的向量输入到一个注意力网络中。通过学习,对较重要的项目对给予较大的交互权重,以感知历史项目与目标项目交互关系的不同重要性,使用三层感知机模型学习交互向量的注意力权重。
首先,使用MLP模型学习交互向量的注意力权重,如图3所示,如公式4所示。
Figure BDA0002867695130000111
其中,W1,W2,W3分别是输入层到隐藏层、隐藏层间、隐藏层到输出层的权重参数,b1,b2,b3分别是输入层到隐藏层、隐藏层间、隐藏层到输出层的偏置,ReLU是激活函数。
Attjt为初始交互层的注意力机制权重。ReLU(x)=max(x,0)表示非线性变换。
Figure BDA0002867695130000112
注意力机制权重为公式(5)所示,Attjt为初始交互层的注意力机制权重。使用参数做平滑指数:β是平滑指数,取值范围是[0,1],而当β=1时,为softmax函数。softmax函数将一个含任意实数的K维向量z“压缩”到另一个K维实向量σ(z)中,每个元素范围值在(0,1)之间,且所有元素和为1,可以正确地标准化注意力。注意力机制的存在是防止对特征向量一视同仁。
为了更好的给用户推荐想看的电影,就要深层次的分析用户观看历史电影的原因。用户之前看过“囧妈”,但是选择看它的原因有多种可能性,比如喜欢看某一明星演的电影,或者喜欢某种类型的电影,也可能为了保证电影质量,喜欢看得过奖项的电影。不同特征属性给用户选择做不同的贡献。
比如“囧妈”特征属性=(男主角,女主角,导演,电影类型,电影时长,...),囧妈=(1,0,1,0,....),与其他历史项目计算,得到囧妈=(0.2,0,0.7,0...),说明电影类型特征是用户选择这个电影的主要原因,并且根据输入数据得知囧妈是喜剧类型电影,用户可能更倾向点击喜剧类电影,故可推荐用户下一部电影为喜剧类电影。
计算带权特征向量历史项目向量
Figure BDA0002867695130000121
Figure BDA0002867695130000122
其中,Qjt表示所述第二历史特征向量中第j个项目的第t个属性特征,,
Figure BDA0002867695130000123
为结合初始层注意力权重和时间因子影响下的历史项目。
深层拼接交互
Figure BDA0002867695130000124
将历史项目和目标项目拼接起来进行交互,增加健壮性、鲁棒性,如果项目从未在训练数据中共同出现,其注意力权重将不能被估计并且是一个很小的数字。用此方法可缓解此问题,体现融合策略。
计算深层交互层注意力机制模型。
使用MLP模型学习注意力机制权重,公式如下
Figure BDA0002867695130000125
其中,V1,V2,V3分别是输入层到隐藏层、隐藏层间、隐藏层到输出层的权重参数,h1,h2,h3分别是输入层到隐藏层、隐藏层间、隐藏层到输出层的偏置,ReLU是激活函数。
Figure BDA0002867695130000131
如图3所示,
Figure BDA0002867695130000132
表示深层交互模型注意力权重值。表示目标项目和历史项目之间的交互。其中γ是平滑指数,取值范围是[0,1],而当γ=1时,就恢复为softmax函数。softmax函数将一个含任意实数的K维向量z“压缩”到另一个K维实向量σ(z)中,每个元素范围值在(0,1)之间,且所有元素和为1,可以正确地标准化注意力。注意力机制的存在是防止对特征向量一视同仁。由此计算不同项目分配的不同权重。
计算预测推荐结果。
根据FISM算法改进,结合注意力机制,对结果进行预测用户u对目标项目Pi的评分,其核心是计算历史评分相似性与目标项目的乘积。
根据FISM算法改进,FISM是一种机器学习方法,基于矩阵分解的思想,将物品相似度矩阵分解为两个两个低维的矩阵相乘。矩阵通过学习获得,物品间相似度公式表示yij=pi·qj。其中,为pi目标项目,qj历史项目。本发明结合注意力机制,预测用户u对目标项目pi的评分,其核心是计算历史评分相似性与目标项目的乘积,如图3所示。
Figure BDA0002867695130000133
在基于项目的协同过滤模型中,可以通过为每个项目分配个性化权重,使得历史项目对用户选择做不同贡献。
Figure BDA0002867695130000134
表示带权特征向量历史项目向量,/>
Figure BDA0002867695130000135
表示历史项目和目标项目交互后的权重。
定义目标函数并进行训练,学习推荐模型,定义的目标函数如下:
Figure BDA0002867695130000136
目标函数公式中,N代表训练集大小,σ表示sigmoid函数,将预测分数转换成概率形式,
Figure BDA0002867695130000141
表示历史评分相似性与目标项目的乘积,即用户u对项目i的评分可能性,R+表示样本正实例集,R-表示样本负实例集,ln函数为损失项,λ为正则化参数,使用L2范式作为惩罚项,L2范数是通过使权重衰减,进而使得特征对于总体的影响减小而起到防止过拟合的作用的。L2的优点在于求解稳定、快速,防止过拟合。
使用随机梯度下降法来优化目标函数,对参数使用自适应学习率,每次随机选择训练事例,使每个模型参数向负梯度方向更新。
本发明公布了一种融合时间因子和双重注意力机制的协同过滤模型。
提出了引入时间因子影响因素,并设置阈值。是考虑到较长时间的历史行为,用户可能会改变喜好,时间越长,用户改变喜好可能性越大;同时用户喜好具有稳定性,一定时间内对项目的偏好程度稳定。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管上面已经示出和描述了本发明的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本发明的限制,本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (6)

1.一种推荐模型的目标函数的构建方法,其特征在于,包括以下步骤:
获取目标用户历史项目的第一历史特征向量,所述第一历史特征向量由所述历史项目的多个属性特征组成,并基于所述多个属性构建所述目标用户的目标特征向量,所述目标特征向量由所述历史项目的多个属性特征组成;
基于当前时间与历史行为时间构建时间因子模型;
获取基于所述时间因子模型影响下的第二历史特征向量;
基于所述第二历史特征向量的每一个属性特征与所述目标特征向量的每一个属性特征,获得初始特征交互向量;
基于MLP模型和交互向量,获取初始交互层的注意力机制权重,具体的所述基于MLP模型和交互向量,获取初始交互层的注意力机制权重的步骤,包括:
基于MLP模型,学习所述交互向量的注意力权重;
基于所述注意力权重,计算初始交互层的注意力机制权重Attjt
其中,所述注意力权重的计算公式为:
Figure FDA0004105921790000011
其中,W1,W2,W3分别表示输入层到隐藏层、隐藏层间、隐藏层到输出层的权重参数,b1,b2,b3分别是输入层到隐藏层、隐藏层间、隐藏层到输出层的偏置,ReLU是激活函数;Qjt表示所述第二历史特征向量中第j个项目的第t个属性特征;Pit表示所述目标特征向量中第i个项目的第t个属性特征;
计算初始交互层的注意力机制权重Attjt所采用的公式表达为:
Figure FDA0004105921790000012
其中,Attjt为初始交互层的注意力机制权重,β是平滑指数;
基于所述初始交互层的注意力机制权重和所述第二历史特征向量,计算带权特征向量历史项目向量,具体的,计算带权特征向量历史项目向量的具体表达为:
Figure FDA0004105921790000021
其中,
Figure FDA0004105921790000022
表示带权特征向量历史项目,Qjt表示所述第二历史特征向量中第j个项目的第t个属性特征,n表示属性特征的数量;
将所述目标特征向量与所述权特征向量历史项目进行拼接交互,并基于交互结果获得深层交互模型注意力权重值,具体的,所述基于交互结果获得深层交互模型注意力权重值的公式表达为:
Figure FDA0004105921790000023
Figure FDA0004105921790000024
其中,
Figure FDA0004105921790000025
表示深层交互模型注意力权重值,/>
Figure FDA0004105921790000026
表示拼接向量,V1,V2,V3分别是输入层到隐藏层、隐藏层间、隐藏层到输出层的权重参数,h1,h2,h3分别是输入层到隐藏层、隐藏层间、隐藏层到输出层的偏置;γ表示平滑指数;ReLU是激活函数;
根据目标项目、历史项目、所述深层交互模型注意力权重值和所述带权特征向量历史项目向量,计算历史评分相似性与目标项目的乘积;
基于所述历史评分相似性与目标项目的乘积,构建推荐模型的目标函数。
2.根据权利要求1所述的推荐模型的目标函数的构建方法,其特征在于,所述时间因子模型的具体表达为:
Figure FDA0004105921790000027
Figure FDA0004105921790000028
其中,fTj为时间因子,其值为0至1之间;Tj是当前时间与历史行为时间的时间差,aj为超参数;T0表示时间阈值。
3.根据权利要求1或2所述的推荐模型的目标函数的构建方法,其特征在于,所述获取基于所述时间因子模型影响下的第二历史特征向量的具体表达为:
Figure FDA0004105921790000031
其中,Qjt表示所述第二历史特征向量中第j个项目的第t个属性特征,
Figure FDA0004105921790000032
是时间影响因子,qjt表示所属第一历史特征向量中第j个项目的第t个属性特征。
4.根据权利要求1所述的推荐模型的目标函数的构建方法,其特征在于,计算历史评分相似性与目标项目的乘积
Figure FDA0004105921790000033
所采用的公式表达为:
Figure FDA0004105921790000034
其中,
Figure FDA0004105921790000035
表示历史评分相似性与目标项目的乘积,/>
Figure FDA0004105921790000036
表示深层交互模型注意力权重值,Pi表示目标项目,/>
Figure FDA0004105921790000037
表示带权特征向量历史项目,α是控制归一化效应的超参数,R(u)是用户的历史交互项目集,用来模拟用户现在的偏好。
5.根据权利要求1所述的推荐模型的目标函数的构建方法,其特征在于,所述目标函数的具体表达为:
Figure FDA0004105921790000038
其中,
Figure FDA0004105921790000039
表示历史评分相似性与目标项目的乘积,Z表示目标函数,N代表训练集大小,σ表示sigmoid函数,/>
Figure FDA00041059217900000310
表示用户u对项目i评分可能性,R+表示样本正实例集,R-表示样本负实例集,ln函数为损失项,λ为正则化参数,使用L2范式作为惩罚项,权值向量θ中各个元素的平方和然后再求平方根,用||θ||表示。
6.一种推荐模型的目标函数的构建终端,其特征在于,所述推荐模型的目标函数的构建终端包括处理器、以及通过通信总线与处理器连接的存储器;其中,
所述存储器,用于存储计算机程序;
所述处理器,用于执行计算机程序时,以实现1-5任一项所述的推荐模型的目标函数的构建方法。
CN202011587609.5A 2020-12-29 2020-12-29 一种推荐模型的目标函数的构建方法及终端 Active CN112631560B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011587609.5A CN112631560B (zh) 2020-12-29 2020-12-29 一种推荐模型的目标函数的构建方法及终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011587609.5A CN112631560B (zh) 2020-12-29 2020-12-29 一种推荐模型的目标函数的构建方法及终端

Publications (2)

Publication Number Publication Date
CN112631560A CN112631560A (zh) 2021-04-09
CN112631560B true CN112631560B (zh) 2023-07-07

Family

ID=75286266

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011587609.5A Active CN112631560B (zh) 2020-12-29 2020-12-29 一种推荐模型的目标函数的构建方法及终端

Country Status (1)

Country Link
CN (1) CN112631560B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113360759B (zh) * 2021-06-09 2023-08-25 南京大学 一种基于用户和项目双重时序相关性的众测任务推荐方法
CN113793187B (zh) * 2021-09-24 2024-06-18 福州大学 基于实例权重平衡和双重注意力的点击率预测方法及***
CN115658936B (zh) * 2022-12-29 2023-03-31 中国传媒大学 基于双层注意力模型的个性化节目推荐方法、***
CN117033948B (zh) * 2023-10-08 2024-01-09 江西财经大学 一种基于特征交互信息和时间张量分解的项目推荐方法
CN117520864B (zh) * 2024-01-08 2024-03-19 四川易利数字城市科技有限公司 一种数据要素多特征融合智能匹配方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018212710A1 (en) * 2017-05-19 2018-11-22 National University Of Singapore Predictive analysis methods and systems
CN109670121A (zh) * 2018-12-18 2019-04-23 辽宁工程技术大学 基于注意力机制的项目级和特征级深度协同过滤推荐算法
CN110399565A (zh) * 2019-07-29 2019-11-01 北京理工大学 基于时空周期注意力机制的递归神经网络兴趣点推荐方法
CN110929164A (zh) * 2019-12-09 2020-03-27 北京交通大学 一种基于用户动态偏好与注意力机制的兴趣点推荐方法
CN111127142A (zh) * 2019-12-16 2020-05-08 东北大学秦皇岛分校 一种基于广义神经注意力的物品推荐方法
CN111125428A (zh) * 2019-12-17 2020-05-08 东北大学 基于评分预测函数拟合结构的时间相关电影推荐方法
CN111506821A (zh) * 2020-04-30 2020-08-07 喜大(上海)网络科技有限公司 推荐模型、方法、装置、设备及存储介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108268934A (zh) * 2018-01-10 2018-07-10 北京市商汤科技开发有限公司 基于深度学习的推荐方法和装置、电子设备、介质、程序
US20190325293A1 (en) * 2018-04-19 2019-10-24 National University Of Singapore Tree enhanced embedding model predictive analysis methods and systems
US20190362220A1 (en) * 2018-05-25 2019-11-28 Sap Se Attentive neural collaborative filtering for modeling implicit feedback

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018212710A1 (en) * 2017-05-19 2018-11-22 National University Of Singapore Predictive analysis methods and systems
CN109670121A (zh) * 2018-12-18 2019-04-23 辽宁工程技术大学 基于注意力机制的项目级和特征级深度协同过滤推荐算法
CN110399565A (zh) * 2019-07-29 2019-11-01 北京理工大学 基于时空周期注意力机制的递归神经网络兴趣点推荐方法
CN110929164A (zh) * 2019-12-09 2020-03-27 北京交通大学 一种基于用户动态偏好与注意力机制的兴趣点推荐方法
CN111127142A (zh) * 2019-12-16 2020-05-08 东北大学秦皇岛分校 一种基于广义神经注意力的物品推荐方法
CN111125428A (zh) * 2019-12-17 2020-05-08 东北大学 基于评分预测函数拟合结构的时间相关电影推荐方法
CN111506821A (zh) * 2020-04-30 2020-08-07 喜大(上海)网络科技有限公司 推荐模型、方法、装置、设备及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于注意力的深度协同在线学习资源推荐模型;冯金慧等;《成都信息工程大学学报》;20200415(第02期);全文 *
基于深度学习的推荐***研究综述;黄立威等;《计算机学报》;20180305(第07期);全文 *

Also Published As

Publication number Publication date
CN112631560A (zh) 2021-04-09

Similar Documents

Publication Publication Date Title
CN112631560B (zh) 一种推荐模型的目标函数的构建方法及终端
CN109299396B (zh) 融合注意力模型的卷积神经网络协同过滤推荐方法及***
CN112598462B (zh) 基于协同过滤和深度学习的个性化推荐方法及***
CN110555112B (zh) 一种基于用户正负偏好学习的兴趣点推荐方法
CN110543242B (zh) 基于bert技术的表情输入法及其装置
CN108509573B (zh) 基于矩阵分解协同过滤算法的图书推荐方法及***
CN112184391B (zh) 一种推荐模型的训练方法、介质、电子设备和推荐模型
CN110209922A (zh) 对象推荐方法、装置、存储介质及计算机设备
CN112287166B (zh) 一种基于改进深度信念网络的电影推荐方法及***
CN113378959B (zh) 一种基于语义纠错下生成对抗网络的零样本学习方法
EP3920100A1 (en) Adaptive pointwise-pairwise learning to rank
WO2006103451A2 (en) Neuro-fuzzy systems
CN111178986B (zh) 用户-商品偏好的预测方法及***
CN113326384A (zh) 一种基于知识图谱的可解释推荐模型的构建方法
CN110706095A (zh) 一种基于关联网络的目标节点关键信息填补方法及***
CN112749737A (zh) 图像分类方法及装置、电子设备、存储介质
Cui et al. A visual and textual recurrent neural network for sequential prediction
CN113221003B (zh) 一种基于对偶理论的混合过滤推荐方法及***
US11948387B2 (en) Optimized policy-based active learning for content detection
Hawkins et al. Generalizing meanings from partners to populations: Hierarchical inference supports convention formation on networks
CN116975434A (zh) 内容推荐方法以及相关设备
CN116452293A (zh) 一种融合物品受众特征的深度学习推荐方法及***
CN114048386B (zh) 一种基于深度学习的融合个性化和多样化的搜索方法
CN116186301A (zh) 基于多模态分层图的多媒体推荐方法、电子设备及存储介质
CN115935067A (zh) 面向社会化推荐的语义与结构视图融合的物品推荐方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant