CN117828193A - 基于多兴趣半联合学习兴趣推荐方法、***、设备及介质 - Google Patents
基于多兴趣半联合学习兴趣推荐方法、***、设备及介质 Download PDFInfo
- Publication number
- CN117828193A CN117828193A CN202410238782.6A CN202410238782A CN117828193A CN 117828193 A CN117828193 A CN 117828193A CN 202410238782 A CN202410238782 A CN 202410238782A CN 117828193 A CN117828193 A CN 117828193A
- Authority
- CN
- China
- Prior art keywords
- interest
- term
- short
- user
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 48
- 230000006399 behavior Effects 0.000 claims abstract description 50
- 238000012549 training Methods 0.000 claims abstract description 28
- 238000007781 pre-processing Methods 0.000 claims abstract description 9
- 230000007774 longterm Effects 0.000 claims description 55
- 238000004590 computer program Methods 0.000 claims description 14
- 230000006870 function Effects 0.000 claims description 12
- 230000007246 mechanism Effects 0.000 claims description 12
- 238000003860 storage Methods 0.000 claims description 10
- 230000002776 aggregation Effects 0.000 claims description 8
- 238000004220 aggregation Methods 0.000 claims description 8
- 238000009826 distribution Methods 0.000 claims description 8
- 238000012545 processing Methods 0.000 claims description 7
- 230000000694 effects Effects 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 5
- 210000002569 neuron Anatomy 0.000 claims description 4
- 230000002159 abnormal effect Effects 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 2
- 229920006395 saturated elastomer Polymers 0.000 claims description 2
- 235000019580 granularity Nutrition 0.000 abstract description 9
- 238000010586 diagram Methods 0.000 description 7
- 238000012360 testing method Methods 0.000 description 6
- 210000004027 cell Anatomy 0.000 description 4
- 230000008859 change Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000000737 periodic effect Effects 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 101100001676 Emericella variicolor andK gene Proteins 0.000 description 1
- 101100001678 Emericella variicolor andM gene Proteins 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 235000012054 meals Nutrition 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000003997 social interaction Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9535—Search customisation based on user profiles and personalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
- G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/098—Distributed learning, e.g. federated learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明属于计算机兴趣点推荐领域，提供了一种基于多兴趣半联合学习兴趣推荐方法、***、设备及介质，包括获取用户行为数据进行预处理；基于预处理后的用户行为数据，利用预先训练好的多兴趣模型的半联合学习框架进行兴趣推荐；本发明能够有效识别多粒度的用户兴趣并感知时钟影响的连续依赖性，以不同粒度的兴趣组合来指导用户行为建模，并具体化时间点以学习连续的兴趣依赖关系；通过单模型预训练和多模型半联合训练，结合所有粒度的兴趣，为用户推荐其在未来指定的N个时间窗口内感兴趣的POI。
Description
技术领域
本发明属于计算机兴趣点推荐技术领域，具体涉及一种基于多兴趣半联合学习兴趣推荐方法、***、设备及介质。
背景技术
本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。
随着信息技术的普及，国内外社交网络平台积累了大量能够反映用户行为轨迹的签到数据。通过分析这类数据，能够获得用户对于各种服务点的兴趣（Point-of-Interest，POI），包括娱乐类、购物类以及运动类等场所。面向用户的POI推荐***不仅对于旅游、商业、广告、社交互动等具有经济促进作用，而且能在一定程度上辅助城市和交通规划，提高生活质量和可持续发展。然而，现有POI推荐任务往往面向未来长距离时间做出推荐，因而存在推荐时刻太晚且无法为用户提供更具参考价值POI的问题。另一方面，尽管现有POI推荐任务可能会在未来时间间隔内返回多个POI，但此类结果无法提供有关如何访问这些POI的线索，即以什么顺序或在每个POI上花费多长时间。因此，研究能够针对未来多个指定的连续时间窗口，为用户推荐出具有时序轨迹特征的POI序列，是必要且有价值的。
多窗口连续型POI推荐（N个连续型POI推荐）是一项具有挑战性且复杂的任务，它需要在更细粒度的时间级别感知用户兴趣及其变化模式，至少包括三个级别的兴趣粒度：短期来看，用户在短时间内访问的POI往往是紧密相关的，称为短期兴趣；从长远来看，受个性或能力影响，用户往往会有一些稳定的核心兴趣，它们不会改变或改变很小，称为长期兴趣；一天内的不同时间段也会影响用户对场所的选择，例如，用餐时间人们往往偏向于周围的餐馆，称为时钟影响。另外，由于用户兴趣在某种程度上是连续的，针对N个连续时间间隔进行POI推荐必须考虑兴趣的时间依赖性，这也是该任务的另一重要难点。
因此，多窗口连续型POI推荐技术目前难以更精准、更可信、更具参考价值的预测用户行为，无法促进服务提供商以及用户活力。
发明内容
为了解决上述问题，本发明提出了一种基于多兴趣半联合学习兴趣推荐方法、***、设备及介质，本发明能够有效识别多粒度的用户兴趣并感知时钟影响的连续依赖性，以不同粒度的兴趣组合来指导用户行为建模，并具体化时间点以学习连续的兴趣依赖关系，解决目前POI推荐任务的局限性及其技术缺陷。
根据一些实施例，本发明的第一方案提供了一种基于多兴趣半联合学习兴趣推荐方法，采用如下技术方案：
一种基于多兴趣半联合学习兴趣推荐方法，包括：
基于预处理后的用户行为数据，利用预先训练好的多兴趣模型的半联合学习模型进行兴趣推荐；
其中，所述利用预先训练好的多兴趣模型的半联合学习模型进行兴趣推荐，具体为：
基于短期兴趣模型，编码预处理后的用户行为数据得到用户短期兴趣，结合动态自注意力机制对用户短期兴趣进行连续解码；
基于长期兴趣模型，利用时序网络建模预处理后的用户行为数据得到用户长期兴趣；
预训练短期兴趣模型获取蕴含长期依赖和时钟影响的低维嵌入表示，联合短期兴趣模型的连续解码操作和长期兴趣模型的最终步聚合操作，为N个连续窗口逐步匹配兴趣点POI。
根据一些实施例，本发明的第二方案提供了一种基于多兴趣半联合学习兴趣推荐***，采用如下技术方案：
基于多兴趣半联合学习兴趣推荐***，包括：
数据获取处理模块，被配置为获取用户行为数据进行预处理；
兴趣推荐模块，被配置为基于预处理后的用户行为数据，利用预先训练好的多兴趣模型的半联合学习模型进行兴趣推荐；
其中，所述利用预先训练好的多兴趣模型的半联合学习模型进行兴趣推荐，具体为：
基于短期兴趣模型，编码预处理后的用户行为数据得到用户短期兴趣，结合动态自注意力机制对用户短期兴趣进行连续解码；
基于长期兴趣模型，利用时序网络建模预处理后的用户行为数据得到用户长期兴趣；
预训练短期兴趣模型获取蕴含长期依赖和时钟影响的低维嵌入表示，联合短期兴趣模型的连续解码操作和长期兴趣模型的最终步聚合操作，为N个连续窗口逐步匹配兴趣点POI。
根据一些实施例，本发明的第三方案提供了一种计算机可读存储介质。
一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述第一个方面所述的基于多兴趣半联合学习兴趣推荐方法中的步骤。
根据一些实施例，本发明的第四方案提供了一种计算机设备。
一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述第一个方面所述的基于多兴趣半联合学习兴趣推荐方法中的步骤。
与现有技术相比，本发明的有益效果为：
本发明能够有效识别多粒度的用户兴趣并感知时钟影响的连续依赖性，以不同粒度的兴趣组合来指导用户行为建模，并具体化时间点以学习连续的兴趣依赖关系：构建具有编码-解码结构的短期兴趣模型，设计能够连续解码的动态自注意力机制，为解码序列中的每个步骤生成唯一的权重序列，同时将物化的时钟效应注入短期兴趣的顺序解码；构建长期兴趣模型来感知周期性的行为模式，持续捕捉长期兴趣与时钟影响之间的依赖关系；通过单模型预训练和多模型半联合训练，结合所有粒度的兴趣，为用户推荐其在未来指定的N个时间窗口内感兴趣的POI。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
图1是本发明实施例中一种基于多兴趣半联合学习的多窗口连续型POI推荐方法训练流程图；
图2是本发明实施例中短期兴趣模型SIM流程图；
图3是本发明实施例中长期兴趣模型LIM流程图；
图4是本发明实施例中多模型半联合学习框架LSIM的结构示意图；
图5是本发明实施例中LSIM执行多窗口连续型POI推荐流程图。
具体实施方式
下面结合附图与实施例对本发明作进一步说明。
应该指出，以下详细说明都是例示性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
实施例一
本实施例提供了一种基于多兴趣半联合学***台等基础云计算服务的云服务器。终端可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等，但并不局限于此。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接，本申请在此不做限制。本实施例中，该方法包括以下步骤：
获取用户行为数据进行预处理；
基于预处理后的用户行为数据，利用预先训练好的多兴趣模型的半联合学习模型进行兴趣推荐；
其中，所述利用预先训练好的多兴趣模型的半联合学习模型进行兴趣推荐，具体为：
基于短期兴趣模型，编码预处理后的用户行为数据得到用户短期兴趣，结合动态自注意力机制对用户短期兴趣进行连续解码；
基于长期兴趣模型，利用时序网络建模预处理后的用户行为数据得到用户长期兴趣；
预训练短期兴趣模型获取蕴含长期依赖和时钟影响的低维嵌入表示，联合短期兴趣模型的连续解码操作和长期兴趣模型的最终步聚合操作，为N个连续窗口逐步匹配兴趣点POI。
其中，所述获取用户行为数据进行预处理，具体为：
获取用户的行为数据；
统计用户的行为数据中的POI频次，将频次少于5次的POI视为异常值并进行删除，得到预处理后的用户行为数据。
本实施例提供了一种基于多兴趣半联合学习的多窗口连续型POI（兴趣点）推荐方法的训练过程，如图1所示，包括如下步骤：
步骤1：获取社交网络的用户行为数据，进行预处理并划分数据集，定义执行任务；
步骤2：编码用户短期兴趣，基于检索思想构建自注意力机制提高近期行为的影响，利用多层感知机为隐藏状态注入时钟影响，对短期兴趣进行连续解码；
步骤3：利用时序网络建模用户长期兴趣，捕获用户的周期性访问模式，对时序网络的每两个相邻节点开展模拟预测，缓解训练数据量不足的问题；
步骤4：预训练短期模型，获取蕴含长期依赖和时钟影响的低维输入表示，联合短期模型的连续解码操作和长期模型的最终步聚合操作，同时组合损失，形成多兴趣模型的半联合学习模型；
步骤5：训练并测试半联合学习模型，为N个连续窗口逐步匹配兴趣点POI。
所述步骤1包括如下步骤：
步骤1.1：获取Foursquare和Gowalla平台的签到数据集，需要说明的是，此处的平台仅仅是举例说明，指的是获取用户的签到数据，选择其他平台也可以；
步骤1.2：统计各数据集中的兴趣点POI频次，将频次少于5次的兴趣点POI视为异常值并进行删除，生成实验数据集；
进一步地，所述步骤1.2包括：用户的签到历史记录（用户行为数据），用户集，兴趣点（POI）集/>，其中M和V代表集合大小，每个POI都与其经度和纬度坐标相关联，三元组/>表示用户/>在/>时间访问了POI/>，其中/>且/>；
步骤1.3：将实验数据集划分为训练集、验证集、测试集，具体地，将每个用户前80%的签到记录作为训练集，将最后一天的签到记录作为测试集，将剩余的签到记录作为验证集；
步骤1.4：利用表示时间间隔的基本单位，给定用户/>的签到历史记录/>、用户当前位置/>、当前时间/>以及整数N，N个连续型POI推荐从/>中返回POI序列，/>代表用户/>在未来时间间隔/>期间最有可能被访问的POI，其中参数满足/>，/>，/>，t s和t e分别指的是时间间隔的起始时间点和终止时间点。也就是说，步骤1.4是数据集中每个用户u进行N个连续型POI推荐的公式化描述。
所述步骤2，如图2所示，包括如下步骤：
步骤2.1：不同的用户或在不同的场景中可能会指定不同的值，但为不同的/>训练不同的模型费力费时，将时间点具体化是解决该问题可行且有效的方法，即使用向量/>表示时钟影响的主题表示，其中/>，对应一天的24小时；
步骤2.2：给定POI（兴趣点）的隐藏兴趣的嵌入表示/>和用户/>的隐藏兴趣的嵌入表示/>，其中，j表示第j个神经元，u表示第u个用户，且M≥u≥1，构建短期兴趣模型SIM，对序列化的短期行为进行编码，如下所示：
（1）；
（2）；
上式中，W SIM表示短期兴趣模型中POI嵌入L j的权重参数（矩阵），Q SIM表示用户嵌入U u的权重参数，编码器的长度默认设置为5；是利用多层感知机从/>和/>中提取的信息；/>和/>是编码器的输出和状态，这里使用简单实用的LSTM（Long-short-term memory长短期神经网络）作为编码器的基本单元，其可以被其他任何有效的单元替换；/>表示获得的编码器的最终状态，可以视为短期兴趣；/>表示第j个神经元的输出，用于匹配短期兴趣。
需要注意的是，在短期兴趣模型在进行编码解码前需要先对预处理后的数据进行用户短期行为序列进行抽取。
步骤2.3：构建能够参与连续解码的动态自注意力机制，对解码序列中的每个步骤生成唯一的权重序列，每次进入新的解码节点时，以饱和的方式动态地为选定的兴趣分配权重来进行解码；
具体地，将解码单元的状态视为步骤处的查询信息/>，n指的是解码器的第n个神经元（共N个），将短期兴趣/>视为值，通过模拟信息查询进行注意力分配，如下所示：
（3）；
（4）；
（5）；
上式中，c n表示参数常量，是/>的标准化，其中，k是第k个编码器（LSTM单元），，/>是中间结果即参数常量，将其拆分为单独的公式是为了便于理解；和/>是要学习的参数，W k和K k是第k个LSTM单元的权重参数（矩阵）；v T是一维向量，对tanh()的计算结果起到降维作用；H k是第k个LSTM单元的隐藏层状态；
步骤2.4：接下来，利用潜在的时钟相关主题来进一步调整短期兴趣的解码，主要目的是感知时钟影响对预测时间轴的连续依赖性，如下所示：
（6）；
（7）；
（8）；
其中，O n+1是用户短期兴趣，表示线性变换，/>表示位置预测的分布，解码器同样是一个可替换的LSTM单元，其可以被其他任何有效的单元替换。短期兴趣模型SIM为结合自注意力的编码器-解码器模型，编码器编码用户短期兴趣，解码器结合动态自注意力机制对用户短期兴趣进行连续解码，短期兴趣模型最终得到的是解码后的用户短期兴趣表示，解码过程是一个序列化过程（因为用户的兴趣在不同时刻可能不同），序列的每个节点的输出表示用户当时的兴趣；解码序列长度为N，即拥有N个节点。
所述步骤3，如图3所示，包括如下步骤：
步骤3.1：构建能够感知时钟影响的长期兴趣模型LIM，对所有历史签到记录进行建模，捕获连续时间线上的长期兴趣和时钟影响之间的依赖性；具体地，首先，利用多层感知机从/>中提取用户和地点的个性化特征信息作为输入，如下所示：
（9）；
上式中，和/>是需要学习的参数，/>和/>是兴趣点/>和用户u的嵌入表示；
步骤3.2：将时钟相关主题同步嵌入每一层的输出，从而捕获长期兴趣和时钟影响之间的连续依赖性，如下所示：
（10）；
（11）；
上式中，是隐藏状态/>的非线性变换，T i+1是指用户访问下一个（即I i+1）POI（即I i+1）时的时间的向量表示；S i-1是上一步（第i-1步）LSTM单元的细胞核状态（向量表示）；H i是当前步（第i步）LSTM单元的隐藏层状态（向量表示）；S i是当前步（第i步）LSTM单元的细胞核状态（向量表示）；I i是当前步（第i步）访问的POI，也就是兴趣点（地点）；
步骤3.3：利用函数，计算出POI概率分布，如下所示：
（12）；
需要说明的是，用户长期兴趣表示是向量，向量中每个元素的值为不确定的连续值，激活函数的作用是将向量中每个元素的值映射为小数（值为0和1之间），用于表示用户接下来会访问该元素对应POI的概率。
所述步骤4，如图4所示，包括如下步骤：
步骤4.1：模型的联合训练不仅需要平衡不同的损失，还需要统一不同形式的输出；因此，首先固定LIM最后一步的输出，将压缩的长期兴趣应用于SIM中短期兴趣的每次解码，以实现半联合，过程如下所示：
（13）；
（14）；
（15）；
上式中，和/>可以分别通过长期兴趣模型LIM和短期兴趣模型SIM获得，S i是当前步（第i步）LSTM单元的细胞核状态（向量表示），/>是参数常量；H n是短期模型LSTM的第n步输出；T n+1是时间的向量表示；具体语境含义，例如：为用户推荐其在T n+1时刻想访问的POI；O ’ n+1表示综合的用户长短期兴趣；
步骤4.2：定义SIM的目标函数，如下所示：
（16）；
上式中，是解码器的序列长度，/>是参数集；
步骤4.3：计算SIM的损失，如下所示:
（17）；
上式中，是POI的索引，即每个POI中的第r个元素；/>是当前第u个用户访问第t个窗口的POI的真实值，/>是当前第u个用户访问第t个窗口的POI的预测值；
步骤4.4：预训练SIM，获得用户低维嵌入和地点（兴趣点）低维嵌入/>；
步骤4.5：将和/>共享给LIM作为输入；
步骤4.6：以半联合的方式结合SIM和LIM形成新的模型LSIM（多兴趣模型的半联合学习模型）；
具体地，使用SIM的训练部分来计算作为用户的短期兴趣，计算LIM部分的前向传播，获得/>的用户的长期兴趣表示/>，其中/>是用户/>的签到序列。
所述步骤5，如图5所示，包括如下步骤：
步骤5.1：利用函数，计算出POI概率分布，如下所示：
（18）；
其中，第n个维度的值代表用户在下一个时间段访问中第/>个POI的概率，完整计算得出的序列/>代表推荐的POI序列；
步骤5.2：根据，计算序列的总损失/>：
（19）；
其中，λ是超参数；
步骤5.3：利用训练集训练LSIM，在迭代中更新所有模型参数，当总损失收敛（即变得足够小时）时，迭代停止；
步骤5.4：将测试集放入将训练好的模型中，为每个用户的未来N个连续时间窗口计算匹配POI。
需要说明的是，使用训练集的训练过程步骤4和步骤5都将参与。真正的推荐是在测试集上进行的，测试集的每个用户在计算到步骤5.1中的公式（18）后，会得到一个推荐序列(5.1中描述)，此为最终的推荐结果。
实施例二
本实施例提供了一种基于多兴趣半联合学习兴趣推荐***，包括：
数据获取处理模块，被配置为获取用户行为数据进行预处理；
兴趣推荐模块，被配置为基于预处理后的用户行为数据，利用预先训练好的多兴趣模型的半联合学习模型进行兴趣推荐；
其中，所述利用预先训练好的多兴趣模型的半联合学习模型进行兴趣推荐，具体为：
基于短期兴趣模型，编码预处理后的用户行为数据得到用户短期兴趣，结合动态自注意力机制对用户短期兴趣进行连续解码；
基于长期兴趣模型，利用时序网络建模预处理后的用户行为数据得到用户长期兴趣；
预训练短期兴趣模型获取蕴含长期依赖和时钟影响的低维嵌入表示，联合短期兴趣模型的连续解码操作和长期兴趣模型的最终步聚合操作，为N个连续窗口逐步匹配兴趣点POI。
上述模块与对应的步骤所实现的示例和应用场景相同，但不限于上述实施例一所公开的内容。需要说明的是，上述模块作为***的一部分可以在诸如一组计算机可执行指令的计算机***中执行。
上述实施例中对各个实施例的描述各有侧重，某个实施例中没有详述的部分可以参见其他实施例的相关描述。
所提出的***，可以通过其他的方式实现。例如以上所描述的***实施例仅仅是示意性的，例如上述模块的划分，仅仅为一种逻辑功能划分，实际实现时，可以有另外的划分方式，例如多个模块可以结合或者可以集成到另外一个***，或一些特征可以忽略，或不执行。
实施例三
本实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述实施例一所述的基于多兴趣半联合学习兴趣推荐方法中的步骤。
实施例四
本实施例提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述实施例一所述的基于多兴趣半联合学习兴趣推荐方法中的步骤。
本领域内的技术人员应明白，本发明的实施例可提供为方法、***、或计算机程序产品。因此，本发明可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体（Read-Only Memory，ROM）或随机存储记忆体（Random AccessMemory，RAM）等。
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。
Claims (10)
1.基于多兴趣半联合学习兴趣推荐方法，其特征在于，包括：
获取用户行为数据进行预处理；
基于预处理后的用户行为数据，利用预先训练好的多兴趣模型的半联合学习模型进行兴趣推荐；
其中，所述利用预先训练好的多兴趣模型的半联合学习模型进行兴趣推荐，具体为：
基于短期兴趣模型，编码预处理后的用户行为数据得到用户短期兴趣，结合动态自注意力机制对用户短期兴趣进行连续解码；
基于长期兴趣模型，利用时序网络建模预处理后的用户行为数据得到用户长期兴趣；
预训练短期兴趣模型获取蕴含长期依赖和时钟影响的低维嵌入表示，联合短期兴趣模型的连续解码操作和长期兴趣模型的最终步聚合操作，为N个连续窗口逐步匹配兴趣点POI。
2.如权利要求1所述的基于多兴趣半联合学习兴趣推荐方法，其特征在于，所述获取用户行为数据进行预处理，具体为：
获取用户的行为数据；
统计用户的行为数据中的POI频次，将频次少于5次的POI视为异常值并进行删除，得到预处理后的用户行为数据。
3.如权利要求1所述的基于多兴趣半联合学习兴趣推荐方法，其特征在于，所述基于短期兴趣模型，编码预处理后的用户行为数据得到用户短期兴趣，结合动态自注意力机制对用户短期兴趣进行连续解码，具体为：
基于预处理后的用户行为数据抽取短期行为序列；
对序列化的短期行为序列进行编码，如下所示：
；
；
式中，W SIM表示短期兴趣模型中POI嵌入L j的权重参数，Q SIM表示用户嵌入U u的权重参数，给定POI和用户/>的隐藏兴趣的嵌入表示/>和/>；/>是利用多层感知机从/>和/>中提取的信息；/>和/>是编码器的输出和状态，/>表示获得的编码器的最终状态，视为短期兴趣；/>表示第j个神经元的输出，用于匹配短期兴趣；
构建能够参与连续解码的动态自注意力机制，对解码序列中的每个步骤生成唯一的权重序列，每次进入新的解码节点时，以饱和的方式动态地为选定的兴趣分配权重来对用户短期兴趣进行解码。
4.如权利要求1所述的基于多兴趣半联合学习兴趣推荐方法，其特征在于，所述基于长期兴趣模型，利用时序网络建模预处理后的用户行为数据得到用户长期兴趣，具体为：
对所有用户行为数据进行建模，捕获连续时间线上的长期兴趣和时钟影响之间的依赖性；
将时钟相关主题同步嵌入每一层的输出，得到用户长期兴趣，如下所示：
；
；
上式中，是隐藏状态/>的非线性变换，T i+1是指用户访问下一个POI时的时间的向量表示；S i-1是上一步LSTM单元的细胞核状态；H i是当前步LSTM单元的隐藏层状态；S i是当前步LSTM单元的细胞核状态；I i是当前步访问的POI。
5.如权利要求1所述的基于多兴趣半联合学习兴趣推荐方法，其特征在于，所述预训练短期兴趣模型获取蕴含长期依赖和时钟影响的低维嵌入表示，联合短期兴趣模型的连续解码操作和长期兴趣模型的最终步聚合操作，具体为：
固定长期兴趣模型最后一步的输出，将压缩的长期兴趣应用于短期兴趣模型中短期兴趣的每次解码，以实现半联合；
定义短期兴趣模型的目标函数，计算短期兴趣模型的损失；
基于短期兴趣模型的损失预训练短期兴趣模型，获得地点低维嵌入和用户低维嵌入/>；
将和/>共享给长期兴趣模型作为输入；使用短期兴趣模型的训练部分来计算作为用户的短期兴趣，计算长期兴趣模型部分的前向传播，获得/>的用户长期兴趣/>，其中/>是用户/>的签到序列。
6.如权利要求5所述的基于多兴趣半联合学习兴趣推荐方法，其特征在于，所述固定长期兴趣模型最后一步的输出，将压缩的长期兴趣应用于短期兴趣模型中短期兴趣的每次解码，以实现半联合，具体为：
；
；
；
上式中，和/>分别通过长期兴趣模型和短期兴趣模型获得，/>作为用户的短期兴趣，/>是参数常量，H n是短期模型LSTM的第n步输出；T n+1是时间的向量表示；O ’ n+1表示综合的用户长短期兴趣。
7.如权利要求1所述的基于多兴趣半联合学习兴趣推荐方法，其特征在于，所述为N个连续窗口逐步匹配POI，具体为：
利用函数，计算出POI概率分布，如下所示：
；
其中，O ’ n+1表示综合的用户长短期兴趣；
完整计算得出的序列代表推荐的POI序列。
8.基于多兴趣半联合学习兴趣推荐***，其特征在于，包括：
数据获取处理模块，被配置为获取用户行为数据进行预处理；
兴趣推荐模块，被配置为基于预处理后的用户行为数据，利用预先训练好的多兴趣模型的半联合学习模型进行兴趣推荐；
其中，所述利用预先训练好的多兴趣模型的半联合学习模型进行兴趣推荐，具体为：
基于短期兴趣模型，编码预处理后的用户行为数据得到用户短期兴趣，结合动态自注意力机制对用户短期兴趣进行连续解码；
基于长期兴趣模型，利用时序网络建模预处理后的用户行为数据得到用户长期兴趣；
预训练短期兴趣模型获取蕴含长期依赖和时钟影响的低维嵌入表示，联合短期兴趣模型的连续解码操作和长期兴趣模型的最终步聚合操作，为N个连续窗口逐步匹配兴趣点POI。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一项所述的基于多兴趣半联合学习兴趣推荐方法中的步骤。
10.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-7中任一项所述的基于多兴趣半联合学习兴趣推荐方法中的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410238782.6A CN117828193B (zh) | 2024-03-04 | 2024-03-04 | 基于多兴趣半联合学习兴趣推荐方法、***、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410238782.6A CN117828193B (zh) | 2024-03-04 | 2024-03-04 | 基于多兴趣半联合学习兴趣推荐方法、***、设备及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117828193A true CN117828193A (zh) | 2024-04-05 |
| CN117828193B CN117828193B (zh) | 2024-05-17 |
Family
ID=90521245
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410238782.6A Active CN117828193B (zh) | 2024-03-04 | 2024-03-04 | 基于多兴趣半联合学习兴趣推荐方法、***、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117828193B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180129749A1 (en) * | 2015-09-08 | 2018-05-10 | Tencent Technology (Shenzhen) Company Limited | Method, apparatus, and system for recommending real-time information |
| CN112364238A (zh) * | 2020-10-12 | 2021-02-12 | 山东大学 | 一种基于深度学习的用户兴趣点推荐方法与*** |
| CN112819575A (zh) * | 2021-01-26 | 2021-05-18 | 中国计量大学 | 一种考虑重复购买行为的会话推荐方法 |
| CN114896481A (zh) * | 2022-05-05 | 2022-08-12 | 重庆理工大学 | 基于改进lstm和位置跳跃的兴趣点推荐方法 |
| CN115952355A (zh) * | 2022-12-05 | 2023-04-11 | 北京电子工程总体研究所 | 基于时空幂律注意力的下一兴趣点推荐*** |
| CN115982468A (zh) * | 2023-01-04 | 2023-04-18 | 重庆邮电大学 | 一种结合用户周期性偏好和短期兴趣的兴趣点推荐方法 |
-
2024
- 2024-03-04 CN CN202410238782.6A patent/CN117828193B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180129749A1 (en) * | 2015-09-08 | 2018-05-10 | Tencent Technology (Shenzhen) Company Limited | Method, apparatus, and system for recommending real-time information |
| CN112364238A (zh) * | 2020-10-12 | 2021-02-12 | 山东大学 | 一种基于深度学习的用户兴趣点推荐方法与*** |
| CN112819575A (zh) * | 2021-01-26 | 2021-05-18 | 中国计量大学 | 一种考虑重复购买行为的会话推荐方法 |
| CN114896481A (zh) * | 2022-05-05 | 2022-08-12 | 重庆理工大学 | 基于改进lstm和位置跳跃的兴趣点推荐方法 |
| CN115952355A (zh) * | 2022-12-05 | 2023-04-11 | 北京电子工程总体研究所 | 基于时空幂律注意力的下一兴趣点推荐*** |
| CN115982468A (zh) * | 2023-01-04 | 2023-04-18 | 重庆邮电大学 | 一种结合用户周期性偏好和短期兴趣的兴趣点推荐方法 |
Non-Patent Citations (3)
| Title |
|---|
| FUQIANG YU ET AL.: "A Category-Aware Deep Model for Successive POI Recommendation on Sparse Check-in Data", WWW \'20: PROCEEDINGS OF THE WEB CONFERENCE 2020, 30 April 2020 (2020-04-30), pages 1264, XP058723017, DOI: 10.1145/3366423.3380202 * |
| XIN LIU ET AL.: "Real-time POI recommendation via modeling long- and short-term user preferences", NEUROCOMPUTING, vol. 467, 31 January 2022 (2022-01-31), pages 454 - 464 * |
| 郭燕鸽: "基于自注意力机制的下一个POI推荐方法研究", 中国优秀硕士学位论文全文数据库 信息科技辑, vol. 2023, no. 01, 15 January 2023 (2023-01-15), pages 138 - 3755 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117828193B (zh) | 2024-05-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110929164B (zh) | 一种基于用户动态偏好与注意力机制的兴趣点推荐方法 | |
| CN113626719B (zh) | 信息推荐方法、装置、设备、存储介质及计算机程序产品 | |
| CN110781321B (zh) | 一种多媒体内容推荐方法及装置 | |
| CN110366734B (zh) | 优化神经网络架构 | |
| Li et al. | DCT-GAN: dilated convolutional transformer-based GAN for time series anomaly detection | |
| CN110928993A (zh) | 基于深度循环神经网络的用户位置预测方法及*** | |
| CN111177575A (zh) | 一种内容推荐方法、装置、电子设备和存储介质 | |
| CN111090756B (zh) | 基于人工智能的多目标推荐模型的训练方法及装置 | |
| US20190392258A1 (en) | Method and apparatus for generating information | |
| CN113139140B (zh) | 基于时空感知gru并结合用户关系偏好的旅游景点推荐方法 | |
| CN111104599B (zh) | 用于输出信息的方法和装置 | |
| CN111914178A (zh) | 基于人工智能的信息推荐方法、装置、电子设备及存储介质 | |
| CN112801425B (zh) | 信息点击率的确定方法、装置、计算机设备和存储介质 | |
| CN111950295A (zh) | 一种训练自然语言处理模型的方法和*** | |
| CN113821654A (zh) | 一种多媒体数据推荐方法、装置、电子设备及存储介质 | |
| CN114996486A (zh) | 一种数据推荐方法、装置、服务器以及存储介质 | |
| CN115221396A (zh) | 基于人工智能的信息推荐方法、装置及电子设备 | |
| CN116684330A (zh) | 基于人工智能的流量预测方法、装置、设备及存储介质 | |
| CN112988851B (zh) | 反事实预测模型数据处理方法、装置、设备及存储介质 | |
| Jiang et al. | Learning social meta-knowledge for nowcasting human mobility in disaster | |
| Quan et al. | An optimized task assignment framework based on crowdsourcing knowledge graph and prediction | |
| CN114078024A (zh) | 广告库存的预估方法、装置、介质以及电子设备 | |
| CN117828193B (zh) | 基于多兴趣半联合学习兴趣推荐方法、***、设备及介质 | |
| CN115510318A (zh) | 用户表征模型的训练方法、用户表征方法及装置 | |
| Wu et al. | Mining trajectory patterns with point-of-interest and behavior-of-interest |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |