CN110580311B - 动态时间感知协同过滤方法 - Google Patents
动态时间感知协同过滤方法 Download PDFInfo
- Publication number
- CN110580311B CN110580311B CN201910540175.4A CN201910540175A CN110580311B CN 110580311 B CN110580311 B CN 110580311B CN 201910540175 A CN201910540175 A CN 201910540175A CN 110580311 B CN110580311 B CN 110580311B
- Authority
- CN
- China
- Prior art keywords
- time
- collaborative filtering
- recommendation
- data set
- function
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及种动态时间感知协同过滤方法。本发明在传统的协同过滤中添加动态时间因子以对数据集进行训练和优化,从而在数据集中引入时间因子,提高推荐结果的时效性,从而提高用户的满意度。在推荐上,本发明采用了top‑k算法,以使得测试的推荐结果更有代表性和客观性以及平台无关性。
Description
技术领域
本发明涉及协同过滤与推荐***领域,特别是时间感知型协同过滤领域方面的优化。
背景技术
近年来,随着计算机技术的发展,尤其是网络传输速度和硬件存储容量的飞跃式进展导致了我们的日常生活中信息过载已经成了常态。面对信息过载问题,各大互联网平台都纷纷将推荐***投入了运用,而其中最常用的技术则是协同过滤。在推荐***得到了广泛运用之后,协同过滤方法所存在的时效性不足的问题逐渐显现出来,并且该问题已经成为了阻碍推荐***得到进一步优化的最大原因之一。时态感知协同过滤为了解决这一技术难题而被提出,其在传统的协同过滤的基础上添加了时间因子,使推荐***能够获得更好的时效性,提高用户满意度。
发明内容
本发明的目的是:有效地改善传统协同过滤时效性不足的问题,并且其能够对特殊热点事件所带来的数据噪声进行降噪处理。
为了达到上述目的,本发明的技术方案是提供了一种动态时间感知协同过滤方法,其特征在于,包括以下步骤:
步骤1、对元数据集的特征进行分析,选定时间因子函数和分段时间切点,选定所需要进行加权的特殊日期并确定其加权函数,其中,时间因子函数包括了f1(t)=at/k(0<a<1)与f2(t)=2/(1+tk)(k为可变参量)在内的数种函数模型,具有随着时间的增加,函数值不断地减小的特征,并且具有当时间刚开始增大时函数值减小较快,而随着时间的增大函数值下降趋势变慢的特征;需要说明的是,所述的动态时间因子需要手动调整参数,包括时间因子内的可变参量与在全时间段上切分时间因子的切分点,通过调参来得到局部最优解。
步骤2:对元数据集使用步骤1中决定的时间因子与加权函数,对该数据集进行加权处理;
步骤3:使用步骤2中所训练完毕的数据集,运用协同过滤方法对数据集进行处理;
步骤4:对步骤3中处理完毕的数据集,使用k近邻算法生成推荐序列并进行线上推荐。
优选地,所述步骤1中,需要通过测试的方法来选定合适的时间因子与切分点,并且需要选定需要进行加权的特殊日期。
优选地,获取测试所需要的参数时,需要通过控制参数并进行逐一测试的方式来寻找最优解下的参数值。
优选地,所述步骤2中,对用户-项目评分矩阵使用矩阵点乘的方式进行矩阵加权,为了得到加权后的预测评分r'u,i,使用公式r'u,i=ru,if(|tu,c-tu,i|)来对原评分ru,i进行加权,其中,f(|tu,c-tu,i|)是有关打分时间与现在时间差值的函数。
优选地,所述步骤3中,使用协同过滤算法对训练完毕的数据集进行推荐,其中的方法包括有:
(1)使用余弦相似度计算相似度矩阵;
(2)使用相似度矩阵计算评分预测。
优选地,在步骤2中,加入了时间因子后,预测评分公式为其中,/>表示用户u对项目i的评分的预测,simi(ik,ia)表示项目i和项目k的相似度,xa,m表示邻居用户a对项目m的评分,f(|Δt|)表示时间衰减函数。
优选地,步骤4中,基于所述相似度矩阵与所述预测评分使用k-NN算法计算出推荐序列并据此对用户进行评分预测。
优选地,步骤4中,通过对特殊日期进行特殊的加权,使得特殊日期及其造成的社会热点对推荐结果的影响降到最低,其中加权公式为:式中,/>表示用户u的平均打分,k表示影响权重的大小。
本发明在传统的协同过滤中添加动态时间因子以对数据集进行训练和优化,从而在数据集中引入时间因子,提高推荐结果的时效性,从而提高用户的满意度。在推荐上,本发明采用了top-k算法,以使得测试的推荐结果更有代表性和客观性以及平台无关性。
所述top-k算法是一种分类算法,其认为在分类特征空间中,某些项目和他最近邻的项目形成的项目簇往往是属于同一类别的项目,所以每一个项目都可以用和它最接近的k个邻居进行表示;在推荐过程中,取和目标用户相似度最高的k个用户,向目标用户推荐这k个用户评分最高,而目标用户没有评分行为的项目即为推荐***中对该用户所做的推荐。
所述平台无关性是指:推荐***的搭建和维护者不需要对所推荐的内容有所了解,不需要也不允许对所推荐内容有所干预,以此保证推荐***的可移植性与高重用性的同时保证了推荐结果的纯净与准确。
附图说明
图1为本发明的总体框图;
图2为本发明中时间因子加权的流程图;
图3为本发明中推荐算法的流程图;
图4为本发明中生成推荐序列的流程图;
图5为本发明的流程图。
具体实施方式
下面结合具体实施例,进一步阐述本发明。应理解,这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解,在阅读了本发明讲授的内容之后,本领域技术人员可以对本发明作各种改动或修改,这些等价形式同样落于本申请所附权利要求书所限定的范围。
本发明的实施方式涉及一种面向推荐***的动态时间感知推荐算法,主要包括两个方面:1)主体采用基于物品的协同过滤(IB-CF),在此基础上提出对数据集添加动态时间因子,从而增加推荐结果的时效性,提高传统协同过滤的性能。2)对数据集添加特殊日期的加权,从而削弱特殊日期时的社会热点在用户评分上的体现,还原用户真实的喜好情况,提高推荐***的准确率。
如图1所示,首先,需要对数据集进行预处理,这种处理方式本发明不进行涉及;在预处理完毕后,需要对处理完毕的数据集运用本发明所涉及的算法进行时间因子加权;在加权后,将数据集送入推荐***进行计算与推荐,从而得出推荐结果,并对推荐结果进行统计测试。
如图2所示,数据集需要通过分割算法分割成训练集与测试集,并对训练集添加时间因子加权;对数据集,应该先增添特殊日期加权,然后再使用动态时间因子函数对处理过特殊日期的数据集进行进一步加权;对处理完毕的训练集,与测试集一同送入推荐***进行推荐计算。特殊地,动态时间因子的时间切分点需要手动进行测试得到局部最优解。
如图3所示,被送入的训练集通过相似度算法获得相似度矩阵,这种相似度算法往往是余弦相似度;在计算得出相似度算法后,通过评分预测算法处理相似度矩阵,并最终得出评分预测矩阵,该矩阵代表了通过推荐***计算得出的所有用户对项目所打出的评分的预测。
如图4所示,通过评分预测矩阵,选定一个k值,通过top-k算法计算出最后的推荐序列,并且通过与上述预先分割出来的测试集进行比对,从而计算得出模型的准确度指标。
实验结果表明,本发明通过在传统的协同过滤中增加动态时间因子可以显著提高推荐***的时效性,但是同时会降低一定的准确度,而由于时效性和准确度是一组互斥的指标,所以准确度一定程度的下降是可以接受的。此外,动态时间因子相较普通的静态时间因子,推荐结果的准确度有显著上升;而引入特殊日期加权后,在top-k推荐序列的长度k取值较小时,推荐结果的准确度也有明显的上升。
Claims (5)
1.一种动态时间感知协同过滤方法,其特征在于,包括以下步骤:
步骤1、对元数据集的特征进行分析,选定时间因子函数和分段时间切点,选定所需要进行加权的特殊日期并确定其加权函数,其中,时间因子函数具有随着时间的增加,函数值不断地减小的特征,并且具有当时间刚开始增大时函数值减小较快,而随着时间的增大函数值下降趋势变慢的特征;
步骤2:先对元数据集增添特殊日期加权,再对处理过特殊日期的元数据集使用步骤1中决定的时间因子与加权函数,对该数据集进行加权处理,加入了时间因子后,预测评分公式为其中,/>表示用户u对项目i的评分的预测,simi(i,m)表示项目i和项目m的相似度,xa,m表示邻居用户a对项目m的评分,f(Δt)表示时间衰减函数;
步骤3:使用步骤2中所加权完毕的数据集,运用协同过滤方法对数据集进行处理,其中,使用协同过滤算法对加权完毕的数据集进行推荐,其中的方法包括有:
(1)使用余弦相似度计算相似度矩阵;
(2)使用相似度矩阵计算评分预测;
步骤4:对步骤3中处理完毕的数据集,使用k近邻算法生成推荐序列并进行线上推荐。
2.根据权利要求1所述的一种动态时间感知协同过滤方法,其特征在于,所述步骤1中,需要通过测试的方法来选定合适的时间因子与切分点,并且需要选定需要进行加权的特殊日期。
3.根据权利要求2所述的一种动态时间感知协同过滤方法,其特征在于,通过测试获取所需要的参数时,需要通过控制参数并进行逐一测试的方式来寻找最优解下的参数值。
4.根据权利要求1所述的一种动态时间感知协同过滤方法,其特征在于,步骤4中,基于所述相似度矩阵与所述预测评分使用k-NN算法计算出推荐序列并据此对用户进行评分预测。
5.根据权利要求1所述的一种动态时间感知协同过滤方法,其特征在于,步骤2中,通过对特殊日期进行特殊的加权,使得特殊日期及其造成的社会热点对推荐结果的影响降到最低,其中加权公式为:式中,/>表示用户u的平均打分,k表示影响权重的大小。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910540175.4A CN110580311B (zh) | 2019-06-21 | 2019-06-21 | 动态时间感知协同过滤方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910540175.4A CN110580311B (zh) | 2019-06-21 | 2019-06-21 | 动态时间感知协同过滤方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110580311A CN110580311A (zh) | 2019-12-17 |
CN110580311B true CN110580311B (zh) | 2023-08-01 |
Family
ID=68810795
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910540175.4A Active CN110580311B (zh) | 2019-06-21 | 2019-06-21 | 动态时间感知协同过滤方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110580311B (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011257953A (ja) * | 2010-06-08 | 2011-12-22 | Nippon Telegr & Teleph Corp <Ntt> | 日時別推薦アイテムフィルタリング方法及び日時別推薦アイテムフィルタリングプログラム |
CN106471491A (zh) * | 2015-05-29 | 2017-03-01 | 深圳市汇游智慧旅游网络有限公司 | 一种时变的协同过滤推荐方法 |
CN106530010A (zh) * | 2016-11-15 | 2017-03-22 | 平安科技(深圳)有限公司 | 融合时间因素的协同过滤方法和装置 |
CN106610970A (zh) * | 2015-10-21 | 2017-05-03 | 上海文广互动电视有限公司 | 基于协同过滤的内容推荐***与方法 |
CN109815402A (zh) * | 2019-01-23 | 2019-05-28 | 北京工业大学 | 基于用户特征的协同过滤推荐算法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9495645B2 (en) * | 2012-10-21 | 2016-11-15 | Concept.Io, Inc. | Method and system of iteratively autotuning prediction parameters in a media content recommender |
-
2019
- 2019-06-21 CN CN201910540175.4A patent/CN110580311B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011257953A (ja) * | 2010-06-08 | 2011-12-22 | Nippon Telegr & Teleph Corp <Ntt> | 日時別推薦アイテムフィルタリング方法及び日時別推薦アイテムフィルタリングプログラム |
CN106471491A (zh) * | 2015-05-29 | 2017-03-01 | 深圳市汇游智慧旅游网络有限公司 | 一种时变的协同过滤推荐方法 |
CN106610970A (zh) * | 2015-10-21 | 2017-05-03 | 上海文广互动电视有限公司 | 基于协同过滤的内容推荐***与方法 |
CN106530010A (zh) * | 2016-11-15 | 2017-03-22 | 平安科技(深圳)有限公司 | 融合时间因素的协同过滤方法和装置 |
CN109815402A (zh) * | 2019-01-23 | 2019-05-28 | 北京工业大学 | 基于用户特征的协同过滤推荐算法 |
Non-Patent Citations (3)
Title |
---|
Time-aware Collaborative Filtering with the Piecewise Decay Function;Pei Wu et al.;《arXiv》;20101019;第1-4页 * |
基于时间效应的协同过滤算法;吴飞等;《计算机工程与科学》;20171130(第11期);第2095-2101页 * |
智能购物中心情境下上下文感知推荐***研究与开发;陈杰;《中国优秀硕士学位论文全文数据库信息科技辑》;20130715(第7期);第41-42页 * |
Also Published As
Publication number | Publication date |
---|---|
CN110580311A (zh) | 2019-12-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11620326B2 (en) | User-specific media playlists | |
KR101415022B1 (ko) | 복합 알고리즘 이용한 정보 추천 방법 및 장치 | |
US10789620B2 (en) | User segment identification based on similarity in content consumption | |
JP4524709B2 (ja) | 情報処理装置および方法、並びに、プログラム | |
US20130086024A1 (en) | Query Reformulation Using Post-Execution Results Analysis | |
CN110334356B (zh) | 文章质量的确定方法、文章筛选方法、以及相应的装置 | |
CN109902235B (zh) | 基于蝙蝠优化的用户偏好聚类协同过滤推荐算法 | |
CN108804683B (zh) | 结合矩阵分解和协同过滤算法的电影推荐方法 | |
US20140250115A1 (en) | Prototype-Based Re-Ranking of Search Results | |
EP3134828A1 (en) | Systems and methods for prioritizing file uploads | |
CN109903138B (zh) | 一种个性化商品推荐方法 | |
CN107016122B (zh) | 基于时间迁移的知识推荐方法 | |
CN110019943A (zh) | 视频推荐方法、装置、电子设备和存储介质 | |
US20100121844A1 (en) | Image relevance by identifying experts | |
CN103309869A (zh) | 数据对象的展示关键词推荐方法及*** | |
CN103020141A (zh) | 一种用于提供搜索结果的方法和设备 | |
CN108415926B (zh) | 一种消除原始评分数据评分噪声的协同过滤推荐方法 | |
CN110992127A (zh) | 一种物品推荐方法及装置 | |
CN110580311B (zh) | 动态时间感知协同过滤方法 | |
JP2003167907A (ja) | 情報提供方法およびシステム | |
CN110765360B (zh) | 文本话题处理方法、装置、电子设备及计算机存储介质 | |
CN110825965A (zh) | 一种基于信任机制和时间加权的改进协同过滤推荐方法 | |
US20220318253A1 (en) | Search Method, Apparatus, Electronic Device, Storage Medium and Program Product | |
CN113360784B (zh) | 一种用于设备运维方案推荐的知识图谱优化的协同过滤算法 | |
CN116089738A (zh) | 新闻推荐方法、装置、电子设备及计算机可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |