CN107657043B - 一种基于内容的混合图模型图像推荐方法 - Google Patents
一种基于内容的混合图模型图像推荐方法 Download PDFInfo
- Publication number
- CN107657043B CN107657043B CN201710924505.0A CN201710924505A CN107657043B CN 107657043 B CN107657043 B CN 107657043B CN 201710924505 A CN201710924505 A CN 201710924505A CN 107657043 B CN107657043 B CN 107657043B
- Authority
- CN
- China
- Prior art keywords
- user
- picture
- different
- vertex
- pictures
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 35
- 238000005295 random walk Methods 0.000 claims abstract description 37
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 27
- 230000007704 transition Effects 0.000 claims description 45
- 238000011156 evaluation Methods 0.000 claims description 15
- 238000002474 experimental method Methods 0.000 claims description 12
- 239000011159 matrix material Substances 0.000 claims description 11
- 238000012546 transfer Methods 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 7
- 238000010276 construction Methods 0.000 claims description 4
- 238000013135 deep learning Methods 0.000 claims description 4
- 230000009193 crawling Effects 0.000 claims description 3
- 238000002156 mixing Methods 0.000 claims description 2
- 239000000203 mixture Substances 0.000 claims 1
- 238000004364 calculation method Methods 0.000 abstract description 3
- 238000007405 data analysis Methods 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 6
- 230000006399 behavior Effects 0.000 description 3
- 238000009792 diffusion process Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000009191 jumping Effects 0.000 description 2
- 230000006855 networking Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000011273 social behavior Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/51—Indexing; Data structures therefor; Storage structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9535—Search customisation based on user profiles and personalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/01—Social networking
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Library & Information Science (AREA)
- Human Resources & Organizations (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Economics (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
一种基于内容的混合图模型图像推荐方法涉及智能媒体计算和大数据分析技术领域。本发明利用社交策展网站的多种关系结构的数据,将各种数据关系组成一个混合图模型,充分利用网的数据,结合随机游走算法和图片的内容信息给用户推荐图片。本发明将内容信息和混合图相结合能更大的提高推荐***的推荐能力。
Description
技术领域
本发明涉及智能媒体计算和大数据分析技术领域,特别是涉及一种图片推荐方法。具体涉及一种利用用户、画板、图片及他们之间的交互关系和图片内容信息形成的图模型的推荐方法。
背景技术
随着信息技术的飞速发展和互联网的普及,互联网上的信息呈***式的增长,为解决由此带来的信息过载问题,推荐***应运而生。但是数据稀疏性问题,冷启动问题,已然给推荐***带来很大的挑战。社会化推荐能够部分解决数据稀疏性问题和冷启动,更有效的进行个性化推荐。有研究表明,一个用户比起陌生人更有可能去了解和喜欢自己的朋友和家人所喜欢的东西,而且朋友关系和地理信息之间有着很强的关联性。Sinha R等人也表示在兴趣方面,人们更加喜欢来自熟悉的人的推荐。
伴随着社交网络(Facebook、Twitter、微博等)的盛行,社会化网络引入了用户更多的社交行为数据,引入了社会成员之间关系和交互行为信息.社会化推荐通过这些信息,能进一步的提升推荐***的性能,更能表达用户的个性化特点。近年来,许多社交网站加入了“策展”功能,“策展”即策划、筛选并展示,策展网络允许用户对物品进行分类、分享、点赞、评论、打分、关注等操作,也就是让用户自主的信息进行重分配,使得用户自主表达自己的爱好。社交策展网络与传统网络相比,加重了与用户之间的互动,用户表达方式更加丰富多样。尤其是对像Pinterest这样的基于用户兴趣的策展网络的研究更有意义。因此,基于社交策展网络的社会化推荐,更能挖掘有用的信息,具有重要的理论意义和应用价值。
基于社交策展网络的社会化推荐算法中一般要考虑社交关系,图模型将推荐行为变成了一个图搜索过程,是一种十分灵活的推荐算法。常用的图模型算法的基本思路是根据用户历史行为数据,将实体之间的关系用二分图来表示,通过计算图中节点之间的关联度对用户进行推荐。2007年,Zhou T等人提出了基于物质扩散的二部图推荐,利用用户与图片关系进行推荐。2008年,Zhang Y C等人提出了基于热扩散原理的二部图网络推荐算法。2009年,Shang Ming-Sheng等人提出一种混合扩散二部图网络,利用用户,物品,标签信息做推荐,将标签使用频率作为边的权值来提高精度。BJ Mirza等人[31]在2003年提出的随机游走推荐算法。该算法的原理是将用户和物品节点放入到二分图模型中,再利用随机游走算法,得到用户与图中的其他节点的的访问概率,也就是这个用户和其他用户的相似度进行推荐。首先,好多方法不能充分利用社交策展网站的信息,只是利用用户与物品的关系进行推荐,然而社交策展网站的特点是允许用户对物品进行分类、分享、点赞、评论、打分、关注等操作,尤其是像花瓣网这样的类Pinterest网站,是基于用户兴趣,用户自主进行信息整理的网站,仅用用户和图片的关系会浪费花瓣网上很多的有用信息,不能对用户进行充分的建模。其次,图片的内容信息也是一个非常有用的信息,人们往往更喜欢那些内容相似性高的推荐结果,可以利用内容信息对推荐结果进行重新整理。将内容信息和混合图相结合能更大的提高推荐***的推荐能力。
综上所述,本发明利用社交策展网站花瓣网的多种关系结构的数据,将各种数据关系组成一个混合图模型,充分利用花瓣网的数据,结合随机游走算法和图片的内容信息给用户推荐图片。
发明内容
本发明的目的是提供一种基于内容的混合图模型图片推荐方法,其框架如图1所示。
1.一种基于内容的混合图模型图像推荐方法,其特征在于,包括以下步骤:
1)、混合图模型的构建
爬取用户、画板、图片、以及数据关系,建立混合图G=(V,E),其中,V是顶点集合,E是边的集合;顶点集合包括三种{Vu,Vb,Vp},Vu表示用户顶点集合,Vb表示画板顶点集合,Vp表示图片顶点集合;一共使用了四种数据关系Ebp、Eub、Euuf、Eup;bp为画板与图片之间的关系,不同的画板能够收集不同的图片,同一张图片也可能出现在不同的画板中;ub为用户与画板之间的关系,用户建立自己的画板,也能够关注别人的画板,同一个画板可能被不同的用户关注,同一个用户也能够关注不同的画板;uuf为用户之间的朋友关系,用户能够关注其他用户也就是关注人信息,也会有其他用户关注自己也就是粉丝信息;up为用户与图片之间的关系,用户能够转采被人的图片到自己的画板集当中,也能够自己上传图片,不同用户能够转采不同的图片,同一张图片也能够被不同用户转采;混合图中两个顶点之间可能存在超过一条边;
令不同网络层的权重不一样,也就是说不同网络层之间的转移概率不一样;设不同网络之间的转移概率为λ,用户到画板,用户到图片,用户到朋友,画板到图片的转移概率分别为λub、λup、λuuf、λbp,则混合图的概率转移矩阵为S,并且符合条件:
λub+λup+λuuf+λbp=1
将转移概率加入到重启动随机游走算法当中进行推荐;
2)、随机游走算法
重启动随机游走算法用来度量一个图模型中顶点之间的相似度,重启动随机游走从一个图模型的某个顶点出发以某一个概率随机从这个顶点拥有的边中移动到下一个顶点,或者回到出发点;经过有限次的随机游走过程,图中每个顶点的概率值会达到平稳分布;其中每个点的概率值看作该顶点与出发点的相似度;重启动随机游走算法的能够表示为:
p(t+1)=(1-α)Sp(t)+αq (1)
其中,p(t)表示第t步时图中所有顶点的一个概率分布;列向量q叫重启动向量,代表整个图的初始状态;列向量q中取初始顶点值为1,其余为0;S是转移概率矩阵,α为直接回到出发顶点的概率;利用公式(1)计算概率分布,随机游走过程重复利用公式(1)迭代,直到p收敛;向量p是重启动随机游走的稳定分布,收敛意味着p(t)无限接近p,当两次迭代的结果p(t)和p(t-1)的差异在10-1之内就停止迭代;此时就能得到目标用户顶点到其他顶点的稳定概率分布;
3)、基于图片内容信息的推荐结果重排序
利用深度学习的方法提取图片特征,然后将实验中用到的图片放入到网络提取特征;再将实验中需要的数据集中的图片放入网络中提取特征,利用余弦相似性计算两张图片的相似性;得到图片相似性之后,再计算用户拥有的图片和给用户推荐的图片的相似性,将相似性高的推荐推荐图片排在前边,重新推荐。
本发明的具体技术方案和步骤介绍如下:
首先利用花瓣网中的数据进行混合图的构建,图2是花瓣网数据结构示意图,花瓣网由各个用户组成,每个用户包含基本信息,如:昵称、关注人、粉丝,还包括画板,采集和喜欢。画板就是图片的集合,用户可以将自已所拥有的图片整理到不同的画板中,每个画板都属于花瓣网中34大类中的一类,采集就是用户拥有的图片的集合。本发明的数据集包括用户(user)、画板(board)、图片(pin)以及用户与画板的关系,用户与图片的关系,用户的朋友关系,画板与图片的关系建立混合图模型。由于不同的数据关系对于图片的推荐结果的影响不一样,我们定义不同种类网络层之间的转移概率不同,它表示各种网络关系的权重。再利用不同网络的权重不同,建立新的转移概率矩阵。最后将一个推荐问题转化为一个图的搜索问题,利用转移概率矩阵,在混合图中随机游走得到稳态分布,形成推荐结果。再利用图片的内容相似性对随机游走得到的结果进行重排序得到基于内容修改的推荐结果。
1、混合图模型的构建
本发明拟在社交策展网络花瓣网上进行图片推荐工作,爬取花瓣网的用户、花瓣、图片、以及各种关系信息。并利用花瓣网的数据建立混合图G=(V,E),其中,V是顶点集合,E是边的集合。顶点集合包括三种{Vu,Vb,Vp},Vu表示用户顶点集合,Vb表示画板顶点集合,Vp表示图片顶点集合。不同于普通图模型结构的数据集,本发明的数据集中使用了多种数据关系形成的边E来建立混合图模型。如图1***框架中的混合图建立部分,一共使用了四种数据关系Ebp、Eub、Euuf、Eup。bp为画板与图片之间的关系,不同的画板可以收集不同的图片,同一张图片也可能出现在不同的画板中;ub为用户与画板之间的关系,用户可以建立自己的画板,也可以关注别人的画板,同一个画板可能被不同的用户关注,同一个用户也可以关注不同的画板;uuf为用户之间的朋友关系,用户可以关注其他用户也就是关注人信息,也会有其他用户关注自己也就是粉丝信息;up为用户与图片之间的关系,用户可以转采被人的图片到自己的画板集当中,也可以自己上传图片到花瓣网当中,不同用户可以转采不同的图片,同一张图片也可以被不同用户转采。不同于传统的社会网络研究,我们的混合图中两个顶点之间可能存在超过一条边。如图3的混合图关系示意图所示,用户A和图片P1的关系不只有一条边,还可以是从中间的画板连接的另一条边。也就是说,我们通过不同方面来表达各个用户与各个图片之间的关系,能更好的利用社交策展网站的信息,能准确的表达数据关系。
并且不同的网络关系对给用户推荐图片的影响或者作用是不一样的,所以我们不能以相同的权重来看待。这里我们令不同网络层的权重不一样,从第一层的用户跳到其他层的图片或者其他层的画板的概率是不一样的,也就是说不同网络层之间的转移概率不一样。设不同网络之间的转移概率为λ,如图4所示,用户到画板,用户到图片,用户到朋友,画板到图片的转移概率分别为λub、λup、λuuf、λbp,则混合图的概率转移矩阵为S,并且符合条件:
λub+λup+λuuf+λbp=1
此时的S就是整个混合图模型的转移概率,然后将转移概率加入到重启动随机游走算法当中进行推荐。
2、随机游走算法
重启动随机游走算法用来度量一个图模型中顶点之间的相似度,重启动随机游走从一个图模型的某个顶点出发以某一个概率随机从这个顶点拥有的边中移动到下一个顶点,或者回到出发点。经过有限次的随机游走过程,图中每个顶点的概率值会达到平稳分布,也就是说再次迭代也不会再改变图中顶点的概率分布值。其中每个点的概率值可以看作该顶点与出发点的相似度。重启动随机游走算法的可以表示为:
p(t+1)=(1-α)Sp(t)+αq (1)
其中,p(t)表示第t步时图中所有顶点的一个概率分布;列向量q叫重启动向量,代表整个图的初始状态;列向量q中取初始顶点值为1,其余为0。S是转移概率矩阵,其中sij表示当前在顶点i,下一步到达顶点j的转移概率,这就要利用我们在上一步中求出的混合图转移概率S,α为直接回到出发顶点的概率。利用公式(1)计算概率分布,随机游走过程重复利用公式(1)迭代,直到p收敛。向量p是重启动随机游走的稳定分布,收敛意味着p(t)无限接近p,因此当两次迭代的结果p(t)和p(t-1)的差异非常小,在10-1之内就停止迭代。此时就能得到目标用户顶点到其他顶点的稳定概率分布。
3、基于图片内容信息的推荐结果重排序
对于用户来说,视觉相似更能吸引用户的注意力,比如说推荐算法给某一个用户推荐了100张图片,其中10张和用户自己有的图片很相似,可能是风格相似,也可能是里边的人物相似,那么用户应该会喜欢这类图片。但是,这样的图片很有可能没有排在靠前的位置,如果你只推荐top_5或者top_10很有可能推荐不到这样的图片。针对这样的问题,本发明提出了利用图片内容相似性特征对推荐结果进行重新排序,就可以把和用户喜欢的图片中相似性高的图片提到前边,更容易推荐成功。本发明在AlexNet上利用深度学习的方法提取图片特征,主要是微调AlexNet网络,然后将实验中用到的图片放入到微调好的网络提取特征。我们拟采用花瓣网的数据,由于花瓣网的数据包括34个大类,可以按类爬取花瓣网上的图片做微调,这样每张图片的标签就是该图片属于哪个类。用花瓣网的图片微调好网络之后,再将实验中需要的数据集中的图片放入网络中提取特征,利用余弦相似性计算两张图片的相似性。得到图片相似性之后,再计算用户拥有的图片和给用户推荐的图片的相似性,将相似性高的推荐推荐图片排在前边,重新推荐。
4、推荐结果评价
由于推荐***的特殊性,推荐***的评价可以分为在线评价和离线评价。在线评价就是设计在线用户实验,根据推荐的真实用户的真实反馈结果衡量推荐***的好坏。但是在线评价的方法在本发明中很难实现,我们不可能联系所有收集到的用户,并且让他们愿意帮我们做反馈,所以一般的推荐方法都是利用离线验证,得到每个用户的推荐结果的准确率。
附图说明
图1为本发明所设计的***框图;
图2为本发明中数据来源网站花瓣网的数据结构;
图3为本发明实施过程中混合图关系的示意图;
图4为本发明实施过程中转移概率矩阵计算示意图;
具体实施方式
本发明目的是提供一种图片推荐的方法,其框架如图1所示。下面结合附图和具体例子对本发明做进一步的详细说明。
该发明的实现步骤如下:
1、混合图模型的构建
本发明采用社交策展网络花瓣网上的数据进行图片推荐工作,爬取花瓣网的用户、花瓣、图片、以及各种关系信息。其中包括用户5000人,画板200个,图片33000张,连接关系10万个左右。并利用花瓣网的数据建立混合图G=(V,E),其中,V是顶点集合,E是边的集合。顶点集合包括三种{Vu,Vb,Vp},Vu表示用户顶点集合,Vb表示画板顶点集合,Vp表示图片顶点集合。不同于普通图模型结构的数据集,本发明的数据集中使用了多种数据关系形成的边E来建立混合图模型。如图1***框架中的混合图建立部分,一共使用了四种数据关系Ebp、Eub、Euuf、Eup。bp为画板与图片之间的关系,不同的画板可以收集不同的图片,同一张图片也可能出现在不同的画板中;ub为用户与画板之间的关系,用户可以建立自己的画板,也可以关注别人的画板,同一个画板可能被不同的用户关注,同一个用户也可以关注不同的画板;uuf为用户之间的朋友关系,用户可以关注其他用户也就是关注人信息,也会有其他用户关注自己也就是粉丝信息;up为用户与图片之间的关系,用户可以转采被人的图片到自己的画板集当中,也可以自己上传图片到花瓣网当中,不同用户可以转采不同的图片,同一张图片也可以被不同用户转采。不同于传统的社会网络研究,我们的混合图中两个顶点之间可能存在超过一条边。如图3的混合图关系示意图所示,用户A和图片P1的关系不只有一条边,还可以是从中间的画板连接的另一条边。也就是说,我们通过不同方面来表达各个用户与各个图片之间的关系,能更好的利用社交策展网站的信息,能准确的表达数据关系。
并且不同的网络关系对给用户推荐图片的影响或者作用是不一样的,所以我们不能以相同的权重来看待。这里我们令不同网络层的权重不一样,从第一层的用户跳到其他层的图片或者其他层的画板的概率是不一样的,也就是说不同网络层之间的转移概率不一样。设不同网络之间的转移概率为λ,如图4所示,用户到画板,用户到图片,用户到朋友,画板到图片的转移概率分别为λub、λup、λuuf、λbp,则混合图的概率转移矩阵为S,并且符合条件:
λub+λup+λuuf+λbp=1
其中,λ的取值需要设定多组并找出最优解,λub、λup、λuuf、λbp的取值范围是0.1~0.9,步长为0.1,例如:λub=0.1、λup=0.2、λuuf=0.3、λbp=0.4就为一组。设置不同组的λ值进行实验,并将每一组值都计算出一个推荐结果,并且得到主观评价的评分,并将得分最高的推荐结果的λ值作为最终的权重。我们最终选取的λ值为λub=0.2、λup=0.5、λuuf=0.1、λbp=0.2。
用户m到图片n的转移概率可表示为:
其中Dup(m)表示用户m在用户图片关系中的出度。
用户m到画板k的转移概率可表示为:
其中Dub(m)表示用户m在用户画板关系中的出度。
用户m到用户l的转移概率可表示为:
其中Duuf(m)表示用户m在用户朋友关系中的出度。
画板k到图片n的转移概率可表示为:
其中Dbp(k)表示画板k在画板图片关系中的出度。
此时的S就是整个混合图模型的转移概率,这样我们就找到了从任意一个顶点移动到另一个顶点的概率,然后将转移概率加入到重启动随机游走算法当中进行推荐。
2、随机游走算法
重启动随机游走算法用来度量一个图模型中顶点之间的相似度,重启动随机游走从一个图模型的某个顶点出发以某一个概率随机从这个顶点拥有的边中移动到下一个顶点,或者回到出发点。经过有限次的随机游走过程,图中每个顶点的概率值会达到平稳分布,也就是说再次迭代也不会再改变图中顶点的概率分布值。其中每个点的概率值可以看作该顶点与出发点的相似度。重启动随机游走算法的可以表示为:
p(t+1)=(1-α)Sp(t)+αq (1)
其中,p(t)表示第t步时图中所有顶点的一个概率分布;列向量q叫重启动向量,代表整个图的初始状态;列向量q中取初始顶点值为1,其余为0。S是转移概率矩阵,其中sij表示当前在顶点i,下一步到达顶点j的转移概率,这就要利用我们在上一步中求出的混合图转移概率S,α为直接回到出发顶点的概率,其取值范围为0.1~0.9,步长为0.1,计算出推荐结果,并将推荐结果中准确率最高的α值作为最终的选择,本发明使用的是α=0.7。利用公式(1)计算概率分布,随机游走过程重复利用公式(1)迭代,直到p收敛,向量p是重启动随机游走的稳定分布,收敛意味着p(t)无限接近p,因此当两次迭代的结果p(t)和p(t-1)的差异非常小,在10-1之内就停止迭代。此时就能得到目标用户顶点到其他顶点的稳定概率分布。
3、基于图片内容信息的推荐结果重排序
对于用户来说,视觉相似更能吸引用户的注意力,比如说推荐算法给某一个用户推荐了100张图片,其中10张和用户自己有的图片很相似,可能是风格相似,也可能是里边的人物相似,那么用户应该会喜欢这类图片。但是,这样的图片很有可能没有排在靠前的位置,如果你只推荐top5或者top10很有可能推荐不到这样的图片。针对这样的问题,本发明提出了利用图片内容相似性特征对推荐结果进行重新排序,就可以把和用户喜欢的图片中相似性高的图片提到前边,更容易推荐成功。本发明在AlexNet上利用深度学***均一个类550张左右的图片进行微调。其中80%的图片作为训练集,20%的图片作为测试集。用花瓣网的图片微调好网络之后,再将实验中需要的数据集中的图片放入网络中提取特征,利用余弦相似性计算两张图片的相似性。得到图片相似性之后,再计算用户拥有的图片和给用户推荐的图片的相似性,将相似性高的推荐推荐图片排在前边,重新推荐。
4、推荐结果评价
本发明主要使用主观评价的方法,模拟用户推荐的方式,找志愿者帮助判断实验结果的好坏。找出每个用户拥有的和推荐的图片相似度最高的三张图,并将这四张图拿给志愿者评价,做出1-5的评分。并将这个评分结果作为推荐***好坏的评价指标。本发明的主观评价找了10个志愿者,每个志愿者对每个实验评价100张图,得出1-5的评分的均值。其中只利用用户和图片信息形成的二部图网络的主观评价得分为3.75,二部图网络加上内容重排序的主观评价得分为3.98,而利用混合图加内容重排序的方法的主观评价得分为4.21,证明本方法的有效性。
Claims (3)
1.一种基于内容的混合图模型图像推荐方法,其特征在于,包括以下步骤:
1)、混合图模型的构建
爬取用户、画板、图片、以及数据关系,建立混合图,其中,是顶点集合,E是边的集合;顶点集合包括三种,表示用户顶点集合,表示画板顶点集合,表示图片顶点集合;一共使用了四种数据关系Ebp、Eub、Euuf、Eup;bp为画板与图片之间的关系,不同的画板能够收集不同的图片,同一张图片也可能出现在不同的画板中;ub为用户与画板之间的关系,用户建立自己的画板,也能够关注别人的画板,同一个画板可能被不同的用户关注,同一个用户也能够关注不同的画板;uuf为用户之间的朋友关系,用户能够关注其他用户也就是关注人信息,也会有其他用户关注自己也就是粉丝信息;up为用户与图片之间的关系,用户能够转采被人的图片到自己的画板集当中,也能够自己上传图片,不同用户能够转采不同的图片,同一张图片也能够被不同用户转采;混合图中两个顶点之间可能存在超过一条边;
令不同网络层的权重不一样,也就是说不同网络层之间的转移概率不一样;设不同网络之间的转移概率为,用户到画板,用户到图片,用户到朋友,画板到图片的转移概率分别为、、、,则混合图的概率转移矩阵为S,并且符合条件:
将转移概率加入到重启动随机游走算法当中进行推荐;
2)、随机游走算法
重启动随机游走算法用来度量一个图模型中顶点之间的相似度,重启动随机游走从一个图模型的某个顶点出发以某一个概率随机从这个顶点拥有的边中移动到下一个顶点,或者回到出发点;经过有限次的随机游走过程,图中每个顶点的概率值会达到平稳分布;其中每个点的概率值看作该顶点与出发点的相似度;重启动随机游走算法表示为:
其中,p(t)表示第t步时图中所有顶点的一个概率分布;列向量q叫重启动向量,代表整个图的初始状态;列向量q中取初始顶点值为1,其余为0;S是转移概率矩阵;其中表示当前在顶点i,下一步到达顶点j的转移概率,α为直接回到出发顶点的概率,其取值范围为0.1~0.9,步长为0.1,计算出推荐结果,并将推荐结果中准确率最高的α值作为最终的选择;
利用公式(1)计算概率分布,随机游走过程重复利用公式(1)迭代,直到p收敛;向量p是重启动随机游走的稳定分布,收敛意味着p(t)无限接近p,当两次迭代的结果p(t)和p(t-1)的差异在10-1之内就停止迭代;此时就能得到目标用户顶点到其他顶点的稳定概率分布;
3)、基于图片内容信息的推荐结果重排序
利用深度学习的方法提取图片特征,然后将实验中用到的图片放入到网络提取特征;再将实验中需要的数据集中的图片放入网络中提取特征,利用余弦相似性计算两张图片的相似性;得到图片相似性之后,再计算用户拥有的图片和给用户推荐的图片的相似性,将相似性高的推荐推荐图片排在前边,重新推荐。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710924505.0A CN107657043B (zh) | 2017-09-30 | 2017-09-30 | 一种基于内容的混合图模型图像推荐方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710924505.0A CN107657043B (zh) | 2017-09-30 | 2017-09-30 | 一种基于内容的混合图模型图像推荐方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107657043A CN107657043A (zh) | 2018-02-02 |
CN107657043B true CN107657043B (zh) | 2021-04-16 |
Family
ID=61117413
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710924505.0A Active CN107657043B (zh) | 2017-09-30 | 2017-09-30 | 一种基于内容的混合图模型图像推荐方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107657043B (zh) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108804650B (zh) * | 2018-06-07 | 2021-07-02 | 北京工业大学 | 一种基于模块化的流形排序的图像推荐方法 |
CN109582808A (zh) * | 2018-11-22 | 2019-04-05 | 北京锐安科技有限公司 | 一种用户信息查询方法、装置、终端设备和存储介质 |
CN109299396B (zh) * | 2018-11-28 | 2020-11-06 | 东北师范大学 | 融合注意力模型的卷积神经网络协同过滤推荐方法及*** |
CN110138751B (zh) * | 2019-04-25 | 2021-07-20 | 东华大学 | 抵御位置数据中毒攻击的车联网位置数据处理方法和装置 |
CN111104606B (zh) * | 2019-12-06 | 2022-10-21 | 成都理工大学 | 一种基于权重的条件游走图推荐方法 |
CN111488488A (zh) * | 2020-04-10 | 2020-08-04 | 杭州趣维科技有限公司 | 一种基于图挖掘的用户兴趣探测方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102779182A (zh) * | 2012-07-02 | 2012-11-14 | 吉林大学 | 融合偏好和信任关系的协同过滤推荐方法 |
CN104376083A (zh) * | 2014-11-18 | 2015-02-25 | 电子科技大学 | 一种基于关注关系和多用户行为的图推荐方法 |
CN105337773A (zh) * | 2015-11-19 | 2016-02-17 | 南京邮电大学 | 基于ReciprocityRank算法的微博网络影响力节点发现方法 |
CN105528704A (zh) * | 2014-09-28 | 2016-04-27 | 南京理工大学常熟研究院有限公司 | 一种基于阶段的动态产品推荐方法 |
CN105913296A (zh) * | 2016-04-01 | 2016-08-31 | 北京理工大学 | 一种基于图的个性化推荐方法 |
CN106980659A (zh) * | 2017-03-20 | 2017-07-25 | 华中科技大学鄂州工业技术研究院 | 一种基于异构图模型的社交活动推荐方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9195941B2 (en) * | 2013-04-23 | 2015-11-24 | International Business Machines Corporation | Predictive and descriptive analysis on relations graphs with heterogeneous entities |
-
2017
- 2017-09-30 CN CN201710924505.0A patent/CN107657043B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102779182A (zh) * | 2012-07-02 | 2012-11-14 | 吉林大学 | 融合偏好和信任关系的协同过滤推荐方法 |
CN105528704A (zh) * | 2014-09-28 | 2016-04-27 | 南京理工大学常熟研究院有限公司 | 一种基于阶段的动态产品推荐方法 |
CN104376083A (zh) * | 2014-11-18 | 2015-02-25 | 电子科技大学 | 一种基于关注关系和多用户行为的图推荐方法 |
CN105337773A (zh) * | 2015-11-19 | 2016-02-17 | 南京邮电大学 | 基于ReciprocityRank算法的微博网络影响力节点发现方法 |
CN105913296A (zh) * | 2016-04-01 | 2016-08-31 | 北京理工大学 | 一种基于图的个性化推荐方法 |
CN106980659A (zh) * | 2017-03-20 | 2017-07-25 | 华中科技大学鄂州工业技术研究院 | 一种基于异构图模型的社交活动推荐方法 |
Non-Patent Citations (2)
Title |
---|
基于网络结构改进社交网络好友推荐算法研究;章讯等;《信息技术》;20170831(第8期);152-156 * |
基于跨模态的图像浏览与推荐关键技术研究;李杨;《中国优秀硕士学位论文全文数据库 信息科技辑》;20160315(第3期);I138-6955 * |
Also Published As
Publication number | Publication date |
---|---|
CN107657043A (zh) | 2018-02-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107657043B (zh) | 一种基于内容的混合图模型图像推荐方法 | |
Jain et al. | Discover opinion leader in online social network using firefly algorithm | |
Lian et al. | Content-aware collaborative filtering for location recommendation based on human mobility data | |
CN104063481B (zh) | 一种基于用户实时兴趣向量的电影个性化推荐方法 | |
CN111428147A (zh) | 结合社交和兴趣信息的异源图卷积网络的社交推荐方法 | |
CN107800801A (zh) | 一种基于用户学习偏好的学习资源推送方法及*** | |
Chang et al. | Estimating trust value: A social network perspective | |
Chang et al. | Analysis of critical factors for social games based on extended technology acceptance model: a DEMATEL approach | |
Ji et al. | Improving matrix approximation for recommendation via a clustering-based reconstructive method | |
CN107767279A (zh) | 一种基于lda的加权平均的个性化好友推荐方法 | |
CN113744032B (zh) | 一种图书推荐的方法、相关装置、设备及存储介质 | |
CN110597962A (zh) | 搜索结果展示方法、装置、介质及电子设备 | |
CN113806630A (zh) | 基于注意力的多视角特征融合跨域推荐方法及装置 | |
Zhang et al. | Proposing a new friend recommendation method, FRUTAI, to enhance social media providers' performance | |
Mozafari et al. | An enriched social behavioural information diffusion model in social networks | |
CN114281976A (zh) | 一种模型训练方法、装置、电子设备及存储介质 | |
Huang et al. | Information fusion oriented heterogeneous social network for friend recommendation via community detection | |
Liu et al. | Influencing factors of university students’ use of social network sites: An empirical analysis in China | |
Li et al. | Simulation study on opinion formation models of heterogeneous agents based on game theory and complex networks | |
Beni et al. | A fast module identification and filtering approach for influence maximization problem in social networks | |
Wang et al. | Worker collaborative group estimation in spatial crowdsourcing | |
Tu et al. | Activity recommendation with partners | |
Liang et al. | The construction of national fitness online platform system under mobile internet technology | |
Xie et al. | We know your preferences in new cities: Mining and modeling the behavior of travelers | |
CN117251586A (zh) | 多媒体资源推荐方法、装置及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |