CN105488214A - 基于大数据的页面定制化方法 - Google Patents
基于大数据的页面定制化方法 Download PDFInfo
- Publication number
- CN105488214A CN105488214A CN201510929885.8A CN201510929885A CN105488214A CN 105488214 A CN105488214 A CN 105488214A CN 201510929885 A CN201510929885 A CN 201510929885A CN 105488214 A CN105488214 A CN 105488214A
- Authority
- CN
- China
- Prior art keywords
- user
- context
- page
- under
- instance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9535—Search customisation based on user profiles and personalisation
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供了一种基于大数据的页面定制化方法,该方法包括:根据用户行为数据识别用户的相关上下文信息,收集用户的兴趣特征,基于所述上下文集合进行协同过滤推送,为目标用户生成推送结果。本发明提出了一种基于大数据的页面定制化方法,通过分析用户兴趣获得用户的需求,提高用户获取所需信息和信息推送的效率。
Description
技术领域
本发明涉及大数据,特别涉及一种基于大数据的页面定制化方法。
背景技术
随着互联网的发展及普及,信息***性增长使用户难以及时准确地发现有用的数据源,导致人们在获取丰富的数据源过程中受到信息过载的困扰。如何帮助用户从激增的海量信息中获取有效的数据源,主动地为用户提供更丰富、全面并符合其潜在需求的数据源,给电子商务领域技术带来了极大的挑战。然而,当前技术中忽略了具体环境对用户兴趣的影响。另一方面,面对众多资源,现有的方案根据用户对资源的评价信息产生的推送,这种基于页面记分的推送只能体现用户对页面整体的兴趣情况。然而实际上用户对页面资源的评价往往是根据它所具有的属性特征产生的,因此根据仅仅根据用户对资源的整体记分而产生的推送结果往往具有片面性。
发明内容
为解决上述现有技术所存在的问题,本发明提出了一种基于大数据的页面定制化方法,包括:
根据用户行为数据识别用户的相关上下文信息,收集用户的兴趣特征,基于所述上下文集合进行协同过滤推送,为目标用户生成推送结果。
优选地,所述根据用户行为数据识别用户的相关上下文信息,进一步包括:
计算某一具体上下文实例ckq下,用户选择属性类型为aij的页面的熵值,进而获取用户在该上下文实例下对某属性类型的页面的选择,根据具体上下文实例下用户对页面的选择,计算用户在某上下文要素所包含的不同上下文实例下对所选择页面的熵值,其中对上下文信息熵的计算过程包含以下步骤:
步骤1:获取并计算用户反馈信息;将用户的反馈信息二值化,对于具有用户记分的反馈将其定量化为0和1两种状态值,计算在上下文实例ckq的影响下,用户u在页面资源空间中对具有属性特征为aij的页面评价值:
fckq(aij)=count(ur=1|aij)/count(ur=1)
其中,ur取1时表示用户的积极反馈即状态值为1的反馈,count(ur=1|aij)表示用户在上下文实例ckq下对具有属性特征为aij的页面所具有的积极反馈次数,count(ur=1)表示用户在上下文实例ckq下对所有页面所具有的积极反馈次数;
步骤2:产生上下文实例ckq下的评价值集合fckq(ai)={fckq(aij),…,fckq(aij)}其中,aij为页面第i个属性类型下的第j个属性特征;
步骤3:计算上下文实例的熵值其中,I(ckq)表示用户在上下文实例ckq下对不同属性类型的页面选择;fckq(aij)表示在上下文实例ckq下,用户u所选择的属性类型ai页面中属于某一特征aij的页面的概率;n为页面所具有的属性类型的个数;
步骤4:计算不同上下文实例分布下相应上下文要素Ck的熵值
其中,p(ckq)为上下文实例ckq下在给定上下文要素ck样本中的分布,t为该上下文要素中所包含的上下文实例样本的个数。
本发明相比现有技术,具有以下优点:
本发明提出了一种基于大数据的页面定制化方法,通过分析用户兴趣获得用户的需求,提高用户获取所需信息和信息推送的效率。
附图说明
图1是根据本发明实施例的基于大数据的页面定制化方法的流程图。
具体实施方式
下文与图示本发明原理的附图一起提供对本发明一个或者多个实施例的详细描述。结合这样的实施例描述本发明,但是本发明不限于任何实施例。本发明的范围仅由权利要求书限定,并且本发明涵盖诸多替代、修改和等同物。在下文描述中阐述诸多具体细节以便提供对本发明的透彻理解。出于示例的目的而提供这些细节,并且无这些具体细节中的一些或者所有细节也可以根据权利要求书实现本发明。
本发明的一方面提供了一种基于大数据的页面定制化方法。图1是根据本发明实施例的基于大数据的页面定制化方法流程图。
本发明建立包含上下文实体、用户实体和页面实体的推送方法。针对上下文与用户兴趣之间的关系,根据推送方法中各个实体要素之间的联系建立用户兴趣模型,表述用户上下文及其兴趣之间的关联关系,并分析用户在某个特定上下文中的兴趣;计算上下文信息熵和上下文关键度值的概念,并计算上下文信息熵值以及上下文要素的关键度值,根据这些上下文的关键度值来计算用户兴趣。基于上下文的结合协同过滤和关键词过滤的进行合并推送。首先结合用户对页面的记分和用户对页面属性的兴趣两个方面搜寻目标用户的邻居,并将上下文相似度匹配和上下文关键度值加入基于用户的协同过滤推送的生成过程中,利用协同过滤推送方法;根据当前上下文信息以及用户对页面属性的兴趣,采用基于知识推送的方法生成推送结果;最后通过基于上下文的计算优化方法对两种推送方法产生的结果进行整合而形成最终结果。
在上述所建立的推送方法的基础上,本发明从结构要素和实现过程的角度,建立基于上下文的页面推送逻辑框架。推送框架由输入、推送过程、输出三个阶段组成;该框架包含了知识建模、用户兴趣挖掘、推送生成和用户反馈四个层次。
首先,推送实现的首要任务就是建立关于用户、上下文和页面的推送方法,然后从该模型中提取用于推送过程的有效数据,该部分对应于推送的输入阶段;其次,挖掘用户兴趣,这一过程是推送生成的关键前提;在推送生成部分,将提取的用户兴趣与和当前上下文相似的用户历史行为数据相结合,同时利用领域知识进行语义匹配,进而产生推送结果;最后,将推送结果以排序推送、预测值或其它形式呈现给用户,并根据用户的反馈结果更新推送方法中的用户模型,即为推送的输出阶段。
本发明所建立的推送架构获取用户兴趣,然后结合与当前上下文相似的用户行为记录,基于该领域推送知识的特点采用某种技术生成推送结果。基于推送方法,采用深度信念网络来分析用户在不同上下文中对页面属性类型的兴趣;然后考虑不同上下文对用户兴趣产生影响的差异,计算各种上下文对用户兴趣产生影响的差异。
基于实体概念间丰富的语义关系和逻辑计算功能,根据该模型能够实现对用户兴趣的深层次计算。对己建立的推送方法中的用户实体和上下文实体及其之间的关系进行概率上的扩展,采用概率模型的思想建立基于实体的用户兴趣深度信念网络模型,实现对用户兴趣的计算,进而获取潜在的用户兴趣来过滤不相关的资源页面,并结合基于知识推送的方法进行推送,从而为用户提供满足其需求的结果。
本发明针对上下文、用户和页面资源之间的关系建立用户兴趣的深度信念网络模型。构建用户兴趣深度信念网络模型的步骤如下:
步骤1:将用户上下文和环境上下文***深度信念网络作为两个不同的上下文根节点,分别将对应的用户上下文和环境上下文本体的概念按照它们在实体中的结构依次***深度信念网络树中;
步骤2:根据上下文实体中的关系属性,连接步骤1中的节点,使得上述节点之间存在依赖关系;
步骤3:将用户兴趣数据作为深度信念网络中的叶子节点加入到深度信念网络底层中,并将这些代表的用户对页面属性兴趣的叶子节点与页面实体中的页面属性类相关联。
根据上述网络建立过程的描述,将该上下文用户兴趣深度信念网络表示为:
深度信任网络=<Nu,Eu,PN>
其中,Nu为变量集合,Eu为有向边集合,PN为节点变量上的条件概率集合。
基于实体的上下文用户兴趣深度信念网络模型由用户兴趣深度信念网络和基于属性的页面实体两部分构成。
在顶层用户兴趣深度信念网络结构中,由上下文要素Ck、具体上下文实例Ckq,以及用户兴趣pu三部分相应的构成了网络的输入、状态和输出结构。即根节点为环境上下文和用户上下文实体中的相应父概念,上下文实体中的各种上下文要素Ck及相应的各种上下文实例分别按照实体中的层次结构相应的构成了该模型中的父节点,将实体中的用户兴趣作为该网络结构中的叶子节点。
在底层页面实体描述了页面的属性关系概念及其实例,且这两部分通过实体的语义映射刻画了用户兴趣与页面之间的联系。将上下文实例作为深度信任网络中的证据节点,即Ci为Nu中的父节点,用户对页面属性的兴趣则作为计算结果表示为叶子节点,则节点之间的有向弧Eu表示各种上下文之间,以及上下文和用户兴趣之间的概率依赖关系。
本发明识别对用户选择行为或兴趣产生影响的重要上下文要素,并通过对这些上下文要素对用户产生影响的重要程度的计算,进一步分析基于这些重要上下文要素影响下的用户兴趣。计算某一具体上下文实例ckq下,用户选择属性类型为aij的页面的熵值,进而获取用户在该上下文实例下对某属性类型的页面的选择。
Iaij ckq=fckq(aij)logn/fckq(aij)
其中,fckq(aij)表示在上下文实例下,用户u所选择的所有页面中属于属性类型aij的页面的概率。根据具体上下文实例下用户对页面的选择,采用用户在某上下文要素所包含的不同上下文实例下对所选择页面的熵值,来表达该上下文要素所包含的各个实例对用户选择结果的贡献程度。对上下文信息熵的计算过程包含以下几个步骤。
步骤1获取并计算用户反馈信息。
将用户的反馈信息二值化,对于具有用户记分的反馈将其定量化为0和1两种状态值,在上下文实例ckq的影响下,用户u在页面资源空间中对具有属性特征为aij的页面评价值的定义为:
fckq(aij)=count(ur=1|aij)/count(ur=1)
其中,ur取1时表示用户的积极反馈即状态值为1的反馈,count(ur=1|aij)表示用户在上下文实例ckq下对具有属性特征为aij的页面所具有的积极反馈次数,count(ur=1)表示用户在上下文实例ckq下对所有页面所具有的积极反馈次数。
步骤2:产生上下文实例ckq下的评价值集合。
fckq(ai)={fckq(aij),…,fckq(aij)}
其中,aij为页面第i个属性类型下的第j个属性特征。
步骤3:计算上下文实例的熵值。
其中,I(ckq)表示用户在上下文实例ckq下对不同属性类型的页面选择;fckq(aij)表示在上下文实例ckq下,用户u所选择的属性类型ai页面中属于某一特征aij的页面的概率;n为页面所具有的属性类型的个数。
步骤4:计算上下文信息熵,即不同上下文实例分布下相应上下文要素Ck的熵值。
其中,p(ckq)为上下文实例ckq下在给定上下文要素ck样本中的分布,t为该上下文要素中所包含的上下文实例样本的个数。
在推送生成之前,选择那些熵值较小的上下文要素作为推送生成的数据输入。此外,在挖掘用户兴趣时,根据上下文信息熵的大小不断调整用户兴趣深度信念网络模型,去除网络模型中对目标用户的兴趣不起任何作用的上下文要素。根据上下文要素的关键度值以及它所包含的上下文实例来分析用户兴趣。上下文关键度值的计算方式如式:.
DCk=l-E(Ck)
其中,Ck为对用户兴趣相关联的上下文要素,而DCk表示该上下文要素的关键度值。
用户ui在一组上下文信息cd下对页面属性aij的兴趣度计算如下:
其中,ckq是该组上下文信息cd中对该用户的兴趣相关联的上下文实例,p(aij|ckq)为上下文实例ckq下用户对属性特征为aij的页面的初步兴趣值,n为对用户兴趣相关联的上下文实例的个数。
本发明进一步从用户对页面属性特征兴趣和用户记分两方面考虑,提出合并推送方法。首先,采用基于页面属性的语义相似度的协同过滤来填充用户记分矩阵的缺失值,然后从用户对页面属性的兴趣角度出发,结合用户记分共同搜索目标用户的邻居集合;然后将上下文相似度的匹配和上下文关键度值进行协同过滤,产生推送结果集;最后将基于上下文的关键词过滤推送与协同过滤的结果相融合,得到最终的推送结果。基于上下文的页面合并推送的基本流程为:
提取己获取的用户兴趣数据信息,以及对用户兴趣相关联的上下文;然后在推送方法中对当前上下文数据、历史上下文数据相关的用户行为记录进行预处理;
从用户对页面属性的兴趣和用户对页面的记分来计算用户之间的相似性,进而找到邻居集合,然后将上下文的相似度匹配及上下文关键度值加入基于用户的推送生成过程中;
根据用户当前的上下文,采用基于上下文的关键词过滤方法产生对页面资源的推送结果;
根据协同过滤和关键词过滤所产生的推送结果,进而生成最终推送结果的访问序列,并将该推送结果通过界面反馈给用户;通过用户获取推送序列后给出的反馈信息。
在协同过滤推送中,根据不同用户对页面的记分信息产生推送结果。设用户信息为U={u1,u2,…,um},代表用户集合,I={I1,I2,…,Im}为页面资源集合,则A={Rij|ui×Ij}为用户资源记分集合,其中ui∈U,Ij∈I。因此用m*n矩阵A(m,n)表示上述用户记分数据集合,m行和n列分别代表该记分矩阵中有m个用户和n个页面资源,第i行第j列的元素表示用户ui对页面资源Ij的记分。
本发明采用面向服务分层及模块化的方式构建了基于上下文的推送***体系结构。该架构共分为3层,分别为数据层、计算层和应用层,每一个层次都包含了不同的模块来实现相应层次下的服务。数据层是对实现推送服务中所使用的相关信息源的描述。该层次相应的提供了数据组织模块,通过对相关数据源的整合,采用语义化的方式构建相应的模型,为用户推送的实现提供了知识基础。计算层根据数据层所提供的信息,为推送的实现提供核心服务。该层次包含的模块有兴趣采集模块、上下文计算模块、语义匹配模块以及推送生成模块。兴趣采集模块:根据数据层提供的上下文知识和用户知识,采用深度信念网络概率计算的方法获取用户兴趣信息。上下文计算模块:根据用户当前的上下文信息,在数据层的模型中采用预定义的计算规则来获取扩展的上下文信息以及用户兴趣的相关信息。语义匹配模块:通过基于实体的方法对各种数据源之间的进行语义相似匹配,进而获取各种资源之间的相似度情况,为推送生成模块提供知识支持。推送生成模块:根据上下文计算模块和语义匹配模块所提供的知识,采用一定的方法来生成与用户上下文及需求相似的最终推送结果。应用层提供用户与推送服务的交互服务,通过用户对推送结果的反馈信息,不断更新数据层的用户相关模型。根据本发明提出的推送体系结构,基于上下文的推送服务的实现过程分为以下步骤。推送***首先通过交互界面实现推送服务于用户之间的信息沟通,根据用户简单的行为操作获取用户的相关上下文信息,收集用户的兴趣特征,依此为推送过程的实现提供信息依据;根据用户的行为记录以及当前上下文,采用深度信念网络计算的方法来分析用户兴趣情况;基于推送用户实体的相关知识,结合用户兴趣,检索与当前用户兴趣相似的近邻用户;结合当前上下文,采用相似度计算的方法检索与当前上下文相似的历史上下文集合;基于上下文建模的推送模式,采用基于上下文的改进协同过滤推送方法,为目标用户生成推送结果;根据当前上下文信息以及用户兴趣,基于推送方法中的预定规则进行关键词过滤推送,生成基于规则知识的推送结果;采用上下文计算优化方法,将关键词过滤与协同过滤中相冲突的结果过滤掉,进而生成最终的推送结果集合并反馈给目标用户。
综上所述,本发明提出了一种基于大数据的页面定制化方法,通过分析用户兴趣获得用户的需求,提高用户获取所需信息和信息推送的效率。
显然,本领域的技术人员应该理解,上述的本发明的各模块或各步骤可以用通用的计算***来实现,它们可以集中在单个的计算***上,或者分布在多个计算***所组成的网络上,可选地,它们可以用计算***可执行的程序代码来实现,从而,可以将它们存储在存储***中由计算***来执行。这样,本发明不限制于任何特定的硬件和软件结合。
应当理解的是,本发明的上述具体实施方式仅仅用于示例性说明或解释本发明的原理,而不构成对本发明的限制。因此,在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。此外,本发明所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。
Claims (2)
1.一种基于大数据的页面定制化方法,其特征在于,包括:
根据用户行为数据识别用户的相关上下文信息,收集用户的兴趣特征,基于所述上下文集合进行协同过滤推送,为目标用户生成推送结果。
2.根据权利要求1所述的方法,其特征在于,所述根据用户行为数据识别用户的相关上下文信息,进一步包括:
计算某一具体上下文实例ckq下,用户选择属性类型为aij的页面的熵值,进而获取用户在该上下文实例下对某属性类型的页面的选择,根据具体上下文实例下用户对页面的选择,计算用户在某上下文要素所包含的不同上下文实例下对所选择页面的熵值,其中对上下文信息熵的计算过程包含以下步骤:
步骤1:获取并计算用户反馈信息;将用户的反馈信息二值化,对于具有用户记分的反馈将其定量化为0和1两种状态值,计算在上下文实例ckq的影响下,用户u在页面资源空间中对具有属性特征为aij的页面评价值:
fckq(aij)=count(ur=1|aij)/count(ur=1)
其中,ur取1时表示用户的积极反馈即状态值为1的反馈,count(ur=1|aij)表示用户在上下文实例ckq下对具有属性特征为aij的页面所具有的积极反馈次数,count(ur=1)表示用户在上下文实例ckq下对所有页面所具有的积极反馈次数;
步骤2:产生上下文实例ckq下的评价值集合fckq(ai)={fckq(aij),…,fckq(aij)}其中,aij为页面第i个属性类型下的第j个属性特征;
步骤3:计算上下文实例的熵值 其中,I(ckq)表示用户在上下文实例ckq下对不同属性类型的页面选择;fckq(aij)表示在上下文实例ckq下,用户u所选择的属性类型ai页面中属于某一特征aij的页面的概率;n为页面所具有的属性类型的个数;
步骤4:计算不同上下文实例分布下相应上下文要素Ck的熵值
其中,p(ckq)为上下文实例ckq下在给定上下文要素ck样本中的分布,t为该上下文要素中所包含的上下文实例样本的个数。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510929885.8A CN105488214A (zh) | 2015-12-15 | 2015-12-15 | 基于大数据的页面定制化方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510929885.8A CN105488214A (zh) | 2015-12-15 | 2015-12-15 | 基于大数据的页面定制化方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN105488214A true CN105488214A (zh) | 2016-04-13 |
Family
ID=55675189
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510929885.8A Pending CN105488214A (zh) | 2015-12-15 | 2015-12-15 | 基于大数据的页面定制化方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105488214A (zh) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102208086A (zh) * | 2010-03-31 | 2011-10-05 | 北京邮电大学 | 面向领域的个性化智能推荐***及实现方法 |
CN103559197A (zh) * | 2013-09-23 | 2014-02-05 | 浙江大学 | 基于上下文预过滤的实时音乐推荐方法 |
CN104462560A (zh) * | 2014-12-25 | 2015-03-25 | 广东电子工业研究院有限公司 | 一种个性化推荐***及其推荐方法 |
-
2015
- 2015-12-15 CN CN201510929885.8A patent/CN105488214A/zh active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102208086A (zh) * | 2010-03-31 | 2011-10-05 | 北京邮电大学 | 面向领域的个性化智能推荐***及实现方法 |
CN103559197A (zh) * | 2013-09-23 | 2014-02-05 | 浙江大学 | 基于上下文预过滤的实时音乐推荐方法 |
CN104462560A (zh) * | 2014-12-25 | 2015-03-25 | 广东电子工业研究院有限公司 | 一种个性化推荐***及其推荐方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Campbell et al. | Social network analysis with content and graphs | |
Ma et al. | Personalized scientific paper recommendation based on heterogeneous graph representation | |
CN106663124B (zh) | 生成和使用知识增强型模型 | |
Chisholm et al. | Entity disambiguation with web links | |
CN102609465A (zh) | 基于潜在社群的信息推荐方法 | |
Bischof et al. | Collecting, integrating, enriching and republishing open city data as linked data | |
CN105354339A (zh) | 基于上下文的内容个性化提供方法 | |
Escadafal et al. | First appraisal of the current structure of research on land and soil degradation as evidenced by bibliometric analysis of publications on desertification | |
CN103488637B (zh) | 一种基于动态社区挖掘进行专家检索的方法 | |
CN105608118B (zh) | 基于用户交互信息的结果推送方法 | |
Niu et al. | Scaling inference for markov logic via dual decomposition | |
CN105205075A (zh) | 基于协同自扩展的命名实体集合扩展方法及查询推荐方法 | |
Moura et al. | Integration of linked data sources for gazetteer expansion | |
Xu et al. | Attentive graph-based recursive neural network for collective vertex classification | |
WO2022200624A2 (en) | Systems and methods for end-to-end machine learning with automated machine learning explainable artificial intelligence | |
CN105488214A (zh) | 基于大数据的页面定制化方法 | |
Edali et al. | Analysis of an individual‐based influenza epidemic model using random forest metamodels and adaptive sequential sampling | |
Elbattah et al. | Large-Scale Entity Clustering Based on Structural Similarities within Knowledge Graphs | |
Makarova et al. | A case-based reasoning approach with fuzzy linguistic rules: Accuracy validation and application in interface design-support intelligent system | |
ElGindy et al. | Capturing place semantics on the geosocial web | |
Ojha et al. | Data science and big data analytics | |
Rahman et al. | An efficient approach for web mining using semantic web | |
Choudhary et al. | Tensor Data Imputation by PARAFAC with Updated Chaotic Biases by Adam Optimizer | |
Rottoli et al. | Co-location Rules Discovery Process Focused on Reference Spatial Features Using Decision Tree Learning | |
Sabetghadam et al. | Reachability analysis of graph modelled collections |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
AD01 | Patent right deemed abandoned | ||
AD01 | Patent right deemed abandoned |
Effective date of abandoning: 20210319 |