CN114741599A - 基于知识增强和注意力机制的新闻推荐方法及*** - Google Patents

基于知识增强和注意力机制的新闻推荐方法及*** Download PDF

Info

Publication number
CN114741599A
CN114741599A CN202210421741.1A CN202210421741A CN114741599A CN 114741599 A CN114741599 A CN 114741599A CN 202210421741 A CN202210421741 A CN 202210421741A CN 114741599 A CN114741599 A CN 114741599A
Authority
CN
China
Prior art keywords
news
user
entity
candidate
entities
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210421741.1A
Other languages
English (en)
Inventor
高茜
王雨婷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qilu University of Technology
Original Assignee
Qilu University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qilu University of Technology filed Critical Qilu University of Technology
Priority to CN202210421741.1A priority Critical patent/CN114741599A/zh
Publication of CN114741599A publication Critical patent/CN114741599A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9535—Search customisation based on user profiles and personalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/335—Filtering based on additional data, e.g. user or group profiles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
    • G06F16/367—Ontology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/901—Indexing; Data structures therefor; Storage structures
    • G06F16/9024—Graphs; Linked lists
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了基于知识增强和注意力机制的新闻推荐方法及***，方法包括：获取用户对新闻链接的历史点击数据；获取候选新闻数据；将历史点击数据和候选新闻数据，均输入到训练后的新闻推荐模型中，得到为用户个性化推荐的新闻数据；新闻推荐模型，基于用户对若干个新闻链接的历史点击数据构建出若干个用户兴趣表示；将所有的用户兴趣表示均与每个候选新闻数据进行匹配，得到匹配结果；使用不同权重对所有的用户兴趣表示进行聚合，得到聚合结果；基于匹配结果和聚合结果得到用户感兴趣新闻的特征向量；将用户感兴趣新闻的特征向量与候选新闻的特征向量进行拼接，对拼接结果进行预测，得到推荐的候选新闻；将结果推荐给用户。

Description

基于知识增强和注意力机制的新闻推荐方法及***
技术领域
本发明涉及大数据及自然语言处理技术领域，特别是涉及基于知识增强和注意力机制的新闻推荐方法及***。
背景技术
本部分的陈述仅仅是提到了与本发明相关的背景技术，并不必然构成现有技术。
随着互联网的迅速发展，用户对于线上新闻的需求也是逐渐增大。新闻平台拥有大量的新闻信息，如果让用户直接选择，那么会对用户造成极大的选择困扰。因此，构建一个能够捕获用户的阅读兴趣并推送相关信息的个性化推荐***对于新闻平台来说是至关重要的。在推荐***中，主要有3类算法：基于内容的方法、协同过滤和混合方法。由于协同过滤具有用户和物品的交互信息是稀疏的特点且存在冷启动问题，不适合新闻推荐场景，主流的新闻推荐方法通常是基于内容或者混合方法。
目前，大多数基于新闻的推荐***仅仅从语义层对新闻进行表示学习，忽略了新闻本身包含的知识层面的信息。而知识层面的信息大部分都存在于知识图谱中，将新闻推荐模型与知识图谱相结合的相关研究还很少。Wang等提出了融合知识图谱信息的深度推荐模型DKN。DKN首先构造了一个与任务高度相关的知识图谱，接着在传统的深度神经网络模型的基础上，将知识图谱的实体信息融入到神经网络中，实现了把新闻的语义表示和实体的知识表示融合的目标。这种方法虽然考虑了不同层面上的信息，实验证明比未添加实体信息的传统方法效果好，但是未考虑到在一定跳数的邻域内邻居的重要程度。
另外，新闻具有一定的即时性，Wang等提出的融合知识图谱信息的深度推荐模型DKN，只是使用了单个基于注意力机制的卷积神经网络来对用户的兴趣进行获取，这样不能够在一段时间内动态准确的获取用户兴趣。
发明内容
为了解决现有技术的不足，本发明提供了基于知识增强和注意力机制的新闻推荐方法及***；引入了知识图谱和图注意力网络，使用知识图谱从数据中获取实体及新的实体链接和新的关联规则，在利用知识图谱的基础上，结合图注意网络对新闻标题中的文本特征进行关联性的搜索，在设定的步数内计算相关边的权重，也就是关系的重要程度，主要是找到新闻实体之间的可达路径，选取找到新闻实体之间的可达路径，获取额外的相关实体和上下文表示，以增强文本特征表示，获得丰富的新闻特征。
第一方面，本发明提供了基于知识增强和注意力机制的新闻推荐方法；
基于知识增强和注意力机制的新闻推荐方法，包括：
获取用户对新闻链接的历史点击数据；获取候选新闻数据；
将历史点击数据和候选新闻数据，均输入到训练后的新闻推荐模型中，得到为用户个性化推荐的新闻数据；
其中，新闻推荐模型，基于用户对若干个新闻链接的历史点击数据构建出若干个用户兴趣表示；将所有的用户兴趣表示均与每个候选新闻数据进行匹配，得到匹配结果；使用不同权重对所有的用户兴趣表示进行聚合，得到聚合结果；基于匹配结果和聚合结果得到用户感兴趣新闻的特征向量；将用户感兴趣新闻的特征向量与候选新闻的特征向量进行拼接，对拼接结果进行预测，得到推荐的候选新闻；将结果推荐给用户。
第二方面，本发明提供了基于知识增强和注意力机制的新闻推荐***；
基于知识增强和注意力机制的新闻推荐***，包括：
获取模块，其被配置为：获取用户对新闻链接的历史点击数据；获取候选新闻数据；
推荐模块，其被配置为：将历史点击数据和候选新闻数据，均输入到训练后的新闻推荐模型中，得到为用户个性化推荐的新闻数据；
其中，新闻推荐模型，基于用户对若干个新闻链接的历史点击数据构建出若干个用户兴趣表示；将所有的用户兴趣表示均与每个候选新闻数据进行匹配，得到匹配结果；使用不同权重对所有的用户兴趣表示进行聚合，得到聚合结果；基于匹配结果和聚合结果得到用户感兴趣新闻的特征向量；将用户感兴趣新闻的特征向量与候选新闻的特征向量进行拼接，对拼接结果进行预测，得到推荐的候选新闻；将结果推荐给用户。
第三方面，本发明还提供了一种电子设备，包括：
存储器，用于非暂时性存储计算机可读指令；以及
处理器，用于运行所述计算机可读指令，
其中，所述计算机可读指令被所述处理器运行时，执行上述第一方面所述的方法。
第四方面，本发明还提供了一种存储介质，非暂时性地存储计算机可读指令，其中，当所述非暂时性计算机可读指令由计算机执行时，执行第一方面所述方法的指令。
第五方面，本发明还提供了一种计算机程序产品，包括计算机程序，所述计算机程序当在一个或多个处理器上运行的时候用于实现上述第一方面所述的方法。
与现有技术相比，本发明的有益效果是：
(1)相较于传统的基于新闻的推荐方法，本发明在保证训练效率的情况下，使用了多个新闻平台的数据，从而更加深刻挖掘了用户的兴趣，更加精确地在不同新闻数据情况进行新闻点击通过率CTR预估，提升了整体CTR预估的准确率；
(2)本发明引入了知识图谱和图注意力网络，使用知识图谱从数据中获取实体及新的实体链接和新的关联规则，在利用知识图谱的基础上，结合图注意网络对新闻标题中的文本特征进行关联性的搜索，在合适的步数内计算相关边的权重，也就是关系的重要程度，主要是找到新闻实体之间的可达路径，选取找到新闻实体之间的可达路径，获取额外的相关实体和上下文表示，以增强文本特征表示，获得丰富的新闻特征。
(3)本发明引入了多个基于注意力机制的卷积神经网络，注意力机制借鉴了人类视觉的处理方式，将注意力集中于关键区域，这种机制的本质就是从诸多信息中选择对任务起关键作用的信息，减少任务的复杂度；本发明通过基于注意力机制的卷积神经网络动态地获取用户的当前兴趣，即将用户行为通过注意力机制与当下行为联系起来，更好地预估用户的实时兴趣，从而提高了预测能力；这样,用户兴趣的表示向量随新闻的不同而变化，提高了在有限维度下的表示能力，能够更好地量化用户的不同兴趣。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
图1为实施例一的方法流程图；
图2为实施例一的基于注意力机制的卷积神经网络示意图；
图3为实施例一的编码器示意图。
具体实施方式
应该指出，以下详细说明都是示例性的，旨在对本发明提供进一步的说明。除非另有指明，本发明使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
本实施例所有数据的获取都在符合法律法规和用户同意的基础上，对数据的合法应用。
实施例一
本实施例提供了基于知识增强和注意力机制的新闻推荐方法；
如图1所示，基于知识增强和注意力机制的新闻推荐方法，包括：
S101：获取用户对新闻链接的历史点击数据；获取候选新闻数据；
S102：将历史点击数据和候选新闻数据，均输入到训练后的新闻推荐模型中，得到为用户个性化推荐的新闻数据；
其中，新闻推荐模型，基于用户对若干个新闻链接的历史点击数据构建出若干个用户兴趣表示；将所有的用户兴趣表示均与每个候选新闻数据进行匹配，得到匹配结果；使用不同权重对所有的用户兴趣表示进行聚合，得到聚合结果；基于匹配结果和聚合结果得到用户感兴趣新闻的特征向量；将用户感兴趣新闻的特征向量与候选新闻的特征向量进行拼接，对拼接结果进行预测，得到推荐的候选新闻；将结果推荐给用户。
进一步地，所述新闻推荐模型，包括：M个第一编码器和一个第二编码器；其中，M为正整数；
所述第一编码器用于对用户浏览过的新闻标题进行编码处理，得到用户兴趣表示；
所述第二编码器用于对候选新闻标题进行编码处理，得到候选新闻的特征向量；
相邻两个第一编码器的输出端与对应的第一基于注意力机制的卷积神经网络的输入端连接；其中，第一基于注意力机制的卷积神经网络的数量为M-1个；
所有第一编码器的输出端和第二编码器的输出端，均与第二基于注意力机制的卷积神经网络的输入端连接；其中，第二基于注意力机制的卷积神经网络的数量为一个；
第二基于注意力机制的卷积神经网络的输出端和所有第一基于注意力机制的卷积神经网络的输出端均与乘法器连接；
乘法器输出用户感兴趣新闻的特征向量；
乘法器的输出端与第二编码器的输出端均与拼接单元的输入端连接，实现将用户感兴趣新闻的特征向量与候选新闻的特征向量的拼接；
拼接单元的输出端与多层感知器的输入端连接，多层感知器的输出端用于输出推荐的候选新闻。
进一步地，所述第一编码器和第二编码器的内部结构是一样的。
进一步地，如图3所示，所述第一编码器，包括：依次连接的嵌入层、图注意力网络、卷积神经网络层和最大池化层。
进一步地，所述第一基于注意力机制的卷积神经网络与第二基于注意力机制的卷积神经网络的内部结构是一样的。
进一步地，如图2所示，所述第一基于注意力机制的卷积神经网络，网络结构包括依次连接的：注意力分布计算层、兴趣权重获取层、基础权重获取层、最终权重获取层，聚合特征获取层。
进一步地，所述第一基于注意力机制的卷积神经网络的工作原理是：
注意力分布计算层，用于通过Embedding层对用户历史新闻点击序列转变为低维实数向量使其作为注意力信号，对用户行为序列进行编码，计算注意力分布；
兴趣权重获取层，用于计算注意力的加权平均，根据相似度通过注意力机制转换成兴趣权重，从而使得用户兴趣得到深度挖掘；
基础权重获取层，用于根据待推荐物品的向量再次对用户行为序列进行注意力机制操作，得到基础权重；
最终权重获取层，用于通过注意力机制得到的兴趣权重及基础权重进行对应求均值，从而得到用户交互过的每个物品最终权重；
聚合特征获取层，用于对输入的序列进行加权融合，将得到的向量作为输入序列的聚合特征。
进一步地，所述基于用户对若干个新闻链接的历史点击数据构建出若干个用户兴趣表示；具体包括：
(11)：采用已有知识图谱，对某个历史点击新闻标题进行实体提取，得到实体、实体与实体之间的连接边以及实体与实体之间的关联规则，进而得到关系构建子图；
(12)：采用图注意力网络，对关系构建子图的每一个实体进行关联性搜索，计算实体与实体之间的连接边的权重，选取出权重高于设定阈值的实体；
(13)：采用卷积神经网络，对选出的实体进行特征表示，得到当前被浏览过的新闻标题的用户兴趣表示。
进一步地，所述(11)采用已有知识图谱，对某个历史点击新闻标题进行实体提取，得到实体、实体与实体之间的连接边以及实体与实体之间的关联规则，进而得到关系构建子图，具体包括：
(111)从新闻标题中识别出实体，在处理完所有的新闻标题后，得到一个新闻实体集合Enews；
(112)根据新闻实体集合Enews，从已有知识图谱中抽取出一个子图：对已有知识图谱中的所有关系，将与集合Enews中实体一样的实体词频的阈值设置为n次，当两个实体出现的词频超过n次时，将构建两个实体之间的关系，子图中剔除了不处于连接任意ei∈Enews路径上的节点和相应的边；n为正整数，例如10；
(113)采用知识表示学习方法(TransE，TranslatingEmbedding)将知识图谱子图中的实体和关系映射到低维向量空间，得到实体和关系的特征向量，供后续使用。
用户i的历史点击新闻为
Figure BDA0003608093900000091
其中，
Figure BDA0003608093900000092
是用户i点击的第j个新闻的标题，Ni是用户i点击的新闻总数；
对于每一个新闻标题而言，它是由一系列的单词组成，即t＝[w1,w2,…]，其中每个单词都可能与知识图谱中的一个实体e相关联；
某个用户i的历史点击新闻记录为
Figure BDA0003608093900000093
相应的新闻特征表示为
Figure BDA0003608093900000094
其中
Figure BDA0003608093900000095
是用户i点击的第j个新闻的标题，Ni是用户i点击的新闻总数。
知识图谱，表示为实体-关系-实体三元组的集合：
Figure BDA0003608093900000096
Figure BDA0003608093900000097
其中ε和
Figure BDA0003608093900000098
分别表示实体和关系的集合，(h,r,t)表示存在从h到t的关系r。实体特征是新闻标题中的实体向量,每个单词都可能对应知识图谱中的一个实体向量,若没有对应的实体,则用零向量来填充。
应理解地，为了在模型中利用知识图谱的信息，本发明构建一个和任务高度相关的知识图谱，使用知识图谱从数据中获取实体及新的实体链接和新的关联规则。
进一步地，所述(12)：采用图注意力网络，对关系构建子图的每一个实体进行关联性搜索，计算实体与实体之间的连接边的权重，选取出权重高于设定阈值的实体；具体包括：
(121)：使用TransE学习对于每个实体和关系的嵌入向量
Figure BDA0003608093900000099
TransE在知识图上进行实体/关系的嵌入并使特征保持不变。
让
Figure BDA00036080939000000910
来表示三元组中头部实体h的集合。一个实体可以表示为：
Figure BDA0003608093900000101
其中：
Figure BDA0003608093900000102
表示向量连接，表示eh和et是从TransE学习到的实体向量。π(h,r,t)是控制邻居节点需要向当前实体传播信息的数量的注意权值，通过双层全连接神经网络计算得到：
Figure BDA0003608093900000103
Figure BDA0003608093900000104
其中：使用softmax函数来归一化系数。使用图注意力网络只启用单跳图的邻域，将TransE嵌入向量作为节点特征，可训练参数为{W0,W1,w2,b1,b2}。
(122)：通过丰富实体表示，进而丰富了实体的相关上下文信息。上下文嵌入被计算为其上下文实体的平均值：
Figure BDA0003608093900000105
Figure BDA0003608093900000106
(123)：由于实体向量存在着与词向量属于不同向量空间的问题。
首先，引入一个映射函数将实体向量和映射到和文本特征相同的向量空间中，得到实体特征矩阵。
g(e)＝tanh(Me+b)
其中：
Figure BDA0003608093900000107
是可训练的变换矩阵，
Figure BDA0003608093900000108
是可训练的参数。
然后，采用与实体特征相同的映射函数将其映射到和文本特征相同的向量空间中，得到实体上下文特征矩阵。
最后，文本特征矩阵、实体特征矩阵和实体上下文特征矩阵构建三通道输入，通过CNN，提取新闻特征向量e(t)，其中，
Figure BDA0003608093900000109
为第i个卷积核的输出，m为卷积核的个数:
Figure BDA0003608093900000111
示例性地，所述采用图注意力网络，对提取到的每一个实体进行关联性搜索，计算实体与实体之间的连接边的权重，选取出权重高于设定阈值的实体；基于图注意力网络GAT思想，对新闻内出现的每一个实体进行关联性的搜索，在设定的步数内计算相关边的权重，也就是关系的重要程度，主要是找到新闻实体之间的可达路径，选取找到新闻实体之间的可达路径，选取重要程度高的实体进行嵌入。获得更加丰富的新闻特征表示，更好的预估用户的实时兴趣，从而提高点击通过率Click-Through-Rate(CTR)预估的准确性。
进一步地，所述使用不同权重对所有的用户兴趣表示进行聚合，得到聚合结果；具体是指：
采用第一基于注意力机制的卷积神经网络，使用不同权重对所有的用户兴趣表示进行聚合，得到聚合结果。
进一步地，所述使用不同权重对所有的用户兴趣表示进行聚合，得到聚合结果；具体包括：
使用不同的设定权重对所有的用户兴趣表示进行加权求和，得到聚合结果。
示例性地，所述使用不同权重对所有的用户兴趣表示进行聚合，得到聚合结果；具体包括：
对于当前候选新闻tj的用户表示i，使用基于注意力机制的卷积神经网络机制来计算用户当前的兴趣特征表示：
Figure BDA0003608093900000112
e(tj)＝tanh(Wte(tj)+bt)公式 (8)
Figure BDA0003608093900000121
其中：sj是用来衡量历史点击新闻
Figure BDA0003608093900000122
对于候选新闻e(tj)的影响的权重，m＝1,…,Ni。另外{Ww,Wt,bw,bt}为可训练参数，Ww,Wt∈Rd×d，bw，bt，v,
Figure BDA0003608093900000123
d是新闻嵌入的维度。基于注意力机制的卷积神经网络
Figure BDA0003608093900000124
接收两个新闻标题的嵌入作为输入和输出影响权重。
用户i的动态兴趣特征e(i)的计算如下：
Figure BDA0003608093900000125
进一步地，所述将所有的用户兴趣表示均与每个候选新闻数据进行匹配，得到匹配结果；具体是指：
采用第二基于注意力机制的卷积神经网络，将所有的用户兴趣表示均与每个候选新闻数据进行匹配，得到匹配结果。
进一步地，基于匹配结果和聚合结果得到用户感兴趣新闻的特征向量；具体包括：
将匹配结果和聚合结果相乘，得到用户感兴趣新闻的特征向量。
应理解地，对于用户浏览过的新闻标题，考虑候选新闻特征，使用基于注意力机制的卷积神经网络ANN(Attention And DNN for User Interest Extraction)将候选新闻与每个单击的新闻相匹配，并聚合用户当前兴趣的特征表示。本发明认为用户点击的新闻对候选新闻有不同的影响。在模型中使用了多个基于注意力机制的卷积神经网络，自动将每个点击的新闻与候选新闻匹配，并用不同的权重聚合用户当前的兴趣。其中ANN作为用户兴趣提取器根据用户点击的历史新闻获取用户当前对候选新闻的兴趣。
进一步地，将用户感兴趣新闻的特征向量与候选新闻的特征向量进行拼接；具体包括：
将用户感兴趣新闻的特征向量与候选新闻的特征向量进行串联拼接。
进一步地，所述对拼接结果进行预测，得到推荐的候选新闻；具体包括：
将拼接结果输入到多层感知器，得到推荐的候选新闻的推荐概率值；
按照推荐概率值由大到小的顺序对候选新闻进行排序，将排序靠前的新闻推荐给用户。
应理解地，将拼接后的特征向量作为MLP网络的输入，通过MLP网络进行高阶特征提取和最终结果的预估，优势互补，得到物品CTR的精确预估。
示例性地，所述对拼接结果进行预测，得到推荐的候选新闻；具体包括：
在预测用户i是否会点击候选新闻标题tj时，考虑了用户的动态兴趣特征以及候选新闻特征，使用第二基于注意力机制的卷积神经网络
Figure BDA0003608093900000131
来预测用户点击候选新闻的概率，公式如下：
Figure BDA0003608093900000132
其中，
Figure BDA0003608093900000133
表示softmax层后的网络输出，表示样本tj被点击的预测概率；优化算法选择Adam算法，优化器选择Adam优化器，使用AUC值进行评判，AUC的取值范围在0.5和1之间，AUC值越接近1，预测真实性越高。
本申请采用知识图谱和图注意力网络对新闻标题中的文本特征进行关联性搜索，获取额外的相关实体和上下文表示，以增强文本特征表示，使用CNN整合文本、实体和上下文信息；构建用户特征表示：采用多个基于注意力机制的卷积神经网络动态聚集用户兴趣表示，加强提取用户兴趣的效果，进而获取用户的特征表示；获取CTR精准预估结果：将用户特征表示与候选新闻特征表示进行拼接，作为MLP网络的输入，通过MLP网络进行高阶特征提取和最终结果的预估，得到候选新闻CTR的精确预估。
综上可知，采用本发明的一种基于知识增强和注意力机制的新闻推荐方法，能够向用户推荐更符合其期待或需求的新闻，与现有新闻推荐方法相比，具有较高的预测准确率。
实施例二
本实施例提供了基于知识增强和注意力机制的新闻推荐***；
基于知识增强和注意力机制的新闻推荐***，包括：
获取模块，其被配置为：获取用户对新闻链接的历史点击数据；获取候选新闻数据；
获取模块，其被配置为：将历史点击数据和候选新闻数据，均输入到训练后的新闻推荐模型中，得到为用户个性化推荐的新闻数据；
其中，新闻推荐模型，基于用户对若干个新闻链接的历史点击数据构建出若干个用户兴趣表示；将所有的用户兴趣表示均与每个候选新闻数据进行匹配，得到匹配结果；使用不同权重对所有的用户兴趣表示进行聚合，得到聚合结果；基于匹配结果和聚合结果得到用户感兴趣新闻的特征向量；将用户感兴趣新闻的特征向量与候选新闻的特征向量进行拼接，对拼接结果进行预测，得到推荐的候选新闻；将结果推荐给用户。
此处需要说明的是，上述获取模块和获取模块对应于实施例一中的步骤S101和S102，上述模块与对应的步骤所实现的示例和应用场景相同，但不限于上述实施例一所公开的内容。需要说明的是，上述模块作为***的一部分可以在诸如一组计算机可执行指令的计算机***中执行。
上述实施例中对各个实施例的描述各有侧重，某个实施例中没有详述的部分可以参见其他实施例的相关描述。
所提出的***，可以通过其他的方式实现。例如以上所描述的***实施例仅仅是示意性的，例如上述模块的划分，仅仅为一种逻辑功能划分，实际实现时，可以有另外的划分方式，例如多个模块可以结合或者可以集成到另外一个***，或一些特征可以忽略，或不执行。
实施例三
本实施例还提供了一种电子设备，包括：一个或多个处理器、一个或多个存储器、以及一个或多个计算机程序；其中，处理器与存储器连接，上述一个或多个计算机程序被存储在存储器中，当电子设备运行时，该处理器执行该存储器存储的一个或多个计算机程序，以使电子设备执行上述实施例一所述的方法。
应理解，本实施例中，处理器可以是中央处理单元CPU，处理器还可以是其他通用处理器、数字信号处理器DSP、专用集成电路ASIC，现成可编程门阵列FPGA或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器可以包括只读存储器和随机存取存储器，并向处理器提供指令和数据、存储器的一部分还可以包括非易失性随机存储器。例如，存储器还可以存储设备类型的信息。
在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。
实施例一中的方法可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器、闪存、只读存储器、可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。为避免重复，这里不再详细描述。
本领域普通技术人员可以意识到，结合本实施例描述的各示例的单元及算法步骤，能够以电子硬件或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
实施例四
本实施例还提供了一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成实施例一所述的方法。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.基于知识增强和注意力机制的新闻推荐方法，其特征是，包括：
获取用户对新闻链接的历史点击数据；获取候选新闻数据；
将历史点击数据和候选新闻数据，均输入到训练后的新闻推荐模型中，得到为用户个性化推荐的新闻数据；
其中，新闻推荐模型，基于用户对若干个新闻链接的历史点击数据构建出若干个用户兴趣表示；将所有的用户兴趣表示均与每个候选新闻数据进行匹配，得到匹配结果；使用不同权重对所有的用户兴趣表示进行聚合，得到聚合结果；基于匹配结果和聚合结果得到用户感兴趣新闻的特征向量；将用户感兴趣新闻的特征向量与候选新闻的特征向量进行拼接，对拼接结果进行预测，得到推荐的候选新闻；将结果推荐给用户。
2.如权利要求1所述的基于知识增强和注意力机制的新闻推荐方法，其特征是，所述新闻推荐模型，包括：M个第一编码器和一个第二编码器；其中，M为正整数；
所述第一编码器用于对用户浏览过的新闻标题进行编码处理，得到用户兴趣表示；
所述第二编码器用于对候选新闻标题进行编码处理，得到候选新闻的特征向量；
相邻两个第一编码器的输出端与对应的第一基于注意力机制的卷积神经网络的输入端连接；其中，第一基于注意力机制的卷积神经网络的数量为M-1个；
所有第一编码器的输出端和第二编码器的输出端，均与第二基于注意力机制的卷积神经网络的输入端连接；其中，第二基于注意力机制的卷积神经网络的数量为一个；
第二基于注意力机制的卷积神经网络的输出端和所有第一基于注意力机制的卷积神经网络的输出端均与乘法器连接；
乘法器输出用户感兴趣新闻的特征向量；
乘法器的输出端与第二编码器的输出端均与拼接单元的输入端连接，实现将用户感兴趣新闻的特征向量与候选新闻的特征向量的拼接；
拼接单元的输出端与多层感知器的输入端连接，多层感知器的输出端用于输出推荐的候选新闻。
3.如权利要求2所述的基于知识增强和注意力机制的新闻推荐方法，其特征是，所述第一编码器，包括：依次连接的嵌入层、图注意力网络、卷积神经网络层和最大池化层。
4.如权利要求1所述的基于知识增强和注意力机制的新闻推荐方法，其特征是，所述基于用户对若干个新闻链接的历史点击数据构建出若干个用户兴趣表示；具体包括：
采用已有知识图谱，对某个历史点击新闻标题进行实体提取，得到实体、实体与实体之间的连接边以及实体与实体之间的关联规则，进而得到关系构建子图；
采用图注意力网络，对关系构建子图的每一个实体进行关联性搜索，计算实体与实体之间的连接边的权重，选取出权重高于设定阈值的实体；
采用卷积神经网络，对选出的实体进行特征表示，得到当前被浏览过的新闻标题的用户兴趣表示。
5.如权利要求4所述的基于知识增强和注意力机制的新闻推荐方法，其特征是，所述采用已有知识图谱，对某个历史点击新闻标题进行实体提取，得到实体、实体与实体之间的连接边以及实体与实体之间的关联规则，进而得到关系构建子图，具体包括：
(111)从新闻标题中识别出实体，在处理完所有的新闻标题后，得到一个新闻实体集合Enews；
(112)根据新闻实体集合Enews，从已有知识图谱中抽取出一个子图：对已有知识图谱中的所有关系，将与集合Enews中实体一样的实体词频的阈值设置为n次，当两个实体出现的词频超过n次时，将构建两个实体之间的关系，子图中剔除了不处于连接任意ei∈Enews路径上的节点和相应的边；n为正整数，例如10；
(113)采用知识表示学习方法TransE，将知识图谱子图中的实体和关系映射到低维向量空间，得到实体和关系的特征向量，供后续使用。
6.如权利要求4所述的基于知识增强和注意力机制的新闻推荐方法，其特征是，采用图注意力网络，对关系构建子图的每一个实体进行关联性搜索，计算实体与实体之间的连接边的权重，选取出权重高于设定阈值的实体；具体包括：
(121)：使用TransE学习对于每个实体和关系的嵌入向量
Figure FDA0003608093890000033
TransE在知识图上进行实体/关系的嵌入并使特征保持不变；
让
Figure FDA0003608093890000034
来表示三元组中头部实体h的集合；一个实体表示为：
Figure FDA0003608093890000031
其中：
Figure FDA0003608093890000032
表示向量连接，表示eh和et是从TransE学习到的实体向量；π(h，r，t)是控制邻居节点需要向当前实体传播信息的数量的注意权值，通过双层全连接神经网络计算得到：
Figure FDA0003608093890000041
Figure FDA0003608093890000042
其中，使用softmax函数来归一化系数；使用图注意力网络只启用单跳图的邻域，将TransE嵌入向量作为节点特征，可训练参数为{W0，W1，W2，b1，b2}；
(122)：通过丰富实体表示，进而丰富了实体的相关上下文信息；上下文嵌入被计算为其上下文实体的平均值：
Figure FDA0003608093890000043
Figure FDA0003608093890000044
(123)：由于实体向量存在着与词向量属于不同向量空间的问题；
首先，引入一个映射函数将实体向量和映射到和文本特征相同的向量空间中，得到实体特征矩阵；
g(e)＝tanh(Me+b)
其中：
Figure FDA0003608093890000045
是可训练的变换矩阵，
Figure FDA0003608093890000046
是可训练的参数；
然后，采用与实体特征相同的映射函数将其映射到和文本特征相同的向量空间中，得到实体上下文特征矩阵；
最后，文本特征矩阵、实体特征矩阵和实体上下文特征矩阵构建三通道输入，通过CNN，提取新闻特征向量e(t)，其中，
Figure FDA0003608093890000047
为第i个卷积核的输出，m为卷积核的个数：
Figure FDA0003608093890000048
7.如权利要求1所述的基于知识增强和注意力机制的新闻推荐方法，其特征是，所述使用不同权重对所有的用户兴趣表示进行聚合，得到聚合结果；具体是指：
采用第一基于注意力机制的卷积神经网络，使用不同权重对所有的用户兴趣表示进行聚合，得到聚合结果；
所述使用不同权重对所有的用户兴趣表示进行聚合，得到聚合结果；具体包括：
使用不同的设定权重对所有的用户兴趣表示进行加权求和，得到聚合结果；
所述将所有的用户兴趣表示均与每个候选新闻数据进行匹配，得到匹配结果；具体是指：
采用第二基于注意力机制的卷积神经网络，将所有的用户兴趣表示均与每个候选新闻数据进行匹配，得到匹配结果；
基于匹配结果和聚合结果得到用户感兴趣新闻的特征向量；具体包括：
将匹配结果和聚合结果相乘，得到用户感兴趣新闻的特征向量；
将用户感兴趣新闻的特征向量与候选新闻的特征向量进行拼接；具体包括：
将用户感兴趣新闻的特征向量与候选新闻的特征向量进行串联拼接；
所述对拼接结果进行预测，得到推荐的候选新闻；具体包括：
将拼接结果输入到多层感知器，得到推荐的候选新闻的推荐概率值；
按照推荐概率值由大到小的顺序对候选新闻进行排序，将排序靠前的新闻推荐给用户。
8.基于知识增强和注意力机制的新闻推荐***，其特征是，包括：
获取模块，其被配置为：获取用户对新闻链接的历史点击数据；获取候选新闻数据；
推荐模块，其被配置为：将历史点击数据和候选新闻数据，均输入到训练后的新闻推荐模型中，得到为用户个性化推荐的新闻数据；
其中，新闻推荐模型，基于用户对若干个新闻链接的历史点击数据构建出若干个用户兴趣表示；将所有的用户兴趣表示均与每个候选新闻数据进行匹配，得到匹配结果；使用不同权重对所有的用户兴趣表示进行聚合，得到聚合结果；基于匹配结果和聚合结果得到用户感兴趣新闻的特征向量；将用户感兴趣新闻的特征向量与候选新闻的特征向量进行拼接，对拼接结果进行预测，得到推荐的候选新闻；将结果推荐给用户。
9.一种电子设备，包括：
存储器，用于非暂时性存储计算机可读指令；以及
处理器，用于运行所述计算机可读指令，
其中，所述计算机可读指令被所述处理器运行时，执行上述权利要求1-7任一项所述的方法。
10.一种存储介质，非暂时性地存储计算机可读指令，其中，当所述非暂时性计算机可读指令由计算机执行时，执行权利要求1-7任一项所述方法的指令。
CN202210421741.1A 2022-04-21 2022-04-21 基于知识增强和注意力机制的新闻推荐方法及*** Pending CN114741599A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210421741.1A CN114741599A (zh) 2022-04-21 2022-04-21 基于知识增强和注意力机制的新闻推荐方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210421741.1A CN114741599A (zh) 2022-04-21 2022-04-21 基于知识增强和注意力机制的新闻推荐方法及***

Publications (1)

Publication Number Publication Date
CN114741599A true CN114741599A (zh) 2022-07-12

Family

ID=82284712

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210421741.1A Pending CN114741599A (zh) 2022-04-21 2022-04-21 基于知识增强和注意力机制的新闻推荐方法及***

Country Status (1)

Country Link
CN (1) CN114741599A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115357785A (zh) * 2022-08-05 2022-11-18 山东省计算中心（国家超级计算济南中心） 一种基于语义交互和局部激活的企业资讯推荐方法
CN117390290A (zh) * 2023-12-08 2024-01-12 安徽省立医院(中国科学技术大学附属第一医院) 一种基于内容增强的语言模型学习动态用户兴趣的方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115357785A (zh) * 2022-08-05 2022-11-18 山东省计算中心（国家超级计算济南中心） 一种基于语义交互和局部激活的企业资讯推荐方法
CN115357785B (zh) * 2022-08-05 2023-06-30 山东省计算中心（国家超级计算济南中心） 一种基于语义交互和局部激活的企业资讯推荐方法
CN117390290A (zh) * 2023-12-08 2024-01-12 安徽省立医院(中国科学技术大学附属第一医院) 一种基于内容增强的语言模型学习动态用户兴趣的方法
CN117390290B (zh) * 2023-12-08 2024-03-15 安徽省立医院(中国科学技术大学附属第一医院) 一种基于内容增强的语言模型学习动态用户兴趣的方法

Similar Documents

Publication Publication Date Title
CN111681059B (zh) 行为预测模型的训练方法及装置
CN111797321B (zh) 一种面向不同场景的个性化知识推荐方法及***
CN110837602B (zh) 基于表示学习和多模态卷积神经网络的用户推荐方法
CN110717098B (zh) 基于元路径的上下文感知用户建模方法、序列推荐方法
CN111061946B (zh) 场景化内容推荐方法、装置、电子设备及存储介质
CN109389151B (zh) 一种基于半监督嵌入表示模型的知识图谱处理方法和装置
JP6884116B2 (ja) 情報処理装置、情報処理方法、およびプログラム
CN114741599A (zh) 基于知识增强和注意力机制的新闻推荐方法及***
CN110532471A (zh) 基于门控循环单元神经网络的主动学习协同过滤方法
CN112989169B (zh) 目标对象识别方法、信息推荐方法、装置、设备及介质
CN114265986B (zh) 一种融合知识图谱结构与路径语义的信息推送方法和***
CN115048586B (zh) 一种融合多特征的新闻推荐方法及***
CN113590976A (zh) 一种空间自适应图卷积网络的推荐方法
CN112765482A (zh) 产品投放方法、装置、设备及计算机可读介质
CN115982467A (zh) 一种去偏化用户多兴趣推荐方法、装置及存储介质
CN117216281A (zh) 一种基于知识图谱的用户兴趣扩散推荐方法及***
CN115374792A (zh) 联合预训练和图神经网络的政策文本标注方法及***
Qian et al. Three-way decision collaborative recommendation algorithm based on user reputation
CN112925983A (zh) 一种电网资讯信息的推荐方法及***
CN110083766B (zh) 一种基于元路径引导嵌入的查询推荐方法及装置
CN116361643A (zh) 实现对象推荐的模型训练方法及对象推荐方法及相关装置
CN116401450A (zh) 一种基于知识图谱的推荐方法、装置及计算机设备
CN116010696A (zh) 融合知识图谱和用户长短期兴趣的新闻推荐方法、***及介质
CN114510642A (zh) 基于异构信息网络的书籍推荐方法、***及设备
KR20230148523A (ko) 모달리티의 고유 특성을 보존하는 멀티미디어 추천 방법 및 시스템

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination