CN116975434A - 内容推荐方法以及相关设备 - Google Patents

内容推荐方法以及相关设备 Download PDF

Info

Publication number
CN116975434A
CN116975434A CN202310493092.0A CN202310493092A CN116975434A CN 116975434 A CN116975434 A CN 116975434A CN 202310493092 A CN202310493092 A CN 202310493092A CN 116975434 A CN116975434 A CN 116975434A
Authority
CN
China
Prior art keywords
information
content
feature
interaction
memory
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310493092.0A
Other languages
English (en)
Inventor
吴焕钦
刘维
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202310493092.0A priority Critical patent/CN116975434A/zh
Publication of CN116975434A publication Critical patent/CN116975434A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/953Querying, e.g. by the use of web search engines
    • G06F16/9535Search customisation based on user profiles and personalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请公开了一种内容推荐方法以及相关设备;可以确定用于特征交互的第一特征记忆信息,第一特征记忆信息包括第一键记忆信息、以及与第一键记忆信息关联的第一值记忆信息;对目标对象的对象属性信息进行特征提取,得到目标对象的对象特征信息;基于第一键记忆信息和第一值记忆信息,对对象特征信息进行与内容之间的交互处理,得到对象特征信息对应的交互信息;基于对象特征信息和对象特征信息对应的交互信息,确定目标对象的目标对象特征;根据目标对象特征与各候选内容的目标内容特征之间的匹配度,从候选内容中确定待推荐内容,以将待推荐内容推荐给目标对象。本申请可以提高内容推荐的准确性。

Description

内容推荐方法以及相关设备
技术领域
本申请涉及计算机技术领域,具体涉及一种内容推荐方法以及相关设备。
背景技术
随着互联网技术的飞速发展,互联网上的内容***式地进行了增加,用户需要花费大量的精力和时间从海量的内容中查找自己感兴趣的内容。为了帮助用户快速从海量信息数据中,获取到其所需的信息,内容推荐***应运而生。推荐***的出现,改变了用户与信息数据的互动方式,由用户主动获取信息转变为将信息主动推送给用户。为提高用户的内容浏览体验,如何向用户进行内容推荐逐渐成为当前的研究热点。
在目前的相关技术中,一般是通过双塔推荐模型来向用户进行内容推荐,双塔推荐模型是指对用户(user)和内容(item)单独建模的推荐模型。双塔推荐模型主要包括两个部分,分别是user侧塔和item侧塔,通过两侧的特征输入,可以获取对象特征信息和内容特征信息,然后计算二者之间的相似度,该相似度可以作为相应的内容的推荐分数,进而基于该推荐分数进行内容推荐。然而,这种推荐模式有一个明显的缺陷,即user侧塔和item侧塔相互独立,user侧和item侧特征没有交叉,这限制了模型效果,使得内容推荐的准确性相对较低。
发明内容
本申请实施例提供一种内容推荐方法以及相关设备,相关设备可以包括内容推荐装置、电子设备、计算机可读存储介质和计算机程序产品,可以提高内容推荐的准确性。
本申请实施例提供一种内容推荐方法,包括:
获取目标对象的对象属性信息、以及至少一个候选内容;
确定用于特征交互的第一特征记忆信息,所述第一特征记忆信息包括第一键记忆信息、以及与所述第一键记忆信息关联的第一值记忆信息,所述第一键记忆信息表征对象信息,所述第一值记忆信息表征所述第一键记忆信息与内容交互后的交互信息;
对所述对象属性信息进行特征提取,得到所述目标对象的对象特征信息;
基于所述第一键记忆信息和所述第一值记忆信息,对所述对象特征信息进行与内容之间的交互处理,得到所述对象特征信息对应的交互信息;
基于所述对象特征信息和所述对象特征信息对应的交互信息,确定所述目标对象的目标对象特征;
根据所述目标对象特征与各个候选内容的目标内容特征之间的匹配度,从所述候选内容中确定待推荐内容,以将所述待推荐内容推荐给所述目标对象。
相应的,本申请实施例提供一种内容推荐装置,包括:
获取单元,用于获取目标对象的对象属性信息、以及至少一个候选内容;
确定单元,用于确定用于特征交互的第一特征记忆信息,所述第一特征记忆信息包括第一键记忆信息、以及与所述第一键记忆信息关联的第一值记忆信息,所述第一键记忆信息表征对象信息,所述第一值记忆信息表征所述第一键记忆信息与内容交互后的交互信息;
提取单元,用于对所述对象属性信息进行特征提取,得到所述目标对象的对象特征信息;
交互单元,用于基于所述第一键记忆信息和所述第一值记忆信息,对所述对象特征信息进行与内容之间的交互处理,得到所述对象特征信息对应的交互信息;
特征确定单元,用于基于所述对象特征信息和所述对象特征信息对应的交互信息,确定所述目标对象的目标对象特征;
推荐单元,用于根据所述目标对象特征与各个候选内容的目标内容特征之间的匹配度,从所述候选内容中确定待推荐内容,以将所述待推荐内容推荐给所述目标对象。
可选的,在本申请的一些实施例中,所述内容推荐装置还可以包括内容特征提取单元、交互处理单元和内容特征确定单元,如下:
所述确定单元,还可以用于确定用于特征交互的第二特征记忆信息,所述第二特征记忆信息包括第二键记忆信息、以及与所述第二键记忆信息关联的第二值记忆信息,所述第二键记忆信息表征内容信息,所述第二值记忆信息表征所述第二键记忆信息与对象交互后的交互信息;
所述内容特征提取单元,用于对所述候选内容进行特征提取,得到所述候选内容的内容特征信息;
交互处理单元,用于基于所述第二键记忆信息和所述第二值记忆信息,对所述内容特征信息进行与对象之间的交互处理,得到所述内容特征信息对应的交互信息;
内容特征确定单元,用于基于所述内容特征信息和所述内容特征信息对应的交互信息,确定所述候选内容的目标内容特征。
可选的,在本申请的一些实施例中,所述交互单元可以包括第一特征映射子单元、第一权重查询子单元和第一读取子单元,如下:
所述第一特征映射子单元,用于对所述对象特征信息进行特征映射处理,得到所述对象特征信息对应的读取查询向量;
第一权重查询子单元,用于基于所述读取查询向量,对所述第一键记忆信息进行权重查询操作,得到第一读取权重信息;
第一读取子单元,用于根据所述第一读取权重信息,对所述第一值记忆信息进行读取处理,得到所述对象特征信息对应的交互信息。
可选的,在本申请的一些实施例中,所述第一键记忆信息包括至少一个第一键记忆子信息,所述第一值记忆信息包括各第一键记忆子信息关联的第一值记忆子信息;
所述第一权重查询子单元具体可以用于计算所述读取查询向量和各个第一键记忆子信息之间的相似度;基于所述相似度,确定第一读取权重信息,所述第一读取权重信息包括各个第一键记忆子信息对应的读取子权重信息;
所述第一读取子单元具体可以用于基于各个第一键记忆子信息对应的读取子权重信息,对各个第一值记忆子信息进行融合处理,得到所述对象特征信息对应的交互信息。
可选的,在本申请的一些实施例中,所述交互处理单元可以包括第二特征映射子单元、第二权重查询子单元和第二读取子单元,如下:
所述第二特征映射子单元,用于对所述内容特征信息进行特征映射处理,得到所述内容特征信息对应的读取查询向量;
第二权重查询子单元,用于基于所述读取查询向量,对所述第二键记忆信息进行权重查询操作,得到第二读取权重信息;
第二读取子单元,用于根据所述第二读取权重信息,对所述第二值记忆信息进行读取处理,得到所述内容特征信息对应的交互信息。
可选的,在本申请的一些实施例中,所述第二键记忆信息包括至少一个第二键记忆子信息,所述第二值记忆信息包括各第二键记忆子信息关联的第二值记忆子信息;
所述第二权重查询子单元具体可以用于计算所述读取查询向量和各个第二键记忆子信息之间的相似度;基于所述相似度,确定第二读取权重信息,所述第二读取权重信息包括各个第二键记忆子信息对应的读取子权重信息;
所述第二读取子单元具体可以用于基于各个第二键记忆子信息对应的读取子权重信息,对各个第二值记忆子信息进行融合处理,得到所述内容特征信息对应的交互信息。
可选的,在本申请的一些实施例中,所述确定单元具体可以用于通过内容推荐模型,确定用于特征交互的第一特征记忆信息;
所述提取单元具体可以用于通过所述内容推荐模型,对所述对象属性信息进行特征提取,得到所述目标对象的对象特征信息。
可选的,在本申请的一些实施例中,所述内容推荐装置还可以包括训练数据获取单元、特征提取单元、特征交互单元、记忆信息更新单元、对象特征确定单元和更新单元,如下:
所述训练数据获取单元,用于获取训练数据,所述训练数据包括样本对象、以及所述样本对象对应的样本推荐内容,所述样本推荐内容的标签信息表示针对所述样本对象,所述样本推荐内容的期望推荐分数;
特征提取单元,用于通过预设内容推荐模型,分别提取所述样本对象的样本对象特征信息、以及所述样本推荐内容的样本内容特征信息;
特征交互单元,用于对所述样本对象特征信息和所述样本内容特征信息进行交互处理,得到初始交互特征信息;
记忆信息更新单元,用于基于所述初始交互特征信息和第一键记忆信息,对第一值记忆信息进行更新,得到更新后的第一值记忆信息;并基于第一键记忆信息和更新后的第一值记忆信息,对所述样本对象特征信息进行与内容之间的交互处理,得到所述样本对象特征信息对应的交互信息;
对象特征确定单元,用于根据所述样本对象特征信息和所述样本对象特征信息对应的交互信息,确定所述样本对象的目标样本对象特征;
更新单元,用于根据所述目标样本对象特征和所述样本内容特征信息,确定所述样本推荐内容的实际推荐分数;并基于所述期望推荐分数和所述实际推荐分数,对预设内容推荐模型中的参数、以及第一键记忆信息进行更新,得到训练后的内容推荐模型和更新后的第一键记忆信息。
可选的,在本申请的一些实施例中,所述更新单元可以包括记忆信息更新子单元、交互处理子单元、样本内容特征确定子单元、分数确定子单元和更新子单元,如下:
所述记忆信息更新子单元,用于通过预设内容推荐模型,基于所述初始交互特征信息和第二键记忆信息,对第二值记忆信息进行更新,得到更新后的第二值记忆信息;
交互处理子单元,用于基于第二键记忆信息和更新后的第二值记忆信息,对所述样本内容特征信息进行与对象之间的交互处理,得到所述样本内容特征信息对应的交互信息;
样本内容特征确定子单元,用于基于所述样本内容特征信息和所述样本内容特征信息对应的交互信息,确定所述样本推荐内容的目标样本内容特征;
分数确定子单元,用于根据所述目标样本对象特征和所述目标样本内容特征,确定所述样本推荐内容的实际推荐分数;
更新子单元,用于基于所述期望推荐分数和所述实际推荐分数,对预设内容推荐模型中的参数、第一键记忆信息以及第二键记忆信息进行更新,得到训练后的内容推荐模型、更新后的第一键记忆信息、和更新后的第二键记忆信息。
可选的,在本申请的一些实施例中,步骤“基于所述初始交互特征信息和第一键记忆信息,对第一值记忆信息进行更新,得到更新后的第一值记忆信息”,可以包括:
对所述初始交互特征信息进行逻辑回归处理,得到所述初始交互特征信息对应的记忆擦除向量和增加向量;
基于所述样本对象特征信息,对第一键记忆信息进行权重查询操作,得到第一写入权重信息;
根据所述第一写入权重信息、所述记忆擦除向量和所述增加向量,对第一值记忆信息进行更新,得到更新后的第一值记忆信息。
可选的,在本申请的一些实施例中,步骤“基于所述样本对象特征信息,对第一键记忆信息进行权重查询操作,得到第一写入权重信息”,可以包括:
对所述样本对象特征信息进行特征映射处理,得到所述样本对象特征信息对应的写入查询向量;
基于所述写入查询向量,对第一键记忆信息进行权重查询操作,得到第一写入权重信息。
可选的,在本申请的一些实施例中,所述记忆信息更新子单元具体可以用于对所述初始交互特征信息进行逻辑回归处理,得到所述初始交互特征信息对应的记忆擦除向量和增加向量;基于所述样本内容特征信息,对第二键记忆信息进行权重查询操作,得到第二写入权重信息;根据所述第二写入权重信息、所述记忆擦除向量和所述增加向量,对第二值记忆信息进行更新,得到更新后的第二值记忆信息。
可选的,在本申请的一些实施例中,步骤“基于所述样本内容特征信息,对第二键记忆信息进行权重查询操作,得到第二写入权重信息”,可以包括:
对所述样本内容特征信息进行特征映射处理,得到所述样本内容特征信息对应的写入查询向量;
基于所述写入查询向量,对第二键记忆信息进行权重查询操作,得到第二写入权重信息。
本申请实施例提供的一种电子设备,包括处理器和存储器,所述存储器存储有多条指令,所述处理器加载所述指令,以执行本申请实施例提供的内容推荐方法中的步骤。
本申请实施例还提供一种计算机可读存储介质,其上存储有计算机程序,其中,所述计算机程序被处理器执行时实现本申请实施例提供的内容推荐方法中的步骤。
此外,本申请实施例还提供一种计算机程序产品,包括计算机程序或指令,该计算机程序或指令被处理器执行时实现本申请实施例提供的内容推荐方法中的步骤。
本申请实施例提供了一种内容推荐方法以及相关设备;可以获取目标对象的对象属性信息、以及至少一个候选内容;确定用于特征交互的第一特征记忆信息,所述第一特征记忆信息包括第一键记忆信息、以及与所述第一键记忆信息关联的第一值记忆信息,所述第一键记忆信息表征对象信息,所述第一值记忆信息表征所述第一键记忆信息与内容交互后的交互信息;对所述对象属性信息进行特征提取,得到所述目标对象的对象特征信息;基于所述第一键记忆信息和所述第一值记忆信息,对所述对象特征信息进行与内容之间的交互处理,得到所述对象特征信息对应的交互信息;基于所述对象特征信息和所述对象特征信息对应的交互信息,确定所述目标对象的目标对象特征;根据所述目标对象特征与各个候选内容的目标内容特征之间的匹配度,从所述候选内容中确定待推荐内容,以将所述待推荐内容推荐给所述目标对象。本申请可以通过第一特征记忆信息存储的内容与对象交互后的交互信息,来获取目标对象的对象特征信息对应的交互信息,对目标对象自身的对象特征信息进行了补充,从而结合对象特征信息和其交互信息进行内容推荐,提高了内容推荐的准确性。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1a是本申请实施例提供的内容推荐方法的场景示意图;
图1b是本申请实施例提供的内容推荐方法的流程图;
图1c是本申请实施例提供的内容推荐方法的模型架构图;
图1d是本申请实施例提供的内容推荐方法的说明图;
图1e是本申请实施例提供的内容推荐方法的另一说明图;
图1f是本申请实施例提供的内容推荐方法的另一说明图;
图2是本申请实施例提供的内容推荐方法的另一流程图;
图3是本申请实施例提供的内容推荐装置的结构示意图;
图4是本申请实施例提供的电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请实施例提供一种内容推荐方法以及相关设备,相关设备可以包括内容推荐装置、电子设备、计算机可读存储介质和计算机程序产品。该内容推荐装置具体可以集成在电子设备中,该电子设备可以是终端或服务器等设备。
可以理解的是,本实施例的内容推荐方法可以是在终端上执行的,也可以是在服务器上执行,还可以由终端和服务器共同执行的。以上举例不应理解为对本申请的限制。
如图1a所示,以终端和服务器共同执行内容推荐方法为例。本申请实施例提供的内容推荐***包括终端10和服务器11等;终端10与服务器11之间通过网络连接,比如,通过有线或无线网络连接等,其中,内容推荐装置可以集成在服务器中。
其中,服务器11,可以用于:获取目标对象的对象属性信息、以及至少一个候选内容;确定用于特征交互的第一特征记忆信息,所述第一特征记忆信息包括第一键记忆信息、以及与所述第一键记忆信息关联的第一值记忆信息,所述第一键记忆信息表征对象信息,所述第一值记忆信息表征所述第一键记忆信息与内容交互后的交互信息;对所述对象属性信息进行特征提取,得到所述目标对象的对象特征信息;基于所述第一键记忆信息和所述第一值记忆信息,对所述对象特征信息进行与内容之间的交互处理,得到所述对象特征信息对应的交互信息;基于所述对象特征信息和所述对象特征信息对应的交互信息,确定所述目标对象的目标对象特征;根据所述目标对象特征与各个候选内容的目标内容特征之间的匹配度,从所述候选内容中确定待推荐内容,以将所述待推荐内容推荐给所述目标对象。其中,服务器11可以是单台服务器,也可以是由多个服务器组成的服务器集群或云服务器。
其中,终端10,可以用于:接收服务器11发送的待推荐内容,并将所述待推荐内容推荐给所述目标对象。其中,终端10可以包括手机、智能语音交互设备、智能家电、车载终端、飞行器、平板电脑、笔记本电脑、或个人计算机(PC,Personal Computer)等。终端10上还可以设置客户端,该客户端可以是应用程序客户端或浏览器客户端等等。
上述服务器11中进行内容推荐等步骤,也可以由终端10执行。
本申请实施例提供的内容推荐方法涉及人工智能领域中的自然语言处理和机器学习。
其中,人工智能(AI,Artificial Intelligence)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用***。换句话说,人工智能是计算机科学的一个综合技术,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。人工智能技术是一门综合学科,涉及领域广泛,既有硬件层面的技术也有软件层面的技术。其中,人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习、自动驾驶、智慧交通等几大方向。
其中,自然语言处理(Nature Language processing,NLP)是计算机科学领域与人工智能领域中的一个重要方向。它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。自然语言处理是一门融语言学、计算机科学、数学于一体的科学。因此,这一领域的研究将涉及自然语言,即人们日常使用的语言,所以它与语言学的研究有着密切的联系。自然语言处理技术通常包括文本处理、语义理解、机器翻译、机器人问答、知识图谱等技术。
其中,机器学习(Machine Learning,ML)是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心,是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、示教学习等技术。
以下分别进行详细说明。需说明的是,以下实施例的描述顺序不作为对实施例优选顺序的限定。
本实施例将从内容推荐装置的角度进行描述,该内容推荐装置具体可以集成在电子设备中,该电子设备可以是服务器或终端等设备。
可以理解的是,在本申请的具体实施方式中,涉及到用户信息,如兴趣等相关的数据,当本申请以上实施例运用到具体产品或技术中时,需要获得用户许可或者同意,且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
本申请实施例的内容推荐方法可以应用于内容推荐等场景中。本实施例可应用于云技术、人工智能、智慧交通、辅助驾驶等各种场景。
如图1b所示,该内容推荐方法的具体流程可以如下:
101、获取目标对象的对象属性信息、以及至少一个候选内容。
其中,目标对象为待推荐内容的对象,通过本申请提供的内容推荐方法,可以向目标对象进行内容推荐。目标对象的对象属性信息可以包括至少一个维度上的属性子信息,比如可以包括目标对象的兴趣标签、所处地域等。
其中,候选内容的内容类型不限,比如候选内容可以是文本,也可以是音频,还可以是图像、视频等。
在目前的相关技术中,一般是通过双塔推荐模型来向用户进行内容推荐。双塔推荐模型是指的对用户(user)和内容(item)单独建模的推荐模型。由于双塔模型结构能够满足在线预估时低延时的要求,因此双塔推荐模型在推荐领域中是一个常用的算法模型,通常用于推荐的召回及粗排阶段。
双塔推荐模型主要包括两个部分:user侧塔和item侧塔,对于每个塔分别是一个DNN(Deep Neural Networks,深度神经网络)结构。基于两侧user和item的输入,通过DNN模块分别得到user和item的特征信息,然后计算两者之间的相似度作为推荐得分。
由于目前的双塔推荐模型是分别构建user和item两个独立的子网络,它存在一个明显的缺陷,即user侧塔和item侧塔相互独立,user侧和item侧特征无法交叉,这限制了模型效果。
本申请提出了一种基于键值记忆网络的双塔交互模型。具体而言,可以通过引入键值记忆网络来存储和记忆双塔之间特征的交互信息。该方法在训练阶段需要建模双塔之间的交互计算,将交互结果存储到键值记忆网络中,并更新相关网络参数。在推理阶段,各自塔仅需要读取各自的键值记忆网络即可获取得到相应的交互信息,具体地,在推理阶段读取键值记忆网络中存储的交互信息后与原有的塔顶向量做融合即可得到最终的user侧表示与item侧表示,从而通过user侧表示与item侧表示的向量近邻检索结果得到候选item的推荐分数,以基于推荐分数进行内容推荐。本申请的基于键值记忆网络的双塔交互模型,能够对模型的底层特征实现交互,从而不影响塔顶的近邻检索,能够提升双塔交互的效果。
其中,键值记忆网络(key-value memory network)是指通过基于键记忆缓存进行寻址(查表),并利用值记忆缓存进行读取的一种记忆网络。与传统记忆网络相比,这种记忆网络可以借助键值变换提升记忆网络的信息存储能力。
102、确定用于特征交互的第一特征记忆信息,所述第一特征记忆信息包括第一键记忆信息、以及与所述第一键记忆信息关联的第一值记忆信息,所述第一键记忆信息表征对象信息,所述第一值记忆信息表征所述第一键记忆信息与内容交互后的交互信息。
其中,这里的第一特征记忆信息可以是训练学习得到的,第一特征记忆信息包括第一键记忆信息和第一值记忆信息。
在训练学习阶段开始前,第一特征记忆信息中的第一键记忆信息和第一值记忆信息可以是随机的数值矩阵,第一键记忆信息和第一值记忆信息不具有对应关系,即没有关联关系。通过训练学习阶段的参数更新,可以逐渐学习到第一键记忆信息和第一值记忆信息之间的对应关系,从而使得训练学习完成后的第一键记忆信息和第一值记忆信息具有关联性,这样即可得到用于实际应用的推理阶段的第一键记忆信息和第一值记忆信息。
具体地,第一特征记忆信息为user侧的键值记忆网络存储的信息,user侧的键值记忆网络可以看作user侧的交互信息的存储媒介,第一键记忆信息存储有对象信息,第一值记忆信息存储有对象信息与内容交互过的结果。
103、对所述对象属性信息进行特征提取,得到所述目标对象的对象特征信息。
一些实施例中,对对象属性信息进行特征提取,具体可以是对对象属性信息进行卷积操作和池化操作等。
这里提取到的目标对象的对象特征信息具体为目标对象自身的特征信息,也即没有与内容交互过的特征信息。
具体地,目标对象的对象属性信息可以包括至少一个维度上的属性子信息,一些实施例中,针对每个维度上的属性子信息,可以对该维度上的属性子信息进行特征提取,得到该维度上的属性子信息对应的对象特征子信息,再将各个维度上的属性子信息对应的对象特征子信息进行融合,来得到目标对象的对象特征信息,这里的融合方式有多种,比如可以是拼接处理,也可以是加权融合等,本实施例对此不作限制。
104、基于所述第一键记忆信息和所述第一值记忆信息,对所述对象特征信息进行与内容之间的交互处理,得到所述对象特征信息对应的交互信息。
具体地,user侧的键值记忆网络可以包括user键记忆网络(记为第一键记忆网络)和user值记忆网络(记为第一值记忆网络),第一键记忆网络存储记忆了第一键记忆信息,第一值记忆网络存储记忆了第一值记忆信息。
其中,第一键记忆信息可以视为key的集合,它可以包括至少一个键(key),每个key即为一个第一键记忆子信息。第一键记忆网络可以负责从记忆的各个键(key)中寻址,也即负责确定各个key与对象特征信息的相关程度。
而第一值记忆信息可以视为value的集合,它可以包括至少一个值(value),每个value即为一个第一值记忆子信息。第一值记忆网络可以负责根据各个key与对象特征信息的相关程度,从记忆的各个值(value)中读取信息,具体可以是对记忆的值进行加权求和得到输出。
本实施例中,对对象特征信息进行与内容之间的交互处理,可以分为两个阶段,分别是查询阶段(addressing)和读取阶段(reading)。查询阶段是基于key,读取阶段是基于value。
可选地,本实施例中,步骤“基于所述第一键记忆信息和所述第一值记忆信息,对所述对象特征信息进行与内容之间的交互处理,得到所述对象特征信息对应的交互信息”,可以包括:
对所述对象特征信息进行特征映射处理,得到所述对象特征信息对应的读取查询向量;
基于所述读取查询向量,对所述第一键记忆信息进行权重查询操作,得到第一读取权重信息;
根据所述第一读取权重信息,对所述第一值记忆信息进行读取处理,得到所述对象特征信息对应的交互信息。
其中,对对象特征信息的特征映射处理具体可以为对对象特征信息的全连接处理。
其中,通过特征映射处理,可以得到对象特征信息对应的读取查询向量。然后,可以基于读取查询向量和user键记忆网络记忆中的键的键向量表示(也即第一键记忆信息)之间的比较来生成与第一键记忆信息相关联的相关性度量(也即第一读取权重信息)。再可以基于相关性度量和user值记忆网络记忆中的值的值向量表示(也即第一值记忆信息)来生成聚合结果,该聚合结果即对象特征信息对应的交互信息,其可以是所有值向量表示的加权和,所有值向量表示以它们各自相关联的相关性度量进行加权。
在一具体场景中,对象特征信息可以记为eu,可以通过全连接网络来获取对象特征信息对应的读取查询向量,如式子(1)所示:
其中,表示读取查询向量,/>和/>为可学习的参数,ReLU函数是一种非线性激活函数。在获得读取查询向量后,可以对user键记忆网络进行寻址,从而得到第一读取权重信息,如式子(2)所示:
其中,表示第一读取权重信息,/>表示第一键记忆信息,Softmax函数可以将多分类的输出值转换为取值范围在[0,1]区间的概率分布。在获得第一读取权重信息后,将与user值记忆网络中存储的第一值记忆信息进行加权求和计算,得到最终记忆读取结构——对象特征信息对应的交互信息,如式子(3)所示:
其中,表示第一值记忆信息,ru表示对象特征信息对应的交互信息。
可选地,本实施例中,所述第一键记忆信息包括至少一个第一键记忆子信息,所述第一值记忆信息包括各第一键记忆子信息关联的第一值记忆子信息;
步骤“基于所述读取查询向量,对所述第一键记忆信息进行权重查询操作,得到第一读取权重信息”,可以包括:
计算所述读取查询向量和各个第一键记忆子信息之间的相似度;
基于所述相似度,确定第一读取权重信息,所述第一读取权重信息包括各个第一键记忆子信息对应的读取子权重信息;
步骤“根据所述第一读取权重信息,对所述第一值记忆信息进行读取处理,得到所述对象特征信息对应的交互信息”,可以包括:
基于各个第一键记忆子信息对应的读取子权重信息,对各个第一值记忆子信息进行融合处理,得到所述对象特征信息对应的交互信息。
其中,可以将各第一键记忆子信息和读取查询向量之间的相似度,作为各第一键记忆子信息对应的读取子权重信息。
其中,对各个第一值记忆子信息进行融合处理,具体可以是基于各个第一键记忆子信息对应的读取子权重信息,对各第一键记忆子信息关联的第一值记忆子信息进行加权求和,来得到对象特征信息对应的交互信息。
105、基于所述对象特征信息和所述对象特征信息对应的交互信息,确定所述目标对象的目标对象特征。
其中,具体地,可以将对象特征信息和对象特征信息对应的交互信息进行融合,来得到目标对象的目标对象特征。该融合方式有多种,比如,可以是拼接处理,也可以是相加操作、乘积操作、注意力计算等,本实施例对此不作限制。
一些实施例中,步骤“基于所述对象特征信息和所述对象特征信息对应的交互信息,确定所述目标对象的目标对象特征”,可以包括:
对所述对象特征信息进行全连接处理,得到处理后对象特征信息;
将处理后对象特征信息与所述对象特征信息对应的交互信息进行融合,得到所述目标对象的目标对象特征。
其中,步骤“将处理后对象特征信息与所述对象特征信息对应的交互信息进行融合,得到所述目标对象的目标对象特征”,可以包括:
将处理后对象特征信息与所述对象特征信息对应的交互信息进行融合,得到融合后对象特征;
对所述融合后对象特征进行归一化操作,得到所述目标对象的目标对象特征。
其中,归一化操作具体可以是BN(Batch Normalization)操作,BN操作是一种数据归一化方法,经过BN操作,可以加快模型训练时的收敛速度,使得模型训练过程更加稳定,避免梯度***或者梯度消失;且可以起到一定的正则化作用。
具体地,对象特征信息对应的交互信息可以记为ru,经过全连接层的处理后对象特征信息可以记为hu,则目标对象的目标对象特征可以用式子(4)表示,如下:
uf=BN(hu+ru) (4)
其中,uf表示目标对象的目标对象特征。
106、根据所述目标对象特征与各个候选内容的目标内容特征之间的匹配度,从所述候选内容中确定待推荐内容,以将所述待推荐内容推荐给所述目标对象。
可选地,本实施例中,针对各候选内容,可以计算目标对象特征与所述候选内容的目标内容特征之间的向量距离,再基于向量距离确定匹配度,向量距离越大,匹配度越低;向量距离越小,匹配度越高。一些实施例中,可以将匹配度大于预设匹配度的候选内容确定为待推荐内容,预设匹配度可以根据实际情况设置;另一些实施例中,可以根据匹配度,对候选内容进行排序,如按照匹配度的大小由大到小进行排序,得到排序后候选内容,将排序后候选内容中的前n个候选内容确定为待推荐内容。
具体地,目标对象特征可以记为uf,候选内容的目标内容特征可以记为vf,可以将目标对象特征和目标内容特征的cosine相似度作为推荐分数,该推荐分数表征二者之间的匹配度,具体如式子(5)所示:
其中,表示目标对象特征uf和目标内容特征vf的cosine相似度。
在实际应用中,为了提高在线推荐的效率,一些实施例中,会提前提取候选内容的目标内容特征和对象的目标对象特征,并缓存到内存数据库中,也即,在推理阶段可以将训练好的两个“塔”中的user embedding和item embedding各自缓存到内存数据库中。当在线推荐时,可以直接从内存数据库中获取候选内容的目标内容特征,与待推荐的目标对象的目标对象特征进行匹配度计算,具体可以通过向量的近邻检索方法获取每个user的目标对象特征最相似的top-k个item的目标内容特征,从而为每个用户快速地推荐相关的内容。
可以理解的是,一些实际应用场景中,也可以对候选内容进行目标内容特征、以及目标对象的目标对象特征进行实时提取,本实施例对此不作限制。
可选地,本实施例中,步骤“根据所述目标对象特征与各个候选内容的目标内容特征之间的匹配度,从所述候选内容中确定待推荐内容”之前,还可以包括:
确定用于特征交互的第二特征记忆信息,所述第二特征记忆信息包括第二键记忆信息、以及与所述第二键记忆信息关联的第二值记忆信息,所述第二键记忆信息表征内容信息,所述第二值记忆信息表征所述第二键记忆信息与对象交互后的交互信息;
对所述候选内容进行特征提取,得到所述候选内容的内容特征信息;
基于所述第二键记忆信息和所述第二值记忆信息,对所述内容特征信息进行与对象之间的交互处理,得到所述内容特征信息对应的交互信息;
基于所述内容特征信息和所述内容特征信息对应的交互信息,确定所述候选内容的目标内容特征。
其中,这里的第二特征记忆信息可以是训练学习得到的,第二特征记忆信息包括第二键记忆信息和第二值记忆信息。
在训练学习阶段开始前,第二特征记忆信息中的第二键记忆信息和第二值记忆信息可以是随机的数值矩阵,第二键记忆信息和第二值记忆信息不具有对应关系,即没有关联关系。通过训练学习阶段的参数更新,可以逐渐学习到第二键记忆信息和第二值记忆信息之间的对应关系,从而使得训练学习完成后的第二键记忆信息和第二值记忆信息具有关联性,这样即可得到用于实际应用的推理阶段的第二键记忆信息和第二值记忆信息。
具体地,第二特征记忆信息为item侧的键值记忆网络存储的信息,item侧的键值记忆网络可以看作item侧的交互信息的存储媒介,第二键记忆信息存储有内容信息,第二值记忆信息存储有内容信息与对象交互过的结果。
其中,步骤“对所述候选内容进行特征提取,得到所述候选内容的内容特征信息”,具体可以是对候选内容的内容属性信息进行卷积操作和池化操作等,得到候选内容的内容特征信息。这里提取到的候选内容的内容特征信息具体为候选内容自身的特征信息,也即没有与对象交互过的特征信息。
具体地,候选内容的内容属性信息可以包括至少一个维度上的属性子信息,一些实施例中,针对每个维度上的属性子信息,可以对该维度上的属性子信息进行特征提取,得到该维度上的属性子信息对应的内容特征子信息,再将各个维度上的属性子信息对应的内容特征子信息进行融合,来得到候选内容的内容特征信息,这里的融合方式有多种,比如可以是拼接处理,也可以是加权融合等,本实施例对此不作限制。
具体地,item侧的键值记忆网络可以包括item键记忆网络(记为第二键记忆网络)和item值记忆网络(记为第二值记忆网络),第二键记忆网络存储记忆了第二键记忆信息,第二值记忆网络存储记忆了第二值记忆信息。
其中,第二键记忆信息可以视为key的集合,它可以包括至少一个键(key),每个key即为一个第二键记忆子信息。第二键记忆网络可以负责从记忆的各个键(key)中寻址,也即负责确定各个key与内容特征信息的相关程度。
而第二值记忆信息可以视为value的集合,它可以包括至少一个值(value),每个value即为一个第二值记忆子信息。第二值记忆网络可以负责根据各个key与内容特征信息的相关程度,从记忆的各个值(value)中读取信息,具体可以是对记忆的值进行加权求和得到输出。
本实施例中,对内容特征信息进行与对象之间的交互处理,可以分为两个阶段,分别是查询阶段(addressing)和读取阶段(reading)。查询阶段是基于key,读取阶段是基于value。
可选地,本实施例中,步骤“基于所述第二键记忆信息和所述第二值记忆信息,对所述内容特征信息进行与对象之间的交互处理,得到所述内容特征信息对应的交互信息”,可以包括:
对所述内容特征信息进行特征映射处理,得到所述内容特征信息对应的读取查询向量;
基于所述读取查询向量,对所述第二键记忆信息进行权重查询操作,得到第二读取权重信息;
根据所述第二读取权重信息,对所述第二值记忆信息进行读取处理,得到所述内容特征信息对应的交互信息。
其中,对内容特征信息的特征映射处理具体可以为对内容特征信息的全连接处理。
其中,通过特征映射处理,可以得到内容特征信息对应的读取查询向量。然后,可以基于读取查询向量和item键记忆网络记忆中的键的键向量表示(也即第二键记忆信息)之间的比较来生成与第二键记忆信息相关联的相关性度量(也即第二读取权重信息)。再可以基于相关性度量和item值记忆网络记忆中的值的值向量表示(也即第二值记忆信息)来生成聚合结果,该聚合结果即内容特征信息对应的交互信息,其可以是所有值向量表示的加权和,所有值向量表示以它们各自相关联的相关性度量进行加权。
在一具体场景中,内容特征信息可以记为ev,可以通过全连接网络来获取内容特征信息对应的读取查询向量,如式子(6)所示:
其中,表示内容特征信息对应的读取查询向量,Wv qr和/>为可学习的参数,ReLU函数是一种非线性激活函数。在获得读取查询向量后,可以对item键记忆网络进行寻址,从而得到第二读取权重信息,如式子(7)所示:
其中,表示第二读取权重信息,/>表示第二键记忆信息,Softmax函数可以将多分类的输出值转换为取值范围在[0,1]区间的概率分布。在获得第二读取权重信息后,将与item值记忆网络中存储的第二值记忆信息进行加权求和计算,得到最终记忆读取结构——内容特征信息对应的交互信息,如式子(8)所示:
其中,表示第二值记忆信息,rv表示内容特征信息对应的交互信息。
可选地,本实施例中,所述第二键记忆信息包括至少一个第二键记忆子信息,所述第二值记忆信息包括各第二键记忆子信息关联的第二值记忆子信息;
步骤“基于所述读取查询向量,对所述第二键记忆信息进行权重查询操作,得到第二读取权重信息”,可以包括:
计算所述读取查询向量和各个第二键记忆子信息之间的相似度;
基于所述相似度,确定第二读取权重信息,所述第二读取权重信息包括各个第二键记忆子信息对应的读取子权重信息;
步骤“根据所述第二读取权重信息,对所述第二值记忆信息进行读取处理,得到所述内容特征信息对应的交互信息“,可以包括:
基于各个第二键记忆子信息对应的读取子权重信息,对各个第二值记忆子信息进行融合处理,得到所述内容特征信息对应的交互信息。
其中,可以将各第二键记忆子信息和读取查询向量之间的相似度,作为各第二键记忆子信息对应的读取子权重信息。
其中,对各个第二值记忆子信息进行融合处理,具体可以是基于各个第二键记忆子信息对应的读取子权重信息,对各第二键记忆子信息关联的第二值记忆子信息进行加权求和,来得到内容特征信息对应的交互信息。
具体地,步骤“基于所述内容特征信息和所述内容特征信息对应的交互信息,确定所述候选内容的目标内容特征”,可以包括:将内容特征信息和内容特征信息对应的交互信息进行融合,来得到候选内容的目标内容特征。该融合方式有多种,比如,可以是拼接处理,也可以是相加操作、乘积操作、注意力计算等,本实施例对此不作限制。
一些实施例中,步骤“基于所述内容特征信息和所述内容特征信息对应的交互信息,确定所述候选内容的目标内容特征”,可以包括:
对所述内容特征信息进行全连接处理,得到处理后内容特征信息;
将处理后内容特征信息与所述内容特征信息对应的交互信息进行融合,得到所述候选内容的目标内容特征。
其中,步骤“将处理后内容特征信息与所述内容特征信息对应的交互信息进行融合,得到所述候选内容的目标内容特征”,可以包括:
将处理后内容特征信息与所述内容特征信息对应的交互信息进行融合,得到融合后内容特征;
对所述融合后内容特征进行归一化操作,得到所述候选内容的目标内容特征。
其中,归一化操作具体可以是BN(Batch Normalization)操作,BN操作是一种数据归一化方法,经过BN操作,可以加快模型训练时的收敛速度,使得模型训练过程更加稳定,避免梯度***或者梯度消失;且可以起到一定的正则化作用。
具体地,内容特征信息对应的交互信息可以记为rv,经过全连接层的处理后内容特征信息可以记为hv,则候选内容的目标内容特征可以用式子(9)表示,如下:
vf=BN(hv+rv) (9)
其中,vf表示候选内容的目标内容特征。
本实施例中,从候选内容中确定待推荐内容,可以采用近邻检索的方法。具体地,可以通过HNSW算法来进行待推荐内容的召回。HNSW算法,全称为Hierarchcal NavigableSmall World graphs,即“可导航小世界网络”算法,它是神经网络搜索领域基于图的算法。HNSW算法可以基于一定的方式对向量集构建一个近似小世界网络,然后对于查询向量(也即目标对象特征),随机选择初始点进行快速检索。
可选地,本实施例中,步骤“根据所述目标对象特征与各个候选内容的目标内容特征之间的匹配度,从所述候选内容中确定待推荐内容”,可以包括:
获取所述候选内容对应的内容索引图,所述内容索引图包括从上到下排列且节点数依次增多的各个索引层,所述索引层包括至少一个节点,每个节点表示一个候选内容;
基于所述目标对象特征和所述节点对应的候选内容的目标内容特征的相似度,在所述内容索引图中按照从上到下的顺序对各索引层进行节点搜索,以在目标索引层的节点中搜索到所述目标对象特征对应的相似节点;
基于所述相似节点对应的候选内容,确定待推荐内容。
其中,内容索引图可以是采用HNSW算法构建得到的,具体地,可以根据各候选内容之间的相似度,对候选内容进行聚类分区处理,得到至少一个内容分区,每个内容分区中的候选内容与该内容分区的聚类中心的距离小于预设值;再对每个内容分区进行多次采样处理,其中,每次采样处理是在对应内容分区的上一次采样的采样结果(即上一次采样得到的候选内容)上进行的,这样可以得到每个内容分区的多次采样结果,并将同次采样结果中的候选内容汇聚在同一个索引层,内容索引图中最顶层(即第一个索引层)包括各内容分区最后一次采样结果中的候选内容。
其中,对各索引层的节点搜索,具体可以包括以当前索引层的开始节点为初始的当前节点,从当前节点和与当前节点具有连接关系的邻居节点中,搜索出距离目标对象特征最近的节点作为更新的当前节点,将达到搜索结束条件时的当前节点确定为第一节点,经由该第一节点进入下一个索引层;且该第一节点用于作为下一个索引层的开始节点。开始节点可以是任意选择的节点。
其中,目标索引层可以是内容索引图中的最后一个索引层,也即最底层,需要说明的是,内容索引图的最后一个索引层包括所有候选内容对应的节点。
可选地,本实施例中,步骤“确定用于特征交互的第一特征记忆信息”,可以包括:
通过内容推荐模型,确定用于特征交互的第一特征记忆信息;
步骤“对所述对象属性信息进行特征提取,得到所述目标对象的对象特征信息”,可以包括:
通过所述内容推荐模型,对所述对象属性信息进行特征提取,得到所述目标对象的对象特征信息。
具体地,通过内容推荐模型,还可以确定用于特征交互的第二特征记忆信息,对所述候选内容进行特征提取,得到所述候选内容的内容特征信息;基于所述第二键记忆信息和所述第二值记忆信息,对所述内容特征信息进行与对象之间的交互处理,得到所述内容特征信息对应的交互信息;基于所述内容特征信息和所述内容特征信息对应的交互信息,确定所述候选内容的目标内容特征。
其中,该内容推荐模型可以是神经网络模型,神经网络的类型不限。
需要说明的是,该内容推荐模型具体可以由其他设备进行训练后,提供给该内容推荐装置,或者,也可以由该内容推荐装置自行进行训练。
若由该内容推荐装置自行进行训练,则在步骤“通过内容推荐模型,确定用于特征交互的第一特征记忆信息”之前,还可以包括:
获取训练数据,所述训练数据包括样本对象、以及所述样本对象对应的样本推荐内容,所述样本推荐内容的标签信息表示针对所述样本对象,所述样本推荐内容的期望推荐分数;
通过预设内容推荐模型,分别提取所述样本对象的样本对象特征信息、以及所述样本推荐内容的样本内容特征信息;
对所述样本对象特征信息和所述样本内容特征信息进行交互处理,得到初始交互特征信息;
基于所述初始交互特征信息和第一键记忆信息,对第一值记忆信息进行更新,得到更新后的第一值记忆信息;并基于第一键记忆信息和更新后的第一值记忆信息,对所述样本对象特征信息进行与内容之间的交互处理,得到所述样本对象特征信息对应的交互信息;
根据所述样本对象特征信息和所述样本对象特征信息对应的交互信息,确定所述样本对象的目标样本对象特征;
根据所述目标样本对象特征和所述样本内容特征信息,确定所述样本推荐内容的实际推荐分数;并基于所述期望推荐分数和所述实际推荐分数,对预设内容推荐模型中的参数、以及第一键记忆信息进行更新,得到训练后的内容推荐模型和更新后的第一键记忆信息。
可选地,本实施例中,步骤“根据所述目标样本对象特征和所述样本内容特征信息,确定所述样本推荐内容的实际推荐分数”,可以包括:
通过预设内容推荐模型,基于所述初始交互特征信息和第二键记忆信息,对第二值记忆信息进行更新,得到更新后的第二值记忆信息;
基于第二键记忆信息和更新后的第二值记忆信息,对所述样本内容特征信息进行与对象之间的交互处理,得到所述样本内容特征信息对应的交互信息;
基于所述样本内容特征信息和所述样本内容特征信息对应的交互信息,确定所述样本推荐内容的目标样本内容特征;
根据所述目标样本对象特征和所述目标样本内容特征,确定所述样本推荐内容的实际推荐分数;
步骤“基于所述期望推荐分数和所述实际推荐分数,对预设内容推荐模型中的参数、以及第一键记忆信息进行更新,得到训练后的内容推荐模型和更新后的第一键记忆信息”,可以包括:
基于所述期望推荐分数和所述实际推荐分数,对预设内容推荐模型中的参数、第一键记忆信息以及第二键记忆信息进行更新,得到训练后的内容推荐模型、更新后的第一键记忆信息、和更新后的第二键记忆信息。
其中,该训练过程是先计算出对于样本对象,样本推荐内容的实际推荐分数,然后,使用反向传播算法对预设内容推荐模型的参数、第一键记忆信息和第二键记忆信息进行调整;基于样本推荐内容的实际推荐分数和期望推荐分数,优化预设内容推荐模型的参数、第一键记忆信息和第二键记忆信息,使得样本推荐内容的实际推荐分数趋近于期望推荐分数,得到训练好的内容推荐模型、更新好的第一键记忆信息和更新好的第二键记忆信息。
需要说明的是,上述基于样本推荐内容的实际推荐分数和期望推荐分数对参数的优化,不涉及第一值记忆信息和第二值记忆信息。
本申请提出的基于键值记忆网络的双塔交互增强模型(即上述内容推荐模型),可以在原始双塔基础上为user塔(即对象塔网络)和item塔(即内容塔网络)都分别引入了一个键记忆网络和值记忆网络。与原始双塔模型相比,本申请提出的基于键值记忆网络的双塔交互增强模型主要新增了双塔特征交互模块(只用于训练阶段)、交互信息写入模块(只用于训练阶段)、交互信息读取模块(用于训练和推理阶段)及交互信息融合模块(用于训练和推理阶段),具体如图1c所示,为内容推荐模型的整体架构图。
以下将对上述模块进行具体的介绍。需要提出的是,以下介绍的双塔特征交互模块和交互信息写入模块仅发生在训练阶段(如图1c中的连接线均为灰色实线),而交互信息读取模块在训练和推理阶段均需使用(如图1c中的连接线为黑色实线)。
对于双塔特征交互模块,双塔特征交互模块使用user侧和item侧的特征作为输入,通过多层全连接网络(MLPs,多层感知器)建模双塔间特征的交互。具体结构如图1d所示,双塔特征交互模块可以对所述样本对象特征信息和所述样本内容特征信息进行交互处理,得到初始交互特征信息。
一些实施例中,步骤“对所述样本对象特征信息和所述样本内容特征信息进行交互处理,得到初始交互特征信息”,可以包括:
对所述样本对象特征信息和所述样本内容特征信息进行融合处理,得到融合后特征信息;
对所述融合后特征信息进行全连接处理,得到初始交互特征信息。
其中,这里的融合方式有多种,本实施例对此不作具体限制,比如该融合方式可以是拼接处理,也可以是加权运算等。
具体的,参考图1d,给定user侧的样本对象特征信息eu和item侧的样本内容特征信息ev,双塔特征交互模块可以先对这两个特征信息进行拼接,如式子(10)所示:
c0=Concat(eu,ev). (10)
其中,c0表示融合后特征信息,Concat函数可以用于拼接处理。然后,c0可以通过一个L层的全连接网络实现双塔之间特征的交互,每层全连接网络可以包括线性层(LinearLayer)和非线性激活函数(ReLU),对于第l层的交互计算过程如式子(11)所示:
其中,cl表示第l层的输出,ReLU是激活函数,W和b是权重矩阵和偏置向量;最终第L层的输出cL将作为初始交互特征信息,初始交互特征信息可用于后续的写记忆网络模块。需要说明的是,此处交互建模的方法并不局限于全连接网络,其他任何的交互建模网络(如DCN、CIN等)都可以用于代替这部分。
对于交互信息写入模块,交互信息写入模块可以用于对值记忆网络进行更新,该更新过程的目的为使得双塔交互信息存储到键值记忆网络中,以便于后续读取使用。
具体地,交互信息写入模块可以基于所述初始交互特征信息和第一键记忆信息,对第一值记忆信息进行更新,得到更新后的第一值记忆信息;交互信息写入模块还可以基于所述初始交互特征信息和第二键记忆信息,对第二值记忆信息进行更新,得到更新后的第二值记忆信息。
可选地,本实施例中,步骤“基于所述初始交互特征信息和第一键记忆信息,对第一值记忆信息进行更新,得到更新后的第一值记忆信息”,可以包括:
对所述初始交互特征信息进行逻辑回归处理,得到所述初始交互特征信息对应的记忆擦除向量和增加向量;
基于所述样本对象特征信息,对第一键记忆信息进行权重查询操作,得到第一写入权重信息;
根据所述第一写入权重信息、所述记忆擦除向量和所述增加向量,对第一值记忆信息进行更新,得到更新后的第一值记忆信息。
其中,可以使用Sigmoid函数对初始交互特征信息进行逻辑回归处理,得到记忆擦除向量,使用Tanh函数对初始交互特征信息进行逻辑回归处理,得到增加向量。
其中,Sigmoid函数,即S型生长曲线,它可以用作神经网络中的激活函数(Activation Function)或逻辑回归处理中,将变量映射到零到一的数值范围。Tanh函数,即双曲正切,该函数可以用于深度学习领域的神经网络中作为激活函数使用。
其中,记忆擦除向量和增加向量可以用于控制第一值记忆信息的更新。由于记忆网络的空间是有限的,若一直向记忆网络写入信息,而不进行擦除,则可能导致其存储空间不够,因此,可以通过记忆擦除向量来擦除记忆网络中部分没用的信息。增加向量可以用于向记忆网络增加所要记忆的信息。
本实施例中,可以根据新的输入(即初始交互特征信息和样本对象特征信息)来更新第一值记忆网络中记忆的信息。
可选地,本实施例中,步骤“基于所述样本对象特征信息,对第一键记忆信息进行权重查询操作,得到第一写入权重信息”,可以包括:
对所述样本对象特征信息进行特征映射处理,得到所述样本对象特征信息对应的写入查询向量;
基于所述写入查询向量,对第一键记忆信息进行权重查询操作,得到第一写入权重信息。
其中,对样本对象特征信息的特征映射处理,具体可以是对样本对象特征信息的全连接处理,从而可以得到样本对象特征信息对应的写入查询向量。然后,可以基于写入查询向量和user键记忆网络记忆中的键的键向量表示(也即第一键记忆信息)之间的比较来生成与第一键记忆信息相关联的相关性度量(也即第一写入权重信息)。
具体地,所述第一键记忆信息包括至少一个第一键记忆子信息;
步骤“基于所述写入查询向量,对第一键记忆信息进行权重查询操作,得到第一写入权重信息“,可以包括:
计算所述写入查询向量和各个第一键记忆子信息之间的相似度;
基于所述相似度,确定各个第一键记忆子信息对应的写入子权重信息,以获取第一写入权重信息。
其中,可以将第一键记忆子信息与写入查询向量之间的相似度作为第一键记忆子信息对应的写入子权重信息。
其中,步骤“根据所述第一写入权重信息、所述记忆擦除向量和所述增加向量,对第一值记忆信息进行更新,得到更新后的第一值记忆信息”,可以包括:
将所述第一写入权重信息和所述记忆擦除向量进行融合,得到擦除信息;
将所述第一写入权重信息和所述增加向量进行融合,得到增加信息;
基于所述擦除信息和所述增加信息,对第一值记忆信息进行更新,得到更新后的第一值记忆信息。
其中,第一写入权重信息即相关性权重。将第一写入权重信息与记忆擦除向量进行融合,具体可以是将相关性权重和记忆擦除向量相乘,这样可以得到对第一值记忆信息的清除程度,即擦除信息。将第一写入权重信息和增加向量进行融合,具体可以是将相关性权重和增加向量相乘,可以得到清除后的第一值记忆信息应该增加的表示向量,即增加信息。可以理解的是,也可以采用其他融合方式,本实施例对此不作限制。
其中,对第一值记忆信息的更新,具体可以是在原来第一值记忆信息的基础上,减去擦除信息,再添加增加信息,即可得到更新后的第一值记忆信息。
可选地,本实施例中,步骤“基于所述初始交互特征信息和第二键记忆信息,对第二值记忆信息进行更新,得到更新后的第二值记忆信息”,可以包括:
对所述初始交互特征信息进行逻辑回归处理,得到所述初始交互特征信息对应的记忆擦除向量和增加向量;
基于所述样本内容特征信息,对第二键记忆信息进行权重查询操作,得到第二写入权重信息;
根据所述第二写入权重信息、所述记忆擦除向量和所述增加向量,对第二值记忆信息进行更新,得到更新后的第二值记忆信息。
其中,可以使用Sigmoid函数对初始交互特征信息进行逻辑回归处理,得到记忆擦除向量,使用Tanh函数对初始交互特征信息进行逻辑回归处理,得到增加向量。
其中,记忆擦除向量和增加向量可以用于控制第二值记忆信息的更新。由于记忆网络的空间是有限的,若一直向记忆网络写入信息,而不进行擦除,则可能导致其存储空间不够,因此,可以通过记忆擦除向量来擦除记忆网络中部分没用的信息。增加向量可以用于向记忆网络增加所要记忆的信息。
其中,本实施例可以根据新的输入(即初始交互特征信息和样本内容特征信息)来更新第二值记忆网络中记忆的信息。
可选地,本实施例中,步骤“基于所述样本内容特征信息,对第二键记忆信息进行权重查询操作,得到第二写入权重信息”,可以包括:
对所述样本内容特征信息进行特征映射处理,得到所述样本内容特征信息对应的写入查询向量;
基于所述写入查询向量,对第二键记忆信息进行权重查询操作,得到第二写入权重信息。
其中,对样本内容特征信息的特征映射处理,具体可以是对样本内容特征信息的全连接处理,从而可以得到样本内容特征信息对应的写入查询向量。然后,可以基于写入查询向量和item键记忆网络记忆中的键的键向量表示(也即第二键记忆信息)之间的比较来生成与第二键记忆信息相关联的相关性度量(也即第二写入权重信息)。
具体地,所述第二键记忆信息包括至少一个第二键记忆子信息;
步骤“基于所述写入查询向量,对第二键记忆信息进行权重查询操作,得到第二写入权重信息“,可以包括:
计算所述写入查询向量和各个第二键记忆子信息之间的相似度;
基于所述相似度,确定各个第二键记忆子信息对应的写入子权重信息,以获取第二写入权重信息。
其中,可以将第二键记忆子信息与写入查询向量之间的相似度作为第二键记忆子信息对应的写入子权重信息。
其中,步骤“根据所述第二写入权重信息、所述记忆擦除向量和所述增加向量,对第二值记忆信息进行更新,得到更新后的第二值记忆信息”,可以包括:
将所述第二写入权重信息和所述记忆擦除向量进行融合,得到擦除信息;
将所述第二写入权重信息和所述增加向量进行融合,得到增加信息;
基于所述擦除信息和所述增加信息,对第二值记忆信息进行更新,得到更新后的第二值记忆信息。
其中,第二写入权重信息即相关性权重。将第二写入权重信息与记忆擦除向量进行融合,具体可以是将相关性权重和记忆擦除向量相乘,这样可以得到对第二值记忆信息的清除程度,即擦除信息。将第二写入权重信息和增加向量进行融合,具体可以是将相关性权重和增加向量相乘,可以得到清除后的第二值记忆信息应该增加的表示向量,即增加信息。可以理解的是,也可以采用其他融合方式,本实施例对此不作限制。
其中,对第二值记忆信息的更新,具体可以是在原来第二值记忆信息的基础上,减去擦除信息,再添加增加信息,即可得到更新后的第二值记忆信息。
具体地,在获得双塔特征交互结果cL(即初始交互特征信息)之后,交互信息写入模块将为user塔和item塔分别产出记忆擦除向量和增加向量,具体过程如式子(12)、式子(13)、式子(14)和式子(15)所示:
其中,eraseu表示用于更新第一值记忆信息的记忆擦除向量,addu表示用于更新第一值记忆信息的增加向量;erasev表示用于更新第二值记忆信息的记忆擦除向量,addv表示用于更新第二值记忆信息的增加向量,其余W和b表示可训练参数。
此外,交互信息写入模块还可以将user侧的样本对象特征信息eu和item侧的样本内容特征信息ev,通过全连接网络为user塔和item塔各自得到写入查询向量,具体计算过程如式子(16)和式子(17)所示:
其中,表示样本对象特征信息对应的写入查询向量;/>表示样本内容特征信息对应的写入查询向量,W和b表示可训练参数。
在获得写入查询向量后,将分别对第一键记忆网络和第二键记忆网络进行寻址,从而得到写权重(包括第一写入权重信息和第二写入权重信息),具体过程如式子(18)和式子(19)所示:
其中,表示第一写入权重信息,/>表示第二写入权重信息,/>表示第一键记忆信息,/>表示第二键记忆信息。
在获得写权重之后,将与上述的记忆擦除向量及记忆增加向量共同对相应的值记忆网络进行更新,具体过程如式子(20)和式子(21)所示:
/>
其中,表示第一值记忆信息,/>表示第二值记忆信息。
对于交互信息读取模块,交互信息读取模块可以用于读取键值记忆网络中存储的交互信息,它在训练阶段和推理阶段均有涉及到。
在训练阶段中,交互信息读取模块可以基于第一键记忆信息和更新后的第一值记忆信息,对所述样本对象特征信息进行与内容之间的交互处理,得到所述样本对象特征信息对应的交互信息;交互信息读取模块还可以基于第二键记忆信息和更新后的第二值记忆信息,对所述样本内容特征信息进行与对象之间的交互处理,得到所述样本内容特征信息对应的交互信息。
在推理阶段中,交互信息读取模块可以基于所述第一键记忆信息和所述第一值记忆信息,对所述对象特征信息进行与内容之间的交互处理,得到所述对象特征信息对应的交互信息;交互信息读取模块还可以基于所述第二键记忆信息和所述第二值记忆信息,对所述内容特征信息进行与对象之间的交互处理,得到所述内容特征信息对应的交互信息。交互信息读取模块在推理阶段中的交互作用可参考前面实施例中的描述,此处不再赘述。
在训练阶段中,交互信息读取模块可将user侧的样本对象特征信息eu和item侧的样本内容特征信息ev,通过全连接网络为user塔和item塔各自得到读取查询向量,具体计算过程可利用式子(1)和式子(6)。在获得读取查询向量后,将对键记忆网络进行寻址,从而得到读取权重信息,具体过程可利用式子(2)和式子(7)进行第一样本读取权重信息和第二样本读取权重信息的获取。在获得读取权重信息之后,将与值记忆网络进行加权求和计算,得到最终记忆读取结构,具体如利用式子(3)和式子(8)来计算得到样本对象特征信息对应的交互信息和样本内容特征信息对应的交互信息。
可选地,步骤“基于第一键记忆信息和更新后的第一值记忆信息,对所述样本对象特征信息进行与内容之间的交互处理,得到所述样本对象特征信息对应的交互信息”,可以包括:
对所述样本对象的样本对象特征信息进行特征映射,得到所述样本对象特征信息对应的读取查询向量;
基于所述读取查询向量,对所述第一键记忆信息进行权重查询操作,得到第一样本读取权重信息;
根据所述第一样本读取权重信息,对更新后的第一值记忆信息进行读取处理,得到所述样本对象特征信息对应的交互信息。
其中,对样本对象特征信息的特征映射处理具体可以为对样本对象特征信息的全连接处理。
可选地,所述第一键记忆信息包括至少一个第一键记忆子信息,所述第一值记忆信息包括各个第一键记忆子信息关联的第一值记忆子信息;
步骤“基于所述读取查询向量,对所述第一键记忆信息进行权重查询操作,得到第一样本读取权重信息“,可以包括:
计算所述读取查询向量和各个第一键记忆子信息之间的相似度;
基于所述相似度,确定第一样本读取权重信息,所述第一样本读取权重信息包括各个第一键记忆子信息对应的样本读取子权重信息;
步骤“根据所述第一样本读取权重信息,对更新后的第一值记忆信息进行读取处理,得到所述样本对象特征信息对应的交互信息“,可以包括:
基于各个第一键记忆子信息对应的样本读取子权重信息,对各个第一值记忆子信息进行融合处理,得到所述样本对象特征信息对应的交互信息。
可选地,步骤“基于第二键记忆信息和更新后的第二值记忆信息,对所述样本内容特征信息进行与对象之间的交互处理,得到所述样本内容特征信息对应的交互信息”,可以包括:
对所述样本推荐内容的样本内容特征信息进行特征映射处理,得到所述样本内容特征信息对应的读取查询向量;
基于所述读取查询向量,对第二键记忆信息进行权重查询操作,得到第二样本读取权重信息;
根据所述第二样本读取权重信息,对更新后的第二值记忆信息进行读取处理,得到所述样本内容特征信息对应的交互信息。
其中,对样本内容特征信息的特征映射处理具体可以为对样本内容特征信息的全连接处理。
可选地,所述第二键记忆信息包括至少一个第二键记忆子信息,所述第二值记忆信息包括各个第二键记忆子信息关联的第二值记忆子信息;
步骤“基于所述读取查询向量,对第二键记忆信息进行权重查询操作,得到第二样本读取权重信息“,可以包括:
计算所述读取查询向量和各个第二键记忆子信息之间的相似度;
基于所述相似度,确定第二样本读取权重信息,所述第二样本读取权重信息包括各个第二键记忆子信息对应的样本读取子权重信息;
步骤“根据所述第二样本读取权重信息,对更新后的第二值记忆信息进行读取处理,得到所述样本内容特征信息对应的交互信息”,可以包括:
基于各个第二键记忆子信息对应的样本读取子权重信息,对各个第二值记忆子信息进行融合处理,得到所述样本内容特征信息对应的交互信息。
对于交互信息融合模块,参考图1c,在得到交互信息的读取结果后,可以将该结果与原生双塔模型全连接层(MLPs,即多层感知器)的输出hu和hv进行相加融合运算,具体如式子(4)和式子(9)所示,从而得到user塔和item塔的最终塔顶表示——样本对象的目标样本对象特征、和样本推荐内容的目标样本内容特征。
在得到最终的塔顶表示之后,将计算user塔表示与item塔表示之间的cosine相似度作为实际推荐分数,具体计算过程可以参考式子(5)。获得推荐分数之后,在模型训练阶段将使用该预测的实际推荐分数与真实推荐标签计算交叉熵损失,从而更新整体模型的待学习参数。
具体地,在推理阶段则直接通过user侧表示与item侧表示的向量近邻检索结果得到每个候选item的推荐分数。
本申请提出的基于键值记忆网络的双塔交互增强方案,包括训练时双塔交互建模、训练时交互信息写入、训练与推理时交互信息读取模块及交互信息融合等过程。与已有方法相比,本申请可以在仅引入少量训练计算开销,但几乎不影响已有双塔模型的推理的效率下,显著增强双塔推荐模型塔间的信息交互以提升模型效果。
具体地,本申请的基于键值记忆网络的双塔推荐方案可以应用于所有常见信息分发场景,例如搜索、推荐、广告等。一个典型的推荐***可分为召回、粗排、精排三个阶段,本申请提供方案可以直接应用于召回与粗排阶段,也可以通过简单改造适配精排阶段。
在一具体实施例中,在多个数据集上以及在不同的推荐场景下,包括粗排(pre-ranking),召回(recall)下对本申请提出的基于键值记忆网络的双塔交互增强方法进行了评估。此外,不仅在原生双塔下(DSSM)加入了提出的交互方法,也尝试了在已有的交互增强模型(如DAT、MVKE、IntTower)下加入提出的交互方法。具体地,可以使用AUC、HR等通用的评估指标对模型效果进行了评估。实验结果如图1e和图1f所示,实验结果中,下标带IMNet的表示加入了本申请提出的交互方法。
其中,图1e的表为粗排场景方案的结果,其数据集可以包括电影评分的数据集、购物推荐的数据集1以及购物推荐的数据集2,关于购物推荐的两个数据集可以来自不同的购物平台。*表示与不带IMNet的模型相比,显著性水平p值(p-value)小于0.05。LogLoss表示对数损失,最小化对数损失基本等价于最大化分类器的准确度。AUC(Area Under Curve)用于衡量排序能力,AUC值为ROC曲线(receiver operating characteristic curve,接收者操作特征曲线)下的面积,是一个概率值,越大越好。RelaImprAUC度量指标来衡量模型间AUC指标的相对提升情况。
图1f的表为召回情景的结果,其数据集可以包括电影评分的数据集、购物推荐的数据集、以及工业异常召回的数据集。*表示与没有IMNet的模型相比,显著性水平p值(p-value)小于0.05。在统计学上,如果P值小于0.05(并且大于0.01)则说明某件事情的发生至少有95%的把握。
在top-K(前K)推荐中,HR(Hit Ratio,命中率)是一种常用的衡量召回率的指标。HR@50针对的是top-50的推荐,HR@100针对的是top-100的推荐。LiftHR指标用来衡量模型间HR指标的相对提升情况。
通过图1e和图1f的实验结果可以明显看到,加入本文提出的方法后双塔模型效果有了明显的提升。
由上可知,本实施例可以获取目标对象的对象属性信息、以及至少一个候选内容;确定用于特征交互的第一特征记忆信息,所述第一特征记忆信息包括第一键记忆信息、以及与所述第一键记忆信息关联的第一值记忆信息,所述第一键记忆信息表征对象信息,所述第一值记忆信息表征所述第一键记忆信息与内容交互后的交互信息;对所述对象属性信息进行特征提取,得到所述目标对象的对象特征信息;基于所述第一键记忆信息和所述第一值记忆信息,对所述对象特征信息进行与内容之间的交互处理,得到所述对象特征信息对应的交互信息;基于所述对象特征信息和所述对象特征信息对应的交互信息,确定所述目标对象的目标对象特征;根据所述目标对象特征与各个候选内容的目标内容特征之间的匹配度,从所述候选内容中确定待推荐内容,以将所述待推荐内容推荐给所述目标对象。本申请可以通过第一特征记忆信息存储的内容与对象交互后的交互信息,来获取目标对象的对象特征信息对应的交互信息,对目标对象自身的对象特征信息进行了补充,从而结合对象特征信息和其交互信息进行内容推荐,提高了内容推荐的准确性。
根据前面实施例所描述的方法,以下将以该内容推荐装置具体集成在服务器举例作进一步详细说明。
本申请实施例提供一种内容推荐方法,如图2所示,该内容推荐方法的具体流程可以如下:
201、服务器获取目标对象的对象属性信息、以及至少一个候选内容。
其中,目标对象的对象属性信息可以包括至少一个维度上的属性子信息,比如可以包括目标对象的兴趣标签、所处地域等。
其中,候选内容的内容类型不限,比如候选内容可以是文本,也可以是音频,还可以是图像、视频等。
202、服务器确定用于特征交互的第一特征记忆信息,所述第一特征记忆信息包括第一键记忆信息、以及与所述第一键记忆信息关联的第一值记忆信息,所述第一键记忆信息表征对象信息,所述第一值记忆信息表征所述第一键记忆信息与内容交互后的交互信息。
其中,这里的第一特征记忆信息可以是训练学习得到的,第一特征记忆信息包括第一键记忆信息和第一值记忆信息。
在训练学习阶段开始前,第一特征记忆信息中的第一键记忆信息和第一值记忆信息可以是随机的数值矩阵,第一键记忆信息和第一值记忆信息不具有对应关系,即没有关联关系。通过训练学习阶段的参数更新,可以逐渐学习到第一键记忆信息和第一值记忆信息之间的对应关系,从而使得训练学习完成后的第一键记忆信息和第一值记忆信息具有关联性,这样即可得到用于实际应用的推理阶段的第一键记忆信息和第一值记忆信息。
具体地,第一特征记忆信息为user侧的键值记忆网络存储的信息,user侧的键值记忆网络可以看作user侧的交互信息的存储媒介,第一键记忆信息存储有对象信息,第一值记忆信息存储有对象信息与内容交互过的结果。
203、服务器确定用于特征交互的第二特征记忆信息,所述第二特征记忆信息包括第二键记忆信息、以及与所述第二键记忆信息关联的第二值记忆信息,所述第二键记忆信息表征内容信息,所述第二值记忆信息表征所述第二键记忆信息与对象交互后的交互信息。
其中,这里的第二特征记忆信息可以是训练学习得到的,第二特征记忆信息包括第二键记忆信息和第二值记忆信息。
在训练学习阶段开始前,第二特征记忆信息中的第二键记忆信息和第二值记忆信息可以是随机的数值矩阵,第二键记忆信息和第二值记忆信息不具有对应关系,即没有关联关系。通过训练学习阶段的参数更新,可以逐渐学习到第二键记忆信息和第二值记忆信息之间的对应关系,从而使得训练学习完成后的第二键记忆信息和第二值记忆信息具有关联性,这样即可得到用于实际应用的推理阶段的第二键记忆信息和第二值记忆信息。
具体地,第二特征记忆信息为item侧的键值记忆网络存储的信息,item侧的键值记忆网络可以看作item侧的交互信息的存储媒介,第二键记忆信息存储有内容信息,第二值记忆信息存储有内容信息与对象交互过的结果。
204、服务器对所述对象属性信息进行特征提取,得到所述目标对象的对象特征信息;基于所述第一键记忆信息和所述第一值记忆信息,对所述对象特征信息进行与内容之间的交互处理,得到所述对象特征信息对应的交互信息。
其中,第一键记忆信息可以视为key的集合,它可以包括至少一个键(key),每个key即为一个第一键记忆子信息。第一键记忆网络可以负责从记忆的各个键(key)中寻址,也即负责确定各个key与对象特征信息的相关程度。
而第一值记忆信息可以视为value的集合,它可以包括至少一个值(value),每个value即为一个第一值记忆子信息。第一值记忆网络可以负责根据各个key与对象特征信息的相关程度,从记忆的各个值(value)中读取信息,具体可以是对记忆的值进行加权求和得到输出。
本实施例中,对对象特征信息进行与内容之间的交互处理,可以分为两个阶段,分别是查询阶段(addressing)和读取阶段(reading)。查询阶段是基于key,读取阶段是基于value。
可选地,本实施例中,步骤“基于所述第一键记忆信息和所述第一值记忆信息,对所述对象特征信息进行与内容之间的交互处理,得到所述对象特征信息对应的交互信息”,可以包括:
对所述对象特征信息进行特征映射处理,得到所述对象特征信息对应的读取查询向量;
基于所述读取查询向量,对所述第一键记忆信息进行权重查询操作,得到第一读取权重信息;
根据所述第一读取权重信息,对所述第一值记忆信息进行读取处理,得到所述对象特征信息对应的交互信息。
可选地,本实施例中,所述第一键记忆信息包括至少一个第一键记忆子信息,所述第一值记忆信息包括各第一键记忆子信息关联的第一值记忆子信息;
步骤“基于所述读取查询向量,对所述第一键记忆信息进行权重查询操作,得到第一读取权重信息”,可以包括:
计算所述读取查询向量和各个第一键记忆子信息之间的相似度;
基于所述相似度,确定第一读取权重信息,所述第一读取权重信息包括各个第一键记忆子信息对应的读取子权重信息;
步骤“根据所述第一读取权重信息,对所述第一值记忆信息进行读取处理,得到所述对象特征信息对应的交互信息”,可以包括:
基于各个第一键记忆子信息对应的读取子权重信息,对各个第一值记忆子信息进行融合处理,得到所述对象特征信息对应的交互信息。
其中,可以将各第一键记忆子信息和读取查询向量之间的相似度,作为各第一键记忆子信息对应的读取子权重信息。
其中,对各个第一值记忆子信息进行融合处理,具体可以是基于各个第一键记忆子信息对应的读取子权重信息,对各第一键记忆子信息关联的第一值记忆子信息进行加权求和,来得到对象特征信息对应的交互信息。
205、服务器基于所述对象特征信息和所述对象特征信息对应的交互信息,确定所述目标对象的目标对象特征。
其中,具体地,可以将对象特征信息和对象特征信息对应的交互信息进行融合,来得到目标对象的目标对象特征。该融合方式有多种,比如,可以是拼接处理,也可以是相加操作、乘积操作、注意力计算等,本实施例对此不作限制。
206、服务器对所述候选内容进行特征提取,得到所述候选内容的内容特征信息;基于所述第二键记忆信息和所述第二值记忆信息,对所述内容特征信息进行与对象之间的交互处理,得到所述内容特征信息对应的交互信息。
其中,第二键记忆信息可以视为key的集合,它可以包括至少一个键(key),每个key即为一个第二键记忆子信息。第二键记忆网络可以负责从记忆的各个键(key)中寻址,也即负责确定各个key与内容特征信息的相关程度。
而第二值记忆信息可以视为value的集合,它可以包括至少一个值(value),每个value即为一个第二值记忆子信息。第二值记忆网络可以负责根据各个key与内容特征信息的相关程度,从记忆的各个值(value)中读取信息,具体可以是对记忆的值进行加权求和得到输出。
本实施例中,对内容特征信息进行与对象之间的交互处理,可以分为两个阶段,分别是查询阶段(addressing)和读取阶段(reading)。查询阶段是基于key,读取阶段是基于value。
可选地,本实施例中,步骤“基于所述第二键记忆信息和所述第二值记忆信息,对所述内容特征信息进行与对象之间的交互处理,得到所述内容特征信息对应的交互信息”,可以包括:
对所述内容特征信息进行特征映射处理,得到所述内容特征信息对应的读取查询向量;
基于所述读取查询向量,对所述第二键记忆信息进行权重查询操作,得到第二读取权重信息;
根据所述第二读取权重信息,对所述第二值记忆信息进行读取处理,得到所述内容特征信息对应的交互信息。
可选地,本实施例中,所述第二键记忆信息包括至少一个第二键记忆子信息,所述第二值记忆信息包括各第二键记忆子信息关联的第二值记忆子信息;
步骤“基于所述读取查询向量,对所述第二键记忆信息进行权重查询操作,得到第二读取权重信息”,可以包括:
计算所述读取查询向量和各个第二键记忆子信息之间的相似度;
基于所述相似度,确定第二读取权重信息,所述第二读取权重信息包括各个第二键记忆子信息对应的读取子权重信息;
步骤“根据所述第二读取权重信息,对所述第二值记忆信息进行读取处理,得到所述内容特征信息对应的交互信息“,可以包括:
基于各个第二键记忆子信息对应的读取子权重信息,对各个第二值记忆子信息进行融合处理,得到所述内容特征信息对应的交互信息。
其中,可以将各第二键记忆子信息和读取查询向量之间的相似度,作为各第二键记忆子信息对应的读取子权重信息。
其中,对各个第二值记忆子信息进行融合处理,具体可以是基于各个第二键记忆子信息对应的读取子权重信息,对各第二键记忆子信息关联的第二值记忆子信息进行加权求和,来得到内容特征信息对应的交互信息。
207、服务器基于所述内容特征信息和所述内容特征信息对应的交互信息,确定所述候选内容的目标内容特征。
具体地,步骤“基于所述内容特征信息和所述内容特征信息对应的交互信息,确定所述候选内容的目标内容特征”,可以包括:将内容特征信息和内容特征信息对应的交互信息进行融合,来得到候选内容的目标内容特征。该融合方式有多种,比如,可以是拼接处理,也可以是相加操作、乘积操作、注意力计算等,本实施例对此不作限制。
208、服务器根据所述目标对象特征与各个候选内容的目标内容特征之间的匹配度,从所述候选内容中确定待推荐内容,以将所述待推荐内容推荐给所述目标对象。
可选地,本实施例中,针对各候选内容,可以计算目标对象特征与所述候选内容的目标内容特征之间的向量距离,再基于向量距离确定匹配度,向量距离越大,匹配度越低;向量距离越小,匹配度越高。一些实施例中,可以将匹配度大于预设匹配度的候选内容确定为待推荐内容,预设匹配度可以根据实际情况设置;另一些实施例中,可以根据匹配度,对候选内容进行排序,如按照匹配度的大小由大到小进行排序,得到排序后候选内容,将排序后候选内容中的前n个候选内容确定为待推荐内容。
本实施例中,从候选内容中确定待推荐内容,可以采用近邻检索的方法。具体地,可以通过HNSW算法来进行待推荐内容的召回。HNSW算法,全称为Hierarchcal NavigableSmall World graphs,即“可导航小世界网络”算法,它是神经网络搜索领域基于图的算法。HNSW算法可以基于一定的方式对向量集构建一个近似小世界网络,然后对于查询向量(也即目标对象特征),随机选择初始点进行快速检索。
本申请提出的基于键值记忆网络的双塔交互模型,可以通过引入键值记忆网络来存储和记忆双塔之间特征的交互信息。该方法在训练阶段需要建模双塔之间的交互计算,将交互结果存储到键值记忆网络中,并更新相关网络参数。在推理阶段,各自塔仅需要读取各自的键值记忆网络即可获取得到相应的交互信息,具体地,在推理阶段读取键值记忆网络中存储的交互信息后与原有的塔顶向量做融合即可得到最终的user侧表示与item侧表示,从而通过user侧表示与item侧表示的向量近邻检索结果得到候选item的推荐分数,以基于推荐分数进行内容推荐。本申请的基于键值记忆网络的双塔交互模型,能够对模型的底层特征实现交互,从而不影响塔顶的近邻检索,能够提升双塔交互的效果。
由上可知,本实施例可以通过服务器获取目标对象的对象属性信息、以及至少一个候选内容;确定用于特征交互的第一特征记忆信息,所述第一特征记忆信息包括第一键记忆信息、以及与所述第一键记忆信息关联的第一值记忆信息,所述第一键记忆信息表征对象信息,所述第一值记忆信息表征所述第一键记忆信息与内容交互后的交互信息;确定用于特征交互的第二特征记忆信息,所述第二特征记忆信息包括第二键记忆信息、以及与所述第二键记忆信息关联的第二值记忆信息,所述第二键记忆信息表征内容信息,所述第二值记忆信息表征所述第二键记忆信息与对象交互后的交互信息;对所述对象属性信息进行特征提取,得到所述目标对象的对象特征信息;基于所述第一键记忆信息和所述第一值记忆信息,对所述对象特征信息进行与内容之间的交互处理,得到所述对象特征信息对应的交互信息;基于所述对象特征信息和所述对象特征信息对应的交互信息,确定所述目标对象的目标对象特征;对所述候选内容进行特征提取,得到所述候选内容的内容特征信息;基于所述第二键记忆信息和所述第二值记忆信息,对所述内容特征信息进行与对象之间的交互处理,得到所述内容特征信息对应的交互信息;基于所述内容特征信息和所述内容特征信息对应的交互信息,确定所述候选内容的目标内容特征。根据所述目标对象特征与各个候选内容的目标内容特征之间的匹配度,从所述候选内容中确定待推荐内容,以将所述待推荐内容推荐给所述目标对象。
本申请可以通过第一特征记忆信息和第二特征记忆信息存储的内容与对象交互后的交互信息,来获取目标对象的对象特征信息对应的交互信息、以及候选内容的内容特征信息对应的交互信息,这样分别对目标对象自身的对象特征信息、和候选内容自身的内容特征信息进行了补充,从而结合交互信息进行内容推荐,提高了内容推荐的准确性。
为了更好地实施以上方法,本申请实施例还提供一种内容推荐装置,如图3所示,该内容推荐装置可以包括获取单元301、确定单元302、提取单元303、交互单元304、特征确定单元305以及推荐单元306,如下:
(1)获取单元301;
获取单元,用于获取目标对象的对象属性信息、以及至少一个候选内容。
(2)确定单元302;
确定单元,用于确定用于特征交互的第一特征记忆信息,所述第一特征记忆信息包括第一键记忆信息、以及与所述第一键记忆信息关联的第一值记忆信息,所述第一键记忆信息表征对象信息,所述第一值记忆信息表征所述第一键记忆信息与内容交互后的交互信息。
(3)提取单元303;
提取单元,用于对所述对象属性信息进行特征提取,得到所述目标对象的对象特征信息。
(4)交互单元304;
交互单元,用于基于所述第一键记忆信息和所述第一值记忆信息,对所述对象特征信息进行与内容之间的交互处理,得到所述对象特征信息对应的交互信息。
可选的,在本申请的一些实施例中,所述交互单元可以包括第一特征映射子单元、第一权重查询子单元和第一读取子单元,如下:
所述第一特征映射子单元,用于对所述对象特征信息进行特征映射处理,得到所述对象特征信息对应的读取查询向量;
第一权重查询子单元,用于基于所述读取查询向量,对所述第一键记忆信息进行权重查询操作,得到第一读取权重信息;
第一读取子单元,用于根据所述第一读取权重信息,对所述第一值记忆信息进行读取处理,得到所述对象特征信息对应的交互信息。
可选的,在本申请的一些实施例中,所述第一键记忆信息包括至少一个第一键记忆子信息,所述第一值记忆信息包括各第一键记忆子信息关联的第一值记忆子信息;
所述第一权重查询子单元具体可以用于计算所述读取查询向量和各个第一键记忆子信息之间的相似度;基于所述相似度,确定第一读取权重信息,所述第一读取权重信息包括各个第一键记忆子信息对应的读取子权重信息;
所述第一读取子单元具体可以用于基于各个第一键记忆子信息对应的读取子权重信息,对各个第一值记忆子信息进行融合处理,得到所述对象特征信息对应的交互信息。
(5)特征确定单元305;
特征确定单元,用于基于所述对象特征信息和所述对象特征信息对应的交互信息,确定所述目标对象的目标对象特征。
可选的,在本申请的一些实施例中,所述内容推荐装置还可以包括内容特征提取单元、交互处理单元和内容特征确定单元,如下:
所述确定单元,还可以用于确定用于特征交互的第二特征记忆信息,所述第二特征记忆信息包括第二键记忆信息、以及与所述第二键记忆信息关联的第二值记忆信息,所述第二键记忆信息表征内容信息,所述第二值记忆信息表征所述第二键记忆信息与对象交互后的交互信息;
所述内容特征提取单元,用于对所述候选内容进行特征提取,得到所述候选内容的内容特征信息;
交互处理单元,用于基于所述第二键记忆信息和所述第二值记忆信息,对所述内容特征信息进行与对象之间的交互处理,得到所述内容特征信息对应的交互信息;
内容特征确定单元,用于基于所述内容特征信息和所述内容特征信息对应的交互信息,确定所述候选内容的目标内容特征。
可选的,在本申请的一些实施例中,所述交互处理单元可以包括第二特征映射子单元、第二权重查询子单元和第二读取子单元,如下:
所述第二特征映射子单元,用于对所述内容特征信息进行特征映射处理,得到所述内容特征信息对应的读取查询向量;
第二权重查询子单元,用于基于所述读取查询向量,对所述第二键记忆信息进行权重查询操作,得到第二读取权重信息;
第二读取子单元,用于根据所述第二读取权重信息,对所述第二值记忆信息进行读取处理,得到所述内容特征信息对应的交互信息。
可选的,在本申请的一些实施例中,所述第二键记忆信息包括至少一个第二键记忆子信息,所述第二值记忆信息包括各第二键记忆子信息关联的第二值记忆子信息;
所述第二权重查询子单元具体可以用于计算所述读取查询向量和各个第二键记忆子信息之间的相似度;基于所述相似度,确定第二读取权重信息,所述第二读取权重信息包括各个第二键记忆子信息对应的读取子权重信息;
所述第二读取子单元具体可以用于基于各个第二键记忆子信息对应的读取子权重信息,对各个第二值记忆子信息进行融合处理,得到所述内容特征信息对应的交互信息。
(6)推荐单元306;
推荐单元,用于根据所述目标对象特征与各个候选内容的目标内容特征之间的匹配度,从所述候选内容中确定待推荐内容,以将所述待推荐内容推荐给所述目标对象。
可选的,在本申请的一些实施例中,所述确定单元具体可以用于通过内容推荐模型,确定用于特征交互的第一特征记忆信息;
所述提取单元具体可以用于通过所述内容推荐模型,对所述对象属性信息进行特征提取,得到所述目标对象的对象特征信息。
可选的,在本申请的一些实施例中,所述内容推荐装置还可以包括训练数据获取单元、特征提取单元、特征交互单元、记忆信息更新单元、对象特征确定单元和更新单元,如下:
所述训练数据获取单元,用于获取训练数据,所述训练数据包括样本对象、以及所述样本对象对应的样本推荐内容,所述样本推荐内容的标签信息表示针对所述样本对象,所述样本推荐内容的期望推荐分数;
特征提取单元,用于通过预设内容推荐模型,分别提取所述样本对象的样本对象特征信息、以及所述样本推荐内容的样本内容特征信息;
特征交互单元,用于对所述样本对象特征信息和所述样本内容特征信息进行交互处理,得到初始交互特征信息;
记忆信息更新单元,用于基于所述初始交互特征信息和第一键记忆信息,对第一值记忆信息进行更新,得到更新后的第一值记忆信息;并基于第一键记忆信息和更新后的第一值记忆信息,对所述样本对象特征信息进行与内容之间的交互处理,得到所述样本对象特征信息对应的交互信息;
对象特征确定单元,用于根据所述样本对象特征信息和所述样本对象特征信息对应的交互信息,确定所述样本对象的目标样本对象特征;
更新单元,用于根据所述目标样本对象特征和所述样本内容特征信息,确定所述样本推荐内容的实际推荐分数;并基于所述期望推荐分数和所述实际推荐分数,对预设内容推荐模型中的参数、以及第一键记忆信息进行更新,得到训练后的内容推荐模型和更新后的第一键记忆信息。
可选的,在本申请的一些实施例中,所述更新单元可以包括记忆信息更新子单元、交互处理子单元、样本内容特征确定子单元、分数确定子单元和更新子单元,如下:
所述记忆信息更新子单元,用于通过预设内容推荐模型,基于所述初始交互特征信息和第二键记忆信息,对第二值记忆信息进行更新,得到更新后的第二值记忆信息;
交互处理子单元,用于基于第二键记忆信息和更新后的第二值记忆信息,对所述样本内容特征信息进行与对象之间的交互处理,得到所述样本内容特征信息对应的交互信息;
样本内容特征确定子单元,用于基于所述样本内容特征信息和所述样本内容特征信息对应的交互信息,确定所述样本推荐内容的目标样本内容特征;
分数确定子单元,用于根据所述目标样本对象特征和所述目标样本内容特征,确定所述样本推荐内容的实际推荐分数;
更新子单元,用于基于所述期望推荐分数和所述实际推荐分数,对预设内容推荐模型中的参数、第一键记忆信息以及第二键记忆信息进行更新,得到训练后的内容推荐模型、更新后的第一键记忆信息、和更新后的第二键记忆信息。
可选的,在本申请的一些实施例中,步骤“基于所述初始交互特征信息和第一键记忆信息,对第一值记忆信息进行更新,得到更新后的第一值记忆信息”,可以包括:
对所述初始交互特征信息进行逻辑回归处理,得到所述初始交互特征信息对应的记忆擦除向量和增加向量;
基于所述样本对象特征信息,对第一键记忆信息进行权重查询操作,得到第一写入权重信息;
根据所述第一写入权重信息、所述记忆擦除向量和所述增加向量,对第一值记忆信息进行更新,得到更新后的第一值记忆信息。
可选的,在本申请的一些实施例中,步骤“基于所述样本对象特征信息,对第一键记忆信息进行权重查询操作,得到第一写入权重信息”,可以包括:
对所述样本对象特征信息进行特征映射处理,得到所述样本对象特征信息对应的写入查询向量;
基于所述写入查询向量,对第一键记忆信息进行权重查询操作,得到第一写入权重信息。
可选的,在本申请的一些实施例中,所述记忆信息更新子单元具体可以用于对所述初始交互特征信息进行逻辑回归处理,得到所述初始交互特征信息对应的记忆擦除向量和增加向量;基于所述样本内容特征信息,对第二键记忆信息进行权重查询操作,得到第二写入权重信息;根据所述第二写入权重信息、所述记忆擦除向量和所述增加向量,对第二值记忆信息进行更新,得到更新后的第二值记忆信息。
可选的,在本申请的一些实施例中,步骤“基于所述样本内容特征信息,对第二键记忆信息进行权重查询操作,得到第二写入权重信息”,可以包括:
对所述样本内容特征信息进行特征映射处理,得到所述样本内容特征信息对应的写入查询向量;
基于所述写入查询向量,对第二键记忆信息进行权重查询操作,得到第二写入权重信息。
由上可知,本实施例可以由获取单元301获取目标对象的对象属性信息、以及至少一个候选内容;由确定单元302确定用于特征交互的第一特征记忆信息,所述第一特征记忆信息包括第一键记忆信息、以及与所述第一键记忆信息关联的第一值记忆信息,所述第一键记忆信息表征对象信息,所述第一值记忆信息表征所述第一键记忆信息与内容交互后的交互信息;通过提取单元303对所述对象属性信息进行特征提取,得到所述目标对象的对象特征信息;通过交互单元304基于所述第一键记忆信息和所述第一值记忆信息,对所述对象特征信息进行与内容之间的交互处理,得到所述对象特征信息对应的交互信息;通过特征确定单元305基于所述对象特征信息和所述对象特征信息对应的交互信息,确定所述目标对象的目标对象特征;由推荐单元306根据所述目标对象特征与各个候选内容的目标内容特征之间的匹配度,从所述候选内容中确定待推荐内容,以将所述待推荐内容推荐给所述目标对象。本申请可以通过第一特征记忆信息存储的内容与对象交互后的交互信息,来获取目标对象的对象特征信息对应的交互信息,对目标对象自身的对象特征信息进行了补充,从而结合对象特征信息和其交互信息进行内容推荐,提高了内容推荐的准确性。
本申请实施例还提供一种电子设备,如图4所示,其示出了本申请实施例所涉及的电子设备的结构示意图,该电子设备可以是终端或者服务器等,具体来讲:
该电子设备可以包括一个或者一个以上处理核心的处理器401、一个或一个以上计算机可读存储介质的存储器402、电源403和输入单元404等部件。本领域技术人员可以理解,图4中示出的电子设备结构并不构成对电子设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。其中:
处理器401是该电子设备的控制中心,利用各种接口和线路连接整个电子设备的各个部分,通过运行或执行存储在存储器402内的软件程序和/或模块,以及调用存储在存储器402内的数据,执行电子设备的各种功能和处理数据。可选的,处理器401可包括一个或多个处理核心;优选的,处理器401可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作***、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器401中。
存储器402可用于存储软件程序以及模块,处理器401通过运行存储在存储器402的软件程序以及模块,从而执行各种功能应用以及数据处理。存储器402可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作***、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据电子设备的使用所创建的数据等。此外,存储器402可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地,存储器402还可以包括存储器控制器,以提供处理器401对存储器402的访问。
电子设备还包括给各个部件供电的电源403,优选的,电源403可以通过电源管理***与处理器401逻辑相连,从而通过电源管理***实现管理充电、放电、以及功耗管理等功能。电源403还可以包括一个或一个以上的直流或交流电源、再充电***、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
该电子设备还可包括输入单元404,该输入单元404可用于接收输入的数字或字符信息,以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。
尽管未示出,该电子设备还可以包括显示单元等,在此不再赘述。具体在本实施例中,电子设备中的处理器401会按照如下的指令,将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器402中,并由处理器401来运行存储在存储器402中的应用程序,从而实现各种功能,如下:
获取目标对象的对象属性信息、以及至少一个候选内容;确定用于特征交互的第一特征记忆信息,所述第一特征记忆信息包括第一键记忆信息、以及与所述第一键记忆信息关联的第一值记忆信息,所述第一键记忆信息表征对象信息,所述第一值记忆信息表征所述第一键记忆信息与内容交互后的交互信息;对所述对象属性信息进行特征提取,得到所述目标对象的对象特征信息;基于所述第一键记忆信息和所述第一值记忆信息,对所述对象特征信息进行与内容之间的交互处理,得到所述对象特征信息对应的交互信息;基于所述对象特征信息和所述对象特征信息对应的交互信息,确定所述目标对象的目标对象特征;根据所述目标对象特征与各个候选内容的目标内容特征之间的匹配度,从所述候选内容中确定待推荐内容,以将所述待推荐内容推荐给所述目标对象。
以上各个操作的具体实施可参见前面的实施例,在此不再赘述。
由上可知,本实施例可以获取目标对象的对象属性信息、以及至少一个候选内容;确定用于特征交互的第一特征记忆信息,所述第一特征记忆信息包括第一键记忆信息、以及与所述第一键记忆信息关联的第一值记忆信息,所述第一键记忆信息表征对象信息,所述第一值记忆信息表征所述第一键记忆信息与内容交互后的交互信息;对所述对象属性信息进行特征提取,得到所述目标对象的对象特征信息;基于所述第一键记忆信息和所述第一值记忆信息,对所述对象特征信息进行与内容之间的交互处理,得到所述对象特征信息对应的交互信息;基于所述对象特征信息和所述对象特征信息对应的交互信息,确定所述目标对象的目标对象特征;根据所述目标对象特征与各个候选内容的目标内容特征之间的匹配度,从所述候选内容中确定待推荐内容,以将所述待推荐内容推荐给所述目标对象。本申请可以通过第一特征记忆信息存储的内容与对象交互后的交互信息,来获取目标对象的对象特征信息对应的交互信息,对目标对象自身的对象特征信息进行了补充,从而结合对象特征信息和其交互信息进行内容推荐,提高了内容推荐的准确性。
本领域普通技术人员可以理解,上述实施例的各种方法中的全部或部分步骤可以通过指令来完成,或通过指令控制相关的硬件来完成,该指令可以存储于一计算机可读存储介质中,并由处理器进行加载和执行。
为此,本申请实施例提供一种计算机可读存储介质,其中存储有多条指令,该指令能够被处理器进行加载,以执行本申请实施例所提供的任一种内容推荐方法中的步骤。例如,该指令可以执行如下步骤:
获取目标对象的对象属性信息、以及至少一个候选内容;确定用于特征交互的第一特征记忆信息,所述第一特征记忆信息包括第一键记忆信息、以及与所述第一键记忆信息关联的第一值记忆信息,所述第一键记忆信息表征对象信息,所述第一值记忆信息表征所述第一键记忆信息与内容交互后的交互信息;对所述对象属性信息进行特征提取,得到所述目标对象的对象特征信息;基于所述第一键记忆信息和所述第一值记忆信息,对所述对象特征信息进行与内容之间的交互处理,得到所述对象特征信息对应的交互信息;基于所述对象特征信息和所述对象特征信息对应的交互信息,确定所述目标对象的目标对象特征;根据所述目标对象特征与各个候选内容的目标内容特征之间的匹配度,从所述候选内容中确定待推荐内容,以将所述待推荐内容推荐给所述目标对象。
以上各个操作的具体实施可参见前面的实施例,在此不再赘述。
其中,该计算机可读存储介质可以包括:只读存储器(ROM,Read Only Memory)、随机存取记忆体(RAM,Random Access Memory)、磁盘或光盘等。
由于该计算机可读存储介质中所存储的指令,可以执行本申请实施例所提供的任一种内容推荐方法中的步骤,因此,可以实现本申请实施例所提供的任一种内容推荐方法所能实现的有益效果,详见前面的实施例,在此不再赘述。
根据本申请的一个方面,提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述内容推荐方面的各种可选实现方式中提供的方法。
以上对本申请实施例所提供的一种内容推荐方法以及相关设备进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。

Claims (17)

1.一种内容推荐方法,其特征在于,包括:
获取目标对象的对象属性信息、以及至少一个候选内容;
确定用于特征交互的第一特征记忆信息,所述第一特征记忆信息包括第一键记忆信息、以及与所述第一键记忆信息关联的第一值记忆信息,所述第一键记忆信息表征对象信息,所述第一值记忆信息表征所述第一键记忆信息与内容交互后的交互信息;
对所述对象属性信息进行特征提取,得到所述目标对象的对象特征信息;
基于所述第一键记忆信息和所述第一值记忆信息,对所述对象特征信息进行与内容之间的交互处理,得到所述对象特征信息对应的交互信息;
基于所述对象特征信息和所述对象特征信息对应的交互信息,确定所述目标对象的目标对象特征;
根据所述目标对象特征与各个候选内容的目标内容特征之间的匹配度,从所述候选内容中确定待推荐内容,以将所述待推荐内容推荐给所述目标对象。
2.根据权利要求1所述的方法,其特征在于,所述根据所述目标对象特征与各个候选内容的目标内容特征之间的匹配度,从所述候选内容中确定待推荐内容之前,还包括:
确定用于特征交互的第二特征记忆信息,所述第二特征记忆信息包括第二键记忆信息、以及与所述第二键记忆信息关联的第二值记忆信息,所述第二键记忆信息表征内容信息,所述第二值记忆信息表征所述第二键记忆信息与对象交互后的交互信息;
对所述候选内容进行特征提取,得到所述候选内容的内容特征信息;
基于所述第二键记忆信息和所述第二值记忆信息,对所述内容特征信息进行与对象之间的交互处理,得到所述内容特征信息对应的交互信息;
基于所述内容特征信息和所述内容特征信息对应的交互信息,确定所述候选内容的目标内容特征。
3.根据权利要求1所述的方法,其特征在于,所述基于所述第一键记忆信息和所述第一值记忆信息,对所述对象特征信息进行与内容之间的交互处理,得到所述对象特征信息对应的交互信息,包括:
对所述对象特征信息进行特征映射处理,得到所述对象特征信息对应的读取查询向量;
基于所述读取查询向量,对所述第一键记忆信息进行权重查询操作,得到第一读取权重信息;
根据所述第一读取权重信息,对所述第一值记忆信息进行读取处理,得到所述对象特征信息对应的交互信息。
4.根据权利要求3所述的方法,其特征在于,所述第一键记忆信息包括至少一个第一键记忆子信息,所述第一值记忆信息包括各第一键记忆子信息关联的第一值记忆子信息;
所述基于所述读取查询向量,对所述第一键记忆信息进行权重查询操作,得到第一读取权重信息,包括:
计算所述读取查询向量和各个第一键记忆子信息之间的相似度;
基于所述相似度,确定第一读取权重信息,所述第一读取权重信息包括各个第一键记忆子信息对应的读取子权重信息;
所述根据所述第一读取权重信息,对所述第一值记忆信息进行读取处理,得到所述对象特征信息对应的交互信息,包括:
基于各个第一键记忆子信息对应的读取子权重信息,对各个第一值记忆子信息进行融合处理,得到所述对象特征信息对应的交互信息。
5.根据权利要求2所述的方法,其特征在于,所述基于所述第二键记忆信息和所述第二值记忆信息,对所述内容特征信息进行与对象之间的交互处理,得到所述内容特征信息对应的交互信息,包括:
对所述内容特征信息进行特征映射处理,得到所述内容特征信息对应的读取查询向量;
基于所述读取查询向量,对所述第二键记忆信息进行权重查询操作,得到第二读取权重信息;
根据所述第二读取权重信息,对所述第二值记忆信息进行读取处理,得到所述内容特征信息对应的交互信息。
6.根据权利要求5所述的方法,其特征在于,所述第二键记忆信息包括至少一个第二键记忆子信息,所述第二值记忆信息包括各第二键记忆子信息关联的第二值记忆子信息;
所述基于所述读取查询向量,对所述第二键记忆信息进行权重查询操作,得到第二读取权重信息,包括:
计算所述读取查询向量和各个第二键记忆子信息之间的相似度;
基于所述相似度,确定第二读取权重信息,所述第二读取权重信息包括各个第二键记忆子信息对应的读取子权重信息;
所述根据所述第二读取权重信息,对所述第二值记忆信息进行读取处理,得到所述内容特征信息对应的交互信息,包括:
基于各个第二键记忆子信息对应的读取子权重信息,对各个第二值记忆子信息进行融合处理,得到所述内容特征信息对应的交互信息。
7.根据权利要求2所述的方法,其特征在于,所述确定用于特征交互的第一特征记忆信息,包括:
通过内容推荐模型,确定用于特征交互的第一特征记忆信息;
所述对所述对象属性信息进行特征提取,得到所述目标对象的对象特征信息,包括:
通过所述内容推荐模型,对所述对象属性信息进行特征提取,得到所述目标对象的对象特征信息。
8.根据权利要求7所述的方法,其特征在于,所述通过内容推荐模型,确定用于特征交互的第一特征记忆信息之前,还包括:
获取训练数据,所述训练数据包括样本对象、以及所述样本对象对应的样本推荐内容,所述样本推荐内容的标签信息表示针对所述样本对象,所述样本推荐内容的期望推荐分数;
通过预设内容推荐模型,分别提取所述样本对象的样本对象特征信息、以及所述样本推荐内容的样本内容特征信息;
对所述样本对象特征信息和所述样本内容特征信息进行交互处理,得到初始交互特征信息;
基于所述初始交互特征信息和第一键记忆信息,对第一值记忆信息进行更新,得到更新后的第一值记忆信息;并基于第一键记忆信息和更新后的第一值记忆信息,对所述样本对象特征信息进行与内容之间的交互处理,得到所述样本对象特征信息对应的交互信息;
根据所述样本对象特征信息和所述样本对象特征信息对应的交互信息,确定所述样本对象的目标样本对象特征;
根据所述目标样本对象特征和所述样本内容特征信息,确定所述样本推荐内容的实际推荐分数;并基于所述期望推荐分数和所述实际推荐分数,对预设内容推荐模型中的参数、以及第一键记忆信息进行更新,得到训练后的内容推荐模型和更新后的第一键记忆信息。
9.根据权利要求8所述的方法,其特征在于,所述根据所述目标样本对象特征和所述样本内容特征信息,确定所述样本推荐内容的实际推荐分数,包括:
通过预设内容推荐模型,基于所述初始交互特征信息和第二键记忆信息,对第二值记忆信息进行更新,得到更新后的第二值记忆信息;
基于第二键记忆信息和更新后的第二值记忆信息,对所述样本内容特征信息进行与对象之间的交互处理,得到所述样本内容特征信息对应的交互信息;
基于所述样本内容特征信息和所述样本内容特征信息对应的交互信息,确定所述样本推荐内容的目标样本内容特征;
根据所述目标样本对象特征和所述目标样本内容特征,确定所述样本推荐内容的实际推荐分数;
所述基于所述期望推荐分数和所述实际推荐分数,对预设内容推荐模型中的参数、以及第一键记忆信息进行更新,得到训练后的内容推荐模型和更新后的第一键记忆信息,包括:
基于所述期望推荐分数和所述实际推荐分数,对预设内容推荐模型中的参数、第一键记忆信息以及第二键记忆信息进行更新,得到训练后的内容推荐模型、更新后的第一键记忆信息、和更新后的第二键记忆信息。
10.根据权利要求8所述的方法,其特征在于,所述基于所述初始交互特征信息和第一键记忆信息,对第一值记忆信息进行更新,得到更新后的第一值记忆信息,包括:
对所述初始交互特征信息进行逻辑回归处理,得到所述初始交互特征信息对应的记忆擦除向量和增加向量;
基于所述样本对象特征信息,对第一键记忆信息进行权重查询操作,得到第一写入权重信息;
根据所述第一写入权重信息、所述记忆擦除向量和所述增加向量,对第一值记忆信息进行更新,得到更新后的第一值记忆信息。
11.根据权利要求10所述的方法,其特征在于,所述基于所述样本对象特征信息,对第一键记忆信息进行权重查询操作,得到第一写入权重信息,包括:
对所述样本对象特征信息进行特征映射处理,得到所述样本对象特征信息对应的写入查询向量;
基于所述写入查询向量,对第一键记忆信息进行权重查询操作,得到第一写入权重信息。
12.根据权利要求9所述的方法,其特征在于,所述基于所述初始交互特征信息和第二键记忆信息,对第二值记忆信息进行更新,得到更新后的第二值记忆信息,包括:
对所述初始交互特征信息进行逻辑回归处理,得到所述初始交互特征信息对应的记忆擦除向量和增加向量;
基于所述样本内容特征信息,对第二键记忆信息进行权重查询操作,得到第二写入权重信息;
根据所述第二写入权重信息、所述记忆擦除向量和所述增加向量,对第二值记忆信息进行更新,得到更新后的第二值记忆信息。
13.根据权利要求12所述的方法,其特征在于,所述基于所述样本内容特征信息,对第二键记忆信息进行权重查询操作,得到第二写入权重信息,包括:
对所述样本内容特征信息进行特征映射处理,得到所述样本内容特征信息对应的写入查询向量;
基于所述写入查询向量,对第二键记忆信息进行权重查询操作,得到第二写入权重信息。
14.一种内容推荐装置,其特征在于,包括:
获取单元,用于获取目标对象的对象属性信息、以及至少一个候选内容;
确定单元,用于确定用于特征交互的第一特征记忆信息,所述第一特征记忆信息包括第一键记忆信息、以及与所述第一键记忆信息关联的第一值记忆信息,所述第一键记忆信息表征对象信息,所述第一值记忆信息表征所述第一键记忆信息与内容交互后的交互信息;
提取单元,用于对所述对象属性信息进行特征提取,得到所述目标对象的对象特征信息;
交互单元,用于基于所述第一键记忆信息和所述第一值记忆信息,对所述对象特征信息进行与内容之间的交互处理,得到所述对象特征信息对应的交互信息;
特征确定单元,用于基于所述对象特征信息和所述对象特征信息对应的交互信息,确定所述目标对象的目标对象特征;
推荐单元,用于根据所述目标对象特征与各个候选内容的目标内容特征之间的匹配度,从所述候选内容中确定待推荐内容,以将所述待推荐内容推荐给所述目标对象。
15.一种电子设备,其特征在于,包括存储器和处理器;所述存储器存储有应用程序,所述处理器用于运行所述存储器内的应用程序,以执行权利要求1至13任一项所述的内容推荐方法中的操作。
16.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有多条指令,所述指令适于处理器进行加载,以执行权利要求1至13任一项所述的内容推荐方法中的步骤。
17.一种计算机程序产品,包括计算机程序或指令,其特征在于,该计算机程序或指令被处理器执行时实现权利要求1至13任一项所述的内容推荐方法中的步骤。
CN202310493092.0A 2023-05-04 2023-05-04 内容推荐方法以及相关设备 Pending CN116975434A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310493092.0A CN116975434A (zh) 2023-05-04 2023-05-04 内容推荐方法以及相关设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310493092.0A CN116975434A (zh) 2023-05-04 2023-05-04 内容推荐方法以及相关设备

Publications (1)

Publication Number Publication Date
CN116975434A true CN116975434A (zh) 2023-10-31

Family

ID=88483906

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310493092.0A Pending CN116975434A (zh) 2023-05-04 2023-05-04 内容推荐方法以及相关设备

Country Status (1)

Country Link
CN (1) CN116975434A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117648495A (zh) * 2024-01-18 2024-03-05 卓世科技(海南)有限公司 一种基于云原生向量数据的数据推送方法及***

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117648495A (zh) * 2024-01-18 2024-03-05 卓世科技(海南)有限公司 一种基于云原生向量数据的数据推送方法及***
CN117648495B (zh) * 2024-01-18 2024-04-26 卓世科技(海南)有限公司 一种基于云原生向量数据的数据推送方法及***

Similar Documents

Publication Publication Date Title
CN112163165B (zh) 信息推荐方法、装置、设备及计算机可读存储介质
CN113392651B (zh) 训练词权重模型及提取核心词的方法、装置、设备和介质
CN109960749B (zh) 模型获取方法、关键词生成方法、装置、介质及计算设备
CN113869034B (zh) 基于强化依赖图的方面情感分类方法
CN114358657B (zh) 一种基于模型融合的岗位推荐方法及装置
CN113312925B (zh) 一种基于自强化学习的遥感影像文本生成及优化方法
CN113254716B (zh) 视频片段检索方法、装置、电子设备和可读存储介质
US20230385317A1 (en) Information Retrieval Method, Related System, and Storage Medium
WO2024067373A1 (zh) 一种数据处理方法及相关装置
CN113011172A (zh) 文本处理方法、装置、计算机设备和存储介质
CN114330703A (zh) 搜索模型的更新方法、装置、设备及计算机可读存储介质
CN116992151A (zh) 一种基于双塔图卷积神经网络的在线课程推荐方法
CN116975434A (zh) 内容推荐方法以及相关设备
CN116992008A (zh) 知识图谱多跳问答推理方法、装置和计算机设备
CN110502613A (zh) 一种模型训练方法、智能检索方法、装置和存储介质
CN114282528A (zh) 一种关键词提取方法、装置、设备及存储介质
CN116680481B (zh) 搜索排序方法、装置、设备、存储介质及计算机程序产品
WO2023174064A1 (zh) 自动搜索方法、自动搜索的性能预测模型训练方法及装置
CN112052386B (zh) 信息推荐方法、装置和存储介质
Liu POI recommendation model using multi-head attention in location-based social network big data
CN118094018B (zh) 一种增强的图对比学习推荐***方法、设备及存储介质
Wang et al. Research on Course Recommendation Algorithm Based on Knowledge Graph
CN117272130A (zh) 一种基于特征选择去偏的推荐***点击预测的方法
CN116204707A (zh) 一种优化的推荐算法
CN117271874A (zh) 推荐模型的训练方法、装置、设备、介质及程序产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication