CN112559879A - 兴趣模型训练方法、兴趣点推荐方法、装置和设备 - Google Patents

Abstract

本公开提供了一种兴趣模型训练方法、兴趣点推荐方法、装置和设备。本公开涉及数据处理技术领域，尤其涉及人工智能、深度学习和地图领域，具体方案包括：从历史行为数据中，获取历史兴趣点；利用历史兴趣点的词向量和场景需求的向量，训练建立兴趣模型。利用该兴趣模型确定的用户兴趣推荐兴趣点，可以满足用户个性化需求，提升用户体验和查找效率。

Description

兴趣模型训练方法、兴趣点推荐方法、装置和设备

技术领域

本公开涉及数据处理技术领域，尤其涉及深度学习等人工智能领域。

背景技术

随着社会的高速发展，地图作为出行类工具，用户使用的频率越来越高，越来越多用户通过地图的检索和发现周边，来寻找美食和景点等兴趣点。然而，现有的地图应用中，检索和发现周边的推荐结果是对兴趣点的热度和质量进行排序的固定结果。

发明内容

本公开提供了一种兴趣模型训练方法、兴趣点推荐方法、装置和设备。

根据本公开的一方面，提供了一种兴趣模型训练方法，包括：

从历史行为数据中，获取历史兴趣点；

利用历史兴趣点的词向量和场景需求的向量，训练兴趣模型。

根据本公开的另一方面，提供了一种兴趣点推荐方法，包括：

将历史行为数据输入至第一类兴趣模型，得到第一类兴趣信息；

将历史行为数据输入第二类兴趣模型，得到第二类兴趣信息，第二类兴趣模型是采用本公开的兴趣模型训练方法训练的；

基于场景需求、第一类兴趣信息和第二类兴趣信息进行召回和排序，得到推荐的兴趣点。

根据本公开的另一方面，提供了一种兴趣模型训练装置，包括：

历史兴趣点获取模块，用于从历史行为数据中，获取历史兴趣点；

兴趣模型训练模块，用于利用历史兴趣点的词向量和场景需求的向量，训练兴趣模型。

根据本公开的另一方面，提供了一种兴趣点推荐装置，包括：

第一类兴趣信息获取模块，用于将历史行为数据输入至第一类兴趣模型，得到第一类兴趣信息；

第二类兴趣信息获取模块，用于将历史行为数据输入第二类兴趣模型，得到第二类兴趣信息，第二类兴趣模型是兴趣模型训练装置训练的；

推荐兴趣点确定模块，用于基于场景需求、第一类兴趣信息和第二类兴趣信息进行召回和排序，得到推荐的兴趣点。

根据本公开的另一方面，提供了一种电子设备，包括：

至少一个处理器；以及

与该至少一个处理器通信连接的存储器；其中，

该存储器存储有可被该至少一个处理器执行的指令，该指令被该至少一个处理器执行，以使该至少一个处理器能够执行本公开任一实施例中的兴趣模型训练方法或兴趣点推荐方法。

根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，该计算机指令用于使计算机执行本公开任一实施例中的兴趣模型训练方法或兴趣点推荐方法。

根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现本公开任一实施例中的兴趣模型训练方法或兴趣点推荐方法。

根据本公开的技术，综合兴趣点的词向量和场景需求的向量训练兴趣模型，使得训练后的兴趣模型可以得到与场景需求匹配的用户兴趣向量。利用该兴趣向量召回兴趣点，可以推荐满足用户个性化需求的兴趣点，提升用户体验和查找效率。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1是本公开一实施例的兴趣模型训练方法的流程示意图意图；

图2是根据本公开另一实施例的兴趣模型训练方法的流程图；

图3是根据本公开一实施例的兴趣点推荐方法的流程图；

图4是根据本公开另一实施例的兴趣点推荐方法的流程图；

图5是根据本公开另一实施例的兴趣点推荐方法的流程图；

图6是根据本公开另一实施例中实现兴趣点推荐方法的***示意图；

图7是根据本公开另一实施例中完成训练的注意力序列到序列模型效果的示意图；

图8是根据本公开另一实施例中长期兴趣应用模块的应用示意图；

图9a是地图应用中检索框输入泛需求词的场景示例；

图9b是相关技术的检索框输入泛需求词场景的推荐结果示例图；

图10a是地图应用中点击发现周边的场景示例；

图10b是相关技术的点击发现周边的推荐结果示例图；

图11a是相关技术的推荐效果示例图一；

图11b是根据本公开实施例针对与图11a同一用户行为的推荐效果示例图二；

图12a是相关技术的推荐效果示例图三；

图12b是根据本公开实施例针对与图11a同一用户行为的推荐效果示例图四；

图13是根据本公开一实施例的兴趣模型训练装置的示意性框图；

图14是根据本公开一实施例的兴趣模型训练装置的示意性框图；

图15是根据本公开一实施例的兴趣点推荐装置的示意性框图；

图16是根据本公开一实施例的兴趣点推荐装置的示意性框图；

图17是用来实现本公开实施例的兴趣模型训练方法或兴趣点推荐方法的电子设备的框图。

具体实施方式

以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

图1是根据本公开一实施例的兴趣模型训练方法的流程示意图。该方法可以包括：

S11、从历史行为数据中，获取历史兴趣点。

S12、利用历史兴趣点的词向量和场景需求的向量，训练兴趣模型。

本公开实施例根据用户的各种历史行为，获取历史兴趣点，然后对应构建历史兴趣点的向量和场景需求的向量，对兴趣模型进行训练，训练后的兴趣模型能够用于生成用户的兴趣向量。由于历史兴趣点的向量训练兴趣模型，可以得到体现用户长期兴趣习惯的兴趣向量。而且，由于用户历史行为中包含各种类型的兴趣点，并非所有的兴趣点都与当前场景需求相匹配。因此，本公开实施例还综合兴趣点的词向量和场景需求的向量训练兴趣模型，使得训练后的兴趣模型可以得到与场景需求匹配的用户兴趣向量。利用该兴趣向量召回兴趣点，可以得到更加符合用户的场景需求的兴趣点，而不是千人一面的推荐结果。本公开实施例能够在理解用户长期兴趣习惯和当前需求的基础上，推荐尽可能满足用户个性化需求的兴趣点，以提升用户体验和查找效率。

另外，本公开实施例中，对于历史兴趣点和场景需求，均采用相应的词向量，作为兴趣模型的输入，并基于此得到兴趣向量，通过兴趣向量可以蕴含更加丰富的信息，而且，兴趣向量能更好地融入到召回模型中，提升训练效果。

在本公开实施例中，兴趣点(Point of Interest，POI)，在地理信息***中，可以包括各种标志物，例如地图应用中的房子、商铺、邮筒、公交站等。

示例性地，本公开实施例可以应用于地图应用的推荐兴趣点场景中，训练用于得到地图用户兴趣的兴趣模型，然后利用该用户兴趣召回地图的兴趣点。具体地，历史行为数据可以包括：从地图应用的日志数据中获取的用户与地图应用交互的各种行为数据。历史兴趣点可以包括：用户与地图应用交互行为所对应的兴趣点，例如检索、点击、导航等行为的兴趣点。场景需求可以包括：用户信息、位置信息(是否是家庭地址所在城市)、时间信息、天气信息等。该兴趣模型可以理解用户长期兴趣习惯以及场景需求，得到符合场景需求的用户兴趣向量，以利用该兴趣向量为用户推荐兴趣点。比如对于喜欢日料的用户，当用户使用地图应用检索美食或查找周边美食时，兴趣模型能够得到表征其喜欢日料的兴趣向量特征，从而为其推荐更多的日本料理。又比如对经常自驾出游的用户，当用户使用地图应用查找景点时，兴趣模型能够得到表征其喜欢自驾出游的兴趣向量特征，从而为推荐更多适合自驾出游的景点。

图2是根据本公开另一实施例的兴趣模型训练的流程图。该实施例的兴趣模型训练方法可以包括上述实施例的各步骤。在本实施例中，兴趣模型训练方法还可以包括：

S21、利用词向量工具对历史兴趣点进行处理，得到历史兴趣点的词向量。

示例性地，词向量工具可以采用word2vec。词向量工具能根据大量的用户历史行为序列，为兴趣点生成有明确语义的向量表达。这种语义主要体现在相似的兴趣点之间，其向量之间的相似度也较高。比如颐和园和圆明园之间的向量相似度较高。

由于词向量中可以包含多个维度，可以蕴含丰富地信息，可以更好地体现兴趣点的多维特征，从而更好地找到各个兴趣点之间的联系。还是以上述颐和园和圆明园为例，如果直接以文字进行呈现，不利于兴趣模型了解两者之间的相关性，而通过将其转换为词向量后，兴趣模型基于词向量的各个维度的数值，则可以很好地获取两者间的相关性。

在一种实施方式中，该兴趣模型训练方法的S12可以包括：

S22、在召回模型中加入注意力模块，注意力模块的输入包括场景需求的向量和历史兴趣点的词向量，注意力模块的输出包括场景需求与历史兴趣点的相关性权重；

S23、对加入注意力模块的召回模型进行端到端训练，得到兴趣模型。

具体地，在S22中，得到场景需求与历史兴趣点的相关性权重后，对用户历史行为序列中的多个历史兴趣点的词向量进行加权求和，得到兴趣向量。兴趣向量作为召回模型中兴趣模型的下游模块的输入，以使下游模块召回兴趣点。

具体地，在S23中，端到端训练召回模型，包括：将兴趣模型作为召回模型的一个模块，然后采用用户历史兴趣点的词向量和用户需求场景的向量，作为召回模型的输入，以用户期望兴趣点作为召回模型的输出的监督数据，训练召回模型。也就是说，整个召回模型的学习过程并不进行人为子问题划分，而是交由召回模型直接学习从原始数据到期望输出的映射。当召回模型完成训练时，也就完成了注意力模型的训练，基于完成训练的注意力模型，可以得到兴趣模型。

图3是根据本公开一实施例的一种兴趣点推荐方法的流程示意图。该方法可以包括：

S31、将历史行为数据输入至第一类兴趣模型，得到第一类兴趣信息。

S32、将历史行为数据输入第二类兴趣模型，得到第二类兴趣信息，第二类兴趣模型是采用本公开实施例的兴趣模型训练方法训练的。

S33、基于场景需求、第一类兴趣信息和第二类兴趣信息进行召回和排序，得到推荐的兴趣点。

本公开实施例中，分别通过第一类兴趣模型和第二类兴趣模型，得到不同类型的兴趣信息。例如，第一类兴趣信息可以包括具体的用户的兴趣点、兴趣标签(也可以称为兴趣类别)、品牌、出行习惯等信息之一，也就是说，第一类兴趣模型直接捕捉到了可解释到具体名称和类别的用户兴趣；第二类兴趣信息可以包括兴趣向量，也就是说，第二类兴趣模型将用户的兴趣隐式地体现在多维的向量表达里。第一类兴趣信息可以直观体现用户兴趣，而第二类兴趣信息则能蕴含了更加丰富的信息，而且能更好的融入到常用的基于神经网络的召回模型。基于这两者进行兴趣点的召回和排序，能够更好地理解用户，在地图的检索和推荐结果里，展现更多符合用户的兴趣点，提升用户体验和查找效率。

示例性地，本公开实施例可以训练用于地图应用。当用户进入发现周边等地图的检索或推荐场景时，请求兴趣服务获取用户的显式兴趣和隐式兴趣，针对这些兴趣对用户推荐不同的内容。比如对于喜欢日料的用户，当用户检索美食或查找周边美食时，推荐更多的日本料理。又比如对经常自驾出游的用户，当用户查找景点时，推荐更多适合自驾出游的景点。

在一种实施方式中，第一类兴趣模型是采用注意力模型训练得到的，注意力模型的训练样本包括：第一时间段内历史行为数据和第二时间段内历史行为数据，其中，第一时间段在第二时间段之前。

具体地，为了高效和准确地挖掘用户的显式兴趣，注意力模型可以采用注意力序列到序列(attention seq2seq)模型，建模用户的兴趣。注意力序列到序列模型是自然语言处理中一种常用的模型，典型的应用场景是语言翻译。这里应用这个模型来拟合用户的兴趣与用户的行为之间的关系。

示例性地，可以通过用户第一时间段(例如前60天)的行为历史，来拟合用户第二时间段(例如后20天)的行为。在大量的用户行为中，存在着一些兴趣规律。比如在前60天常去火锅和川菜的用户，在后20天又去了一次串串香。前60天里喜欢旅游，并且出行方式是自驾的用户，在后20天里去了一次适合自驾的景点。根据地图丰富的用户历史行为，可以构建出大量的这种输入序列和输出序列，并训练模型来捕捉这种规律。

基于上述思路，获取用户前60天的行为历史数据和用户后20天的行为历史数据。然后，基于用户前60天的行为历史数据和后20天的行为历史数据，构建历史行为序列，每个历史行为序列中包括多个兴趣点。将构建的历史行为序列数据作为注意力序列到序列的训练数据，其中，用户前60天的历史行为序列作为模型的输入数据，用户后20天的历史行为序列作为模型输出的监督数据。进一步的，还可以将训练数据中各个兴趣点转为对应的兴趣类别后再进行训练，例如。XX川菜馆对应的兴趣类别为川菜，这样训练后的模型可以输出用户的兴趣类别序列。

此外，注意力序列到序列模型序列通过注意力(attention)机制，从输入序列中寻找与输出序列有关联的内容，并据此推断出输出序列。注意力机制可以确定输入序列中各个兴趣类别和输出序列中各个兴趣类别的相关性，例如，以输入序列里包含了江浙菜，川菜，火锅三种类别，输出序列里包含了串串香为例子，江浙菜与串串香的关联性就很弱，而川菜与串串香的关系性就比较高，火锅与串串香间的关联性更高。注意力机制能够从相对无序的用户行为序列中自适应地提取有用的组合，从而有效提高了兴趣提取的准确率和效率。

在一种实施方式中，第一类兴趣模型为显式兴趣模型，第一类兴趣信息为显式兴趣信息。

第二类兴趣模型为隐式兴趣模型，第二类兴趣信息为隐式兴趣信息。

具体地，第一类兴趣模型可以直接捕捉到了可解释到具体名称和类别的用户兴趣；第一类兴趣信息可以包括具体的用户的兴趣点、兴趣标签(也可以称为兴趣类别)、品牌、出行习惯等信息之一，第一类兴趣信息可以直观体现用户兴趣。

具体地，第二类兴趣模型可以将用户的兴趣隐式地体现在多维的向量表达里；第二类兴趣信息可以包括兴趣向量。第二类兴趣信息则能蕴含了更加丰富的信息，而且能更好的融入到常用的基于神经网络的召回模型。

图4是根据本公开另一实施例的兴趣点推荐方法的流程图。该实施例的兴趣点推荐方法可以包括上述实施例的各步骤。在本实施例中，在S33中，基于场景需求、第一类兴趣信息和第二类兴趣信息进行召回和排序，得到推荐的兴趣点，包括：

S41、基于第一类兴趣模型输出的第一类兴趣信息进行召回，得到第一类兴趣点队列，第一类兴趣信息包括兴趣标签。

具体地，在S41中，首先，基于场景需求，匹配与场景需求对应的兴趣列表，兴趣列表中可以包括兴趣标签；然后，根据兴趣列表和第一兴趣信息，得到符合场景需求的第一类兴趣信息；然后在根据符合场景需求的第一类兴趣信息进行召回，得到第一类兴趣点队列。

S42、基于第二类兴趣模型输出的第二类兴趣信息进行召回，得到第二类兴趣点队列，第二类兴趣信息包括兴趣向量。

具体地，在S42中，由于第二类兴趣模型基于场景需求和用户历史行为数据，可以得到符合场景需求的兴趣向量，然后召回模型基于兴趣向量进行召回，得到第二类兴趣点队列。

S43、将第一类兴趣点队列和第二类兴趣点队列输入排序模型进行重新排序，得到推荐的兴趣点队列。

从显式兴趣(即兴趣标签)和隐式兴趣(兴趣向量)这两个维度的兴趣信息召回两个兴趣点队列，再结合两个兴趣点队列进行综合考虑和排序，再输出推荐兴趣点队列。集合了显式兴趣和隐式兴趣两者的优点，能够更好地理解用户兴趣习惯，为用户推荐更加符合需求的兴趣点。

在一种实施例方式中，第一类兴趣为显式兴趣，第二类兴趣为隐式兴趣，对应的，第一类兴趣模型为显式兴趣模型，第二类兴趣为隐式兴趣模型。

图5为一种兴趣挖掘应用场景的示例图。例如，可以对地图应用中的地图日志进行行为序列提取。基于提取的行为序列进行显式兴趣挖掘和隐式兴趣挖掘。显式兴趣挖掘可以与基于用户场景需求得到的匹配兴趣列表结合进行显式兴趣召回。隐式兴趣挖掘可以与基于用户场景需求得到的场景向量结合进行隐式兴趣召回。综合显式兴趣召回以及隐式兴趣挖掘进行排序可以进行兴趣推荐，得到推荐的兴趣点或兴趣点序列。

图6是实现该流程图的***，该***可以包括长期兴趣生成模块61和长期兴趣应用模块62。***的各个模块的说明如下：

长期兴趣生成模块61：

长期兴趣生成模块61用于根据用户长时间的行为日志(地图日志)提取规律性的行为，挖掘用户的显式兴趣(第一类兴趣信息)和隐式兴趣(第二类兴趣信息)。

长期兴趣生成模块61包括：显式兴趣挖掘模块611和隐式挖掘兴趣模块612。显式兴趣挖掘模块611的目标是挖掘直观可解释的兴趣，比如用户对菜系的偏好，对出游方式的偏好，对品牌的偏好等等。隐式兴趣挖掘模块612的目标则是将用户历史行为数据提炼为一个多维的兴趣向量，作为推荐***的召回模型的特征。

显式兴趣挖掘子模块611：

显式兴趣挖掘子模块611的目标是从用户历史行为中，捕捉可直观解释的兴趣。比如假设用户A历史上检索过的美食兴趣点中，有60％都是火锅，那可以推断出这个用户对火锅有明显的兴趣。再假设用户B多次通过导航驾车的方式前往景点，那么可以推断这个用户对自驾出游有所偏好。本实施例将这种可以明确到具体的兴趣点、兴趣标签和品牌之类的兴趣信息，称为显式兴趣。

为了高效和准确地挖掘用户的显式兴趣，显式兴趣挖掘子模块611采用注意力序列到序列(attention seq2seq)模型进行训练，得到显式兴趣模型(也可称为第一类兴趣模型)。注意力序列到序列模型是自然语言处理中一种常用的模型，典型的应用场景是语言翻译。采用该模型来拟合用户的兴趣与用户的行为之间的关系。

举例来说，可以通过用户前60天的行为历史，来拟合用户后20天的行为。在大量的用户行为中，存在着一些兴趣规律。比如在前60天常去火锅和川菜的用户，在后20天又去了一次串串香。前60天里喜欢旅游，并且出行方式是自驾的用户，在后20天里去了一次适合自驾的景点。根据地图丰富的用户历史行为，可以构建出大量的这种输入序列和输出序列，并训练模型来捕捉这种规律。

一个完成训练的注意力序列到序列模型效果的展示可如图7所示。如图7，输入序列(用户的历史行为)里包含了江浙菜，川菜，火锅三种类别，输出序列(用户的后续行为)里包含了串串香。注意力序列到序列模型通过注意力(attention)机制，从输入序列中寻找与输出序列有关联的内容，并据此推断出输出序列。图7中注意力层线条的粗细反应了输入输出之间的相关性。江浙菜与串串香的关联性就很弱，而川菜与串串的关系性就比较高，火锅与串串香间的关联性更高。注意力机制能够从相对无序的用户行为序列中自适应地提取有用的组合，从而有效提高了兴趣提取的准确率和效率。

而同样是捕捉用户显式兴趣，传统的做法是基于统计，即统计用户历史中对每种兴趣点类别，兴趣点品牌，出行方式等兴趣的交互次数，然后选择哪些次数超过预设阈值的内容作为用户的兴趣。这种统计的方式难以捕捉用户兴趣之间的交互性。比如一个同时有火锅和川菜两种偏好POI的用户，很大概率也会对串串香感兴趣，但统计却无法识别出这种兴趣的迁移。因此单纯的统计方法不能充分应用用户的应用，捕捉兴趣能力不强。

相比于传统做法，本实施例通过基于注意力序列到序列模型，能够从相对无序的用户行为序列中自适应地提取有用的组合，依据组合推断出输出序列，例如图7中识别出火锅和川菜这两种偏好的组合大概率也对串串香感兴趣，识别出这种兴趣的迁移，有效提高了兴趣提取的准确率和效率。

隐式兴趣挖掘模块612：

隐式兴趣挖掘模块612通过多维的向量表达隐式地体现用户兴趣。具体地，隐式兴趣挖掘模块612的目标是将用户的行为历史(POI A，POI B，POI C，POI D…)编码成一个兴趣向量。与显式兴趣相比，隐式兴趣(即兴趣向量)不仅蕴含了更加丰富的信息，而且能更好的融入到常用的基于神经网络的召回和排序模型，因为向量表达的兴趣可以直接作为输入特征添加到模型里。

隐式兴趣构建依托于推荐***的召回模型，通过向模型中添加用户行为历史，端到端地训练出用户的兴趣。整个过程分为如下结果步骤：

(a)用户行为序列构建：

根据用户在地图的各种行为，包括检索，点击，导航等，搜集用户交互过的POI，构建用户的历史行为序列。

(b)词向量构建：

用户的历史行为序列是由POI构成，如果希望将这些具体POI作为特征输入到模型，需要将其抽象为词向量。

利用词向量工具(比如word2vec)和用户的POI交互序列，生成每个POI的词向量。词向量工具能根据大量的用户行为序列，为POI生成有明确语义的向量表达。这种语义主要体现在相似的POI之间，其向量之间的相似度也较高，比如颐和园和圆明园之间的向量相似度就会比较高。

(c)兴趣特征建模：

用户在使用检索和发现周边时往往有着较为明确的目标，比如用户检索美食时是需要查找附近的美食，点击周边页面里的景点时是需要查找可以玩的景点。而用户历史行为中包含了各种类型的兴趣点，可能美食、景点、公司、小区等等。并不是所有的历史行为都与用户当前的需求相关，所以在建模兴趣时，需要建模用户当前需求于历史行为直接的关系。

这里采用的做法是在召回模型中加入用户需求场景于行为序列间的注意力模块。模块的输入分别是用户的需求场景向量和每个历史兴趣点的词向量，模块的输出是两者之间的相关性权重。根据注意力模块输出的权重对每个历史行为兴趣点进行加权求和，就得到了可以输入到下游的兴趣向量。

(d)端到端地训练召回模型。当整个召回模型收敛后，也就完成兴趣模型的生成。

长期兴趣应用模块62：

长期兴趣应用模块62，用于根据用户兴趣，确定推荐的召回排序结果。具体地，利用挖掘得到的用户显式兴趣和隐式兴趣，改变检索和周边返回的结果，使其能更好的满足用户的兴趣。

如图8所示，长期兴趣应用模块62可以实现下述应用内容：

第一种是显式兴趣的应用，具体的应用过程如下：

(a)根据当前的用户场景需求，从显式兴趣挖掘模块挖掘的显式兴趣中，筛选符合场景需求的显式兴趣。其中，显式兴趣与场景需求之间的匹配可以通过人工规则完成设定，利用该设定的人工规则完成筛选。

(b)根据筛选符合场景需求的显式兴趣，召回符合该兴趣的兴趣点。具体的召回方式，可以采用将该显式用户兴趣和用户位置输入相应的搜索引擎模块或模型中，得到兴趣点。比如对与偏好日料的用户召回附近更多寿司和居酒屋。例如图8显式兴趣服务确定的兴趣标签(tag)，可以召回相应的兴趣点(poi)队列。

(c)将各种兴趣的召回的内容，以及用户对每种兴趣的关注程度，传递给产品下游的排序模块，综合排序后输出队列展示给用户。

第二种是隐式兴趣的应用，具体的应用过程如下：

因为隐式兴趣的建模是依托于整个***的召回模型，并端到端地完成训练，所以实际的应用方式就是将用户历史行为作为特征输入到召回模型。然后，召回模型中的兴趣模型根据用户不同的需求，提取出与用户需求相匹配的兴趣向量，作为下游模块的输入特征，为用户返回个性化的兴趣点队列(即图8模型隐式个性化召回)。

本公开实施例可以应用于地图应用，例如，当用户在检索框输入泛需求词或点击发现周边时，可以确定推荐兴趣点列表。为更好地说明本公开实施例实现的技术效果，下述将结合图9至图12的应用场景进行说明。

图9a、图9b、图10a和图10b是相关技术的示例。具体地，图9a示出检索框输入泛需求词的场景示例，图9b示出相关技术中用户在检索框输入泛需求词后的推荐结果示例，相关技术给出的是固定检索结果列表。图10a示出点击发现周边的场景示例，图10b示出相关技术中用户点击发现周边后的推荐结果示例，相关技术给出的是固定周边结果列表。

可以看出，检索和发现周边的结果是对兴趣点的热度和质量进行排序的固定结果。检索和发现周边结果不能根据不同用户的兴趣不同而改变。比如同样进行美食检索或发现周边店铺，有的用户在之前的行为中表现出了对“日料”的喜好，而有的用户表现出了对“川菜”的喜好，此时再向两群用户展现相同的结果列表则无法满足用户的长期兴趣需求。比如常住北京的用户，在利用发现周边查找景点时，头部返回的结果还是故宫、颐和园等头部景点，不能满足本地用户的出游需求。

图11a和图11b，图12a和图12b是相关技术和本公开实施例针对同一用户行为的推荐效果比对图。从图11a和图11b的比对可以看出，与相关技术(图11a)相比，本公开实施例(图11b)识别出用户有日料的兴趣偏好时，结果列表展示更多日料。与相关技术(图12a)相比，本公开实施例(图12b)对于偏好自驾出游的用户，展现更多周边适合自驾的景点。

与相关技术相比，本公开实施例在理解用户上，能够识别用户的各种长期兴趣和习惯，比如用户的出行习惯，对兴趣类别，品牌，价格区间等偏好。在帮助用户方面，会为有着不同兴趣偏好的用户，修正用户查找兴趣点时地图的返回结果，使其更符合用户的兴趣需求。本公开实施例可以实现如下效果示例：比如一个偏好驾车出游的用户，在检索景点的返回列表里推荐更多城市周边适合自驾的兴趣点。比如一个家住上海的用户来北京旅游时，推荐如故宫等头部景点，而北京本地用户可能更推荐奥森公园等非头部景点。

图13是根据本公开一实施例的兴趣模型训练装置的框图。该装置可以包括：

历史兴趣点获取模块131，用于从历史行为数据中，获取历史兴趣点；

兴趣模型训练模块132，用于利用历史兴趣点的词向量和场景需求的向量，训练兴趣模型。

在一种实施方式中，如图14所示，兴趣模型训练装置还包括：

词向量获取模块141，用于利用词向量工具对历史兴趣点进行处理，得到历史兴趣点的词向量。

在一种实施方式中，兴趣模型训练模块132具体用于：

在召回模型中加入注意力模块，注意力模块的输入包括场景需求的向量和历史兴趣点的词向量，注意力模块的输出包括场景需求与历史兴趣点的相关性权重。

对加入注意力模块的召回模型进行端到端训练，得到兴趣模型。

图15是根据本公开一实施例的兴趣点推荐装置的框图。该装置可以包括：

第一类兴趣信息获取模块151，用于将历史行为数据输入至第一类兴趣模型，得到第一类兴趣信息。

第二类兴趣信息获取模块152，用于将历史行为数据输入第二类兴趣模型，得到第二类兴趣信息，第二类兴趣模型是采用本公开实施例的兴趣模型训练装置训练的。

推荐兴趣点确定模块153，用于基于场景需求、第一类兴趣信息和第二类兴趣信息进行召回和排序，得到推荐的兴趣点。

在一种实施方式中，第一类兴趣模型是采用注意力模型训练得到的，注意力模型的训练样本包括：第一时间段内历史行为数据和第二时间段内历史行为数据，其中，第一时间段在第二时间段之前。

在一种实施方式中，第一类兴趣模型为显式兴趣模型，第一类兴趣信息为显式兴趣信息；

第二类兴趣模型为隐式兴趣模型，第二类兴趣信息为隐式兴趣信息。

在一种实施方式中，如图16所示，推荐兴趣点确定模块，包括：

第一类兴趣点队列获取子模块161，用于基于第一类兴趣模型输出的第一类兴趣信息进行召回，得到第一类兴趣点队列，第一类兴趣信息包括兴趣标签。

第二类兴趣点队列获取子模块162，用于基于第二类兴趣模型输出的第二类兴趣信息进行召回，得到第二类兴趣点队列，第二类兴趣信息包括兴趣向量。

推荐兴趣点队列获取子模块163，用于将第一类兴趣点队列和第二类兴趣点队列输入排序模型进行重新排序，得到推荐的兴趣点队列。

本公开实施例各兴趣模型训练装置中的各单元、模块或子模块的功能可以参见上述兴趣模型训练方法中的对应描述，在此不再赘述。

根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。

图17示出了可以用来实施本公开的实施例的示例电子设备800的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或要求的本公开的实现。

如图17所示，设备800包括计算单元801，其可以根据存储在只读存储器(ROM)802中的计算机程序或者从存储单元808加载到随机访问存储器(RAM)803中的计算机程序来执行各种适当的动作和处理。在RAM803中，还可存储设备800操作所需的各种程序和数据。计算单元801、ROM 802以及RAM 803通过总线804彼此相连。输入输出(I/O)接口805也连接至总线804。

设备800中的多个部件连接至I/O接口805，包括：输入单元806，例如键盘、鼠标等；输出单元807，例如各种类型的显式器、扬声器等；存储单元808，例如磁盘、光盘等；以及通信单元809，例如网卡、调制解调器、无线通信收发机等。通信单元809允许设备800通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元801可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元801的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元801执行上文所描述的各个方法和处理，例如兴趣模型训练方法或兴趣点推荐方法。例如，在一些实施例中，兴趣模型训练方法或兴趣点推荐方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元808。在一些实施例中，计算机程序的部分或者全部可以经由ROM 802和/或通信单元809而被载入和/或安装到设备800上。当计算机程序加载到RAM 803并由计算单元801执行时，可以执行上文描述的兴趣模型训练方法或兴趣点推荐方法的一个或多个步骤。备选地，在其他实施例中，计算单元801可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行兴趣模型训练方法或兴趣点推荐方法。

本文中以上描述的***和技术的各种实施方式可以在数字电子电路***、集成电路***、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上***的***(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程***上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储***、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储***、该至少一个输入装置、和该至少一个输出装置。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行***、装置或设备使用或与指令执行***、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体***、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的***和技术，该计算机具有：用于向用户显式信息的显式装置(例如，CRT(阴极射线管)或者LCD(液晶显式器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入、或者触觉输入来接收来自用户的输入。

可以将此处描述的***和技术实施在包括后台部件的计算***(例如，作为数据服务器)、或者包括中间件部件的计算***(例如，应用服务器)、或者包括前端部件的计算***(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的***和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算***中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将***的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机***可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (17)

1.一种兴趣模型训练方法，包括：

从历史行为数据中，获取历史兴趣点；

利用历史兴趣点的词向量和场景需求的向量，训练兴趣模型。

2.根据权利要求1所述的方法，其中，所述方法还包括：

利用词向量工具对历史兴趣点进行处理，得到历史兴趣点的词向量。

3.根据权利要求1所述的方法，其中，利用历史兴趣点的词向量和场景需求的向量，训练兴趣模型，包括：

在召回模型中加入注意力模块，所述注意力模块的输入包括场景需求的向量和历史兴趣点的词向量，所述注意力模块的输出包括场景需求与历史兴趣点的相关性权重；

对加入注意力模块的召回模型进行端到端训练，得到兴趣模型。

4.一种兴趣点推荐方法，包括：

将历史行为数据输入至第一类兴趣模型，得到第一类兴趣信息；

将所述历史行为数据输入第二类兴趣模型，得到第二类兴趣信息，所述第二类兴趣模型是采用权利要求1至3中任一项所述的方法训练的；

基于场景需求、所述第一类兴趣信息和所述第二类兴趣信息进行召回和排序，得到推荐的兴趣点。

5.根据权利要求4所述的方法，其中，所述第一类兴趣模型是采用注意力模型训练得到的，所述注意力模型的训练样本包括：第一时间段内历史行为数据和第二时间段内历史行为数据，其中，所述第一时间段在所述第二时间段之前。

6.根据权利要求4所述的方法，其中，所述第一类兴趣模型为显式兴趣模型，所述第一类兴趣信息为显式兴趣信息；

所述第二类兴趣模型为隐式兴趣模型，所述第二类兴趣信息为隐式兴趣信息。

7.根据权利要求4所述的方法，其中，基于场景需求、所述第一类兴趣信息和所述第二类兴趣信息进行召回和排序，得到推荐的兴趣点，包括：

基于所述第一类兴趣模型输出的第一类兴趣信息进行召回，得到第一类兴趣点队列，所述第一类兴趣信息包括兴趣标签；

基于所述第二类兴趣模型输出的第二类兴趣信息进行召回，得到第二类兴趣点队列，所述第二类兴趣信息包括兴趣向量；

将所述第一类兴趣点队列和所述第二类兴趣点队列输入排序模型进行重新排序，得到推荐的兴趣点队列。

8.一种兴趣模型训练装置，包括：

历史兴趣点获取模块，用于从历史行为数据中，获取历史兴趣点；

兴趣模型训练模块，用于利用历史兴趣点的词向量和场景需求的向量，训练兴趣模型。

9.根据权利要求8所述的装置，其中，所述装置还包括：

词向量获取模块，用于利用词向量工具对历史兴趣点进行处理，得到历史兴趣点的词向量。

10.根据权利要求8所述的装置，其中，所述兴趣模型训练模块具体用于：

在召回模型中加入注意力模块，所述注意力模块的输入包括场景需求的向量和历史兴趣点的词向量，所述注意力模块的输出包括场景需求与历史兴趣点的相关性权重；

对加入注意力模块的召回模型进行端到端训练，得到兴趣模型。

11.一种兴趣点推荐装置，包括：

第一类兴趣信息获取模块，用于将历史行为数据输入至第一类兴趣模型，得到第一类兴趣信息；

第二类兴趣信息获取模块，用于将所述历史行为数据输入第二类兴趣模型，得到第二类兴趣信息，所述第二类兴趣模型是采用权利要求8至10中任一项所述的装置训练的；

推荐兴趣点确定模块，用于基于场景需求、所述第一类兴趣信息和所述第二类兴趣信息进行召回和排序，得到推荐的兴趣点。

12.根据权利要求11所述的装置，其中，所述第一类兴趣模型是采用注意力模型训练得到的，所述注意力模型的训练样本包括：第一时间段内历史行为数据和第二时间段内历史行为数据，其中，所述第一时间段在所述第二时间段之前。

13.根据权利要求11所述的装置，其中，所述第一类兴趣模型为显式兴趣模型，所述第一类兴趣信息为显式兴趣信息；

所述第二类兴趣模型为隐式兴趣模型，所述第二类兴趣信息为隐式兴趣信息。

14.根据权利要求11所述的装置，其中，所述推荐兴趣点确定模块，包括：

第一类兴趣点队列获取子模块，用于基于所述第一类兴趣模型输出的第一类兴趣信息进行召回，得到第一类兴趣点队列，所述第一类兴趣信息包括兴趣标签；

第二类兴趣点队列获取子模块，用于基于所述第二类兴趣模型输出的第二类兴趣信息进行召回，得到第二类兴趣点队列，所述第二类兴趣信息包括兴趣向量；

推荐兴趣点队列获取子模块，用于将所述第一类兴趣点队列和所述第二类兴趣点队列输入排序模型进行重新排序，得到推荐的兴趣点队列。

15.一种电子设备，其特征在于，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-7中任一项所述的方法。

16.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使计算机执行权利要求1-7中任一项所述的方法。

17.一种计算机程序产品，包括计算机程序，该计算机程序在被处理器执行时实现根据权利要求1-7中任一项所述的方法。

Images