CN110533515A - 一种高吞吐低延迟的电商个性化推荐方法及装置 - Google Patents

Abstract

本发明涉及一种高吞吐低延迟的电商个性化推荐方法及装置，方法包括：线下离线计算出用户的特征或特征向量与商品的匹配程度，并存储在数据库中；线上获取用户画像特征；根据用户画像特征从数据库中获取匹配的商品数据集，得到若干个商品候选集结果；依据合并策略合并上述若干个商品候选集结果，得到推荐结果；装置包括线上部分和线下部分。本发明方法基本无计算的部分，有效降低了模型计算带来的延迟，解决了高吞吐量复杂模型的高延迟问题，利于电商的个性化推荐和发展。

Description

一种高吞吐低延迟的电商个性化推荐方法及装置

技术领域

本专利申请属于电商购物技术领域，更具体地说，是涉及一种高吞吐低延迟的电商个性化推荐方法及装置。

背景技术

现有的大数据下的电商用户个性化推荐流程大致如下：获取用户画像特征；根据用户画像和对应的个性化推荐模型，从海量商品中获取与所述用户画像特征匹配的商品数据集进行推荐。此种过程在大量用户同时访问的高并发场景下，使用复杂模型进行在线计算具有非常高的延时，带来用户体验的下降，不利于用户粘度的维系。

发明内容

本发明需要解决的技术问题是提供一种高吞吐低延迟的电商个性化推荐方法及装置，可以有效提升***的吞吐量，并降低时延。

为了解决上述问题，本发明所采用的技术方案是：

一种高吞吐低延迟的电商个性化推荐方法，步骤为：

步骤1、线下离线计算出用户的特征或特征向量与商品的匹配程度，并存储在数据库中；

步骤2、线上获取用户画像特征；

步骤3、根据用户画像特征从数据库中获取匹配的商品数据集，得到若干个商品候选集结果；

步骤4、依据合并策略合并上述若干个商品候选集结果，得到推荐结果。

本发明技术方案的进一步改进在于：步骤1中线下离线计算过程为：

将用户的特征或特征向量全部抽象为数值a或b，a或b分别对应于用户是否匹配该特征或特征向量对应的商品集，对于a或b的取值通过下述方法实现：

(1)统计法，计算用户对某特征下商品购买的频率，通过设定的频率阀值进行判断，超过或等于设定的频率阀值，则判定为a，否则为b；比如一个用户经常购买美妆特征下的商品，则该用户对于美妆的特征为a。或者

(2)协同过滤法，计算各个特征之间的关联度，通过设定的关联度阀值来确定特征之间是否有关联，如果一个用户经确认其某一特征为a，则与该特征有关联的其他特征也为a；比如经常浏览/购买美妆商品的用户，也经常购买首饰特征的商品，那么如果一个用户多次购买美妆商品，那么该用户的首饰特征也为1；或者

(3)机器学习建模法，对用户特征、商品特征、环境特征进行联合建模，预测用户购买某特征下商品的概率，如果概率计算值大于设定的预测阀值，则对该特征取a，否则为b。

本发明技术方案的进一步改进在于：步骤1中按匹配程度从高到低的顺序将匹配程度存储在数据库中。

本发明技术方案的进一步改进在于：步骤1中，数值a和b分别取值为1和0，其中0表示不匹配，1表示匹配。

本发明技术方案的进一步改进在于：机器学习建模法采用基于CTR预估的模型，包括FM、FFM、GBDT+LR、Wide&Deep或DeepFM算法。这些算法的思路是将用户特征、商品特征和环境特征拼接成特征向量(X)，从历史数据中获得每个样本的标签y(转化或非转化)。然后利用监督式模型去学习X和y之间的联系。

本发明技术方案的进一步改进在于：步骤4中，合并策略包括特征更新时间策略或指标反馈类型策略。特征更新时间策略指的是按照特征更新的时间来排召回商品集的展示顺序，比如A策略更新时间比B策略的更接近当前时间，则A策略的实时性比B策略高。指标反馈类型策略是按照推荐结果分析指标来排召回商品集的展示顺序，具体的指标可以包括：转化率，点击率，营收额度等。

一种高吞吐低延迟的电商个性化推荐装置，包括线上部分和线下部分，线上部分包括与用户日志连接的数据构造模块、与数据构造模块连接的用户画像特征向量数据库和模型训练预测模块、与模型训练预测模块连接的特征推荐结果数据库和产品推荐结果数据库，用户画像特征向量数据库和模型训练预测模块之间也连接；

线下部分包括与用户请求和用户画像特征向量数据库均连接的用户画像特征拼接模块、与用户画像特征拼接模块和特征推荐结果数据库以及产品推荐结果数据库均连接的数据库查询合并模块，数据库查询合并模块连接最终推荐结果。

本发明技术方案的进一步改进在于：在模型训练预测模块、用户画像特征拼接模块、数据库查询合并模块中，模型训练预测模块：采用深度学习和矩阵分解算法，将稀疏的用户行为特征和商品的特征向量映射成致密的低维空间向量，该低维空间向量可以用来作为用户和商品的特征表征，同时亦可以作乘积来获取关联的程度；

用户画像特征拼接模块：线上支持高效拼接用户特征信息、商品特征信息、环境特征信息来作为样本预测的特征输入；

数据库查询合并模块：离线计算用户-商品或商品-商品的关联分数并存储成用户对应的商品列表或商品对应的用户列表，避免线上计算关联耗费大量的时间。

由于采用了上述技术方案，本发明取得的有益效果是：涉及的线下部分离线即可计算好对应特征或特征向量与商品的匹配程度，并按匹配度从高到低的顺序存储在数据库中，线上流程优化为：

1)获取用户画像特征；

2)根据用户画像特征从数据库中获取匹配的商品数据集；

3)依据一定的策略合并上述多个商品候选集的结果。

经过上述优化后，有效降低了模型计算带来的延迟(基本无计算的部分)，解决了高吞吐量复杂模型的高延迟问题，利于电商的个性化推荐和发展，具有较高的推广应用价值。

附图说明

图1为本发明方法的流程示意图；

图2为本发明装置的结构框图。

具体实施方式

下面结合实施例对本发明做进一步详细说明。

本发明公开了一种高吞吐低延迟的电商个性化推荐方法，步骤为：

步骤1、线下离线计算出用户的特征或特征向量与商品的匹配程度，并存储在数据库中；

步骤2、线上获取用户画像特征；

步骤3、根据用户画像特征从数据库中获取匹配的商品数据集，得到若干个商品候选集结果；

步骤4、依据合并策略合并上述若干个商品候选集结果，得到推荐结果。

步骤1中线下离线计算过程为：

将用户的特征或特征向量全部抽象为数值a或b，a或b分别对应于用户是否匹配该特征或特征向量对应的商品集，对于a或b的取值通过下述方法实现：

(1)统计法，计算用户对某特征下商品购买的频率，通过设定的频率阀值进行判断，超过或等于设定的频率阀值，则判定为a，否则为b。比如一个用户经常购买美妆特征下的商品，则该用户对于美妆的特征为a。或者

(2)协同过滤法，计算各个特征之间的关联度，通过设定的关联度阀值来确定特征之间是否有关联，如果一个用户经确认其某一特征为a，则与该特征有关联的其他特征也为a；比如经常浏览/购买美妆商品的用户，也经常购买首饰特征的商品，那么如果一个用户多次购买美妆商品，那么该用户的首饰特征也为1，特征之间关联度的确定通过统计实现。或者

(3)机器学习建模法，对用户特征、商品特征、环境特征进行联合建模，预测用户购买某特征下商品的概率，如果概率计算值大于设定的预测阀值，则对该特征取a，否则为b。

步骤1中按匹配程度从高到低的顺序将匹配程度存储在数据库中。

步骤1中，数值a和b分别取值为1和0，其中0表示不匹配，1表示匹配。

机器学习建模法采用基于CTR预估的模型，包括FM、FFM、GBDT+LR、Wide&Deep或DeepFM算法。这些算法的思路是将用户特征、商品特征和环境特征拼接成特征向量(X)，从历史数据中获得每个样本的标签y(转化或非转化)。然后利用监督式模型去学习X和y之间的联系。

步骤4中，合并策略包括特征更新时间策略或指标反馈类型策略。所谓特征更新时间策略指的是按照特征更新的时间来排召回商品集的展示顺序，比如A策略更新时间比B策略的更接近当前时间，则A策略的实时性比B策略高。所谓指标反馈类型策略是按照推荐结果分析指标来排召回商品集的展示顺序，具体的指标可以包括：转化率，点击率，营收额度等。

一种高吞吐低延迟的电商个性化推荐装置，包括线上部分和线下部分，线上部分包括与用户日志连接的数据构造模块、与数据构造模块连接的用户画像特征向量数据库和模型训练预测模块、与模型训练预测模块连接的特征推荐结果数据库和产品推荐结果数据库，用户画像特征向量数据库和模型训练预测模块之间也连接；

线下部分包括与用户请求和用户画像特征向量数据库均连接的用户画像特征拼接模块、与用户画像特征拼接模块和特征推荐结果数据库以及产品推荐结果数据库均连接的数据库查询合并模块，数据库查询合并模块连接最终推荐结果。

在模型训练预测模块、用户画像特征拼接模块、数据库查询合并模块中，模型训练预测模块：采用深度学习和矩阵分解算法，将稀疏的用户行为特征和商品的特征向量映射成致密的低维空间向量，该低维空间向量可以用来作为用户和商品的特征表征，同时亦可以作乘积来获取关联的程度；

用户画像特征拼接模块：线上支持高效拼接用户特征信息、商品特征信息、环境特征信息来作为样本预测的特征输入；

数据库查询合并模块：离线计算用户-商品或商品-商品的关联分数并存储成用户对应的商品列表或商品对应的用户列表，避免线上计算关联耗费大量的时间。

如图1所示，将用户画像特征构建为0-1形式并依次进行建模预测，推荐结果以{feature_index_1:products}形式存于数据库中，分别形成特征推荐结果数据库和产品推荐结果数据库；

新来的用户请求从用户画像特征向量数据中获取用户/商品特征向量描述并从特征推荐结果数据库和产品推荐结果数据库中获取推荐结果，经过合并策略(如特征更新时间策略或指标反馈类型策略等)进行合并得到最终的推荐结果以显示。

Claims (8)

1.一种高吞吐低延迟的电商个性化推荐方法，其特征在于步骤为：

步骤1、线下离线计算出用户的特征或特征向量与商品的匹配程度，并存储在数据库中；

步骤2、线上获取用户画像特征；

步骤3、根据用户画像特征从数据库中获取匹配的商品数据集，得到若干个商品候选集结果；

步骤4、依据合并策略合并上述若干个商品候选集结果，得到推荐结果。

2.根据权利要求1所述的一种高吞吐低延迟的电商个性化推荐方法，其特征在于：步骤1中线下离线计算过程为：

将用户的特征或特征向量全部抽象为数值a或b，a或b分别对应于用户是否匹配该特征或特征向量对应的商品集，对于a或b的取值通过下述方法实现：

(1)统计法，计算用户对某特征下商品购买的频率，通过设定的频率阀值进行判断，超过或等于设定的频率阀值，则判定为a，否则为b；或者

(2)协同过滤法，计算各个特征之间的关联度，通过设定的关联度阀值来确定特征之间是否有关联，如果一个用户经确认其某一特征为a，则与该特征有关联的其他特征也为a；或者

(3)机器学习建模法，对用户特征、商品特征、环境特征进行联合建模，预测用户购买某特征下商品的概率，如果概率计算值大于设定的预测阀值，则对该特征取a，否则为b。

3.根据权利要求2所述的一种高吞吐低延迟的电商个性化推荐方法，其特征在于：步骤1中按匹配程度从高到低的顺序将匹配程度存储在数据库中。

4.根据权利要求3所述的一种高吞吐低延迟的电商个性化推荐方法，其特征在于：步骤1中，数值a和b分别取值为1和0，其中0表示不匹配，1表示匹配。

5.根据权利要求4所述的一种高吞吐低延迟的电商个性化推荐方法，其特征在于：机器学习建模法采用基于CTR预估的模型，包括FM、FFM、GBDT+LR、Wide&Deep或DeepFM算法。

6.根据权利要求5所述的一种高吞吐低延迟的电商个性化推荐方法，其特征在于：步骤4中，合并策略包括特征更新时间策略或指标反馈类型策略。

7.一种高吞吐低延迟的电商个性化推荐装置，其特征在于：包括线上部分和线下部分，线上部分包括与用户日志连接的数据构造模块、与数据构造模块连接的用户画像特征向量数据库和模型训练预测模块、与模型训练预测模块连接的特征推荐结果数据库和产品推荐结果数据库，用户画像特征向量数据库和模型训练预测模块之间也连接；

线下部分包括与用户请求和用户画像特征向量数据库均连接的用户画像特征拼接模块、与用户画像特征拼接模块和特征推荐结果数据库以及产品推荐结果数据库均连接的数据库查询合并模块，数据库查询合并模块连接最终推荐结果。

8.根据权利要求7所述的一种高吞吐低延迟的电商个性化推荐装置，其特征在于：在模型训练预测模块、用户画像特征拼接模块、数据库查询合并模块中，模型训练预测模块：采用深度学习和矩阵分解算法，将稀疏的用户行为特征和商品的特征向量映射成致密的低维空间向量，该低维空间向量可以用来作为用户和商品的特征表征，同时亦可以作乘积来获取关联的程度；

用户画像特征拼接模块：线上支持高效拼接用户特征信息、商品特征信息、环境特征信息来作为样本预测的特征输入；

数据库查询合并模块：离线计算用户-商品或商品-商品的关联分数并存储成用户对应的商品列表或商品对应的用户列表，避免线上计算关联耗费大量的时间。