CN115062220A - 基于注意力合并的招工推荐*** - Google Patents

Abstract

本发明公开了基于注意力合并的招工推荐***，包括预处理模块设置为提取原始招工数据中的用户信息、用户招工期望信息和招工信息；嵌入模块设置为分别获取第一用户特征向量、用户招工期望特征向量和招工特征向量；注意力合并模块设置为将第一用户特征向量与用户招工期望特征向量合并为第二用户特征向量；预测输出模块设置为将第二用户特征向量和招工特征向量拼接后作为输入得到表征用户拨通招工信息概率的拨通率。本发明通过注意力合并模块提高了在强相关领域和弱相关领域中用户表征学***均池化为长度相同的特征向量，解决了由于“马太效应”引起的长尾内容无法有效推荐的问题。

Description

基于注意力合并的招工推荐***

技术领域

本发明涉及兴趣推荐领域，尤其涉及基于注意力合并的招工推荐***。

背景技术

现目前我国建筑领域和机械制造领域的技术工人流动性较大，工人一般与企业或工头呈灵活就业形式，即企业或工头有活是短期聘用工人，而工人也在农闲时外出找活。双方的需求灵活度较大，目前常规的招聘网站和***均无法完全满足二者的需求。在现实中，两者更多的是通过电话进行招工与找活，但是由于信息的不对称，导致双方在进行沟通前无法了解对方的需求，容易出现企业或工头找不到满足自己要求的工人，而工人也无法找到心仪的工作，招工效率低下，无形中浪费了双方的时间，耽误了工作的正常进行。

根据工人用户的拨通记录来进行招工推荐是近来兴起的新型业务。其依托于成熟的推荐算法，将与工人期望匹配的企业或工头电话推荐给工人，实现精准的招工推荐。但现目前的推荐算法存在以下问题：

传统的深度学习技术存在强特征过拟合、弱特征欠拟合的问题和“马太效应”，从而导致了基于深度学习技术的推荐算法的效果不佳。“马太效应”是一种两极分化现象，即大多数现有的推荐算法只能为主流热门的商品或项目提供推荐，而向用户推荐长尾处的冷门商品或项目的概率相对较低。用户感兴趣的长尾内容由于缺少行为特征，使得其很难获得广泛和及时的推荐，从而导致推荐内容质量低，多样性差。

强特征的过拟合和弱特征的欠拟合是传统的基于深度学习的推荐算法的问题。其主要原因是由于他们建立在Embedding&MLP(multilayer perceptron，多层感知机)范式的基础上，最终导致推荐结果的准确性较差。在企业或工头进行招工时，这些过拟合的领域与大部分工人对招工信息的兴趣密切相关，即推荐结果是由少数表示强相关领域的字段决定的。但是一些工人对过拟合领域的兴趣度并不高，从而造成了模型很难对这部分用户进行有效推荐。

发明内容

为了解决现有技术中存在的问题，本发明提供了一种可以在面对多领域特征时很好的解决强特征过拟合和弱特征欠拟合的问题，提高了***对工人表征学习的有效性，解决了由于“马太效应”引起的长尾内容无法有效推荐的问题。

为了实现以上发明目的，本发明提供的技术方案包括：

基于注意力合并的招工推荐***，包括依次连接的预处理模块、嵌入模块、注意力合并模块和预测输出模块；

所述预处理模块设置为提取原始招工数据中的用户信息、用户招工期望信息和招工信息；

所述嵌入模块设置为分别将所述用户信息、用户招工期望信息和招工信息处理为第一用户特征向量、用户招工期望特征向量和招工特征向量；

所述注意力合并模块设置为将所述第一用户特征向量与用户招工期望特征向量合并为第二用户特征向量；

所述预测输出模块设置为将所述第二用户特征向量和招工特征向量拼接后作为输入得到表征用户拨通招工信息概率的拨通率，向所述拨通率最高的用户推荐该拨通率对应的招工信息。

在一些较优的实施例中，所述用户信息包括用户id、用户拨通记录、用户搜索记录、用户工种、用户所在地以及用户期望工作地；

所述用户招工期望信息包括用户搜索记录、用户工种、用户所在地以及用户期望工作地；

所述招工信息包括招工信息id、招工信息标题、发布时间、工种以及所在地区。

在一些较优的实施例中，所述预测输出模块还设置为向与所述拨通率最高的用户匹配的其他用户推荐该拨通率对应的招工信息；所述匹配包括：用户工种和用户所在地相同。

在一些较优的实施例中，所述嵌入模块和注意力合并模块之间还设置有池化模块；所述池化模块设置为将长度不同的特征向量平均池化为长度相同的特征向量。

在一些较优的实施例中，所述注意力合并模块还包括分别为所述第一用户特征向量与用户招工期望特征向量划分特征域，并为所述特征域分配注意力权重和激活单元。

在一些较优的实施例中，所述将第一用户特征向量与用户招工期望特征向量合并为第二用户特征向量的方法包括：

从第二维开始串联所述第一用户特征向量与用户招工期望特征向量，得到矩阵 E∈R^n×m；其中，m为串联后向量的维度，n为特征域的个数；

计算注意力权重向量h：

a＝tanh(W₁E)

其中，W₁∈R^k×n和W₂∈R^k为权重矩阵，k表示注意力单元的大小，a∈Rⁿ代表该特征域的激活单元，h∈Rⁿ，i∈[0,n)，j∈[0,n)；

将所述注意力权重向量h和矩阵E合并为第二用户特征向量Z：

Z＝hE

其中，Z∈R^m。

在一些较优的实施例中，所述预测输出模块的目标函数设置为对数似然函数：

其中，

是大小为N的训练集，x为预测输出模块的输入，y∈{0,1}，表示当招工信息为正样本时，y＝1，否则y＝0；p(x)为预测输出模块的输出，表示预测的招工信息被拨通的概率。

有益效果

注意力合并模块根据上下文的用户特征和招工特征分配合理的权重并激活不同的神经单元，从而提高了在强相关领域和弱相关领域中用户表征学***均池化为长度相同的特征向量，解决了由于“马太效应”引起的长尾内容无法有效推荐的问题。

附图说明

图1为本发明一种较优实施例的***结构示意图；

图2为本发明另一种较优实施例的***结构示意图；

图3为本发明另一种较优实施例的数据流转和***结构示意图；

图4为本发明一种较优实施例和对照实验例的AUC和损失方面结果对照示意图；

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面结合附图对本发明作进一步阐述。在本发明的描述中，需要理解的是，术语“上”、“下”、“前”、“后”、“左”、“右”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

实施例

如图1所示，本实施例公开了一种基于注意力合并的招工推荐***，包括依次连接的预处理模块、嵌入模块、注意力合并模块和预测输出模块；

所述预处理模块设置为提取原始招工数据中的用户信息、用户招工期望信息和招工信息；在本实施例中，所述原始招工数据主要包括移动运营商提供的数据，主要包括招工信息、用户拨通记录、用户工种地区信息、用户期望工作地、用户搜索记录、工种索引以及地区索引，下面就每种信息所包含的字段作简要介绍：

招工信息包含：pid(招工信息id)、pro_region(招工信息所在地区)、wlt_id(工种id)、create_time(创建时间)、title(招工信息标题)；

用户拨通记录包含：uid(用户id)、type(拨通类型，若type＝1，说明该拨通记录为工人找活记录；若type＝2，说明该拨通记录为工头或企业招工记录，本文只选用type为1的记录)、object_id(用户拨通的招工信息id)、call_time(用户拨通时间)；

用户工种地区信息包含：uid(用户id)、wlt_id(工种id)、city_code(用户所在城市id)；

用户期望工作地包含：uid(用户id)、city_code(用户期望工作城市id)；

用户搜索记录包含：uid(用户id)、keyword(用户搜索词)；

工种索引包含：wlt_id(工种id)、wlt_name(工种名)；

地区索引包含：city_code(城市id)、city_name(城市名)；

应当理解的是，由于数据库更新速度较快，导致很大一部分用户的拨通过的招工记录在招工信息表中不能找到，且许多用户没有搜索记录和期望工作地记录。如果把这部分含信息量较少的用户直接放进模型训练会影响到模型效果，因此本实施例需要筛选出含信息量较多的种子用户。如果某个用户的拨通记录在招工信息表中都能找到，就选取他为种子用户。

所述预处理模块从上述原始招工数据中提取出后续步骤所需的用户信息、用户招工期望信息和招工信息；在一些较优的实施例汇中，所述用户信息包括用户id、用户拨通记录、用户搜索记录、用户工种、用户所在地以及用户期望工作地，对于用户的每条拨通记录，记录下其拨通时间，并将用户拨通时间与招工信息发布时间做差，即call_time-create_time，记作age，该特征用来学习用户对招工信息新旧的偏好，例如，{用户ID:1721，用户拨通记录： [(2193,17289378973)，(8324,1984739084)]，用户搜索记录：[安装门，日结]，用户工种：54，用户所在地：370200，用户期望工作地：440100}；进一步的，为了对用户信息进行进一步的挖掘，以使后续注意力合并能反映出更多的特征域特征，考虑在所述用户信息的基础上，提取用户招工期望信息，包括用户搜索记录、用户工种、用户所在地以及用户期望工作地；所述招工信息包括招工信息id、招工信息标题、发布时间、工种以及所在地区，例如，{招工信息ID：7354，信息标题：“经济开发区项目招安装工/空调/管道/通风”，发布时间：1641282268，工种：375，所在地区：21574264}。

所述嵌入模块设置为分别将所述用户信息、用户招工期望信息和招工信息处理为第一用户特征向量、用户招工期望特征向量和招工特征向量；在一些较优的实施例中，选用bert-base-chinese版中文预训练Bert模型作为嵌入模块，为了让其适应招工数据集，将其放入模型一起训练调整参数。应当理解的是，由于不同的用户有不同数量的拨通记录和搜索记录，导致用户特征向量所包含的特征数量在不同的实例中是不同的，这就导致有多个特征串联而成的用户特征向量的长度也不同。而后续的全连接网络只能处理固定长度的输入向量，因此在一些较优的实施例汇总，考虑利用池化操作将长度不同的特征向量转化为长度相同的特征向量，从而确保数据能被全连接层处理。具体的，如图2所示，所述嵌入模块和注意力合并模块之间还设置有池化模块；所述池化模块设置为将长度不同的特征向量平均池化为长度相同的特征向量。

所述注意力合并模块设置为将所述第一用户特征向量与用户招工期望特征向量合并为第二用户特征向量；应当理解的是，传统的推荐算法是建立在串联层的模型的基础上。串联层将不同的特征域串联起来，完成参数学习。在训练过程中，存在一些特定的领域过度拟合问题，这些过拟合的领域与大部分用户对招工信息的兴趣密切相关，即推荐结果是由少数表示强相关领域的字段决定的。但是一些用户对过拟合领域的兴趣度并不高，从而造成了模型很难对这部分用户进行有效推荐。本发明通过注意力合并模块代替传统算法中的串联层，将用户特征和用户招工期望特征合并起来，作为更加全面的用户表征。在一些较优的实施例中，所述注意力合并模块还包括分别为所述第一用户特征向量与用户招工期望特征向量划分特征域，并为所述特征域分配注意力权重和激活单元，其具体方法包括：

从第二维开始串联所述第一用户特征向量与用户招工期望特征向量，得到矩阵 E∈R^n×m；其中，m为串联后向量的维度，n为特征域的个数，R为矩阵；应当理解的是，二维向量的第一行(即第一维)代表一个特征向量，从第一维拼接没有意义，因此从第二维拼接是把一个用户的所有特征向量连接在一起。

计算注意力权重向量h：

a＝tanh(W₁E)；

其中，W₁∈R^k×n和W₂∈R^k为权重矩阵，k表示注意力单元的大小，a∈Rⁿ代表该特征域的激活单元，h∈Rⁿ，i∈[0,n)，j∈[0,n)；上述公式为softmax公式，目的是归一化，i 代表第i个特征域，分母上的j需要把i∈[0,n)全部遍历一遍。应当理解的是，所述权重矩阵 W₁和W₂是在训练开始时随机初始化的矩阵，随着训练过程自动调整，得到最佳权重矩阵。所述激活单元在训练过程中学习每个特征域在不同用户样本中的权重，并在训练过程中不断自动调整，得到最佳激活单元。

将所述注意力权重向量h和矩阵E合并为第二用户特征向量Z：

Z＝hE；其中，Z∈R^m。

所述预测输出模块设置为将所述第二用户特征向量和招工特征向量拼接后作为输入得到表征用户拨通招工信息概率的拨通率，向所述拨通率最高的用户推荐该拨通率对应的招工信息。应当理解的是，本实施例中所述第二用户特征向量和招工特征向量的拼接是通过 concatenate层拼接完成的。

另一方面，如前所述，由于原始招工数据中存在信息不够完成的用户，针对该部分用户在一些较优的实施例中，所述预测输出模块还设置为向与所述拨通率最高的用户匹配的其他用户推荐该拨通率对应的招工信息；所述匹配包括：用户工种和用户所在地相同。

在一些较优的实施例中，采用损失函数来判断推荐***的训练是否完成，具体的将目标函数设置为对数似然函数：

其中，

是大小为N的训练集，x为预测输出模块的输入，y∈{0,1}，表示当招工信息为正样本时，y＝1，否则y＝0；p(x)为预测输出模块的输出，表示预测的招工信息被拨通的概率。

对照实施例

在本次对照试验中，嵌入模块的Bert模型采用bert-base-chinese版中文预训练模型，隐藏层大小(hidden size)为768，训练样本大小(batch size)设置为4，学***台为IntelXeon@E5-2678v3cpu、GTX2080TI显存为11G、内存大小为32G的电脑。将本发明所公开的基于注意力合并的招工推荐***命名为RecRec(Recruitment Recommendation Model based on Attention Merging)，其数据的流转和***结构如图3所示。

对比算法***包括：

LR：Logistic回归(LR)是深度网络之前广泛使用的浅层模型，用于CTR预测任务。

YouTube DNN：YouTube DNN遵循Embedding&MLP架构，是大多数后来开发的用于CTR建模的深度网络的基础。它为我们的模型比较提供了一个强有力的基线。

Wide&Deep：在实际工业应用中，Wide&Deep模型已被广泛接受。它由两部分组成：1)Wide模型，处理人工设计的交叉产品特征；2)Deep模型，自动提取特征间的非线性关系。

PNN：PNN在嵌入层之后引入了一个product层来捕捉高阶特征的相互作用。

DeepFM：DeepFM在Wide&Deep模型的基础上，将一个因式分解机作为"Wide" 的模块，以节省特征工程作业。

评价指标包括：

AUC是CTR预测领域中应用广泛的指标。AUC是ROC曲线下的面积，表示正样本的预测得分大于负样本预测得分的概率。具体来说，如果M代表正样本个数，N代表负样本个数，计算所有M×N个正负样本对中，有多少组的正样本得分大于负样本得分，然后除以MN。该计算方法的时间复杂度为O(n²)，其中n＝M+N,AUC计算公式如下：

其中，pred_pos>pred_neg表示一个正负样本对中，如果正样本分数大于负样本分数，则值为1，否则值为0。

此外，引入RelaImpr指标来衡量对模型的相对改进。对于一个随机猜测者，AUC 的值为0.5。作为CTR建模的深度网络的基础，我们选取YouTube DNN模型作为基础模型 (basemodel)。因此，RelaImpr的定义如下：

实验结果

所有实验都重复了5次，并报告了平均结果，如表1所示。很明显，所有的深度网络都明显地击败了LR***，这确实证明了深度学习的力量。具有特殊设计结构的PNN和DeepFM比Wide&Deep表现更好。而本发明所提出的RecRec在所有对比***中表现最好。

表1招工数据集上的各***预测结果对比

注意力合并层和注意力串联层的对比

如图4所示，将发明所提出的模型中的注意力合并层替换为传统的注意力串联层后作为对照实验例，可以看出，注意力合并层在测试集的AUC和损失方面比串联层表现得更好。当特征向量经过串联层并向前反馈时，所有用户的神经元的相同部分被激活。当经过到注意力合并层时，不同的神经元将面对不同的用户特征而被激活，这意味着不同的特征之间的交互被学习，这提高了***的性能。

以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (7)

1.基于注意力合并的招工推荐***，其特征在于：包括依次连接的预处理模块、嵌入模块、注意力合并模块和预测输出模块；

所述预处理模块设置为提取原始招工数据中的用户信息、用户招工期望信息和招工信息；

所述嵌入模块设置为分别将所述用户信息、用户招工期望信息和招工信息处理为第一用户特征向量、用户招工期望特征向量和招工特征向量；

所述注意力合并模块设置为将所述第一用户特征向量与用户招工期望特征向量合并为第二用户特征向量；

所述预测输出模块设置为将所述第二用户特征向量和招工特征向量拼接后作为输入得到表征用户拨通招工信息概率的拨通率，向所述拨通率最高的用户推荐该拨通率对应的招工信息。

2.如权利要求1所述的基于注意力合并的招工推荐***，其特征在于：所述用户信息包括用户id、用户拨通记录、用户搜索记录、用户工种、用户所在地以及用户期望工作地；

所述用户招工期望信息包括用户搜索记录、用户工种、用户所在地以及用户期望工作地；

所述招工信息包括招工信息id、招工信息标题、发布时间、工种以及所在地区。

3.如权利要求2所述的基于注意力合并的招工推荐***，其特征在于：所述预测输出模块还设置为向与所述拨通率最高的用户匹配的其他用户推荐该拨通率对应的招工信息；所述匹配包括：用户工种和用户所在地相同。

4.如权利要求1所述的基于注意力合并的招工推荐***，其特征在于：所述嵌入模块和注意力合并模块之间还设置有池化模块；所述池化模块设置为将长度不同的特征向量平均池化为长度相同的特征向量。

5.如权利要求1所述的基于注意力合并的招工推荐***，其特征在于：所述注意力合并模块还包括分别为所述第一用户特征向量与用户招工期望特征向量划分特征域，并为所述特征域分配注意力权重和激活单元。

6.如权利要求5所述的基于注意力合并的招工推荐***，其特征在于：所述将第一用户特征向量与用户招工期望特征向量合并为第二用户特征向量的方法包括：

从第二维开始串联所述第一用户特征向量与用户招工期望特征向量，得到矩阵E∈R^{n ×m}；其中，m为串联后向量的维度，n为特征域的个数；

计算注意力权重向量h：

a＝tanh(W₁E)

其中，W₁∈R^k×n和W₂∈R^k为权重矩阵，k表示注意力单元的大小，a∈Rⁿ代表该特征域的激活单元，h∈Rⁿ，i∈[0,n)，j∈[0,n)；

将所述注意力权重向量h和矩阵E合并为第二用户特征向量Z：

Z＝hE

其中，Z∈R^m。

7.如权利要求1所述的基于注意力合并的招工推荐***，其特征在于：所述预测输出模块的目标函数设置为对数似然函数：

其中，

是大小为N的训练集，x为预测输出模块的输入，y∈{0,1}，表示当招工信息为正样本时，y＝1，否则y＝0；p(x)为预测输出模块的输出，表示预测的招工信息被拨通的概率。

Images