CN115357783B - 一种基于结构化多兴趣协同的企业服务快讯推荐方法 - Google Patents

Abstract

一种基于结构化多兴趣协同的企业服务快讯推荐方法，通过附加选择器以增强快讯的特征，有效增强了最终的企业服务快讯表示；本发明提出的用户兴趣表示学习方法通过构建用户兴趣结构无向图，利用图注意力网络可以一种显示的方式结构化编码用户的多种潜在兴趣，这可以提取更加精确的用户兴趣表示；本发明提出的用户兴趣表示学习方法充分考虑了用户多种潜在兴趣之间的相互作用，利用自注意力网络模拟兴趣之间的作用关系有效增强了用户兴趣表示；本发明得益于良好的企业服务快讯表示学习方法和用户兴趣表示学习方法，有效提高了企业服务快讯推荐的准确性。

Description

一种基于结构化多兴趣协同的企业服务快讯推荐方法

技术领域

本发明涉及个性化服务快讯推荐技术领域，具体涉及一种基于结构化多兴趣协同的企业服务快讯推荐方法。

背景技术

随着中小微企业综合质量服务平台的快速发展，平台每天发布数以万计的企业服务快讯，由于激增的快讯数量与人们有限的阅读时间之间的矛盾导致用户几乎不可能阅读所有的快讯信息。个性化企业服务快讯推荐可以帮助用户在海量服务快讯当中找到他们感兴趣的服务快讯，其作为缓解信息过载的有效手段在中小微综合质量服务平台上扮演着越来越重要的角色。

企业服务快讯具有比较强的时效性，基于协同过滤(CF)的推荐算法在解决企业服务快讯推荐问题时面临着严重的冷启动。如何从快讯和用户自身拥有的特征出发构建企业快讯推荐方案是急需解决的问题。虽然推荐技术取得了较大进步，但企业服务快讯推荐仍面临着以下的问题。首先，为企业服务快讯学习一个良好的嵌入表示是做好企业服务快讯推荐的前提，但是手工从企业服务快讯中提取特征的方法可能无法精准的建模快讯的语义信息。其次，先前工作通常将用户点击历史视为一个连续的序列，无法以一种显式的方式结构化提取用户兴趣，这可能无法精准的建模用户多样化兴趣。

发明内容

本发明为了克服以上技术的不足，提供了一种提高快讯推荐效果的基于结构化多兴趣协同的企业服务快讯推荐方法。

本发明克服其技术问题所采用的技术方案是：

一种基于结构化多兴趣协同的企业服务快讯推荐方法，包括如下步骤：

a)获取用户的历史点击快讯序列数据V＝[v₁,v₂,...,v_i,...,v_N]和候选快讯序列数据V′＝[v₁′,v₂′,...,v_i′,...,v′_M]，其中v_i为第i个历史点击的快讯，i∈{1,...N}，N为历史点击的快讯数量，v_i′为第i个候选快讯，i∈{1,...M}，M为候选快讯的数量，获取快讯的服务类型数量S；

b)使用分词工具将历史点击快讯序列中每条快讯标题转换为分词序列[x₁,x₂,...,x_i,...,x_F]，将候选快讯序列中的每条快讯标题转换为分词序列[x′₁,x′₂,...,x′_i,...,x′_F]，其中x_i及x′_i均为第i个分词，i∈{1,...F}，F为快讯标题单词截取的最大长度，将分词序列[x₁,x₂,...,x_i,...,x_F]映射为词嵌入序列[e₁,e₂,...,e_i,...,e_F]，将分词序列[x′₁,x′₂,...,x′_i,...,x′_F]映射为词嵌入序列[e′₁,e′₂,...,e′_i,...,e′_F]，其中e_i及e′_i均为第i个词嵌入；

c)将词嵌入序列[e₁,e₂,...,e_i,...,e_F]及[e′₁,e′₂,...,e′_i,...,e′_F]分别输入到两个并行的双向GRU中进行语义理解，建模快讯标题的双向顺序性特征，分别得到融合双向语义的词嵌入序列[h₁,h₂,...,h_i,...,h_F]和[h′₁,h′₂,...,h′_i,...,h′_F]，其中h_i及h′_i均为第i个融合双向语义的单词；

d)使用附加选择器分别应用于融合双向语义的词嵌入序列[h₁,h₂,...,h_i,...,h_F]和[h′₁,h′₂,...,h′_i,...,h′_F]，分别得到特征增强后的词嵌入序列

和/>

其中/>

及/>

均为第i个的增强后的词嵌入；

e)使用词注意力网络为历史点击快讯序列中每条快讯标题分词分配一个权重，第i个单词的权重为α_i，为候选快讯序列中的每条快讯标题转换为分词分配一个权重，第i个单词的权重为α′_i；

f)通过公式

计算得到第x个历史点击快讯的标题词嵌入的加权和c_x，通过公式/>

计算得到第x个候选快讯的标题词嵌入的加权和c′_x，x∈{1,...N}，建立得到历史点击表示序列C＝[c₁,c₂,...,c_x,...,c_N]和候选快讯表示序列C′＝[c′₁,c′₂,...,c′_x,...,c′_N]；

g)创建与快讯的服务类型数量S相同个数的兴趣代理节点V_p＝[v_p,1,v_p,2,…,v_p,i,…,v_p,S]，其中v_p,i为用户对第i种服务类型快讯的兴趣，i∈{1,...,S}，构建用户兴趣结构无向图G＝(V_st,E_st)，式中V_st为兴趣代理节点V_p和历史点击快讯序列数据V中每条快讯为节点在内的节点集合，E_st为图的边集合，E_st∈<v_i,v_i+1>∪<v_i,v_p,j>，<v_i,v_i+1>为用户点击历史中第i个快讯v_i和第i+1个快讯v_i+1的无向边，<v_i,v_p,j>为用户点击历史中第i个快讯v_i和其所属服务类型的兴趣代理节点v_p,j的无向边；

h)使用图注意力网络GAT将用户兴趣结构无向图G中相同服务类型的快讯聚合到对应的兴趣代理节点V_p中，得到结构化后的兴趣代理节点表示

其中/>

为第i个结构化后的兴趣代理节点，i∈{1,...S}；

i)将结构化后的兴趣代理节点表示

输入到多头自注意力网络的兴趣协同层中，得到增强后的兴趣节点表示/>

式中/>

为第i个增强后的兴趣节点，i∈{1,...S}；

j)通过公式

计算得到第i个兴趣代理节点的归一化注意力权重α_p,i，式中a_p.i为第i个兴趣代理节点的权重，/>

q_p为兴趣查询向量，T为转置，D_p为兴趣查询向量长度，D_p＝200，W_p及b_p均为用户兴趣注意力网络中可学习参数；

k)通过公式

计算得到所有兴趣协同增强后的代理节点的加权和u；/>

l)通过公式y＝u^Tc′_x计算得到用户和每一个候选快讯的点击概率y，选取概率最大的5个候选快讯推荐给用户。

优选的，步骤a)中N取值为128，M取值为32。

优选的，步骤b)中分词工具为jieba分词工具，使用预训练的300维Glove中文词嵌入将历史点击快讯标题的分词序列[x₁,x₂,...,x_i,...,x_F]映射为词嵌入序列[e₁,e₂,...,e_i,...,e_F]，将候选快讯标题的分词序列[x′₁,x′₂,...,x′_i,...,x′_F]映射为词嵌入序列[e′₁,e′₂,...,e′_i,...,e′_F]，F取值为32。

进一步的，步骤c)包括如下步骤：

c-1)中通过公式

计算得到h_i，式中/>

为拼接操作，GRU(·)为GRU网络，/>

为正向门控循环单元中的上一时刻的隐藏状态，/>

为反向门控循环单元中的上一时刻的隐藏状态；

c-2)中通过公式

计算得到h′_i，式中/>

为拼接操作，GRU(·)为GRU网络，/>

为正向门控循环单元中的上一时刻的隐藏状态，/>

为反向门控循环单元中的上一时刻的隐藏状态。

进一步的，步骤d)附加选择器应用于融合双向语义的词嵌入序列[h₁,h₂,...,h_i,...,h_F]和[h′₁,h′₂,...,h′_i,...,h′_F]的方法为：

d-1)通过公式

计算得到第i个的增强后的词嵌入/>

式中⊙为逐点元素相乘，Slt_i＝σ_slt(W_slth_i+b_slt)，W_slt及b_slt为可学习参数，σ_slt(·)为RELU非线性激活函数；

d-2)通过公式

计算得到第i个的增强后的词嵌入/>

式中⊙为逐点元素相乘，Slt′_i＝σ_slt(W′_slth′_i+b′_slt)，W′_slt及b′_slt为可学习参数，σ_slt(·)为RELU非线性激活函数。

进一步的，步骤e)使用词注意力网络为每条快讯标题分配一个权重的方法为：

e-1)通过公式

计算得到i个单词的归一化注意力权重为α_i，式中/>

W_t及b_t均为注意力网络中可学习的参数，q_t为词查询向量，T为转置，α_j为第j个单词的权重，j∈{1,...F}，D_t为词查询向量长度，D_t＝200；

e-2)通过公式

计算得到i个单词的归一化注意力权重为α′_i，式中/>

W′_t及b′_t均为注意力网络中可学习的参数，q′_t为词查询向量，α′_j为第j个单词的权重，j∈{1,...F}，D′_t为词查询向量长度，D′_t＝200。

进一步的，步骤h)中通过公式

计算得到第i个兴趣代理节点在第k个图注意力头中的表示/>

k∈{1,...K}，K为图注意力头的总数，式中/>

为可学习的线性投影参数，/>

为第i个兴趣代理节点v_p,i的一阶邻居集合，/>

为第k个图注意力头中第j个一阶邻居对兴趣代理节点v_p,i的重要性参数，/>

式中σ_gat为负斜率为0.2的LeakyRELU非线性激活函数，f(·)为单层前馈神经网络，v_p,i′为第i个兴趣代理节点v_p,i的原始向量表示，通过公式/>

计算得到第i个兴趣代理点所有图注意力头产生表示的拼接/>

为拼接操作。

优选的，K取值为20。

进一步的，步骤i)中通过公式

计算得到第i个兴趣代理节点在第l个自注意力头中的表示/>

式中/>

为在第l个自注意力头中第i个兴趣代理节点和第j个兴趣代理节点之间的协同作用参数，/>

及

均为l个自注意力头中可学习的线性投影参数，T为转置，/>

为第j个结构化后的兴趣代理节点，j∈{1,...S}，通过公式/>

计算得到第i个增强后的兴趣节点/>

为拼接操作，L为自注意力中注意力头的总数。

优选的，L取值为20。

本发明的有益效果是：充分考虑了快讯的双向语义信息，无需大量特征工程，并设计了一种附加选择器以增强快讯的特征，有效增强了最终的企业服务快讯表示；本发明提出的用户兴趣表示学习方法通过构建用户兴趣结构无向图，利用图注意力网络可以一种显示的方式结构化编码用户的多种潜在兴趣，这可以提取更加精确的用户兴趣表示；本发明提出的用户兴趣表示学习方法充分考虑了用户多种潜在兴趣之间的相互作用，利用自注意力网络模拟兴趣之间的作用关系有效增强了用户兴趣表示；本发明得益于良好的企业服务快讯表示学习方法和用户兴趣表示学习方法，有效提高了企业服务快讯推荐的准确性。

附图说明

图1为本发明的模型结构图。

具体实施方式

下面结合附图1对本发明做进一步说明。

一种基于结构化多兴趣协同的企业服务快讯推荐方法，该方法提出利用并行的GRU网络建模企业服务快讯(以下简称为“快讯”)标题双向语义信息，进一步结合提出的附加选择器有效增强快讯的表示效果。该方法提出将用户点击历史和兴趣代理节点相结合构建用户兴趣结构图，通过图注意力网络显式提取用户结构化的多兴趣，并利用自注意力网络建模兴趣之间的相互作用关系以有效增强用户兴趣表示的效果。最终在良好表示基础上有效提高快讯推荐效果。具体的包括如下步骤：

a)获取用户的历史点击快讯序列数据V＝[v₁,v₂,...,v_i,...,v_N]和候选快讯序列数据V′＝[v′₁,v′₂,...,v′_i,...,v′_M]，其中v_i为第i个历史点击的快讯，i∈{1,...N}，N为历史点击的快讯数量，v′_i为第i个候选快讯，i∈{1,...M}，M为候选快讯的数量，获取快讯的服务类型数量S。

b)使用分词工具将历史点击快讯序列中每条快讯标题转换为分词序列[x₁,x₂,...,x_i,...,x_F]，将候选快讯序列中的每条快讯标题转换为分词序列[x′₁,x′₂,...,x′_i,...,x′_F]，其中x_i及x′_i均为第i个分词，i∈{1,...F}，F为快讯标题单词截取的最大长度，将分词序列[x₁,x₂,...,x_i,...,x_F]映射为词嵌入序列[e₁,e₂,...,e_i,...,e_F]，将分词序列[x′₁,x′₂,...,x′_i,...,x′_F]映射为词嵌入序列[e′₁,e′₂,...,e′_i,...,e′_F]，其中e_i及e′_i均为第i个词嵌入。

c)将词嵌入序列[e₁,e₂,...,e_i,...,e_F]及[e′₁,e′₂,...,e′_i,...,e′_F]分别输入到两个并行的双向GRU中进行语义理解，建模快讯标题的双向顺序性特征，分别得到融合双向语义的词嵌入序列[h₁,h₂,...,h_i,...,h_F]和[h′₁,h′₂,...,h′_i,...,h′_F]，其中h_i及h′_i均为第i个融合双向语义的单词。

d)使用附加选择器分别应用于融合双向语义的词嵌入序列[h₁,h₂,...,h_i,...,h_F]和[h′₁,h′₂,...,h′_i,...,h′_F]，分别得到特征增强后的词嵌入序列

和/>

其中/>

及/>

均为第i个的增强后的词嵌入。

e)使用词注意力网络为历史点击快讯序列中每条快讯标题分词分配一个权重，第i个单词的权重为α_i，为候选快讯序列中的每条快讯标题转换为分词分配一个权重，第i个单词的权重为α′_i。

f)通过公式

计算得到第x个历史点击快讯的标题词嵌入的加权和c_x，通过公式/>

计算得到第x个候选快讯的标题词嵌入的加权和c′_x，x∈{1,...N}，建立得到历史点击表示序列C＝[c₁,c₂,...,c_x,...,c_N]和候选快讯表示序列C′＝[c′₁,c′₂,...,c′_x,...,c′_N]。/>

g)创建与快讯的服务类型数量S相同个数的兴趣代理节点V_p＝[v_p,1,v_p,2,...,v_p,i,...,v_p,S]，其中v_p,i为用户对第i种服务类型快讯的兴趣，i∈{1,...,S}，构建用户兴趣结构无向图G＝(V_st,E_st)，式中V_st为兴趣代理节点V_p和历史点击快讯序列数据V中每条快讯为节点(重复快讯视为不同节点)在内的节点集合，E_st为图的边集合，E_st∈<v_i,v_i+1>∪<v_i,v_p,j>，<v_i,v_i+1>为用户点击历史中第i个快讯v_i和第i+1个快讯v_i+1的无向边，即用户在点击了快讯v_i之后点击了快讯v_i+1，<v_i,v_p,j>为用户点击历史中第i个快讯v_i和其所属服务类型的兴趣代理节点v_p,j的无向边，即用户点击的快讯v_i的服务类型为j。

h)使用图注意力网络(GAT)将用户兴趣结构无向图G中相同服务类型的快讯聚合到对应的兴趣代理节点V_p中，得到结构化后的兴趣代理节点表示

每一个兴趣代理节点代表了用户对该类型快讯的兴趣，其中

为第i个结构化后的兴趣代理节点，i∈{1,...S}。

i)用户兴趣之间并不是孤立存在的，用户兴趣之间的协同作用对于学习用户兴趣表示十分重要，因此将结构化后的兴趣代理节点表示

输入到多头自注意力网络的兴趣协同层中，得到增强后的兴趣节点表示/>

式中/>

为第i个增强后的兴趣节点，i∈{1,...S}。兴趣协同层是由多头自注意力网络建模兴趣代理节点之间的协同关系。

j)通过公式

计算得到第i个兴趣代理节点的归一化注意力权重α_p,i，式中a_p.i为第i个兴趣代理节点的权重，/>

q_p为兴趣查询向量，T为转置，D_p为兴趣查询向量长度，D_p＝200，W_p及b_p均为用户兴趣注意力网络中可学习参数。k)通过公式/>

计算得到所有兴趣协同增强后的代理节点的加权和u。

l)通过公式y＝u^Tc′_x计算得到用户和每一个候选快讯的点击概率y，点击概率y表示用户对第i个候选快讯点击概率大小，y越大则点击概率越大，选取概率最大的5个候选快讯推荐给用户。

充分考虑了快讯的双向语义信息，无需大量特征工程，并设计了一种附加选择器以增强快讯的特征，有效增强了最终的企业服务快讯表示；本发明提出的用户兴趣表示学习方法通过构建用户兴趣结构无向图，利用图注意力网络可以一种显示的方式结构化编码用户的多种潜在兴趣，这可以提取更加精确的用户兴趣表示；

本发明提出的用户兴趣表示学习方法充分考虑了用户多种潜在兴趣之间的相互作用，利用自注意力网络模拟兴趣之间的作用关系有效增强了用户兴趣表示；本发明得益于良好的企业服务快讯表示学习方法和用户兴趣表示学习方法，有效提高了企业服务快讯推荐的准确性。

实施例1：

优选的，步骤a)中N取值为128，M取值为32。

实施例2：

步骤b)中分词工具为jieba分词工具，使用预训练的300维Glove中文词嵌入将历史点击快讯标题的分词序列[x₁,x₂,...,x_i,...,x_F]映射为词嵌入序列[e₁,e₂,...,e_i,...,e_F]，将候选快讯标题的分词序列[x′₁,x′₂,...,x′_i,...,x′_F]映射为词嵌入序列[e′₁,e′₂,...,e′_i,...,e′_F]，F取值为32。

实施例3：

步骤c)包括如下步骤：

c-1)中通过公式

计算得到h_i，式中/>

为拼接操作，GRU(·)为GRU网络，/>

为正向门控循环单元中的上一时刻的隐藏状态，/>

为反向门控循环单元中的上一时刻的隐藏状态。

c-2)中通过公式

计算得到h′_i，式中/>

为拼接操作，GRU(·)为GRU网络，/>

为正向门控循环单元中的上一时刻的隐藏状态，/>

为反向门控循环单元中的上一时刻的隐藏状态。

实施例4：

步骤d)附加选择器应用于融合双向语义的词嵌入序列[h₁,h₂,...,h_i,...,h_F]和[h′₁,h′₂,...,h′_i,...,h′_F]的方法为：

d-1)通过公式

计算得到第i个的增强后的词嵌入/>

式中⊙为逐点元素相乘，Slt_i＝σ_slt(W_slth_i+b_slt)，W_slt及b_slt为可学习参数，σ_slt(·)为RELU非线性激活函数。

d-2)通过公式

计算得到第i个的增强后的词嵌入/>

式中⊙为逐点元素相乘，Slt′_i＝σ_slt(W′_slth′_i+b′_slt)，W′_slt及b′_slt为可学习参数，σ_slt(·)为RELU非线性激活函数。

实施例5：

步骤e)使用词注意力网络为每条快讯标题分配一个权重的方法为：

e-1)通过公式

计算得到i个单词的归一化注意力权重为α_i，式中/>

W_t及b_t均为注意力网络中可学习的参数，q_t为词查询向量，T为转置，α_j为第j个单词的权重，j∈{1,...F}，D_t为词查询向量长度，D_t＝200。/>

e-2)通过公式

计算得到i个单词的归一化注意力权重为α′_i，式中/>

W_t′及b′_t均为注意力网络中可学习的参数，q′_t为词查询向量，α′_j为第j个单词的权重，j∈{1,...F}，D′_t为词查询向量长度，D′_t＝200。

实施例6：

步骤h)中通过公式

计算得到第i个兴趣代理节点在第k个图注意力头中的表示/>

k∈{1,...K}，K为图注意力头的总数，式中/>

为可学习的线性投影参数，/>

为第i个兴趣代理节点v_p,i的一阶邻居集合，/>

为第k个图注意力头中第j个一阶邻居对兴趣代理节点v_p,i的重要性参数，/>

式中σ_gat为负斜率为0.2的LeakyRELU非线性激活函数，f(·)为单层前馈神经网络，v_p,i′为第i个兴趣代理节点v_p,i的原始向量表示，通过公式/>

计算得到第i个兴趣代理点所有图注意力头产生表示的拼接/>

为拼接操作。

实施例7：

K取值为20。

实施例8：

步骤i)中通过公式

计算得到第i个兴趣代理节点在第l个自注意力头中的表示/>

式中/>

为在第l个自注意力头中第i个兴趣代理节点和第j个兴趣代理节点之间的协同作用参数，/>

及/>

均为l个自注意力头中可学习的线性投影参数，T为转置，/>

为第j个结构化后的兴趣代理节点，j∈{1,...S}，通过公式/>

计算得到第i个增强后的兴趣节点/>

为拼接操作，L为自注意力中注意力头的总数。

实施例9：

L取值为20。

最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于结构化多兴趣协同的企业服务快讯推荐方法，其特征在于，包括如下步骤：

a)获取用户的历史点击快讯序列数据V＝[v₁,v₂,...,v_i,...,v_N]和候选快讯序列数据V′＝[v′₁,v′₂,...,v′_i,...,v′_M]，其中v_i为第i个历史点击的快讯，i∈{1,...N}，N为历史点击的快讯数量，v′_i为第i个候选快讯，i∈{1,...M}，M为候选快讯的数量，获取快讯的服务类型数量S；

b)使用分词工具将历史点击快讯序列中每条快讯标题转换为分词序列[x₁,x₂,...,x_i,...,x_F]，将候选快讯序列中的每条快讯标题转换为分词序列[x′₁,x′₂,...,x′_i,...,x′_F]，其中x_i及x′_i均为第i个分词，i∈{1,...F}，F为快讯标题单词截取的最大长度，将分词序列[x₁,x₂,...,x_i,...,x_F]映射为词嵌入序列[e₁,e₂,...,e_i,...,e_F]，将分词序列[x′₁,x′₂,...,x′_i,...,x′_F]映射为词嵌入序列[e′₁,e′₂,...,e′_i,...,e′_F]，其中e_i及e′_i均为第i个词嵌入；

c)将词嵌入序列[e₁,e₂,...,e_i,...,e_F]及[e′₁,e′₂,...,e′_i,...,e′_F]分别输入到两个并行的双向GRU中进行语义理解，建模快讯标题的双向顺序性特征，分别得到融合双向语义的词嵌入序列[h₁,h₂,...,h_i,...,h_F]和[h′₁,h′₂,...,h′_i,...,h′_F]，其中h_i及h′_i均为第i个融合双向语义的单词；

d)使用附加选择器分别应用于融合双向语义的词嵌入序列[h₁,h₂,...,h_i,...,h_F]和[h′₁,h′₂,...,h′_i,...,h′_F]，分别得到特征增强后的词嵌入序列

和

其中/>

及/>

均为第i个的增强后的词嵌入；

e)使用词注意力网络为历史点击快讯序列中每条快讯标题分词分配一个权重，第i个单词的权重为α_i，为候选快讯序列中的每条快讯标题转换为分词分配一个权重，第i个单词的权重为α′_i；

f)通过公式

计算得到第x个历史点击快讯的标题词嵌入的加权和c_x，通过公式/>

计算得到第x个候选快讯的标题词嵌入的加权和c′_x，x∈{1,...N}，建立得到历史点击表示序列C＝[c₁,c₂,...,c_x,...,c_N]和候选快讯表示序列C′＝[c′₁,c′₂,...,c′_x,...,c′_N]；

g)创建与快讯的服务类型数量S相同个数的兴趣代理节点V_p＝[v_p,1,v_p,2,...,v_p,i,...,v_p,S]，其中v_p,i为用户对第i种服务类型快讯的兴趣，i∈{1,...,S}，构建用户兴趣结构无向图G＝(V_st,E_st)，式中V_st为兴趣代理节点V_p和历史点击快讯序列数据V中每条快讯为节点在内的节点集合，E_st为图的边集合，E_st∈<v_i,v_i+1>∪<v_i,v_p,j>，<v_i,v_i+1>为用户点击历史中第i个快讯v_i和第i+1个快讯v_i+1的无向边，<v_i,v_p,j>为用户点击历史中第i个快讯v_i和其所属服务类型的兴趣代理节点v_p,j的无向边；

h)使用图注意力网络GAT将用户兴趣结构无向图G中相同服务类型的快讯聚合到对应的兴趣代理节点V_p中，得到结构化后的兴趣代理节点表示

其中/>

为第i个结构化后的兴趣代理节点，i∈{1,...S}；

i)将结构化后的兴趣代理节点表示

输入到多头自注意力网络的兴趣协同层中，得到增强后的兴趣节点表示/>

式中/>

为第i个增强后的兴趣节点，i∈{1,...S}；

j)通过公式

计算得到第i个兴趣代理节点的归一化注意力权重α_p,i，式中a_p.i为第i个兴趣代理节点的权重，/>

q_p为兴趣查询向量，T为转置，D_p为兴趣查询向量长度，D_p＝200，W_p及b_p均为用户兴趣注意力网络中可学习参数；

k)通过公式

计算得到所有兴趣协同增强后的代理节点的加权和u；

l)通过公式y＝u^Tc′_x计算得到用户和每一个候选快讯的点击概率y，选取概率最大的5个候选快讯推荐给用户。

2.根据权利要求1所述的基于结构化多兴趣协同的企业服务快讯推荐方法，其特征在于：步骤a)中N取值为128，M取值为32。

3.根据权利要求1所述的基于结构化多兴趣协同的企业服务快讯推荐方法，其特征在于：步骤b)中分词工具为jieba分词工具，使用预训练的300维Glove中文词嵌入将历史点击快讯标题的分词序列[x₁,x₂,...,x_i,...,x_F]映射为词嵌入序列[e₁,e₂,...,e_i,...,e_F]，将候选快讯标题的分词序列[x′₁,x′₂,...,x′_i,...,x′_F]映射为词嵌入序列[e′₁,e′₂,...,e′_i,...,e′_F]，F取值为32。

4.根据权利要求1所述的基于结构化多兴趣协同的企业服务快讯推荐方法，其特征在于，步骤c)包括如下步骤：

c-1)中通过公式

计算得到h_i，式中/>

为拼接操作，GRU(·)为GRU网络，/>

为正向门控循环单元中的上一时刻的隐藏状态，

为反向门控循环单元中的上一时刻的隐藏状态；

c-2)中通过公式

计算得到h′_i，式中/>

为拼接操作，GRU(·)为GRU网络，/>

为正向门控循环单元中的上一时刻的隐藏状态，

为反向门控循环单元中的上一时刻的隐藏状态。

5.根据权利要求1所述的基于结构化多兴趣协同的企业服务快讯推荐方法，其特征在于，步骤d)附加选择器应用于融合双向语义的词嵌入序列[h₁,h₂,...,h_i,...,h_F]和[h′₁,h′₂,...,h′_i,...,h′_F]的方法为：

d-1)通过公式

计算得到第i个的增强后的词嵌入/>

式中⊙为逐点元素相乘，Slt_i＝σ_slt(W_slth_i+b_slt)，W_slt及b_slt为可学习参数，σ_slt(·)为RELU非线性激活函数；

d-2)通过公式

计算得到第i个的增强后的词嵌入/>

式中⊙为逐点元素相乘，Slt′_i＝σ_slt(W′_slth′_i+b′_slt)，W′_slt及b′_slt为可学习参数，σ_slt(·)为RELU非线性激活函数。

6.根据权利要求1所述的基于结构化多兴趣协同的企业服务快讯推荐方法，其特征在于，步骤e)使用词注意力网络为每条快讯标题分配一个权重的方法为：

e-1)通过公式

计算得到i个单词的归一化注意力权重为α_i，式中

W_t及b_t均为注意力网络中可学习的参数，q_t为词查询向量，T为转置，α_j为第j个单词的权重，j∈{1,...F}，D_t为词查询向量长度，D_t＝200；

e-2)通过公式

计算得到i个单词的归一化注意力权重为α′_i，式中

W′_t及b′_t均为注意力网络中可学习的参数，q′_t为词查询向量，α′_j为第j个单词的权重，j∈{1,...F}，D′_t为词查询向量长度，D′_t＝200。

7.根据权利要求1所述的基于结构化多兴趣协同的企业服务快讯推荐方法，其特征在于：步骤h)中通过公式

计算得到第i个兴趣代理节点在第k个图注意力头中的表示/>

K为图注意力头的总数，式中/>

为可学习的线性投影参数，/>

为第i个兴趣代理节点v_p,i的一阶邻居集合，/>

为第k个图注意力头中第j个一阶邻居对兴趣代理节点v_p,i的重要性参数，/>

式中σ_gat为负斜率为0.2的LeakyRELU非线性激活函数，f(·)为单层前馈神经网络，v_p,i′为第i个兴趣代理节点v_p,i的原始向量表示，通过公式/>

计算得到第i个兴趣代理点所有图注意力头产生表示的拼接/>

为拼接操作。

8.根据权利要求7所述的基于结构化多兴趣协同的企业服务快讯推荐方法，其特征在于：K取值为20。

9.根据权利要求1所述的基于结构化多兴趣协同的企业服务快讯推荐方法，其特征在于：步骤i)中通过公式

计算得到第i个兴趣代理节点在第l个自注意力头中的表示/>

式中/>

为在第l个自注意力头中第i个兴趣代理节点和第j个兴趣代理节点之间的协同作用参数，/>

及/>

均为l个自注意力头中可学习的线性投影参数，T为转置，/>

为第j个结构化后的兴趣代理节点，j∈{1,...S}，通过公式/>

计算得到第i个增强后的兴趣节点

为拼接操作，L为自注意力中注意力头的总数。

10.根据权利要求9所述的基于结构化多兴趣协同的企业服务快讯推荐方法，其特征在于：L取值为20。

Images