CN110334278A

CN110334278A - 一种基于改进深度学习的web服务推荐方法

Info

Publication number: CN110334278A
Application number: CN201910597192.1A
Authority: CN
Inventors: 邹倩颖; 陈东祥; 刘家委; 李雪
Original assignee: Chengdu College of University of Electronic Science and Technology of China
Current assignee: Chengdu College of University of Electronic Science and Technology of China
Priority date: 2019-07-03
Filing date: 2019-07-03
Publication date: 2019-10-15

Abstract

本发明公开了一种基于改进深度学习的web服务推荐方法，包括如下步骤：从web服务的WSDL文档中提取自由文本标签数据；利用基于SDAE的LFM从web服务的自由文本标签数据中得到用户‑评分矩阵；根据用户‑评分矩阵构建出用户‑服务的功能性特征偏好矩阵，并联合web服务的QoS数据集构建出混合偏好矩阵；对混合偏好矩阵使用基于混合偏好矩阵的协同过滤算法预测出缺失的QoS值，实现智能推荐。通过本发明，可以实现一种基于改进深度学习的web服务推荐方法。

Description

一种基于改进深度学习的web服务推荐方法

技术领域

本发明涉及深度学习领域，具体是一种基于改进深度学习的web服务推荐方法。

背景技术

随互联网技术发展与web2.0的到来，web服务数量快速增长，在数量庞大的web服务中用户难以选择出同时满足符合自身功能性属性需求和高质量的服务,因此为用户推荐该类服务已成为服务计算领域的热门研究方向。

传统基于QoS的协同过滤算法[1-3]，大都基于用户的QoS调用信息，通过计算用户相似度或服务相似度，并选出相似邻居，预测出缺失的QoS值，并以此为用户推荐。然而传统方法对稀疏性问题极为敏感，且存在用户冷启动问题并未同时考虑到用户服务的功能性偏好和质量偏好。

发明内容

本发明的目的在于克服现有技术的不足，提供一种基于改进深度学习的web服务推荐方法，包括如下步骤：

步骤一：从web服务的WSDL文档中提取自由文本标签数据；

步骤二：利用基于SDAE的LFM从web服务的自由文本标签数据中得到用户-评分矩阵；

步骤三：根据用户-评分矩阵构建出用户-服务的功能性特征偏好矩阵，并联合web服务的QoS数据集构建出混合偏好矩阵；

步骤四：对混合偏好矩阵使用基于混合偏好矩阵的协同过滤算法预测出缺失的QoS值，实现智能推荐。

进一步的，步骤三中的所述的构建用户-评分矩阵构建出用户-服务的功能性特征偏好矩阵包括如下步骤：

基于SDAE特征的特征提取；具体包括将4个DAE网络(l_d1～l_d4)组成一个SDAE网络，对SDAE网络进行无监督预训练，训练时采用逐层训练；当第i层训练完成后，固定第i层的权重参数，并将其特征编码作为i+1层的输入，当所有层的训练结束后，得到权重参数集合W₀ ⁺{(W_i,b_i)|i 1，2，3，4}作为SDAE网络的初始权重；预训结束后，在最后一层DAE网络后添加一个逻辑回归器softmax对整个神经网络进行有监督微调，输出服务特征矩阵T＝f_e ⁽²⁾(x,W⁺)；其中，X为web服务标签数据集由web服务中的WSDL文档提取词向量标签所得，W⁺是W₀ ⁺经过有监督微调后得到的参数集合；

基于LFM的矩阵分解训练；包括如下过程，首先计算项目-特征质量矩阵V，利用LFM的优化目标函数得到项目-特征质量矩阵V＝W·T+b；其中λ₁,λ₂为过拟合惩罚因子；U_i表示用户-特征关注矩阵U中第i个用户；V_j表示项目-特征质量矩阵V第j个项目；R_ij表示用户-项目评分矩阵R_m*n中用户i对服务j的仿真模拟评分,并且此时R_m*n是一个稀疏矩阵，T代表web服务特征矩阵由SDAE网络训练所得，w代表权值矩阵由权值参数W⁺所构成，b代表偏置向量；得到用户-服务的功能性特征偏好矩阵R_m*n；

进一步的，步骤三中的联合web服务的QoS数据集构建出混合偏好矩阵包括如下步骤：

构建用户-服务的混合偏好矩阵，包括如下过程，U＝{U₁，U₂，U₃，U₄.......U_m}、S＝{S₁,S₂,S₃,S₄......S_n}分别为用户集合和服务集合,构建一个用户-服务混合矩阵sat^m×n其大小为m×n并令用户U_i对服务S_j的偏好为变量sat_i,j，构建一个QoS矩阵Q^m×n其大小为m×n并令用户U_i访问服务S_j的混合QoS值为变量q_i,j，得到用户偏好矩阵

计算用户和服务的相似邻居集合；

预测用户和服务缺失的QoS值；

用权重参数λ预测出推荐预测值P(U,i)。

进一步的，所述的计算用户和服务的相似邻居集合包括如下过程：变量sat_i,j的表达式为其中，α,β,δ分别代表用户对响应时间、吞吐量的QoS偏好值以及web服务的特征偏好值，具体的

其中，min(u_i)和max(u_i)分别表示用户U_i访问的最小和最大的QoS值(响应时间)，q_i,j表示用户U_i访问服务S_j的QoS值(响应时间)；

其中，min(u_i)和max(u_i)分别表示用户U_i访问的最小和最大的QoS值；q_i,j表示用户U_i访问服务S_j的QoS值；

min(u_i)和max(u_i)分别表示用户U_i访问的最小和最大的QoS值；R_i,j表示用户U_i对服务S_j的兴趣度值；

最后得到一个用户偏好矩阵

进一步的，所述的计算用户和服务的相似邻居集合采用如下公式：

其中，sim_sat(i,j)和sim_sat(U,V)分别表示混合偏好矩阵Sat中服务i，j和用户u、v之间的相似度；I_sat表示混合用户偏好矩阵Sat中用户u和v共同访问的融合后的Web服务的混合偏好数据集合；i是集合I_sat中的一个服务；sim_sat(U,V)表示偏好矩阵Sat中用户u、v之间的相似度；sat_u,i和sat_v,i分别表示混合偏好矩阵Sat中用户u和用户V访问服务i的混合偏好值；和代表混合偏好矩阵Sat中用户u、v访问所有服务的混合偏好值计算得到的混合偏好平均值；和代表混合偏好矩阵Sat中由服务i、j各自的混合偏好值所计算得到的混合偏好平均值。

进一步的，所述的预测用户和服务缺失的QoS值采用如下公式：

其中，P_u(U,i)和P_i(U,i)分别表示用户集合U中用户u访问服务i的QoS预测值和服务集合中服务对所有用户的缺失的QoS预测值；u和i分别表示用户集合U和服务集合I_sat中的一个用户和一个服务；和表示由服务i和服务j各自的混合偏好值计算得到的混合偏好平均值；和表示由被用户u和用户v访问过的Web服务的各自的混合偏好值计算得到的混合偏好平均值；sim_sat(i,j)和sim_sat(U,V)分别表示用户u，v和服务i，j之间的相似度；sat_u,i和sat_v,i分别表示用户u访问服务j和用户v访问服务j的混合偏好值；N(u)和N(i)为根据top－k算法选择的服务i的优先相似邻居集合和用户u的优先相似邻居集合。

进一步的，所述的用权重参数λ预测出推荐预测值p(u,i)采用如下公式：p(u,i)＝λP_u+(1-λ)P_i(u,i),λ∈[0,1]，其中，此处QoS值包含了web服务中响应时间、吞吐量两个属性维度，p_u(u,i)表示用户集合U中用户u访问服务i的QoS预测值；p_i(u,i)表示务集合中服务对所有用户的缺失的QoS预测值；i是集合I_sat中的一个服务；p(u,i)是QoS的最佳预测值，λ是权重参数。

本发明的有益效果是：本方法提出的从QoS数据中提取用户偏好构建QoS偏好矩阵，和利用深度学习模型SDAE的LFM算法用户-服务功能属性的特征偏好矩阵，并将两个偏好矩阵融合为混合偏好矩阵,以此为基准进行缺失值的预测。实验结果证明了该方法具有很好的预测准确率，而且在大规模稀疏数据集上表现优异。基于改进的方法的优点，该方法不仅可以用于web服务推荐，也可以用于商品推荐和电影推荐。

附图说明

图1为一种基于改进深度学习的web服务推荐方法的流程图；

图2为参数Top-k of Users对MAE值的影响；

图3为参数Top-k of Service对MAE值的影响。

具体实施方式

下面结合附图进一步详细描述本发明的技术方案，但本发明的保护范围不局限于以下所述。

如图1所示，为了验证算法的有效性，算法中采用了香港中文大学发布的WSD REAM数据集^[15]，该数据集收集了从5,825个Web服务上的339个用户获得的实际的QoS测量值包括响应时间和吞吐量，除此之外还包括了339个用户和5,825个Web服务的信息。

实验数据中的web服务-自由文本标签数据是由web服务信息中的WSDL(WebServices Description Language)文档提取词标签得到的，WSDL是一种使用XML编写的文档种文档可描述某个Web service。它可规定服务的位置，以及此服务提供的操作(或方法)它体现了一个web服务的功能性属性。

由于缺少评分数据为了更好的对数据特征进行提取，通常而言算法认为在用户使用服务时会对服务质量高的数据产生好感,并且愿意给出一个高的评分，由此算法中通过用户-服务的QoS数据来构建一个仿真模拟评分，在用户使用服务中S_i表用户使用的单个服务QoS数据的平均值S_max代表用户使用的服务QoS最高的服务取S_max的评分为10分，根据用户评分习惯算法中取里面QoS值最低的S_min的评分为1分，当S_min＜S_i＜S_max时,由公式计算可以得到评分，由此构建出用户-服务评分矩阵。

由于SDAE只能接收定长的输入且需要将原始训练数据表示为向量的形式，因此算法中借助one-host的编码思想(使用N位状态寄存器表示N位信息)对数据进行编码，算法中将数据集中所有不重复的标签共10000对，进行标号，并使用长度为10000数组表示一条标签集合记录，例如服务j有一系列标签x_ij，标签编号集合为{2,3,4,6}，则X_ij＝011101000000 0……，其中只有第2、3、4、6位置上的元素值为1，其余值为0。

对于评分使用长度为10的数组表示，具体编码如表1。

表1评分值的one-host编码表

Table 1 One-host coding table of score

3.2评价指标

本文选取平均绝对误差(MAE)和均方根误差(RMSE)作为最终预测结果准确率的评价指标。MAE和RMSE的定义如式(19)和式(20)所示。

注：其中，q_u,i为真实的服务调用的QoS值；为通过算法预测的QoS值；N为预测值的数量。

其中，q_u,i为真实的服务调用的QoS值；为通过算法预测的QoS值；N为预测值的数量；两种评价指标均为值越低越准确。

为了证明文中算法的有效性，与传统的基于协同过滤的推荐算法UPCC(基于用户的皮尔逊相关系数预测算法)、LAFM(因子分解机的质量感知的推荐算法)、IPCC(基于服务的皮尔逊相关系数预测算法)和最新的基于改进的协同过滤推荐算法UPCF作对比实验。实验中使用的QoS属性为Web服务的响应时间(response time)。训练集数据的稀疏度(density)由矩阵的稀疏度决定，矩阵稀疏度分别设置为5％、10％、15％、20％、25％、30％。当矩阵稀疏度为15％就保留矩阵中15％，并移除另外百分之85％的数据。并将其中矩阵保留的数据作为训练集，移除的85％的数据作为测试集。每种算法做20次的独立重复实验，取MAE和RMSE的平均值作为实验结果。文中算法的用户邻居和服务邻居的top-k分别为20和130，权重参数λ为0.7，实验结果如表2和表3所示。

表2不同稀疏度下MAE对比结果

Table 2 Comparison of MAE under Different Sparsity

由表2可知，各推荐算法的MAE值随着数据集稀疏程度的降低而降低；MAE值越低，代表算法准确度越高，在各个稀疏程度下AUPCF与其他算法相比，其MAE值均比其他算法低，说明AUPCF的预测准确率均比其他算法的高。其中相对于UPCC，AUPCF的MAE值平均下降了25％；相对于IPCC，AUPCF的MAE值平均下降了23％；相对于LAFM，AUPCF的MAE值平均下降了21％；相对于UPCF，AUPCF的MAE值平均下降了17％。

表3不同稀疏度下RMSE对比结果

Table 3 Result of RMSE Contrast under Different Sparsity

由表3可知，在数据集的不同稀疏度下各推荐算法的RMSE值随着数据集的稀疏程度的降低而降低；RMSE值越低，代表算法的稳定性越高。在各个稀疏度下AUPCF与其他推荐算法相比，其RMSE值均比其他推进算法低，说明AUPCF相对于其他算法其稳定性更好。其中相对于UPCC，AUPCF的RMSE值平均下降了18％；相对于IPCC，AUPC的RMSE值平均下降了16.6％；相对于LAFM，AUPCF的RMSE值平均下降了16％；相对于UPCF，AUPCF的RMSE值平均下降了15％。

总的来说，在数据集的不同稀疏度下，AUPCF与传统算法相比较其算法准确率更高，预测结果的稳定性也要更好。

参数top-k通过选择该用户或服务相似矩阵中前K个数量偏好相似度值大的用户和服务作为相似邻居，并以此为基准计算该用户或服务QoS预测值。top-k过小会让QoS值个性化程度过高，会让相似邻居呈现不真实过度拟合的状态；top-k过大，就会让个性化程度降低，选择出来的相似邻居体现不了与用户相似的偏好。

参数λ是调节相似用户的预测部分和相似服务预测部分在AUPCF训练模型中的比重，其中λ是相似用户的预测部分所占的比例(1-λ)是相似服务所占的比例，证明了权重参数λ能有效提高预测的准确率。

以上所述仅是本发明的优选实施方式，应当理解本发明并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文所述构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。

Claims

1.一种基于改进深度学习的web服务推荐方法，其特征在于，包括如下步骤：

步骤一：从web服务的WSDL文档中提取自由文本标签数据；

2.根据权利要求1所述的一种基于改进深度学习的web服务推荐方法，其特征在于，步骤三中的所述的构建用户-评分矩阵构建出用户-服务的功能性特征偏好矩阵包括如下步骤：

(1)基于SDAE特征的特征提取；具体包括将4个DAE网络(l_d1～l_d4)组成一个SDAE网络，对SDAE网络进行无监督预训练，训练时采用逐层训练；当第i层训练完成后，固定第i层的权重参数，并将其特征编码作为i+1层的输入，当所有层的训练结束后，得到权重参数集合W₀ ⁺{(W_i,b_i)|i 1，2，3，4}作为SDAE网络的初始权重；预训结束后，在最后一层DAE网络后添加一个逻辑回归器softmax对整个神经网络进行有监督微调，输出服务特征矩阵T＝f_e ⁽²⁾(x,W⁺)；其中，X为web服务标签数据集由web服务中的WSDL文档提取词向量标签所得，W⁺是W₀ ⁺经过有监督微调后得到的参数集合；

(2)基于LFM的矩阵分解训练；包括如下过程，首先计算项目-特征质量矩阵V，利用LFM的优化目标函数得到项目-特征质量矩阵V＝W·T+b；其中λ₁,λ₂为过拟合惩罚因子；U_i表示用户-特征关注矩阵U中第i个用户；V_j表示项目-特征质量矩阵V第j个项目；R_ij表示用户-项目评分矩阵R_m*n中用户i对服务j的仿真模拟评分,并且此时R_m*n是一个稀疏矩阵，T代表web服务特征矩阵由SDAE网络训练所得，w代表权值矩阵由权值参数W⁺所构成，b代表偏置向量；

(3)得到用户-服务的功能性特征偏好矩阵R_m*n。

3.根据权利要求1所述的一种基于改进深度学习的web服务推荐方法，其特征在于，步骤三中的联合web服务的QoS数据集构建出混合偏好矩阵包括如下步骤：

(1)构建用户-服务的混合偏好矩阵，包括如下过程，U＝{U₁，U₂，U₃，U₄.......U_m}、S＝{S₁,S₂,S₃,S₄......S_n}分别为用户集合和服务集合,构建一个用户-服务混合矩阵sat^m×n其大小为m×n并令用户U_i对服务S_j的偏好为变量sat_i,j，构建一个QoS矩阵Q^m×n其大小为m×n并令用户U_i访问服务S_j的混合QoS值为变量q_i,j，得到用户偏好矩阵

(2)计算用户和服务的相似邻居集合；

(3)预测用户和服务缺失的QoS值；

(4)用权重参数λ预测出推荐预测值P(U,i)。

4.根据权利要求3所述的一种基于改进深度学习的web服务推荐方法，其特征在于，所述的计算用户和服务的相似邻居集合包括如下过程：变量sat_i,j的表达式为其中，α,β,δ分别代表用户对响应时间、吞吐量的QoS偏好值以及web服务的特征偏好值，具体的

最后得到一个用户偏好矩阵

5.根据权利要求3所述的一种基于改进深度学习的web服务推荐方法，其特征在于，所述的计算用户和服务的相似邻居集合采用如下公式：

6.根据权利要求3所述的一种基于改进深度学习的web服务推荐方法，其特征在于，所述的预测用户和服务缺失的QoS值采用如下公式：

7.根据权利要求3所述的一种基于改进深度学习的web服务推荐方法，其特征在于，所述的用权重参数λ预测出推荐预测值p(u,i)采用如下公式：p(u,i)＝λP_u+(1-λ)P_i(u,i),λ∈[0,1]，其中，此处QoS值包含了web服务中响应时间、吞吐量两个属性维度，p_u(u,i)表示用户集合U中用户u访问服务i的QoS预测值；p_i(u,i)表示务集合中服务对所有用户的缺失的QoS预测值；i是集合I_sat中的一个服务；p(u,i)是QoS的最佳预测值，λ是权重参数。