CN108629010A - 一种基于主题和服务组合信息的web服务推荐方法 - Google Patents

Abstract

本发明公开了一种基于主题和服务组合信息的web服务推荐方法，其步骤是:1)获取用户web服务历史评分记录以及web服务的描述信息和服务组合信息；2)使用LDA模型获取服务‑主题矩阵，根据服务‑主题矩阵，计算web服务之间的主题相似度；3)计算web服务之间的服务组合相似度矩阵；4)根据主题相似度和服务组合相似度矩阵，选择每个web服务的邻居集合；5)将邻居集合以及相似度矩阵，与SVD矩阵分解模型融合，以预测评分；6)根据预测评分，选择评分最高的若干个服务进行推荐；本方法引入了对服务主题信息和服务组合信息的考虑，为web服务推荐引入了新的维度，提升了推荐精度，同时，能够解决部分服务推荐冷启动问题，具有广泛的市场前景。

Description

一种基于主题和服务组合信息的web服务推荐方法

技术领域

本发明涉及计算机网络服务技术领域，具体是一种基于主题和服务组合信息的web服务推荐方法，是用于web服务推荐的协同过滤方法。

背景技术

随着面向服务的框架(Servcie Oriented Architecture,SOA)的快速发展，互联网开始涌现了大量的web服务。Web服务(Web Service)是基于XML和HTTPS的一种服务，其通信协议主要基于SOAP，服务的描述通过WSDL，通过UDDI来发现和获得服务的元数据。Web服务就是一个应用程序，它向外界暴露出一个能够通过Web进行调用的API，能够用编程的方法通过Web来调用这个应用程序。随着Web 2.0技术的发展，一种新型的web服务mashup应用在因特网上逐渐流行，mashup应用将多个外部的数据源和服务整合起来，利用现有的web服务或者数据源，组合这些资源建立一个新的web服务，并且新的服务的价值大于所使用服务组合的简单叠加。根据web服务网站Programmableweb统计，截止到2017年9月，API的数量已达到14653，mashup的数量达到了6259。

面对大量的web服务，大部分用户由于缺乏足够的经验或者能力选择合适的服务，因此，为用户推荐一些适合自身需求的web服务成为了当务之急，推荐***便是解决信息过载问题的有效手段之一，而协同过滤是推荐***中最常用的方法。然而由于用户对web服务的历史信息非常稀疏，导致计算相似度不太准确，为了提高推荐的精度，当前很多方法考虑在传统的推荐模型中加入一些用户特征或者物品特征，例如，时间信息和功能主题信息。

然而，目前由于ProgrammableWeb等web服务网站在隐私保护方面的整改，用户的时间信息越来越难以获取，为此，我们考虑利用服务组合信息和功能主题信息，来有效地提升推荐效果。服务组合信息就是mashup应用对于原子web服务的调用关系，由于web服务的用户大多是技术开发人员，当用户喜欢某一个mashup时，他们很可能对该mashup应用调用的web服务API也感兴趣，同时，引入服务组合信息也可以为推荐引入新的维度，可以为用户推荐那些在结构上相似的web服务。

发明内容

发明目的：针对现有技术中存在的不足，本发明提供一种基于主题和服务组合信息的web服务推荐方法。

技术方案：一种基于主题和服务组合信息的web服务推荐方法，具体步骤如下：

步骤1，获取用户对于web服务的历史偏好记录以及web服务的标签，描述，服务组合信息；

步骤2，利用LDA模型训练得出服务-主题矩阵，根据服务-主题矩阵，计算web服务之间的主题相似度；

步骤3，根据web服务之间的服务组合信息，计算web服务的服务组合相似度；

步骤4，结合主题相似度和服务组合相似度，计算每个web服务的邻居服务的集合；

步骤5，结合主题和服务组合相似度，以及步骤4中的邻居服务集合，利用SVD矩阵分解模型，预测用户对于每个web服务的评分；

步骤6，根据用户对web服务的评分，选出评分最高的若干个web服务，推荐给用户。

本发明步骤2中，对web服务的标签、描述等文本信息，在进行LDA模型训练之前，需要先进行预处理，预处理过程包括分词，拼写检查，内容清理，去除特殊符号和停用词，词干化等步骤，预处理后，得到web服务S的单词集合S＝<word₁,word₂,...>，将其作为LDA主题模型的输入，输出每个web服务的主题分布，具体为S_i＝{T₁,T₂,T₃…}，LDA模型的生成公式：

p(w|s)＝p(w|t)*p(t|s)

p(w|s)表示每个单词w在服务s描述文档中的概率，p(w|t)表示每个单词w在主题t下的概率，p(t|s)表示每个主题t在服务s描述文档中的概率。

采用余弦相似度计算web服务的主题相似度Sim_T(WS_i,WS_j)，计算公式为：

其中WS_i,WS_j表示第i个web服务和第j个web服务，S_i是第i个服务的主题分布向量，S_j是第j个服务的主题分布向量，<S_i,S_j>表示向量的内积，|S_i|为向量的模。

本发明步骤3中，计算服务组合相似度的具体流程是：提取web服务的服务组合信息，具体为M＝{api1,api2…}，M表示mashup服务M，api1，api2…是该mashup服务调用的原子服务，建立服务-API调用关系矩阵，判断web服务是原子服务还是mashup服务，如果是两个原子web服务之间，则根据调用关系矩阵，计算公式如下：

其中，M_i表示调用第i个web服务的mashup服务集合，M_j表示调用第j个web服务的mashup服务集合。

如果两个web服务是两个mashup或者一个mashup一个web服务，则根据调用关系矩阵，计算公式如下：

其中，A_i表示第i个web服务所调用的原子服务集合，A_j表示第j个服务所调用的原子服务集合；

本发明步骤4中，选择邻居的时候，分别会选择在主题上以及服务组合上最近的k个邻居，选取的原则是根据web服务之间的相似度大小，相似度越大则越相近，这里k建议设置成5。

使用以下约束目标来选择web服务的WS_i邻居集合N(ws_i):

N(ws_i)＝{l|l∈Top-k(i),sim(i,l)＞0,i≠l}

其中Top-k(i)表示与第i个web服务相似度最大的k个服务的集合；

本发明步骤5中，结合了服务组合信息和主题信息的SVD预测模型采用随机梯度下降的方法进行求解，随机梯度下降的终止条件是训练集预测值收敛，这里我们采用固定步数，步数为150步，超参数α和β用于控制主题信息和服务组合信息所占的比重，数值通过交叉验证得出。

本发明步骤6中，根据步骤5学习出的模型，对每个用户，计算出该用户对每个web服务的评分值，将这些评分值按从高到低进行排序，选出评分值最高的若干个web服务，推荐给用户。

与现有的推荐方法相比，本发明主要有以下优势：(1)结合了主题信息和服务组合信息，使得推荐的精度更深，推荐的维度更广；(2)解决了协同矩阵数据稀疏，相似度计算不准确的问题；(3)部分冷门的web服务可以通过服务组合信息或者主题信息上的邻居关系被推荐出来；(4)采用矩阵分解和随机下降的方法训练模型，模型训练的时间更短。

附图说明

图1是本发明方法的主体框架图；

图2是计算主题相似度的流程图；

图3是计算服务组合相似度的流程图；

图4是本发明与其他方法在RMSE指标上的对比图；

图5是本发明与其他方法在MAE指标上的对比图。

具体实施方式

下面结合具体实施例，进一步阐明本发明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。

如图1所示，基于主题和服务组合信息的web服务推荐方法，主要分为六个步骤：

步骤1，获取用户对于web服务的历史偏好记录以及web服务的标签，描述，服务组合信息；

步骤2，利用LDA模型训练得出服务-主题矩阵，根据服务-主题矩阵，计算web服务之间的主题相似度；

步骤3，根据web服务之间的服务组合信息，计算web服务的服务组合相似度；

步骤4，结合主题相似度和服务组合相似度，计算每个web服务的邻居服务的集合；

步骤5，结合主题和服务组合相似度，以及步骤4中的邻居服务集合，利用SVD矩阵分解模型，预测用户对于每个web服务的评分；

步骤6，根据用户对web服务的评分，选出评分最高的若干个web服务，推荐给用户。

步骤1中，用户对于web服务的历史偏好记录、web服务的功能描述信息以及服务组合信息，可以从ProgrammableWeb网站使用网站提供的API爬取(http://www.programmableweb.com)。我们本实例采用的数据如表1所示：

表1

用户数	510
		原子web服务数	2713
Mashup数	2100
		平均mashup包含API数	2.2
数据稀疏率	99.13％

步骤2中，我们利用LDA模型计算web服务的主题相似度，处理流程如图2，首先需要进行文本预处理，预处理过程包括分词，拼写检查，内容清理，去除特殊符号和停用词，词干化等步骤，预处理后，得到web服务S的单词集合S＝<word₁,word₂,...>，将其作为LDA主题模型的输入，输出每个web服务的主题分布，具体为S_i＝{T₁,T₂,T₃…}，以表2的两个web服务Google Buzz和Desktop music player的功能描述为例：

表2

在进行文本预处理后，结果如表3所示，每个web服务由若干个单词的词干构成：

表3

将预处理后的文本内容使用LDA模型进行训练，LDA模型的生成公式：

p(w|s)＝p(w|t)*p(t|s)

p(w|s)表示每个单词w在服务s描述文档中的概率，p(w|t)表示每个单词w在主题t下的概率，p(t|s)表示每个主题t在服务s描述文档中的概率。这里主题个数设置为10，得到每个web服务的服务-主题分布，上面的Google Buzz和Desktop music player的服务-主题分布如下：

S1＝<0.00240964，0.17108434，0.60481928，…,0.21927711，0.00240964>

S2＝<0.008,0.008,0.728,…,0.248,0.008>

对于上面的服务-主题分布，使用余弦相似度计算S1和S2的主题相似度，计算公式如下：

其中<S₁,S₂>表示向量S₁和S₂的内积，|S₁|为向量S₁的模，通过计算可以得到，Google Buzz和Desktop music player在主题上的相似度为0.2891145。

步骤3中，我们通过爬取的web服务的服务组合关系，计算web服务之间的服务组合相似度，处理流程如图3所示，首先，需要获取web服务的组合关系，我们以下表的web服务为例，获取组合关系如下：

表4

我们建立服务-api调用关系矩阵，建立矩阵如下：

	Google Maps	Youtube	MTV	Google Search
					S1	1	1	0	0
S2	0	1	1	0
					S3	0	0	1	1

当我们需要求S1和S2的服务组合相似度时，我们根据调用关系矩阵，使用如下计算公式：

其中，A₁表示S1调用的原子服务集合，A₂表示S2调用的原子服务集合。

|A₁∩A₂|＝1,|A₁∪A₂|＝3，因此计算S1和S2的相似度Sim_C(S₁,S₂)为1/3。

当我们需要计算Google Maps和Youtube两个原子服务的服务组合相似度时，我们根据调用关系矩阵，使用如下计算公式：

其中，S4代指Google Maps,S5代指Youtube,M4表示调用S4的服务集合，M5表示调用S5的服务集合|M₄∩M₅|＝1，|M₄∪M₅|＝2，因此计算S4和S5的组合相似度为1/2。

步骤4中，将每个web服务的相似度从大到小排序，选取最相似的若干个服务，作为该web服务的邻居集合，根据步骤2和步骤3，我们分别可以求得每个web服务s在主题层面上的邻居集合TN_(s)以及在服务组合层面上个的邻居集合CN_(s)

步骤5中，将步骤2,3,4得到相似度矩阵，以及邻居集合融合进SVD矩阵分解模型，模型如下：

其中，r_us表示用户u对服务s的预测评分，μ表示全局平均偏差，b_u表示用户偏差，b_s、b_s表示服务偏差，p_u用户端隐式向量，q_s、q_l、q_k为服务端隐式向量，α，β为权重系数，ω_sl,g_sk分别为两个服务的主题和服务组合相似度。

通过最小化如下的损失函数，利用随机梯度下降的方法，可以求解该模型,损失函数L如下：

其中，M表示用户历史评分信息集合(u,s)∈M表示用户u对服务s的评分属于集合M,R_us是用户的实际评分值，损失函数中加入正则项防止过拟合，λ为正则项系数。

输入为用户的历史评分记录，主题相似度矩阵，组合相似度矩阵以及邻居集合，输出是b_u,b_s,p,q等参数，从而可以通过模型预测用户对于任意服务的评分。

步骤6中，对于任意一个用户u，我们根据步骤5中的预测模型，预测该用户对于所有web服务的评分，将预测评分按从高到低排序，选取评分最高的若干个服务，推荐给用户。

本实例，我们采用RMSE(均方根误差)和MAE(平均绝对误差)作为评估指标，将数据集随机选取90％作为训练集，10％作为测试集进行实验，RMSE和MAE定义如下：

实验结果如图4和图5所示，由图可以看出，本发明在RMSE上比传统的SVD矩阵分解方法提升了3.6％，同时，与引入了时序特征方法相比，本发明拥有不输于时序模型的RMSE精度,而在MAE上，本方法比传统的矩阵分解方法提升了8.95％，比时序特征方法提升了7.6％。

本发明将主题信息和服务组合信息融入了web服务推荐，使得web服务推荐方法有了新的维度，能够弥补传统的推荐方法中协同矩阵过于稀疏的不足，实验表明，结合了主题信息和服务组合信息的web服务推荐方法，与传统的web服务方法相比在精度上有了一定的提升。

Claims (5)

1.一种基于主题和服务组合信息的web服务推荐方法，其特征在于，包括步骤如下：

步骤1，获取用户对于web服务的历史偏好记录以及web服务的标签，描述，服务组合信息；

步骤2，利用LDA模型训练得出服务-主题矩阵，根据服务-主题矩阵，计算web服务之间的主题相似度；

步骤3，根据web服务之间的服务组合信息，计算web服务的服务组合相似度；

步骤4，结合主题相似度和服务组合相似度，计算每个web服务的邻居服务的集合；

步骤5，结合主题和服务组合相似度，以及步骤4中的邻居服务集合，利用SVD矩阵分解模型，预测用户对于每个web服务的评分；

步骤6，根据用户对web服务的评分，选出评分最高的若干个web服务，推荐给用户。

2.如权利要求1所述的基于主题和服务组合信息的web服务推荐方法，其特征在于，步骤2中，LDA主题模型的输入是每个web服务的文本预处理后的描述文档，输出是每个web服务的服务-主题分布以及主题-词频分布，T₁，T₂，T₃代表该web服务在主题1，主题2，主题3下的概率数值，采用余弦相似度计算web服务的主题相似度Sim_T(WS_i，WS_j)，计算公式为：

其中WS_i，WS_j表示第i个web服务和第j个web服务，S_i是第i个服务的主题分布向量，S_j是第j个服务的主题分布向量，<S_i，S_j>表示向量的内积，|S_i|为向量的模。

3.如权利要求1所述的基于主题和服务组合信息的web服务推荐方法，其特征在于，步骤3中，计算组合相似度的具体流程是：提取web服务的服务组合信息，具体为M＝{api1，api2...}，M表示mashup服务M，api1，api2...是该mashup服务调用的原子服务，建立服务-API调用关系矩阵，判断web服务是原子服务还是mashup服务，如果是两个原子web服务之间，则根据调用关系矩阵，计算公式如下：

其中，M_i表示调用第i个web服务的mashup服务集合，M_j表示调用第j个web服务的mashup服务集合；

如果两个web服务是两个mashup或者一个mashup一个web服务，则根据调用关系矩阵，计算公式如下：

其中，A_i表示第i个web服务所调用的原子服务集合，A_j表示第j个服务所调用的原子服务集合。

4.如权利要求1所述的基于主题和服务组合信息的web服务推荐方法，其特征在于，选择邻居的时候，分别会选择在主题上以及服务组合上最近的k个邻居，选取的原则是根据web服务之间的相似度大小，相似度越大则越相近：

使用以下约束目标来选择web服务的WS_i邻居集合N(ws_i)：

N(wS_i)＝{l|l∈Top-k(i)，sim(i，l)＞0，i≠l}

其中Top-k(i)表示与第i个web服务相似度最大的k个服务的集合。

5.如权利要求1所述的基于主题和服务组合信息的web服务推荐方法，其特征在于，步骤5中，使用SVD矩阵分解的方法进行评分预测，其中，预测模型如下：

其中r_us表示用户u对服务s的评分，μ表示全局平均偏差，b_u表示用户偏差，b_s表示服务偏差，p_u用户端隐式向量，q_s为服务端隐式向量，α，β为权重系数，ω_sl，g_sl为两个服务s和l之间的主题相似度和服务组合相似度；

通过最小化损失函数，利用随机梯度下降的方法，可以求解该预测模型，损失函数L如下：

其中，M表示用户历史评分信息集合，(u，s)∈M表示用户u对服务s的评分属于集合M，R_us是用户的实际评分值，损失函数中加入正则项防止过拟合，λ为正则项系数。