CN105024886A - 一种基于用户元数据的快速Web服务QoS预测方法 - Google Patents

Abstract

本发明公开了一种基于用户元数据的快速Web服务QoS预测方法，该方法通过使用用户的元数据(地理位置信息和历史QoS记录)来精确选择请求用户的领域，同时通过融合用户扩展内在属性的矩阵分解算法有效地提高预测的准确性。本发明通过矩阵分解加速技术大大提升了求解效率，从而实时响应多用户的个性化QoS查询请求。

Description

一种基于用户元数据的快速Web服务QoS预测方法

技术领域

本发明属于Web服务技术领域，具体涉及一种基于用户元数据的快速Web服务QoS预测方法。

背景技术

在Web 2.0时代互联网服务浪潮的推动下,传统的软件***的主要形态、运行方式、生产方式和使用方式正发生着巨大的变化。Web服务的广泛部署和应用，给工业界和学术界带来源源不断的动力，并促进服务领域学科的持续发展。在业界的推动下，作为服务科学的基础的QoS(Quality of Service，服务质量)属性也引起了众多服务学科研究者的关注。近年来，基于QoS的范式也广泛地应用在服务选择，服务发现，服务组合，服务推荐和服务监控等领域，大大推动服务学科的前行发展。

目前，上述领域的发展均需要对大量QoS数据资源作挖掘和分析工作。然而，在真实情况下，这种数据要求比较难得到满足，原因如下：(1)大部分服务资源都是由商业公司和机构持有。如果通过调用这类服务的方式获得QoS数据资源，研究者将需要花费大量的金钱成本。(2)当代互联网发展日新月异，每天都有大量的服务涌现。如果通过调用这些海量服务的方式获得QoS数据资源，研究者将需要花费大量的时间成本。因此，在真实的应用场景下，大量充足的QoS资源是很难通过调用服务的方式获得的。同时，QoS信息的缺失也在阻碍了服务科学的发展。

近年来，解决QoS稀缺性的问题得到了研究者的高度重视。研究者思考如何通过使用机器学习方法对缺失的QoS数据资源进行预测。现有工作中，对未知的QoS进行预测主要使用基于PCC(Pearson Correlation Coefficient)方法来计算客户端用户之间或者Web服务之间的相似度。然而，这种计算方法存在以下两点不足：(1)PCC方法需要对历史记录中的QoS作统计学习，严重依赖于数据的准确性和完备性。然而由于当代互联网环境的复杂性，QoS记录并不一定都是准确的，致使PCC方法在服务计算场景下相似性计算准确率下降。(2)传统的PCC方法广泛地应用在推荐***领域。然而，推荐***和服务计算的应用场景存在着本质的区别。在QoS历史记录中，每一项都是由用户的实际使用网络环境决定的，这种数据客观性的特点直接降低了PCC相似度计算的精度。

同时，目前主流的QoS预测工作还存在***求解时间过长的问题。实际上，过长的运行时间会对各方带来问题：对于研究者而言，通过冗长的学习时间而获得QoS数据资源不是他们所希望的。而对于***设计者而言，他们希望通过较少的时间成本来学习数据资源的内在规律。然而，目前的精确的QoS预测方法需要大量时间来学习数据属性，同时也缺乏对核心算法复杂度的实效分析。

发明内容

针对现有技术所存在的上述技术问题，本发明提供了一种基于用户元数据的快速Web服务QoS预测方法，能够有效提高预测的准确性，大大提升求解效率，从而实时响应多用户的个性化QoS查询请求。

一种基于用户元数据的快速Web服务QoS预测方法，包括如下步骤：

(1)收集所有用户提供的元数据，所述的元数据包括用户对其调用过的所有Web服务的QoS数据以及用户的IP地址信息；进而根据所述的QoS数据建立用户与Web服务之间的QoS元矩阵R；

(2)根据所述的元数据计算用户之间关于地理位置的欧式距离以及关于QoS数据的相似度；

(3)根据所述的欧式距离和相似度，确定出每个用户的邻域用户集合；

(4)根据所述的QoS元矩阵R以及每个用户的邻域用户集合，通过SVD(奇异值分解)方法建立以下目标函数Q，并对该目标函数Q进行最小化求解，以求得关于用户的隐式特征矩阵U和关于Web服务的隐式特征矩阵S；进而根据V＝U^TS重建用户与Web服务之间的QoS预测矩阵V；

$Q=\frac{1}{2}\underset{i=1}{\overset{m}{\Σ}}\underset{j=1}{\overset{n}{\Σ}}{I}_{ij}{\[R_{ij}-{(\mathrm{\α}\·U_i(1-\mathrm{\α})\·\frac{1}{K}\underset{g\∈N_2\left(i\right)}{\Σ}{U}_g)}^T{S}_j\]}^2+\frac{\mathrm{\λ}}{2}\left|\right|U|{|}_F^2+\frac{\mathrm{\λ}}{2}|\left|S\right|{|}_F^2$

其中：U_i为隐式特征矩阵U中的第i列向量，S_j为隐式特征矩阵S中的第j列向量，N₂(i)为第i个用户的邻域用户集合，K为预设的邻域用户个数即邻域用户集合N₂(i)中的用户总数，U_g为邻域用户集合N₂(i)中的第g个用户在隐式特征矩阵U中所对应的向量，m为用户的总数，n为Web服务的总数；R_ij为QoS元矩阵R中第i行第j列元素值，I_ij为R_ij的指示符，若R_ij为null则I_ij＝0，否则I_ij＝1；|| ||_F为F-范数，^T表示转置，α和λ均为给定的控制系数；

(5)接受用户关于Web服务的QoS查询请求，然后根据QoS预测矩阵V向该用户提供其所请求查询的Web服务的QoS数据预测结果。

所述的步骤(1)中根据QoS数据建立用户与Web服务之间的QoS元矩阵R，具体为：所述QoS元矩阵R的维度为m×n，QoS元矩阵R中第i行第j列元素值R_ij采用第i个用户对于第j个Web服务的QoS数据，若第i个用户之前未调用过第j个Web服务，则元素值R_ij为null。

所述的步骤(2)中通过以下公式计算用户之间关于地理位置的欧式距离：

$dist(i,p)=\sqrt{{(x_i-x_p)}^2+{(y_i-y_p)}^2}\×c$

其中：dist(i,p)为第i个用户与第p个用户之间关于地理位置的欧式距离，x_i和y_i分别为第i个用户的经度和纬度，x_p和y_p分别为第p个用户的经度和纬度，用户的经纬度信息由其IP地址信息转化得到；c为经纬度单位转化成单位米的常数，i≠p。

所述的步骤(2)中通过以下公式计算用户之间关于QoS数据的相似度：

$sim(i,p)=\frac{\underset{s\∈S}{\Σ}(R_{is}-\stackrel{\‾}{R_i})(R_{ps}-\stackrel{\‾}{R_p})}{\sqrt{\underset{s\∈S}{\Σ}{(R_{is}-\stackrel{\‾}{R_i})}^2}\sqrt{\underset{s\∈S}{\Σ}{(R_{ps}-\stackrel{\‾}{R_p})}^2}}$

其中：sim(i,p)为第i个用户与第p个用户之间关于QoS数据的相似度，为第i个用户对其调用过的所有Web服务的QoS数据平均值，为第p个用户对其调用过的所有Web服务的QoS数据平均值；S为第i个用户与第p个用户共同调用过的Web服务集合，R_is为第i个用户对Web服务集合S中第s个Web服务的QoS数据，R_ps为第p个用户对Web服务集合S中第s个Web服务的QoS数据，i≠p。

所述的步骤(3)中确定每个用户的邻域用户集合，具体方法如下：

首先，对于第i个用户，从其他所有用户中提取出与其关于地理位置欧式距离小于θ的用户组成用户集合N₁(i)，θ为预设的距离阈值；

然后，从用户集合N₁(i)中提取出与第i个用户关于QoS数据相似度最大的前K个用户组成第i个用户的邻域用户集合N₂(i)。

优选地，所述的步骤(4)中采用梯度下降迭代算法对目标函数Q进行最小化求解，且在每一轮迭代计算过程中构造中间变量记录表；能够解决重复项的问题，从而加速梯度下降求解过程。

所述的步骤(5)中最后将用户所请求查询的Web服务的QoS数据预测结果包装成html页面格式展现给用户。

本发明通过使用用户的元数据(地理位置信息和历史QoS记录)来精确选择请求用户的领域，同时通过融合用户扩展内在属性的矩阵分解算法有效地提高预测的准确性。本发明通过矩阵分解加速技术大大提升了求解效率，从而实时响应多用户的个性化QoS查询请求。

附图说明

图1为本发明基于用户元数据的快速Web服务QoS预测方法的流程示意图。

图2是快速QoS预测算法引擎的内部流程示意图。

具体实施方式

为了更为具体地描述本发明，下面结合附图及具体实施方式对本发明的技术方案进行详细说明。

如图1所示，本发明基于用户元数据的快速Web服务QoS预测方法，包括以下部分：

步骤1：采集用户元数据。元数据包括了两部分：(1)用户的IP信息；(2)用户的历史QoS数据。假设一共有m个用户和n个服务，那么：

使用历史数据产生一个m×n的用户-服务的QoS矩阵R：其中每一项R_ij是用户i对服务j的QoS使用情况。使用技术将用户的IP信息转化为用户的几何地理位置坐标(x₁,y₁)。其中x₁表示用户的经度位置，y₁表示用户的纬度位置。

步骤2：元数据预处理。对于采集的两部分，本发明分别采取以下处理方式：

根据几何地理元组计算用户间的相对距离，距离公式如下：

$dist(i,j)=\sqrt{{(x_i-x_j)}^2+{(y_i-y_j)}^2}\×c---\left(1\right)$

其中：c是从经纬度单位转化成单位米的常数。假设地球是球形，那么c近似等于111261。

对所有用户计算相对距离，产生一个m×m的用户相对距离信息矩阵D：其中每一项dist(i,j)表示用户i和用户j的相对距离信息。

根据历史QoS数据计算用户间的相似度。相似度公式如下：

$sim(i,j)=\frac{\underset{s\∈S}{\Σ}(R_{is}-\stackrel{\‾}{R_i})(R_{js}-\stackrel{\‾}{R_j})}{\sqrt{\underset{s\∈S}{\Σ}{(R_{is}-\stackrel{\‾}{R_i})}^2}\sqrt{\underset{s\∈S}{\Σ}{(R_{js}-\stackrel{\‾}{R_j})}^2}}---\left(2\right)$

其中：s∈S是用户i和用户j调用过的公共服务。sim的值域在[-1,1]，值越大表示用户间相似度越高。

对所有用户计算相对距离，产生一个m×m的用户相对距离信息矩阵D：其中每一项sim(i,j)表示用户i和用户j的相似度。

步骤3：前端门户页面接受目标用户QoS查询请求，并请求用户输入自定义的阈值θ和TOP_K。

步骤4：对步骤3采集的查询请求作分析：

假若目标用户已经在以前调用过请求服务，那么***数据库将会存在相应的QoS记录，那么可以把QoS信息发送到前端显示引擎，生成结果返回页面。

假若用户以前没有调用过请求服务，那么需要***进行步骤5的快速预测算法引擎。

步骤5：快速预测算法引擎是本发明的执行实体。如图2所示，算法引擎的子流程包括以下几部分：

5.1计算邻域；

根据步骤3接收到用户自定义阈值θ和TOP_K，本发明实施二阶段邻域计算，为目标用户选择高质量的相似用户。

第一阶段：使用用户间的相对距离划定邻域选择策略：

N₁(i)＝{j|dist(i,j)≤θ,i≠j}         (3)

其中：dist(i,j)由等式(1)定义，满足上述关系的用户j都可以定义为目标用户i的第一阶段合适邻居。

第二阶段：基于第一阶段邻域，使用用户间的相似度划定邻域二阶段的邻域选择策略：

N₂(i)＝{j|TOP_K(sim(i,j)),j∈N₁(i)}       (4)

其中：sim(i,j)由等式(2)定义，TOP_K函数为数据库中的基本操作，上界由用户自定义输入。满足上述关系的用户j都可以定义为目标用户i的第二阶段合适邻居。

实验表明，θ和TOP_K的取值对最终的预测精度会产生影响。为了避免出现θ和TOP_K过大导致预测性能下降的情况发生，本发明对于用户自定义的阈值θ和TOP_K作出以下限制：

若θ＜θ^*和TOP_K＜TOP_K^*，本发明接受θ和TOP_K。

若θ≥θ^*和TOP_K≥TOP_K^*，本发明接受θ^*和TOP_K^*。

这种限制既可以保证引擎可以为目标用户划定高质量的邻域，同时也能过滤那些不相关的邻居，从而提升预测精度。

5.2构造最优化方程；

为了实现算法能精确地预测目标用户的QoS值，本发明首先引入了经典的SVD预测技术作为算法模板：

$\min \frac{1}{2}\underset{i=1}{\overset{m}{\Σ}}\underset{j=1}{\overset{n}{\Σ}}{I}_{ij}{(R_{ij}-{U_i}^T{S}_j)}^2+\frac{{\mathrm{\λ}}_1}{2}\left|\right|U|{|}_F^2+\frac{{\mathrm{\λ}}_2}{2}|\left|S\right|{|}_F^2---\left(5\right)$

其中：I_ij是原始矩阵的指示符(I_ij＝1当R_ij存在QoS记录，反之I_ij＝0)。U和S分别为用户的隐式特征矩阵和服务的隐式特征矩阵。后两项为规则项，避免U和S过拟合于原始算法模型。SVD预测技术通过最小化等式(5)产生满足条件的U和S，最后重建矩阵R的所有QoS信息。

对于子流程5.1划定的邻域，本发明借鉴当前主流的推荐***协同过滤思想，通过充分学习邻域的数据资源，从而对目标用户的QoS值作预测。如何学习邻域的数据特性是协同过滤思想的关键部分。在本发明中，用户的内在属性是由U_i描述的。为了充分吸收邻域的智慧，本发明对目标用户的内在属性作如下扩展：

${U_i}^{*}=\mathrm{\α}\·U_i+(1-\mathrm{\α})\·\frac{1}{\left|N_2\left(i\right)\right|}\underset{g\∈N_2\left(i\right)}{\Σ}{U}_g---\left(6\right)$

其中：N₂(i)由公式(4)定义，α是控制邻域效应的正系数。公式(6)以平均加权的方式充分学习了邻域的特征，再对目标用户的内在属性进行了扩展。上述公式是本发明提出假设的数学表法方式。

在得到上述公式后，本发明把目标用户扩展内在属性和传统的SVD预测技术融合起来，产生满足Web服务预测场景的最优化方程：

$\begin{array}{c}Q=\frac{1}{2}\underset{i=1}{\overset{m}{\Σ}}\underset{j=1}{\overset{n}{\Σ}}{I}_{ij}{(R_{ij}-{U_i}^{*T}{S}_j)}^2+\frac{{\mathrm{\λ}}_1}{2}\left|\right|U|{|}_F^2+\frac{{\mathrm{\λ}}_2}{2}|\left|S\right|{|}_F^2\\ =\frac{1}{2}\underset{i=1}{\overset{m}{\Σ}}\underset{j=1}{\overset{n}{\Σ}}{I}_{ij}{\[R_{ij}-{(\mathrm{\α}\·U_i+(1-\mathrm{\α})\·\frac{1}{\left|N_2\left(i\right)\right|}\underset{g\∈N_2\left(i\right)}{\Σ}{U}_g)}^T{S}_j\]}^2+\frac{{\mathrm{\λ}}_1}{2}\left|\right|U|{|}_F^2+\frac{{\mathrm{\λ}}_2}{2}|\left|S\right|{|}_F^2\end{array}---\left(7\right)$

5.3加速梯度下降求解；

对于公式(7)，传统方法使用梯度下降方法求解。然而，针对公式(7)的特性，单纯使用梯度下降方法将会产生大量的重复项。这些重复项消耗了大量的计算资源，并且对提升最终预测效果没有产生作用。为了解决重复项问题，本发明为每一轮计算构造中间变量记录表，直接加速公式(7)的求解过程。

对于第t轮迭代，本发明首先更新公式(6)中所有目标用户的信息，然后构建1个m×n的中间变量表记录如下信息：

${{\hat{r}}_{ij}}^{\left(t\right)}={\[{U_i}^{*\left(t\right)}\]}^T{S_j}^{\left(t\right)}---\left(8\right)$

最后本发明通过充分利用公式(8)的项目信息来简化如下的偏导计算：

$\begin{array}{cc}{\frac{\∂Q}{\∂U_i}}^{(t+1)}=\mathrm{\α}\underset{j=1}{\overset{n}{\Σ}}{I}_{ij}({{\hat{r}}_{ij}}^{\left(t\right)}-r_{ij}){S_j}^{\left(t\right)}+\underset{t\∈M}{\Σ}\underset{j=1}{\overset{n}{\Σ}}{I}_{ij}({{\hat{r}}_{\mathrm{tj}}}^{\left(t\right)}-r_{\mathrm{tj}})(1-\mathrm{\α}){S_j}^{\left(t\right)}+{\mathrm{\λ}}_U{U_i}^{\left(t\right)}& \left(9\right)\\ {\frac{\∂Q}{\∂S_j}}^{(t+1)}=\mathrm{\α}\underset{i=1}{\overset{m}{\Σ}}{I}_{ij}({{\hat{r}}_{ij}}^{\left(t\right)}-r_{ij}){U_i}^{*\left(t\right)}+{\mathrm{\λ}}_S{S_j}^{\left(t\right)}& \left(10\right)\end{array}$

然后，梯度下降法进入了矩阵变量的迭代过程：

${U_i}^{(t+1)}={U_i}^{\left(t\right)}-\mathrm{\η}{\frac{\∂Q}{\∂U_i}}^{(t+1)}---\left(11\right)$

${S_j}^{(t+1)}={S_j}^{\left(t\right)}-\mathrm{\η}{\frac{\∂Q}{\∂S_j}}^{(t+1)}---\left(12\right)$

5.4判断最优化方程是否符合最终要求；

对于每一次迭代产生的矩阵变量U和S，我们需要更新公式(7)的结果。迭代的终止条件为：

J-J'≤ε            (13)

其中：ε为迭代阈值，通常ε＝0.001。

假若损失函数符合上述终止条件，则迭代过程终止。假若不满足，则重回子流程5.3继续迭代，直到满足条件为止。

对于满足条件的特征矩阵U和S，本发明通过矩阵结合方式重构原始矩阵R的所有QoS信息：

R≈U^TS            (14)

那么，目标用户i对Web服务j的QoS值为R_ij。

在线预测算法引擎是响应用户QoS查询的核心。在真实情况下，***需要面对众多用户的实时查询请求，这要求算法必须在提高预测精度的同时降低计算时间复杂度。本发明的算法时间复杂度主要在于公式(9)和公式(10)。数学证明，每一次迭代时间复杂度可松弛为O(ρd)：其中ρ为原始QoS矩阵的密度，d是常数，为隐式特征空间的维度。可以看出每一次迭代的时间复杂度和原始矩阵的密度成线性关系。通常，原始矩阵非常稀疏，因此单次迭代的时间复杂度很低。同时，实验证明本发明的预测算法通常于10次左右迭代即可符合预设条件。综上所述，本发明的预测算法可实时响应多用户的在线QoS查询请求。

Claims (7)

1.一种基于用户元数据的快速Web服务QoS预测方法，包括如下步骤：

(1)收集所有用户提供的元数据，所述的元数据包括用户对其调用过的所有Web服务的QoS数据以及用户的IP地址信息；进而根据所述的QoS数据建立用户与Web服务之间的QoS元矩阵R；

(2)根据所述的元数据计算用户之间关于地理位置的欧式距离以及关于QoS数据的相似度；

(3)根据所述的欧式距离和相似度，确定出每个用户的邻域用户集合；

(4)根据所述的QoS元矩阵R以及每个用户的邻域用户集合，通过SVD方法建立以下目标函数Q，并对该目标函数Q进行最小化求解，以求得关于用户的隐式特征矩阵U和关于Web服务的隐式特征矩阵S；进而根据V＝U^TS重建用户与Web服务之间的QoS预测矩阵V；

$Q=\frac{1}{2}\underset{i=1}{\overset{m}{\Σ}}\underset{j=1}{\overset{n}{\Σ}}{I}_{ij}{\[R_{ij}-{(\mathrm{\α}\·U_i(1-\mathrm{\α})\·\frac{1}{K}\underset{g\∈N_2\left(i\right)}{\Σ}{U}_g)}^T{S}_j\]}^2+\frac{\mathrm{\λ}}{2}\left|\right|U|{|}_F^2+\frac{\mathrm{\λ}}{2}|\left|S\right|{|}_F^2$

其中：U_i为隐式特征矩阵U中的第i列向量，S_j为隐式特征矩阵S中的第j列向量，N₂(i)为第i个用户的邻域用户集合，K为预设的邻域用户个数即邻域用户集合N₂(i)中的用户总数，U_g为邻域用户集合N₂(i)中的第g个用户在隐式特征矩阵U中所对应的向量，m为用户的总数，n为Web服务的总数；R_ij为QoS元矩阵R中第i行第j列元素值，I_ij为R_ij的指示符，若R_ij为null则I_ij＝0，否则I_ij＝1；|| ||_F为F-范数，^T表示转置，α和λ均为给定的控制系数；

(5)接受用户关于Web服务的QoS查询请求，然后根据QoS预测矩阵V向该用户提供其所请求查询的Web服务的QoS数据预测结果。

2.根据权利要求1所述的快速Web服务QoS预测方法，其特征在于：所述的步骤(1)中根据QoS数据建立用户与Web服务之间的QoS元矩阵R，具体为：所述QoS元矩阵R的维度为m×n，QoS元矩阵R中第i行第j列元素值R_ij采用第i个用户对于第j个Web服务的QoS数据，若第i个用户之前未调用过第j个Web服务，则元素值R_ij为null。

3.根据权利要求1所述的快速Web服务QoS预测方法，其特征在于：所述的步骤(2)中通过以下公式计算用户之间关于地理位置的欧式距离：

$dist(i,p)=\sqrt{{(x_i-x_p)}^2+{(y_i-y_p)}^2}\×c$

其中：dist(i,p)为第i个用户与第p个用户之间关于地理位置的欧式距离，x_i和y_i分别为第i个用户的经度和纬度，x_p和y_p分别为第p个用户的经度和纬度，用户的经纬度信息由其IP地址信息转化得到；c为经纬度单位转化成单位米的常数，i≠p。

4.根据权利要求1所述的快速Web服务QoS预测方法，其特征在于：所述的步骤(2)中通过以下公式计算用户之间关于QoS数据的相似度：

$sim(i,p)=\frac{\underset{s\∈S}{\Σ}(R_{is}-\stackrel{\‾}{R_i})(R_{ps}-\stackrel{\‾}{R_p})}{\sqrt{\underset{s\∈S}{\Σ}{(R_{is}-\stackrel{\‾}{R_i})}^2}\sqrt{\underset{s\∈S}{\Σ}{(R_{ps}-\stackrel{\‾}{R_p})}^2}}$

其中：sim(i,p)为第i个用户与第p个用户之间关于QoS数据的相似度，为第i个用户对其调用过的所有Web服务的QoS数据平均值，为第p个用户对其调用过的所有Web服务的QoS数据平均值；S为第i个用户与第p个用户共同调用过的Web服务集合，R_is为第i个用户对Web服务集合S中第s个Web服务的QoS数据，R_ps为第p个用户对Web服务集合S中第s个Web服务的QoS数据，i≠p。

5.根据权利要求1所述的快速Web服务QoS预测方法，其特征在于：所述的步骤(3)中确定每个用户的邻域用户集合，具体方法如下：

首先，对于第i个用户，从其他所有用户中提取出与其关于地理位置欧式距离小于θ的用户组成用户集合N₁(i)，θ为预设的距离阈值；

然后，从用户集合N₁(i)中提取出与第i个用户关于QoS数据相似度最大的前K个用户组成第i个用户的邻域用户集合N₂(i)。

6.根据权利要求1所述的快速Web服务QoS预测方法，其特征在于：所述的步骤(4)中采用梯度下降迭代算法对目标函数Q进行最小化求解，且在每一轮迭代计算过程中构造中间变量记录表。

7.根据权利要求1所述的快速Web服务QoS预测方法，其特征在于：所述的步骤(5)中最后将用户所请求查询的Web服务的QoS数据预测结果包装成html页面格式展现给用户。