CN104010029A

CN104010029A - 基于横向纵向信息集成的分布式计算环境性能预测方法

Info

Publication number: CN104010029A
Application number: CN201410198278.4A
Authority: CN
Inventors: 曹健; 杨定裕; 董樑; 顾骅; 沈琪骏; 王烺
Original assignee: Shanghai Jiaotong University
Current assignee: Jiangyin Daily Information Technology Co., Ltd.
Priority date: 2014-05-12
Filing date: 2014-05-12
Publication date: 2014-08-27
Anticipated expiration: 2034-05-12
Also published as: CN104010029B

Abstract

一种基于横向纵向信息集成的分布式计算环境性能预测方法，首先，把一个长的时间序列数据切分成多个等长度的子时间序列，各子时间序列的长度为T；之后，采用纵向预测算法使用指数型平滑曲线算法进行预测对之前所有生成的子时间序列进行预测，计算出周期与周期之间的关联性，得到纵向预测数据并对得到的纵向预测数据进行整合；最后，采用横向预测算法通过在时间周期内两个时间点之间的关系对上一步得到的纵向预测数据进行预测，找到周期内的数据的联系，构建关系模型，对寻找的所有时间周期内存在的横向关系存储起来，进行周期内预测，加权叠加预测结果，并调整横向关系，得到最终预测结果。本发明提高了服务器对资源调度的准确性与可靠性。

Description

基于横向纵向信息集成的分布式计算环境性能预测方法

技术领域

本发明涉及信息集成、时间序列预测领域，特别涉及一种基于横向纵向算法对分布式环境下服务器性能的预测方法。

背景技术

在服务器的负载均衡中，需要采集***中各种资源的相关信息以确定资源是否可用，然后调度算法根据资源的可用性、任务的运行时间等来确定任务的优先级并分配给它们可用的资源。然而随着任务的运行，各种资源的状态，如CPU负载、剩余内存、硬盘剩余空间等会随时发生改变，因此需要对服务器性能的预测来指导服务器的负载均衡与调度算法。

对服务器性能预测可以采取时间序列算法，也就是基于历史数据做出预测。该方法的简单步骤：1)按时间序列周期性地采集服务器性能数据；2)基于这些历史数据，建立一个关于服务器性能与时间变量之间的关系模型；3)采用这个模型来计算指定时间所对应的服务器性能值，并把该值作为服务器性能的预测值。使用这种类型的模型，可以对服务器性能进行预测，从而帮助调度程序更好地分配资源、管理任务，提高整个分布式***的工作效率。

对服务器性能采用时间序列的方法来进行预测，可以通过时间序列自回归模型AR模型、滑动平均模型MA模型等进行预测，这些模型主要对一些稳态的数据能够准确的进行预测，但是如果数据不是处于稳态情况，预测结果就不够理想，而且这些模型不能够很好的进行长期预测。

以往的研究表明，服务器性能情况存在着周期性。一个服务器性能可以被看作是多个小的、具有不同周期的周期性的叠加效应，如何利用数据的周期性来指导预测，是一个函待解决的问题。

发明内容

本发明针对现有技术存在的上述不足，提供了对服务器性能进行长期预测的方法。本发明通过以下技术方案实现：

一种基于横向纵向信息集成的分布式计算环境性能预测方法，包括以下步骤：

步骤1：把一个长的时间序列数据切分成多个等长度的子时间序列，各子时间序列的长度为T；

步骤2：采用纵向预测算法使用指数型平滑曲线算法进行预测对步骤1所有生成的子时间序列进行预测，计算出周期与周期之间的关联性，得到纵向预测数据并对得到的纵向预测数据进行整合；

步骤3：采用横向预测算法通过在时间周期内两个时间点之间的关系对步骤2得到的纵向预测数据进行预测，具体找到周期内的数据的联系，构建关系模型，对寻找的所有时间周期内存在的横向关系存储起来，然后进行周期内预测，加权叠加预测结果，并通过反馈方式调整横向关系，得到最终预测结果。

依照本发明较佳实施例所述的基于横向纵向信息集成的分布式计算环境性能预测方法，步骤1具体为把历史数据按照时间周期T转化为多组子时间序列，其中：

历史数据为：{x₁,x₂,x₃,...,x_n}，长度为n；

每个子时间序列的长度为T，切分成n/T个子时间序列，第i个子序列S_i表示成{x_i1,x_i2,x_i3,…,x_iT},则把历史数据切分成<S₁,S₂,…,S_i,…,S_L>，其中L＝n/T：

其中，x₁,x₂,x₃,...,x_n是历史数据，S_i是子时间序列，

x_i1,x_i2,x_i3,…,x_iT切分后子时间序列的数据。

依照本发明较佳实施例所述的基于横向纵向信息集成的分布式计算环境性能预测方法，步骤2包括以下步骤：

步骤21：使用指数型平滑曲线算法对第一步所有生成的时间序列进行长期预测，预测的长度为T步，预测结果如下：

(\begin{matrix} \tilde{x} (L + 1) 1 & \tilde{x} (L + 2) 2 & \cdot \cdot \cdot & \tilde{x} (L + 2) T \end{matrix})

其中，

(\begin{matrix} \tilde{x} (L + 1) 1 & \tilde{x} (L + 2) 2 & \cdot \cdot \cdot & \tilde{x} (L + 2) T \end{matrix})

是纵向预测数据；

步骤22：整合预测数据，将步骤21预测数据点按照原有的采样点排序组合形成预测数据，每一个预测器预测的方向是纵向的，数据最后拼接是横向的，如

(\begin{matrix} \tilde{x} (L + 1) 1 & \tilde{x} (L + 2) 2 & \cdot \cdot \cdot & \tilde{x} (L + 2) T \end{matrix})

为横向的预测数据，长度为T。

依照本发明较佳实施例所述的基于横向纵向信息集成的分布式计算环境性能预测方法，步骤3包括以下步骤：

步骤31：计算在同一个周期中数据之间的横向关系

横向关系指在时间周期内两个时间点之间的关系，具体如下：

假设两个数据点为x、y，定义y＝bx+a为x，y之间的横向关联，其中，a，b为参数；

a，b参数直接从线性回归处获得，即线性回归方法最小二乘法公式如下：

Q＝(y₁-bx₁-a)²+(y₂-bx₂-a)²+…+(y_n-bx_n-a)²

使Q最小化,一阶求导，得出计算系数公式如下：

\{\begin{matrix} b = \frac{Σ_{i - 1}^{n} (x_{i} - \bar{x}) (y_{i} - \bar{y})}{Σ_{i - 1}^{n} {(x_{i} - \bar{x})}^{2}} = \frac{Σ_{i - 1}^{n} x_{i} y_{i} - n \bar{x} \bar{y}}{Σ_{i - 1}^{n} {x_{i}}^{2} - n {\bar{x}}^{2}}, \\ a = \bar{y} - b \bar{x} . \end{matrix}

其中，Q是预测值和计算值的误差；

对于两个数据点是否存在横向关系，通过对同一个时间周期训练出来的线性回归参数与验证，如果其误差小于一定阀值，则认为存在横向的关系；否则，如果误差超过阀值则认为这两个时间点之前不存在横向的关联；

步骤32：寻找所有时间周期内存在的横向关系，并将它存储起来；

步骤33：预测结果加权叠加

当搜索完所有的存在的横向关系后将纵向算法的预测值与横向算法的预测值以加权方式叠加，得到预测加权结果如下：

其中：

是第i行第j列的预测加权结果；

w₁与w₂分别是横向与纵向算法的权重；

是横向算法预测的结果；

是纵向算法预测结果；

步骤34：通过横向关系对数据进行调整

横向关系不仅用于预测，也用于对最后对数据的调整，假设A、B两个时间点存在横向关系是y＝ax+b，其中，A对应于x，B对应于y，a，b为已知参数，并且，经过前面的预测得到A、B的预测数据是xp、yp，则，

建立cost function：

Q＝(y-y_p)²+(x-x_p)²＝(ax+b-y_p)²+(x-x_p)²

Cost function最小化就是两个数据点符合横向关系，进行一阶求导设为0：

2a(aX+b-y_p)+2(X-x_p)＝0

X = \frac{x_{p} - a (b - y_{p})}{a^{2} + 1}

得到新的预测数据点A、B分别是X，aX+b。

依照本发明较佳实施例所述的基于横向纵向信息集成的分布式计算环境性能预测方法，还包括：

步骤4：动态集成横向纵向预测算法

对应不同机器不同时间段，周期时间关联性不是固定的的情况采用动态横向纵向预测算法，具体为：

假设预测将来长度比较接近，所受到时间周期影响是一样的，在每次预测时，将历史数据去掉最后相同的预测长度，然后用一系列的候选时间周期分别调用横向纵向预测算法预测并算出其误差，将误差最小的那个时间周期作为横向纵向预测算法的参数用来预测，即根据不同的时间周期，将横向纵向预测算法变成多个预测器，根据上一次的预测结果，来选择当前最优的时间周期对应的预测器。

依照本发明较佳实施例所述的基于横向纵向信息集成的分布式计算环境性能预测方法，步骤4中的候选时间周期分别为6小时、12小时、1天和1周。

本发明针对服务器性能的特点，通过横向纵向预测算法对性能情况进行长期预测。通过采集服务器的负载数据，把一个服务器性能数据细粒度的分析，切分成多个时间序列数据，每个时间序列数据存在一个数据周期，结合横向与纵向算法来数据进行长期预测，最后集成一个汇总的预测结果，提高服务器对资源调度的准确性与可靠性。

附图说明

图1为本发明的横向纵向结构原理示意图；

图2为本发明的横向纵向算法流程示意图；

图3为本发明的加权算法示意图。

具体实施方式

以下将结合本发明的附图，对本发明实施例中的技术方案进行清楚、完整的描述和讨论，显然，这里所描述的仅仅是本发明的一部分实例，并不是全部的实例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明的保护范围。

为了便于对本发明实施例的理解，下面将结合附图以具体实施例为例作进一步的解释说明，且各个实施例不构成对本发明实施例的限定。

一种基于横向纵向信息集成的分布式计算环境性能预测方法，把一个服务器性能数据细粒度的分析，切分成多个时间序列数据，每个时间序列数据存在一个数据周期，结合横向与纵向算法来对数据进行长期预测，最后集成一个汇总的预测结果。见图1、2示意图，其中：

横向预测算法：从横向的角度来分析服务器性能数据，计算一个周期的数据之间的关系，整个数据属于周期性的，而相邻数据前者会对后者有影响，已知点与预测点在同一时间周期，可以做出预测值。

纵向预测算法：从纵向角度分析多个周期的联系，计算出周期与周期之间的关联性，周期之间数据是互相影响的，从而根据周期情况来预测下一个周期数据。

具体步骤为：

S1：把一个长的时间序列数据切分成多个等长度的子时间序列，各子时间序列的长度为T。

具体为把历史数据按照时间周期(T)转化为多组时间序列。

历史数据为：{x₁,x₂,x₃,...,x_n}，长度为n；

每个子时间序列的长度为T，则可以切分成n/T个子时间序列，第i个子序列S_i可以表示成{x_i1,x_i2,x_i3,…,x_iT},则可以把历史数据切分成<S₁,S₂,…,S_i,…,S_L>，其中L＝n/T：

其中x₁,x₂,x₃,...,x_n是历史数据，S_i是子序列数据，

x_i1,x_i2,x_i3,…,x_iT切分后的数据。

举个例子：假如原有负载的采样周期为1h即t＝1h,而T＝24h则该步骤后生成24个时间序列周期，采样周期为24h，即每天1点，每天2点。。。每天24点共24个时间序列。

函数映射为：

输入：{x₁,x₂,x₃,..,x_n}

输出：{{x_i,x_i+1,x_i+2，…,x_i+T}|i＝1,2,…T}

更为直接的表格(1)来跟踪数据。

表1构建多组时间序列示意图

关于时间周期的选择，一般选择1天或者1周比较有意义，因为无论机器还是人类的活动1天或者1周时间周期关联性比较强，负载类型是与网络相关的特定一种类型，也进一步证实了时间周期选择1天和1周是合理的。选取其他时间周期或许可行，但是只是和特定机器关系，适用性不大。

S2、采用纵向预测算法使用指数型平滑曲线算法进行预测对步骤1所有生成的子时间序列进行预测，计算出周期与周期之间的关联性，得到纵向预测数据并对得到的纵向预测数据进行整合。

纵向的预测算法可以选用已有的任意一种预测算法。由于算法构架导致了在纵向预测时，每个分解的时间序列模型只需预测很少的点，比如原有数据采样周期为1h(t＝1h)，周期时间定为1周，如果每一个时间序列都预测一个值，预测长度可以达到168步，由此可见纵向预测选用的算法应尽量考虑短期预测准确度较高的算法，这样才能达到比较好的效果。本算法选用了公认的短期预测较为准确的算法——指数型平滑曲线算法(exponential smoothing)。该算法对于任何无规律的数据的短期预测有着比较好的效果。

具体地，步骤S2包括以下步骤：

S21：使用指数型平滑曲线算法对第一步所有生成的时间序列进行长期预测，预测的长度为T步，预测结果如下：

(\begin{matrix} \tilde{x} (L + 1) 1 & \tilde{x} (L + 2) 2 & \cdot \cdot \cdot & \tilde{x} (L + 2) T \end{matrix})

其中，

(\begin{matrix} \tilde{x} (L + 1) 1 & \tilde{x} (L + 2) 2 & \cdot \cdot \cdot & \tilde{x} (L + 2) T \end{matrix})

是纵向预测数据；

因为数据是存在周期性的，同一位置的数据之间存在相关性，如每个周期的第一个数据是相关的，因此采用纵向预测算法进行长期预测，预测的长度可以为T步。

S22：整合预测数据，将步骤S21预测数据点按照原有的采样点排序组合形成预测数据，每一个预测器预测的方向是纵向的，数据最后拼接是横向的，如

(\begin{matrix} \tilde{x} (L + 1) 1 & \tilde{x} (L + 2) 2 & \cdot \cdot \cdot & \tilde{x} (L + 2) T \end{matrix})

为横向的预测数据，长度为T。

S3：采用横向预测算法通过在时间周期内两个时间点之间的关系对步骤2得到的纵向预测数据进行预测，具体找到周期内的数据的联系，构建关系模型，对寻找的所有时间周期内存在的横向关系存储起来，然后进行周期内预测，加权叠加预测结果，并通过反馈方式调整横向关系，得到最终预测结果。

S31：计算在同一个周期中数据之间的横向关系

横向关系是指在时间周期内两个时间点之间的关系(一般指的是邻近时间点的关联)。如两个时间点的关联是线性关系的，由于数据本身是离散的，相邻的两个数据的连线就是一根折线，并且线性模型比其他模型更加简单。所以在本模型就横向的关联定义为一种线性的关系，具体如下：

Q＝(y₁-bx₁-a)²+(y₂-bx₂-a)²+…+(y_n-bx_n-a)²

使Q最小化,一阶求导，得出计算系数公式如下：

\{\begin{matrix} b = \frac{Σ_{i - 1}^{n} (x_{i} - \bar{x}) (y_{i} - \bar{y})}{Σ_{i - 1}^{n} {(x_{i} - \bar{x})}^{2}} = \frac{Σ_{i - 1}^{n} x_{i} y_{i} - n \bar{x} \bar{y}}{Σ_{i - 1}^{n} {x_{i}}^{2} - n {\bar{x}}^{2}}, \\ a = \bar{y} - b \bar{x} . \end{matrix}

其中，Q是预测值和计算值的误差；

对于两个数据点是否存在横向关系，通过对同一个时间周期训练出来的线性回归参数与验证，如果其误差小于一定阀值，则认为存在横向的关系；否则，如果误差超过阀值则认为这两个时间点之前不存在横向的关联。

S32：寻找所有时间周期内存在的横向关系，并将它存储起来。

S33：预测结果加权叠加

当搜索完所有的存在的横向关系时，如果历史数据长度不是正好时间周期的整数倍，多余的时间点可以用来预测。当多余时间点与未预测点之间存在横向关系，便可以根据横线关联进行预测。由于纵向的算法会预测一个值，所以横向算法预测的值可以以加权方式叠加，具体算法见图3。

其中是第i行第j列的预测加权结果；

w₁与w₂分别是横向与纵向算法的权重；

是横向算法预测的结果；

是纵向算法预测结果。

需要注意的是，当时历史数据长度正好是时间周期或者多余的时间点与为预测点不存在横向关系该方法是不能预测的。该方法只能对部分预测点做出预测。举个例子，加入历史数据时从7月1日0:00到7月3日12:00，设定时间周期为1天的话，最后多出的一段时7月3日的0:00到12:00如果经过历史数据发现，12：00和13：00存在某种关联，则可以通过12：00负载预测13:00负载。但是假如在上一步搜寻横向关系没有发现13：00与之前0:00到12:00存在横向的关联，那么13:00在本步是不能做出预测，具体算法见图3。

S34：通过横向关系对数据进行调整

横向关系不仅用于预测，也可以进一步对最后对数据的调整，比如知道历史记录显示每天的8：00(x)和8:01(y)存在y＝x+1的关系，虽然前面的预测好了数据点x_p,yp,但是们可以调整使得其符合这种关系。具体公式推导如下：

假设A B两个时间点(A对应于x，B对应于y)存在横向关系是y＝ax+b(a，b已知)，并且经过前面的预测得到A B预测数据时xp yp。

建立cost function：

Q＝(y-y_p)²+(x-x_p)²＝(ax+b-y_p)²+(x-x_p)²

Cost function最小化就是两个数据点符合这种关系，进行一阶求导设为0：

2a(aX+b-y_p)+2(X-x_P)＝0

X = \frac{x_{p} - a (b - y_{b})}{a^{2} + 1}

所以新的预测数据点AB分别是X，aX+b

这种预测不仅可以用于两个需要预测的数据点之，也可以用已知数据点和未知数据点之间，因为在横向预测的第一步中发现的所有横向关系都可以使用。

另外，考虑到不同机器不同时间段，周期时间关联性不是固定的，或者说很多时候是受着多个时间周期的影响,所以固定一个时间周期不是一个很好的选择，因此，本发明还包括动态横向纵向预测算法，可以比较好的避免这一点，动态横向纵向预测算法假设相邻预测长度的所受到时间周期影响是一样的。

具体地，本发明还包括以下步骤：

S4：动态集成横向纵向预测算法

具体地，候选时间周期分别为6小时，12小时，1天和1周。

本发明针对服务器性能的特点，通过横向纵向预测算法对性能情况进行长期预测。针对时间序列数据难以预测寻找到相关性问题，本发明通过把数据切分成多个子序列数据来寻找数据相关性。通过这种数据的相关性，分别使用纵向算法与横向算法对数据进行预测，并对预测的结果进行调整，最后通过动态调整数据的周期性来进一步提高预测的准确性与可靠性。

以上公开的仅为本发明的几个具体实施例，但本发明并非局限于此，任何本领域的技术人员能思之的变化，都应落在本发明的保护范围内。

Claims

1.一种基于横向纵向信息集成的分布式计算环境性能预测方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的基于横向纵向信息集成的分布式计算环境性能预测方法，其特征在于，步骤1具体为把历史数据按照时间周期T转化为多组子时间序列，其中：

历史数据为：{x₁ , x₂ , x₃ , ... , x_n}，长度为n；

每个子时间序列的长度为T，切分成n/T个子时间序列，第i个子序列S_i表示成{x_i1 , x_i2 , x_i3 ,…, x_iT}, 则把历史数据切分成<S₁,S₂,…,S_i,…,S_L>，其中L=n/T：

其中，x₁ , x₂ , x₃ , ... , x_n是历史数据，S_i是子时间序列，

x_i1 , x_i2 , x_i3 ,…, x_iT 切分后子时间序列的数据。

3.根据权利要求2所述的基于横向纵向信息集成的分布式计算环境性能预测方法，其特征在于，步骤2包括以下步骤：

其中，是纵向预测数据；

步骤22：整合预测数据，将步骤21预测数据点按照原有的采样点排序组合形成预测数据，每一个预测器预测的方向是纵向的，数据最后拼接是横向的，如为横向的预测数据，长度为T。

4.根据权利要求3所述的基于横向纵向信息集成的分布式计算环境性能预测方法，其特征在于，步骤3包括以下步骤：

步骤31：计算在同一个周期中数据之间的横向关系

假设两个数据点为x、y，定义y=bx+a为x，y之间的横向关联，其中，a，b为参数；

使Q最小化,一阶求导，得出计算系数公式如下：

其中，Q是预测值和计算值的误差；

步骤33：预测结果加权叠加

其中：

是第i行第j列的预测加权结果；

与分别是横向与纵向算法的权重；

是横向算法预测的结果；

是纵向算法预测结果；

步骤34：通过横向关系对数据进行调整

横向关系不仅用于预测，也用于对最后对数据的调整，假设A 、B两个时间点存在横向关系是y=ax+b，其中，A对应于x，B对应于y， a，b为已知参数，并且，经过前面的预测得到A、 B的预测数据是xp、 yp，则，

建立cost function：

得到新的预测数据点A、B 分别是X ，aX+b。

5.根据权利要求1所述的基于横向纵向信息集成的分布式计算环境性能预测方法，其特征在于，还包括：

步骤4：动态集成横向纵向预测算法

6.根据权利要求5所述的基于横向纵向信息集成的分布式计算环境性能预测方法，其特征在于，步骤4中的候选时间周期分别为6小时、12小时、1天和1周。