CN105260794A

CN105260794A - 一种云数据中心的负载预测方法

Info

Publication number: CN105260794A
Application number: CN201510658479.2A
Authority: CN
Inventors: 乔梁; 付周望; 戚正伟
Original assignee: Shanghai Jiaotong University
Current assignee: Shanghai Jiaotong University
Priority date: 2015-10-12
Filing date: 2015-10-12
Publication date: 2016-01-20

Abstract

本发明公开一种云数据中心的负载预测方法，包括步骤：采集预测云数据中心的历史数据，并进行归一化处理；计算CPU历史数据与其余各性能指标的相关性；时间窗口提取；特征提取；特征融合：将得到的各性能指标特征进行拼接后，输入到自编码神经网络中，做进一步压缩，最终得到一个共同的压缩特征；人工干预；有监督学习；预测结果。本发明可以发现潜在的变化信号，从而更加准确地掌握变化的方向，更加贴合实际需求，在实际应用中可以提高约5-10％的预测准确率。

Description

一种云数据中心的负载预测方法

技术领域

本发明涉及数据中心性能监控预测领域，主要涉及机器学习和深度学习领域相关技术。具体来讲，主要是提出了一种在云计算数据中心通过多种性能特征融合，并加上人工干预的方式，对数据中心的负载做出一个准确的预测的方法，更加适用于情况愈发复杂多变的云数据中心。

背景技术

当今时代是一个大数据的时代。据统计，2013年时，全球的互联网每天就会产生1EB的数据(即10亿GB)，并且随着时间的推移，数据的增长速度只会越来越快。这些数据中蕴藏着巨大的价值，要利用它们首先要存储它们。而传统的数据中心已经不能满足相应的要求，相比于传统的数据中心，云数据中心具有高度的虚拟化，更大的规模化，管理的自动化，绿色节能化等优势。但是，相对应的，云数据中心由于它的种种特性导致它的状态更加的多变。对于云数据中心状态的要求不仅限于它的状态监控，对于它状态的预测也成为一个热门话题。如果我们拥有一个好的预测方法，就可以将部分物力资源做更好的规划。如果预计到未来负载量较少，可以通过资源调度将部分资源集中在某些服务器上，让剩余空闲的服务器关闭服务以节省资源。

对数据中心热点的预测实际上就是对数据中心服务器负载的时间序列曲线的趋势预测。针对这个问题，目前国内外已经有很多关于负载预测领域的研究，期望通过不同的方式来提高预测的准确性。之前的大部分预测工作的算法集中在回归，移动平均，噪声滤波等，对于传统的数据中心它们被证明了拥有不错的预测效果。但是对于多变的云数据中心大多却不再适用。

近些年出现的机器学习，主要研究了计算机如何模拟人的思考学习行为，使得预测这一领域又有了新的发展。机器学习发展到21世纪初期，出现了“大数据”的概念，随着数据量越来越大，许多传统的方法渐显出一些弊端，或是分析结果不对，或是收敛速度太慢。2006年，多伦多大学的Hinton教授和他的团队发表文章，提出了一种基于深度信念网络的快速学习算法，拉开了深度学习的大门。深度学习相比与传统的机器学习,更专注于提取数据中的特征表示，因此也更适用于没有标签的数据。这种学习方式叫做无监督的学习。因为相比于有标签的数据，大量无标签的数据更容易获得，如果尽量提取这些无标签数据中的有效信息，也就是深度学习的核心，因此深度学习也是一种更接近于人脑的学习机制。所以将深度学习的思路应用到云数据中心的负载预测上会提高很多精度。

但是纵使是深度学习也不能完全解决生活中所存在的很多问题，特别是云数据中心中存在着大量不确定的情况难以预知。比如某网站某日晚十点要开放预售某位歌星的演唱会门票，人自然而然会想到，等到抢票通道开放的时候必然会造成服务器负载突然增高，但是这一点计算机无法预知，因此人机交互的预测可能会更加符合未来的预测模式。

发明内容

本发明针对现存绝大部分云数据中心架构，创造性地提出了一种带人工干预的特征融合式预测算法，很好地解决了目前云数据中心多变性难以掌控的局限性。本算法采用深度学习算法提取特征并将多种性能指标进行融合，并加入人工干预来辅助预测，将大大提高预测的精度。同时算法模块间依赖性小，可以放在分布式***上进行，大大提高了运行所需的时间。

本发明的发明目的通过以下技术方案实现：

一种云数据中心的负载预测方法，其特点在于，该方法包括如下步骤：

步骤1，采集预测云数据中心的历史数据，并进行归一化处理；

步骤2，计算CPU历史数据与其余各性能指标的相关性，相关性大于阈值φ的性能指标加入集合A。

步骤3，时间窗口提取：随机抽取时间窗口，时间窗口长度根据实际情况来设定，其中时间窗口前一部分作为预测的输入，后一部分作为训练时的预测输出；

步骤4，特征提取：用三层自编码神经网络对于CPU历史数据集合A中各性能指标进行压缩得到各性能指标特征；

这里限定自编码神经网络为一个只有一个隐含层的三层神经网络，将通过神经网络变换之后的输出向量设置为与输出这个网络的向量一致的向量。并且限定中间隐含层的单元数为输入层单元数的60％。

步骤5，特征融合：将步骤4得到的各性能指标特征进行拼接后，输入到自编码神经网络中，做进一步压缩，最终得到一个共同的压缩特征；

步骤6，添加人工干预：在同样的时间窗口上，人对于可能预知要发生热点，及热点的程度做出自己的判断。即在时间序列上加入人为权值。这种操作通常直接通过简单的点击操作即可完成。加入权重根据下式获得：

I t v = \{\begin{matrix} I t v + r * \exp (- \frac{(x - t i m e)}{2 * σ_{1}^{2}}) \\ I t v + r * \exp (- \frac{(x - t i m e)}{2 * σ_{2}^{2}}) \end{matrix}

其中x、σ₁、σ₂是人为设定的参数，分别代表了峰值和左右两侧收敛的速度；

步骤7，监督学习。CPU本身经过特征提取后的特征向量，共享特征向量和输出时间段的人工干预数值向量进行拼接，作为输入，滑动窗口后一部分序列值作为输出，使用神经网络进行训练。在训练过程中，需要控制人工干预所产生的影响，加入稀疏因子。将神经网络代价函数作出修改，如下式：

J (W, b) = \frac{1}{2} | | h_{W, b} (x) - x | |^{2} + \frac{λ}{2} Σ_{i = t + s + 1}^{s_{1}} Σ_{j = 1}^{s_{2}} {(W_{j i}^{(1)})}^{2}

其中，t代表了CPU特征向量长度，s代表了共享特征向量长度s_i代表了第i层单元数。

步骤8，预测。根据前面网络训练所得到的各种参数，在实际操作过程中需要监控一段时间CPU的运行状态，同样的进行特征提取和融合最后输入到最终模型进行预测，得到预测结果。

使用数据的特征代替数据本身的数值来进行预测，所述的历史数据包括CPU历史数据、Memory历史数、Disk历史数据和网络I/O历史数据。同时预测加入人工干预模型。

与现有技术相比，本发明的有益效果是通过特征提取的手段可以发现潜在的变化信号，从而更加准确地掌握变化的方向。同时又加入人工干预的手段更加贴合实际需求，在实际应用中可以提高约5-10％的预测准确率。

附图说明

图1性能指标特征融合示意图

图2神经网络训练预测示意图

图3本发明方法流程图

具体实施方式

下面结合附图对本发明作进一步的详细说明。

以预测数据中心的CPU为例，其余性能(如Memory，Disk，网络I/O等)指标类似。一种云数据中心的负载预测方法，主要包括一次深度学习特征提取，一次多性能指标融合以及人工干预。具体步骤如下：

步骤1，采集数据。由于数据中心服务内容各不相同，所以预测不同数据中心负载需要采集相对应的历史数据。数据采集涉及的相关技术这里不做详述，收集对象包括CPU(可能有多个CPU)，Memory，Disk，网络I/O等。监控时长越久越好，最好不低于一个月，监测粒度可以根据实际需求，这里以没30秒做一个采样点为例。每种指标需做归一化处理。

1.1样本获取。一般一个操作***本身都自带有性能监测工具，如Windows下的性能监视器，Linux下的top，iostat，vmstat等(top和vmstat可以获取CPU和内存的运行数据，iostat用来检测磁盘)。在一些分布式***的集群中也有相应的工具，如hadoop中的ganglia。对于一个集群来说，所有节点需要向主节点定时上报数据信息，主节点做收集处理和预测的工作。

1.2样本预处理。所有样本需要做归一化处理以消除数值大小差异：

x′_i＝(x_i-x_min)/(x_max-x_min)

这样获得的所有样本数据均分布在0到1之间。x′_i和x_i分别代表了归一化之前和之后的数据，x_max和x_min分别代表了原始数据中的最大值和最小值。预测结束之后由可由归一数据还原成真实数据：

x_i＝x′_i×(x_max-x_min)+x_min

步骤2，计算相关性。计算CPU历史数据与其余各性能指标的相关性，相关性大于阈值φ的性能指标加入集合A。

步骤3，时间窗口提取。大量随机抽取时间窗口，时间窗口长度根据实际情况来设定，其中时间窗口前一部分作为预测的输入，后一部分作为训练时的预测输出。

步骤4，特征提取。即使用三层自编码神经网络对于CPU历史记录和集合A中各性能指标进行压缩。自编码神经网络就是一个输入层与输出层一样的神经网络，将它的隐含层单元设置得比输入和输出层少，也就达到了特征压缩提取的目的。因此最后特征提取出的就是这个三层网络的中间层，它是一个比输入层低维的向量。特征提取所需要训练的网络并不需要反复训练，使用一定的数据集训练一次之后所得到的参数可以一直使用。因此在大部分时间里网络训练的规模会很小。

步骤5，特征融合。将上一步得到的各指标特征进行拼接，再一次输入到自编码神经网络中，做进一步压缩，最终得到一个共同的压缩特征。这个共享特征尽可能地抽取了多种指标的公共特性。特征融合提取示意图见图1。在4，5两步中需要对稀疏自编码网络的参数进行确定，需要调控的参数为自编码网络中的稀疏值和隐含层单元数。这里通过二维遍历的方式，以求得自编码后，重构误差最小的稀疏值和隐含层单元数。

步骤6，人工干预。在同样的时间窗口上，人对于可能预知要发生热点，及热点的程度做出自己的判断。即在时间序列上加入人为权值。这种操作通常直接通过简单的点击操作即可完成。加入权重根据下式获得：

I t v = \{\begin{matrix} I t v + r * \exp (- \frac{(x - t i m e)}{2 * {σ_{1}}^{2}}) \\ I t v + r * \exp (- \frac{(x - t i m e)}{2 * {σ_{2}}^{2}}) \end{matrix}

其中x、σ₁、σ₂是人为设定的参数，分别代表了峰值和左右两测收敛的速度。根据服务器运行服务不同，左右两侧影响范围是视具体情况而设定的。

步骤7，监督学习。CPU本身经过特征提取后的特征向量，共享特征向量和输出时间段的人工干预数值向量进行拼接，作为输入。滑动窗口后一部分序列值作为输出，使用神经网络进行训练。在训练过程中，需要控制人工干预所产生的影响，加入稀疏因子。将神经网络代价函数作出修改，如下式：

J (W, b) = \frac{1}{2} | | h_{W, b} (x) - x | |^{2} + \frac{λ}{2} Σ_{i = t + s + 1}^{s_{1}} Σ_{j = 1}^{s_{2}} {(W_{j i}^{(1)})}^{2}

其中，t代表了CPU特征向量长度，s代表了共享特征向量长度s_i代表了第i层单元数。有监督学习示意图见图2。对于训练样本较大的数据集需要进行这里采用类似L-BFGS算法一样的快速收敛算法。进一步地需要采用online模式来进行网络参数动态调整。

最后所应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。

Claims

1.一种云数据中心的负载预测方法，其特征在于，该方法包括如下步骤：

步骤2，计算CPU历史数据与其余各性能指标的相关性，相关性大于阈值φ的性能指标加入集合A；

步骤6，人工干预：在同样的时间窗口上，人对于可能预知要发生热点，及热点的程度做出自己的判断，即在时间序列上加入人为权值，加入权重根据下式获得：

I t v = \{\begin{matrix} I t v + r * \exp (- \frac{(x - t i m e)}{2 * σ_{1}^{2}}) \\ I t v + r * \exp (- \frac{(x - t i m e)}{2 * σ_{2}^{2}}) \end{matrix}

步骤7，监督学习：CPU本身经过特征提取后的特征向量，共享特征向量和输出时间段的人工干预数值向量进行拼接，作为输入；滑动窗口后一部分序列值作为输出，使用神经网络训练；在训练过程中，控制人工干预所产生的影响，加入稀疏因子，将神经网络代价函数作出修改，如下式：

J (W, b) = \frac{1}{2} | | h_{W, b} (x) - x | |^{2} + \frac{λ}{2} Σ_{i = t + s + 1}^{s_{1}} Σ_{j = 1}^{s_{2}} {(W_{j i}^{(1)})}^{2}

其中，t代表了CPU特征向量长度，s代表了共享特征向量长度，s_i代表了第i层单元数；

步骤8，预测：根据前面网络训练所得到的各种参数，监控一段时间CPU的运行状态，进行特征提取和融合，最后输入到最终模型进行预测，得到预测结果。

2.根据权利要求1所述的云数据中心的负载预测方法，其特征在于，利用数据的特征代替数据本身的数值来进行预测，所述的历史数据包括CPU历史数据、Memory历史数、Disk历史数据和网络I/O历史数据，同时预测加入人工干预模型。