CN112418482A - 一种基于时间序列聚类的云计算能耗预测方法 - Google Patents

Abstract

本发明公开了一种基于时间序列聚类的云计算能耗预测方法，进行特征提取和向量化映射，应用聚类算法对子序列进行分类，产生同质簇，按簇来分别构建模型、训练和预测，基于深度学习、自编码器、GAF方法、卷积自编码器、基于输入子序列的聚类算法等方法实现挖掘能耗数据的动态特性和相关多变量之间的高阶非线性关系，降低时间复杂性，时间序列预测模型的选择有较大的灵活性，在预测的性能和精度方面有较大提升。

Description

一种基于时间序列聚类的云计算能耗预测方法

技术领域

本发明涉及一种云计算能耗预测方法，尤其涉及一种基于时间序列聚类的云计算能耗预测方法。

背景技术

云计算描述了一种基于互联网的IT服务增加、使用和交付模式，通常涉及通过互联网来提供动态易扩展而且经常是虚拟化的资源。云计算依赖资源的共享达成规模经济，在基础设施(如电力网)中有广泛的应用。服务提供者集成大量的资源供多个用户使用，用户可以请求更多资源，并随时调整使用量，将不需要的资源释放回整个架构。随着云计算规模的不断扩大，对计算能力的需求促进了数据中心的快速发展，与此同时数据中心的能耗也在迅速增加。数据中心中处于运行状态的服务器平均消耗峰值功率的10％-50％，而闲置的服务器消耗的功率可高达峰值功率的60％，造成了大量的电能浪费。不仅给数据中心运营商带来了高昂的成本，也对环境造成了伤害。为了克服这些问题，将功率的有效预测与工作负载调度相结合，保持负载平衡，帮助数据中心运营商进行工作流调度，优化能源利用率，降低能耗，需要对数据中心的能耗进行预测和分析。

现今已有时间序列预测的模型，如ARIMA(Autoregressive Integrated MovingAverage model)、LSTM(Long Short term Memory network)、GRU(Gated Recurrent Unit)等，直接对整体数据进行训练和预测时，不能充分考虑功耗数据的动态特性，多变量之间的高阶非线性关系未被有效发掘，能耗数据的时序复杂性较高，在处理大规模数据时，预测的性能和精度不足。

申请号CN201810845198.1公开了一种基于相空间的云计算能耗优化方法和***，主要包括获取云计算***中所有的节点以及节点的上下文环境信息，建立能耗模型；测量节点所有正在执行的任务的总能耗，根据该总能耗建立静态能耗相空间；采用能耗模型预测新增任务所需的能耗并建立动态能耗相空间；根据静态能耗相空间计算得到最优子相空间；预测新增任务在最优子相空间中各节点的能耗，根据静态能耗相空间和动态能耗相空间设计任务调度算法并确定新增任务的最优任务分配方案。然而对数据中心的能耗与相关节点组件之间的关系进行建模需要专业的领域知识和精确的测量工具，且一些节点的能耗不易测量。同时除了上下文环境信息，能耗还受到其他外部因素的影响，具有难以捕捉的动态规律，无法进行针对性的能耗预测。

申请号CN201911052854.3公开了一种基于GRU神经网络预测数据中心能耗效率值PUE的方法，收集数据中心能耗相关的属性数据；对收集到的属性数据进行归一化及特征选择；利用特征选择算法选出与预测值相关性最大的m个属性数据，通过构建GRU预测模型来进行能耗预测，该方法未能考虑到能耗时间序列特征多变量之间的高阶非线性关系，特征选择容易丢失变量之间所包含的隐藏信息，影响预测结果的精确性。

申请号CN201910604965.4公开了一种基于多变量灰色模型时间序列的车流量预测方法，主要包括基于数据分解的多变量时间序列融合预测模型和基于结果加权的多变量时间序列融合预测模型中进行时间序列预测，将预测值与实际值进行对比输出最终结果。通过构建两种时间序列预测模型，将两种模型的预测结果的平均值作为最终预测值。由于基于结果加权的多变量时间序列融合预测模型的构建依赖于另一个预测模型的训练结果，容易产生较大误差，且最后结果仅为两种模型预测结果的平均值，未能充分考虑两种模型之间的内在关系，无法有效保证预测的准确性和稳定性。

发明内容

发明目的：针对上述现有技术的缺陷，本发明提供一种基于时间序列聚类的云计算能耗预测方法，有效地捕捉能耗数据的动态特性，降低时序数据的复杂性，更准确地进行时间序列预测。

技术方案：本发明的基于时间序列聚类的云计算能耗预测方法具体步骤包括：

S1：将一维时间序列编码成二维图像，使用卷积自编码器对其进行向量化映射；

S2：对包含历史信息的输入子序列进行聚类分析，评价聚类的优劣程度；

S3：根据聚类结果生成训练样本，针对每个簇分别建立、训练时间序列预测模型，进行能耗预测。

其中S1包括如下步骤：

S11：基于滑动窗口分割时间序列并对特征值进行归一化处理；

使用大小为L，滑动步长为l的滑动时间窗口，将包含隐式特征的时间序列分割成固定长度的子序列，然后对于每个特征值进行归一化处理。

S12：将一维时间序列编码成二维图像；

计算子序列的第j个特征

的余弦角，将归一化后的特征值转化到极坐标系，其中极角为特征值数值对应余弦值所对应的角度，极径大小为特征值下标i和子序列长度L的比例，将子序列的第j个特征

对应二维图像用通过计算子序列中任意两个不同时间点对应的极角之和的正弦值或余弦值得到的Gramin矩阵表示，转换方法包括但不限于GASF方法、GADF方法。

S13：对子序列的多张特征图像进行向量化映射；通过最小化重建误差来重建原始图像，对卷积自编码器进行训练后，生成单张图像的向量化映射，再将子序列的所有特征图像输入到1×1滤波器中，生成子序列的特征嵌入表示。使用的卷积自编码器至少包括一层隐藏层。

S2中聚类的具体评价标准包括：聚类大小的均衡性评价标准为簇的边际概率的熵；聚类之间的分离性评价标准为条件熵；聚类内部的紧凑型评价标准为辅助概率分布和聚类当前概率分布情况之间的差异，衡量方法包括但不限于KL散度(Kullback–Leiblerdivergence)。

S2的具体步骤包括：

S21：计算所有聚类的总微分熵。同时可根据实际情况需要，选择上述评价聚类质量标准中的若干项来构成聚类的整体损失函数。

S22：按循环顺序选取一个点，将其重新分配到重新分配后总分最小的聚类中，更新辅助概率分布。

S23：重复S21和S22，直到模型收敛或达到预定的迭代次数。

时间序列预测模型的选择包括但不限于LSTM、GRU、TCNs等，可根据实际的能耗数据的特点，进行选择。

S3的具体步骤包括：

S31：按时间顺序，将数据集划分为训练集、验证集和测试集。初始化时间序列预测模型模型，设置学习率和迭代次数等参数。

S32：以批量的方式将训练数据集数据输入时间序列预测模型，计算有效历史长度的输出误差，并将误差反向传播以更新时间序列预测模型参数。

S33：重复S2，直到模型收敛或达到给定迭代次数，完成训练。

S34：将预测数据输入到S2中所构建的聚类模型中，根据聚类结果选择对应模型，输出预测结果。

进行能耗预测之前，可采用自编码器对数据集进行有效特征提取，包括如下步骤：

步骤1：将输入s通过激活函数进行非线性映射到隐藏层；

步骤2：然后将隐藏层向量映射到输出层，生成s的重构；

步骤3：通过最小化重构损失函数训练自编码器，损失函数包括但不限于均方误差(mean square loss)、平均绝对误差(mean absolute loss)。

有益效果：与现有技术相比，本发明具有如下显著优点：在需要更精确地预测情况下，能够针对能耗数据有难以捕捉的动态规律的特点，挖掘能耗数据的动态特性和相关多变量之间的高阶非线性关系，降低时间复杂性，时间序列预测模型的选择有较大的灵活性，大幅度提升预测的性能和精度，降低了时序数据的复杂度；产生同质簇并按簇分别构建预测模型，而非选择针对同一数据构建至少两种模型进行能耗预测。预测针对性强，挖掘能耗数据的动态关系以及多变量时间序列之间的高阶非线性关系，提高预测性能和精度。

附图说明

图1为本发明的流程图；

图2为本发明实施例使用的卷积自编码器结构图。

具体实施方式

下面结合实施例对本发明的技术方案作进一步说明。

由于数据集中包含了大量特征，为了降低专业领域知识的需求和人工干预的影响，在进行聚类分析之前，采用自编码器进行有效特征提取。自编码器主要由三部分组成，即输入层、隐藏层和输出层。自编码器首先将输入s映射到隐藏层，然后将隐藏层向量映射到输出层，生成s的重构。上述步骤用以下公式概括：

a(s)＝f(W1s+b1)

其中s和

分别是自编码器的输入和输出，a(s)是隐藏层向量，W₁和W₂分别表示隐藏层和输出层的权重向量，b₁和b₂分别表示隐藏层和输出层的偏置，f是激活函数。通过最小化重构损失函数

来训练自编码器。

衡量的是输入值与其重构后的输出值之间的误差平均值，其优化函数表示为：

其中T是多变量时间序列的长度，M是时间序列所包含的变量数。

受限于简单的架构，单层自编码器很难学习多变量时间序列之间的高阶非线性关系，本实施例中使用五层的栈式自编码器，以增强其学习能力。

定义变量j在时间i上的观测值为s_i ^j，在时间i上的多变量时间序列观测值表示为s_i＝(s_i ¹,s_i ²,…,s_i ^M)，M表示变量的数量。整个多变量时间序列可表示为S＝(s₁,s₂,…,s_T)。定义多变量时间序列在时间j上的预测值为y_j＝(y_j ¹,y_j ²,…,y_j ^M′)(M′≤M)，在连续多步预测中，未来的某一段长度为p时间序列的预测值表示为Y＝(y_T+1,y_T+2,…,y_T+p)。

向量化映射的具体步骤如下：

S11:首先将包含时间序列分割成固定长度的子序列，使用大小为L，滑动步长为l的时间窗口。U是特征的数量，特征j在时间i时的衡量值为

在时间i上的特征表示为h_i＝(h_i ¹,h_i ²,…,h_i ^U)，时间序列为

将分割后的子序列表示为H_t＝(h_t,h_t+1,…,h_t+L-1)，其中L是子序列的长度。

S12:对每个特征的值进行归一化处理，使用Min-Max scaler将值都缩放到区间[-1,1]内。时间序列的特征j表示为h_j＝(h₁ ^j,h₂ ^j,…,h_T ^j)，归一化后表示为

S13:采用GAF(Gramian Angular Fields)方法将一维时间序列编码成二维图像。对于子序列的第j个特征

计算它的余弦角，按如下公式将一个值

转化到极坐标系，先将子序列的特征值转化到极坐标系，其中极角

为特征值数值对应余弦值所对应的角度，极径r_i ^j大小为特征值下标i和子序列长度L的比例：

子序列的第j个特征

对应二维图像用相应的Gramin矩阵表示：

S14:采用图1所示的卷积自编码器，在每个子序列对应的一组特征的图像分别通过堆叠三个卷积层来提取层次特征。最后一个卷积层的输出被扁平化，并送入一个全连接层，其输出是依赖于特征的嵌入映射。同时将每个隐式特征图像的特征嵌入统一起来，并应用卷积层与1×1滤波器来生成子序列的特征独立嵌入表示。我们利用卷积转置层和全连接层，通过最小化重建误差来重建原始图像进行训练。误差函数表示为：

其中，U是特征的数量，T和L分别是时间序列和子序列的长度。

多变量时间序列进行向量化映射后，在本发明中应用聚类分析法将根据子序列的嵌入式表示划分若干组，产生的同质簇，可进一步挖掘能耗数据的动态特性，捕捉多变量时间序列的高阶非线性关系和降低时间复杂性。

本实施例从三个方面利用非参数熵估计技术来评价聚类的优劣程度：聚类大小的均衡性、聚类之间的分离性和聚类内部的紧凑性。

1、聚类大小的均衡性；

本方法中不强求聚类的边际分布的先验知识，所以遵循最大熵规则，即当K个聚类大小相等时，每个聚类的边际概率为1/K。信息论中的熵用于评价聚类大小的均衡性，可以用如下公式表示：

其中x_t＝{x_t ¹,x_t ²,…,x_t ^V}为子序列的嵌入表示，V是嵌入空间的维度。y∈{1,2,…,K}表示簇标签。将x_t属于簇y的条件概率表示为p(y|x_t,W)，W是参数集，

是簇y的边际概率的熵，

表示

的熵。

2、聚类之间的分离性；

聚类的决策边界有较大的边际空间，可以使得簇之间的分离性提高。条件熵能够衡量聚类的重叠度，适合用来衡量不确定性，其定义为

3、聚类内部的紧凑性；

在本方法中利用辅助概率分布来评价紧凑性。将簇y的概率密度函数表示为

让p_kt表示p(y＝k|x_t,W)，

表示

q_kt表示辅助概率

辅助概率分布q_kt的理想特征是紧凑性，可采用KL散度(Kullback–Leibler divergence)来衡量

p_kt与q_kt在所有子序列上的差异，即

本方法中，在不对聚类分布施加任何参数模型的情况下，最大化聚类标签和数据点特征之间的相互信息。主要通过上述三个评价标准来衡量聚类质量，聚类的具体步骤如下：

S21：计算所有聚类的总微分熵，采用多类逻辑回归作为条件模型。给定簇的数量K，采用随机梯度下降(SGD)方法优化聚类的整体损失函数来计算赋值，q_kt的初始化可以使用均匀分布。

聚类的整体损失函数的定义，可根据实际情况选择评价标准中的若干项来作为损失函数。在本实施例中，损失函数定义如下：

S22:通过向具有最大条件概率的簇分配子序列来生成初始簇。采用自适应学习更新辅助概率分布q_kt。之后按循环顺序选取一个点，将其重新分配到重新分配后总分最小的聚类中，更新辅助概率分布q_kt。

S23:重复S21和S22，直到收敛或达到预定的迭代次数。由于每个簇的概率密度函数的未知形式，用MeanNN微分熵估计器重新代入估计微分熵。

根据S2的聚类分析结果，生成每个簇对应的训练数据集。针对不同的能耗数据，可根据具体能耗数据的实际情况来选择更加合适的时间序列预测模型，如LSTM(Long Short-term Memory network)、GRU(Gated Recurrent Unit)、TCNs(Temporal ConvolutionalNetworks)等，在本框架内可直接进行替换。

时间序列具体预测步骤如下：

S31:按时间顺序，将数据集划分为训练集、验证集和测试集。初始化时间序列预测模型模型，设置学习率和迭代次数等参数。

S32:以批量的方式将训练数据集数据输入时间序列预测模型，计算有效历史长度的输出误差，并将误差反向传播以更新时间序列预测模型参数。

S33:重复S32，直到模型收敛或达到给定迭代次数，完成训练。

S34:将预测数据输入到步骤二中所构建的聚类模型中，根据聚类结果选择对应模型，输出预测结果。

Claims (9)

1.一种基于时间序列聚类的云计算能耗预测方法，其特征在于所述方法具体步骤包括：

S1：将一维时间序列编码成二维图像，使用卷积自编码器对其进行向量化映射；

S2：对包含历史信息的输入子序列进行聚类分析，评价聚类的优劣程度；

S3：根据聚类结果生成训练样本，针对每个簇分别建立、训练时间序列预测模型，进行能耗预测。

2.根据权利要求1所述的基于时间序列聚类的云计算能耗预测方法，其特征在于所述步骤1包括如下步骤：

S11：使用大小为L，滑动步长为l的时间窗口将包含时间序列分割成长度为L的子序列；

S12：对每个特征的值进行归一化处理并缩放到区间[-1，1]内；

S13：采用GAF(Gramian Angular Fields)方法将一维时间序列编码成二维图像，计算子序列的第j个特征

的余弦角，将归一化后的特征值转化到极坐标系，其中极角为特征值数值对应余弦值所对应的角度，极径为特征值下标i和子序列长度L的比例，将子序列的第j个特征

对应二维图像用通过计算子序列中任意两个不同时间点对应的极角之和的正弦值或余弦值得到的Gramin矩阵表示；

S14：采用卷积自编码器，在每个子序列对应的一组特征的图像分别通过堆叠至少一层的卷积层来提取层次特征，将最后一个卷积层的输出扁平化，送入一个全连接层，其输出是依赖于特征的嵌入映射；同时将每个隐式特征图像的特征嵌入统一起来，并应用卷积层与1×1滤波器来生成子序列的特征独立嵌入表示，利用卷积转置层和全连接层，通过最小化重建误差来重建原始图像进行训练，误差函数损失函数包括但不限于均方误差(mean squareloss)、平均绝对误差(mean absolute loss)。

3.根据权利要求1所述的基于时间序列聚类的云计算能耗预测方法，其特征在于所述步骤2中评价聚类的优劣程度包括聚类大小的均衡性、聚类之间的分离性和聚类内部的紧凑性，其中聚类大小的均衡性评价标准为簇的边际概率的熵；聚类之间的分离性评价标准为条件熵；聚类内部的紧凑型评价标准为辅助概率分布和聚类当前概率分布情况之间的差异，衡量方法包括但不限于KL散度(Kullback–Leibler divergence)。

4.根据权利要求1所述的基于时间序列聚类的云计算能耗预测方法，其特征在于所述步骤2包括如下步骤：

S21：计算所有聚类的总微分熵，采用多类逻辑回归作为条件模型；给定簇的数量K，采用随机梯度下降(SGD)方法优化聚类的整体损失函数来计算赋值；根据实际情况选择评价标准中的若干项来作为聚类的整体损失函数；

S22:通过向具有最大条件概率的簇分配子序列来生成初始簇，采用自适应学习更新辅助概率分布，按循环顺序选取一个点，将其重新分配到重新分配后总分最小的聚类中，更新辅助概率分布；

S23:重复S21和S22，直到收敛或达到预定的迭代次数，由于每个簇的概率密度函数的未知形式，用MeanNN微分熵估计器重新代入估计微分熵。

5.根据权利要求1所述的基于时间序列聚类的云计算能耗预测方法，其特征在于所述步骤S3中时间序列的预测包括如下步骤：

S31：按时间顺序，将数据集划分为训练集、验证集和测试集；初始化时间序列预测模型，设置学习率和迭代次数等参数；

S32：以批量的方式将训练数据集数据输入时间序列预测模型，计算有效历史长度的输出误差，并将误差反向传播以更新时间序列预测模型参数；

S33：重复S32，直到模型收敛或达到给定迭代次数，完成训练；

S34：将预测数据输入到步骤S2中所构建的聚类模型中，根据聚类结果选择对应模型，输出预测结果。

6.根据权利要求1所述的基于时间序列聚类的云计算能耗预测方法，其特征在于进行能耗预测之前，可采用自编码器对数据集进行有效特征提取，包括如下步骤：

步骤1：将数据集作为输入s通过激活函数进行非线性映射到隐藏层；

步骤2：然后将隐藏层向量映射到输出层，生成s的重构；

步骤3：通过最小化重构损失函数训练自编码器，损失函数包括但不限于均方误差(mean square loss)、平均绝对误差(mean absolute loss)。

7.根据权利要求1所述的基于时间序列聚类的云计算能耗预测方法，其特征在于：时间序列预测模型包括但不限于LSTM、GRU、TCNs，预测时根据实际能耗数据的特点进行选择。

8.根据权利要求1所述的基于时间序列聚类的云计算能耗预测方法，其特征在于所述步骤S1中使用的自编码器至少包括一层隐藏层。

9.根据权利要求2所述的基于时间序列聚类的云计算能耗预测方法，其特征在于所述步骤S12中缩放特征值采用的方法包括但不限于Min-Max scaler方法。

Images