CN104954185A - 一种基于深度置信网的云计算负载预测方法 - Google Patents
一种基于深度置信网的云计算负载预测方法 Download PDFInfo
- Publication number
- CN104954185A CN104954185A CN201510330961.3A CN201510330961A CN104954185A CN 104954185 A CN104954185 A CN 104954185A CN 201510330961 A CN201510330961 A CN 201510330961A CN 104954185 A CN104954185 A CN 104954185A
- Authority
- CN
- China
- Prior art keywords
- cloud
- data
- cloud computing
- computing load
- prediction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/14—Network analysis or design
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明提出了一种基于深度置信网的云计算负载预测方法,包括以下步骤:步骤(1),从云集群中提取并聚合负载观测值;步骤(2),对步骤(1)的观测值进行差分变换以降低数据的线性度,归一化数据,分析数据内部的自相关和自回归特性;步骤(3),按照从下到上的顺序逐层训练RBM,并通过BP算法优化整体网络结构;步骤(4),使用前一步训练出的网络对云属性进行长短期预测;步骤(5),将步骤(4)中的预测结果进行与步骤(2)相反的逆变换,得到原数据的预测值。本发明基于深度置信网的云负载预测方法,能够为云平台的资源调度提供可靠依据,具有预测误差小、适合长线预测等优点,达到云资源高效调度和使用。
Description
技术领域
本发明涉及云计算大数据计算、计算智能领域,特别涉及一种基于深度置信网的云计算负载预测方法。
背景技术
对云计算环境下的负载的预测是极为困难的。相对于网格计算和高性能计算而言,由于用户与云平台的交互和其上传得云任务类型在时间和空间上高度变化,使得云负载表现出高度的非线性性质,从而导致传统的线性或概率模型不能表现出其在应对网格和高性能***时的良好效果。
作为深度神经网络的一员,深度置信网是由RBM(Restricted BoltzmannMachines)组成的多层神经网络。一个RBM能够获取数据的内在模式或特征,而由多个RBM叠成的深度置信网能够获取特征的特征,从而建立起高度的非线性预测模型。通过采用对比散度算法对RBM进行预训练并使用BP优化网络结构比直接使用BP优化算法能达到更好的实验效果。
最接近本发明的技术有:
1、D.Sheng提出一种基于Bayes模型的预测算法去预测谷歌云集群主机负载。然而获取Bayes模型的前验信息往往很困难,这使得此模型容易产生简单结果,从而降低预测精度。
2、S.Chen采用了分形建模技术去预测谷歌云任务的资源请求。然而,采用分形建模技术对数据建模的前提条件是数据具有自相似性。这样,一个好的预测结果就要求云属性具有自相似性,这也使得其应用范围受到限制。
发明内容
为解决现有技术的不足,本发明提出了一种基于深度置信网的云负载预测方法。
本发明的技术方案是这样实现的:
一种基于深度置信网的云计算负载预测方法,包括以下步骤:
步骤(1),从云集群中提取并聚合负载观测值;
步骤(2),对步骤(1)的观测值进行差分变换以降低数据的线性度,归一化数据,分析数据内部的自相关和自回归特性;
步骤(3),按照从下到上的顺序逐层训练RBM,并通过BP算法优化整体网络结构;
步骤(4),使用前一步训练出的网络对云属性进行长短期预测;
步骤(5),将步骤(4)中的预测结果进行与步骤(2)相反的逆变换,得到原数据的预测值。
可选地,本发明的基于深度置信网的云计算负载预测方法,还包括步骤(6),将预测结果与传统方法的预测结果进行评价,得出评价结果。
本发明的有益效果是:
(1)把深度置信网对非线性数据良好的拟合特性与高度变化的云属性相结合,预测误差小;
(2)适合长线预测。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明一种基于深度置信网的云计算负载预测方法的流程图;
图2为本发明一种基于深度置信网的云计算负载预测方法的网络拓扑图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
图1所示为基于深度置信网的云负载预测方法的***流程图,图2所示为其网络拓扑图。
本发明基于深度置信网的云负载预测方法,其预测过程包括6个步骤:预处理步骤,预分析步骤,训练步骤,预测步骤,后处理步骤,评价步骤。
下面结合图1与图2,对基于深度置信网的云负载预测方法的具体流程进行详细说明:
步骤(1),预处理:从云集群中提取并聚合负载观测值。
步骤(2),预分析:对前一步骤的观测值进行差分变换以降低数据的线性度,归一化数据,分析数据内部的自相关和自回归特性。
步骤(3),训练:按照从下到上的顺序逐层训练RBM,并通过BP算法优化整体网络结构。
步骤(4),预测:使用前一步训练出的网络对云负载进行长短期预测。
步骤(5),将步骤(4)预测的结果进行与步骤(2)相反的逆变换,得到原数据的预测值。
进行完上述步骤之后,本发明基于深度置信网的云负载预测方法还可以包括步骤(6),即评价步骤,将预测结果与传统方法的预测结果进行评价,得出评价结果。
本发明基于深度置信网的云负载预测方法,通过RMI协议从每个云节点中收集属性观测值,并送至属性处理中心;而且,实现了基于深度置信网的预测组件,通过提前训练历史数据对将来一段时间内的云负载进行估计。
本发明基于深度置信网的云负载预测方法,能够为云平台的资源调度提供可靠依据,具有预测误差小、适合长线预测等优点,在充分利用DBN对复杂非线性数据强建模能力的前提下,实时读取云负载观测值,计算未来某时间段最可能的资源消耗估计,达到云资源高效调度和使用。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (2)
1.一种基于深度置信网的云计算负载预测方法,其特征在于,包括以下步骤:
步骤(1),从云集群中提取并聚合负载观测值;
步骤(2),对步骤(1)的观测值进行差分变换以降低数据的线性度,归一化数据,分析数据内部的自相关和自回归特性;
步骤(3),按照从下到上的顺序逐层训练RBM,并通过BP算法优化整体网络结构;
步骤(4),使用前一步训练出的网络对云属性进行长短期预测;
步骤(5),将步骤(4)中的预测结果进行与步骤(2)相反的逆变换,得到原数据的预测值。
2.如权利要求1所述的基于深度置信网的云计算负载预测方法,其特征在于,还包括步骤(6),将预测结果与传统方法的预测结果进行评价,得出评价结果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510330961.3A CN104954185B (zh) | 2015-06-09 | 2015-06-09 | 一种基于深度置信网的云计算负载预测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510330961.3A CN104954185B (zh) | 2015-06-09 | 2015-06-09 | 一种基于深度置信网的云计算负载预测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104954185A true CN104954185A (zh) | 2015-09-30 |
CN104954185B CN104954185B (zh) | 2018-08-28 |
Family
ID=54168559
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510330961.3A Active CN104954185B (zh) | 2015-06-09 | 2015-06-09 | 一种基于深度置信网的云计算负载预测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN104954185B (zh) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106201718A (zh) * | 2016-07-05 | 2016-12-07 | 北京邮电大学 | 一种基于负载预测的云计算资源动态伸缩方法 |
CN107545307A (zh) * | 2017-07-28 | 2018-01-05 | 上海交通大学 | 基于深度信念网络的变压器油中溶解气体浓度预测方法及*** |
CN108595272A (zh) * | 2018-05-02 | 2018-09-28 | 厦门集微科技有限公司 | 一种请求分发方法和装置、计算机可读存储介质 |
CN109542803A (zh) * | 2018-11-20 | 2019-03-29 | 中国石油大学(华东) | 一种基于深度学习的混合多模式热数据缓存策略 |
CN109871278A (zh) * | 2019-01-28 | 2019-06-11 | 中国石油大学(华东) | 一种基于深度置信网的数据流***资源预测机制 |
CN109978462A (zh) * | 2019-03-28 | 2019-07-05 | 上海中通吉网络技术有限公司 | 资源调配方法、装置和设备 |
CN112862138A (zh) * | 2019-11-27 | 2021-05-28 | 新奥数能科技有限公司 | 一种热负荷预测方法、装置、可读介质及电子设备 |
CN112949882A (zh) * | 2019-11-26 | 2021-06-11 | 新奥数能科技有限公司 | 一种负荷预测的方法、装置及电子设备 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012138688A1 (en) * | 2011-04-04 | 2012-10-11 | The Catholic University Of America | Systems and methods for improving the accuracy of day-ahead load forecasts on an electric utility grid |
CN103365727A (zh) * | 2013-07-09 | 2013-10-23 | 南京大学 | 一种云计算环境中的主机负载预测方法 |
CN103544539A (zh) * | 2013-10-12 | 2014-01-29 | 国家电网公司 | 一种基于人工神经网络和d-s证据理论的用户变化量预测方法 |
-
2015
- 2015-06-09 CN CN201510330961.3A patent/CN104954185B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012138688A1 (en) * | 2011-04-04 | 2012-10-11 | The Catholic University Of America | Systems and methods for improving the accuracy of day-ahead load forecasts on an electric utility grid |
CN103365727A (zh) * | 2013-07-09 | 2013-10-23 | 南京大学 | 一种云计算环境中的主机负载预测方法 |
CN103544539A (zh) * | 2013-10-12 | 2014-01-29 | 国家电网公司 | 一种基于人工神经网络和d-s证据理论的用户变化量预测方法 |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106201718A (zh) * | 2016-07-05 | 2016-12-07 | 北京邮电大学 | 一种基于负载预测的云计算资源动态伸缩方法 |
CN107545307A (zh) * | 2017-07-28 | 2018-01-05 | 上海交通大学 | 基于深度信念网络的变压器油中溶解气体浓度预测方法及*** |
CN108595272A (zh) * | 2018-05-02 | 2018-09-28 | 厦门集微科技有限公司 | 一种请求分发方法和装置、计算机可读存储介质 |
CN108595272B (zh) * | 2018-05-02 | 2020-11-27 | 厦门集微科技有限公司 | 一种请求分发方法和装置、计算机可读存储介质 |
CN109542803A (zh) * | 2018-11-20 | 2019-03-29 | 中国石油大学(华东) | 一种基于深度学习的混合多模式热数据缓存策略 |
CN109871278A (zh) * | 2019-01-28 | 2019-06-11 | 中国石油大学(华东) | 一种基于深度置信网的数据流***资源预测机制 |
CN109978462A (zh) * | 2019-03-28 | 2019-07-05 | 上海中通吉网络技术有限公司 | 资源调配方法、装置和设备 |
CN112949882A (zh) * | 2019-11-26 | 2021-06-11 | 新奥数能科技有限公司 | 一种负荷预测的方法、装置及电子设备 |
CN112862138A (zh) * | 2019-11-27 | 2021-05-28 | 新奥数能科技有限公司 | 一种热负荷预测方法、装置、可读介质及电子设备 |
Also Published As
Publication number | Publication date |
---|---|
CN104954185B (zh) | 2018-08-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104954185A (zh) | 一种基于深度置信网的云计算负载预测方法 | |
CN112257341B (zh) | 一种基于异源数据差补融合的定制产品性能预测方法 | |
CN108446794A (zh) | 一种基于多个卷积神经网络结合架构深度学习预测方法 | |
CN105320809B (zh) | 一种针对风电场空间相关性的风速预测方法 | |
Zhou et al. | Short-term wind power prediction optimized by multi-objective dragonfly algorithm based on variational mode decomposition | |
Ji et al. | Predicting dynamic deformation of retaining structure by LSSVR-based time series method | |
CN104331583B (zh) | 一种基于实测海杂波数据的多重分形建模方法 | |
CN110621026B (zh) | 一种基站流量多时刻预测方法 | |
CN110175541B (zh) | 一种海平面变化非线性趋势提取的方法 | |
Widiputra et al. | Multiple time-series prediction through multiple time-series relationships profiling and clustered recurring trends | |
CN113326852A (zh) | 模型训练方法、装置、设备、存储介质及程序产品 | |
TW201800987A (zh) | 問題推薦方法及設備 | |
CN104881563A (zh) | 径流的混沌特性分析及非线性预测方法 | |
CN112700326A (zh) | 一种基于灰狼算法优化bp神经网络的信贷违约预测方法 | |
Wu et al. | Image denoising with rectified linear units | |
CN110879927A (zh) | 一种用于海目标检测的海杂波幅度统计分布现场建模方法 | |
CN114358246A (zh) | 三维点云场景的注意力机制的图卷积神经网络模块 | |
CN117252436B (zh) | 一种土地利用变化生态风险分区的方法和*** | |
CN110717281A (zh) | 基于犹豫云语言术语集和群决策的仿真模型可信度评估方法 | |
CN114021432A (zh) | 一种应力腐蚀开裂裂纹扩展速率预测方法及*** | |
Ballı et al. | An application of artificial neural networks for prediction and comparison with statistical methods | |
Zhang | Application of knowledge model in dance teaching based on wearable device based on deep learning | |
CN113393051A (zh) | 基于深度迁移学习的配电网投资决策方法 | |
CN101241520A (zh) | 有限元建模中基于特征抑制的模型态生成方法 | |
CN115604131B (zh) | 一种链路流量预测方法、***、电子设备及介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
TA01 | Transfer of patent application right |
Effective date of registration: 20180625 Address after: 266000 room 2107, building 2, exhibition hall, 1777 Binhai Road, Huangdao District, Qingdao, Shandong. Applicant after: Qingdao Mdt InfoTech Ltd Address before: 266000 No. 66 Changjiang West Road, Qingdao economic and Technological Development Zone, Shandong Applicant before: China Petroleum University (East China) |
|
TA01 | Transfer of patent application right | ||
GR01 | Patent grant | ||
GR01 | Patent grant |