CN103645795A - 一种基于人工神经网络的云计算数据中心节能方法 - Google Patents
一种基于人工神经网络的云计算数据中心节能方法 Download PDFInfo
- Publication number
- CN103645795A CN103645795A CN201310678172.XA CN201310678172A CN103645795A CN 103645795 A CN103645795 A CN 103645795A CN 201310678172 A CN201310678172 A CN 201310678172A CN 103645795 A CN103645795 A CN 103645795A
- Authority
- CN
- China
- Prior art keywords
- load
- strategy
- energy
- monitor
- energy saving
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 18
- 238000000034 method Methods 0.000 title claims abstract description 15
- 238000009795 derivation Methods 0.000 claims abstract description 16
- 238000005265 energy consumption Methods 0.000 claims abstract description 13
- 238000012545 processing Methods 0.000 claims abstract description 6
- 230000008901 benefit Effects 0.000 claims abstract description 3
- 238000012544 monitoring process Methods 0.000 claims description 12
- 238000004134 energy conservation Methods 0.000 claims description 9
- 239000000203 mixture Substances 0.000 claims description 4
- 230000001537 neural effect Effects 0.000 claims description 3
- 230000009467 reduction Effects 0.000 claims description 3
- 238000012549 training Methods 0.000 claims description 3
- 230000003044 adaptive effect Effects 0.000 claims description 2
- 210000005036 nerve Anatomy 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 abstract description 7
- 238000013461 design Methods 0.000 abstract description 3
- 238000007726 management method Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 229910052799 carbon Inorganic materials 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000011217 control strategy Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000002045 lasting effect Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明提供一种基于人工神经网络的云计算数据中心节能方法，针对云计算数据中心能耗、负载及功耗负载多变的情况，设计了一种基于人工神经网络的节能技术，将收集到的多种数据作为人工神经网络的输入，自动生成适用与当前***状态的节能策略。***分为采集监控***、自动策略推导***和节能主控***三部分，将***中负载和功耗的数据做为人工神经网络ANN的输入，借助人工神经网络对非线性复杂数据的处理优势，自动生成符合当前***运行状态的节能策略，并根据该策略自动对***中各部件的运行模式进行调整，在保证***稳定性和应用性能需求的前提下，将整个被监测***的负载以更为集中的方式加以调配，以实现更高程度的能耗降低。
Description
技术领域
本发明涉及服务器的节能技术领域,具体地说是一种基于人工神经网络的云计算数据中心节能方法。
背景技术
云计算是互联网时代信息基础设施与应用服务模式的重要形态，是新一代信息技术集约化发展的重要趋势，它以资源聚合及虚拟化、应用服务和专业化、按需供给和灵便使用的业务模式提供高效能、低成本、低功耗的计算与数据服务，支撑各类信息化应用。云计算是计算模式和应用服务模式的革新，将改变信息行业的格局，也将对国民经济和社会生活产生广泛深入的影响。
我国政府对节能减排和提高能源效率非常重视。信息产业作为第五大高能耗产业必将成为建设低碳社会与构建绿色经济的重要领域，而作为未来信息产业的基础设施与关键支撑，云计算数据中心的能耗研究必将成为重中之重。在云计算数据中心中，云计算设备的规模日益增大，总体能耗也随之日渐提高，因此对云计算数据中心自主节能管理技术进行优化，以有效控制和降低云计算数据中心能源消耗是十分迫切和必要的。
目前我国的云计算数据中心建设仍然采用传统的服务器、存储、网络设备，辅以虚拟化软件、调度管理软件和传统的操作***、应用软件的方式，并不能充分发挥云计算低成本、低功耗、高性能的特点。国际上以Google为代表的云计算领先厂商已经在针对云计算特点设计专用服务器和存储设备，设计全新的节点间互联技术，解决超大规模数据中心资源聚集和大规模数据处理的问题。
普遍来讲，我国现有技术能够管理和调度的资源规模比Google小10倍以上，大规模数据处理能力差100倍以上。Google还在数据中心节能技术方面进行大量研究，目前Google数据中心PUE（power usage effectiveness）已经达到1.1，而国内数据中心最高也只能达到1.4-1.5，综合能耗高于Google 40%以上。
传统数据中心***管理方法与策略基本是采取预先定义，即在数据中心部署过程中就已经确定下来，完全按照固定模式和流程运转；如果需要调整这些预定义的管理方法和策略，就需要***管理员对这些方法与策略进行重新配置。由于数据中心自身架构的复杂性，加之其上运行应用的多样性，数据中心的温度、能耗和负载等会发生较复杂的变化，固定模式的管理策略很难满足数据中心在复杂环境下的持续可用性需求。而如果依靠人工进行管理方法和策略的重新配置，随着数据中心复杂性的提高及数据中心运行状态的频繁变化，数据中心管理员将会疲于奔命，出错的概率也将大大增加。同时，为满足负载峰值的需求，当前运行的数据中心通常会保留相当比例的资源冗余，而实际中负载大多处于相对较低的水平。在这种情况下，大量硬件设备并未提供有效的性能输出，但能耗却并未降低。
发明内容
本发明的目的是针对目前云数据中心的节能管理问题，提供一种基于人工神经网络的云计算数据中心节能方法。
本发明使用两大类节能运行策略：
其一是调整各硬件资源模块的功率、运行模式等，在保证***稳定性和应用性能需求的前提下尽可能地降低个别硬件资源模块的能耗；
其二是在保证***稳定性和应用性能需求的前提下，将整个被监测***的负载以更为集中的方式加以调配，从而能够将部分云计算设备待机、停机或等同与此的其他状态，以实现更高程度的能耗降低。
本发明的目的是按以下方式实现的，
将***中负载和功耗的数据做为人工神经网络ANN的输入，借助人工神经网络对非线性复杂数据的处理优势，自动生成符合当前***运行状态的节能策略，并根据该策略自动对***中各部件的运行模式进行调整，在保证***稳定性和应用性能需求的前提下，将整个被监测***的负载以更为集中的方式加以调配，以实现更高程度的能耗降低；
***包括：采集监控***、自动策略推导***和节能主控***三部分,其中：
采集监控***，负责收集***中与负载、功耗及性能相关的数据，采集监控***组件构成包括：操作***内核任务计数器、操作***内核调度程序监视器、操作***内核负载平衡程序监视器、操作***内核内存分配程序监视器、操作***内核中断路由监视器、操作***内核高速缓存监视器、操作***内核交换区监视器、操作***内核网络协议栈监视器、处理器负载监视器、***内存负载监视器、***存储负载监视器以及***网络负载监视器；
自动策略推导***，将采集监控***搜集到的负载、功耗及性能数据做为输入输出能够适应当前负载情况的节能策略；使用人工神经网络模型，并将有效地减小随机因素的扰动抑制***运行策略的抖动作为终止神经网络训练的必要条件；
节能主控***，自动执行策略推导***生成的策略，包括调整单个硬件资源的工作模式及自动在整个***范围内进行负载调配，根据自动规则推导***生成的策略自动调整和设置***中各类设备的运行模式，并以集中的方式在多台设备间配置负载，最终在保证***稳定提供满足应用需求性能的同时，有效降低数据中心的能耗。
所述的云计算数据中心节能方法，自动策略推导***是整个***的核心，自动策略推导***使用人工神经网络来进行数据的处理，将采集监控***收集到的信息作为输入，并以有监督的方式对网络进行训练，使其自适应***的负载变化并输出最优节能策略。
本发明的有益效果是：减少人工干预过程，在降低管理成本的同时，也可有效减低出错概率，在数据中心运行状态频繁变化的情况下提高响应速度。
附图说明
图1 是云数据中心性能、负载及能耗关系模型图。
具体实施方式
参照说明书附图对本发明的方法作以下详细地说明。
实施例
在本发明节能管理***中，采集监控***由操作***内核任务计数器、操作***内核调度程序监视器、操作***内核负载平衡程序监视器、操作***内核内存分配程序监视器、操作***内核中断路由监视器、操作***内核高速缓存监视器、操作***内核交换区监视器、操作***内核网络协议栈监视器等组件构成；采集***由处理器负载监视器、***内存负载监视器、***存储负载监视器以及***网络负载监视器等组件构成。
将监控***和采集***获取到的***关键资源负载信息以及操作***各关键资源管理子***的运行状态数据作为自动策略推导***的输入，并将有效地减小随机因素的扰动抑制***运行策略的抖动作为终止神经网络训练的必要条件，可以建立性能、负载及能耗的仿真模型，从而自动地生成适用当前环境状态节能控制策略。
节能主控***用于实现对自动策略推导***生成的节能运行策略的解析和实施，节能主控***以高效方式连接***中的处理器管理单元、存储管理单元、网络管理单元以及存储管理单元等，并灵活有效地对这些资源控制单元加以调整和设置，以及以集中的方式在多台设备间配置负载。
除说明书所述的技术特征外，均为本专业技术人员的已知技术。
Claims (2)
1.一种基于人工神经网络的云计算数据中心节能方法, 其特征在于***分为采集监控***、自动策略推导***和节能主控***三部分，将***中负载和功耗的数据做为人工神经网络ANN的输入，借助人工神经网络对非线性复杂数据的处理优势，自动生成符合当前***运行状态的节能策略，并根据该策略自动对***中各部件的运行模式进行调整，在保证***稳定性和应用性能需求的前提下，将整个被监测***的负载以更为集中的方式加以调配，以实现更高程度的能耗降低；
***分为采集监控***、自动策略推导***和节能主控***三部分,其中：
采集监控***，负责收集***中与负载、功耗及性能相关的数据，采集监控***组件构成包括：操作***内核任务计数器、操作***内核调度程序监视器、操作***内核负载平衡程序监视器、操作***内核内存分配程序监视器、操作***内核中断路由监视器、操作***内核高速缓存监视器、操作***内核交换区监视器、操作***内核网络协议栈监视器、处理器负载监视器、***内存负载监视器、***存储负载监视器以及***网络负载监视器；
自动策略推导***，将采集监控***搜集到的负载、功耗及性能数据做为输入输出能够适应当前负载情况的节能策略；使用人工神经网络模型，并将有效地减小随机因素的扰动抑制***运行策略的抖动作为终止神经网络训练的必要条件；
节能主控***，自动执行策略推导***生成的策略，包括调整单个硬件资源的工作模式及自动在整个***范围内进行负载调配，根据自动规则推导***生成的策略自动调整和设置***中各类设备的运行模式，并以集中的方式在多台设备间配置负载，最终在保证***稳定提供满足应用需求性能的同时，有效降低数据中心的能耗。
2.根据权利要求1所述的云计算数据中心节能方法，其特征在于自动策略推导***是整个***的核心，自动策略推导***使用人工神经网络来进行数据的处理，将采集监控***收集到的信息作为输入，并以有监督的方式对网络进行训练，使其自适应***的负载变化并输出最优节能策略。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310678172.XA CN103645795A (zh) | 2013-12-13 | 2013-12-13 | 一种基于人工神经网络的云计算数据中心节能方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310678172.XA CN103645795A (zh) | 2013-12-13 | 2013-12-13 | 一种基于人工神经网络的云计算数据中心节能方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN103645795A true CN103645795A (zh) | 2014-03-19 |
Family
ID=50251022
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201310678172.XA Pending CN103645795A (zh) | 2013-12-13 | 2013-12-13 | 一种基于人工神经网络的云计算数据中心节能方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN103645795A (zh) |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103995749A (zh) * | 2014-05-21 | 2014-08-20 | 广东省电信规划设计院有限公司 | 小区云***的计算任务分配方法和*** |
| CN104239194A (zh) * | 2014-09-12 | 2014-12-24 | 上海交通大学 | 基于bp神经网络的任务完成时间预测方法 |
| CN104391560A (zh) * | 2014-09-28 | 2015-03-04 | 浪潮(北京)电子信息产业有限公司 | 云数据中心基于Hopfield神经网络的服务器节能方法及装置 |
| CN104503847A (zh) * | 2015-01-22 | 2015-04-08 | 浪潮(北京)电子信息产业有限公司 | 一种数据中心节能方法和装置 |
| CN105204978A (zh) * | 2015-06-23 | 2015-12-30 | 北京百度网讯科技有限公司 | 基于机器学习的数据中心运行数据分析*** |
| CN105227410A (zh) * | 2015-11-04 | 2016-01-06 | 浪潮(北京)电子信息产业有限公司 | 基于自适应神经网络的服务器负载检测的方法及*** |
| CN106209433A (zh) * | 2016-06-30 | 2016-12-07 | 上海天玑科技股份有限公司 | 一种云环境下面向架构的应用***节能部署装置 |
| CN106483843A (zh) * | 2015-08-31 | 2017-03-08 | 中兴通讯股份有限公司 | 一种实现idc功耗控制的方法及*** |
| CN107015630A (zh) * | 2017-04-14 | 2017-08-04 | 广东浪潮大数据研究有限公司 | 一种Smart Rack集群服务器功耗管理优化的方法及*** |
| CN111240454A (zh) * | 2020-01-18 | 2020-06-05 | 苏州浪潮智能科技有限公司 | 一种基于risc-v的功耗动态调整***及方法 |
| WO2020227983A1 (en) * | 2019-05-15 | 2020-11-19 | Alibaba Group Holding Limited | Hybrid-learning neural network architecture |
| CN112000215A (zh) * | 2020-08-25 | 2020-11-27 | 北京字节跳动网络技术有限公司 | 终端控制方法、装置和电子设备 |
| CN115113705A (zh) * | 2021-03-18 | 2022-09-27 | 百度（美国）有限责任公司 | 用于神经网络集成的数据中心控制层次 |
-
2013
- 2013-12-13 CN CN201310678172.XA patent/CN103645795A/zh active Pending
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103995749B (zh) * | 2014-05-21 | 2017-06-16 | 广东省电信规划设计院有限公司 | 小区云***的计算任务分配方法和*** |
| CN103995749A (zh) * | 2014-05-21 | 2014-08-20 | 广东省电信规划设计院有限公司 | 小区云***的计算任务分配方法和*** |
| CN104239194A (zh) * | 2014-09-12 | 2014-12-24 | 上海交通大学 | 基于bp神经网络的任务完成时间预测方法 |
| CN104391560A (zh) * | 2014-09-28 | 2015-03-04 | 浪潮(北京)电子信息产业有限公司 | 云数据中心基于Hopfield神经网络的服务器节能方法及装置 |
| CN104503847A (zh) * | 2015-01-22 | 2015-04-08 | 浪潮(北京)电子信息产业有限公司 | 一种数据中心节能方法和装置 |
| CN105204978A (zh) * | 2015-06-23 | 2015-12-30 | 北京百度网讯科技有限公司 | 基于机器学习的数据中心运行数据分析*** |
| CN106483843A (zh) * | 2015-08-31 | 2017-03-08 | 中兴通讯股份有限公司 | 一种实现idc功耗控制的方法及*** |
| CN105227410A (zh) * | 2015-11-04 | 2016-01-06 | 浪潮(北京)电子信息产业有限公司 | 基于自适应神经网络的服务器负载检测的方法及*** |
| CN106209433A (zh) * | 2016-06-30 | 2016-12-07 | 上海天玑科技股份有限公司 | 一种云环境下面向架构的应用***节能部署装置 |
| CN106209433B (zh) * | 2016-06-30 | 2019-04-26 | 上海天玑科技股份有限公司 | 一种云环境下面向架构的应用***节能部署装置 |
| CN107015630A (zh) * | 2017-04-14 | 2017-08-04 | 广东浪潮大数据研究有限公司 | 一种Smart Rack集群服务器功耗管理优化的方法及*** |
| WO2020227983A1 (en) * | 2019-05-15 | 2020-11-19 | Alibaba Group Holding Limited | Hybrid-learning neural network architecture |
| CN111240454A (zh) * | 2020-01-18 | 2020-06-05 | 苏州浪潮智能科技有限公司 | 一种基于risc-v的功耗动态调整***及方法 |
| CN111240454B (zh) * | 2020-01-18 | 2021-10-22 | 苏州浪潮智能科技有限公司 | 一种基于risc-v的功耗动态调整***及方法 |
| CN112000215A (zh) * | 2020-08-25 | 2020-11-27 | 北京字节跳动网络技术有限公司 | 终端控制方法、装置和电子设备 |
| CN115113705A (zh) * | 2021-03-18 | 2022-09-27 | 百度（美国）有限责任公司 | 用于神经网络集成的数据中心控制层次 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103645795A (zh) | 一种基于人工神经网络的云计算数据中心节能方法 | |
| Zhou et al. | Virtual machine placement algorithm for both energy‐awareness and SLA violation reduction in cloud data centers | |
| CN103150003B (zh) | 信息处理***、该信息处理***的节电控制方法和装置 | |
| Zhou et al. | A novel virtual machine deployment algorithm with energy efficiency in cloud computing | |
| CN102708000B (zh) | 通过虚拟机迁移实现能耗控制的***和方法 | |
| CN108023958B (zh) | 一种基于云平台资源监视的资源调度*** | |
| CN102759984A (zh) | 虚拟化服务器集群的电源和性能管理*** | |
| CN103700041A (zh) | 基于云计算的智能电网负荷预测管理平台 | |
| CN103062091B (zh) | 一种风扇智能调控方法 | |
| CN105676996A (zh) | 一种龙芯服务器的功耗控制方法和装置 | |
| CN106230986A (zh) | 一种基于电力PaaS云平台的资源适配调度***及方法 | |
| CN104360724B (zh) | 一种基于作业调度的刀片服务器的散热方法 | |
| Lago et al. | Energy-aware virtual machine scheduling on data centers with heterogeneous bandwidths | |
| Zhou et al. | An experience-based scheme for energy-SLA balance in cloud data centers | |
| Saxena et al. | Green computing: an era of energy saving computing of cloud resources | |
| Varasteh et al. | On reliability-aware server consolidation in cloud datacenters | |
| Li et al. | Dynamic virtual machine consolidation algorithm based on balancing energy consumption and quality of service | |
| Yuan et al. | Energy aware resource scheduling algorithm for data center using reinforcement learning | |
| Daoud et al. | [Retracted] Cloud‐IoT Resource Management Based on Artificial Intelligence for Energy Reduction | |
| Beldiceanu et al. | The EPOC project: Energy proportional and opportunistic computing system | |
| Yin et al. | Copa: Highly cost-effective power back-up for green datacenters | |
| CN105116987A (zh) | 一种云计算中心的通用电源和性能管理*** | |
| Sakamoto et al. | Analyzing resource trade-offs in hardware overprovisioned supercomputers | |
| CN103973784A (zh) | 一种云存储服务器资源有效利用方法 | |
| CN102662759A (zh) | 一种云os中基于cpu负载的节能方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20140319 |