CN102063327A - 具有功耗意识的数据中心应用服务调度方法 - Google Patents

具有功耗意识的数据中心应用服务调度方法 Download PDF

Info

Publication number
CN102063327A
CN102063327A CN2010105895804A CN201010589580A CN102063327A CN 102063327 A CN102063327 A CN 102063327A CN 2010105895804 A CN2010105895804 A CN 2010105895804A CN 201010589580 A CN201010589580 A CN 201010589580A CN 102063327 A CN102063327 A CN 102063327A
Authority
CN
China
Prior art keywords
node
current
over
data
application service
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2010105895804A
Other languages
English (en)
Other versions
CN102063327B (zh
Inventor
文高进
冯圣中
樊建平
贝振东
赵娟娟
杨念
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Institute of Advanced Technology of CAS
Original Assignee
Shenzhen Institute of Advanced Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Institute of Advanced Technology of CAS filed Critical Shenzhen Institute of Advanced Technology of CAS
Priority to CN2010105895804A priority Critical patent/CN102063327B/zh
Publication of CN102063327A publication Critical patent/CN102063327A/zh
Application granted granted Critical
Publication of CN102063327B publication Critical patent/CN102063327B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种具有功耗意识的数据中心应用服务调度方法，包括：S1：获取当前数据中心中所有节点服务器的状态，以及应用服务在节点的分布和资源占用情况；S2：利用历史日志数据和当前应用负载情况，采用多尺度时间序列回归分析方法对数据中心的每个应用服务负载进行预测；S3：根据预测的负载和当前应用负载情况，进行具有功耗意识的应用服务调度优化计算；S4：依据应用服务调度优化计算结果，对节点进行管理，对应用服务进行调度。本发明通过对服务器负载进行统一监控和统一管理，来选择服务的执行节点和调整节点的运行状态，从而有效降低整个数据中心的能耗。

Description

具有功耗意识的数据中心应用服务调度方法
技术领域
本发明涉及计算机技术领域的应用服务调度方法，具体涉及一种具有功耗意识的数据中心应用服务调度方法。
背景技术
随着能源危机、全球气候变暖等环境问题的加重，人们已经认识到处理能耗问题的严重性和紧迫性。作为企业能耗大户的数据中心的能耗管理问题已经突现出来，数据中心能耗需求的增长速度越来越明显，数据中心开始凸显能耗危机。例如，深圳某银行***的信息中心机房（建筑面积4000平方米，在用面积2000平方米），一年的电费达到了800万元人民币，约合0.4万元/平米/年（单位面积电费）。调查显示，对于一般中低密度的企业数据中心（EDC），每年的单位面积电费大约在0.4-1万元人民币之间，对于一般的互联网数据中心（IDC），单位面积电费则在0.8-1.5万元之间。一个长期满负荷运行的、功率为1kW的服务器，每年的耗电量为8760kWh，服务器在实际运行负荷下的功耗，约为满载的40%-60%，但同时为服务器提供环境的机房设备所消耗的电能，则可能是服务器能耗的2-3倍。在一个典型的数据中心中，空调***消耗45%的电能，UPS供配电***消耗24%的电能，照明***消耗1%的电能，IT得到的电能仅占30%。据广东省电信规划设计院提供的数据，深圳地区大型IDC机房的空调***全年耗电平均占IDC总耗电的45%（2008年数据）。
事实上，数据中心电力不足和电费高昂已经成为全球化的问题。据专家预测，至2012年年底，全球近一半的数据中心将无法拥有足够的能源和冷却装置，用以支持高密度的服务器和存储设备。而到 2011 年，数据中心1/3以上的预算将是环境成本。 我们对深圳市各企业的访问调查结果显示：62%的被访企业认为，其数据中心面临着诸如散热、供电、成本等问题； 23%的被访企业认为，其数据中心供电和散热能力不足，限制了IT基础设施扩展，或无法部署高密度计算设备；有19%的被访企业认为，其数据中心的耗电量太大，费用无法负担；有17%的被访企业认为，机房温度过高，影响了计算设备的稳定运行。
数据中心的软硬件提供商、企业和机构本身、政府等都开始从不同层面致力于降低数据中心的能耗问题。2007 年2 月，由AMD、HP、Sun 和IBM 发起成立了绿色网格（The Green Grid）组织，旨在协助企业降低数据中心不断增长的功耗和散热成本。绿色网格组织希望通过制定和宣传数据中心运营、构建与设计方面的最佳实践，优化数据中心和其它IT 设施的能源使用模式，并与其它组织协作，共同制定与平台无关的能耗管理标准、测量方法、工艺及新技术，以不断改进全球数据中心的高能效表现。作为数据中心的用户，企业和机构的管理层也已经开始认为, 数据中心的节能降耗指标是采购数据中心设备及软件时需要优先考虑的因素之一。
总之，“绿色数据中心”的概念已经从“起点”升至了“沸点”，无论是从芯片级入手提升服务器性能，还是改进基础软件架构效率，或者是改善机房基础设施环境。金融、电信、能源三大行业的被访企业对“绿色数据中心”的认知度和认同度明显高于总行业的平均值，其中金融和电信均为55%，高出平均值12个百分点; 能源为53%，高出平均值10个百分点。然而，不管是从技术方面还是市场方面，国内外数据中心能耗管理还处于早期阶段，但人们对于节约能源和保护环境的迫切需求又要求数据中心在能耗管理方面有较大的改善和提高。
发明内容
本发明的目的在于提供一种具有功耗意识的数据中心应用服务调度方法，以解决数据中心能耗较大的问题。
本发明的技术方案如下：
一种具有功耗意识的数据中心应用服务调度方法，包括： 
    S1：获取当前数据中心中所有节点服务器的状态，以及应用服务在节点的分布和资源占用情况；
    S2：利用历史日志数据和当前应用负载情况，采用多尺度时间序列回归分析方法对数据中心的每个应用服务负载进行预测；
    S3：根据预测的负载和当前应用负载情况，进行具有功耗意识的应用服务调度优化计算；
S4：依据应用服务调度优化计算结果，对节点进行管理，对应用服务进行调度。
所述的具有功耗意识的数据中心应用服务调度方法，其中，步骤S1具体包括：
S101：获取集群中所有节点的主要硬件信息；
S102：获取集群中所有节点的状态；
S103：统计处于各状态的节点总数；
S104：获取各节点的资源利用情况。
所述的具有功耗意识的数据中心应用服务调度方法，其中，步骤S2具体包括：
S201：选择历史日志数据作为初始时间序列回归分析输入数据，并设定最大匹配尺度层数；
S202：逐尺度对每一个应用服务的历史序列数据进行时间序列回归分析；
S203：每尺度下，采用多种时间序列回归分析方法进行分析，选择误差最小的回归模型作为当前尺度的预测模型；
S204：用当前时间序列输入数据减去当前预测模型预测数据作为下一尺度的时间序列回归分析输入数据；
S205：检查当前匹配误差是否小于设定的误差上限，如果是，转入步骤S206，如果否，转入步骤S207；
S206：检查当前匹配尺度层数是否小于设定的最大匹配尺度层数，如果是，将当前匹配尺度层数加1，然后转入步骤204，如果否，转入步骤S207；
S207：检查当前所有的应用是否预测完，如果是，转入步骤S3，如果否，转入步骤S201。
所述的具有功耗意识的数据中心应用服务调度方法，其中，步骤S203具体包括如下步骤：
A：每一尺度下，采用多种时间序列回归模型进行负载预测；
B：计算各模型预测结果的绝对误差；
C：选择相对误差最小的一个模型，作为当前尺度的最终预测模型。
所述的具有功耗意识的数据中心应用服务调度方法，其中，步骤S3具体包括：
S301：根据预测模型逐应用服务进行一段时间内的负载预测；
S302：计算                                                个预测时间段内的CPU占用率
Figure 503704DEST_PATH_IMAGE002
，内存占用率，存储占用率
Figure 701391DEST_PATH_IMAGE004
，故障节点发生量
Figure 217692DEST_PATH_IMAGE005
；
S303：根据预测负载值估计第j个应用服务所需的节点总数；
S304：找出节点的热启动时间点集
Figure 728177DEST_PATH_IMAGE006
和休眠时间点集
Figure 210105DEST_PATH_IMAGE007
。
所述的具有功耗意识的数据中心应用服务调度方法，其中，步骤S304具体包括：
a：依据步骤S303计算第
Figure 515053DEST_PATH_IMAGE008
个应用服务在时间段
Figure 518650DEST_PATH_IMAGE009
所需的节点总数，将计算结果与该应用服务在上一时间段
Figure 277582DEST_PATH_IMAGE011
的计算节点总数进行比较，若
Figure 447587DEST_PATH_IMAGE010
大于，则转入b，反之，转入c；
b：比较第
Figure 989350DEST_PATH_IMAGE008
个应用服务在时间段所需的节点总数
Figure 178072DEST_PATH_IMAGE010
与当前工作的节点数
Figure 568471DEST_PATH_IMAGE013
的大小，若
Figure 401471DEST_PATH_IMAGE010
大于
Figure 986167DEST_PATH_IMAGE013
，则表示需要启动新的节点，计算
Figure 248390DEST_PATH_IMAGE009
时刻需要启动的新节点数的值，将当前时间段
Figure 355816DEST_PATH_IMAGE009
和当前时间段
Figure 485314DEST_PATH_IMAGE009
需要启动的新节点数作为一个二元元素
Figure 172517DEST_PATH_IMAGE015
加入集合，将当前工作结点总数
Figure 190337DEST_PATH_IMAGE013
设置为
Figure 553054DEST_PATH_IMAGE017
，转入d；
c：计算时间段
Figure 789869DEST_PATH_IMAGE018
之后的连续
Figure 325762DEST_PATH_IMAGE019
个时间段内分别所需的节点数，计算所得的个结果都加入集合
Figure 232462DEST_PATH_IMAGE020
，并与
Figure 458038DEST_PATH_IMAGE010
进行比较，若小于集合中的所有值，则表示确实可以进行节点休眠，找出
Figure 166154DEST_PATH_IMAGE021
的最小值
Figure 605095DEST_PATH_IMAGE022
，计算
Figure 213841DEST_PATH_IMAGE009
时刻需要休眠的节点数
Figure 593001DEST_PATH_IMAGE023
；将当前时间段
Figure 206254DEST_PATH_IMAGE009
和当前时间段
Figure 816095DEST_PATH_IMAGE024
需要休眠的节点数作为一个二元元素
Figure 514799DEST_PATH_IMAGE025
加入集合
Figure 133868DEST_PATH_IMAGE026
，转入d；
d：判断当前时间段
Figure 336048DEST_PATH_IMAGE009
是否小于
Figure 946152DEST_PATH_IMAGE001
，如果是，使i=i+1，然后转入a；否则，转入e；
e：假定热启动的预热时间为
Figure 866572DEST_PATH_IMAGE027
，遍历热启动时间点集
Figure 351649DEST_PATH_IMAGE006
，将第一维的值减
Figure 673915DEST_PATH_IMAGE027
，使得
Figure 766505DEST_PATH_IMAGE006
记录的是第j个应用服务需要热启动节点的实际启动时间。
所述的具有功耗意识的数据中心应用服务调度方法，其中，步骤S4具体包括：
S401：依据步骤S3的结果，每隔采样时间逐应用服务进行节点调度；
S402：依据步骤S3的结果，进行热启动节点、休眠节点调度、故障节点调度。
所述的具有功耗意识的数据中心应用服务调度方法，其中，步骤S402具体包括：
I：选择一个应用服务，初始化当前热启动调度指数为1，初始化休眠调度指数
Figure 446677DEST_PATH_IMAGE029
为1；
II：获取当前时间为
Figure 561133DEST_PATH_IMAGE030
，当前热启动调度指数，休眠调度指数为
Figure 408052DEST_PATH_IMAGE029
；
III：进行热启动节点调度，检测 
Figure 305290DEST_PATH_IMAGE006
中第
Figure 602148DEST_PATH_IMAGE028
元素的第一分量是否小于或等于
Figure 161174DEST_PATH_IMAGE030
，若否，则转入步骤IV；若是，则令
Figure 44947DEST_PATH_IMAGE031
等于
Figure 409939DEST_PATH_IMAGE006
中第
Figure 498986DEST_PATH_IMAGE028
元素的第二分量，并设定现有热启动节点数位
Figure 166597DEST_PATH_IMAGE032
，将
Figure 708305DEST_PATH_IMAGE033
个休眠节点唤醒成热等待节点，等待应用部署使用，同时热启动调度指数
Figure 250889DEST_PATH_IMAGE028
加1，转入步骤V；
IV：进行休眠节点调度，检测 
Figure 758225DEST_PATH_IMAGE007
中第元素的第一分量是否小于或等于
Figure 15954DEST_PATH_IMAGE030
，若是，则令
Figure 722748DEST_PATH_IMAGE034
等于
Figure 583126DEST_PATH_IMAGE007
中第
Figure 484217DEST_PATH_IMAGE029
元素的第二分量，检测第
Figure 62834DEST_PATH_IMAGE008
个应用服务是否可以释放节点，如果是，在保证
Figure 511002DEST_PATH_IMAGE031
个热启动节点的前提下，将多余的节点进行休眠，转入步骤V；
V：进行故障节点调度，检测是否出现故障节点，若有故障节点，且数量为
Figure 225886DEST_PATH_IMAGE035
，则将故障节点的应用迁移至热启动节点，将休眠节点唤醒成热启动节点，保证F个热启动节点，若没有故障节点，则转入步骤VI；
VI：判断是否所有的应用服务已经处理完，如果否，转入步骤I，如果是，进行下一次调度。
本发明的有益效果是：本发明针对数据中心运行中的高功耗问题，在应用服务调度和节点管理方法上进行创新，通过对服务器负载进行统一监控和统一管理，来选择服务的执行节点和调整节点的运行状态，从而实现数据中心节点运行的最优化配置，达到每瓦特性能的最大化，有效降低整个数据中心的能耗。
附图说明
图1为本发明的具有功耗意识的数据中心应用服务调度方法的流程图。
图2为图1中步骤S2的流程图。
具体实施方式
以下将结合附图，对本发明的具体实施方式和实施例加以详细说明，所描述的具体实施例仅用以解释本发明，并非用于限定本发明的具体实施方式。
本发明提出的一种具有功耗意识的数据中心应用服务调度方法，针对数据中心运行中的高功耗问题，在应用服务调度和节点管理方法上进行创新，通过对服务器负载进行统一监控和统一管理，来选择服务的执行节点和调整节点的运行状态，从而实现数据中心节点运行的最优化配置，达到每瓦特性能的最大化，有效降低整个数据中心的能耗。   
本发明针对数据中心中的各个应用服务，依据历史负载数据进行应用服务负载预测，然后进行应用服务的动态调度，控制数据中心节点的运行状态，有效的降低了整个数据中心的能耗。
请参阅图1，本发明的具有功耗意识的数据中心应用服务调度方法包括如下步骤：
S1：获取当前数据中心中所有节点服务器的状态，以及应用服务在节点的分布和资源占用情况。
S2：利用历史日志数据和当前应用负载情况，采用多尺度时间序列回归分析方法对数据中心的每个应用服务负载进行预测。
S3：根据预测的负载和当前应用负载情况，进行具有功耗意识的应用服务调度优化计算。
S4：依据应用服务调度优化计算结果，对节点进行管理，对应用服务进行调度。
其中，步骤S1是利用监控软件获取当前数据中心中所有节点服务器的状态，以及应用服务在节点的分布和资源占用情况，具体包括如下步骤：
S101：利用数据中心集群监控软件采集集群中所有节点的主要硬件信息。
需要采集的硬件信息主要是CPU的颗数及型号、磁盘空间容量、物理内存大小、网络带宽等。
S102：获取集群中所有节点的状态。
每个节点有4种可能的状态：运行、热等待、休眠和故障。
S103：统计处于各状态的节点总数。
节点总数包括运行节点数
Figure 819851DEST_PATH_IMAGE036
、热等待节点数
Figure 761131DEST_PATH_IMAGE037
、休眠节点数以及故障节点数
Figure 457746DEST_PATH_IMAGE039
。
S104：获取各节点的资源利用情况。
主要包括CPU利用率、内存利用率、存储占用率、磁盘利用率等。
请参阅图2，步骤S2具体包括如下步骤：
S201：选择历史日志数据作为初始时间序列回归分析输入数据，并设定最大匹配尺度层数。
选择一个应用的历史日志数据作为初始时间序列回归分析输入数据。对于某一个应用服务，根据一定的采样频率采集其历史负载序列，得到序列值，作为初始时间序列输入回归模型进行负载预测；采样时间St=30分钟/次，N取四周的总采样次数2*24*7*4=1344；设定匹配尺度层数。一般设定三层或者四层，设定预测误差精度为
Figure 424489DEST_PATH_IMAGE041
。
S202：逐尺度对每一个应用服务的历史序列数据进行时间序列回归分析。
将前一尺度的预测差量做为下一层数的预测输入数据。 
S203：每尺度下，采用多种时间序列回归分析方法进行分析，选择误差最小的回归模型作为当前尺度的预测模型。
S204：用当前时间序列输入数据减去当前预测模型预测数据作为下一尺度的时间序列回归分析输入数据。
更新输入数据的公式是：，其中
Figure 169515DEST_PATH_IMAGE043
。
S205：检查当前匹配误差是否小于设定的误差上限，如果是，转入步骤S206，如果否，转入步骤S207。
S206：检查当前匹配尺度层数是否小于设定的最大匹配尺度层数，如果是，将当前匹配尺度层数加1，然后转入步骤204，如果否，转入步骤S207。
S207：检查当前所有的应用是否预测完，如果是，转入步骤S3，如果否，转入步骤S201。
其中，步骤S203具体包括如下步骤：
A：每一尺度下，采用多种时间序列回归模型进行负载预测，一般取自回归
Figure 753949DEST_PATH_IMAGE044
模型、移动平均
Figure 295920DEST_PATH_IMAGE045
模型、自回归滑动平均模型
Figure 686319DEST_PATH_IMAGE046
和自回归移动平均模型
Figure 495881DEST_PATH_IMAGE047
四种。每种模型预测值为
Figure 251216DEST_PATH_IMAGE048
，其中
Figure 716701DEST_PATH_IMAGE049
，表示第几种模型；
B：计算各模型预测结果的绝对误差，第
Figure 786157DEST_PATH_IMAGE008
种模型的误差计算公式为
Figure 325592DEST_PATH_IMAGE050
；
C：选择相对误差最小的一个模型，作为当前尺度的最终预测模型，找到
Figure 517408DEST_PATH_IMAGE051
，
Figure 290364DEST_PATH_IMAGE052
中的最小值，假定为k。
请参阅图3，步骤S3具体包括如下步骤：
S301：根据预测模型逐应用进行一段时间内的负载预测。
预测的时间间隔可以设为一周。
S302：计算个预测时间段内的CPU占用率
Figure 744403DEST_PATH_IMAGE002
，内存占用率
Figure 841541DEST_PATH_IMAGE003
，存储占用率
Figure 78356DEST_PATH_IMAGE004
，故障节点发生量
Figure 551931DEST_PATH_IMAGE005
；其中，每个预测时间段应与S201中的采样时间长度St一致，为
Figure 692057DEST_PATH_IMAGE001
= 7*24*60/St。
S303：根据预测负载值估计第j个应用服务所需的节点总数。
所需节点总数的计算公式为
Figure 287992DEST_PATH_IMAGE053
，其中
Figure 887470DEST_PATH_IMAGE054
，
Figure 899157DEST_PATH_IMAGE055
分别表示每个节点可以提供的CPU、内存和存储量大小。
S304：找出节点的热启动时间点集
Figure 766225DEST_PATH_IMAGE006
和休眠时间点集
Figure 34527DEST_PATH_IMAGE007
。
设当前工作节点数为
Figure 619835DEST_PATH_IMAGE056
，节点启动的时间门限为
Figure 435214DEST_PATH_IMAGE019
，即在连续的
Figure 720570DEST_PATH_IMAGE019
个时间段内不同时出现节点的热启动和休眠操作。
Figure 159773DEST_PATH_IMAGE006
和分别初始化为空集，则：
a：依据步骤S303计算第
Figure 235404DEST_PATH_IMAGE008
个应用服务在时间段
Figure 703163DEST_PATH_IMAGE009
所需的节点总数
Figure 811802DEST_PATH_IMAGE010
，将计算结果与该应用在上一时间段
Figure 607589DEST_PATH_IMAGE011
的计算节点总数
Figure 968032DEST_PATH_IMAGE012
进行比较，若
Figure 227981DEST_PATH_IMAGE010
大于，表示需要增加节点则转入b，反之，表示有节点需要休眠，转入c。
b：比较第
Figure 852921DEST_PATH_IMAGE008
个应用服务在时间段
Figure 548213DEST_PATH_IMAGE057
所需的节点总数
Figure 990565DEST_PATH_IMAGE010
与当前工作的节点数
Figure 942471DEST_PATH_IMAGE013
的大小，若
Figure 837484DEST_PATH_IMAGE010
大于
Figure 336467DEST_PATH_IMAGE013
，则表示需要启动新的节点，计算
Figure 633325DEST_PATH_IMAGE009
时刻需要启动的新节点数
Figure 254668DEST_PATH_IMAGE014
的值。将当前时间段
Figure 574660DEST_PATH_IMAGE024
和当前时间段
Figure 815017DEST_PATH_IMAGE009
需要启动的新节点数作为一个二元元素
Figure 865186DEST_PATH_IMAGE015
加入集合
Figure 657430DEST_PATH_IMAGE016
，将当前工作结点总数
Figure 261456DEST_PATH_IMAGE013
设置为
Figure 931602DEST_PATH_IMAGE017
，转入d；
c：计算时间段
Figure 875157DEST_PATH_IMAGE018
之后的连续
Figure 838302DEST_PATH_IMAGE019
个时间段内分别所需的节点数，计算所得的
Figure 132886DEST_PATH_IMAGE019
个结果都加入集合
Figure 839680DEST_PATH_IMAGE020
，并与
Figure 700057DEST_PATH_IMAGE010
进行比较，若
Figure 601148DEST_PATH_IMAGE010
小于集合中的所有值，则表示确实可以进行节点休眠，找出
Figure 117449DEST_PATH_IMAGE020
的最小值
Figure 300038DEST_PATH_IMAGE022
，计算
Figure 654402DEST_PATH_IMAGE009
时刻需要休眠的节点数
Figure 162613DEST_PATH_IMAGE023
；将当前时间段
Figure 900631DEST_PATH_IMAGE009
和当前时间段
Figure 716271DEST_PATH_IMAGE009
需要休眠的节点数作为一个二元元素
Figure 551241DEST_PATH_IMAGE025
加入集合
Figure 27090DEST_PATH_IMAGE026
，转入d；
d：判断当前时间段
Figure 541421DEST_PATH_IMAGE009
是否小于，如果是，使i=i+1，然后转入a；否则，转入e。
e：假定热启动的预热时间为，遍历热启动时间点集
Figure 434662DEST_PATH_IMAGE006
，将第一维的值减
Figure 209589DEST_PATH_IMAGE027
，使得
Figure 740934DEST_PATH_IMAGE006
记录的是第j个应用需要热启动节点的实际启动时间。
步骤S4具体包括如下步骤：
S401：依据步骤S3的结果，每隔采样时间St逐应用服务进行节点调度。
S402：依据步骤S3的结果，进行热启动节点、休眠节点调度、故障节点调度。
步骤S402具体包括以下步骤：
I：选择一个应用服务，初始化当前热启动调度指数
Figure 924397DEST_PATH_IMAGE028
为1，初始化休眠调度指数
Figure 679732DEST_PATH_IMAGE029
为1。
II：获取当前时间为
Figure 708999DEST_PATH_IMAGE030
，当前热启动调度指数
Figure 840772DEST_PATH_IMAGE028
，休眠调度指数为
Figure 504841DEST_PATH_IMAGE029
。
III：进行热启动节点调度，检测 
Figure 493394DEST_PATH_IMAGE006
中第
Figure 242913DEST_PATH_IMAGE028
元素的第一分量是否小于或等于，若否，则转入步骤IV；若是，则令等于
Figure 623451DEST_PATH_IMAGE006
中第元素的第二分量，并设定现有热启动节点数位
Figure 333841DEST_PATH_IMAGE032
，将
Figure 933623DEST_PATH_IMAGE033
个休眠节点唤醒成热等待节点，等待应用部署使用，同时热启动调度指数
Figure 467241DEST_PATH_IMAGE028
加1，转入步骤V。
IV：进行休眠节点调度，检测 中第
Figure 140723DEST_PATH_IMAGE029
元素的第一分量是否小于或等于
Figure 571573DEST_PATH_IMAGE030
，若是，则令
Figure 338409DEST_PATH_IMAGE034
等于
Figure 51282DEST_PATH_IMAGE007
中第
Figure 866660DEST_PATH_IMAGE029
元素的第二分量，检测第
Figure 214333DEST_PATH_IMAGE008
个应用是否可以释放节点，如果可以，在保证
Figure 152071DEST_PATH_IMAGE031
个热启动节点的前提下，将多余的节点进行休眠；转入步骤V。
V：进行故障节点调度，检测是否出现故障节点，若有故障节点，且数量为，则将故障节点的应用迁移至热启动节点，将休眠节点唤醒成热启动节点，保证F个热启动节点。若没有故障节点，则转入步骤VI。
VI：判断是否所有的应用服务已经处理完，如果否，转入步骤I，如果是，等待采样时间St进行下一次调度。
本发明的具有功耗意识的数据中心应用服务调度方法与现有的数据中心***管理软件***结构兼容，易于实现，并在数据中心中实际应用。能够根据预测的负载与实际负载的误差自动进行优化调节，实现数据中心的低能耗管理。
应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (8)

1.一种具有功耗意识的数据中心应用服务调度方法，其特征在于，包括： 
    S1：获取当前数据中心中所有节点服务器的状态，以及应用服务在节点的分布和资源占用情况；
    S2：利用历史日志数据和当前应用负载情况，采用多尺度时间序列回归分析方法对数据中心的每个应用服务负载进行预测；
    S3：根据预测的负载和当前应用负载情况，进行具有功耗意识的应用服务调度优化计算；
S4：依据应用服务调度优化计算结果，对节点进行管理，对应用服务进行调度。
2.根据权利要求1所述的具有功耗意识的数据中心应用服务调度方法，其特征在于，步骤S1具体包括：
S101：获取集群中所有节点的主要硬件信息；
S102：获取集群中所有节点的状态；
S103：统计处于各状态的节点总数；
S104：获取各节点的资源利用情况。
3.根据权利要求1所述的具有功耗意识的数据中心应用服务调度方法，其特征在于，步骤S2具体包括：
S201：选择历史日志数据作为初始时间序列回归分析输入数据，并设定最大匹配尺度层数；
S202：逐尺度对每一个应用服务的历史序列数据进行时间序列回归分析；
S203：每尺度下，采用多种时间序列回归分析方法进行分析，选择误差最小的回归模型作为当前尺度的预测模型；
S204：用当前时间序列输入数据减去当前预测模型预测数据作为下一尺度的时间序列回归分析输入数据；
S205：检查当前匹配误差是否小于设定的误差上限，如果是，转入步骤S206，如果否，转入步骤S207；
S206：检查当前匹配尺度层数是否小于设定的最大匹配尺度层数，如果是，将当前匹配尺度层数加1，然后转入步骤204，如果否，转入步骤S207；
S207：检查当前所有的应用是否预测完，如果是，转入步骤S3，如果否，转入步骤S201。
4.根据权利要求3所述的具有功耗意识的数据中心应用服务调度方法，其特征在于，步骤S203具体包括如下步骤：
A：每一尺度下，采用多种时间序列回归模型进行负载预测；
B：计算各模型预测结果的绝对误差；
C：选择相对误差最小的一个模型，作为当前尺度的最终预测模型。
5.根据权利要求1所述的具有功耗意识的数据中心应用服务调度方法，其特征在于，步骤S3具体包括：
S301：根据预测模型逐应用服务进行一段时间内的负载预测；
S302：计算                                                
Figure 735770DEST_PATH_IMAGE001
个预测时间段内的CPU占用率
Figure 81169DEST_PATH_IMAGE002
，内存占用率
Figure 42041DEST_PATH_IMAGE003
，存储占用率，故障节点发生量
Figure 170720DEST_PATH_IMAGE005
；
S303：根据预测负载值估计第j个应用服务所需的节点总数；
S304：找出节点的热启动时间点集
Figure 65733DEST_PATH_IMAGE006
和休眠时间点集
Figure 830295DEST_PATH_IMAGE007
。
6.根据权利要求5所述的具有功耗意识的数据中心应用服务调度方法，其特征在于，步骤S304具体包括：
a：依据步骤S303计算第个应用服务在时间段
Figure 506354DEST_PATH_IMAGE009
所需的节点总数，将计算结果与该应用服务在上一时间段
Figure 755119DEST_PATH_IMAGE011
的计算节点总数进行比较，若
Figure 636411DEST_PATH_IMAGE010
大于
Figure 443699DEST_PATH_IMAGE012
，则转入b，反之，转入c；
b：比较第
Figure 284485DEST_PATH_IMAGE008
个应用服务在时间段
Figure 228039DEST_PATH_IMAGE013
所需的节点总数
Figure 456764DEST_PATH_IMAGE010
与当前工作的节点数
Figure 49550DEST_PATH_IMAGE014
的大小，若
Figure 694027DEST_PATH_IMAGE010
大于
Figure 819984DEST_PATH_IMAGE014
，则表示需要启动新的节点，计算
Figure 954031DEST_PATH_IMAGE013
时刻需要启动的新节点数
Figure 532649DEST_PATH_IMAGE015
的值，将当前时间段
Figure 544598DEST_PATH_IMAGE013
和当前时间段
Figure 525061DEST_PATH_IMAGE013
需要启动的新节点数作为一个二元元素加入集合，将当前工作结点总数
Figure 445985DEST_PATH_IMAGE014
设置为
Figure 490793DEST_PATH_IMAGE018
，转入d；
c：计算时间段
Figure 733687DEST_PATH_IMAGE019
之后的连续
Figure 224580DEST_PATH_IMAGE020
个时间段内分别所需的节点数，计算所得的
Figure 811288DEST_PATH_IMAGE020
个结果都加入集合
Figure 641710DEST_PATH_IMAGE021
，并与进行比较，若小于集合中的所有值，则表示确实可以进行节点休眠，找出的最小值
Figure 404293DEST_PATH_IMAGE023
，计算时刻需要休眠的节点数
Figure 251213DEST_PATH_IMAGE024
；将当前时间段
Figure 445302DEST_PATH_IMAGE013
和当前时间段
Figure 47054DEST_PATH_IMAGE025
需要休眠的节点数作为一个二元元素
Figure 301187DEST_PATH_IMAGE026
加入集合
Figure 50706DEST_PATH_IMAGE027
，转入d；
d：判断当前时间段
Figure 284372DEST_PATH_IMAGE013
是否小于，如果是，使i=i+1，然后转入a；否则，转入e；
e：假定热启动的预热时间为
Figure 431243DEST_PATH_IMAGE028
，遍历热启动时间点集
Figure 605742DEST_PATH_IMAGE006
，将第一维的值减
Figure 102755DEST_PATH_IMAGE028
，使得记录的是第j个应用服务需要热启动节点的实际启动时间。
7.根据权利要求1所述的具有功耗意识的数据中心应用服务调度方法，其特征在于，步骤S4具体包括：
S401：依据步骤S3的结果，每隔采样时间逐应用服务进行节点调度；
S402：依据步骤S3的结果，进行热启动节点、休眠节点调度、故障节点调度。
8.根据权利要求1所述的具有功耗意识的数据中心应用服务调度方法，其特征在于，步骤S402具体包括：
I：选择一个应用服务，初始化当前热启动调度指数
Figure 947137DEST_PATH_IMAGE029
为1，初始化休眠调度指数为1；
II：获取当前时间为
Figure 948515DEST_PATH_IMAGE031
，当前热启动调度指数，休眠调度指数为
Figure 444404DEST_PATH_IMAGE030
；
III：进行热启动节点调度，检测 
Figure 655812DEST_PATH_IMAGE006
中第
Figure 533507DEST_PATH_IMAGE029
元素的第一分量是否小于或等于
Figure 84443DEST_PATH_IMAGE031
，若否，则转入步骤IV；若是，则令
Figure 756601DEST_PATH_IMAGE032
等于
Figure 956770DEST_PATH_IMAGE006
中第
Figure 575839DEST_PATH_IMAGE029
元素的第二分量，并设定现有热启动节点数位
Figure 778019DEST_PATH_IMAGE033
，将
Figure 824341DEST_PATH_IMAGE034
个休眠节点唤醒成热等待节点，等待应用部署使用，同时热启动调度指数
Figure 682445DEST_PATH_IMAGE029
加1，转入步骤V；
IV：进行休眠节点调度，检测 
Figure 105205DEST_PATH_IMAGE007
中第
Figure 427470DEST_PATH_IMAGE030
元素的第一分量是否小于或等于
Figure 730448DEST_PATH_IMAGE031
，若是，则令
Figure 75848DEST_PATH_IMAGE035
等于
Figure 600501DEST_PATH_IMAGE007
中第
Figure 777274DEST_PATH_IMAGE030
元素的第二分量，检测第
Figure 227715DEST_PATH_IMAGE008
个应用服务是否可以释放节点，如果是，在保证
Figure 60411DEST_PATH_IMAGE032
个热启动节点的前提下，将多余的节点进行休眠，转入步骤V；
V：进行故障节点调度，检测是否出现故障节点，若有故障节点，且数量为，则将故障节点的应用迁移至热启动节点，将休眠节点唤醒成热启动节点，保证F个热启动节点，若没有故障节点，则转入步骤VI；
VI：判断是否所有的应用服务已经处理完，如果否，转入步骤I，如果是，进行下一次调度。
CN2010105895804A 2010-12-15 2010-12-15 具有功耗意识的数据中心应用服务调度方法 Active CN102063327B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2010105895804A CN102063327B (zh) 2010-12-15 2010-12-15 具有功耗意识的数据中心应用服务调度方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2010105895804A CN102063327B (zh) 2010-12-15 2010-12-15 具有功耗意识的数据中心应用服务调度方法

Publications (2)

Publication Number Publication Date
CN102063327A true CN102063327A (zh) 2011-05-18
CN102063327B CN102063327B (zh) 2013-07-24

Family

ID=43998613

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2010105895804A Active CN102063327B (zh) 2010-12-15 2010-12-15 具有功耗意识的数据中心应用服务调度方法

Country Status (1)

Country Link
CN (1) CN102063327B (zh)

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102289277A (zh) * 2011-07-06 2011-12-21 中国科学院深圳先进技术研究院 数据中心应用服务的调度方法
CN102609808A (zh) * 2012-01-17 2012-07-25 北京百度网讯科技有限公司 一种用于对数据中心进行能耗管理的方法与设备
CN102624865A (zh) * 2012-01-09 2012-08-01 浙江大学 集群负载预测方法及分布式集群管理***
CN103092316A (zh) * 2013-01-22 2013-05-08 浪潮电子信息产业股份有限公司 一种基于数据挖掘的服务器功耗管理***
CN103108039A (zh) * 2013-01-25 2013-05-15 暨南大学 一种低能耗集群环境下的服务质量保证方法
CN103107954A (zh) * 2013-02-05 2013-05-15 上海交通大学 一种基于绿色能源感知的调度方法
CN103389791A (zh) * 2013-06-25 2013-11-13 华为技术有限公司 数据***的功率控制方法及装置
CN103428282A (zh) * 2013-08-06 2013-12-04 浪潮(北京)电子信息产业有限公司 一种云计算数据中心的在线节能控制方法及装置
CN103530190A (zh) * 2013-10-14 2014-01-22 北京邮电大学 一种负载预测方法及装置
CN104243579A (zh) * 2014-09-12 2014-12-24 清华大学 应用于水利施工现场的计算节点的控制方法及***
CN104317654A (zh) * 2014-10-09 2015-01-28 南京大学镇江高新技术研究院 基于动态温度预测模型的数据中心任务调度方法
CN105045096A (zh) * 2015-08-26 2015-11-11 福建恒天晨光节能服务有限公司 一种基于神经网络的智慧能源节能方法及***
CN106059835A (zh) * 2016-07-28 2016-10-26 北京神狐时代通信技术有限公司 一种低能耗计算机集群节点的高可靠性控制方法
CN106302830A (zh) * 2016-10-26 2017-01-04 清华大学 云数据中心的请求调度方法和装置
CN104345858B (zh) * 2013-08-02 2017-08-18 北京百度网讯科技有限公司 服务器硬件设备的功耗管理方法及装置、服务器
CN107832265A (zh) * 2017-10-17 2018-03-23 上海交通大学 基于状态感知的desktop的CPU负载预测方法
CN109446041A (zh) * 2018-09-25 2019-03-08 平安普惠企业管理有限公司 一种服务器压力预警方法、***及终端设备
CN109643114A (zh) * 2016-09-20 2019-04-16 株式会社东芝 传感器诊断装置、传感器诊断方法及程序
CN111625080A (zh) * 2020-05-22 2020-09-04 苏州浪潮智能科技有限公司 一种服务器节能方法、装置及电子设备和存储介质
CN112988371A (zh) * 2019-12-13 2021-06-18 天翼电子商务有限公司 基于大规模分布式运维***的机房资源预测方法及装置
CN113360455A (zh) * 2021-07-16 2021-09-07 北京天融信网络安全技术有限公司 一种超融合***的数据处理方法、装置、设备及介质
CN113821339A (zh) * 2021-08-20 2021-12-21 广州云硕科技发展有限公司 一种用于idc数据中心机房的能耗监控方法与装置
CN113900855A (zh) * 2021-09-29 2022-01-07 苏州浪潮智能科技有限公司 一种交换机异常状态的主动热启动方法、***及装置
CN114116183A (zh) * 2022-01-28 2022-03-01 华北电力大学 基于深度强化学习的数据中心业务负载调度方法及***
CN117112180A (zh) * 2023-09-27 2023-11-24 广州有机云计算有限责任公司 一种基于任务的集群自动化控制方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1466067A (zh) * 2002-07-02 2004-01-07 英业达股份有限公司 具有负载平衡能力的网站服务***及其服务方法
US7143128B1 (en) * 2000-06-08 2006-11-28 International Business Machines Corporation Interactive data processor controlled display interface for tracking of allocated messages in a dynamic workload balancing communication system
CN101539800A (zh) * 2009-05-05 2009-09-23 曙光信息产业(北京)有限公司 一种低功耗作业调度计算方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7143128B1 (en) * 2000-06-08 2006-11-28 International Business Machines Corporation Interactive data processor controlled display interface for tracking of allocated messages in a dynamic workload balancing communication system
CN1466067A (zh) * 2002-07-02 2004-01-07 英业达股份有限公司 具有负载平衡能力的网站服务***及其服务方法
CN101539800A (zh) * 2009-05-05 2009-09-23 曙光信息产业(北京)有限公司 一种低功耗作业调度计算方法

Cited By (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102289277B (zh) * 2011-07-06 2013-12-11 中国科学院深圳先进技术研究院 数据中心应用服务的调度方法
CN102289277A (zh) * 2011-07-06 2011-12-21 中国科学院深圳先进技术研究院 数据中心应用服务的调度方法
CN102624865A (zh) * 2012-01-09 2012-08-01 浙江大学 集群负载预测方法及分布式集群管理***
CN102624865B (zh) * 2012-01-09 2014-06-18 浙江大学 集群负载预测方法及分布式集群管理***
CN102609808A (zh) * 2012-01-17 2012-07-25 北京百度网讯科技有限公司 一种用于对数据中心进行能耗管理的方法与设备
CN103092316B (zh) * 2013-01-22 2017-04-12 浪潮电子信息产业股份有限公司 一种基于数据挖掘的服务器功耗管理***
CN103092316A (zh) * 2013-01-22 2013-05-08 浪潮电子信息产业股份有限公司 一种基于数据挖掘的服务器功耗管理***
CN103108039A (zh) * 2013-01-25 2013-05-15 暨南大学 一种低能耗集群环境下的服务质量保证方法
CN103108039B (zh) * 2013-01-25 2015-07-22 暨南大学 一种低能耗集群环境下的服务质量保证方法
CN103107954A (zh) * 2013-02-05 2013-05-15 上海交通大学 一种基于绿色能源感知的调度方法
CN103107954B (zh) * 2013-02-05 2015-08-26 上海交通大学 一种基于绿色能源感知的调度方法
CN103389791A (zh) * 2013-06-25 2013-11-13 华为技术有限公司 数据***的功率控制方法及装置
CN103389791B (zh) * 2013-06-25 2016-10-05 华为技术有限公司 数据***的功率控制方法及装置
CN104345858B (zh) * 2013-08-02 2017-08-18 北京百度网讯科技有限公司 服务器硬件设备的功耗管理方法及装置、服务器
CN103428282A (zh) * 2013-08-06 2013-12-04 浪潮(北京)电子信息产业有限公司 一种云计算数据中心的在线节能控制方法及装置
CN103428282B (zh) * 2013-08-06 2016-05-18 浪潮(北京)电子信息产业有限公司 一种云计算数据中心的在线节能控制方法及装置
CN103530190A (zh) * 2013-10-14 2014-01-22 北京邮电大学 一种负载预测方法及装置
CN103530190B (zh) * 2013-10-14 2016-08-17 北京邮电大学 一种负载预测方法及装置
CN104243579A (zh) * 2014-09-12 2014-12-24 清华大学 应用于水利施工现场的计算节点的控制方法及***
CN104317654A (zh) * 2014-10-09 2015-01-28 南京大学镇江高新技术研究院 基于动态温度预测模型的数据中心任务调度方法
CN105045096A (zh) * 2015-08-26 2015-11-11 福建恒天晨光节能服务有限公司 一种基于神经网络的智慧能源节能方法及***
CN106059835B (zh) * 2016-07-28 2019-02-12 北京优世互联智能技术有限公司 一种低能耗计算机集群节点的高可靠性控制方法
CN106059835A (zh) * 2016-07-28 2016-10-26 北京神狐时代通信技术有限公司 一种低能耗计算机集群节点的高可靠性控制方法
CN109643114A (zh) * 2016-09-20 2019-04-16 株式会社东芝 传感器诊断装置、传感器诊断方法及程序
CN106302830B (zh) * 2016-10-26 2019-06-18 清华大学 云数据中心的请求调度方法和装置
CN106302830A (zh) * 2016-10-26 2017-01-04 清华大学 云数据中心的请求调度方法和装置
CN107832265A (zh) * 2017-10-17 2018-03-23 上海交通大学 基于状态感知的desktop的CPU负载预测方法
CN109446041A (zh) * 2018-09-25 2019-03-08 平安普惠企业管理有限公司 一种服务器压力预警方法、***及终端设备
CN112988371A (zh) * 2019-12-13 2021-06-18 天翼电子商务有限公司 基于大规模分布式运维***的机房资源预测方法及装置
CN111625080A (zh) * 2020-05-22 2020-09-04 苏州浪潮智能科技有限公司 一种服务器节能方法、装置及电子设备和存储介质
CN113360455B (zh) * 2021-07-16 2024-02-02 北京天融信网络安全技术有限公司 一种超融合***的数据处理方法、装置、设备及介质
CN113360455A (zh) * 2021-07-16 2021-09-07 北京天融信网络安全技术有限公司 一种超融合***的数据处理方法、装置、设备及介质
CN113821339A (zh) * 2021-08-20 2021-12-21 广州云硕科技发展有限公司 一种用于idc数据中心机房的能耗监控方法与装置
CN113900855B (zh) * 2021-09-29 2023-12-22 苏州浪潮智能科技有限公司 一种交换机异常状态的主动热启动方法、***及装置
CN113900855A (zh) * 2021-09-29 2022-01-07 苏州浪潮智能科技有限公司 一种交换机异常状态的主动热启动方法、***及装置
CN114116183A (zh) * 2022-01-28 2022-03-01 华北电力大学 基于深度强化学习的数据中心业务负载调度方法及***
CN114116183B (zh) * 2022-01-28 2022-04-29 华北电力大学 基于深度强化学习的数据中心业务负载调度方法及***
CN117112180A (zh) * 2023-09-27 2023-11-24 广州有机云计算有限责任公司 一种基于任务的集群自动化控制方法
CN117112180B (zh) * 2023-09-27 2024-03-29 广州有机云计算有限责任公司 一种基于任务的集群自动化控制方法

Also Published As

Publication number Publication date
CN102063327B (zh) 2013-07-24

Similar Documents

Publication Publication Date Title
CN102063327B (zh) 具有功耗意识的数据中心应用服务调度方法
US11314304B2 (en) Datacenter power management using variable power sources
Ding et al. Integrated stochastic energy management for data center microgrid considering waste heat recovery
US8001403B2 (en) Data center power management utilizing a power policy and a load factor
US10128684B2 (en) Energy control via power requirement analysis and power source enablement
Pakbaznia et al. Temperature-aware dynamic resource provisioning in a power-optimized datacenter
CN102708000B (zh) 通过虚拟机迁移实现能耗控制的***和方法
US9153965B2 (en) System and method for energy storage management
US11216059B2 (en) Dynamic tiering of datacenter power for workloads
KR20220100982A (ko) 컨테이너 스케줄링 방법 및 장치 그리고 비-휘발성 컴퓨터-판독가능 저장 매체
CN111625080B (zh) 一种服务器节能方法、装置及电子设备和存储介质
WO2013095625A1 (en) Managing a facility
CN103823541A (zh) 虚拟数据中心节能调度方法和设备
Liu et al. RE-UPS: an adaptive distributed energy storage system for dynamically managing solar energy in green datacenters
Li et al. Managing server clusters on renewable energy mix
CN115173407A (zh) 基于风力发电的智能配电方法、装置、设备及存储介质
CN116191556A (zh) 考虑新能源消纳和机组组合的5g基站需求响应方法及***
CN117394370B (zh) 一种供电网智能动态节电调度***及方法
de Assunçao et al. An analysis of power consumption logs from a monitored grid site
Daoud et al. [Retracted] Cloud‐IoT Resource Management Based on Artificial Intelligence for Energy Reduction
CN102299964B (zh) 一种应用于节能型集群***的数据重新部署方法
Cui et al. Eesaver: saving energy dynamically for green multi-access edge computing
US20200371574A1 (en) Datacenter power manipulation using power caches
Li et al. SLA‐Aware and Energy‐Efficient VM Consolidation in Cloud Data Centers Using Host State 3rd‐Order Markov Chain Model
CN113422366A (zh) 一种基于大数据分析和需求响应的电力调度方法及其***

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant