CN107656810B - 数据中心环境下保证延迟敏感程序服务质量的方法 - Google Patents

数据中心环境下保证延迟敏感程序服务质量的方法 Download PDF

Info

Publication number
CN107656810B
CN107656810B CN201710756689.4A CN201710756689A CN107656810B CN 107656810 B CN107656810 B CN 107656810B CN 201710756689 A CN201710756689 A CN 201710756689A CN 107656810 B CN107656810 B CN 107656810B
Authority
CN
China
Prior art keywords
program
resource
delay sensitive
sensitive program
delay
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710756689.4A
Other languages
English (en)
Other versions
CN107656810A (zh
Inventor
王琳
耿世超
张化祥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Normal University
Original Assignee
Shandong Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Normal University filed Critical Shandong Normal University
Priority to CN201710756689.4A priority Critical patent/CN107656810B/zh
Publication of CN107656810A publication Critical patent/CN107656810A/zh
Application granted granted Critical
Publication of CN107656810B publication Critical patent/CN107656810B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Stored Programmes (AREA)

Abstract

本发明公开了数据中心环境下保证延迟敏感程序服务质量的方法；包括如下步骤：分别对处理器和内存设置若干资源限制点，计算每一个需要执行的延迟敏感程序在资源限制点处的资源敏感度，画出延迟敏感程序的资源敏感度平面；假设每个服务器节点上执行一个延迟敏感程序和若干个批量程序，计算延迟敏感程序在满足服务质量要求的情况下占用的资源；设置延迟敏感程序的占用资源；除去设置的延时敏感程序占用的资源，剩余的资源按需分配给批量程序进行使用；根据置的结果，执行延迟敏感程序和批量程序。本发明的有益效果：能够保证延迟敏感程序与批量程序共同执行时的性能，同时尽可能的提升***的资源利用率。

Description

数据中心环境下保证延迟敏感程序服务质量的方法
技术领域
本发明涉及并行与分布计算，特别涉及一种数据中心环境下保证延迟敏感程序服务质量的方法。
背景技术
数据中心已经从概念走向成熟。在数据中心中，为了提高资源利用率，大量的程序在尽可能少的服务器上执行。而在一个服务器节点中，会有多个程序在一个节点上执行。多个程序共同执行的好处是可以增加服务器的利用率，而问题是会导致程序性能下降。程序性能下降程度取决于程序特征，对于某些程序，与其他程序共同执行时，性能下降不明显，而对于某些程序，与其他程序共同执行时，性能会明显下降。
与此同时，数据中心中运行着大量的延迟敏感程序。客户将延迟敏感程序在数据中心执行，并对程序有一定的服务质量需求，比如程序性能不能低于单独执行时的90％。当延迟敏感程序与其他程序共同执行时，很容易由于性能干扰导致严重的性能下降，从而不能满足客户的服务质量需求。这是必须要解决的问题。因此，需要一种方法，在尽可能提升***资源利用率的基础上，还要保证延迟敏感程序的服务质量。
发明内容
本发明的目的是提出一种数据中心环境下保证延迟敏感程序服务质量的方法，该方法能够保证延迟敏感程序与批量程序共同执行时的性能，同时尽可能的提升***的资源利用率。该方法利用资源隔离工具Cgroups为延迟敏感程序划分资源，保证其性能。同时，将其他资源分给批量程序使用。利用批量程序提升***资源利用率及吞吐量。
为了实现上述目的，本发明采用如下技术方案：
数据中心环境下保证延迟敏感程序服务质量的方法，包括如下步骤：
步骤(1)：分别对处理器和内存设置若干资源限制点，计算每一个需要执行的延迟敏感程序在资源限制点处的资源敏感度，画出延迟敏感程序的资源敏感度平面；
步骤(2)：假设每个服务器节点上执行一个延迟敏感程序和若干个批量程序，计算延迟敏感程序在满足服务质量要求的情况下占用的资源；
步骤(3)：根据步骤(2)的计算结果，设置延迟敏感程序的占用资源；
步骤(4)：除去步骤(3)设置的延时敏感程序占用的资源，剩余的资源按需分配给批量程序进行使用；根据分配结果设置批量程序的占用资源；
步骤(5)：根据步骤(3)设置的结果，执行延迟敏感程序，同时，根据步骤(4)设置的结果，执行批量程序。
所述分别对处理器和内存设置若干资源限制点的步骤为：
在延迟敏感程序运行时对处理器资源占用率范围M内设置m个资源限制点，在延迟敏感程序运行时对内存资源占用率范围N内设置n个资源限制点，记录延迟敏感程序在每个资源限制点(i,j)上执行时，延迟敏感程序的执行时间，其中，i的取值范围是1到m，j的取值范围是1到n。
所述计算每一个需要执行的延迟敏感程序在资源限制点处的资源敏感度的步骤为：
计算延迟敏感程序在资源不受限的情况下执行时间与延迟敏感程序在每个资源限制点执行时间的比值，所述比值为延迟敏感程序在每个资源限制点处的程序资源敏感度。
所述画出延迟敏感程序的敏感度平面的步骤为：
以延迟敏感程序运行时对处理器的资源占用率为X轴，对延迟敏感程序运行时对内存的资源占用率为Y轴，以程序的资源敏感度为Z轴，建立空间直角坐标系，将所有的程序资源敏感度点值拟合成曲面，所述曲面为延迟敏感程序的敏感度平面。
所述分别对处理器和内存设置若干资源限制点，计算每一个需要执行的延迟敏感程序在资源限制点处的资源敏感度，画出延迟敏感程序的敏感度平面步骤之前还包括：
利用性能分析工具获取延迟敏感程序在资源不受限的情况下分别对处理器的资源占用率M和对内存的资源占用率N；利用性能分析工具获取每个批量程序在资源不受限的情况下分别对处理器的资源占用量和对内存的资源占用量；
所述步骤(2)计算延迟敏感程序在满足服务质量要求的情况下占用的资源：
假设延迟敏感程序的服务质量要求为不低于延迟敏感程序单独执行时性能的90％，则对于延迟敏感程序的敏感度平面，以延迟敏感程序单独执行时性能的90％为基准画一个同时平行于X轴和Y轴的新平面；则延迟敏感程序所占用的处理器和内存的资源组合是Z轴正方向上，新平面以上距离新平面最近的结点，假设延迟敏感程序选择的处理器为Clat，选择的内存结点为Mlat。
例如：以z＝0.9为界面，小于0.9为新平面以下，大于0.9为新平面以上；
所述步骤(3)利用Linux资源隔离工具Cgroups设置延迟敏感程序的占用资源。
所述步骤(3)中将Clat和Mlat写入Cgroups设置的控制组；将延迟敏感程序放置到控制组内执行。
所述步骤(4)的步骤为：
步骤(41)：批量程序可占用的处理器为Call-Clat，批量程序可占用的内存资源为Mall-Mlat；Call为处理器资源总量，Clat为设定延迟敏感程序所占用的处理器资源；Mall为内存资源总量，Mlat为设定延迟敏感程序所占用的内存资源；
步骤(42)：批量程序可执行的个数的要求为：所有批量程序所占用的处理器资源不超过(Call-Clat)*160％，同时，所有批量程序所占用的内存资源不超过(Mall-Mlat)*160％；
步骤(43)：根据步骤(42)的计算结果，执行批量程序。
本发明的有益效果：
本发明在保证程序服务质量的同时，可以尽可能的提升***的资源利用率和吞吐量。
本发明通过资源敏感度来计算需要保证程序服务质量时的资源占用，而用资源敏感度计算出来的资源占用值的优点在于：值尽可能小，且能保证程序的服务质量。
附图说明
图1是资源划分方法流程图。
具体实施方式
下面结合附图与实施例对本发明作进一步说明。
图1描述资源划分方法。
一：离线工作
对于需要执行的每一个程序，利用性能分析工具获取其对处理器、内存的资源占用信息。同时获取程序的资源敏感度信息。所述性能分析工具，例如collectl；
二：在线工作
对于延迟敏感程序：
计算其应占用的资源。计算方法如下：假设程序的服务质量要求为不低于单独执行时性能的90％，则对于程序的敏感度平面，以程序性能的90％为基准画一个平行于X轴和Y轴的平面。
则延迟敏感程序所占用的处理器、内存的资源组合可以是该平面以上的结点。利用Linux资源隔离工具Cgroups为延迟敏感程序划分资源,将延迟敏感程序放置到控制组内执行.
对于批量程序：
计算批量程序的资源占用。资源占用值为(服务器总的资源值-延迟敏感程序的资源占用值)*160％。
将批量程序放到控制组外执行。
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (7)

1.数据中心环境下保证延迟敏感程序服务质量的方法，其特征是，包括如下步骤：
步骤(1)：对于数据中心离线工作的情况下，
对于每一个需要执行的延迟敏程序，利用性能分析工具获取其对处理器和内存的资源占用信息；
对于数据中心在线工作的情况下，
分别对处理器和内存设置若干资源限制点，计算每一个需要执行的延迟敏感程序在资源限制点处的资源敏感度，画出延迟敏感程序的资源敏感度平面；
所述画出延迟敏感程序的资源敏感度平面的步骤为：
以延迟敏感程序运行时对处理器的资源占用率为X轴，对延迟敏感程序运行时对内存的资源占用率为Y轴，以程序的资源敏感度为Z轴，建立空间直角坐标系，将所有的程序资源敏感度点值拟合成曲面，所述曲面为延迟敏感程序的敏感度平面；
步骤(2)：假设每个服务器节点上执行一个延迟敏感程序和若干个批量程序，计算延迟敏感程序在满足服务质量要求的情况下占用的资源，具体如下：
假设延迟敏感程序的服务质量要求为不低于延迟敏感程序单独执行时性能的90％，对于步骤(1)中获取的敏感程序的资源敏感度平面，以延迟敏感程序单独执行时性能的90％为基准画一个平行于X轴和Y轴的新平面，则延迟敏感程序所占用的处理器、内存的资源组合是Z轴正方向上，新平面以上距离新平面最近的结点；
步骤(3)：根据步骤(2)的计算结果，设置延迟敏感程序的占用资源；
步骤(4)：除去步骤(3)设置的延时敏感程序占用的资源，剩余的资源按需分配给批量程序进行使用；根据分配结果设置批量程序的占用资源；
步骤(5)：根据步骤(3)设置的结果，执行延迟敏感程序，同时，根据步骤(4)设置的结果，执行批量程序。
2.如权利要求1所述的数据中心环境下保证延迟敏感程序服务质量的方法，其特征是，所述分别对处理器和内存设置若干资源限制点的步骤为：
在延迟敏感程序运行时对处理器资源占用率范围M内设置m个资源限制点，在延迟敏感程序运行时对内存资源占用率范围N内设置n个资源限制点，记录延迟敏感程序在每个资源限制点(i,j)上执行时，延迟敏感程序的执行时间，其中，i的取值范围是1到m，j的取值范围是1到n。
3.如权利要求1所述的数据中心环境下保证延迟敏感程序服务质量的方法，其特征是，所述计算每一个需要执行的延迟敏感程序在资源限制点处的资源敏感度的步骤为：
计算延迟敏感程序在资源不受限的情况下执行时间与延迟敏感程序在每个资源限制点执行时间的比值，所述比值为延迟敏感程序在每个资源限制点处的程序资源敏感度。
4.如权利要求1所述的数据中心环境下保证延迟敏感程序服务质量的方法，其特征是，所述分别对处理器和内存设置若干资源限制点，计算每一个需要执行的延迟敏感程序在资源限制点处的资源敏感度，画出延迟敏感程序的敏感度平面步骤之前还包括：
利用性能分析工具获取延迟敏感程序在资源不受限的情况下分别对处理器的资源占用率M和对内存的资源占用率N；利用性能分析工具获取每个批量程序在资源不受限的情况下分别对处理器的资源占用量和对内存的资源占用量。
5.如权利要求1所述的数据中心环境下保证延迟敏感程序服务质量的方法，其特征是，所述步骤(3)利用Linux资源隔离工具Cgroups设置延迟敏感程序的占用资源。
6.如权利要求1所述的数据中心环境下保证延迟敏感程序服务质量的方法，其特征是，所述步骤(3)中将Clat和Mlat写入Cgroups设置的控制组；将延迟敏感程序放置到控制组内执行。
7.如权利要求1所述的数据中心环境下保证延迟敏感程序服务质量的方法，其特征是，所述步骤(4)的步骤为：
步骤(41)：批量程序可占用的处理器为Call-Clat，批量程序可占用的内存资源为Mall-Mlat；Call为处理器资源总量，Clat为设定延迟敏感程序所占用的处理器资源；Mall为内存资源总量，Mlat为设定延迟敏感程序所占用的内存资源；
步骤(42)：批量程序可执行的个数的要求为：所有批量程序所占用的处理器资源不超过(Call-Clat)*160％，同时，所有批量程序所占用的内存资源不超过(Mall-Mlat)*160％；
步骤(43)：根据步骤(42)的计算结果，执行批量程序。
CN201710756689.4A 2017-08-29 2017-08-29 数据中心环境下保证延迟敏感程序服务质量的方法 Active CN107656810B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710756689.4A CN107656810B (zh) 2017-08-29 2017-08-29 数据中心环境下保证延迟敏感程序服务质量的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710756689.4A CN107656810B (zh) 2017-08-29 2017-08-29 数据中心环境下保证延迟敏感程序服务质量的方法

Publications (2)

Publication Number Publication Date
CN107656810A CN107656810A (zh) 2018-02-02
CN107656810B true CN107656810B (zh) 2021-01-08

Family

ID=61128719

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710756689.4A Active CN107656810B (zh) 2017-08-29 2017-08-29 数据中心环境下保证延迟敏感程序服务质量的方法

Country Status (1)

Country Link
CN (1) CN107656810B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111399995A (zh) * 2020-02-10 2020-07-10 山东师范大学 保证延迟敏感程序服务质量的调节方法及***

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2910655A1 (fr) * 2006-12-22 2008-06-27 Thales Sa Procede de reservation et d'allocation dynamique de creneaux temporels dans un reseau avec garantie de service
CN105141697A (zh) * 2015-09-16 2015-12-09 国云科技股份有限公司 一种多QoS约束的云计算任务调度方法
CN105718479A (zh) * 2014-12-04 2016-06-29 中国电信股份有限公司 跨idc大数处理架构下执行策略生成方法、装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8914521B2 (en) * 2011-09-27 2014-12-16 Oracle International Corporation System and method for providing active-passive routing in a traffic director environment
CN104765643A (zh) * 2015-03-25 2015-07-08 华迪计算机集团有限公司 实现云计算资源混合调度的方法和***

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2910655A1 (fr) * 2006-12-22 2008-06-27 Thales Sa Procede de reservation et d'allocation dynamique de creneaux temporels dans un reseau avec garantie de service
CN105718479A (zh) * 2014-12-04 2016-06-29 中国电信股份有限公司 跨idc大数处理架构下执行策略生成方法、装置
CN105141697A (zh) * 2015-09-16 2015-12-09 国云科技股份有限公司 一种多QoS约束的云计算任务调度方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
《Bubble-flux: Precise Online QoS Management for Increased Utilization in Warehouse Scale Computers》;Yang H , et al;《Proceedings of the 40th Annual International Symposium on Computer Architecture》;20130731;第41卷(第3期);第607-618页 *
《高效支持负载聚合的程序资源敏感度获取及分析方法》;王琳等;《西安交通大学学报》;20170430;第51卷(第4期);第79-84页 *

Also Published As

Publication number Publication date
CN107656810A (zh) 2018-02-02

Similar Documents

Publication Publication Date Title
EP3577561B1 (en) Resource management for virtual machines in cloud computing systems
CN107589997B (zh) 数据中心环境下保证延迟敏感程序QoS的动态调节方法
EP3577558B1 (en) Resource management for virtual machines in cloud computing systems
US9479449B2 (en) Workload partitioning among heterogeneous processing nodes
US8185905B2 (en) Resource allocation in computing systems according to permissible flexibilities in the recommended resource requirements
CN105912399B (zh) 一种任务处理方法、装置及***
CN110351375B (zh) 一种数据处理方法、装置及计算机装置、可读存储介质
CN103927229A (zh) 在动态可用服务器集群中调度映射化简作业
CN113641457A (zh) 容器创建方法、装置、设备、介质及程序产品
CN105740063A (zh) 一种数据处理方法及装置
CN110543352B (zh) 调度***的任务分配方法及其相关的装置
CN113032102B (zh) 资源重调度方法、装置、设备和介质
WO2016074130A1 (zh) 一种***调用命令的批处理方法及装置
WO2018126771A1 (zh) 一种存储控制器及io请求处理方法
CN108111337B (zh) 分布式***仲裁主节点的方法及设备
CN107656810B (zh) 数据中心环境下保证延迟敏感程序服务质量的方法
CN115269118A (zh) 一种虚拟机的调度方法、装置及设备
CN109324898B (zh) 一种业务处理方法及***
CN111338750A (zh) 执行节点的压力调节方法、装置、服务器及存储介质
CN114116173A (zh) 动态调整任务分配的方法、装置和***
CN108200185B (zh) 一种实现负载均衡的方法及装置
Shah et al. Agent based priority heuristic for job scheduling on computational grids
CN109347982A (zh) 一种数据中心的调度方法及装置
CN104700255B (zh) 多进程处理方法、装置和***
CN109598411B (zh) 一种产品设计任务的处理方法及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant