CN110995863B - 基于负载需求特征的数据中心负载分配方法及*** - Google Patents

基于负载需求特征的数据中心负载分配方法及*** Download PDF

Info

Publication number
CN110995863B
CN110995863B CN201911317923.9A CN201911317923A CN110995863B CN 110995863 B CN110995863 B CN 110995863B CN 201911317923 A CN201911317923 A CN 201911317923A CN 110995863 B CN110995863 B CN 110995863B
Authority
CN
China
Prior art keywords
resource
interference
load
module
matrix
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911317923.9A
Other languages
English (en)
Other versions
CN110995863A (zh
Inventor
郑文立
王浩翔
李超
姚斌
过敏意
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jiaotong University
Original Assignee
Shanghai Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jiaotong University filed Critical Shanghai Jiaotong University
Priority to CN201911317923.9A priority Critical patent/CN110995863B/zh
Publication of CN110995863A publication Critical patent/CN110995863A/zh
Application granted granted Critical
Publication of CN110995863B publication Critical patent/CN110995863B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H04L67/1004—Server selection for load balancing
    • H04L67/1008—Server selection for load balancing based on parameters of servers, e.g. available memory or workload
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H04L67/1004—Server selection for load balancing
    • H04L67/1023—Server selection for load balancing based on a hash applied to IP addresses or costs

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Debugging And Monitoring (AREA)

Abstract

一种基于负载需求特征的数据中心负载分配方法，通过预先测量负载的时序资源需求特征对到来的负载进行干扰分类，根据不同计算节点的资源使用情况得到其对应的干扰程度指数，由调度节点将负载分配至使干扰程度指数之和最小的计算节点，从而实现最小化负载间干扰的调度。本发明通过最小化负载间干扰的方式，进行负载的调度。避免了因为单一资源的过载导致的服务器整体资源闲置，以及这种闲置带来的资源浪费和效率降低。同时减小了单一资源过载导致的服务质量下降。通过计算负载产生的干扰，并尽量避免干扰的调度方式，使得不同资源类型的利用率有均衡提升，从而提升数据中心的整体资源利用率。

Description

基于负载需求特征的数据中心负载分配方法及***
技术领域
本发明涉及的是一种计算机领域的技术，具体是一种基于负载需求特征的数据中心负载分配方法及***。
背景技术
在典型的数据中心环境中，服务器可以将工作负载分配给网络中的计算节点，以执行相关服务。数据中心的管理者需要最大限度地利用每个计算节点中的资源，使资源的利用率得到最大化。但在实际情况中，在运行需要相同计算资源的负载时，都会产生资源争用，导致程序的性能严重下降，这种现象又被称作干扰。干扰的产生是因为同一时刻不同的负载请求了大量相同的资源，超过了计算机的供给，从而导致了资源争用。对于某一种特定的资源，如处理器、存储器、网络带宽等，如果服务器分配多个严重依赖该资源的工作负载，则计算节点中可用的工作负载可能会过载，产生干扰。从而导致，即使计算节点中的其他资源几乎空闲，计算节点的整体性能也会受到负面影响。现有技术为了缓解干扰，满足用户的要求，数据中心通常会维持一个较低的资源利用率，导致资源浪费，计算成本提高。
发明内容
本发明针对现有技术存在的上述不足，提出一种基于负载需求特征的数据中心负载分配方法及***，通过将需求不同资源的负载分配到同一台计算机，从而避免干扰，在保证相同资源利用率的情况下，提高程序性能，或在维持程序性能不降低的情况下，提高资源利用率。
本发明是通过以下技术方案实现的：
本发明涉及一种基于负载需求特征的数据中心负载分配方法，通过预先测量负载的时序资源需求特征对到来的负载进行干扰分类，根据不同计算节点的资源使用情况得到其对应的干扰程度指数，由调度节点将负载分配至使干扰程度指数之和最小的计算节点，从而实现最小化负载间干扰的调度。
所述的时序资源需求特征用需求特征矩阵进行表示，该需求特征矩阵是一个4*3的矩阵，具体构成是：将负载的生命周期按照时间顺序分为三个时段，即加载时段、执行时段和结束时段；将负载对于资源的需求分为四个维度，即：计算资源、内存资源、硬盘资源和网络资源。
所述的四个维度按照负载各自的需求量，将数值记录在矩阵当中。
所述的干扰分类是指：经对未来负载进行资源使用情况记录，得到需求特征矩阵即为负载真正到来时的干扰分类，具体操作过程为：将负载在一台物理服务器上单独运行，排除其他干扰，调用操作***指令读取物理服务器四个维度的资源使用情况，记入该类型负载的需求特征矩阵。
所述的未来负载是指：数据中心在进行工作时所有可能被指派的工作负载。
所述的资源使用情况是用最大资源向量、可分配资源向量和已使用资源矩阵共同表示，具体是将计算节点根据物理计算资源的实际数量，以上述四个维度进行记录，得到四维的最大资源向量以表示该计算节点的最大资源；一个4*N的已使用资源矩阵，其中：N表示工作时间段的数量，矩阵中的所有元素初始化为零，加上被调度来的负载所使用的相应的资源数量得到已使用资源矩阵表示该计算节点已经被使用的资源数量；某一时刻可分配资源向量通过最大资源向量减去某一时刻的已使用资源向量得到。
所述的某一时刻的可分配资源向量是指：在上述4*N的已使用资源矩阵中的代表某一时刻的某一列四维向量。
所述的干扰程度指数是指：根据负载的到达时刻，通过上述方法计算该节点对应时刻以及之后两个时刻的可分配资源向量，由这三个可分配资源向量构成一个4*3的矩阵，并使用负载的需求特征矩阵减去这个矩阵，其中大于0的元素，就代表若将负载调度到这一台物理服务器上时，这个维度的资源所产生的干扰的大小，将矩阵中大于0的值求和即为干扰程度指数。对所有的计算节点执行此操作，选择其中干扰程度指数最小的计算节点，将负载调度到其之上。
所述的负载的到达时刻是指：负载被分配到数据中心，将要获得相应计算资源并开始工作的时刻。
技术效果
本发明整体解决了数据中心中由干扰所导致的资源闲置以及性能下降的问题。
与现有技术相比，本发明按照负载的生命周期将负载的资源需求分为三段表示，使用一个4*3的矩阵表示负载生命周期的资源需求。并以此为依据进行计算节点的干扰计算，根据干扰程度指数为依据进行负载的分配。
本发明通过最小化负载间干扰的方式，进行负载的调度。避免了因为单一资源的过载导致的服务器整体资源闲置，以及这种闲置带来的资源浪费和效率降低。同时减小了单一资源过载导致的服务质量下降。通过计算负载产生的干扰，并尽量避免干扰的调度方式，使得不同资源类型的利用率有均衡提升，不会出现一种资源已经分配完，但其它资源还有大量剩余的情况，从而提升数据中心的整体资源利用率。
附图说明
图1为本发明负载分配***的示意图；
图2为本发明负载分配方法的时序图；
图3、4为本发明实施例示意图。
具体实施方式
如图1所示，本实施例涉及一种基于负载需求特征的数据中心负载分配***，包括：位于数据中心的负载需求特征分析模块、干扰分类模块、计算节点资源分析模块、干扰计算模块、调度模块和位于各个节点中的资源监控模块，其中：负载需求特征分析模块与干扰分类模块相连并将实时获取的用户负载信息经分析获取需求特征信息传输至干扰分类模块；干扰分类模块读取负载需求特征分析模块的分析结果并将每一个负载的资源需求记录下来；计算节点资源分析模块与资源监控模块相连并实时记录物理服务器的资源使用情况及资源剩余情况；干扰计算模块分别与干扰分类模块和计算节点资源分析模块相连并将二者得到的结果进行干扰程度指数计算；调度模块与干扰计算模块相连并接收其计算结果，根据计算结果将负载分配至干扰程度指数最小的物理服务器。
所述的负载需求特征分析模块将负载根据生命周期分为加载时段、执行时段和结束时段，每个时段对应计算资源、内存资源、硬盘资源和网络资源四个维度，形成一个4*3的需求特征矩阵。
所述的干扰分类模块根据负载读取负载需求特征分析模块对应的需求特征矩阵。
所述的计算节点资源分析模块用向量和矩阵共同表示每台物理服务器的资源使用情况，具体是将计算节点根据计算资源，即处理器频率、内存大小、硬盘速率和网络带宽四个维度的物理计算资源的数量，得到四维的最大资源向量以表示该计算节点的最大资源；用一个4*N的矩阵表示已使用资源矩阵，其中：N表示工作时间段的数量，已使用的资源使用情况通过监测物理服务器的操作***参数获得，未来的资源使用情况根据已使用的资源加上被调度来的负载所使用的相应的资源求得，任意时刻的可分配资源向量通过最大资源向量减去已使用资源矩阵中表示这一时刻的对应列向量得到。
所述的干扰计算模块将根据负载的到达时刻，通过上述方法计算该节点对应时刻以及之后两个时刻的可分配资源向量，由这三个可分配资源向量构成一个4*3的矩阵，并使用负载的需求特征矩阵减去这个矩阵，其中大于0的元素，就代表若将负载调度到这一台物理服务器上时，这个维度的资源所产生的干扰的大小，将矩阵中大于0的值求和即为干扰程度指数。
所述的调度模块根据负载在每个物理服务器的干扰程度指数进行调度分配，使用贪心算法在负载的调度过程中进行优化。
所述的贪心算法是指：在每一次调度时，不考虑之后的负载，只将当前负载调度到产生的干扰程度指数最小的服务器，当有多台物理服务器对于该待调度负载的干扰程度指数相同，则随机选择一台进行调度。对每一个到来的负载都执行此操作。
如图2所示，数据中心的物理服务器经过资源使用情况分析之后得到其资源使用情况：由最大资源向量和已使用资源矩阵组成。待分配的负载经过干扰分类之后得到其需求特征矩阵，根据上述的干扰程度指数计算方法计算出每一个服务器的干扰程度指数，之后由调度器将负载调度到干扰程度指数最小的服务器上去。
与现有技术相比，本方法考虑到负载的资源需求变化，并根据其生命周期的不同阶段进行记录，以一个矩阵来表示负载的资源需求，并以此为依据进行干扰的计算。
经过具体实际实验，在数据中心仿真***的具体环境，设置10～30台物理服务器，分配100～300个负载的设置下，能够得到的实验数据是：如图3、图4所示，图中四种技术方案分别表示为(a)最佳适应调度(BFS,Best Fit Schedule)优先将负载调度在最接近满载的物理服务器上；(b)首次适应调度(FFS,First Fit Schedule)优先将负载调度在第一个能够满足负载资源需求的物理服务器上，若所有服务器都无法完全满足负载需求则进行一次随机调度；(c)随机调度(RS,Random Schedule)对所有负载进行完全随机的调度；(d)最小化干扰调度(MIS,MinimizeInterference Schedule)即本实例提出的最小化负载间干扰的调度算法。图4中服务水平协议(SLA,Service Level Agreement)违背率，代表没有按照客户要求在指定时间内完成负载的比例，在实际情况中，这非常可能由干扰产生的性能下降导致。由实验数据可见，本发明所提出的最小化负载间干扰的负载分配方法能够有效降低数据中心负载间的干扰，同时有效降低数据中心的SLA违背率。
与现有技术相比，本方法能够平均减少34％的负载间干扰，并平均降低17％的SLA违背率。
上述具体实施可由本领域技术人员在不背离本发明原理和宗旨的前提下以不同的方式对其进行局部调整，本发明的保护范围以权利要求书为准且不由上述具体实施所限，在其范围内的各个实现方案均受本发明之约束。

Claims (7)

1.一种基于负载需求特征的数据中心负载分配方法，其特征在于，通过预先测量负载的时序资源需求特征对未来负载进行干扰分类，根据不同计算节点的资源使用情况得到其对应的干扰程度指数，由调度节点将负载分配至使干扰程度指数之和最小的计算节点，从而实现最小化负载间干扰的调度；
所述的时序资源需求特征用需求特征矩阵进行表示，该需求特征矩阵是一个4*3的矩阵，具体构成是：将负载的生命周期按照时间顺序分为三个时段，即加载时段、执行时段和结束时段；将负载对于资源的需求分为四个维度，即：计算资源、内存资源、硬盘资源和网络资源；
所述的干扰分类是指：经对未来负载进行资源使用情况记录，得到需求特征矩阵即为负载真正到来时的干扰分类，具体为：用向量和矩阵共同表示每台物理服务器的资源使用情况，具体是将计算节点根据计算资源，即处理器频率、内存大小、硬盘速率和网络带宽四个维度的物理计算资源的数量，得到四维的最大资源向量以表示该计算节点的最大资源；用一个4*N的矩阵表示已使用资源矩阵，其中：N表示工作时间段的数量，已使用的资源使用情况通过监测物理服务器的操作***参数获得，未来的资源使用情况根据已使用的资源加上被调度来的负载所使用的相应的资源求得，任意时刻的可分配资源向量通过最大资源向量减去已使用资源矩阵中表示这一时刻的对应列向量得到。
2.一种实现上述任一权利要求所述方法的***，其特征在于，包括：位于数据中心的负载需求特征分析模块、干扰分类模块、计算节点资源分析模块、干扰计算模块、调度模块和位于各个节点中的资源监控模块，其中：负载需求特征分析模块与干扰分类模块相连并将实时获取的用户负载信息经分析获取需求特征信息传输至干扰分类模块；干扰分类模块读取负载需求特征分析模块的分析结果并将每一个负载的干扰类型进行计算和分类；计算节点资源分析模块与资源监控模块相连并实时记录物理服务器的资源使用情况及资源剩余情况；干扰计算模块分别与干扰分类模块和计算节点资源分析模块相连并将二者得到的结果进行干扰程度指数计算；调度模块与干扰计算模块相连并接收其计算结果，根据计算结果将负载分配至干扰程度指数最小的物理服务器；
所述的干扰程度指数是指：将负载的需求特征矩阵加到对应计算节点的已使用资源矩阵，计算新矩阵中的每一列和该节点最大资源向量的差值，其中差值大于0的值求和即为干扰程度指数。
3.根据权利要求2所述的***，其特征是，所述的负载需求特征分析模块将负载根据生命周期分为加载时段、执行时段和结束时段，每个时段对应计算资源、内存资源、硬盘资源和网络资源四个维度，形成一个4*3的需求特征矩阵；
所述的四个维度按照各自需求程度，量化为从0～10的十一个等级。
4.根据权利要求3所述的***，其特征是，所述的干扰分类模块根据负载读取负载需求特征分析模块对应的需求特征矩阵。
5.根据权利要求2所述的***，其特征是，所述的计算节点资源分析模块用向量和矩阵共同表示每台物理服务器的资源使用情况，具体是将计算节点根据计算资源的量化等级得到四维的最大资源向量以表示该计算节点的最大资源；将三个时段已经分配的计算资源也同样量化并得到一个4*N的已使用资源矩阵，其中：N表示工作时间段的数量，已使用的资源使用情况通过监测物理服务器的操作***参数获得，未来的资源使用情况根据已使用的资源加上被调度来的负载所使用的相应的资源求得，能够分配的资源向量通过最大资源向量减去某一时刻的已使用资源向量得到。
6.根据权利要求2所述的***，其特征是，所述的干扰计算模块将每个负载的需求特征矩阵加到对应计算节点的已使用资源矩阵，计算新矩阵中的每一列和该节点最大资源向量的差值，其中差值大于0的值求和即得到干扰程度指数。
7.根据权利要求2所述的***，其特征是，所述的调度模块根据每个负载的干扰程度指数进行优化调度，使用贪心算法，在每一次调度时，不考虑之后的负载，只将当前负载调度到产生的干扰程度指数最小的服务器，当有多台物理服务器对于待调度负载的干扰程度指数相同，则随机选择一台进行调度。
CN201911317923.9A 2019-12-19 2019-12-19 基于负载需求特征的数据中心负载分配方法及*** Active CN110995863B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911317923.9A CN110995863B (zh) 2019-12-19 2019-12-19 基于负载需求特征的数据中心负载分配方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911317923.9A CN110995863B (zh) 2019-12-19 2019-12-19 基于负载需求特征的数据中心负载分配方法及***

Publications (2)

Publication Number Publication Date
CN110995863A CN110995863A (zh) 2020-04-10
CN110995863B true CN110995863B (zh) 2021-07-30

Family

ID=70063152

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911317923.9A Active CN110995863B (zh) 2019-12-19 2019-12-19 基于负载需求特征的数据中心负载分配方法及***

Country Status (1)

Country Link
CN (1) CN110995863B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112231314A (zh) * 2020-11-05 2021-01-15 深圳市丽湖软件有限公司 一种基于etl的质量数据评估方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102958166A (zh) * 2011-08-29 2013-03-06 华为技术有限公司 一种资源分配方法及资源管理平台
CN103516744A (zh) * 2012-06-20 2014-01-15 阿里巴巴集团控股有限公司 一种数据处理的方法和应用服务器及集群
CN107040475A (zh) * 2016-11-14 2017-08-11 平安科技（深圳）有限公司 资源调度方法和装置
US10104165B1 (en) * 2012-08-30 2018-10-16 Amazon Technologies, Inc. Sharing network connections to content sources
CN110399200A (zh) * 2019-06-26 2019-11-01 苏州浪潮智能科技有限公司 一种云平台资源调度方法和装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102346460B (zh) * 2011-05-27 2013-11-13 运软网络科技(上海)有限公司 一种基于事务的服务控制***及其控制方法
CN102780759B (zh) * 2012-06-13 2016-05-18 合肥工业大学 基于调度目标空间的云计算资源调度方法
CN108429815A (zh) * 2018-03-23 2018-08-21 重庆邮电大学 基于OpenStack的动态资源调度方法
JP6597823B2 (ja) * 2018-03-23 2019-10-30 日本電気株式会社 ロードバランシング装置、通信システム、制御方法及びプログラム
CN110311965A (zh) * 2019-06-21 2019-10-08 长沙学院 一种云计算环境下的任务调度方法及***

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102958166A (zh) * 2011-08-29 2013-03-06 华为技术有限公司 一种资源分配方法及资源管理平台
CN103516744A (zh) * 2012-06-20 2014-01-15 阿里巴巴集团控股有限公司 一种数据处理的方法和应用服务器及集群
US10104165B1 (en) * 2012-08-30 2018-10-16 Amazon Technologies, Inc. Sharing network connections to content sources
CN107040475A (zh) * 2016-11-14 2017-08-11 平安科技（深圳）有限公司 资源调度方法和装置
CN110399200A (zh) * 2019-06-26 2019-11-01 苏州浪潮智能科技有限公司 一种云平台资源调度方法和装置

Also Published As

Publication number Publication date
CN110995863A (zh) 2020-04-10

Similar Documents

Publication Publication Date Title
CN107592345B (zh) 交易限流装置、方法及交易***
Mazumdar et al. Power efficient server consolidation for cloud data center
US8417499B2 (en) Enabling real-time testing of on-demand infrastructure to predict service level agreement compliance
CN109218355A (zh) 负载均衡引擎，客户端，分布式计算***以及负载均衡方法
CN103699445A (zh) 一种任务调度方法、装置及***
CN103401947A (zh) 多个服务器的任务分配方法和装置
CN108491255B (zh) 自助式MapReduce数据优化分配方法及***
Tang et al. Data-aware resource scheduling for multicloud workflows: A fine-grained simulation approach
Huang et al. Migration-based elastic consolidation scheduling in cloud data center
Kowsigan et al. An efficient performance evaluation model for the resource clusters in cloud environment using continuous time Markov chain and Poisson process
CN115421930B (zh) 任务处理方法、***、装置、设备及计算机可读存储介质
CN110149377A (zh) 一种视频服务节点资源分配方法、***、装置及存储介质
Li et al. Cost-aware automatic scaling and workload-aware replica management for edge-cloud environment
Kim et al. Dynamic control of cpu usage in a lambda platform
Meskar et al. Fair multi-resource allocation in mobile edge computing with multiple access points
CN110995863B (zh) 基于负载需求特征的数据中心负载分配方法及***
Shi et al. Characterizing and orchestrating VM reservation in geo-distributed clouds to improve the resource efficiency
CN107203256A (zh) 一种网络功能虚拟化场景下的节能分配方法与装置
Zhang et al. A Multi-Agent based load balancing framework in Cloud Environment
CN112491742A (zh) 一种边缘计算终端资源调度方法及装置
CN115794421B (zh) 资源分配方法、装置和电子设备
Farooq et al. Adaptive and resilient revenue maximizing dynamic resource allocation and pricing for cloud-enabled IoT systems
CN112685167A (zh) 资源使用方法、电子设备和计算机程序产品
Wei et al. Towards multi-resource physical machine provisioning for IaaS clouds
De Mello et al. A new migration model based on the evaluation of processes load and lifetime on heterogeneous computing environments

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant