CN108710540A - 一种分布式集群中的资源调度方法、装置及设备 - Google Patents
一种分布式集群中的资源调度方法、装置及设备 Download PDFInfo
- Publication number
- CN108710540A CN108710540A CN201810499760.XA CN201810499760A CN108710540A CN 108710540 A CN108710540 A CN 108710540A CN 201810499760 A CN201810499760 A CN 201810499760A CN 108710540 A CN108710540 A CN 108710540A
- Authority
- CN
- China
- Prior art keywords
- resource
- node
- virtual machine
- type assemblies
- distributed type
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 43
- 230000000712 assembly Effects 0.000 claims description 73
- 238000000429 assembly Methods 0.000 claims description 73
- 230000005012 migration Effects 0.000 claims description 67
- 238000013508 migration Methods 0.000 claims description 67
- 230000001105 regulatory effect Effects 0.000 claims description 32
- 238000004590 computer program Methods 0.000 claims description 9
- 238000012790 confirmation Methods 0.000 claims description 4
- 239000004744 fabric Substances 0.000 claims description 2
- 230000000694 effects Effects 0.000 abstract description 4
- 230000009286 beneficial effect Effects 0.000 abstract description 2
- 238000004364 calculation method Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 4
- 235000013399 edible fruits Nutrition 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000005303 weighing Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5011—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals
- G06F9/5016—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals the resource being the memory
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
- G06F9/505—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the load
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Debugging And Monitoring (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本申请公开了一种分布式集群中的资源调度方法,包括:获取分布式集群中的各个节点的资源使用率,包括CPU使用率和内存使用率;分别计算所有节点的CPU使用率的平均值和内存使用率的平均值,作为分布式集群的资源平均使用率;根据预设距离公式分别计算各个节点的资源使用率与资源平均使用率在二维平面中的距离偏差;判断距离偏差是否大于预设偏差阈值;若是,则对虚拟机在节点中的分布数量进行调整以便调节节点的资源使用率,直至各个节点的距离偏差均不大于预设偏差阈值。本申请具有更加直观详细且合理有效的平衡调节效果。本申请还公开了一种分布式集群中的资源调度装置、设备及计算机可读存储介质,也具有上述有益效果。
Description
技术领域
本申请涉及分布式集群技术领域,特别涉及一种分布式集群中的资源调度方法、装置、设备及计算机可读存储介质。
背景技术
分布式是现行架构部署模式中使用十分广泛的一种。分布式集群常应用于一些大型服务***,例如云计算***。在分布式集群中,网站上传至数据中心服务器后,站点内容将自动分发到集群中的各个节点服务器,令终端访问者可自动访问到其所在地响应速度最快的节点服务器从而获取相应服务。
一般地,在分布式集群中需要通过一定的调节策略令各个节点的资源使用率(主要指CPU使用率和内存使用率)趋于平衡,以避免个别节点服务器因工作负荷高即资源使用率高而导致运行性能下降。现有技术中在对集群节点的资源使用率进行调节时,一般是将CPU使用率和内存使用率加权后的值作为资源综合使用率,并依据其进行调节,用户并不能直观地了解到CPU使用率和内存使用率的具体大小情况。而事实上,同一个加权后的值会对应于多种CPU使用率和内存使用率的值的组合,并且,不同的应用对CPU和内存的使用需求是不同的。因此,无论是从调节结果的精确性和便利性角度来说、还是从调节效果的直观性角度来说,直接将两者混为一谈是不合理的。
可见,在分布式集群中采用何种直观、精确的资源调度方法,以便合理地平衡各节点的资源使用率,是本领域技术人员所亟待解决的技术问题。
发明内容
本申请的目的在于提供一种直观、精确的资源调度方法、装置、设备及计算机可读存储介质,以便合理地平衡分布式集群中各节点的资源使用率。
为解决上述技术问题,本申请提供一种分布式集群中的资源调度方法,包括:
获取所述分布式集群中的各个节点的资源使用率;所述资源使用率包括CPU使用率和内存使用率;
分别计算所有所述节点的所述CPU使用率的平均值和所述内存使用率的平均值,作为所述分布式集群的资源平均使用率;
根据预设距离公式分别计算各个所述节点的所述资源使用率与所述资源平均使用率在二维平面中的距离偏差;
判断所述距离偏差是否大于预设偏差阈值;
若是,则对虚拟机在所述节点中的分布数量进行调整以便调节所述节点的资源使用率,直至各个所述节点的所述距离偏差均不大于所述预设偏差阈值。
可选地,在所述分别计算所有所述节点的所述CPU使用率的平均值和所述内存使用率的平均值,作为所述分布式集群的资源平均使用率之后,还包括:
在以CPU使用率和内存使用率为坐标轴的二维平面图中标识出各个所述节点的所述资源使用率的数据点以及所述资源平均使用率的数据点。
可选地,所述判断所述距离偏差是否大于预设偏差阈值包括:
在所述二维平面图中画出以所述资源平均使用率的数据点为中心、且与所述资源平均使用率的数据点的所述距离偏差小于所述预设偏差阈值的区域范围;
判定在所述区域范围之外的所述数据点的所述距离偏差大于所述预设偏差阈值。
可选地,所述对虚拟机在所述节点中的分布数量进行调整以便调节所述节点的资源使用率包括:
确定所述距离偏差最大的所述节点为目标节点;
分别计算对所述目标节点执行各类虚拟机迁移操作后所述分布式集群中各个所述节点的资源使用平衡指标;其中,所述各类虚拟机迁移操作包括:将所述目标节点的虚拟机迁移至其他所述节点中、将其他所述节点的虚拟机迁移至所述目标节点中、以及更换所述目标节点和其他所述节点中的虚拟机;
根据所述资源使用平衡指标确定令各个所述节点的所述资源使用率的平衡程度最高的所述虚拟机迁移操作为目标迁移方案;
执行所述目标迁移方案。
可选地,所述资源使用平衡指标为各个所述节点的所述距离偏差的方差;
所述根据所述资源使用平衡指标确定令各个所述节点的所述资源使用率的平衡程度最高的所述虚拟机迁移操作为目标迁移方案包括:
将令所述资源使用平衡指标最小的所述虚拟机迁移操作确定为所述目标迁移方案。
可选地,在所述根据所述资源使用平衡指标确定令各个所述节点的所述资源使用率的平衡程度最高的所述虚拟机迁移操作为目标迁移方案之后、所述执行所述目标迁移方案之前,还包括:
在所述二维平面图中画出执行所述目标迁移方案后各个所述数据点的迁移路径;
所述执行所述目标迁移方案包括:
在接收到用户输入的确认执行命令之后,执行所述目标迁移方案。
可选地,所述预设距离公式为以下任意一项:
欧式距离公式、加权欧氏距离公式、曼哈顿距离公式、闵可夫斯基距离公式。
本申请还提供了一种分布式集群中的资源调度装置,包括:
获取模块:用于获取所述分布式集群中的各个节点的资源使用率;所述资源使用率包括CPU使用率和内存使用率;
计算模块:用于分别计算所有所述节点的所述CPU使用率的平均值和所述内存使用率的平均值,作为所述分布式集群的资源平均使用率;根据预设距离公式分别计算各个所述节点的所述资源使用率与所述资源平均使用率在二维平面中的距离偏差;
判断模块:用于判断所述距离偏差是否大于预设偏差阈值;
调节模块:用于在所述距离偏差大于所述预设偏差阈值时,对虚拟机在所述节点中的分布数量进行调整以调节所述节点的资源使用率,直至各个所述节点的所述距离偏差均不大于所述预设偏差阈值。
本申请还提供了一种分布式集群中的资源调度设备,包括:
存储器:用于存储计算机程序;
处理器:用于执行所述计算机程序以实现如上所述的任一种分布式集群中的资源调度方法的步骤。
本申请还提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机程序,所述计算机程序被处理器执行时用以实现如上所述的任一种分布式集群中的资源调度方法的步骤。
本申请所提供的分布式集群中的资源调度方法包括:获取所述分布式集群中的各个节点的资源使用率;所述资源使用率包括CPU使用率和内存使用率;分别计算所有所述节点的所述CPU使用率的平均值和所述内存使用率的平均值,作为所述分布式集群的资源平均使用率;根据预设距离公式分别计算各个所述节点的所述资源使用率与所述资源平均使用率在二维平面中的距离偏差;判断所述距离偏差是否大于预设偏差阈值;若是,则对虚拟机在所述节点中的分布数量进行调整以便调节所述节点的资源使用率,直至各个所述节点的所述距离偏差均不大于所述预设偏差阈值。
可见,相比于现有技术,本申请所提供的分布式集群中的资源调度方法,在二维空间中对节点的CPU使用率和内存使用率与分布式集群的平均水平进行了衡量和比较,并在此基础上对节点的工作负荷大小进行了调节以平衡各节点间的资源使用情况,因而具有更加直观详细且合理有效的调节效果。本申请所提供的分布式集群中的资源调度装置、设备及计算机可读存储介质可以实现上述分布式集群中的资源调度方法,同样具有上述有益效果。
附图说明
为了更清楚地说明现有技术和本申请实施例中的技术方案,下面将对现有技术和本申请实施例描述中需要使用的附图作简要的介绍。当然,下面有关本申请实施例的附图描述的仅仅是本申请中的一部分实施例,对于本领域普通技术人员来说,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图,所获得的其他附图也属于本申请的保护范围。
图1为本申请所提供的一种分布式集群中的资源调度方法的流程图;
图2为本申请所提供的一种分布式集群在资源调度前的资源使用率分布图;
图3为本申请所提供的一种分布式集群在资源调度过程中带有迁移路径的资源使用率分布图;
图4为本申请所提供的一种分布式集群在资源调度结束后的资源使用率分布图;
图5为本申请所提供的一种分布式集群中的资源调度装置的结构框图。
具体实施方式
本申请的核心在于提供一种直观、精确的资源调度方法、装置、设备及计算机可读存储介质,以便合理地平衡分布式集群中各节点的资源使用率。
为了对本申请实施例中的技术方案进行更加清楚、完整地描述,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行介绍。显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
请参考图1,图1为本申请所提供的一种分布式集群中的资源调度方法的流程图,主要包括以下步骤:
步骤1:获取分布式集群中的各个节点的资源使用率;资源使用率包括CPU使用率和内存使用率。
步骤2:分别计算所有节点的CPU使用率的平均值和内存使用率的平均值,作为分布式集群的资源平均使用率。
步骤3:根据预设距离公式分别计算各个节点的资源使用率与资源平均使用率在二维平面中的距离偏差。
具体地,为了便于用户更加直观地看到分布式集群中各个节点的CPU使用率情况和内存使用率情况并合理地进行资源调度,本申请所提供的分布式集群中的资源调度方法是将各个节点的CPU使用率和内存使用率在二维空间中进行处理的,并且,通过计算所有节点的CPU使用率的平均值和内存使用率的平均值,得到整个分布式集群中资源使用情况的平均水平,即所说的资源平均使用率,可直观地体现出各个节点与分布式集群资源使用情况平均水平的相对高低。
所说的距离偏差便是衡量各节点的资源使用率与分布式集群的资源平均使用率的差异的,具体可根据预设距离公式计算。容易理解的是,该距离偏差是一种在二维空间内计算的距离偏差,以便节点与集群平均水平在CPU使用率和内存使用率两方面的差异都可以得到体现。至于采用何种具体的预设距离公式来计算距离偏差,本领域技术人员可根据实际应用情况自行选择并设置,本申请对此并不进行限定。
例如,作为一种优选实施例,所说的预设距离公式可以为下述任意一种:
欧式距离公式、加权欧氏距离公式、曼哈顿距离公式、闵可夫斯基距离公式。
其中,欧氏距离是一种最易于理解、最常使用的距离计算方法,源自欧氏空间中两点间的距离公式。在二维平面中的两点a(x1,y1)与b(x2,y2)间的欧氏距离公式为
加权欧式距离是对欧式距离进行加权处理后的一种变形,其计算公式为其中,m和n均为加权系数。如前所述,在分布式集群中进行资源调度时,节点中不同的具体应用对CPU和内存的使用率是存在差异的,例如,有些应用可能占用较多的CPU资源和较少的内存资源,因此,通过调节两者对应的加权系数可以令调节效果更加合理有效。
曼哈顿距离定义为欧氏空间中固定直角坐标系上两点所形成的线段对轴产生的投影的距离总和,其计算公式为:则,只要CPU使用率和内存使用率中任意一个的差异较为明显,都会直观体现在曼哈顿距离中。
闵可夫斯基距离被视为是欧氏距离的一种推广,其计算公式为可知,当参数s=2时即为欧式距离,即欧氏距离是闵可夫斯基距离的一种特殊情况。
步骤4:判断距离偏差是否大于预设偏差阈值;若是,则进入步骤5。
步骤5:对虚拟机在节点中的分布数量进行调整以便调节节点的资源使用率,直至各个节点的距离偏差均不大于预设偏差阈值。
具体地,当集群中节点的资源使用情况不平衡时,就会出现部分节点的资源使用率与分布式集群的资源平均使用率的距离偏差较大的情况。至于如何衡量该距离偏差是否较大,本领域技术人员可以自行设置预设偏差阈值的大小,当距离偏差大于该预设偏差阈值时,就说明集群资源使用不平衡,则需要对其进行调节。
由于虚拟机的数量决定了节点的工作负荷量,进而影响到节点的资源使用情况,因此通过调节节点中虚拟机的分布数量可达到平衡节点资源使用的目的。容易理解的是,分布式集群***工作运转时所需要的虚拟机的总数量是一定的,这里所说的调节具体是指总体上将资源使用率高的节点中的虚拟机迁移到资源使用率低的节点中来。当然,所说的虚拟机主要是指工作状态中而非空闲状态中的虚拟机。而当所有节点的偏差距离均不大于预设偏差阈值时,即代表着调节结束。
可见,本申请所提供的分布式集群中的资源调度方法,在二维空间中对节点的CPU使用率和内存使用率与分布式集群的平均水平进行了衡量和比较,并在此基础上对节点的工作负荷大小进行了调节以平衡各节点间的资源使用情况,因而具有更加直观详细且合理有效的调节效果。
本申请所提供的分布式集群中的资源调度方法,在上述实施例的基础上:
作为一种优选实施例,在分别计算所有节点的CPU使用率的平均值和内存使用率的平均值,作为分布式集群的资源平均使用率之后,还包括:
在以CPU使用率和内存使用率为坐标轴的二维平面图中标识出各个节点的资源使用率的数据点以及资源平均使用率的数据点。
具体地,为了更加直观地展示出各个节点的资源使用率与分布式集群的资源平均使用率,本申请实施例所提供的分布式集群中的资源调度方法中,还可以进一步利用图像的直观性,即在二维平面图中标识出各个节点的资源使用率的数据点以及集群的资源平均使用率的数据点。当然,该二维平面图的坐标分别为CPU使用率和内存使用率。
请参考图2,图2为本申请所提供的一种分布式集群在资源调度前的资源使用率分布图。图中,横轴具体为CPU使用率,纵轴具体为内存使用率;圆点表示各个节点的资源使用率的数据点,叉点表示分布式集群的资源平均使用率的数据点。
作为一种优选实施例,判断距离偏差是否大于预设偏差阈值包括:
在二维平面图中画出以资源平均使用率的数据点为中心、且与资源平均使用率的数据点的距离偏差小于预设偏差阈值的区域范围;
判定在区域范围之外的数据点的距离偏差大于预设偏差阈值。
具体地,本申请实施例所提供的分布式集群中的资源调度方法中,还可以进一步利用图像的直观性来帮助判断节点的资源使用率与资源平均使用率间的距离偏差是否大于预设偏差阈值。通过作图,可将距离偏差不大于预设偏差阈值的区域范围在二维平面图中绘出来,则在该区域范围之外的数据点对应的就是距离偏差大于预设偏差阈值的节点。
其中,容易理解的是,当预设距离公式为欧式距离公式时,距离偏差的物理含义实际上就是二维平面图中两点之间的直线距离,则此时所说的区域范围实际上就是以资源平均使用率的数据点为圆心、以预设偏差阈值为半径的圆。
作为一种优选实施例,对虚拟机在节点中的分布数量进行调整以便调节节点的资源使用率包括:
确定距离偏差最大的节点为目标节点;
分别计算对目标节点执行各类虚拟机迁移操作后分布式集群中各个节点的资源使用平衡指标;其中,各类虚拟机迁移操作包括:将目标节点的虚拟机迁移至其他节点中、将其他节点的虚拟机迁移至目标节点中、以及更换目标节点和其他节点中的虚拟机;
根据资源使用平衡指标确定令各个节点的资源使用率的平衡程度最高的虚拟机迁移操作为目标迁移方案;
执行目标迁移方案。
具体地,集群中与资源平均使用率相差最大的节点是最影响资源使用平衡程度的点,因此,可优选但不限于将距离偏差最大的节点确定为关注的调节对象,即目标节点。
在调整某个节点中的虚拟机数量时,不外乎将虚拟机迁入、将虚拟机迁出、既迁入某些虚拟机又迁出另一些虚拟机(运行不同应用程序的虚拟机对于CPU和内存的使用程度不同)这三种类型的虚拟机迁移操作。由于目标节点既可能是集群中资源使用率最大于资源平均使用率的点,也可能是资源使用率最小于资源平均使用率的点,因此,可对三种虚拟机迁移操作都进行尝试,根据每种虚拟机迁移操作被执行后集群资源使用的平衡程度从中选择出最优的目标迁移方案执行。其中,本领域技术人员可自行选择并设置集群的资源使用平衡指标的计算方式,本申请对此并不进行限定。
作为一种优选实施例,资源使用平衡指标为各个节点的距离偏差的方差;
根据资源使用平衡指标确定令各个节点的资源使用率的平衡程度最高的虚拟机迁移操作为目标迁移方案包括:
将令资源使用平衡指标最小的虚拟机迁移操作确定为目标迁移方案。
具体地,可将各个节点的资源使用率与资源平均使用率的距离偏差的方差设为所说的资源使用平衡指标。根据方差的定义可知,方差越小,说明各节点资源使用率的分布越均匀,即集群的资源使用的平衡程度越高。
作为一种优选实施例,在根据资源使用平衡指标确定令各个节点的资源使用率的平衡程度最高的虚拟机迁移操作为目标迁移方案之后、执行目标迁移方案之前,还包括:
在二维平面图中画出执行目标迁移方案后各个数据点的迁移路径;
执行目标迁移方案包括:
在接收到用户输入的确认执行命令之后,执行目标迁移方案。
具体地,在确定了最优的目标迁移方案之后,可以由用户再来确定一下是否按照该目标迁移方案进行调节。而为了令用户能够直观地看到该目标迁移方案对应的调节效果,可以更新计算执行该目标迁移方案后各节点的资源使用率及其平均值,并在二维平面图中画出各个数据点的迁移路径。当用户输入了确认执行命令之后,即可执行该目标迁移方案。
请参考图3,图3为本申请所提供的一种分布式集群在资源调度过程中带有迁移路径的资源使用率分布图。图3中,有向箭头指示了在执行某次目标迁移方案后节点资源使用率的数据点的迁移路径。
请参考图4,图4为本申请所提供的一种分布式集群在资源调度结束后的资源使用率分布图。图4中所采用的资源调度方法,具体采用了欧式距离公式计算距离偏差,并绘出了距离偏差小于预设偏差阈值的区域范围,即图4中的圆。从图4中可见,经过资源调度之后,各个节点资源使用率的数据点均被控制在了区域范围之内。
下面对本申请实施例所提供的分布式集群中的资源调度装置进行介绍。
请参阅图5,图5为本申请所提供的一种分布式集群中的资源调度装置的结构框图;包括获取模块1、计算模块2、判断模块3和调节模块4;
获取模块1用于获取分布式集群中的各个节点的资源使用率;资源使用率包括CPU使用率和内存使用率;
计算模块2用于分别计算所有节点的CPU使用率的平均值和内存使用率的平均值,作为分布式集群的资源平均使用率;根据预设距离公式分别计算各个节点的资源使用率与资源平均使用率在二维平面中的距离偏差;
判断模块3用于判断距离偏差是否大于预设偏差阈值;
调节模块4用于在距离偏差大于预设偏差阈值时,对虚拟机在节点中的分布数量进行调整以调节节点的资源使用率,直至各个节点的距离偏差均不大于预设偏差阈值。
可见,本申请所提供的分布式集群中的资源调度装置,在二维空间中对节点的CPU使用率和内存使用率与分布式集群的平均水平进行了衡量和比较,并在此基础上对节点的工作负荷大小进行了调节以平衡各节点间的资源使用情况,因而具有更加直观详细且合理有效的调节效果。
本申请还提供了一种分布式集群中的资源调度设备,包括:
存储器:用于存储计算机程序;
处理器:用于执行所述计算机程序以实现如上所介绍的任一种分布式集群中的资源调度方法的步骤。
本申请还提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机程序,所述计算机程序被处理器执行时用以实现如上所介绍的任一种分布式集群中的资源调度方法的步骤。
本申请所提供的分布式集群中的资源调度装置、设备及计算机可读存储介质的具体实施方式与上文所描述的分布式集群中的资源调度方法可相互对应参照,这里就不再赘述。
本申请中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的***而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
还需说明的是,在本申请文件中,诸如“第一”和“第二”之类的关系术语,仅仅用来将一个实体或者操作与另一个实体或者操作区分开来,而不一定要求或者暗示这些实体或者操作之间存在任何这种实际的关系或者顺序。此外,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上对本申请所提供的技术方案进行了详细介绍。本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想。应当指出,对于本技术领域的普通技术人员来说,在不脱离本申请原理的前提下,还可以对本申请进行若干改进和修饰,这些改进和修饰也落入本申请权利要求的保护范围内。
Claims (10)
1.一种分布式集群中的资源调度方法,其特征在于,包括:
获取所述分布式集群中的各个节点的资源使用率;所述资源使用率包括CPU使用率和内存使用率;
分别计算所有所述节点的所述CPU使用率的平均值和所述内存使用率的平均值,作为所述分布式集群的资源平均使用率;
根据预设距离公式分别计算各个所述节点的所述资源使用率与所述资源平均使用率在二维平面中的距离偏差;
判断所述距离偏差是否大于预设偏差阈值;
若是,则对虚拟机在所述节点中的分布数量进行调整以便调节所述节点的资源使用率,直至各个所述节点的所述距离偏差均不大于所述预设偏差阈值。
2.根据权利要求1所述的资源调度方法,其特征在于,在所述分别计算所有所述节点的所述CPU使用率的平均值和所述内存使用率的平均值,作为所述分布式集群的资源平均使用率之后,还包括:
在以CPU使用率和内存使用率为坐标轴的二维平面图中标识出各个所述节点的所述资源使用率的数据点以及所述资源平均使用率的数据点。
3.根据权利要求2所述的资源调度方法,其特征在于,所述判断所述距离偏差是否大于预设偏差阈值包括:
在所述二维平面图中画出以所述资源平均使用率的数据点为中心、且与所述资源平均使用率的数据点的所述距离偏差小于所述预设偏差阈值的区域范围;
判定在所述区域范围之外的所述数据点的所述距离偏差大于所述预设偏差阈值。
4.根据权利要求3所述的资源调度方法,其特征在于,所述对虚拟机在所述节点中的分布数量进行调整以便调节所述节点的资源使用率包括:
确定所述距离偏差最大的所述节点为目标节点;
分别计算对所述目标节点执行各类虚拟机迁移操作后所述分布式集群中各个所述节点的资源使用平衡指标;其中,所述各类虚拟机迁移操作包括:将所述目标节点的虚拟机迁移至其他所述节点中、将其他所述节点的虚拟机迁移至所述目标节点中、以及更换所述目标节点和其他所述节点中的虚拟机;
根据所述资源使用平衡指标确定令各个所述节点的所述资源使用率的平衡程度最高的所述虚拟机迁移操作为目标迁移方案;
执行所述目标迁移方案。
5.根据权利要求4所述的资源调度方法,其特征在于,所述资源使用平衡指标为各个所述节点的所述距离偏差的方差;
所述根据所述资源使用平衡指标确定令各个所述节点的所述资源使用率的平衡程度最高的所述虚拟机迁移操作为目标迁移方案包括:
将令所述资源使用平衡指标最小的所述虚拟机迁移操作确定为所述目标迁移方案。
6.根据权利要求4所述的资源调度方法,其特征在于,在所述根据所述资源使用平衡指标确定令各个所述节点的所述资源使用率的平衡程度最高的所述虚拟机迁移操作为目标迁移方案之后、所述执行所述目标迁移方案之前,还包括:
在所述二维平面图中画出执行所述目标迁移方案后各个所述数据点的迁移路径;
所述执行所述目标迁移方案包括:
在接收到用户输入的确认执行命令之后,执行所述目标迁移方案。
7.根据权利要求1至6任一项所述的资源调度方法,其特征在于,所述预设距离公式为以下任意一项:
欧式距离公式、加权欧氏距离公式、曼哈顿距离公式、闵可夫斯基距离公式。
8.一种分布式集群中的资源调度装置,其特征在于,包括:
获取模块:用于获取所述分布式集群中的各个节点的资源使用率;所述资源使用率包括CPU使用率和内存使用率;
计算模块:用于分别计算所有所述节点的所述CPU使用率的平均值和所述内存使用率的平均值,作为所述分布式集群的资源平均使用率;根据预设距离公式分别计算各个所述节点的所述资源使用率与所述资源平均使用率在二维平面中的距离偏差;
判断模块:用于判断所述距离偏差是否大于预设偏差阈值;
调节模块:用于在所述距离偏差大于所述预设偏差阈值时,对虚拟机在所述节点中的分布数量进行调整以调节所述节点的资源使用率,直至各个所述节点的所述距离偏差均不大于所述预设偏差阈值。
9.一种分布式集群中的资源调度设备,其特征在于,包括:
存储器:用于存储计算机程序;
处理器:用于执行所述计算机程序以实现如权利要求1至7任一项所述的分布式集群中的资源调度方法的步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机程序,所述计算机程序被处理器执行时用以实现如权利要求1至7任一项所述的分布式集群中的资源调度方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810499760.XA CN108710540B (zh) | 2018-05-23 | 2018-05-23 | 一种分布式集群中的资源调度方法、装置及设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810499760.XA CN108710540B (zh) | 2018-05-23 | 2018-05-23 | 一种分布式集群中的资源调度方法、装置及设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108710540A true CN108710540A (zh) | 2018-10-26 |
CN108710540B CN108710540B (zh) | 2021-05-04 |
Family
ID=63868416
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810499760.XA Active CN108710540B (zh) | 2018-05-23 | 2018-05-23 | 一种分布式集群中的资源调度方法、装置及设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108710540B (zh) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110134495A (zh) * | 2019-05-21 | 2019-08-16 | 山东大学 | 一种容器跨主机在线迁移方法、存储介质及终端设备 |
CN110275773A (zh) * | 2018-10-30 | 2019-09-24 | 湖北省农村信用社联合社网络信息中心 | 基于真实数据模型拟合的Paas资源循环利用指标*** |
CN110493317A (zh) * | 2019-07-22 | 2019-11-22 | 腾讯科技(深圳)有限公司 | 处理云平台资源碎片的方法及相关设备 |
CN110908803A (zh) * | 2019-11-22 | 2020-03-24 | 神州数码融信软件有限公司 | 一种基于余弦相似度算法的作业分配方法 |
CN110932935A (zh) * | 2019-11-26 | 2020-03-27 | 深圳前海微众银行股份有限公司 | 资源控制方法、装置、设备及计算机存储介质 |
CN111104227A (zh) * | 2019-12-28 | 2020-05-05 | 北京浪潮数据技术有限公司 | 一种K8s平台的资源控制方法、装置及相关组件 |
CN111142647A (zh) * | 2019-12-27 | 2020-05-12 | 亚信科技(南京)有限公司 | 一种it***的节能方法及*** |
CN112486679A (zh) * | 2020-11-25 | 2021-03-12 | 北京浪潮数据技术有限公司 | 一种kubernetes集群的pod调度方法、装置及设备 |
CN115277710A (zh) * | 2022-05-31 | 2022-11-01 | 马上消费金融股份有限公司 | 资源管理方法、装置、电子设备以及存储介质 |
Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102185779A (zh) * | 2011-05-11 | 2011-09-14 | 田文洪 | 与综合配置能力成比例的数据中心资源负载均衡的方法及装置 |
CN102232282A (zh) * | 2010-10-29 | 2011-11-02 | 华为技术有限公司 | 一种实现数据中心资源负载均衡的方法及装置 |
EP2669798A1 (en) * | 2012-05-31 | 2013-12-04 | Alcatel Lucent | Load distributor, intra-cluster resource manager, inter-cluster resource manager, apparatus for processing base band signals, method and computer program for distributing load |
CN103514046A (zh) * | 2013-09-24 | 2014-01-15 | 华为技术有限公司 | 一种虚拟机放置方法及集群管理服务器 |
US20140325524A1 (en) * | 2013-04-25 | 2014-10-30 | Hewlett-Packard Development Company, L.P. | Multilevel load balancing |
CN105260235A (zh) * | 2015-09-23 | 2016-01-20 | 浪潮集团有限公司 | 一种云平台中基于应用场景的资源调度方法及装置 |
US20160162338A1 (en) * | 2014-12-09 | 2016-06-09 | Vmware, Inc. | Methods and systems that allocate cost of cluster resources in virtual data centers |
CN105760227A (zh) * | 2016-02-04 | 2016-07-13 | 中国联合网络通信集团有限公司 | 云环境下资源调度方法及*** |
CN106254175A (zh) * | 2016-07-26 | 2016-12-21 | 北京蓝海讯通科技股份有限公司 | 一种集群异常节点检测方法、应用和计算设备 |
CN107273185A (zh) * | 2017-06-19 | 2017-10-20 | 成都鼎智汇科技有限公司 | 一种基于虚拟机的负载均衡控制方法 |
CN107436813A (zh) * | 2017-08-03 | 2017-12-05 | 郑州云海信息技术有限公司 | 一种元数据服务器动态负载均衡的方法及*** |
CN108009016A (zh) * | 2016-10-31 | 2018-05-08 | 华为技术有限公司 | 一种资源负载均衡控制方法及集群调度器 |
-
2018
- 2018-05-23 CN CN201810499760.XA patent/CN108710540B/zh active Active
Patent Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102232282A (zh) * | 2010-10-29 | 2011-11-02 | 华为技术有限公司 | 一种实现数据中心资源负载均衡的方法及装置 |
CN102185779A (zh) * | 2011-05-11 | 2011-09-14 | 田文洪 | 与综合配置能力成比例的数据中心资源负载均衡的方法及装置 |
EP2669798A1 (en) * | 2012-05-31 | 2013-12-04 | Alcatel Lucent | Load distributor, intra-cluster resource manager, inter-cluster resource manager, apparatus for processing base band signals, method and computer program for distributing load |
US20140325524A1 (en) * | 2013-04-25 | 2014-10-30 | Hewlett-Packard Development Company, L.P. | Multilevel load balancing |
CN103514046A (zh) * | 2013-09-24 | 2014-01-15 | 华为技术有限公司 | 一种虚拟机放置方法及集群管理服务器 |
US20160162338A1 (en) * | 2014-12-09 | 2016-06-09 | Vmware, Inc. | Methods and systems that allocate cost of cluster resources in virtual data centers |
CN105260235A (zh) * | 2015-09-23 | 2016-01-20 | 浪潮集团有限公司 | 一种云平台中基于应用场景的资源调度方法及装置 |
CN105760227A (zh) * | 2016-02-04 | 2016-07-13 | 中国联合网络通信集团有限公司 | 云环境下资源调度方法及*** |
CN106254175A (zh) * | 2016-07-26 | 2016-12-21 | 北京蓝海讯通科技股份有限公司 | 一种集群异常节点检测方法、应用和计算设备 |
CN108009016A (zh) * | 2016-10-31 | 2018-05-08 | 华为技术有限公司 | 一种资源负载均衡控制方法及集群调度器 |
CN107273185A (zh) * | 2017-06-19 | 2017-10-20 | 成都鼎智汇科技有限公司 | 一种基于虚拟机的负载均衡控制方法 |
CN107436813A (zh) * | 2017-08-03 | 2017-12-05 | 郑州云海信息技术有限公司 | 一种元数据服务器动态负载均衡的方法及*** |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110275773B (zh) * | 2018-10-30 | 2020-08-28 | 湖北省农村信用社联合社网络信息中心 | 基于真实数据模型拟合的Paas资源循环利用指标*** |
CN110275773A (zh) * | 2018-10-30 | 2019-09-24 | 湖北省农村信用社联合社网络信息中心 | 基于真实数据模型拟合的Paas资源循环利用指标*** |
CN110134495A (zh) * | 2019-05-21 | 2019-08-16 | 山东大学 | 一种容器跨主机在线迁移方法、存储介质及终端设备 |
CN110493317A (zh) * | 2019-07-22 | 2019-11-22 | 腾讯科技(深圳)有限公司 | 处理云平台资源碎片的方法及相关设备 |
CN110493317B (zh) * | 2019-07-22 | 2022-04-19 | 腾讯科技(深圳)有限公司 | 处理云平台资源碎片的方法及相关设备 |
CN110908803A (zh) * | 2019-11-22 | 2020-03-24 | 神州数码融信软件有限公司 | 一种基于余弦相似度算法的作业分配方法 |
CN110908803B (zh) * | 2019-11-22 | 2022-07-05 | 神州数码融信软件有限公司 | 一种基于余弦相似度算法的作业分配方法 |
CN110932935A (zh) * | 2019-11-26 | 2020-03-27 | 深圳前海微众银行股份有限公司 | 资源控制方法、装置、设备及计算机存储介质 |
CN111142647A (zh) * | 2019-12-27 | 2020-05-12 | 亚信科技(南京)有限公司 | 一种it***的节能方法及*** |
CN111104227A (zh) * | 2019-12-28 | 2020-05-05 | 北京浪潮数据技术有限公司 | 一种K8s平台的资源控制方法、装置及相关组件 |
CN111104227B (zh) * | 2019-12-28 | 2022-04-22 | 北京浪潮数据技术有限公司 | 一种K8s平台的资源控制方法、装置及相关组件 |
CN112486679A (zh) * | 2020-11-25 | 2021-03-12 | 北京浪潮数据技术有限公司 | 一种kubernetes集群的pod调度方法、装置及设备 |
CN115277710A (zh) * | 2022-05-31 | 2022-11-01 | 马上消费金融股份有限公司 | 资源管理方法、装置、电子设备以及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN108710540B (zh) | 2021-05-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108710540A (zh) | 一种分布式集群中的资源调度方法、装置及设备 | |
US10733026B2 (en) | Automated workflow selection | |
CN107548549B (zh) | 分布式计算环境中的资源平衡 | |
CN106776005B (zh) | 一种面向容器化应用的资源管理***及方法 | |
CN106020927B (zh) | 一种云计算***中任务调度与资源配置的通用方法 | |
CN102185779B (zh) | 与综合配置能力成比例的数据中心资源负载均衡的方法及装置 | |
CN105843683B (zh) | 用于动态优化平台资源分配的方法、***和设备 | |
CN104639639A (zh) | 一种虚拟机部署位置的调整方法、装置及*** | |
CN104601664B (zh) | 一种云计算平台资源管理与虚拟机调度的控制*** | |
CN103336722B (zh) | 一种虚拟机cpu资源监控和动态分配方法 | |
CN103414752B (zh) | 一种网络感知的云数据中心虚拟机分配方法 | |
CN105930214B (zh) | 一种基于q学习的混合云作业调度方法 | |
CN103401939A (zh) | 一种采用混合调度策略的负载均衡方法 | |
CN106502761B (zh) | 一种资源高效利用的虚拟机部署方法 | |
JP6116102B2 (ja) | クラスタシステム、および、負荷分散方法 | |
CN105786619B (zh) | 虚拟机分配方法及装置 | |
CN105607948A (zh) | 一种基于sla的虚拟机迁移预测方法 | |
CN105488134A (zh) | 大数据处理方法及大数据处理装置 | |
Delavar et al. | A synthetic heuristic algorithm for independent task scheduling in cloud systems | |
CN109587072A (zh) | 分布式***全局限速***及方法 | |
CN110311965A (zh) | 一种云计算环境下的任务调度方法及*** | |
Ma et al. | On resource management for cloud users: A generalized kelly mechanism approach | |
CN105138408A (zh) | 一种基于OpenStack的虚拟机迁移方法和装置 | |
CN106059940A (zh) | 一种流量控制方法及装置 | |
CN107070965A (zh) | 一种虚拟化容器资源下的多工作流资源供给方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
TA01 | Transfer of patent application right |
Effective date of registration: 20200612 Address after: Nanshan District Xueyuan Road in Shenzhen city of Guangdong province 518055 No. 1001 Nanshan Chi Park building A1 layer Applicant after: SANGFOR TECHNOLOGIES Inc. Address before: Nanshan District Xueyuan Road in Shenzhen city of Guangdong province 518055 No. 1001 Nanshan Chi Park A1 building five floor Applicant before: Shenxin network technology (Shenzhen) Co.,Ltd. |
|
TA01 | Transfer of patent application right | ||
GR01 | Patent grant | ||
GR01 | Patent grant |