CN111858029A - 基于离散粒子群的Storm集群负载均衡方法及*** - Google Patents

基于离散粒子群的Storm集群负载均衡方法及*** Download PDF

Info

Publication number
CN111858029A
CN111858029A CN202010550161.3A CN202010550161A CN111858029A CN 111858029 A CN111858029 A CN 111858029A CN 202010550161 A CN202010550161 A CN 202010550161A CN 111858029 A CN111858029 A CN 111858029A
Authority
CN
China
Prior art keywords
task allocation
allocation method
particle swarm
storm cluster
pbest
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010550161.3A
Other languages
English (en)
Other versions
CN111858029B (zh
Inventor
张江龙
陈是同
吴小华
李宏发
蔡力军
陶俊
高扬
浦正国
毛舒乐
张天奇
赵云龙
吴金淦
林胜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Corp of China SGCC
State Grid Information and Telecommunication Co Ltd
State Grid Fujian Electric Power Co Ltd
Anhui Jiyuan Software Co Ltd
Information and Telecommunication Branch of State Grid Fujian Electric Power Co Ltd
Original Assignee
State Grid Corp of China SGCC
State Grid Information and Telecommunication Co Ltd
State Grid Fujian Electric Power Co Ltd
Anhui Jiyuan Software Co Ltd
Information and Telecommunication Branch of State Grid Fujian Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Corp of China SGCC, State Grid Information and Telecommunication Co Ltd, State Grid Fujian Electric Power Co Ltd, Anhui Jiyuan Software Co Ltd, Information and Telecommunication Branch of State Grid Fujian Electric Power Co Ltd filed Critical State Grid Corp of China SGCC
Priority to CN202010550161.3A priority Critical patent/CN111858029B/zh
Publication of CN111858029A publication Critical patent/CN111858029A/zh
Application granted granted Critical
Publication of CN111858029B publication Critical patent/CN111858029B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5083—Techniques for rebalancing the load in a distributed system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开了基于离散粒子群的Storm集群负载均衡方法及***，包括：获取工作节点个数s和待分配的任务个数t；初始化粒子群；获取初代每个粒子的Pbest和粒子群的Gbest；更新每个任务分配方法；更新迭代更新后的每个粒子的Pbest和粒子群的Gbest；直到迭代次数达到预设的最大迭代次数，获得全局历史最佳任务分配方法Gbest；根据全局历史最佳任务分配方法Gbest运行Storm集群；本发明采用粒子群算法来进行Storm集群调度的策略能够提升Storm集群的性能利用率，不会出现某一个工作节点的CPU满载而另一个工作节点空载的情况。

Description

基于离散粒子群的Storm集群负载均衡方法及***
技术领域
本发明涉及大数据实时处理领域，具体涉及基于离散粒子群的Storm集群负载均衡方法及***。
背景技术
在客户端提交Topology任务后，Storm集群的控制节点Nimbus接收Topology任务，Nimbus基于接收到的Topology任务，计算需要处理的运行时实例task数量，根据当前Storm集群中含有的worker节点数量，采用轮询调度(Round Robin scheduling)算法，将用户提交的拓扑中包含的运行时实例task均匀分配到各工作节点worker上，由于分配过程中，总是会从第一个工作节点询问，从而使得第一个工作节点的负载压力越来越大，使得该工作节点相比于其他节点的负载压力比其他的大很多，导致Storm集群中各个工作节点worker的负载不同，且轮询调度算法不考虑不同节点的性能差异，致使节点资源利用率不高，另外，默认调度对于节点资源更关注CPU资源,而忽略、内存占用率、计算机带宽的占用以及性能感知率等其他类型的资源,如此可能会造成工作节点内存不足、网络堵塞等问题。当Storm集群的负载无法实现均衡的时候，会出现计算机在一定时间范围内不同的工作节点的工作状态不同，且无法充分利用Storm集群的性能，长期处在高压的工作节点的使用年限会降低，易发生故障。处在低压的工作节点性能利用率低，对Storm集群的效率影响较大。
发明内容
针对上述现有技术存在的问题，本发明提供了基于离散粒子群的Storm集群负载均衡策略方法，包括如下步骤：
(11)获取运行状态的Storm集群的工作节点个数s和待分配的任务个数t；
(12)初始化粒子群，获得每个任务分配到工作节点位置的多个不同任务分配方法；
(13)将粒子群中每个任务分配方法作为自身历史最佳任务分配方法Pbest，并计算各任务分配方法的适应度值,从粒子群中选择适应度值最小的任务分配方法作为全局历史最佳任务分配方法Gbest；
(14)根据预设的迭代公式更新每个任务分配方法；
(15)计算每个任务分配方法更新后的适应度值,比较每个任务分配方法更新前后的适应度值,将适应度值小的任务分配方法赋值给Pbest,从赋值后的多个Pbest中选择适应度值最小的任务分配方法赋值给Gbest；
(16)重复执行步骤(14)至(15),直到所述迭代公式中的迭代次数达到预设的最大迭代次数，获得全局历史最佳任务分配方法Gbest；
(17)根据全局历史最佳任务分配方法Gbest运行Storm集群；
所述步骤(13)和(15)中，适应度值的计算方法为：
(21)根据任务分配方法运行Storm集群，获取Storm集群的每个工作节点的多种性能指标；
(22)采用Storm集群所有工作节点的负载量离散程度F衡量负载均衡程度：
Figure BDA0002542165320000021
其中k表示工作节点的性能指标的种类数，F值越小负载均衡程度越大；
(23)以离散程度F作为离散粒子群的适应度函数。
作为上述方案的进一步优化，步骤(12)中，包括初始化粒子速度和粒子位置，所述初始化粒子位置的方法为：采用矩阵随机生成方法生成m*t矩阵rand，且矩阵中每个元素取值的范围为1，2，3，...，s，其中，m为粒子群的种群规模，每一行表示一种任务分配方法。
作为上述方案的进一步优化，步骤(14)包括：
计算每个任务分配方法的速度更新公式：
V(t+1)＝v(t)+c1*r1*{pbest(m)-x(t)}+c2*r2*{Gbest-x(t)}
其中，V(t+1)表示第t+1代的粒子速度，V(t)表示的是第t代粒子的速度公式，c1、c2为学习因子，r1和r2为随机数，pbest(m)表示第m个任务分配方法的pbest值；
更新任务分配方法：基于速度更新公式，获取下一代的更新位置：x(t+1)＝x(t)+v(t+1)；
对更新完成的x(t+1)进行取整和边界修正，使x(t+1)中的每个元素取值为[1,s]范围内的整数。
作为上述方案的进一步优化，步骤(21)中的性能指标包括工作节点的CPU占用率、工作节点的内存占用率、网络带宽占用率和负载性能感知比率。
作为上述方案的进一步优化，所述CPU占用率、工作节点的内存占用率、网络带宽占用率和负载性能感知比率用于衡量Storm集群所有工作节点的负载量离散程度F时权重设置不同。
作为上述方案的进一步优化，步骤(22)中，整个粒子群获得的性能指标矩阵Lall为：
Figure BDA0002542165320000031
其中，m是粒子群中粒子的个数，s是工作节点个数，(Lms1，Lms2，Lms3，Lms4)为每个工作节点的性能指标向量；
Storm集群所有工作节点的负载量离散程度Fm为：
Figure BDA0002542165320000032
其中，w1、w2、w3、w4分别为CPU占用率、工作节点的内存占用率、网络带宽占用率和负载性能感知比率的权重，其中，
Figure BDA0002542165320000033
本发明还提供了基于离散粒子群算法的Storm集群负载均衡***，包括：
Storm集群参数获取模块，用于获取Storm集群的工作节点个数s、待分配的任务个数t以及运行状态下工作节点的性能指标；
粒子群初始化模块，用于获得每个任务分配到工作节点位置的多个不同任务分配方法；
初代粒子群Pbest和Gbest获取模块，用于将粒子群中每个任务分配方法作为自身历史最佳任务分配方法Pbest，并计算各任务分配方法的适应度值,从粒子群中选择适应度值最小的任务分配方法作为全局历史最佳任务分配方法Gbest；
迭代更新模块，用于根据预设的迭代公式更新每个任务分配方法；
适应度值计算模块，用于获取相关参数并计算Storm集群所有工作节点的负载量离散程度F：
Figure BDA0002542165320000041
其中k表示工作节点的性能指标的种类数，F值越小负载均衡程度越大；
Pbest和Gbest更新模块，用于计算每个任务分配方法更新后的适应度值,比较每个任务分配方法更新前后的适应度值,将适应度值小的任务分配方法赋值给Pbest,从赋值后的多个Pbest中选择适应度值最小的任务分配方法赋值给Gbest；
Storm集群负载均衡模块，用于根据迭代次数达到预设最大迭代次数时的Gbest运行Storm集群。
作为上述方案的进一步优化，所述粒子群初始化模块包括矩阵随机生成单元，用于采用矩阵随机生成方法生成m*t矩阵rand，且矩阵中每个元素取值的范围为1，2，3，...，s，其中，m为粒子群的种群规模，每一行表示一种任务分配方法。
作为上述方案的进一步优化，所述Pbest和Gbest更新模块，包括比较单元，用于比较每个任务分配方法更新前后的适应度值和比较粒子群中多个Pbest的适应度值。
作为上述方案的进一步优化，工作节点的性能指标包括工作节点的CPU占用率、工作节点的内存占用率、网络带宽占用率和负载性能感知比率。
本发明的基于离散粒子群的Storm集群负载均衡方法，具备如下有益效果：
1.本发明的基于离散粒子群的Storm集群负载均衡方法，采用粒子群算法来进行Storm集群调度的策略能够提升Storm集群的性能利用率，不会出现某一个工作节点的CPU满载而另一个工作节点空载的情况。
2.本发明的基于离散粒子群的Storm集群负载均衡方法，采用离散粒子群算法检测工作节点的工作状态并进行一定的权重配置使得基于特定的参数所寻优到的负载调度的效果表现更好。
3.本发明的基于离散粒子群的Storm集群负载均衡方法，采用了性能感知率来这一特征来进行工作节点的状态判定，实现更精确的负载均衡。
附图说明
图1为本发明的基于离散粒子群的Storm集群负载均衡方法的整体流程框图；
图2为本发明的基于离散粒子群的Storm集群负载均衡方法的更新任务分配方法的流程图；
图3为本发明的基于离散粒子群的Storm集群负载均衡***的结构框图；
具体实施方式
下面结合附图及具体实施例对本发明进行详细说明。
本发明的基于离散粒子群的Storm集群负载均衡方法中，以多个任务在各个工作节点运行时，Storm集群所有工作节点的负载量离散程度F衡量负载均衡程度：
Figure BDA0002542165320000051
其中k表示工作节点的性能指标的种类数，F值越小负载均衡程度越大；本发明采用离散粒子群算法求取F最小值，所以离散粒子群算法中的适应度函数采用F计算。
下面对本实施例中选择的用于表征工作节点的负载量的性能指标的选取：
要合理的安排好Storm集群中所有工作节点的负载量，就需要实时的监测Storm集群中的工作节点当下的工作状态。为了反映出Storm集群中工作节点的负载状态，考虑采用工作节点的CPU占用率L1、工作节点的内存占用率L2、网络带宽占用率L3来表征工作节点的工作状态向量，另外，考虑到仅靠上述的三个参数有时候无法直观的体现出集群工作节点的负载状态，为此引入一个新的参数负载性能感知比率L4：
Figure BDA0002542165320000052
其中Tuple表示单位时间内的工作节点的数据处理量，delay表示单位时间内的处理延时，
所以，每个工作节点的负载向量即性能指标向量为Load1：
Load1＝(L1,L2,L3,L4)
对负载向量Load1进行权重分配，考虑到L4是计算机的间接性能参数，但对计算机的负载量影响较大，而L1、L2、L3均为工作节点的直接性能参数，所以CPU占用率、工作节点的内存占用率、网络带宽占用率和负载性能感知比率用于衡量Storm集群所有工作节点的负载量离散程度F时权重设置不同，本实施例中设置w4为0.4，w1、w2、w3均为0.2。
下面开始进行离散粒子群算法：
(11)获取运行状态的Storm集群的工作节点个数s和待分配的任务个数t；
(12)初始化粒子群，获得每个任务分配到工作节点位置的多个不同任务分配方法；即粒子群中的每一行为一个粒子，每个粒子都是每个任务分配到工作节点位置的一种分配方法；
初始化粒子群，包括初始化粒子速度和粒子位置，将粒子速度初始化，且初始化粒子位置的方法为：采用矩阵随机生成方法生成m*t矩阵，即初始种群矩阵M，且矩阵中每个元素取值的范围为1，2，3，...，s，即每个任务可分配的工作节点为1，2，3，...，s中的一个，其中，m为粒子群的粒子个数，每一行即每个粒子表示一种任务分配方法。
根据初始化粒子群中的任务分配方法运行Storm集群，获取Storm集群的每个工作节点的多种性能指标；
整个粒子群获得的性能指标矩阵Lall为：
Figure BDA0002542165320000061
其中，m是粒子群中粒子的个数，s是工作节点个数，(Lms1，Lms2，Lms3，Lms4)为每个工作节点的性能指标向量，该矩阵的每一行表示以粒子群中第m个粒子即第m个任务分配方法运行Storm集群时s个工作节点的性能指标向量；
Storm集群所有工作节点的负载量离散程度Fm为：
Figure BDA0002542165320000062
其中，w1、w2、w3、w4分别为CPU占用率、工作节点的内存占用率、网络带宽占用率和负载性能感知比率的权重，其中，
Figure BDA0002542165320000063
(23)以离散程度F(Fm)作为离散粒子群的适应度函数；
(13)将粒子群中每个任务分配方法作为自身历史最佳任务分配方法Pbest，并计算各任务分配方法的适应度值,从粒子群中选择适应度值最小的任务分配方法作为全局历史最佳任务分配方法Gbest；
(14)根据预设的迭代公式更新每个任务分配方法；具体包括：
计算每个任务分配方法的速度更新公式：
V(t+1)＝v(t)+c1*r1*{pbest(m)-x(t)}+c2*r2*{Gbest-x(t)}
其中，V(t+1)表示第t+1代的粒子速度，V(t)表示的是第t代粒子的速度公式，c1、c2为学习因子，通常取c1＝c2＝2，r1和r2为随机数，pbest(m)表示第m个任务分配方法的pbest值；
更新任务分配方法：基于速度更新公式，获取下一代的更新位置：x(t+1)＝x(t)+v(t+1)；
对更新完成的x(t+1)进行取整和边界修正，使x(t+1)中的每个元素取值为[1,s]范围内的整数，具体的：
考虑到位置的数据范围限位为[1,s]内的整数，所以先对更新完成的位置数据进行取整，采用如下公式：
Δx＝x(t+1)-floor(x(t+1))
Figure BDA0002542165320000071
计算出粒子位置x(t+1)变量的小数部分Δx，对小数部分进行判定，大于0.5则向上取整，小于0.5则向下取整；
对粒子的位置完成了调整之后，还需要对粒子群的位置进行区域的判定，判定粒子群是否越界，判定公式如下所示：
Figure BDA0002542165320000072
若越界则放置在边界上，更新完成之后，获得修正后的更新后的粒子位置x(t+1)，
(15)基于更新后的粒子位置，计算每个任务分配方法更新后的适应度值,比较每个任务分配方法更新前后的适应度值,将适应度值小的任务分配方法赋值给Pbest,从赋值后的多个Pbest中选择适应度值最小的任务分配方法赋值给Gbest；
重复执行步骤(14)至(15),直到所述迭代公式中的迭代次数达到预设的最大迭代次数，获得全局历史最佳任务分配方法Gbest；
具体的，获得本次迭代循环后的每个粒子最优解Pbest和全局最优值Gbest后，判断是否达到最大迭代次数，若达到最大迭代次数，则停止迭代，否则，继续进行速度和位置更新迭代过程；基于停止迭代后获得的全局最优值Gbest，获得将t个待分配任务分配到s个工作节点的最优分配方法。
(17)根据全局历史最佳任务分配方法Gbest运行Storm集群；
在本次基于离散粒子群的负载均衡策略中，我们首先是要记录当前Storm集群的工作信息。通过计算所有工作节点的状态信息的方差，以及对性能感知率Lf的引入处理，即可完成对工作节点的信息进行处理。其次，我们需要对多个任务进行不断的试验以及任务的重新分配，经历了一段的调整时间后，粒子群算法就会收敛于一个使得负载均衡的位置上。这样，就达到了我们想要让Storm集群的利用率以及效率最大化的目的，让所有的工作节点上的负载达到均衡。综上所述，就完成了基于离散粒子群算法的Storm集群的负载均衡策略。
基于上述基于离散粒子群的Storm集群负载均衡，本发明还提供了基于离散粒子群算法的Storm集群负载均衡***，包括：
Storm集群参数获取模块，用于获取Storm集群的工作节点个数s、待分配的任务个数t以及运行状态下工作节点的性能指标；
粒子群初始化模块，用于获得每个任务分配到工作节点位置的多个不同任务分配方法；
初代粒子群Pbest和Gbest获取模块，用于将粒子群中每个任务分配方法作为自身历史最佳任务分配方法Pbest，并计算各任务分配方法的适应度值,从粒子群中选择适应度值最小的任务分配方法作为全局历史最佳任务分配方法Gbest；
迭代更新模块，用于根据预设的迭代公式更新每个任务分配方法；
适应度值计算模块，用于获取相关参数并计算Storm集群所有工作节点的负载量离散程度F：
Figure BDA0002542165320000081
其中k表示工作节点的性能指标的种类数，F值越小负载均衡程度越大；
Pbest和Gbest更新模块，用于计算每个任务分配方法更新后的适应度值,比较每个任务分配方法更新前后的适应度值,将适应度值小的任务分配方法赋值给Pbest,从赋值后的多个Pbest中选择适应度值最小的任务分配方法赋值给Gbest；
Storm集群负载均衡模块，用于根据迭代次数达到预设最大迭代次数时的Gbest运行Storm集群。
其中，粒子群初始化模块包括矩阵随机生成单元，用于采用矩阵随机生成方法生成m*t矩阵rand，且矩阵中每个元素取值的范围为1，2，3，...，s，其中，m为粒子群的种群规模，每一行表示一种任务分配方法。
Pbest和Gbest更新模块，包括比较单元，用于比较每个任务分配方法更新前后的适应度值和比较粒子群中多个Pbest的适应度值。
工作节点的性能指标包括工作节点的CPU占用率、工作节点的内存占用率、网络带宽占用率和负载性能感知比率。
本发明不局限于上述具体的实施方式，本领域的普通技术人员从上述构思出发，不经过创造性的劳动，所做出的种种变换，均落在本发明的保护范围之内。

Claims (10)

1.基于离散粒子群的Storm集群负载均衡，其特征在于：包括如下步骤：
(11)获取运行状态的Storm集群的工作节点个数s和待分配的任务个数t；
(12)初始化粒子群，获得每个任务分配到工作节点位置的多个不同任务分配方法；
(13)将粒子群中每个任务分配方法作为自身历史最佳任务分配方法Pbest，并计算各任务分配方法的适应度值,从粒子群中选择适应度值最小的任务分配方法作为全局历史最佳任务分配方法Gbest；
(14)根据预设的迭代公式更新每个任务分配方法；
(15)计算每个任务分配方法更新后的适应度值,比较每个任务分配方法更新前后的适应度值,将适应度值小的任务分配方法赋值给Pbest,从赋值后的多个Pbest中选择适应度值最小的任务分配方法赋值给Gbest；
(16)重复执行步骤(14)至(15),直到所述迭代公式中的迭代次数达到预设的最大迭代次数，获得全局历史最佳任务分配方法Gbest；
(17)根据全局历史最佳任务分配方法Gbest运行Storm集群；
所述步骤(13)和(15)中，适应度值的计算方法为：
(21)根据任务分配方法运行Storm集群，获取Storm集群的每个工作节点的多种性能指标；
(22)采用Storm集群所有工作节点的负载量离散程度F衡量负载均衡程度：
Figure FDA0002542165310000011
其中k表示工作节点的性能指标的种类数，F值越小负载均衡程度越大；
(23)以离散程度F作为离散粒子群的适应度函数。
2.根据权利要求1所述的基于离散粒子群的Storm集群负载均衡，其特征在于：步骤(12)中，包括初始化粒子速度和粒子位置，所述初始化粒子位置的方法为：采用矩阵随机生成方法生成m*t矩阵rand，且矩阵中每个元素取值的范围为1，2，3，...，s，其中，m为粒子群的种群规模，每一行表示一种任务分配方法。
3.根据权利要求2所述的基于离散粒子群的Storm集群负载均衡，其特征在于：步骤(14)包括：
计算每个任务分配方法的速度更新公式：
V(t+1)＝v(t)+c1*r1*{pbest(m)-x(t)}+c2*r2*{Gbest-x(t)}
其中，V(t+1)表示第t+1代的粒子速度，V(t)表示的是第t代粒子的速度公式，c1、c2为学习因子，r1和r2为随机数，pbest(m)表示第m个任务分配方法的pbest值；
更新任务分配方法：基于速度更新公式，获取下一代的更新位置：x(t+1)＝x(t)+v(t+1)；
对更新完成的x(t+1)进行取整和边界修正，使x(t+1)中的每个元素取值为[1,s]范围内的整数。
4.根据权利要求3所述的基于离散粒子群的Storm集群负载均衡，其特征在于：步骤(21)中的性能指标包括工作节点的CPU占用率、工作节点的内存占用率、网络带宽占用率和负载性能感知比率。
5.根据权利要求4所述的基于离散粒子群的Storm集群负载均衡，其特征在于：所述CPU占用率、工作节点的内存占用率、网络带宽占用率和负载性能感知比率用于衡量Storm集群所有工作节点的负载量离散程度F时权重设置不同。
6.根据权利要求5所述的基于离散粒子群的Storm集群负载均衡，其特征在于：步骤(22)中，整个粒子群获得的性能指标矩阵Lall为：
Figure FDA0002542165310000021
其中，m是粒子群中粒子的个数，s是工作节点个数，(Lms1，Lms2，Lms3，Lms4)为每个工作节点的性能指标向量；
Storm集群所有工作节点的负载量离散程度Fm为：
Figure FDA0002542165310000022
其中，w1、w2、w3、w4分别为CPU占用率、工作节点的内存占用率、网络带宽占用率和负载性能感知比率的权重，其中，
Figure FDA0002542165310000023
7.基于离散粒子群算法的Storm集群负载均衡***，其特征在于：包括：
Storm集群参数获取模块，用于获取Storm集群的工作节点个数s、待分配的任务个数t以及运行状态下工作节点的性能指标；
粒子群初始化模块，用于获得每个任务分配到工作节点位置的多个不同任务分配方法；
初代粒子群Pbest和Gbest获取模块，用于将粒子群中每个任务分配方法作为自身历史最佳任务分配方法Pbest，并计算各任务分配方法的适应度值,从粒子群中选择适应度值最小的任务分配方法作为全局历史最佳任务分配方法Gbest；
迭代更新模块，用于根据预设的迭代公式更新每个任务分配方法；
适应度值计算模块，用于获取相关参数并计算Storm集群所有工作节点的负载量离散程度F：
Figure FDA0002542165310000031
其中k表示工作节点的性能指标的种类数，F值越小负载均衡程度越大；
Pbest和Gbest更新模块，用于计算每个任务分配方法更新后的适应度值,比较每个任务分配方法更新前后的适应度值,将适应度值小的任务分配方法赋值给Pbest,从赋值后的多个Pbest中选择适应度值最小的任务分配方法赋值给Gbest；
Storm集群负载均衡模块，用于根据迭代次数达到预设最大迭代次数时的Gbest运行Storm集群。
8.根据权利要求7所述的基于离散粒子群算法的Storm集群负载均衡***，其特征在于：所述粒子群初始化模块包括矩阵随机生成单元，用于采用矩阵随机生成方法生成m*t矩阵rand，且矩阵中每个元素取值的范围为1，2，3，...，s，其中，m为粒子群的种群规模，每一行表示一种任务分配方法。
9.根据权利要求7所述的基于离散粒子群算法的Storm集群负载均衡***，其特征在于：所述Pbest和Gbest更新模块，包括比较单元，用于比较每个任务分配方法更新前后的适应度值和比较粒子群中多个Pbest的适应度值。
10.根据权利要求7所述的基于离散粒子群算法的Storm集群负载均衡***，其特征在于：工作节点的性能指标包括工作节点的CPU占用率、工作节点的内存占用率、网络带宽占用率和负载性能感知比率。
CN202010550161.3A 2020-06-16 2020-06-16 基于离散粒子群的Storm集群负载均衡方法及*** Active CN111858029B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010550161.3A CN111858029B (zh) 2020-06-16 2020-06-16 基于离散粒子群的Storm集群负载均衡方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010550161.3A CN111858029B (zh) 2020-06-16 2020-06-16 基于离散粒子群的Storm集群负载均衡方法及***

Publications (2)

Publication Number Publication Date
CN111858029A true CN111858029A (zh) 2020-10-30
CN111858029B CN111858029B (zh) 2023-06-27

Family

ID=72986723

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010550161.3A Active CN111858029B (zh) 2020-06-16 2020-06-16 基于离散粒子群的Storm集群负载均衡方法及***

Country Status (1)

Country Link
CN (1) CN111858029B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112506669A (zh) * 2021-01-29 2021-03-16 浙江大华技术股份有限公司 任务分配方法和装置、存储介质及电子设备
CN113627871A (zh) * 2021-06-22 2021-11-09 南京邮电大学 一种基于多目标粒子群算法的工作流调度方法、***及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017124809A1 (zh) * 2016-01-21 2017-07-27 上海斐讯数据通信技术有限公司 一种基于移动终端gpu运行的粒子群优化方法和***
CN107168267A (zh) * 2017-06-29 2017-09-15 山东万腾电子科技有限公司 基于改进粒子群与启发式策略的生产排产方法及***
CN109062657A (zh) * 2018-07-02 2018-12-21 南京邮电大学 基于粒子群优化的Docker容器调度方法
CN109617826A (zh) * 2018-12-29 2019-04-12 南京航空航天大学 一种基于布谷鸟搜索的storm动态负载均衡方法
CN110058924A (zh) * 2019-04-23 2019-07-26 东华大学 一种多目标优化的容器调度方法
CN110851272A (zh) * 2019-10-30 2020-02-28 内蒙古农业大学 基于吞噬的粒子群遗传混合算法的云任务调度方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017124809A1 (zh) * 2016-01-21 2017-07-27 上海斐讯数据通信技术有限公司 一种基于移动终端gpu运行的粒子群优化方法和***
CN107168267A (zh) * 2017-06-29 2017-09-15 山东万腾电子科技有限公司 基于改进粒子群与启发式策略的生产排产方法及***
CN109062657A (zh) * 2018-07-02 2018-12-21 南京邮电大学 基于粒子群优化的Docker容器调度方法
CN109617826A (zh) * 2018-12-29 2019-04-12 南京航空航天大学 一种基于布谷鸟搜索的storm动态负载均衡方法
CN110058924A (zh) * 2019-04-23 2019-07-26 东华大学 一种多目标优化的容器调度方法
CN110851272A (zh) * 2019-10-30 2020-02-28 内蒙古农业大学 基于吞噬的粒子群遗传混合算法的云任务调度方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
娄建峰;高岳林;李飞;张克平;: "基于改进粒子群算法的云计算任务调度算法", 微电子学与计算机, no. 08 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112506669A (zh) * 2021-01-29 2021-03-16 浙江大华技术股份有限公司 任务分配方法和装置、存储介质及电子设备
CN112506669B (zh) * 2021-01-29 2021-06-18 浙江大华技术股份有限公司 任务分配方法和装置、存储介质及电子设备
WO2022160886A1 (en) * 2021-01-29 2022-08-04 Zhejiang Dahua Technology Co., Ltd. Task allocation method, apparatus, storage medium, and electronic device
EP4281863A4 (en) * 2021-01-29 2024-03-13 Zhejiang Dahua Technology Co., Ltd TASK ASSIGNMENT METHOD, APPARATUS, STORAGE MEDIUM AND ELECTRONIC DEVICE
CN113627871A (zh) * 2021-06-22 2021-11-09 南京邮电大学 一种基于多目标粒子群算法的工作流调度方法、***及存储介质
CN113627871B (zh) * 2021-06-22 2023-08-18 南京邮电大学 一种基于多目标粒子群算法的工作流调度方法、***及存储介质

Also Published As

Publication number Publication date
CN111858029B (zh) 2023-06-27

Similar Documents

Publication Publication Date Title
CN107911478B (zh) 基于化学反应优化算法的多用户计算卸载方法及装置
CN111722910B (zh) 一种云作业调度及资源配置的方法
CN109617826B (zh) 一种基于布谷鸟搜索的storm动态负载均衡方法
CN108881432A (zh) 基于ga算法的云计算集群负载调度方法
CN111858029A (zh) 基于离散粒子群的Storm集群负载均衡方法及***
CN112019620A (zh) 基于Nginx动态加权的Web集群负载均衡算法及***
CN114968510A (zh) 一种基于改进蚁群算法的多目标动态任务调度方法和***
CN115629865B (zh) 一种基于边缘计算的深度学习推理任务调度方法
CN113986562A (zh) 一种资源调度策略生成方法、装置及终端设备
CN117155942A (zh) 一种微服务动态自适应客户端负载均衡方法及***
CN112511652B (zh) 一种边缘计算下的合作计算任务分配方法
CN116302404B (zh) 面向资源解耦合数据中心的服务器无感知计算调度方法
CN112231117A (zh) 基于动态向量混合遗传算法的云机器人服务选择方法及***
CN115116879A (zh) 一种面向晶圆表面缺陷检测的动态权值优化负载均衡算法
CN115981843A (zh) 云边协同电力***中任务调度方法、装置和计算机设备
CN105187488A (zh) 一种基于遗传算法实现mas负载均衡的方法
CN114356585A (zh) 一种移动边缘计算卸载的优化方法、装置及计算机设备
CN111459651B (zh) 一种负载均衡方法、装置、存储介质及调度***
CN111258729A (zh) 基于Redis的任务分配方法、装置、计算机设备及存储介质
Бояршин et al. REQUEST BALANCING METHOD FOR INCREASING THEIR PROCESSING EFFICIENCY WITH INFORMATION REPLICATION IN A DISTRIBUTED DATA STORAGE SYSTEM
CN117130790B (zh) 一种云计算资源池动态调度方法
CN114443258B (zh) 用于虚拟机的资源调度方法、装置、设备及存储介质
CN116627663B (zh) 一种数据中心运维管理方法及***
CN113791863B (zh) 基于虚容器的电力物联代理资源调度方法及相关设备
CN116582497B (zh) 一种单服务器条件下的高效gis服务自适应流量整形的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant