CN105959411A - 云计算环境下基于协调的动态负载均衡分布式处理方法 - Google Patents

Abstract

本发明提供一种云计算环境下基于协调的动态负载均衡分布式处理方法，本发明针对云计算环境下高并发访问的分布式处理***，动态负载不平衡的特点，采用选取一个节点服务器作为协调服务器，其它节点服务器与协调服务器交换信息，由协调服务器检测负载是否超载，超载的忙节点由空闲节点调入执行，即将重载节点服务器上的任务转移到其它轻载的节点服务器上，尽可能地实现***中各服务器站点的负载均衡。本发明能对云计算环境中大量并发访问的问题进行有效处理；通过对影响服务器节点负载关键因素的分析，综合负载均衡算法，实现基于云计算的多服务器节点负载均衡的高性能分布式***。

Description

云计算环境下基于协调的动态负载均衡分布式处理方法

技术领域

本发明属于分布式***的负载均衡技术领域，具体涉及一种云计算环境下基于协调的动态负载均衡分布式处理方法。

背景技术

分布式处理(Distributed Processing)是一种由多个自主的、相互连接的信息处理***，在一个高级操作***协调下共同完成同一任务的处理方式。分布式处理将不同地点的，或具有不同功能的，或拥有不同数据的多台计算机通过通信网络连接起来形成一个***。其中各个资源单元既互相协同又高度自治，能在全***内实现资源管理，动态地进行任务分配或功能分配，并能并行地运行分布式程序，在控制***的统一管理控制下，协调地完成大规模信息处理任务。

分布式处理技术是云计算中非常重要的一项技术，其中负载平衡(Load Balance)是分布式***要解决的核心问题之一，具有重大的理论和实际意义。影响处理***性能的因素包括处理机间的通信开销和分配的负载平衡等，但减少处理机的通信开销和均衡负载是相互冲突的两个因素，它们左右着任务分配策略。如负载均衡可以提高整个***的吞吐量，因为它试图将模块尽可能均等地分配给处理机，但减少处理机的通信开销又迫使分配策略不得不尽可能地把较多模块分配给尽可能少的处理机。因此，通过何种算法去解决大量并发访问的服务问题，以提高***的吞吐量，提升云计算的整体处理能力，成为研究的趋势。

发明内容

本发明的目的是针对现有技术的不足，从而提供了一种云计算环境下基于协调的动态负载均衡分布式处理方法，解决一些***的负载过重而另一些***的负载过轻的负载不均衡问题以及由于负载不均衡造成的***资源利用率不高和处理机通信开销浪费的问题。

为了实现上述目的，本发明所采用的技术方案是：

一种云计算环境下基于协调的动态负载均衡分布式处理方法，该分布式处理***包括进行信息交互的节点服务器和客户机，选取一个节点服务器作为协调服务器，其它节点服务器采用负载数动态处理算法获得各自的负载状态；

其中，

所述负载数动态处理算法包括：

节点服务器每接受一个任务，将任务放入任务队列的队尾，同时将负载值Li+1；节点服务器每处理完一个任务，将任务从任务队列中删除，同时将负载值Li-1；

所述协调服务器用于实现以下处理流程：

配置为节点服务器的远程接口调用RMI服务器，其它的节点服务器作为RMI服务器的客户机；给所述协调服务器设置负载情况表和待命任务表；

所述负载情况表定义为远程对象，节点服务器将动态调用的负载情况表作为远程对象实时向协调服务器汇报自己的负载状态，并获得其他节点服务器的负载状态；

所述待命任务表定义为远程对象，各节点服务器实时监听该表，并在执行完所述负载数处理算法之后根据自己的最大负载LoadMax上限和最小负载LoadMin下限判别自身的负载状态；

当节点服务器检测到自身的负载超出最大负载LoadMax上限时，自动调用所述待命任务表，将与其相连的客户机提出的新的服务请求放入所述协调服务器的待命任务表；

若节点服务器自身的负载在最小负载LoadMin下限之下时，从待命任务表接受适合的任务，并继续执行所述负载数处理算法，然后继续监听负载情况表和待命任务表；

所述节点服务器用于实现以下处理流程：

步骤3.1，所述节点服务器查询自身的任务接收器，查看是否有新任务，若有新任务提交，转到步骤3.2；若无新任务提交，转到步骤3.3；

步骤3.2，将新任务放入负载情况表，并执行所述负载数动态处理算法，得到实时负载数NowLoadNum，转到步骤3.3；

步骤3.3，检查自身的任务结束控制器，如果任务结束标志为否，根据节点服务器自身设置的负载上限和负载下限执行任务调度执行算法；如果任务结束标志为真，当待命任务表及负载情况表皆为非空时，执行任务调度执行算法；当待命任务表及负载情况表皆为空时，转到步骤3.4；

步骤3.4，退出处理流程。

基于上述，所述任务调度执行算法

a.判断当前负载数NowLoadNum与最小负载LoadMin大小

如果负载数NowLoadNum<最小负载LoadMin，那么再判断待命任务表中是否有等待任务；

①如果待命任务表中有待命任务，则调入待命任务，并执行所述负载数动态处理算法，再回到步骤3.3；

②如果待命任务表中没有待命任务，但负载情况表中仍有未完成任务，则完成尚未完成之任务，并执行负载数动态处理算法，然后回到步骤3.3；

③如果待命任务表中没有待命任务，且负载情况表中没有未完成任务，回到步骤3.3；

b.判断当前负载数NowLoadNum与最大负载LoadMax大小

如果负载数NowLoadNum≥最大负载LoadMax，则将超载任务转入待命任务表，同时在负载任务表中与待命任务表中执行负载数动态处理算法，再回到步骤3.3；

c.判断当前负载数NowLoadNum与最大负载LoadMax和最小负载LoadMin的大小

如果负载数NowLoadNum<最大负载LoadMax且负载数NowLoadNum>最小负载LoadMin，则完成负载情况表中已接受但尚未执行的任务，执行负载数动态处理算法，回到步骤3.3。

本发明相对现有技术具有突出的实质性特点和显著的进步，具体的说，能对云计算环境中大量并发访问的问题进行有效处理。通过对影响服务器节点负载关键因素的分析，综合负载均衡算法，实现基于云计算的多服务器节点负载均衡的高性能分布式***。可以提高业务***的吞吐量，提升云计算的整体处理能力；在***面对众多用户的密集访问时，可以提高云计算环境的资源利用率并有效降低处理机的通信开销，对各类高并发访问的业务***提供技术支持。

附图说明

图1是本发明专利的整体实施流程图。

图2是负载数动态处理流程图。

图3是节点服务器处理流程图。

图4是任务调度执行算法流程图。

具体实施方式

下面通过具体实施方式，对本发明的技术方案做进一步的详细描述。

如图1-4所示，一种云计算环境下基于协调的动态负载均衡分布式处理方法，其特征在于：该分布式处理***包括进行信息交互的节点服务器和客户机，选取一个节点服务器作为协调服务器，其它节点服务器采用负载数动态处理算法获得各自的负载状态；

其中，

所述负载数动态处理算法包括：

节点服务器每接受一个任务，将任务放入任务队列的队尾，同时将负载值Li+1；节点服务器每处理完一个任务，将任务从任务队列中删除，同时将负载值Li-1；

所述协调服务器用于实现以下处理流程：

配置为节点服务器的远程接口调用RMI服务器，其它的节点服务器作为RMI服务器的客户机；给所述协调服务器设置负载情况表和待命任务表；

所述负载情况表定义为远程对象，节点服务器将动态调用的负载情况表作为远程对象实时向协调服务器汇报自己的负载状态，并获得其他节点服务器的负载状态；

所述待命任务表定义为远程对象，各节点服务器实时监听该表，并在执行完所述负载数处理算法之后根据自己的最大负载LoadMax上限和最小负载LoadMin下限判别自身的负载状态；

当节点服务器检测到自身的负载超出最大负载LoadMax上限时，自动调用所述待命任务表，将与其相连的客户机提出的新的服务请求放入所述协调服务器的待命任务表；

若节点服务器自身的负载在最小负载LoadMin下限之下时，从待命任务表接受适合的任务，并继续执行所述负载数处理算法，然后继续监听负载情况表和待命任务表；

所述节点服务器用于实现以下处理流程：

步骤3.1，所述节点服务器查询自身的任务接收器，查看是否有新任务，若无新任务，而且负载情况表与待命任务表为空，则***为初始状态，一直等待；若有新任务提交，转到步骤3.2；若无新任务提交，转到步骤3.3；

步骤3.2，将新任务放入负载情况表，并执行所述负载数动态处理算法，得到实时负载数NowLoadNum，转到步骤3.3；

步骤3.3，检查自身的任务结束控制器，如果任务结束标志为否，根据节点服务器自身设置的负载上限和负载下限执行任务调度执行算法；如果任务结束标志为真，当待命任务表及负载情况表皆为非空时，执行任务调度执行算法；当待命任务表及负载情况表皆为空时，转到步骤3.4；

步骤3.4，退出处理流程。

2.根据权利要求1所述的一种云计算环境下基于协调的动态负载均衡分布式处理方法，其特征在于：所述任务调度执行算法

b.判断当前负载数NowLoadNum与最小负载LoadMin大小

如果负载数NowLoadNum<最小负载LoadMin，那么再判断待命任务表中是否有等待任务；

④如果待命任务表中有待命任务，则调入待命任务，并执行所述负载数动态处理算法，再回到步骤3.3；

⑤如果待命任务表中没有待命任务，但负载情况表中仍有未完成任务，则完成尚未完成之任务，并执行负载数动态处理算法，然后回到步骤3.3；

⑥如果待命任务表中没有待命任务，且负载情况表中没有未完成任务，回到步骤3.3；

b.判断当前负载数NowLoadNum与最大负载LoadMax大小

如果负载数NowLoadNum≥最大负载LoadMax，则将超载任务转入待命任务表，同时在负载任务表中与待命任务表中执行负载数动态处理算法，再回到步骤3.3；

c.判断当前负载数NowLoadNum与最大负载LoadMax和最小负载LoadMin的大小

如果负载数NowLoadNum<最大负载LoadMax且负载数NowLoadNum>最小负载LoadMin，则完成负载情况表中已接受但尚未执行的任务，执行负载数动态处理算法，回到步骤3.3。

本发明中，针对云计算环境下高并发访问的分布式处理***，动态负载不平衡的特点，采用选取一个节点服务器作为协调服务器，其它节点服务器与协调服务器交换信息，由协调服务器检测负载是否超载，超载的忙节点由空闲节点调入执行，即将重载节点服务器上的任务转移到其它轻载的节点服务器上，尽可能地实现***中各服务器站点的负载均衡。

本发明中通过采用负载数动态处理算法获得节点服务器的负载状况。当节点服务器初次投入到分布式***中使用时，***会根据节点服务器的硬件配置情况给每个节点服务器都设定一个初始负载值，即各节点服务器的负载状况，在***初始化时默认使用这个负载值。然后，随着节点服务器负载值的变化，各节点服务器对负载值进行不同调整。在处理实时负载数时，默认每当***接受一个新任务时，将任务放入任务队列的队尾，同时将负载值增1；每当***处理完一个任务时，将任务从任务队列中删除，同时将负载值减1。此外，协调服务器采集节点服务器负载值的周期不能过短，即便较短的周期能更加确切地反映各个节点服务器的负载情况，但是频繁采集负载值同样会给节点服务器带来负担，增加网络负荷。本发明方法将采集负载的周期控制在6-8秒。

本发明方法中包括协调服务器和节点服务器，按服务器的作用分为两类，一种作为远程接口调用RMI服务器，而另一种作为RMI客户机。本***中，协调服务器作为节点服务器的远程接口调用RMI服务器，而其它的节点服务器作为RMI客户机。给协调服务器设置两个表，一个是负载情况表，另一个是待命任务表。

通过协调服务器和节点服务器的设置，本发明的优势在于各节点服务器不需要知道其它节点服务器的负载情况，当节点服务器发送信息时，不需要考虑如何将超载的任务分配出去，只需要将超载任务转移到自己的负载情况表中，告知计算机***协调服务器自己的节点号后，等待接受信息的节点服务器会自动来执行。当节点服务器接受信息时，不需要逐个请求，只要在在计算机***的工作任务表待命任务表中查询超载名单，查看是否有与自己相连的节点号节点服务器后，自动去超载的节点服务器的负载情况表中转移任务即可。

本发明算法有以下优点：

1.为各节点服务器分配与之负载能力相匹配的任务量，各节点服务器之间不需要时时互相交换负载信息；

2.在云计算环境中对大规模的并行计算问题，当每个节点服务器处于忙状态时，几乎不需要额外调度开销；

3.负载平衡的许多工作由空闲节点服务器来完成，没有给忙节点服务器增加额外的负担；

4.有效避免了分布式处理***中，在某一时刻，有些节点服务器的工作负载过重而另一些节点服务器的工作负载过轻的情况，有效地平衡了各个节点服务器的负载，提高了整个分布式处理***资源的利用率及效率。

最后应当说明的是:以上实施例仅用以说明本发明的技术方案而非对其限制；尽管参照较佳实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者对部分技术特征进行等同替换；而不脱离本发明技术方案的精神，其均应涵盖在本发明请求保护的技术方案范围当中。

Claims (2)

1.一种云计算环境下基于协调的动态负载均衡分布式处理方法，其特征在于：该分布式处理***包括进行信息交互的节点服务器和客户机，选取一个节点服务器作为协调服务器，其它节点服务器采用负载数动态处理算法获得各自的负载状态；

其中，

所述负载数动态处理算法包括：

节点服务器每接受一个任务，将任务放入任务队列的队尾，同时将负载值Li+1；节点服务器每处理完一个任务，将任务从任务队列中删除，同时将负载值Li-1；

所述协调服务器用于实现以下处理流程：

配置为节点服务器的远程接口调用RMI服务器，其它的节点服务器作为RMI服务器的客户机；给所述协调服务器设置负载情况表和待命任务表；

所述负载情况表定义为远程对象，节点服务器将动态调用的负载情况表作为远程对象实时向协调服务器汇报自己的负载状态，并获得其他节点服务器的负载状态；

所述待命任务表定义为远程对象，各节点服务器实时监听该表，并在执行完所述负载数处理算法之后根据自己的最大负载LoadMax上限和最小负载LoadMin下限判别自身的负载状态；

当节点服务器检测到自身的负载超出最大负载LoadMax上限时，自动调用所述待命任务表，将与其相连的客户机提出的新的服务请求放入所述协调服务器的待命任务表；

若节点服务器自身的负载在最小负载LoadMin下限之下时，从待命任务表接受适合的任务，并继续执行所述负载数处理算法，然后继续监听负载情况表和待命任务表；

所述节点服务器用于实现以下处理流程：

步骤3.1，所述节点服务器查询自身的任务接收器，查看是否有新任务，若有新任务提交，转到步骤3.2；若无新任务提交，转到步骤3.3；

步骤3.2，将新任务放入负载情况表，并执行所述负载数动态处理算法，得到实时负载数NowLoadNum，转到步骤3.3；

步骤3.3，检查自身的任务结束控制器，如果任务结束标志为否，根据节点服务器自身设置的负载上限和负载下限执行任务调度执行算法；如果任务结束标志为真，当待命任务表及负载情况表皆为非空时，执行任务调度执行算法；当待命任务表及负载情况表皆为空时，转到步骤3.4；

步骤3.4，退出处理流程。

2.根据权利要求1所述的一种云计算环境下基于协调的动态负载均衡分布式处理方法，其特征在于：所述任务调度执行算法

判断当前负载数NowLoadNum与最小负载LoadMin大小

如果负载数NowLoadNum<最小负载LoadMin，那么再判断待命任务表中是否有等待任务；

如果待命任务表中有待命任务，则调入待命任务，并执行所述负载数动态处理算法，再回到步骤3.3；

如果待命任务表中没有待命任务，但负载情况表中仍有未完成任务，则完成尚未完成之任务，并执行负载数动态处理算法，然后回到步骤3.3；

如果待命任务表中没有待命任务，且负载情况表中没有未完成任务，回到步骤3.3；

b.判断当前负载数NowLoadNum与最大负载LoadMax大小

如果负载数NowLoadNum≥最大负载LoadMax，则将超载任务转入待命任务表，同时在负载任务表中与待命任务表中执行负载数动态处理算法，再回到步骤3.3；

c.判断当前负载数NowLoadNum与最大负载LoadMax和最小负载LoadMin的大小

如果负载数NowLoadNum<最大负载LoadMax且负载数NowLoadNum>最小负载LoadMin，则完成负载情况表中已接受但尚未执行的任务，执行负载数动态处理算法，回到步骤3.3。