CN104283948A - 服务器集群***及其负载均衡实现方法 - Google Patents

Abstract

本发明提供一种服务器集群***及其负载均衡实现的方法，其中的***包括：主节点、备用节点和普通节点；主节点包括信息收集模块、负载计算模块和连接分发决策模块；备用节点，用于向主节点上报所述备用节点的信息，并与主节点的信息同步，以及对普通节点进行筛选，以便其成为主节点后，选择出的普通节点作为新的备用节点；普通节点，用于向主节点上报所述普通节点的信息，以及当其成为备用节点时，进行备用节点切换。利用本发明，通过使用网状组网的具有主备用节点的服务器集群***，利用主备用节点的结构实现连接分发，达到分摊连接的功能，能够解决连接分发延时、连接不稳定和不可靠的问题。

Description

服务器集群***及其负载均衡实现方法

技术领域

本发明涉及服务器集群技术领域，更为具体地，涉及一种服务器集群***及其负载均衡实现方法。

背景技术

随着汽车保有量的上升、道路拥堵状况的加剧以及交通安全事故的频繁发生，越来越多的组织机构及个人认识到深入理解驾驶员的驾驶行为将有助于制定更为合理的交通法则和设计更加有效的智能驾驶导航***，从而达到减少交通事故提高交通效率的目的。而上述的分析需要建立在大量的行车数据的基础上，需要大量智能终端(包括车载终端、手机终端等设备)不断实时地采集行车数据上传至车载服务器并进行分析。因此，随着智能终端及其业务量的不断提升，单一的服务器已经无法满足要求，服务器集群成为一种需要解决问题的方案。

就智能终端而言，其承担着数据收集的重任，需要不断高效地采集车辆的行车数据，并与服务器保持连接，将搜集到的数据实时地传送到服务端，此过程简称为“数据摆渡”。在实时“数据摆渡”领域中，一般采用长连接方式，即保持智能终端长时间在线，从而保证数据的实时性。同时，由于其数据量取决于车辆的使用量，因此必然存在与服务器端的大量数据交互。因此，在此架构下，如何设计服务器，一方面满足大量智能终端的长连接需求，另一方面保证大量数据的收发及存储正常，成为了该领域的一个需要解决的问题。

针对上述问题，一种解决方案是采用反向代理以实现负载均衡。

在采用反向代理实现的负载均衡方案中，利用的是反向代理服务器实现链接分发。其具体方法可以描述为：反向代理服务器首先接受来自网络上的连接请求，并与其建立连接，然后将随后收到的来自客户终端的访问请求转发给内部服务器，并将从内部服务器上返回的结果再次转发给相应的发起连接请求的客户终端。在此过程中，反向代理服务器对外表现为一个服务器，对内则是连接请求的总入口和总出口，负责将连接分发给内部的各个服务器。

这种解决方案的缺陷在于：由于反向代理服务器处于OSI七层模型中的应用层，因此必须为每一种应用服务专门开发一个反向代理服务器，这样就限制了反向代理负载均衡技术的应用范围。目前，反向代理技术一般都用于对web服务器的负载均衡，另外，在反向代理方式实现的负载均衡中，针对每一次代理行为，代理服务器必须打开两个连接，一个对外，一个对内，因此在并发连接请求数量非常大的时候，代理服务器的负载也就非常大了，在该类网络中，通常情况下都是代理服务器本身成为了服务性能的瓶颈。

另一种最常用的解决方案是基于网络地址转换(NAT)技术实现的负载均衡。网络地址转换技术诞生之初，为了解决IPv4公网地址数量减少的问题，将内部多个服务器对外映射为一个单独的服务器，以利用一个公网IP使内部多个服务器对外提供服务。

在这种基于网络地址转换(NAT)技术实现的解决方案中，从网络上发起的连接请求，经过地址转换服务器进行地址转换，再分发到内部的各个服务器上。采用这种方式实现的负载均衡，虽然能够解决反向代理技术位于应用层，但尚需要针对每种应用服务专门开发反向代理服务器的问题；并且网络地址转换方式实现的负载均衡仍需要针对每次请求打开对内及对外的两个连接才能实现，因此在数据里非常大的时候地址转换服务器本身会成为性能瓶颈。

与此同时，网络地址转换方式实现的负载均衡中，实现的是在每个请求到达时动态选择某个内部服务器处理请求，并需要在处理结果返回时正确找到请求来源，因此需要对每个请求保留其转换映射表。同样的道理，当请求量变大时，对请求映射表的维护也需要消耗大量资源，与反向代理技术相比，更容易造成地址转换服务器的性能问题；最后，在目前实际使用的地址转换服务式负载均衡中，大多将地址转换功能集成在硬件交换机中，其实现的只是简单的选择策略，不能支持更优化的负载均衡策略和更复杂的应用协议，并且在扩展时有一定困难。

发明内容

鉴于上述问题，本发明的目的是提供一种服务器集群***及其负载均衡实现方法，通过使用网状组网的具有主备用节点的服务器集群***，利用主备用节点的结构实现连接分发，达到分摊连接的功能，以解决连接分发延时、连接不稳定和不可靠的问题。

一方面，本发明提供一种服务器集群***，包括主节点、备用节点和普通节点；其中，

主节点包括信息收集模块、负载计算模块和连接分发决策模块；

信息收集模块，用于存储与主节点相连的备用节点和各个普通节点上报的负载信息；

负载计算模块，用于根据上报的负载信息，获得与负载信息相对应的节点的负载值；

连接分发决策模块，用于通过HTTP重定向进行连接分发，其中，根据负载计算模块获得的节点的负载值，选择出最优处理能力的节点，作为连接分发的节点；

备用节点，用于向主节点上报备用节点的负载信息，并与主节点的信息同步，以及对普通节点进行筛选，选择出的普通节点作为新的备用节点；

普通节点，用于向主节点上报所述普通节点的信息，以及当其成为备用节点时，将其切换为行备用节点。

此外，优选的方案是，主节点还包括管理会话模块；用于管理客户终端与集群***之间的会话历史记录，并负责删除客户终端与集群***之间长时间不活跃的历史会话记录。此外，优选的方案是，在信息收集模块中创建一个nodelist，nodelist用于存储与主节点相连的各个节点的负载信息；其中，

nodelist包括更新机制，更新机制用于删除离线的节点。

此外，优选的方案是，负载信息包括：与主节点相连的每个节点的CPU利用率、内存利用率、网络带宽占用率以及socket连接占用率；

在负载计算模块中，对每个节点通过特定加权的负载计算算法，分别获取其对于CPU密集型、内存密集型、网络带宽密集型及socket密集型请求的负载能力，并将获取的结果更新到nodelist。

此外，优选的方案是，备用节点包括备用节点信息上报模块、信息同步模块和普通节点筛选模块；

备用节点信息上报模块，用于向主节点周期性汇报负载信息；

信息同步模块，用于周期性地同步信息收集模块中的负载信息，并进行存储；

普通节点筛选模块，用于当备用节点成为主节点时，选择普通节点中负载最小的节点成为其备选。

此外，优选的方案是，普通节点包括普通节点信息上报模块和备用节点切换模块；

普通节点信息上报模块，用于向主节点周期性汇报负载信息；

备用节点切换模块，用于当备用节点成为新的主节点后，将对其所选择出的新的备用节点发出通知，普通节点据此切换为备用节点，并承担备用节点的职责。

另一方面，本发明还提供一种基于服务器集群***的负载均衡实现方法，服务器集群***包括主节点、备用节点和普通节点，其中，：

主节点周期性地接收与其相连的备用节点、各个普通节点上报的负载信息，并根据上报的负载信息，获得与负载信息相对应的各个节点的负载值；

当有客户终端连接请求时，主节点通过HTTP重定向进行连接分发，其中，主节点根据获得的各个节点的负载值，选出最优处理能力的节点，作为连接的分发节点；

当主节点出现故障时，备用节点进行主备切换，成为新的主节点，执行主节点的职责，同时启用新的备用节点；

新的备用节点将负载信息上报到新的主节点中，并与新的主节点的信息同步，同时对普通节点进行筛选，选出新的备用节点的备选。

此外，优选的方案是，在主节点中设置有会话管理机制，会话管理机制包括客户终端与集群***之间的会话历史记录，并负责删除所述客户终端与主节点之间长时间不活跃的历史会话记录，使选择的连接分发的节点为最佳选择。

此外，优选的方案是，在主节点中创建一个nodelist，各个节点的负载信息存储在nodelist中，在客户客户终端请求连接之前，

判断nodelist中是否存在离线的节点，若存在离线的节点，则将此节点从nodelist中删除；若存在离线的节点为备用节点，则重新在普通节点中选择新的备用节点，并与主节点进行信息同步；

若在nodelist中不存在离线的节点，根据客户终端的连接请求进行连接分发。

此外，优选的方案是，在新的备用节点对普通节点进行筛选的过程中，新的备用节点从普通节点中选择负载最小的节点作为其备选。

此外，优选的方案是，负载信息包括：与主节点相连的每个节点的CPU利用率、内存利用率、网络带宽占用率以及socket连接占用率；

通过特定加权的负载计算算法，每个节点分别计算其对于CPU密集型、内存密集型、网络带宽密集型及socket密集型请求的负载能力，公式如下：

r_l＝f(c_u,m_u,n_u,s_u)

其中，r_l表示节点的剩余资源；

c_u、m_u、n_u、s_u分别表示接收到的节点上传的CPU利用率、内存利用率、网络带宽占用率以及socket连接占用率。

此外，优选的方案是，根据接收到各个节点上传的负载信息，计算出剩余资源百分比，其公式如下式所示：

$r_l\left(k\right)\left\{\begin{array}{c}\left[\begin{array}{ccc}\left[\underset{t=s,u,m}{\mathrm{\Π}}(1-t_u\left(k\right)-t_{\mathrm{const}})\right]\·(1-{2c}_u\left(k\right)+c_u(k-1))& \mathrm{if}& c_u\left(k\right)>c_u(k-1)\end{array}\right]\\ \left[\begin{array}{cc}\left[\underset{t=s,u,m}{\mathrm{\Π}}(1-t_u\left(k\right)-t_{\mathrm{const}})\right]\·(1-c_u\left(k\right))& \mathrm{else}\end{array}\right]\end{array}\right.$

其中，

r_l(k)表示k时刻的剩余资源百分比；

c_u(k)表示k时刻CPU使用率；

c_u(k-1)表示(k-1)时刻CPU的使用率；

在(1-t_u(k)-t_const)中，当t＝s时，t_u(k)表示k时刻的socket连接使用率，t_const表示socket资源的预留量，(1-t_u(k)-t_const)表示节点t时刻剩余的可用的socket资源情况；

当t＝m时，t_u(k)表示k时刻的内存使用率，t_const表示内存资源的预留量，(1-t_u(k)-t_const)表示节点t时刻剩余的可用的内存资源情况；

当t＝n时，t_u(k)表示k时刻的网络带宽占用率，t_const表示网络带宽的预留量，(1-t_u(k)-t_const)表示节点t时刻剩余的可用的网络带宽资源情况。

从上面的技术方案可知，本发明的服务器集群***及其负载均衡实现方法，与传统的方案相比具有以下有益效果：

首先，集群组网采用网状组网结构，并且多个节点之间具备层次性的递进关系，一方面从组网上提高了服务稳定性，另一方面利于选出全网内性能最优节点成为备用节点，从而在主节点失效情况下成为主节点，保障了全局最优选举；

其次，集群组网模式中实现的主用服务器驻场，备用服务器协管，普通服务器候补的布局，主备直接进行信息同步，在保证减少同步的信息开销前提下，当主节点故障时，可以实现主节点与备用节点之间的无缝切换，备用节点能够接管节点的功能，屏蔽了单点故障，提高集群对外提供业务的可用性；

再次，主节点中提出的连接分发算法，在综合考虑各个节点的资源情况下，选择最优处理能力的节点接收业务请求，能够最大限度的利用每个节点的处理能力，其连接分发机制一方面满足连接合理分配的需求，同时极大地减小了主节点服务器的负担，使得主服务器可以进行主备备份协调工作，为集群整体稳定性做出极大贡献，同时会话管理机制可以进一步降低分发连接时的时延，保证业务的可靠性及时效性。

为了实现上述以及相关目的，本发明的一个或多个方面包括后面将详细说明并在权利要求中特别指出的特征。下面的说明以及附图详细说明了本发明的某些示例性方面。然而，这些方面指示的仅仅是可使用本发明的原理的各种方式中的一些方式。此外，本发明旨在包括所有这些方面以及它们的等同物。

附图说明

通过参考以下结合附图的说明及权利要求书的内容，并且随着对本发明的更全面理解，本发明的其它目的及结果将更加明白及易于理解。在附图中：

图1为反向代理及网络地址变换技术实现的负载均衡组网结构示意图；

图2为根据本发明实施例的服务器集群***组网结构示意图；

图3为根据本发明实施例的服务器集群***逻辑结构框图；

图4为根据本发明实施例的主节点逻辑结构框图；

图5为根据本发明实施例的服务器集群***应用实施例示意图；

图6为根据本发明实施例的基于服务器集群***的负载均衡实现方法流程示意图；

图7为根据本发明实施例的客户终端与集群***连接请求过程的原理流程示意图；

图8为根据本发明实施例的服务器集群***的负载均衡实现的工作流程示意图。

在所有附图中相同的标号指示相似或相应的特征或功能。

具体实施方式

在下面的描述中，出于说明的目的，为了提供对一个或多个实施例的全面理解，阐述了许多具体细节。然而，很明显，也可以在没有这些具体细节的情况下实现这些实施例。

在反向代理及网络地址变换技术实现的负载均衡组网结构中，其组网形式均是采用单点进入的树状结构，图1示出了反向代理及网络地址变换技术实现的负载均衡组网结构，如图1所示，由一个服务器作为流量的总入口，将流量分发给内部的其他服务器，再将返回的流量传递给连接发起端。同时，由于入口服务器承担的工作任务较多，一般很难对其进行主备备份，主备切换时间也难以满足要求，其中，主备备份就是备用节点周期性地对主节点收到的负载信息进行备份。

针对目前实际使用的地址转换服务式负载均衡中，只有简单的选择策略，不能支持更优化的负载均衡策略和更复杂的应用协议的问题，本发明经过分析反向代理技术实现的负载均衡、网络地址变换技术实现的负载均衡等方案，在分析各类方案优缺点的基础之上，结合业务场景，提出了一种新的服务器集群***以及负载均衡实现方法，本发明提供的服务器集群***采用的为网状组网结构，并在仔细分析所使用的协议的基础之上，创新性地利用协议的特殊功能巧妙地实现了连接分发，达到了分摊连接的功能，与传统连接分发算法相比，具有延时小，连接稳定的特征，适应车载客户终端快速移动的特性。

以下将结合附图对本发明的具体实施例进行详细描述。

为了说明本发明提供的服务器集群***的网状结构，图2示出了根据本发明实施例的服务器集群***的网状组网结构。

如图2所示，本发明提出的服务器集群***的组网结构为网状组网结构，其中，具备主备功能的集群服务架构内设三种节点类型，主节点、备用节点及普通节点。

本发明的集群组网从两个方面改善了传统组网方式，首先，减轻入口服务器的工作量负担，使其可以满足主备组网的要求，实现主用服务器驻场，备用服务器协管，普通服务器候补的布局，屏蔽了单点故障，极大地提高了组网稳定性；其次，将树形组网结构替换为网状组网结构，一方面从组网上提高了服务稳定性，另一方面利于选举全网内性能最优节点成为备用节点，从而在主节点失效情况下成为主节点，保障了全局最优选举。

下面详述本发明所使用的集群网状组网架构。

从图2中可以看出，提出备用节点的方案主要是基于目前的负载均衡的入口服务器承担的工作任务较多，一般很难对其进行主备备份，主备切换时间也难以满足要求，因此这种方式下代理服务器必然会成为单点故障的重要节点；而在本发明中主备之间信息同步就是为了便于主节点故障时备用节点能够快速接管工作，若网内只存在主节点和普通节点，要想实现无缝切换，主点就需要和网内普通节点进行信息同步，这种情况下同步的信息量的开销会比只于备用节点同步开销大。下面对每个节点进行简要介绍，以便了解整体的组网方式。

主节点负责搜集集群内各个节点的节点信息，并经过负载计算，计算出各个节点的负载值，主节点管理客户终端的连接请求，对大量的客户终端连接按照一定的规则进行连接分发；与此同时，主节点增设会话管理机制，建立职能客户终端与服务器集群***间的快速通道，进一步减低时延。

备用节点主要实现三个功能，一是将自己节点的负载信息周期性上报给主节点，作为主节点选择连接分发节点的依据，同时备用节点周期性地从主节点同步集群内负载信息，与主节点联合实现主备备份，在主节点异常情况下备用节点切换为主节点，避免因主节点异常导致集群***不能对外提供业务的情况；最后，备用节点负责选举普通节点中性能最优节点，以便在自己成为主节点后使其成为备用节点。

普通节点实现负载信息周期汇报机制，负责向主节点周期汇报负载情况，同时，其最重要的任务，是处理由主节点重定向过来的客户终端的链接，为客户终端提供服务。

通过图2中的服务器集群***的组成功能描述来看，本发明提供的服务器集群***，主节点负责将智能客户终端的业务长连接均衡地打散到集群内各个节点上，避免单一节点所带来的性能瓶颈，其次，主节点上的会话管理机制能够实现连接快速的重新定向，降低时延；主备用节点联合的备份机制，能够实现主节点故障时备用节点能够快速成为新的主节点，集群***出现故障节点时仍可以稳定的提供业务服务。在备用节点成为主节点后，新的备用节点将选出，整个集群***成为有层次的递进***，只要有一台服务器能正常工作，即可向外提供正常服务，最大化提高集群的可用性。

根据本发明提供的网状组网结构，本发明对服务器集群***内的节点进行了分类，总共分为主节点、备用节点及普通节点三类，各类节点共同协作，分工明确，在对外提供服务的同时，实现了集群内部负载均衡，提高了***整体稳定性。图3示出了根据本发明实施例的服务器集群***逻辑结构。

如图3所示，本发明提供一种服务器集群***300，包括：主节点310、备用节点320和普通节点330。

其中，主节点310包括信息收集模块311、负载计算模块312和连接分发决策模块313。

备用节点320用于向主节点上报备用节点的负载信息，并与主节点的信息同步，以及对普通节点进行筛选，选择出的普通节点作为新的备用节点。

普通节点330用于向主节点上报普通节点的负载信息，以及当其成为备用节点时，将其切换为备用节点。

为了详细说明服务器集群***中的主节点的逻辑结构，图4示出了根据本发明实施例的主节点逻辑结构，如图4所示，主节点310进一步包括信息收集模块311、负载计算模块312、连接分发决策模块313及会话管理模块314。

具体地，信息收集模块311用于存储与主节点相连的备用节点和普通节点上报的负载信息。

负载计算模块312用于根据上报的负载信息，获得与负载信息相对应的节点的负载值。

连接分发决策模块313用于通过HTTP重定向进行连接分发，其中，根据负载计算模块获得的节点的负载值，选择出最优处理能力的节点，作为连接分发的节点。

管理会话模块314用于管理客户终端与集群***之间的会话历史记录，并负责删除客户终端与集群***之间长时间不活跃的历史会话记录。

其中，在信息收集模块311中创建一个nodelist(节点列表)，nodelist用于存储与主节点相连的各个节点上报的负载信息；其中，nodelist包括更新机制，更新机制用于删除离线的节点。

负载信息包括：与主节点相连的每个节点的CPU利用率、内存利用率、网络带宽占用率以及socket(socket是应用层与TCP/IP协议族通信的中间软件抽象层，它是一组接口，对用户来说，一组简单的接口就是全部，让socket去组织数据，以符合指定的协议)连接占用率；在负载计算模块312中，对每个节点通过特定加权的负载计算算法，分别获取其对于CPU密集型、内存密集型、网络带宽密集型及socket密集型请求的负载能力，并将获取的结果更新到nodelist。

备用节点320进一步包括备用节点信息上报模块、信息同步模块和普通节点筛选模块。

具体地，备用节点信息上报模块，用于向主节点周期性汇报负载信息。

信息同步模块，用于周期性地同步信息收集模块中的负载信息，并进行存储。

普通节点筛选模块，用于当备用节点成为主节点时，选择普通节点中负载最小的节点成为其备选。

普通节点包括普通节点信息上报模块和备用节点切换模块。

具体地，普通节点信息上报模块，用于向主节点周期性汇报负载信息。

备用节点切换模块，用于当备用节点成为新的主节点后，将对其所选择出的新的备用节点发出通知，普通节点据此切换为备用节点，并承担备用节点的职责。

此外，在本发明中，以五个节点组成的服务器集群***为例进行详细阐述，图5示出了根据本发明实施例的服务器集群***应用实施例结构。

如图5所示，A为主节点，B为备用节点，C、D、E为普通节点。其中，主节点A包括信息收集模块、负载计算模块、连接分发决策模块及会话管理模块。备用节点B包括备用节点信息上报模块、信息同步模块和普通节点筛选模块。普通节点C、普通节点D、普通节点E分别包括普通节点信息上报模块和备用节点切换模块。

在如图5所示的主节点A的信息收集模块中，主节点A负责和备用节点B及普通节点C、D、E之间保持稳定的长连接状态，以此获取各个节点的状态信息。A节点上创建一个nodelist，以便存储与之相连的各个节点上报的负载信息，每当A节点接收到B、C、D、E周期性上报的状态信息时(状态信息包括：每个节点的负载信息，即CPU利用率、内存利用率、网络带宽占用率以及socket连接占用率)，A节点将相应的负载信息更新到本节点所保存的nodelist中，并以这些信息作为连接分发判定时节点的选择依据。nodelist包括更新机制，更新机制保证了将不在线(离线)的僵死的节点适时删除。如：当主节点A长时间未收到一个节点的相应信息时，即认为该节点出现故障，因此将该节点的信息从nodelist中剔除，避免A节点进行连接分发时讲连接分发到该节点上。

在如图5所示的主节点A的负载计算模块中，A节点在信息收集模块搜集到的节点负载信息，包括CpuUseRate、MemUseRate、NetworkUseRate、SocketUseRate，分别代表了每个节点的CPU利用率、内存利用率、网络带宽占用率以及socket连接占用率。A节点根据收集到的负载信息对每个节点的负载值进行计算，负载算法将采用特定加权的负载计算算法，即：针对每个节点，分别计算其对于CPU密集型、内存密集型、网络带宽密集型及socket密集型请求的负载能力，以便有效地处理不同的请求类型，更合理地进行连接分发，计算出的结果更新到对应节点的nodelist中去，便于后续快速地进行连接分发。

在如图5所示的主节点A的连接分发决策模块中，当有智能终端连接请求时，选择最优处理能力的节点，并将连接分发到该节点上，假定在B、C、D、E四个节点中，选择在负载计算模块中计算出最优处理能力的节点为D节点，则A节点将智能终端的连接重定向到D节点上，通过这种方案，可以将连接均衡的打散到各个节点上，并且可以降低处理的延时。连接分发的具体过程及相关算法将在下面进一步描述。

在如图5所示的主节点A的会话管理模块中，主节点增设会话管理机制，管理智能终端与服务器集群***的会话历史记录，针对智能终端后续连接进行快速分发，最大限度地降低请求时延。会话管理模块负责删除那些长时间不活跃的会话记录，从而保证复活连接能根据连接分发算法进行打散，使连接分发更加合理。

也就是说，会话管理模块将删除那些长时间不活跃的会话记录，是由于智能终端与连接分发的节点长时间不连接，集群***中的节点的负载会发生变化，原来的连接分发的节点的负载也会发生变化，因此不能保证原来的连接分发的节点是最优处理能力的节点，故将此会话记录删除，重新选择新的连接分发的节点，以保证选择的节点为最优处理能力的节点。因此会话管理模块进一步降低分发连接时的时延，保证智能终端与集群***之间业务的可靠性及时效性。

在如图5所示的备用节点B的备用节点信息上报模块中，备用节点B周期性向主节点A汇报自己的负载信息，其负载信息包括cpu负载、内存负载、网络带宽负载及socket负载等，方便主节点A利用这些信息进行连接分发及节点管理。

在如图5所示的备用节点B的信息同步模块中，备用节点B周期性地从主节点A上同步nodelist信息，保存在本节点的内存中，同步主备用节点之间对集群***的信息。备用节点B采用定时机制及事件触发机制来检测主节点A的在线状态：首先，主节点A将定时检测主节点A的在线状态；其次，当备用节点B周期性上报信息给主节点A失败时，将触发对主节点A的在线状态检测，若检测结果是主节点A离线，则备用节点B将切换为主节点，并群发通知集群***内各节点，通知预先选出的普通节点成为备用节点，从而继续对智能终端的连接请求提供服务。

在如图5所示的备用节点B的普通节点筛选模块中，备用节点B将以较长周期选择负载最小的节点成为自己的备选，并在自己成为主节点的时，通知该节点成为备用节点，从而在主节点失效的情况下完成预定网络的组网结构的修补，继续保证网络的稳定性，对外提供服务。

在如图5所示的普通节点的普通节点信息上报模块中，普通节点C、D、E周期性向主节点汇报自己的负载信息，包括cpu负载、内存负载、网络带宽负载及socket负载等，方便主节点利用这些信息进行连接分发及节点管理。

在如图5所示的普通节点的备用节点切换模块中，当备用节点B成为新的主节点后，将对其所选择出的新的备用节点发出通知，普通节点C据此进行备用节点切换，包括承担备用节点的各项功能与服务，完成当前连接请求并返回结果等，随后与主节点进行通信，继续对集群内的节点进行管理。

上述为服务器集群***中各个节点的功能，为了说明服务器集群***中各个节点的负载均衡功能的实现，图6示出了根据本发明实施例的基于服务器集群***的负载均衡实现方法流程。

如图6所示，本发明提供的基于服务器集群***的负载均衡实现的方法，服务器集群***包括主节点、备用节点和普通节点。其中，

S610：主节点周期性地接收与其相连的备用节点、各个普通节点上报的负载信息。

其中，需要说明的是，在主节点中创建一个nodelist，各个节点的负载信息存储在nodelist中，负载信息包括：与主节点相连的每个节点的CPU利用率、内存利用率、网络带宽占用率以及socket连接占用率。

S620：主节点根据上报的负载信息，获得与负载信息相对应的各个节点的负载值。

在客户终端请求连接之前，判断nodelist中是否存在离线的节点，若存在离线的节点，则将此节点从nodelist中删除；若存在离线的节点为备用节点，则重新在普通节点中选择新的备用节点，并与主节点进行信息同步；若在nodelist中不存在离线的节点，根据所述客户终端的连接请求进行连接分发。

S630：当有客户终端连接请求时，主节点通过HTTP重定向进行连接分发，其中，主节点根据获得的各个节点的负载值，选出最优处理能力的节点，作为连接的分发节点。

其中，在主节点中设置有会话管理机制，会话管理机制包括客户终端与集群***之间的会话历史记录，并负责删除客户终端与主节点之间长时间不活跃的历史会话记录，使选择的连接分发的节点为最佳选择。

这是由于客户终端与连接分发的节点长时间不进行业务往来，集群***中的各个节点的负载会发生变化，为保证业务连接分发的节点是最优处理能力的节点，故将会话记录删除，重新选择新的连接分发的节点。会话管理机制的设置进一步降低分发连接时的时延，保证智能终端与集群***之间业务的可靠性及时效性。

S640：当主节点出现故障时，备用节点进行主备切换，成为新的主节点，执行主节点的职责，同时启用新的备用节点。

S650：新的备用节点将负载信息上报到新的主节点中，并与新的主节点的信息同步，同时对普通节点进行筛选，选出新的备用节点的备选。

上述步骤S640和步骤S650为主备切换的工作流程。当主节点出现故障时，备用节点是如何替换主节点进行履行主节点职责的。主节点和备用节点联合的备份机制，能够实现主节点故障时备用节点能快速成为新的主节点，服务器集群***出现问题时仍然能够可以稳定地提供业务服务。

下面将详细描述主节点出最优处理能力的节点作为连接的分发节点的具体过程。

本发明采用对服务器集群***中主节点进行备份，这种备份机制与反向代理技术及网络地址变化技术实现的负载均衡相比有如下优点：一方面，服务器集群***中的主节点不需要像反向代理服务器那样承担应用层工作；另一方面，也不需要像网络地址变换那样建立双向连接，因此减小了主节点的工作量，降低了单个节点故障风险，也使得主备实现变得可能，进一步提高集群稳定性。下面将描述入口服务器(即主节点)连接分发的工作原理及相应算法。

众所周知，在HTTP协议中，HTTP请求到达服务端后，由服务端进行处理，并返回HTTP回应，此回应会携带HTTP返回码，各返回码蕴含了不同的含义，如表1所示。

表1

HTTP返回码	含义
		1**	保留
2**	表示请求成功地接收
		3**	重定向
4**	客户终端错误
		5**	服务端错误

其中，以3开头的HTTP返回码表明所请求的服务已经更换了网络位置，需要客户终端端重新发起请求，新的链接地址将在HTTP回应中一并返回。

主节点利用HTTP返回码中的307，其含义为采用临时重定向，表明所请求的服务临时更好了位置。使用临时重定向的好处有：可以在HTTP回应中返回希望的网络地址，继而让客户终端向新的地址发起连接请求；其次，由于是临时重定向，客户终端在发起新的连接请求时，将不会对重定向后的地址进行保存，以便每次连接请求时，主节点都会首先收到客户终端的连接请求，再根据各节点的负载情况进行连接分发，保证了集群设计功能的实现。

图7示出了根据本发明实施例的客户终端与集群***连接请求过程的原理流程。在本实施例中，以具体的车载客户端作为客户终端。

如图7所示，车载客户端向主节点发送连接请求，主节点通过连接分发算法获得最优处理能力的连接分发的普通节点C，车载客户端将根据主节点返回的最优处理能力的普通节点C的信息，向普通节点C建立起业务长连接，然后车载客户端与普通节点C开始业务处理。

在本发明中，主节点通过HTTP重定向进行连接分发，通过HTTP重定向进行连接分发有如下好处：主节点只需要进行一次HTTP请求的处理，没有对应用提供服务，也没有对内建立连接，极大地节省了主节点的处理资源，减轻了主节点的负担；同时，由于HTTP重定向携带的新地址是通过计算得出的内部节点的地址，具有不可预测性，其功能等同于网络访问时所使用的验证码，可以在一定程度上屏蔽由自动机发起的无效访问，因此具有防DDoS网络攻击的能力，提高了***整体的安全性。

在连接分发算法中，对负载最小的节点的选择是重中之重(即：选出最优处理能力的节点)，其不仅涉及到连接请求能否快速得到处理，也涉及集群***整体的稳定性，下面将对负载最小节点选择算法进行描述。

由于在主节点上将创建了一个nodelist，实时更新了各节点的各项负载情况，每个节点上搜集到的数据用四元组，具体为CPUUsage、MemUsage、NetworkUsage和SocketUsage，分别表示节点上CPU、内存、网络带宽及Socket连接数量的消耗水平。根据连接请求的不同，将连接类型区分为CPU密集型、内存密集型及带宽密集型。因此，通过特定加权的负载计算算法，每个节点将分别计算其对不同连接请求的处理能力，如下所示：

r_l＝f(c_u,m_u,n_u,s_u)

其中，r_l表示节点的剩余资源；在剩余CPU资源越大时，表明其可承担的工作量越多，则可以将更多的连接分发到相应节点上去。c_u、m_u、n_u、s_u分别表示接收到的节点上传的CPU利用率、内存利用率、网络带宽占用率以及socket连接占用率，值越大，表明相应的资源占用越大，节点负载越重。根据接收到的相应数据，计算出最终的剩余资源百分比，其公式如下式所示：

$r_l\left(k\right)\left\{\begin{array}{c}\left[\begin{array}{ccc}\left[\underset{t=s,u,m}{\mathrm{\Π}}(1-t_u\left(k\right)-t_{\mathrm{const}})\right]\·(1-{2c}_u\left(k\right)+c_u(k-1))& \mathrm{if}& c_u\left(k\right)>c_u(k-1)\end{array}\right]\\ \left[\begin{array}{cc}\left[\underset{t=s,u,m}{\mathrm{\Π}}(1-t_u\left(k\right)-t_{\mathrm{const}})\right]\·(1-c_u\left(k\right))& \mathrm{else}\end{array}\right]\end{array}\right.$

其中，r_l(k)表示k时刻的剩余资源百分比；c_u(k)表示k时刻CPU使用率；c_u(k-1)表示(k-1)时刻CPU的使用率；CPU影响因子考虑其两个时刻，利用离散求导的方法来估算CPU的变化曲线。

在(1-t_u(k)-t_const)中，当t＝s时，t_u(k)表示k时刻的socket连接使用率，t_const表示socket资源的预留量，(1-t_u(k)-t_const)表示节点t时刻剩余的可用的socket资源情况；当t＝m时，t_u(k)表示k时刻的内存使用率，t_const表示内存资源的预留量，(1-t_u(k)-t_const)表示节点t时刻剩余的可用的内存资源情况；当t＝n时，t_u(k)表示k时刻的网络带宽占用率，t_const表示网络带宽的预留量，(1-t_u(k)-t_const)表示节点t时刻剩余的可用的网络带宽资源情况。

需要说明的是，一般情况下，socket资源和网络宽带资源的预留量都为0，表明此资源的使用率可以到达100％，而相应的，内存资源的预留量不能为0，表明内存资源的使用率不能到达100％，需要保留一定的空间。

也就是说，k时刻的剩余资源百分比用r_l(k)表示，其分别受到c_u、m_u、n_u、个影响因子的影响，每个影响因子对其的影响方式各不相同；而每个影响因子对其的影响方式又各不相同，若其中一个影响因子达到极限，如cpu剩余量为0，则计算出的资源最终值将变为0，则该节点将不会得到资源分配，保证了该节点的稳定性和访问请求的正确响应。在4个影响因子中，根据每类资源的不同特性，其对应的影响方式也不同。

以socket连接为例，1-s_u(k)-s_const表示socket连接的影响因子；s_u(k)为k时刻的socket连接占用率；s_const为socket资源的预留量。一般情况下，socket资源和network资源的预留量都为0，表明这些资源的使用率可以到达100％，而相应的，Mem资源的预留量不能为0，表明内存资源的使用率不能到达100％，这是为了保证节点的正常运行，均需要为内存保留一定的空间，以免造成节点死机。

其中，需要说明的是，在影响因子的计算中，比较特殊的是CPU资源的计算，从***层面来讲，CPU资源是非常宝贵的资源，同时又是使用率时刻变化的资源，既不能以简单预留空间的方式浪费CPU资源，又必须考虑CPU的变好曲线，同时还需要考虑计算的复杂性，以便在周期性的大量计算中节省主节点的计算资源。

综上所述，利用离散求导的方法来估算CPU的变化曲线，并将其作为CPU的预留空间来考虑，当CPU曲线呈现上升趋势时，其一阶导数大于0，将其作为CPU使用预留量使用，得出1-2c_u(k)+c_u(k-1)的影响因子计算公式，反之，当CPU使用率曲线呈现下降趋势，其一阶导数为负值，由于CPU将得到更多的剩余量，此时不要为其预留使用率空间。采用曲线轨迹预测方法估算的CPU使用量，不仅能满足CPU使用率的估算要求，同时能够最大程度上地提高CPU的使用率，提升***整体效能，收到了良好的效果。

为了进一步说明服务器集群***的节点之间如何实现负载均衡的，图8示出了根据本发明实施例的服务器集群***的负载均衡实现方法的工作流程。在本实施例中，以具体的车载客户端作为客户终端。

如图8所示，本实施例所示的服务器集群***的负载均衡实现方法，包括如下步骤：

S801：开始；

S802：主节点是否存在故障？若存在故障，执行步骤S803；若不存在故障，执行步骤S808；

S803：主备切换，备用节点成为新的主节点；

S804：新的备用节点启用；

S805：备用节点信息上报；

S806：与主节点信息同步；

S807：备用节点进行普通节点筛选；主备切换完成后，履行主节点的职责；再执行步骤S808；

S808：主节点周期性接收其它节点负载信息上报；

S809：主节点根据上报的负载情况计算每个节点的负载值；

S810：nodelist中是否有不在线节点？若有不在线的节点，执行步骤S711；若没有不在线的节点，执行步骤S815；

S811：不在线的节点是否是备用节点？若是备用节点，执行步骤S712；若不是，执行步骤S814；

S812：从nodelist中清除此节点；

S813：重新选择新的备用节点并进行信息同步，再执行步骤S815；

S814：从nodelist中清除此节点，再执行步骤S815；

S815：当有车载客户端连接请求时，选择最优处理能力的节点作为连接分发的节点；

S816：车载客户端和主节点选择出的连接分发的节点开始进行业务流程；

S817：结束。

上述为服务器集群***的负载均衡实现方法的一个具体实施例的流程。综上所述，本发明针对智能终端的高并发长连接的特点，提出这种长连接、高并发服务端负载均衡实现方法及服务器集群***及连接分发算法，本发明的服务器集群***采用网状组网结构，并且多个节点之间具备层次性的递进关系，一方面从组网上提高了服务稳定性，另一方面利于选举全网内性能最优节点成为备用节点，从而在主节点失效情况下成为主节点，保障了全局最优选举。

并且，在集群组网模式中采用主备备份机制，可以实现主备之间的无缝切换，备用节点能够接管节点的功能，屏蔽了单点故障，提高集群对外提供业务的可用性。

再次，所提出的连接分发算法，选择最优处理能力的节点接收业务请求，能够最大限度的利用每个节点的处理能力，同时会话管理机制可以进一步降低分发连接时的时延，保证业务的可靠性及时效性。因此，本发明提出负载均衡实现的方法具有广泛运用的可能性，在各类类似的项目中将发挥更为重要的作用。

如上参照附图以示例的方式描述了根据本发明提出的服务器集群***及其负载均衡实现方法。但是，本领域技术人员应当理解，对于上述本发明所提出的服务器集群***及其负载均衡实现方法，还可以在不脱离本发明内容的基础上做出各种改进。因此，本发明的保护范围应当由所附的权利要求书的内容确定。

Claims (12)

1.一种服务器集群***，包括主节点、备用节点和普通节点；其中，

所述主节点包括信息收集模块、负载计算模块和连接分发决策模块；

所述信息收集模块，用于存储与所述主节点相连的备用节点和各个普通节点上报的负载信息；

所述负载计算模块，用于根据所述上报的负载信息，获得与所述负载信息相对应的节点的负载值；

所述连接分发决策模块，用于通过HTTP重定向进行连接分发，其中，根据所述负载计算模块获得的节点的负载值，选择出最优处理能力的节点，作为连接分发的节点；

所述备用节点，用于向所述主节点上报备用节点的负载信息，并与所述主节点的信息同步，以及对所述普通节点进行筛选，选择出的普通节点作为新的备用节点；

所述普通节点，用于向所述主节点上报普通节点的负载信息，以及当其成为备用节点时，将其切换为备用节点。

2.如权利要求1所述的服务器集群***，其中，

所述主节点还包括管理会话模块，用于管理客户终端与所述集群***之间的会话历史记录，并负责删除所述客户终端与所述集群***之间长时间不活跃的历史会话记录。

3.如权利要求1所述的服务器集群***，其中，

在所述信息收集模块中创建一个nodelist，所述nodelist用于存储与所述主节点相连的各个节点上报的负载信息；其中，

所述nodelist包括更新机制，所述更新机制用于删除离线的节点。

4.如权利要求3所述的服务器集群***，其中，

负载信息包括：与所述主节点相连的每个节点的CPU利用率、内存利用率、网络带宽占用率以及socket连接占用率；

在所述负载计算模块中，对每个节点通过特定加权的负载计算算法，分别获取其对于CPU密集型、内存密集型、网络带宽密集型及socket密集型请求的负载能力，并将获取的结果更新到所述nodelist。

5.如权利要求1所述的服务器集群***，其中，

所述备用节点包括备用节点信息上报模块、信息同步模块和普通节点筛选模块；

所述备用节点信息上报模块，用于向所述主节点周期性汇报负载信息；

所述信息同步模块，用于周期性地同步所述信息收集模块中的负载信息，并进行存储；

所述普通节点筛选模块，用于当所述备用节点成为主节点时，选择普通节点中负载最小的节点成为其备选。

6.如权利要求1所述的服务器集群***，其中，

所述普通节点包括普通节点信息上报模块和备用节点切换模块；

所述普通节点信息上报模块，用于向所述主节点周期性汇报负载信息；

所述备用节点切换模块，用于当所述备用节点成为新的主节点后，将对其所选择出的新的备用节点发出通知，普通节点据此切换为备用节点，并承担备用节点的职责。

7.一种基于服务器集群***的负载均衡实现方法，所述服务器集群***包括主节点、备用节点和普通节点，其中，

所述主节点周期性地接收与其相连的备用节点、各个普通节点上报的负载信息，并根据上报的所述负载信息，获得与所述负载信息相对应的各个节点的负载值；

当有客户终端连接请求时，所述主节点通过HTTP重定向进行连接分发，其中，所述主节点根据获得的各个节点的负载值，选出最优处理能力的节点作为连接分发的节点；

当所述主节点出现故障时，所述备用节点进行主备切换，成为新的主节点，执行主节点的职责，同时启用新的备用节点；

所述新的备用节点将负载信息上报到所述新的主节点中，并与新的主节点的信息同步，同时对所述普通节点进行筛选，选出所述新的备用节点的备选。

8.如权利要求7所述的基于服务器集群***的负载均衡实现方法，其中，在所述主节点中设置有会话管理机制，

所述会话管理机制包括所述客户终端与所述集群***之间的会话历史记录，并负责删除所述客户终端与所述主节点之间长时间不活跃的历史会话记录，使选择的连接分发的节点为最佳选择。

9.如权利要求7所述的基于服务器集群***的负载均衡实现方法，其中，在所述主节点中创建一个nodelist，各个节点的负载信息存储在所述nodelist中，在所述客户终端请求连接之前，

判断所述nodelist中是否存在离线的节点，若存在离线的节点，则将此节点从所述nodelist中删除；若存在离线的节点为备用节点，则重新在所述普通节点中选择新的备用节点，并与所述主节点进行信息同步；

若在所述nodelist中不存在离线的节点，根据所述客户终端的连接请求进行连接分发。

10.如权利要求7所述的基于服务器集群***的负载均衡实现方法，其中，在所述新的备用节点对所述普通节点进行筛选的过程中，

所述新的备用节点从所述普通节点中选择负载最小的节点作为其备选。

11.如权利要求7所述的基于服务器集群***的负载均衡实现方法，其中，

所述负载信息包括：与所述主节点相连的每个节点的CPU利用率、内存利用率、网络带宽占用率以及socket连接占用率；

通过特定加权的负载计算算法，每个节点分别计算其对于CPU密集型、内存密集型、网络带宽密集型及socket密集型请求的负载能力，公式如下：

r_l＝f(c_u,m_u,n_u,s_u)

其中，r_l表示节点的剩余资源；

c_u、m_u、n_u、s_u分别表示接收到的节点上传的CPU利用率、内存利用率、网络带宽占用率以及socket连接占用率。

12.如权利要求11所述的基于服务器集群***的负载均衡实现方法，其中，

根据接收到各个节点上传的负载信息，计算出剩余资源百分比，其公式如下式所示：

$r_l\left(k\right)=\left\{\begin{array}{ccc}\left[\underset{t=s,u,m}{\mathrm{\Π}}(1-t_u\left(k\right)-t_{\mathrm{const}})\right]\·(1-{2c}_u\left(k\right)+c_u(k-1))& \mathrm{if}& c_u\left(k\right)>c_u(k-1)\\ \left[\underset{t=s,u,m}{\mathrm{\Π}}(1-t_u\left(k\right)-t_{\mathrm{const}})\right]\·(1-c_u\left(k\right))& & \mathrm{else}\end{array}\right.$

其中，r_l(k)表示k时刻的剩余资源百分比；

c_u(k)表示k时刻CPU使用率；

c_u(k-1)表示(k-1)时刻CPU的使用率；

在(1-t_u(k)-t_const)中，当t＝s时，t_u(k)表示k时刻的socket连接使用率，t_const表示socket资源的预留量，(1-t_u(k)-t_const)表示节点t时刻剩余的可用的socket资源情况；

当t＝m时，t_u(k)表示k时刻的内存使用率，t_const表示内存资源的预留量，(1-t_u(k)-t_const)表示节点t时刻剩余的可用的内存资源情况；

当t＝n时，t_u(k)表示k时刻的网络带宽占用率，t_const表示网络带宽的预留量，(1-t_u(k)-t_const)表示节点t时刻剩余的可用的网络带宽资源情况。