CN108984306A - 一种依据tcp请求质量评估的负载均衡调度***和方法 - Google Patents

Abstract

一种依据TCP请求质量评估的负载均衡调度***和方法，其特征在于：所述***包括：服务发现模块、负载均衡组件模块、主调业务模块和被调业务模块，被调业务模块包括若干个被调业务进程子模块,其优点是1)能够从应用层对TCP长连接进行多维度的质量评估，从而反映业务实时的负载状态。2)能够依据业务实时负载状态进行负载均衡，能够更好的分配请求，同时应用服务器的扩容、缩容对于上层用户来说都是无感知的。3)无锁化设计使负载均衡组件高效率运行，对业务影响最小。4)通过对TCP连接状态的管理，能够在毫秒内发现应用服务的状态，从而将新增(或删除)的应用加入(或踢出)。

Description

一种依据TCP请求质量评估的负载均衡调度***和方法

技术领域

本发明涉及传输控制规程，涉及具备负载均衡、路由容灾和高性能要求的分布式后台***，尤指一种依据TCP请求质量评估的负载均衡调度***和方法。

背景技术

当一台服务器的性能达到极限时，可以使用服务器集群来提高网站的整体性能。在服务器集群中，需要有一个调度者的角色，接收用户的所有请求，然后根据每台服务器的负载情况将请求分配给某一台后端服务器去处理。在这个过程中，调度者如何合理分配任务，保证所有后端服务器都将性能充分发挥，从而保持服务器集群的整体性能最优，这就是负载均衡问题。现有技术的负载均衡调度有如下方法：

一、轮询法

将请求按顺序轮流地分配到后端服务器上，它均衡地对待后端的每一台服务器，而不关心服务器实际的连接数和当前的***负载。

二、随机法

通过***的随机算法，根据后端服务器的列表大小值来随机选取其中的一台服务器进行访问。由概率统计理论可以得知，随着客户端调用服务端的次数增多，其实际效果越来越接近于平均分配调用量到后端的每一台服务器，也就是轮询的结果。

二、源地址哈希法

源地址哈希的思想是根据获取客户端的IP地址，通过哈希函数计算得到的一个数值，用该数值对服务器列表的大小进行取模运算，得到的结果便是客服端要访问服务器的序号。采用源地址哈希法进行负载均衡，同一IP地址的客户端，当后端服务器列表不变时，它每次都会映射到同一台后端服务器进行访问。

四、加权轮询法

不同的后端服务器可能机器的配置和当前***的负载并不相同，因此它们的抗压能力也不相同。给配置高、负载低的机器配置更高的权重，让其处理更多的请；而配置低、负载高的机器，给其分配较低的权重，降低其***负载，加权轮询能很好地处理这一问题，并将请求顺序且按照权重分配到后端。

五、最小连接数法

最小连接数算法比较灵活和智能，由于后端服务器的配置不尽相同，对于请求的处理有快有慢，它是根据后端服务器当前的连接情况，动态地选取其中当前积压连接数最少的一台服务器来处理当前的请求，尽可能地提高后端服务的利用效率，将负责合理地分流到每一台服务器。

现有技术的这些方法存在以下缺点：

1)不能依据后端服务的实际负载能力动态变更请求调度规则；

2)不能真实反映应用层业务模块的性能；

3)不能针对TCP长连接请求进行负载均衡。

发明内容

针对现有技术的缺点，本发明的目的在于提供一种依据TCP请求质量评估的负载均衡调度***和方法。旨在针对不同业务模块的TCP请求质量提出一种评估业务模块服务性能分数的标准化算法，建立一套能够依据业务模块的不同负载能力进行动态负载均衡方法。

本发明解决其技术问题所采用的技术方案是：提供一种依据TCP请求质量评估的负载均衡调度***和方法，其特征在于，所述***包括：服务发现模块、负载均衡组件模块、主调业务模块和被调业务模块，被调业务模块包括若干个被调业务进程子模块,其中：

服务发现模块连接负载均衡组件模块和被调业务模块，用于存储和管理后台***的服务模块信息，包括各个业务模块的版本信息和权限信息；

负载均衡组件模块连接服务发现模块和主调业务模块：用于从服务发现模块定时同步需要调用的服务模块信息，并依据主调业务模块在1秒周期内上报的TCP请求数据对服务发现模块进行计分操作；并依据服务发现模块的性能分数从多个被调业务进程模块中选取一个最优的TCP连接供主调业务模块发送TCP请求；还负责监控被调业务模块进程的TCP连接是否正常，处理TCP连接建立和关闭的事件；

主调业务模块连接负载均衡组件模块和被调业务模块：在需要发送TCP请求包时，通过负载均衡组件模块传入模块名称参数，调用获取连接接口获取到性能最优的被调业务进程；收到TCP请求响应包时，通过服务上报接口上报请求耗时和响应错误码；在TCP连接建立和关闭时上报TCP连接状态；

被调业务模块连接主调业务模块和服务发现模块，其包括若干个被调业务进程子模块，被调业务模块启动时将自己模块信息注册到服务发现模块，下线时从服务发现模块删除自己的模块信息，为主调业务模块提供TCP请求服务。

本发明同时提供一种基于上述***的依据TCP请求质量评估的负载均衡调度方法，其特征在于包括如下步骤：

S1.被调业务模块在启动时将自己的模块信息注册到服务发现模块；

S2.负载均衡组件模块定时从服务发现模块同步拉取需要调用的模块信息，最新的模块信息与原有的模块信息进行比较，如果是新增的IP:PORT对则通知主调业务模块进行TCP连接建立，如果是需要删除的IP:PORT对则通知主调业务模块进行连接关闭和删除；主调业务模块在TCP连接建立和关闭时亦上报给负载均衡组件模块，使负载均衡组件模块及时更新IP:PORT对的选取算法。

所述步骤S2细分为如下步骤：

S21.外部给主调业务模块发送TCP请求；

S22.主调业务模块传入被调业务模块名称作为参数，调用Get接口,获取最优的TCP连接；负载均衡组件模块通过对被调业务模块的三个IP:PORT对依据性能分数进行算法选择，择取一个最优的IP:PORT对返回给主调业务模块，同时负载均衡组件模块记录下该IP:PORT对的发送状态；

S23.主调业务模块获取到最优IP:PORT对后，选取到对应的TCP连接，通过该连接发送TCP请求到被调业务模块；

S24.被调业务模块收到TCP请求后，处理该请求，同时对主调业务模块进行响应；

S25.主调业务模块收到响应后，统计响应回包耗时和业务返回码，然后调用上报接口反馈给负载均衡组件模块；负载均衡组件模块依据1秒周期内上报的次数、响应耗时和业务返回码进行标准化量纲后，通过TCP请求质量评分算法对IP:PORT对进行评分；

S26.主调业务模块对外部TCP请求进行响应回包。

下面通过实际例子来说明TCP请求质量评分算法：

主调业务模块记为Ma，被调业务模块名称为Mb，被调业务模块三个IP:PORT对记为：B1,B2,B3。在1秒的周期内Ma调用Mb的发送次数为(S)分别为S1、S2、S3，收到的响应次数(R)分别为R1、R2、R3，对应的平均耗时(C)分别为C1、C2、C3，***错误码比例(E)分别为E1、E2、E3，对于Ma模块来说，Mb模块的1秒周期内评分(L)为L1、L2、L3，

1)发送次数和响应次数的评分算法

Score1_i＝[(Ri-Si)/Si]*100,i＝1,2,3

2)响应耗时评分算法

Score2_i＝[(Ci-min(Ci))/(max(Ci)–min(Ci))]*100,i＝1,2,3

3)业务返回码评分算法

Score3_i＝[(Ei-min(Ei))/(max(Ei)–min(Ei))]*100,i＝1,2,3

4)周期内总评分

Li＝0.4*Score1_i+0.4*Score2_i+0.2*Score3_i,i＝1,2,3

L分数越大表示该IP:PORT对的性能相对越差，被选取到的概率也会越低

5)B1,B2,B3节点被选取到的概率为(100–Li)/100。

本发明的有益效果是：

1)能够从应用层对TCP长连接进行多维度(发送响应次数、响应耗时和***错误比例)的质量评估，从而反映业务实时的负载状态。

2)能够依据业务实时负载状态进行负载均衡，能够更好的分配请求，同时应用服务器的扩容、缩容对于上层用户来说都是无感知的。

3)无锁化设计使负载均衡组件高效率运行，对业务影响最小。

4)通过对TCP连接状态的管理，能够在毫秒内发现应用服务的状态，从而将新增(或删除)的应用加入(或踢出)。

附图说明

下面结合附图对本发明作进一步的描述。

图1是本发明的架构示意图。

图2是本发明的负载均衡组件模块内部结构示意图。

图1中：1为服务发现模块、2为负载均衡组件模块、3为主调业务模块、4为被调业务模块、41、42、4N为被调业务模块4中的被调业务进程子模块。

具体实施方式

参见附图，本发明一种依据TCP请求质量评估的负载均衡调度***和方法，其特征在于，所述***包括：服务发现模块1、负载均衡组件模块2、主调业务模块3和被调业务模块4，被调业务模块4包括若干个被调业务进程子模块41、42、....4N,其中：

服务发现模块1连接负载均衡组件模块2和被调业务模块4，负责存储和管理分布式后台***的服务发现模块信息，在本发明的实施例中，这一信息包括：一个业务模块名称对应的多个进程，每个进程通过IP:PORT对(如：10.2.138.15:10000，表示该进程运行在10.2.138.15这台机器上，提供的对外端口号为10000)来标识，同时包括各个业务模块的版本信息和权限信息等；被调业务模块4对接入层公开提供0x1000和0x1100两个接口服务，该模块有三个进程，模块信息示例如下(被调业务模块4)；

ServiceName:called.gf.com.cn//业务模块名称

Cmd:0x1000|0x1100//路由命令字

IpPort:127.0.0.1:10000,127.0.0.1:10001,127.0.0.2:10000//IP:PORT对

//业务进程IP-PORT对

Version:3.0.0//版本号

Privilege:public//是否公开权限

负载均衡组件模块2连接服务发现模块1和主调业务模块3：负责从服务发现模块定时同步需要调用的服务发现模块信息，并依据主调业务模块3在1秒周期内上报的TCP请求数据对服务发现模块1进行计分操作；负责依据服务发现模块1的性能分数从多个被调业务进程模块41、42、....4N中选取一个最优的TCP连接供主调业务模块3发送TCP请求；此外，还负责监控被调业务模块4进程的TCP连接是否正常，处理TCP连接建立和关闭的事件。

主调业务模块3连接负载均衡组件模块2和被调业务模块4：在需要发送TCP请求包时，通过负载均衡组件模块2传入模块名称(ServiceName)参数调用获取连接接口(GetAPI)获取到性能最优的被调业务进程(IP:PORT对)；收到TCP请求响应包时，通过服务上报接口(Report API)上报请求耗时和响应错误码(请求的耗时一般为ms，主要是发出去请求到收到响应之间的时间差。响应错误码为***的返回码，用于标识不同的错误类别)；在TCP连接建立和关闭时上报TCP连接状态(TCP连接的关闭状态和建立状态)。

被调业务模块4连接主调业务模块3和服务发现模块1，其包括若干个被调业务进程子模块41、42、......4N：被调业务模块4在启动时会将自己模块信息注册到服务发现模块1，下线时会从服务发现模块1处删除自己的模块信息，为主调业务模块3提供TCP请求服务。

在本发明的实施例同时提供一种基于上述***的依据TCP请求质量评估的负载均衡调度方法，其特征在于包括如下步骤：

S1.被主调业务模块3在启动时将自己的模块信息注册到服务发现模块1；

S2.负载均衡组件模块2定时从服务发现模块1同步拉取需要调用的模块信息，最新的模块信息与原有的模块信息进行比较，如果是新增的IP:PORT对则通知主调业务模块3进行TCP连接建立，如果是需要删除的IP:PORT对则通知主调业务模块3进行连接关闭和删除；主调业务模块3在TCP连接建立和关闭时亦上报给负载均衡组件模块2，使负载均衡组件模块2及时更新IP:PORT对的选取算法。

所述步骤S2细分为如下步骤：

S21.外部给主调业务模块3发送TCP请求；

S22.主调业务模块3传入被调业务模块4名称作为参数，调用Get接口,获取最优的TCP连接；负载均衡组件模块2通过对被调业务模块4的三个IP:PORT对依据性能分数进行算法选择，择取一个最优的IP:PORT对返回给主调业务模块3，同时负载均衡组件模块2记录下该IP:PORT对的发送状态；

S23.主调业务模块3获取到最优IP:PORT对后，选取到对应的TCP连接，通过该连接发送TCP请求到被调业务模块4；

S24.被调业务模块4收到TCP请求后，处理该请求，同时对主调业务模块3进行响应；

S25.主调业务模块3收到响应后，统计响应回包耗时和业务返回码，然后调用上报接口反馈给负载均衡组件模块2；负载均衡组件模块2依据1秒周期内上报的次数、响应耗时和业务返回码进行标准化量纲后，通过TCP请求质量评分算法对IP:PORT对进行评分；

S26.主调业务模块3对外部TCP请求进行响应回包。

下面通过实际例子来说明TCP请求质量评分算法：

主调业务模块3记为Ma，被调业务模块4名称为Mb，被调业务模块4三个IP:PORT对记为：B1,B2,B3。在1秒的周期内Ma调用Mb的发送次数为(S)分别为S1、S2、S3，收到的响应次数(R)分别为R1、R2、R3，对应的平均耗时(C)分别为C1、C2、C3，***错误码比例(E)分别为E1、E2、E3，对于Ma模块来说，Mb模块的1秒周期内评分(L)为L1、L2、L3，

1)发送次数和响应次数的评分算法

Score1_i＝[(Ri-Si)/Si]*100,i＝1,2,3

2)响应耗时评分算法

Score2_i＝[(Ci-min(Ci))/(max(Ci)–min(Ci))]*100,i＝1,2,3

3)业务返回码评分算法

Score3_i＝[(Ei-min(Ei))/(max(Ei)–min(Ei))]*100,i＝1,2,3

4)周期内总评分

Li＝0.4*Score1_i+0.4*Score2_i+0.2*Score3_i,i＝1,2,3

L分数越大表示该IP:PORT对的性能相对越差，被选取到的概率也会越低。

5)B1,B2,B3节点被选取到的概率为(100–Li)/100。

Claims (3)

1.一种依据TCP请求质量评估的负载均衡调度***，其特征在于：所述***包括：服务发现模块、负载均衡组件模块、主调业务模块和被调业务模块，被调业务模块包括若干个被调业务进程子模块,其中：

服务发现模块连接负载均衡组件模块和被调业务模块，用于存储和管理后台***的服务模块信息，包括各个业务模块的版本信息和权限信息；

负载均衡组件模块连接服务发现模块和主调业务模块：用于从服务发现模块定时同步需要调用的服务模块信息，并依据主调业务模块在1秒周期内上报的TCP请求数据对服务发现模块进行计分操作；并依据服务发现模块的性能分数从多个被调业务进程模块中选取一个最优的TCP连接供主调业务模块发送TCP请求；还负责监控被调业务模块进程的TCP连接是否正常，处理TCP连接建立和关闭的事件；

主调业务模块连接负载均衡组件模块和被调业务模块：在需要发送TCP请求包时，通过负载均衡组件模块传入模块名称参数，调用获取连接接口获取到性能最优的被调业务进程；收到TCP请求响应包时，通过服务上报接口上报请求耗时和响应错误码；在TCP连接建立和关闭时上报TCP连接状态；

被调业务模块连接主调业务模块和服务发现模块，其包括若干个被调业务进程子模块，被调业务模块启动时将自己模块信息注册到服务发现模块，下线时从服务发现模块删除自己的模块信息，为主调业务模块提供TCP请求服务。

2.一种基于权利要求1所述的依据TCP请求质量评估的负载均衡调度***的负载均衡调度方法，其特征在于包括如下步骤：

S1.被主调业务模块在启动时将自己的模块信息注册到服务发现模块；

S2.负载均衡组件模块定时从服务发现模块同步拉取需要调用的模块信息，最新的模块信息与原有的模块信息进行比较，如果是新增的IP:PORT对则通知主调业务模块进行TCP连接建立，如果是需要删除的IP:PORT对则通知主调业务模块进行连接关闭和删除；主调业务模块在TCP连接建立和关闭时亦上报给负载均衡组件模块，使负载均衡组件模块及时更新IP:PORT对的选取算法。

3.根据权利要求2所述的依据TCP请求质量评估的负载均衡调度方法，其特征在于所述步骤S2包括如下步骤：

S21.外部给主调业务模块发送TCP请求；

S22.主调业务模块传入被调业务模块名称作为参数，调用Get接口,获取最优的TCP连接；负载均衡组件模块通过对被调业务模块的三个IP:PORT对依据性能分数进行算法选择，择取一个最优的IP:PORT对返回给主调业务模块，同时负载均衡组件模块记录下该IP:PORT对的发送状态；

S23.主调业务模块获取到最优IP:PORT对后，选取到对应的TCP连接，通过该连接发送TCP请求到被调业务模块；

S24.被调业务模块收到TCP请求后，处理该请求，同时对主调业务模块进行响应；

S25.主调业务模块收到响应后，统计响应回包耗时和业务返回码，然后调用上报接口反馈给负载均衡组件模块；负载均衡组件模块依据1秒周期内上报的次数、响应耗时和业务返回码进行标准化量纲后，通过TCP请求质量评分算法对IP:PORT对进行评分；

S26.主调业务模块对外部TCP请求进行响应回包。