CN104902001B - 基于操作***虚拟化的Web请求负载均衡方法 - Google Patents

Abstract

本发明公开了一种基于操作***虚拟化的Web请求负载均衡方法。本发明首先进行服务器资源信息收集与归一化；其次服务器及服务实例动态信息收集；然后根据服务器资源信息以及周期性收集到的动态信息计算所有服务的服务实例副本的最终权值；最后通过加权轮询分发请求。本发明可以有效避免同一服务器上的不同服务实例副本，由于所在服务器负载较低而同时接收大量Web请求造成所在服务器超载的现象，实现服务实例副本及服务器间的负载均衡，提高Web集群***的并发能力，减少请求的平均响应时间。

Description

基于操作***虚拟化的Web请求负载均衡方法

技术领域

本发明属于Web集群负载均衡技术领域，具体涉及到一种基于操作***虚拟化的Web请求负载均衡方法。

背景技术

随着社交网络、电子商务等互联网应用的迅猛发展，网络服务器面临着以下两方面的问题：(1)访问数量成指数倍增加；(2)事务处理更加复杂。为了应对以上问题，为用户提供一个高性能的网络服务环境，分布式的Web服务器***(Web集群)应运而生，并用以代替具有高性能的单台Web服务器。在Web集群中，每类服务包含多个服务实例副本，同一服务的多个服务实例副本由多个不同的服务器承载。为了将用户请求合理地、均衡地分配到不同的服务实例副本，确保各服务器及服务实例副本间的负载平衡，提高Web集群***的并发能力和***资源的利用率，高效的负载均衡策略是问题的关键所在。

传统Web集群是以物理机或虚拟机为单位承载服务实例副本，并根据负载均衡策略将用户请求合理地分发给承载不同服务实例副本的物理机或虚拟机。然而，随着云计算技术的发展，基于操作***虚拟化的Docker容器作为一种新的承载服务实例的基本单位出现了。由于Docker使用了基于操作***的虚拟化技术，因此，与传统的基于完全虚拟化的虚拟机相比，Docker能够实现运行时***的资源弹性分配功能(即当Docker容器中无任务执行时，Docker容器不占用CPU资源；有任务执行时Docker容器按照其CPU权重大小占用所需的CPU资源)，提高服务器资源的利用率。Docker的这一新特性，使得传统Web集群上的负载均衡策略不再适用，因此，需要构建一种合理的、均衡的基于操作***虚拟化的Web请求负载均衡方法。

发明内容

本发明针对现有技术的不足，提供了一种基于操作***虚拟化的Web请求负载均衡方法。

本发明方法的具体步骤是：

步骤(1)建立服务器资源状态信息列表。Web集群中服务器集合S表示为：

S＝{s₁,s₂,s₃,...,s_j,...,s_n}

其中s_j(1≤j≤n)表示Web集群中的某一服务器，n表示Web集群包含的服务器总数。服务器s_j总的资源P_j表示为：

P_j＝(P_{j_cpu},P_{j_memory},P_{j_io},P_{j_network})

其中P_{j_cpu}表示服务器s_j的CPU的计算能力，P_{j_memory}表示服务器s_j的内存处理能力，P_{j_io}表示服务器s_j的硬盘I/O能力，P_{j_network}表示服务器s_j的网络吞吐率。为了消除服务器异构性及不同种类资源的差异性所带来的影响，采用Max-Min方法对服务器s_j总的资源P_j值进行归一化，服务器s_j总的资源归一化值PO_j表示为：

PO_j＝(PO_{j_cpu},P_{Oj_memory},P_{Oj_io},P_{Oj_network})

步骤(2)建立服务实例资源状态信息列表。设Web集群对外提供的服务集合F表示为:

F＝{f₁,f₂,f₃,...,f_i,...f_m}

其中f_i(1≤i≤m)表示集群对外提供的第i种服务，m表示集群提供的服务种类总数。服务f_i包含多个不同的服务实例副本集合F_i表示为：

F_i＝{f_i1,f_i2,f_i3,…,f_ik,…,f_il}

其中f_ik(1≤k≤l)表示服务f_i的实例副本，l表示服务f_i的实例副本个数。服务实例f_ik的资源状态信息ST_ik表示为：

其中表示服务f_i的实例副本f_ik所在的主机s_j，cpu_share_ik表示服务f_i的实例副本f_ik的CPU权值，memory_ik__to_tal表示服务f_i的实例副本f_ik的最大可占用内存。

步骤(3)每隔周期时间T，负载均衡服务器会定期收集Web集群中所有服务器在该周期时间T内的负载信息。主要负载信息包括：

服务器s_j的CPU利用率：

CPU_j＝CPU繁忙时间/(CPU繁忙时间+CPU空闲时间)

服务器s_j的硬盘I/O负载：

IO_j＝硬盘IO繁忙时间/(硬盘IO繁忙时间+硬盘IO空闲时间)

服务器s_j的网络负载：

Network_j＝(周期T内流入流量+周期T内输出流量)/(周期T*P_{j_network})

服务器s_j上所有实例副本CPU权值数之和：

服务器s_j上服务f_i的实例副本f_ik内存利用率:

其中memory_{ik_used}表示服务f_i的实例副本f_ik已使用的内存值；

步骤(4)负载均衡服务器根据收集的服务器负载信息以及现存服务器与服务实例状态信息，计算部署在服务器s_j上的服务实例f_ik的最终权值并更新权值列表中相应服务实例的权值信息。

其中α_ik、β_ik、γ_ik、δ_ik分别表示服务f_i对CPU、内存、硬盘以及网络四类资源所赋予的不同权值，且同一服务不同服务实例对这四类资源所赋予的权值相同。负载均衡服务器根据每个服务实例的权值大小采用业界广泛使用的加权轮询算法分发相应服务的Web请求。

本发明所提供基于操作***虚拟化的Web请求负载均衡方法由一组功能模块组成，它们包括：静态信息收集模块、动态信息收集模块、权值计算模块和负载分发模块。

静态信息收集模块在负载均衡方法初始化时收集服务器与服务实例的静态信息。服务器的静态信息主要包括：Web集群中每台服务器总的CPU计算能力P_{j_cpu}、内存处理能力P_{j_memory}、硬盘I/0能力P_{j_io}、网络吞吐能力P_{j_network}。服务实例的静态信息主要包括：服务f_i的服务实例f_ik所在主机服务f_i的服务实例f_ik的CPU权值cpu_share_ik，服务f_i的服务实例f_ik的最大可占用内存memory_{ik_total}。当Web集群中服务器或服务动态变更时，在静态信息模板中需要更新相应服务器或服务的静态信息。

动态信息收集模块主要收集服务器及服务实例动态变化的状态信息。每隔周期时间T，动态信息收集模块会收集服务器及服务实例动态变化的状态信息。为了防止信息收集过于频繁而造成网络负担，周期时间T的取值依据统计经验设定为5-10秒。此外，当服务实例新增或删除时，动态信息收集模块也会执行收集动作。收集的状态信息主要包括该周期时间T内服务器s_j(1≤j≤n)的CPU利用率CPU_j、硬盘的I/O负载IO_j、网络负载Network_j、服务器s_j上所有服务实例副本的CPU权值之和服务器s_j上服务f_i的实例副本f_ik的内存利用率

权值计算模块根据所收集的服务器及服务实例的信息计算出每个服务实例的最终权值。

负载分发模块根据权值计算模块所得的服务实例权值，采用加权轮询调度算法，将较多的Web请求分发给权值较大的服务实例，较少的服务请求分发给权值较小的服务实例，达到同一服务不同服务实例间的负载均衡。

本发明提出的方法利用基于操作***虚拟化的Docker容器能够实现运行时***资源弹性分配的特点，即根据服务实例CPU权值大小将计算资源按比例分配给承载相应服务实例的Docker容器，实现不同服务实例副本及服务器间的负载均衡。该方法通过进一步在服务实例权值计算公式中引入服务实例的CPU权值，从而避免了同一服务器上承载不同服务实例的Docker容器对所在服务器剩余计算资源的恶性竞争而导致服务器负载过重的情况。与传统方法相比，本发明所述方法可以有效避免同一服务器上的不同服务实例副本，由于所在服务器负载较低而同时接收大量Web请求造成所在服务器超载的现象，实现服务实例副本及服务器间的负载均衡，提高Web集群***的并发能力，减少请求的平均响应时间。

附图说明

图1为集群中服务器、服务、服务实例副本关系示例图；

图2为动态信息收集流程图。

具体实施方式

本发明所提供的基于操作***虚拟化的Web请求负载均衡方法具体实施方式主要分四步：

(1)服务器资源信息收集与归一化；(2)服务器及服务实例动态信息收集(3)根据服务器资源信息以及周期性收集到的动态信息计算所有服务的服务实例副本的最终权值；(4)通过加权轮询分发请求。

(1)服务器资源信息收集与归一化

静态信息收集模块收集Web集群中每台服务器的CPU计算能力P_{j_cpu}、内存处理能力P_{j_memory}、硬盘I/0能力P_{j_io}、网络吞吐能力P_{j_network}四项资源信息。并分别计算出他们的最大最小值如下：

P_{max_cpu}＝max(P_{1_cpu},P_{2_cpu},…,P_{j_cpu},…,P_{n_cpu})

P_{min_cpu}＝min(P_{1_cpu},P_{2_cpu},…,P_{j_cpu},…,P_{n_cpu})

P_{max_memory}＝max(P_{1_memory},P_{2_memory},…,P_{j_memory},…,P_{n_memory})

P_{min_memory}＝min(P_{1_memory},P_{2_memory},…,P_{j_memory},…,P_{n_memory})

P_{max_io}＝max(P_{1_io},P_{2_io},…,P_{j_io},…,P_{n_io})

P_{min_io}＝min(P_{1_io},P_{2_io},…,P_{j_io},…,P_{n_io})

P_{max_network}＝max(P_{1_network},P_{2_network},…,P_{j_network},…,P_{n_network})

P_{min_network}＝min(P_{1_network},P_{2_network},…,P_{j_network},…,P_{n_network})

为了消除服务器异构性及不同种类资源的差异性所带来的影响，采用Max-Min方法对服务器CPU计算能力P_{j_cpu}、内存处理能力P_{j_memory}、硬盘I/0能力P_{j_io}、网络吞吐能力P_{j_network}四项资源信息进行归一化操作，并分别用PO_{j_cpu},PO_{j_memory},PO_{j_io},PO_{j_network}表示归一化后相对应的值。

CPU计算能力归一化值PO_j__cpu：

PO_{j_cpu}＝(P_{j_cpu}-P_{min_cpu})/(P_{max_cpu}-P_{min_cpu})

内存处理能力归一化值P_{j_memory}：

PO_{j_memory}＝(P_{j_memory}-P_{min_memory})/(P_{max_memory}-P_{min_memory})

硬盘I/O能力归一化值PO_j__io：

PO_{j_io}＝(P_{j_io}-P_{min_i}x)/(P_{max_io}-P_{min_io})

网络吞吐能力归一化值P_{j_network}：

PO_{j_network}＝(P_{j_network}-P_{min_network})/(P_{max_network}-P_{min_network})

(2)服务器及服务实例动态信息收集

在Web集群中服务器、服务以及服务实例副本之间的关系如图1所示。在图1中，Web集群中s₁，s₂，s₃三个物理机运行着f₁，f₂，f₃三个服务的8个服务实例副本(图1中f₁₁，f₁₂，f₂₁，f₂₂，f₂₃，f₃₁，f₃₂，f₃₃)。每隔周期时间T，动态信息收集模块根据图2所示的动态信息收集流程对图1中三个服务器以及三个服务的八个服务实例副本进行动态信息收集，然后通过权值计算模块重新计算所有服务的服务实例副本的权值。此外，当服务实例新增或删除时，动态信息收集模块也会执行收集动作并重新计算服务实例副本的权值。

动态信息收集模块收集的信息主要包括：周期时间T时间内服务器s_j(1≤j≤n)的CPU利用率CPU_j、硬盘的I/O负载IO_j，网络负载Network_j，服务器s_j上所有服务实例副本的CPU权值之和服务器s_j上服务f_i的实例副本f_ik的内存利用率

(3)服务实例副本权值计算

根据步骤(1)中计算所得的服务器资源归一化值以及步骤(2)中所收集的服务器及服务实例动态信息，计算部署在服务器s_j上的服务实例f_ik的最终权值

(4)通过加权轮询分发请求

根据第(3)步所得的服务实例权值讲权值结果更新后，负载分发模块采用加权轮询调度算法，将同一服务的Web请求均衡地分发给该服务的不同服务实例副本，从而实现不同实例副本以及服务器之间的负载均衡。

Claims (1)

1.基于操作***虚拟化的Web请求负载均衡方法，其特征在于该方法包括如下步骤：

步骤(1).建立服务器资源状态信息列表；Web集群中服务器集合S表示为：

S＝{s₁,s₂,s₃,…,s_j,…,s_n}

其中s_j表示Web集群中的某一服务器，1≤j≤n，n表示Web集群包含的服务器总数；服务器s_j总的资源P_j表示为：

P_j＝(P_{j_cpu},P_{j_memory},P_{j_io},P_{j_network})

其中P_{j_cpu}表示服务器s_j的CPU的计算能力，P_{j_memory}表示服务器s_j的内存处理能力，P_{j_io}表示服务器s_j的硬盘I/O能力，P_{j_network}表示服务器s_j的网络吞吐率；采用Max-Min方法对服务器s_j总的资源P_j值进行归一化，服务器s_j总的资源归一化值PO_j表示为：

PO_j＝(PO_{j_cpu},PO_{j_memory},PO_{j_io},PO_{j_network})

其中PO_{j_cpu}表示P_{j_cpu}的归一化值，PO_{j_memory}表示P_{j_memory}的归一化值，PO_{j_io}表示P_{j_io}的归一化值，PO_{j_network}表示P_{j_network}的归一化值；

步骤(2).建立服务实例资源状态信息列表；设Web集群对外提供的服务集合F表示为:

F＝{f₁,f₂,f₃,…,f_i,…,f_m}

其中f_i表示集群对外提供的第i种服务，1≤i≤m，m表示集群提供的服务种类总数；服务f_i包含多个不同的服务实例副本集合F_i表示为：

F_i＝{f_i1,f_i2,f_i3,…,f_ik,…,f_il}

其中f_ik表示服务f_i的实例副本，1≤k≤l，l表示服务f_i的实例副本个数；服务实例f_ik的资源状态信息ST_ik表示为：

<mrow> <msub> <mi>ST</mi> <mrow> <mi>i</mi> <mi>k</mi> </mrow> </msub> <mo>=</mo> <mrow> <mo>(</mo> <msubsup> <mi>L</mi> <mrow> <mi>i</mi> <mi>k</mi> </mrow> <mi>j</mi> </msubsup> <mo>,</mo> <mi>c</mi> <mi>p</mi> <mi>u</mi> <mo>_</mo> <msub> <mi>share</mi> <mrow> <mi>i</mi> <mi>k</mi> </mrow> </msub> <mo>,</mo> <msub> <mi>memory</mi> <mrow> <mi>i</mi> <mi>k</mi> <mo>_</mo> <mi>t</mi> <mi>o</mi> <mi>t</mi> <mi>a</mi> <mi>l</mi> </mrow> </msub> <mo>)</mo> </mrow> </mrow>

其中表示服务f_i的实例副本f_ik所在的主机s_j，cpu_share_ik表示服务f_i的实例副本f_ik的CPU权值，memory_{ik_total}表示服务f_i的实例副本f_ik的最大可占用内存；

步骤(3).每隔周期时间T，负载均衡服务器会定期收集Web集群中所有服务器在该周期时间T内的负载信息；主要负载信息包括：

服务器s_j的CPU利用率CPU_j：

CPU_j＝CPU繁忙时间/(CPU繁忙时间+CPU空闲时间)

服务器s_j的硬盘I/O负载IO_j：

IO_j＝硬盘IO繁忙时间/(硬盘IO繁忙时间+硬盘IO空闲时间)

服务器s_j的网络负载Network_j：

Network_j＝(周期T内流入流量+周期T内输出流量)/(周期T*P_{j_network})

服务器s_j上所有实例副本CPU权值数之和：

服务器s_j上服务f_i的实例副本f_ik内存利用率

<mrow> <msubsup> <mi>Memory</mi> <mrow> <mi>i</mi> <mi>k</mi> </mrow> <mi>j</mi> </msubsup> <mo>=</mo> <msub> <mi>memory</mi> <mrow> <mi>i</mi> <mi>k</mi> <mo>_</mo> <mi>u</mi> <mi>s</mi> <mi>e</mi> <mi>d</mi> </mrow> </msub> <mo>/</mo> <msub> <mi>memory</mi> <mrow> <mi>i</mi> <mi>k</mi> <mo>_</mo> <mi>t</mi> <mi>o</mi> <mi>t</mi> <mi>a</mi> <mi>l</mi> </mrow> </msub> </mrow>

其中memory_{ik_used}表示服务f_i的实例副本f_ik已使用的内存值；

步骤(4).负载均衡服务器根据收集的服务器负载信息以及现存服务器与服务实例状态信息，计算部署在服务器s_j上的服务实例f_ik的最终权值并更新权值列表中相应服务实例的权值信息：

其中α_ik、β_ik、γ_ik、δ_ik分别表示服务f_i对CPU、内存、硬盘以及网络四类资源所赋予的不同权值，且同一服务不同服务实例对这四类资源所赋予的权值相同，表示部署在服务器s_j上的服务f_i的实例f_ik的CPU权值；负载均衡服务器根据每个服务实例的权值大小采用加权轮询算法分发相应服务的Web请求。