CN102882799B - 流量可控的集群部署配置***与方法 - Google Patents

Abstract

本发明提供了一种流量可控的集群部署配置***和方法，***包括：管理服务器和分别接收其文件的各个客户服务器，所述管理服务器包括：限速配置单元和与其通信的数据传输单元；方法包括如下步骤：(a).选择文件传输方式；(b).选择是否进行传输限速，如果选择限速，进入步骤c，否则进入步骤e；(c).根据传输方式选择限速方式；(d).配置限速值和目标速率；(e).镜像或配置文件传输；(f).完成镜像或配置文件的传输，开始具体的部署或配置。本发明提供的流量可控的集群部署配置***和方法，在集群的部署及配置过程中引入流量控制机制，提高网络资源利用率；而且，将多种数据传输及对应限速方式进行整合，提供统一配置入口，方便灵活选择及配置。

Description

流量可控的集群部署配置***与方法

技术领域

本发明属于计算机网络领域，具体涉及一种流量可控的集群部署配置***与方法。

背景技术

大型互联网公司，政府机构，超级计算中心因自身业务需要，拥有大量服务器节点，构成了众多庞大的集群。随着自身业务的不断发展，服务器集群规模仍在不断扩大。在集群的扩大和运维期间，服务器节点上的操作***安装，应用程序部署，配置文件分发是十分频繁的。而这些频繁的配置、维护、部署操作带来了大量集群间的文件传输操作，这些操作往往会占用很大部分网络带宽，甚至影响到集群自身的业务功能。

基于以上问题，急需要构建一种流量可控的集群部署配置框架，使得集群中服务器节点的***部署，程序分发等操作对网络的压力控制在任意范围以内，从而不对集群网络的正常使用造成影响。

现有的集群部署及集群配置工具和***均将重心放在配置维护的自动化上，而对网络的压力考虑较少，因此主要存在以下几个问题：

流量控制被忽视。集群运维中的数据传输一直是占用网络的重要部分，如果集群正在使用或正在提供网络服务，这些运维过程中的网络占用往往会对应用造成不小的影响，所以大多数集群部署配置操作需要暂停集群内的应用。因此需要解决运行期的集群部署配置对网络带宽占用的控制问题。

流量控制方案不灵活。集群运维期间的数据内容差异很大，主要来自集群服务器操作***部署过程中的镜像、集群软件安装中的软件包、集群配置中的文件等等。而且传输方式差异较大。因此缺少一种灵活的流量控制方案，能够针对数据传输的内容、数据传输的方式进行灵活的配置。

发明内容

为克服上述缺陷，本发明提供了一种流量可控的集群部署配置***与方法，在集群的部署及配置过程中引入流量控制机制，提高网络资源利用率；而且，将多种数据传输及对应限速方式进行整合，提供统一配置入口，方便灵活选择及配置。

为实现上述目的，本发明提供一种流量可控的集群部署配置***，包括：管理服务器和分别接收其文件的各个客户服务器，其改进之处在于，所述管理服务器包括：限速配置单元和与其通信的数据传输单元。

本发明提供的优选技术方案中，所述限速配置单元，包括：依次设置的传输方式选择模块和限速配置模块。

本发明提供的第二优选技术方案中，所述传输方式选择模块，根据向各个客户服务器传输文件的异同，选择bt方式或者rsync方式对文件进行传输；其中，当管理服务器向各个客户服务器传输相同文件时，采用bt方式传输；当管理服务器向各个服务器传输不同文件时，采用rsync方式传输。

本发明提供的第三优选技术方案中，所述限速配置模块，根据限速配置策略对传输的数据进行限速。

本发明提供的第四优选技术方案中，限速配置策略包括：(1).限制数据发送端最大发送速率；(2).限制数据接收端最大接收速率。

本发明提供的第五优选技术方案中，所述数据传输单元，根据所述限速配置单元配置好的传输方式以及限速策略对数据进行限速传输。

本发明提供的第六优选技术方案中，所述数据传输单元采用bt传输，提供两种限速模式：

模式1：创建限定速率的数据种子；根据限制速率，动态生成传输文件的限速种子，其中创建种子时通过max upload rate参数实现对传输的速率限制；

模式2：通过客户服务器的防火墙配置实现速率的控制，通过增加iptableslimit 和burst参数配合完成。

本发明提供的第七优选技术方案中，所述数据传输单元采用rsync传输，通过对bwlimit的参数配置，进行流量控制。

本发明提供的第八优选技术方案中，提供一种流量可控的集群部署配置方法，其改进之处在于，所述方法包括如下步骤：

(a).选择文件传输方式；

(b).选择是否进行传输限速，如果选择限速，进入步骤c，否则进入步骤e；

(c).根据传输方式选择限速方式；

(d).配置限速值和目标速率；

(e).镜像或配置文件传输；

(f).完成镜像或配置文件的传输，开始具体的部署或配置。

本发明提供的第九优选技术方案中，在所述步骤a中，传输方式包括：bt传输方式和rsync传输方式。

本发明提供的第十优选技术方案中，在所述步骤c中，根据传输方式选择限速方式，如果是bt方式，则可选择防火墙限速和种子限速，如果是rsync方式传输，则通过rsync自身限速方式。

与现有技术比，本发明提供的一种流量可控的集群部署配置***与方法，构建一种流量可控的集群部署配置***，使得集群中服务器节点的***部署，程序分发等操作对网络的压力控制在任意范围以内，从而不对集群网络的正常使用造成影响；在集群部署及配置过程中加入数据传输速率控制，这样能很好的控制部署配置过程中占用的网络资源，避免影响到正在运行的应用及网络环境；而且，灵活的传输方式及速率限制方案，能够满足大多数集群配置及部署过程遇到的数据传输流量控制，便于运维人员更灵活便捷的根据实际需求进行特定的传输控制；再者，在集群的部署及配置过程中引入流量控制机制，提高网络资源利用率，本***和方法将多种数据传输及对应限速方式进行整合，提供统一配置入口，方便灵活选择及配置。

附图说明

图1为流量可控的集群部署配置***的结构示意图。

图2为流量可控的集群部署配置方法的结构示意图。

具体实施方式

如图1所示，一种流量可控的集群部署配置***，包括：管理服务器和分别接收其文件的各个客户服务器，所述管理服务器包括：限速配置单元和与其通信的数据传输单元。

所述限速配置单元，包括：依次设置的传输方式选择模块和限速配置模块。

所述传输方式选择模块，根据向各个客户服务器传输文件的异同，选择bt方式或者rsync方式对文件进行传输；其中，当管理服务器向各个客户服务器传输相同文件时，采用bt方式传输；当管理服务器向各个服务器传输不同文件时，采用rsync方式传输。

所述限速配置模块，根据限速配置策略对传输的数据进行限速。

限速配置策略包括：(1).限制数据发送端最大发送速率；(2).限制数据接收端最大接收速率。

所述数据传输单元，根据所述限速配置单元配置好的传输方式以及限速策略对数据进行限速传输。

所述数据传输单元采用bt传输，提供两种限速模式：

模式1：创建限定速率的数据种子；根据限制速率，动态生成传输文件的限速种子，其中创建种子时通过max upload rate参数实现对传输的速率限制；

模式2：通过客户服务器的防火墙配置实现速率的控制，通过增加iptables limit 和burst参数配合完成。

所述数据传输单元采用rsync传输，通过对bwlimit的参数配置，进行流量控制。

如图2所示，一种流量可控的集群部署配置方法，所述方法包括如下步骤：

(a).选择文件传输方式；

(b).选择是否进行传输限速，如果选择限速，进入步骤c，否则进入步骤e；

(c).根据传输方式选择限速方式；

(d).配置限速值和目标速率；

(e).镜像或配置文件传输；

(f).完成镜像或配置文件的传输，开始具体的部署或配置。

在所述步骤a中，传输方式包括：bt传输方式和rsync传输方式。

在所述步骤c中，根据传输方式选择限速方式，如果是bt方式，则可选择防火墙限速和种子限速，如果是rsync方式传输，则通过rsync自身限速方式。

下面通过实施例对流量可控的集群部署配置***与方法作进一步描述。

限速配置单元：提供较灵活的限速配置功能，运维人员在向目标节点传输***镜像或配置文件时，可以选择任意传输方式，并对制定的传输方式根据节点进行限速配置。

传输方式：本***中提供但不限于以下两种传输方式：BT传输，rsync传输。传输方式选择遵循以下规则：

规则1：向多台服务器传输相同数据，采用bt方式，提高传输效率。

规则2：向多台服务器传输不同数据，采用rsync方式。

限速配置：运维管理员可以选择几种限速策略：

策略1：限制数据发送端最大发送速率。

策略2：限制数据接收端最大接收速率。

数据传输单元：运维人员配置好传输方式以及限速策略后，管理服务器会解析限速配置，并根据传输方式的不同采用不同的限速方式进行限速传：

采用bt传输，提供两种限速模式。

模式1：创建限定速率的数据种子。根据运维人员期望的限制速率，动态生成传输文件的限速种子，其中创建种子时通过--max_upload_rate参数实现对传输的速率限制。

模式2：通过目标服务器的防火墙配置实现速率的控制。通过增加iptables limit、burst参数配合完成。

采用rsync传输，可直接通过rsync工具的-bwlimit参数配置，达到流量控制的目的。

流量可控的集群部署配置方法如图2，说明如下：

a.运维管理员在部署***或集群批量配置时，首先选择文件传输方式，提供了bt传输方式和rsync传输方式。

b.确定传输方式后，需要选择是否进行传输限速，如果选择限速，进入下一步，否则进入e。

c.根据传输方式选择限速方式，如果是bt方式，则可选择防火墙限速和种子限速，如果是rsync方式传输，则直接通过rsync自身限速方式即可。

d.配置限速值，根据实际需要，配置目标速率。

e.开始镜像或配置文件传输，***会自动根据所选的传输方式及速率限制配置控制传输的速率。

f.完成镜像或配置文件的传输，开始具体的部署或配置。

需要声明的是，本发明内容及具体实施方式意在证明本发明所提供技术方案的实际应用，不应解释为对本发明保护范围的限定。本领域技术人员在本发明的精神和原理启发下，可作各种修改、等同替换、或改进。但这些变更或修改均在申请待批的保护范围内。

Claims (7)

1.一种流量可控的集群部署配置***，包括：管理服务器和分别接收其文件的各个客户服务器，其特征在于，所述管理服务器包括：限速配置单元和与其通信的数据传输单元；

所述限速配置单元，包括：依次设置的传输方式选择模块和限速配置模块；

所述传输方式选择模块，根据向各个客户服务器传输文件的异同，选择bt方式或者rsync方式对文件进行传输；其中，当管理服务器向各个客户服务器传输相同文件时，采用bt方式传输；当管理服务器向各个服务器传输不同文件时，采用rsync方式传输；

所述数据传输单元采用bt传输，提供两种限速模式：

模式1：创建限定速率的数据种子；根据限制速率，动态生成传输文件的限速种子，其中创建种子时通过max upload rate参数实现对传输的速率限制；

模式2：通过客户服务器的防火墙配置实现速率的控制，通过增加iptables limit和burst参数配合完成。

2.根据权利要求1所述的***，其特征在于，所述限速配置模块，根据限速配置策略对传输的数据进行限速。

3.根据权利要求2所述的***，其特征在于，限速配置策略包括：(1).限制数据发送端最大发送速率；(2).限制数据接收端最大接收速率。

4.根据权利要求1所述的***，其特征在于，所述数据传输单元，根据所述限速配置单元配置好的传输方式以及限速策略对数据进行限速传输。

5.根据权利要求4所述的***，其特征在于，所述数据传输单元采用rsync传输，通过对bwlimit的参数配置，进行流量控制。

6.一种流量可控的集群部署配置方法，其特征在于，所述方法包括如下步骤：

(a).选择文件传输方式；

(b).选择是否进行传输限速，如果选择限速，进入步骤c，否则进入步骤e；

(c).根据传输方式选择限速方式；

(d).配置限速值和目标速率；

(e).镜像或配置文件传输；

(f).完成镜像或配置文件的传输，开始具体的部署或配置；

在所述步骤c中，根据传输方式选择限速方式，如果是bt方式，则可选择防火墙限速和种子限速，如果是rsync方式传输，则通过rsync自身限速方式。

7.根据权利要求6所述的方法，其特征在于，在所述步骤a中，传输方式包括：bt传输方式和rsync传输方式。