CN102882799A - 流量可控的集群部署配置***与方法 - Google Patents

流量可控的集群部署配置***与方法 Download PDF

Info

Publication number
CN102882799A
CN102882799A CN2012103379951A CN201210337995A CN102882799A CN 102882799 A CN102882799 A CN 102882799A CN 2012103379951 A CN2012103379951 A CN 2012103379951A CN 201210337995 A CN201210337995 A CN 201210337995A CN 102882799 A CN102882799 A CN 102882799A
Authority
CN
China
Prior art keywords
speed limit
transmission
collocation
configuration
mode
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2012103379951A
Other languages
English (en)
Other versions
CN102882799B (zh
Inventor
李帅
王明
龚文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shuguang Zhisuan Information Technology Co ltd
Original Assignee
Dawning Information Industry Beijing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dawning Information Industry Beijing Co Ltd filed Critical Dawning Information Industry Beijing Co Ltd
Priority to CN201210337995.1A priority Critical patent/CN102882799B/zh
Publication of CN102882799A publication Critical patent/CN102882799A/zh
Application granted granted Critical
Publication of CN102882799B publication Critical patent/CN102882799B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明提供了一种流量可控的集群部署配置***和方法，***包括：管理服务器和分别接收其文件的各个客户服务器，所述管理服务器包括：限速配置单元和与其通信的数据传输单元；方法包括如下步骤：(a).选择文件传输方式；(b).选择是否进行传输限速，如果选择限速，进入步骤c，否则进入步骤e；(c).根据传输方式选择限速方式；(d).配置限速值和目标速率；(e).镜像或配置文件传输；(f).完成镜像或配置文件的传输，开始具体的部署或配置。本发明提供的流量可控的集群部署配置***和方法，在集群的部署及配置过程中引入流量控制机制，提高网络资源利用率；而且，将多种数据传输及对应限速方式进行整合，提供统一配置入口，方便灵活选择及配置。

Description

流量可控的集群部署配置***与方法
技术领域
本发明属于计算机网络领域，具体涉及一种流量可控的集群部署配置***与方法。
背景技术
大型互联网公司，政府机构，超级计算中心因自身业务需要，拥有大量服务器节点，构成了众多庞大的集群。随着自身业务的不断发展，服务器集群规模仍在不断扩大。在集群的扩大和运维期间，服务器节点上的操作***安装，应用程序部署，配置文件分发是十分频繁的。而这些频繁的配置、维护、部署操作带来了大量集群间的文件传输操作，这些操作往往会占用很大部分网络带宽，甚至影响到集群自身的业务功能。
基于以上问题，急需要构建一种流量可控的集群部署配置框架，使得集群中服务器节点的***部署，程序分发等操作对网络的压力控制在任意范围以内，从而不对集群网络的正常使用造成影响。
现有的集群部署及集群配置工具和***均将重心放在配置维护的自动化上，而对网络的压力考虑较少，因此主要存在以下几个问题：
流量控制被忽视。集群运维中的数据传输一直是占用网络的重要部分，如果集群正在使用或正在提供网络服务，这些运维过程中的网络占用往往会对应用造成不小的影响，所以大多数集群部署配置操作需要暂停集群内的应用。因此需要解决运行期的集群部署配置对网络带宽占用的控制问题。
流量控制方案不灵活。集群运维期间的数据内容差异很大，主要来自集群服务器操作***部署过程中的镜像、集群软件安装中的软件包、集群配置中的文件等等。而且传输方式差异较大。因此缺少一种灵活的流量控制方案，能够针对数据传输的内容、数据传输的方式进行灵活的配置。
发明内容
为克服上述缺陷，本发明提供了一种流量可控的集群部署配置***与方法，在集群的部署及配置过程中引入流量控制机制，提高网络资源利用率；而且，将多种数据传输及对应限速方式进行整合，提供统一配置入口，方便灵活选择及配置。
为实现上述目的，本发明提供一种流量可控的集群部署配置***，包括：管理服务器和分别接收其文件的各个客户服务器，其改进之处在于，所述管理服务器包括：限速配置单元和与其通信的数据传输单元。
本发明提供的优选技术方案中，所述限速配置单元，包括：依次设置的传输方式选择模块和限速配置模块。
本发明提供的第二优选技术方案中，所述传输方式选择模块，根据向各个客户服务器传输文件的异同，选择bt方式或者rsync方式对文件进行传输；其中，当管理服务器向各个客户服务器传输相同文件时，采用bt方式传输；当管理服务器向各个服务器传输不同文件时，采用rsync方式传输。
本发明提供的第三优选技术方案中，所述限速配置模块，根据限速配置策略对传输的数据进行限速。
本发明提供的第四优选技术方案中，限速配置策略包括：(1).限制数据发送端最大发送速率；(2).限制数据接收端最大接收速率。
本发明提供的第五优选技术方案中，所述数据传输单元，根据所述限速配置单元配置好的传输方式以及限速策略对数据进行限速传输。
本发明提供的第六优选技术方案中，所述数据传输单元采用bt传输，提供两种限速模式：
模式1：创建限定速率的数据种子；根据限制速率，动态生成传输文件的限速种子，其中创建种子时通过max upload rate参数实现对传输的速率限制；
模式2：通过客户服务器的防火墙配置实现速率的控制，通过增加iptableslimit和burst参数配合完成。
本发明提供的第七优选技术方案中，所述数据传输单元采用rsync传输，通过对bwlimit的参数配置，进行流量控制。
本发明提供的第八优选技术方案中，提供一种流量可控的集群部署配置方法，其改进之处在于，所述方法包括如下步骤：
(a).选择文件传输方式；
(b).选择是否进行传输限速，如果选择限速，进入步骤c，否则进入步骤e；
(c).根据传输方式选择限速方式；
(d).配置限速值和目标速率；
(e).镜像或配置文件传输；
(f).完成镜像或配置文件的传输，开始具体的部署或配置。
本发明提供的第九优选技术方案中，在所述步骤a中，传输方式包括：bt传输方式和rsync传输方式。
本发明提供的第十优选技术方案中，在所述步骤c中，根据传输方式选择限速方式，如果是bt方式，则可选择防火墙限速和种子限速，如果是rsync方式传输，则通过rsync自身限速方式。
与现有技术比，本发明提供的一种流量可控的集群部署配置***与方法，构建一种流量可控的集群部署配置***，使得集群中服务器节点的***部署，程序分发等操作对网络的压力控制在任意范围以内，从而不对集群网络的正常使用造成影响；在集群部署及配置过程中加入数据传输速率控制，这样能很好的控制部署配置过程中占用的网络资源，避免影响到正在运行的应用及网络环境；而且，灵活的传输方式及速率限制方案，能够满足大多数集群配置及部署过程遇到的数据传输流量控制，便于运维人员更灵活便捷的根据实际需求进行特定的传输控制；再者，在集群的部署及配置过程中引入流量控制机制，提高网络资源利用率，本***和方法将多种数据传输及对应限速方式进行整合，提供统一配置入口，方便灵活选择及配置。
附图说明
图1为流量可控的集群部署配置***的结构示意图。
图2为流量可控的集群部署配置方法的结构示意图。
具体实施方式
如图1所示，一种流量可控的集群部署配置***，包括：管理服务器和分别接收其文件的各个客户服务器，所述管理服务器包括：限速配置单元和与其通信的数据传输单元。
所述限速配置单元，包括：依次设置的传输方式选择模块和限速配置模块。
所述传输方式选择模块，根据向各个客户服务器传输文件的异同，选择bt方式或者rsync方式对文件进行传输；其中，当管理服务器向各个客户服务器传输相同文件时，采用bt方式传输；当管理服务器向各个服务器传输不同文件时，采用rsync方式传输。
所述限速配置模块，根据限速配置策略对传输的数据进行限速。
限速配置策略包括：(1).限制数据发送端最大发送速率；(2).限制数据接收端最大接收速率。
所述数据传输单元，根据所述限速配置单元配置好的传输方式以及限速策略对数据进行限速传输。
所述数据传输单元采用bt传输，提供两种限速模式：
模式1：创建限定速率的数据种子；根据限制速率，动态生成传输文件的限速种子，其中创建种子时通过max upload rate参数实现对传输的速率限制；
模式2：通过客户服务器的防火墙配置实现速率的控制，通过增加iptableslimit和burst参数配合完成。
所述数据传输单元采用rsync传输，通过对bwlimit的参数配置，进行流量控制。
如图2所示，一种流量可控的集群部署配置方法，所述方法包括如下步骤：
(a).选择文件传输方式；
(b).选择是否进行传输限速，如果选择限速，进入步骤c，否则进入步骤e；
(c).根据传输方式选择限速方式；
(d).配置限速值和目标速率；
(e).镜像或配置文件传输；
(f).完成镜像或配置文件的传输，开始具体的部署或配置。
在所述步骤a中，传输方式包括：bt传输方式和rsync传输方式。
在所述步骤c中，根据传输方式选择限速方式，如果是bt方式，则可选择防火墙限速和种子限速，如果是rsync方式传输，则通过rsync自身限速方式。
下面通过实施例对流量可控的集群部署配置***与方法作进一步描述。
限速配置单元：提供较灵活的限速配置功能，运维人员在向目标节点传输***镜像或配置文件时，可以选择任意传输方式，并对制定的传输方式根据节点进行限速配置。
传输方式：本***中提供但不限于以下两种传输方式：BT传输，rsync传输。传输方式选择遵循以下规则：
规则1：向多台服务器传输相同数据，采用bt方式，提高传输效率。
规则2：向多台服务器传输不同数据，采用rsync方式。
限速配置：运维管理员可以选择几种限速策略：
策略1：限制数据发送端最大发送速率。
策略2：限制数据接收端最大接收速率。
数据传输单元：运维人员配置好传输方式以及限速策略后，管理服务器会解析限速配置，并根据传输方式的不同采用不同的限速方式进行限速传：
采用bt传输，提供两种限速模式。
模式1：创建限定速率的数据种子。根据运维人员期望的限制速率，动态生成传输文件的限速种子，其中创建种子时通过--max_upload_rate参数实现对传输的速率限制。
模式2：通过目标服务器的防火墙配置实现速率的控制。通过增加iptableslimit、burst参数配合完成。
采用rsync传输，可直接通过rsync工具的-bwlimit参数配置，达到流量控制的目的。
流量可控的集群部署配置方法如图2，说明如下：
a.运维管理员在部署***或集群批量配置时，首先选择文件传输方式，提供了bt传输方式和rsync传输方式。
b.确定传输方式后，需要选择是否进行传输限速，如果选择限速，进入下一步，否则进入e。
c.根据传输方式选择限速方式，如果是bt方式，则可选择防火墙限速和种子限速，如果是rsync方式传输，则直接通过rsync自身限速方式即可。
d.配置限速值，根据实际需要，配置目标速率。
e.开始镜像或配置文件传输，***会自动根据所选的传输方式及速率限制配置控制传输的速率。
f.完成镜像或配置文件的传输，开始具体的部署或配置。
需要声明的是，本发明内容及具体实施方式意在证明本发明所提供技术方案的实际应用，不应解释为对本发明保护范围的限定。本领域技术人员在本发明的精神和原理启发下，可作各种修改、等同替换、或改进。但这些变更或修改均在申请待批的保护范围内。

Claims (11)

1.一种流量可控的集群部署配置***，包括：管理服务器和分别接收其文件的各个客户服务器，其特征在于，所述管理服务器包括：限速配置单元和与其通信的数据传输单元。
2.根据权利要求1所述的***，其特征在于，所述限速配置单元，包括：依次设置的传输方式选择模块和限速配置模块。
3.根据权利要求2所述的***，其特征在于，所述传输方式选择模块，根据向各个客户服务器传输文件的异同，选择bt方式或者rsync方式对文件进行传输；其中，当管理服务器向各个客户服务器传输相同文件时，采用bt方式传输；当管理服务器向各个服务器传输不同文件时，采用rsync方式传输。
4.根据权利要求1所述的***，其特征在于，所述限速配置模块，根据限速配置策略对传输的数据进行限速。
5.根据权利要求4所述的***，其特征在于，限速配置策略包括：(1).限制数据发送端最大发送速率；(2).限制数据接收端最大接收速率。
6.根据权利要求1所述的***，其特征在于，所述数据传输单元，根据所述限速配置单元配置好的传输方式以及限速策略对数据进行限速传输。
7.根据权利要求6所述的***，其特征在于，所述数据传输单元采用bt传输，提供两种限速模式：
模式1：创建限定速率的数据种子；根据限制速率，动态生成传输文件的限速种子，其中创建种子时通过max upload rate参数实现对传输的速率限制；
模式2：通过客户服务器的防火墙配置实现速率的控制，通过增加iptableslimit和burst参数配合完成。
8.根据权利要求6所述的***，其特征在于，所述数据传输单元采用rsync传输，通过对bwlimit的参数配置，进行流量控制。
9.一种流量可控的集群部署配置方法，其特征在于，所述方法包括如下步骤：
(a).选择文件传输方式；
(b).选择是否进行传输限速，如果选择限速，进入步骤c，否则进入步骤e；
(c).根据传输方式选择限速方式；
(d).配置限速值和目标速率；
(e).镜像或配置文件传输；
(f).完成镜像或配置文件的传输，开始具体的部署或配置。
10.根据权利要求9所述的方法，其特征在于，在所述步骤a中，传输方式包括：bt传输方式和rsync传输方式。
11.根据权利要求9所述的方法，其特征在于，在所述步骤c中，根据传输方式选择限速方式，如果是bt方式，则可选择防火墙限速和种子限速，如果是rsync方式传输，则通过rsync自身限速方式。
CN201210337995.1A 2012-09-13 2012-09-13 流量可控的集群部署配置***与方法 Active CN102882799B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201210337995.1A CN102882799B (zh) 2012-09-13 2012-09-13 流量可控的集群部署配置***与方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201210337995.1A CN102882799B (zh) 2012-09-13 2012-09-13 流量可控的集群部署配置***与方法

Publications (2)

Publication Number Publication Date
CN102882799A true CN102882799A (zh) 2013-01-16
CN102882799B CN102882799B (zh) 2017-09-01

Family

ID=47483949

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210337995.1A Active CN102882799B (zh) 2012-09-13 2012-09-13 流量可控的集群部署配置***与方法

Country Status (1)

Country Link
CN (1) CN102882799B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111585892A (zh) * 2020-04-29 2020-08-25 平安科技（深圳）有限公司 数据中心流量管控方法和***
TWI721103B (zh) * 2016-03-25 2021-03-11 香港商阿里巴巴集團服務有限公司 集群精確限速方法和裝置

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1731738A (zh) * 2005-08-30 2006-02-08 西安交通大学 大规模计算机集群***节点的自动化快速部署方法
CN1848787A (zh) * 2006-04-30 2006-10-18 西安交通大学 一种集群服务器***节点的自动化快速部署方法
CN1925403A (zh) * 2005-09-02 2007-03-07 腾讯科技（深圳）有限公司 实现文件下载的网络通信***及方法
CN101119280A (zh) * 2006-08-04 2008-02-06 国际商业机器公司 对多个集群部署应用的方法和***
CN101170423A (zh) * 2007-11-15 2008-04-30 曙光信息产业(北京)有限公司 一种面向服务的机群部署方法
CN101330514A (zh) * 2008-07-15 2008-12-24 西安交通大学 一种具有自适应传输模型的微操作***部署方法
CN101594387A (zh) * 2009-06-29 2009-12-02 北京航空航天大学 虚拟集群部署方法和***
US20100042809A1 (en) * 2008-08-18 2010-02-18 International Business Machines Corporation Method and system for implementing a stream processing computer architecture
CN202261349U (zh) * 2011-10-26 2012-05-30 江苏省现代企业信息化应用支撑软件工程技术研发中心 安全传输数据且监控流量的主动式集群网络服务器架构
CN102497408A (zh) * 2011-12-08 2012-06-13 曙光信息产业(北京)有限公司 一种异构集群操作***半自动批量部署的方法
CN102520997A (zh) * 2011-12-08 2012-06-27 曙光信息产业(北京)有限公司 一种同构集群操作***半自动批量部署的方法
CN102572963A (zh) * 2012-01-11 2012-07-11 东南大学 一种适用于ofdm-uwb***的协作速率自适应传输方法

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1731738A (zh) * 2005-08-30 2006-02-08 西安交通大学 大规模计算机集群***节点的自动化快速部署方法
CN1925403A (zh) * 2005-09-02 2007-03-07 腾讯科技（深圳）有限公司 实现文件下载的网络通信***及方法
CN1848787A (zh) * 2006-04-30 2006-10-18 西安交通大学 一种集群服务器***节点的自动化快速部署方法
CN101119280A (zh) * 2006-08-04 2008-02-06 国际商业机器公司 对多个集群部署应用的方法和***
CN101170423A (zh) * 2007-11-15 2008-04-30 曙光信息产业(北京)有限公司 一种面向服务的机群部署方法
CN101330514A (zh) * 2008-07-15 2008-12-24 西安交通大学 一种具有自适应传输模型的微操作***部署方法
US20100042809A1 (en) * 2008-08-18 2010-02-18 International Business Machines Corporation Method and system for implementing a stream processing computer architecture
CN101594387A (zh) * 2009-06-29 2009-12-02 北京航空航天大学 虚拟集群部署方法和***
CN202261349U (zh) * 2011-10-26 2012-05-30 江苏省现代企业信息化应用支撑软件工程技术研发中心 安全传输数据且监控流量的主动式集群网络服务器架构
CN102497408A (zh) * 2011-12-08 2012-06-13 曙光信息产业(北京)有限公司 一种异构集群操作***半自动批量部署的方法
CN102520997A (zh) * 2011-12-08 2012-06-27 曙光信息产业(北京)有限公司 一种同构集群操作***半自动批量部署的方法
CN102572963A (zh) * 2012-01-11 2012-07-11 东南大学 一种适用于ofdm-uwb***的协作速率自适应传输方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
吴轶明: "《计算集群部署模块的设计与实现》", 《硕士学位论文》 *
吴轶明: "《高可靠性集群部署的设计与实现》", 《硕士学位论文》 *
薛正华等: "《高性能服务器集群部署***传输模型研究》", 《计算机学报》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI721103B (zh) * 2016-03-25 2021-03-11 香港商阿里巴巴集團服務有限公司 集群精確限速方法和裝置
CN111585892A (zh) * 2020-04-29 2020-08-25 平安科技（深圳）有限公司 数据中心流量管控方法和***

Also Published As

Publication number Publication date
CN102882799B (zh) 2017-09-01

Similar Documents

Publication Publication Date Title
CN102595208B (zh) 云端控制网络化视频图像处理流媒体服务***及方法
CN112583861B (zh) 服务部署方法、资源配置方法、***、装置及服务器
CN101652750B (zh) 数据处理装置、分散处理***、数据处理方法
CN103944769A (zh) 基于rpc协议的集群资源统一管理***
CN103036736B (zh) 一种基于数据源的组态化设备监控***及方法
CN101951411A (zh) 云调度***及方法以及多级云调度***
CN102523103B (zh) 一种工业监控网络数据采集结点
Ji et al. Dynamic network slicing orchestration for remote adaptation and configuration in industrial IoT
CN103368864A (zh) 一种基于c/s架构的智能负载均衡方法
CN102546839B (zh) 面向大规模网络的高效、可靠的软件分发方法
Liu et al. ERP: Edge resource pooling for data stream mobile computing
CN102594881A (zh) 一种虚拟机负载均衡方法、管理模块及虚拟机集群***
CN108304168A (zh) 一种边缘计算机操作***
CN112684719A (zh) 一种虚拟电厂仿真测试***、方法和存储介质
CN105406983A (zh) 一种基于用户需求的云计算网络管理控制方法
Lee et al. Development of an industrial internet of things suite for smart factory towards re-industrialization in Hong Kong
CN102882799A (zh) 流量可控的集群部署配置***与方法
CN105530157A (zh) Afdx网络交换机多个虚拟链路共享信用的方法
Zhao et al. Enabling switch memory management for distributed training with in-network aggregation
Wang et al. Deep reinforcement learning for demand-aware joint VNF placement-and-routing
CN110290206B (zh) 一种用于网吧环境的分布式计算***及方法
CN102541539A (zh) 一种基于m2m的供应链智能面板设计方法
Bellavista et al. Edge Cloud as an Enabler for Distributed AI in Industrial IoT Applications: the Experience of the IoTwins Project.
CN105426440B (zh) 一种基于数据库的异构型数据批量同步方法
Deng et al. Making resource adaptive to federated learning with COTS mobile devices

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20220727

Address after: 100193 No. 36 Building, No. 8 Hospital, Wangxi Road, Haidian District, Beijing

Patentee after: Dawning Information Industry (Beijing) Co.,Ltd.

Patentee after: DAWNING INFORMATION INDUSTRY Co.,Ltd.

Address before: 100193 No.36 Zhongguancun Software Park, No.8 Dongbeiwang West Road, Haidian District, Beijing

Patentee before: Dawning Information Industry (Beijing) Co.,Ltd.

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20231016

Address after: Zone A-1, 2nd Floor, Building 36, Yard 8, Dongbei Wangxi Road, Haidian District, Beijing, 100193

Patentee after: Shuguang zhisuan Information Technology Co.,Ltd.

Address before: 100193 No. 36 Building, No. 8 Hospital, Wangxi Road, Haidian District, Beijing

Patentee before: Dawning Information Industry (Beijing) Co.,Ltd.

Patentee before: DAWNING INFORMATION INDUSTRY Co.,Ltd.