CN111813556A - 云计算环境下的虚拟集群的弹性伸缩方法 - Google Patents

云计算环境下的虚拟集群的弹性伸缩方法 Download PDF

Info

Publication number
CN111813556A
CN111813556A CN202010705473.7A CN202010705473A CN111813556A CN 111813556 A CN111813556 A CN 111813556A CN 202010705473 A CN202010705473 A CN 202010705473A CN 111813556 A CN111813556 A CN 111813556A
Authority
CN
China
Prior art keywords
virtual
group
virtual machine
cluster
virtual cluster
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010705473.7A
Other languages
English (en)
Other versions
CN111813556B (zh
Inventor
李蕾
于洋
王鹏亮
黄锋
蒋平川
李利军
于滨峰
张春林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Dongfangtong Software Co ltd
Beijing Tongtech Co Ltd
Original Assignee
Beijing Dongfangtong Software Co ltd
Beijing Tongtech Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Dongfangtong Software Co ltd, Beijing Tongtech Co Ltd filed Critical Beijing Dongfangtong Software Co ltd
Priority to CN202010705473.7A priority Critical patent/CN111813556B/zh
Publication of CN111813556A publication Critical patent/CN111813556A/zh
Application granted granted Critical
Publication of CN111813556B publication Critical patent/CN111813556B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/50Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5061Partitioning or combining of resources
    • G06F9/5077Logical partitioning of resources; Management or configuration of virtualized resources
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/455Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533Hypervisors; Virtual machine monitors
    • G06F9/45558Hypervisor-specific management and integration aspects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/455Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533Hypervisors; Virtual machine monitors
    • G06F9/45558Hypervisor-specific management and integration aspects
    • G06F2009/45562Creating, deleting, cloning virtual machine instances

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明提供了一种云计算环境下的虚拟集群的弹性伸缩方法,包括以下步骤:S100实时采集并记录云计算网络的业务申请量,由业务申请量换算出虚拟集群需求量,检测虚拟集群的当前群组内虚拟机的群组资源数量;S200判断需求量和群组资源数量是否匹配,若是则回到S100,若否则执行S300;S300判断需求量是否小于群组资源数量,若是执行S500,若否则执行S400;S400在当前虚拟集群的群组外搜寻可用的虚拟机资源并纳入到虚拟集群的群组内,群组资源数量加1然后回到S200;S500从虚拟集群的群组内选择并剔除虚拟机,群组资源数量减1然后回到S200。根据业务申请量和虚拟集群内的资源数量的对比差异,对虚拟集群进行增补或者剔除调整,使得虚拟集群可以适应企业业务波动需求变化。

Description

云计算环境下的虚拟集群的弹性伸缩方法
技术领域
本发明涉及虚拟集群伸缩技术领域,特别涉及一种云计算环境下的虚拟集群的弹性伸缩方法。
背景技术
云计算服务商所提供的传统云服务器是一种简单高效,处理能力有限的服务器集群,服务器集群也叫虚拟集群,可以对云端虚拟集群做初始化设置,能够快速构建稳定、安全的应用虚拟集群,虚拟集群的群组规模保持不变。将业务集群托管到云端,集群将提高其易用性和安全性,并降低它的成本,以使得用户更加专注于核心业务。
但是,企业业务规模往往是存在波动的,当业务量缩小时,其业务量不需要占用整个虚拟集群的虚拟机资源,因而虚拟集群内就会存在虚拟机资源闲置,资源没有得到充分利用,造成资源浪费;当业务量增大时,其业务量所需要的虚拟机资源可能超过整个虚拟集群现有资源数量,造成现有虚拟集群内资源无法满足需要。
发明内容
为了解决上述技术问题,本发明提供了一种云计算环境下的虚拟集群的弹性伸缩方法,包括以下步骤:
S100实时采集并记录云计算网络的业务申请量,由业务申请量换算出虚拟集群需求量,检测虚拟集群的当前群组内虚拟机的群组资源数量;
S200判断需求量和群组资源数量是否匹配,若是则回到S100,若否则执行S300;
S300判断需求量是否小于群组资源数量,若是执行S500,若否则执行S400;
S400在当前虚拟集群的群组外搜寻可用的虚拟机资源并纳入到虚拟集群的群组内,群组资源数量加1然后回到S200;
S500从虚拟集群的群组内选择并剔除虚拟机,群组资源数量减1然后回到S200。
可选的,对云计算网络的业务申请进行识别分类,对同类业务进行归并压缩,再根据业务类型进行分组,对网络设备上来自不同用户和不同业务量类别的分组进行优先级排序;在网络设备上设置分层调度器,所述分层调度器包括排列指令和出列指令;排列指令用于基于调度级别的层级在网络设备的传输之前,读取分组的数据字段,以便将多个队列中的一个相应队列确定为所述分组的目的地,将分组暂时存储在一个队列中;出列指令,用于根据一个或多个策略从所述多个队列中出列分组;以及基于调度级别的层级将分组提供给发送器;分层调度器用于至少部分基于调度级别的层级对分组进行优先级排序,调度级别的层级包括端口层、子端口层、管道层、业务量类别层和队列层;所述分层调度器用于使用令牌桶为所述子端口层和所述管道层实现业务量整形,并且为所述业务量类别层实现严格优先级;
检测虚拟集群群组内的虚拟机反应速度并根据速度由快到慢进行编号,新纳入群组的虚拟机根据纳入时间编号在后,若剔除则根据编号倒序选择虚拟机,根据编号顺序分别与调度级别的层级对接,并由编号在前的虚拟机处理优先级排序在前的业务申请。
可选的,设立虚拟机备用库,把从虚拟集群的群组内剔除的虚拟机纳入虚拟机备用库,并根据入库时间对虚拟机编号排序,库内虚拟机排序实时更新,当需求量大于虚拟集群群组的虚拟机数量时,优先从虚拟机备用库以编号倒序选取虚拟机,检测选取的虚拟机能够使用后纳入到虚拟集群的群组内。
可选的,在S400步骤中,所述虚拟机资源包括CPU、内存、网络以及磁盘,优先在虚拟集群涉及的物理机上进行搜寻,以搜寻到的可用CPU、内存、网络以及磁盘创建虚拟机,然后把创建后的虚拟机纳入到虚拟集群的群组内。
可选的,所述业务申请量采集和记录过程如下:
S110从网络监控中获取起止点流,提取每条起止点流的路径信息,构建起止点流流量矩阵,将获取的起止点流进行起止点编码,并形成起止点对标识映射表;
S120根据所述起止点流流量矩阵、起止点流的路径信息和采集的资源约束计算出用于监测不同范围的采样清单;
S130将所述采样清单分别分配给各个路由器,给路由器配置分发起止点对标识映射表;
S140根据所述起止点对标识映射表和所述采样清单,对进入网络中的数据包进行分组监测分析,得到流数据并记录。
可选的,所述采样清单范围为在保证总的流量覆盖最大的前提下使每条流被采集的数量最小的问题求解,通过采用约束方程求解所述采样清单范围的优化解S*=<Sij>,1≤i≤m,1≤j≤n,即max totgivenfrac(α)为:
Figure BDA0002594527120000031
约束条件为
Figure BDA0002594527120000032
Figure BDA0002594527120000033
Figure BDA0002594527120000034
Figure BDA0002594527120000035
Figure BDA0002594527120000036
其中,Hi代表起止点流的流量矩阵H的第i列,Kj代表路由器j对应的采集器的资源约束;Ri代表实测起止点流i被所有路由器对应的采集器采集的百分数;Sij表示路由器j对应的采集器采集的起止点流i的百分数;α代表每条流被采集的最小百分数;
将所述采样清单范围的优化解映射到所述路由器的采样清单中。
可选的,所述虚拟集群设有虚拟交换机,所述虚拟集群的群组中各虚拟机都与虚拟交换机连接实现数据交互。
可选的,在S400步骤中,所述虚拟机纳入到虚拟集群的群组中的操作如下:
S410当虚拟集群的虚拟机节点网络代理接收到由主服务器发出的网络变更请求时,根据在主服务器中保存的静态路由表来更新计算节点的虚拟交换机的流表信息,以保证计算节点中的虚拟机将数据包正确地发送到所述虚拟交换机;所述网络变更请求为将虚拟机的多个网卡之中的一个网卡切换至另一个网卡的请求或者将虚拟机的网卡切换至为虚拟机添加的网卡的请求;
S420由计算节点中的虚拟机的云主机网络代理根据从所述主服务器获取的路由信息来更新所述虚拟机内部的路由表,以使得虚拟机内部的路由信息与虚拟交换机的流表信息匹配,使所述虚拟机通过根据路由信息选定的网卡将数据包发送到规定的网关。
可选的,在S400步骤中,在当前虚拟集群的群组外搜寻可用的虚拟机资源的方法如下:
第一,向与虚拟集群的虚拟机相邻的群组外部邻居节点发出搜索信息;
第二,所述邻居节点收到节点的搜索消息后,查询自身资源信息索引表;当资源信息索引表存在目标资源时,将搜索结果回复给所述节点;当自身资源信息索引表不存在目标资源时,则将节点的搜索消息转发给自身的邻居节点,由自身的邻居节点查询其资源信息索引表,以这种相邻传递方式至搜索到可用的虚拟机资源为止。
可选的,在S500步骤中,从虚拟集群的群组内选择并剔除虚拟机的步骤如下:
首先,在虚拟集群处理业务申请时,记录其处理业务申请有关的时间、CPU和存储量信息;其次,采用以下公式计算虚拟集群的群组内各虚拟机节点的业务申请处理能力:
Figure BDA0002594527120000041
上式中,Pn表示虚拟机节点的业务申请处理能力;n表示虚拟机处理的业务申请;Tn表示处理第n个业务申请所需要的时间;k表示;E(t)表示t时刻可用的CPU;A(t)表示t时刻可用的存储量;X表示算法水平,是一个假定的与时间无关的常数;t表示时间;f[E(t),A(t),X,t]表示搜索引擎对CPU、存储和算法三个要素的函数关系;
然后根据各虚拟机节点的处理能力由小到大对虚拟机节点进行排序;
最后,当后续判断需求量小于群组资源数量时,根据虚拟机节点排序剔除虚拟机。
本发明,通过记录业务申请量和检测虚拟集群内的群组资源数量,并进行对比断定两者的匹配性,若不匹配,则根据两者的大小差异对虚拟集群的群组内虚拟机进行增补或者剔除调整,使得虚拟集群的群组内虚拟机可以适应企业业务规模波动;例如:当业务量缩小时,剔除虚拟集群内存在的闲置虚拟机资源,避免造成资源浪费;当业务量增大时,从外部搜索可用的虚拟机资源并添加到虚拟集群的群组内,以满足企业业务增长需求。即虚拟集群采用弹性调整方式始终保持与需求的匹配性。
本发明的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
下面通过附图和实施例,对本发明的技术方案做进一步的详细描述。
附图说明
附图用来提供对本发明的进一步理解,并且构成说明书的一部分,与本发明的实施例一起用于解释本发明,并不构成对本发明的限制。在附图中:
图1为本发明实施例中一种云计算环境下的虚拟集群的弹性伸缩方法的流程图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明,应当理解,此处所描述的优选实施例仅用于说明和解释本发明,并不用于限定本发明。
本发明实施例提供了一种云计算环境下的虚拟集群的弹性伸缩方法,如图1所示,包括以下步骤:
S100实时采集并记录云计算网络的业务申请量,由业务申请量换算出虚拟集群需求量,检测虚拟集群的当前群组内虚拟机的群组资源数量;
S200判断需求量和群组资源数量是否匹配,若是则回到S100,若否则执行S300;
S300判断需求量是否小于群组资源数量,若是执行S500,若否则执行S400;
S400在当前虚拟集群的群组外搜寻可用的虚拟机资源并纳入到虚拟集群的群组内,群组资源数量加1然后回到S200;
S500从虚拟集群的群组内选择并剔除虚拟机,群组资源数量减1然后回到S200。
上述技术方案的工作原理和有益效果为:通过记录业务申请量和检测虚拟集群内的群组资源数量,并进行对比断定两者的匹配性,若不匹配,则根据两者的大小差异对虚拟集群的群组内虚拟机进行增补或者剔除调整,使得虚拟集群的群组内虚拟机可以适应企业业务规模波动;例如:当业务量缩小时,剔除虚拟集群内存在的闲置虚拟机资源,避免造成资源浪费;当业务量增大时,从外部搜索可用的虚拟机资源并添加到虚拟集群的群组内,以满足企业业务增长需求。即虚拟集群采用弹性调整方式始终保持与需求的匹配性。
在一个实施例中,对云计算网络的业务申请进行识别分类,对同类业务进行归并压缩,再根据业务类型进行分组,对网络设备上来自不同用户和不同业务量类别的分组进行优先级排序;
在网络设备上设置分层调度器,所述分层调度器包括排列指令和出列指令;排列指令用于基于调度级别的层级在网络设备的传输之前,读取分组的数据字段,以便将多个队列中的一个相应队列确定为所述分组的目的地,将分组暂时存储在一个队列中;出列指令,用于根据一个或多个策略从所述多个队列中出列分组;以及基于调度级别的层级将分组提供给发送器;分层调度器用于至少部分基于调度级别的层级对分组进行优先级排序,调度级别的层级包括端口层、子端口层、管道层、业务量类别层和队列层;所述分层调度器用于使用令牌桶为所述子端口层和所述管道层实现业务量整形,并且为所述业务量类别层实现严格优先级;
检测虚拟集群群组内的虚拟机反应速度并根据速度由快到慢进行编号,新纳入群组的虚拟机根据纳入时间编号在后,若剔除则根据编号倒序选择虚拟机,根据编号顺序分别与调度级别的层级对接,并由编号在前的虚拟机处理优先级排序在前的业务申请。
上述技术方案的工作原理和为:根据业务类型对业务申请进行优先级分组,采用分层调度器对业务申请的优先级分组进行分层调度;另外通过检测虚拟集群群组内的虚拟机反应速度并根据速度由快到慢进行编号,让优先级在前的业务申请优先使用反应速度快的虚拟机资源,把反应速度慢的多余虚拟机资源从群组内剔除,若群组内虚拟机资源不足,则从群组外搜索纳入进行增补,增补入的虚拟机根据增补顺序来处理剩下的业务申请,避免由增补虚拟机处理优先级在前的业务申请而耽误。
上述技术方案的有益效果为:对虚拟集群群组内的虚拟机处理业务申请规则进行优化,使得优先级在前的重要业务申请能够得到更好的虚拟机服务,更快地得到处理结果;在虚拟集群的弹性调整方面,优先保障优质资源能够保存在群组内。
在一个实施例中,设立虚拟机备用库,把从虚拟集群的群组内剔除的虚拟机纳入虚拟机备用库,并根据入库时间对虚拟机编号排序,库内虚拟机排序实时更新,当需求量大于虚拟集群群组的虚拟机数量时,优先从虚拟机备用库以编号倒序选取虚拟机,检测选取的虚拟机能够使用后纳入到虚拟集群的群组内。
上述技术方案的工作原理和有益效果为:通过建立虚拟机备用库,给虚拟集群做弹性备用,在虚拟集群需要增补虚拟机时,第一时间搜索使用虚拟机备用库内的资源,避免了从外部搜索导致的效率降低。对于虚拟机备用库内的资源在没有被纳入虚拟集群时,可以根据其入库时序顺序提供给其他用途使用,以避免资源学浪费,若有多个虚拟集群可以共用一个虚拟机备用库。
在一个实施例中,在S400步骤中,所述虚拟机资源包括CPU、内存、网络以及磁盘,优先在虚拟集群涉及的物理机上进行搜寻,以搜寻到的可用CPU、内存、网络以及磁盘创建虚拟机,然后把创建后的虚拟机纳入到虚拟集群的群组内。
上述技术方案的工作原理和有益效果为:虚拟机需要物理资源的支持,在虚拟集群外部往往没有现成的虚拟机,而是需要利用外部物理资源进行虚拟机创建,因此,从群组外部搜索时,最好是先搜寻网络上的可用物理资源,然后以可用物理资源来创建虚拟机,再与虚拟集群创建内部连接纳入群组内。
在一个实施例中,所述业务申请量采集和记录过程如下:
S110从网络监控中获取起止点流,提取每条起止点流的路径信息,构建起止点流流量矩阵,将获取的起止点流进行起止点编码,并形成起止点对标识映射表;
S120根据所述起止点流量矩阵、起止点流的路径信息和采集的资源约束计算出用于监测不同范围的采样清单;
S130将所述采样清单分别分配给各个路由器,给路由器配置分发起止点对标识映射表;
S140根据所述起止点对标识映射表和所述采样清单,对进入网络中的数据包进行分组监测分析,得到流数据并记录。
上述技术方案的工作原理和有益效果为:本发明需要采集业务申请量,而起止点流量是对业务申请量的不同表述,上述方案给出了计算起止点流量的方法,可以较好地实现业务申请量统计。起止点流指起止点调查又称起止点交通量调查,是指起点到终点间的交通出行量,本文中指起点到终点间的数据流。
在一个实施例中,所述采样清单范围为在保证总的流量覆盖最大的前提下使每条流被采集的数量最小的问题求解,通过采用约束方程求解所述采样清单范围的优化解S*=<Sij>,1≤i≤m,1≤j≤n,即max totgivenfrac(α):
Figure BDA0002594527120000071
约束条件为
Figure BDA0002594527120000072
Figure BDA0002594527120000073
Figure BDA0002594527120000074
Figure BDA0002594527120000075
Figure BDA0002594527120000076
其中,Hi代表起止点流流量矩阵P的第i列,Kj代表路由器j对应的采集器的资源约束;Ri代表实测起止点流i被所有路由器对应的采集器采集的百分数;Sij表示路由器j对应的采集器采集的起止点流i的百分数;α代表每条流被采集的最小百分数;
将所述采样清单范围的优化解映射到所述路由器的采样清单中。
上述技术方案的工作原理和有益效果为:通过上述算法,优化业务申请的流量采集策略,简化采样过程,提高采集速度和采集准确率,避免因采集滞后而耽误数据处理降低虚拟集群的弹性应变能力。
在一个实施例中,所述虚拟集群设有虚拟交换机,所述虚拟集群的群组中各虚拟机都与虚拟交换机连接实现数据交互;在S400步骤中,所述虚拟机纳入到虚拟集群的群组中的操作如下:
S410当虚拟集群的虚拟机节点网络代理接收到由主服务器发出的网络变更请求时,根据在主服务器中保存的静态路由表来更新计算节点的虚拟交换机的流表信息,以保证计算节点中的虚拟机将数据包正确地发送到所述虚拟交换机;所述网络变更请求为将虚拟机的多个网卡之中的一个网卡切换至另一个网卡的请求或者将虚拟机的网卡切换至为虚拟机添加的网卡的请求;
S420由计算节点中的虚拟机的云主机网络代理根据从所述主服务器获取的路由信息来更新所述虚拟机内部的路由表,以使得虚拟机内部的路由信息与虚拟交换机的流表信息匹配,使所述虚拟机通过根据路由信息选定的网卡将数据包发送到规定的网关。
上述技术方案的工作原理和有益效果为:上述方案对当虚拟集群需要增加虚拟机时,细化了把虚拟机纳入到群组内的方法,通过该方法,可以简便且快速地实现虚拟集群的扩展,缩减了群组的增补反应时间,可快速应对业务申请量增长的变化,避免业务申请出现长时间的排队等待。
在一个实施例中,在S400步骤中,在当前虚拟集群的群组外搜寻可用的虚拟机资源的方法如下:
第一,向与虚拟集群的虚拟机相邻的群组外部邻居节点发出搜索信息;
第二,所述邻居节点收到节点的搜索消息后,查询自身资源信息索引表;当资源信息索引表存在目标资源时,将搜索结果回复给所述节点;当自身资源信息索引表不存在目标资源时,则将节点的搜索消息转发给自身的邻居节点,由自身的邻居节点查询其资源信息索引表,以这种相邻传递方式至搜索到可用的虚拟机资源为止。
上述技术方案的工作原理和有益效果为:洪泛转发和漫步转发方式进行外部资源搜索,避免了搜索的盲目和无序,提高了搜索的目的性,实现了搜索的有序性,防止了搜索的杂乱导致效率低下,在一定程度上缩小了搜索的范围,提高搜索的速度和效率,该方法更有利于加强后续虚拟集群的结构紧密度,使得外部资源能够更快更好地被纳入到群组内。
在一个实施例中,在S500步骤中,从虚拟集群的群组内选择并剔除虚拟机的步骤如下:
首先,在虚拟集群处理业务申请时,记录其处理业务申请有关的时间、CPU和存储量信息;其次,采用以下公式计算虚拟集群的群组内各虚拟机节点的业务申请处理能力:
Figure BDA0002594527120000091
上式中,Pn表示虚拟机节点的业务申请处理能力;n表示虚拟机处理的业务申请;Tn表示处理第n个业务申请所需要的时间;k表示;E(t)表示t时刻可用的CPU;A(t)表示t时刻可用的存储量;X表示算法水平,是一个假定的与时间无关的常数;t表示时间;f[E(t),A(t),X,t]表示搜索引擎对CPU、存储和算法三个要素的函数关系;
根据各虚拟机节点的处理能力由小到大对虚拟机节点进行排序;
最后,当后续判断需求量小于群组资源数量时,根据虚拟机节点排序剔除虚拟机。
上述技术方案的工作原理和有益效果为:上述方案采用虚拟集群的群组内虚拟机对前面的业务申请处理的能力进行量化计算的方式,对群组内的虚拟机的业务申请处理能力进行评估和排序,以此为基础,在后续若业务申请量出现下降,需要缩减群组内的虚拟机时,可以根据处理能力排序优先保留处理能力较好的虚拟机在群组内,而把处理能力较弱的虚拟机剔除出群组,在虚拟集群缩减时直到优化群组的作用。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种云计算环境下的虚拟集群的弹性伸缩方法,其特征在于,包括以下步骤:
S100实时采集并记录云计算网络的业务申请量,由业务申请量换算出虚拟集群需求量,检测虚拟集群的当前群组内虚拟机的群组资源数量;
S200判断需求量和群组资源数量是否匹配,若是则回到S100,若否则执行S300;
S300判断需求量是否小于群组资源数量,若是执行S500,若否则执行S400;
S400在当前虚拟集群的群组外搜寻可用的虚拟机资源并纳入到虚拟集群的群组内,群组资源数量加1然后回到S200;
S500从虚拟集群的群组内选择并剔除虚拟机,群组资源数量减1然后回到S200。
2.根据权利要求1所述的云计算环境下的虚拟集群的弹性伸缩方法,其特征在于,对云计算网络的业务申请进行识别分类,对同类业务进行归并压缩,再根据业务类型进行分组,对网络设备上来自不同用户和不同业务量类别的分组进行优先级排序;
在网络设备上设置分层调度器,所述分层调度器包括排列指令和出列指令;排列指令用于基于调度级别的层级在网络设备的传输之前,读取分组的数据字段,以便将多个队列中的一个相应队列确定为所述分组的目的地,将分组暂时存储在一个队列中;出列指令,用于根据一个或多个策略从所述多个队列中出列分组;以及基于调度级别的层级将分组提供给发送器;分层调度器用于至少部分基于调度级别的层级对分组进行优先级排序,调度级别的层级包括端口层、子端口层、管道层、业务量类别层和队列层;所述分层调度器用于使用令牌桶为所述子端口层和所述管道层实现业务量整形,并且为所述业务量类别层实现严格优先级;
检测虚拟集群群组内的虚拟机反应速度并根据速度由快到慢进行编号,新纳入群组的虚拟机根据纳入时间编号在后,若剔除则根据编号倒序选择虚拟机,根据编号顺序分别与调度级别的层级对接,并由编号在前的虚拟机处理优先级排序在前的业务申请。
3.根据权利要求1所述的云计算环境下的虚拟集群的弹性伸缩方法,其特征在于,设立虚拟机备用库,把从虚拟集群的群组内剔除的虚拟机纳入虚拟机备用库,并根据入库时间对虚拟机编号排序,库内虚拟机排序实时更新,当需求量大于虚拟集群群组的虚拟机数量时,优先从虚拟机备用库以编号倒序选取虚拟机,检测选取的虚拟机能够使用后纳入到虚拟集群的群组内。
4.根据权利要求1所述的云计算环境下的虚拟集群的弹性伸缩方法,其特征在于,在S400步骤中,所述虚拟机资源包括CPU、内存、网络以及磁盘,优先在虚拟集群涉及的物理机上进行搜寻,以搜寻到的可用CPU、内存、网络以及磁盘创建虚拟机,然后把创建后的虚拟机纳入到虚拟集群的群组内。
5.根据权利要求1所述的云计算环境下的虚拟集群的弹性伸缩方法,其特征在于,所述业务申请量采集和记录过程如下:
S110从网络监控中获取起止点流,提取每条起止点流的路径信息,构建起止点流流量矩阵,将获取的起止点流进行起止点编码,并形成起止点对标识映射表;
S120根据所述起止点流流量矩阵、起止点流的路径信息和采集的资源约束计算出用于监测不同范围的采样清单;
S130将所述采样清单分别分配给各个路由器,给路由器配置分发起止点对标识映射表;
S140根据所述起止点对标识映射表和所述采样清单,对进入网络中的数据包进行分组监测分析,得到流数据并记录。
6.根据权利要求5所述的云计算环境下的虚拟集群的弹性伸缩方法,其特征在于,所述采样清单范围为在保证总的流量覆盖最大的前提下使每条流被采集的数量最小的问题求解,通过采用约束方程求解所述采样清单范围的优化解S*=<Sij>,1≤≤m,1≤j≤n,即maxtotgivenfrac(α)为:
Figure FDA0002594527110000021
约束条件为
Figure FDA0002594527110000022
Figure FDA0002594527110000023
Figure FDA0002594527110000024
Figure FDA0002594527110000025
Figure FDA0002594527110000026
其中,Hi代表起止点流的流量矩阵H的第i列,Kj代表路由器j对应的采集器的资源约束;Ri代表实测起止点流i被所有路由器对应的采集器采集的百分数;Sij表示路由器j对应的采集器采集的起止点流i的百分数;α代表每条流被采集的最小百分数;
将所述采样清单范围的优化解映射到所述路由器的采样清单中。
7.根据权利要求1所述的云计算环境下的虚拟集群的弹性伸缩方法,其特征在于,所述虚拟集群设有虚拟交换机,所述虚拟集群的群组中各虚拟机都与虚拟交换机连接实现数据交互。
8.根据权利要求7所述的云计算环境下的虚拟集群的弹性伸缩方法,其特征在于,在S400步骤中,所述虚拟机纳入到虚拟集群的群组中的操作如下:
S410当虚拟集群的虚拟机节点网络代理接收到由主服务器发出的网络变更请求时,根据在主服务器中保存的静态路由表来更新计算节点的虚拟交换机的流表信息,以保证计算节点中的虚拟机将数据包正确地发送到所述虚拟交换机;所述网络变更请求为将虚拟机的多个网卡之中的一个网卡切换至另一个网卡的请求或者将虚拟机的网卡切换至为虚拟机添加的网卡的请求;
S420由计算节点中的虚拟机的云主机网络代理根据从所述主服务器获取的路由信息来更新所述虚拟机内部的路由表,以使得虚拟机内部的路由信息与虚拟交换机的流表信息匹配,使所述虚拟机通过根据路由信息选定的网卡将数据包发送到规定的网关。
9.根据权利要求1所述的云计算环境下的虚拟集群的弹性伸缩方法,其特征在于,在S400步骤中,在当前虚拟集群的群组外搜寻可用的虚拟机资源的方法如下:
第一,向与虚拟集群的虚拟机相邻的群组外部邻居节点发出搜索信息;
第二,所述邻居节点收到节点的搜索消息后,查询自身资源信息索引表;当资源信息索引表存在目标资源时,将搜索结果回复给所述节点;当自身资源信息索引表不存在目标资源时,则将节点的搜索消息转发给自身的邻居节点,由自身的邻居节点查询其资源信息索引表,以这种相邻传递方式至搜索到可用的虚拟机资源为止。
10.根据权利要求1所述的云计算环境下的虚拟集群的弹性伸缩方法,其特征在于,在S500步骤中,从虚拟集群的群组内选择并剔除虚拟机的步骤如下:
首先,在虚拟集群处理业务申请时,记录其处理业务申请有关的时间、CPU和存储量信息;
其次,采用以下公式计算虚拟集群的群组内各虚拟机节点的业务申请处理能力:
Figure FDA0002594527110000031
上式中,Pn表示虚拟机节点的业务申请处理能力;n表示虚拟机处理的业务申请;Tn表示处理第n个业务申请所需要的时间;k表示;E(t)表示t时刻可用的CPU;A(t)表示t时刻可用的存储量;X表示算法水平,是一个假定的与时间无关的常数;t表示时间;f[E(t),A(t),X,t]表示搜索引擎对CPU、存储和算法三个要素的函数关系;
然后根据各虚拟机节点的处理能力由小到大对虚拟机节点进行排序;
最后,当后续判断需求量小于群组资源数量时,根据虚拟机节点排序剔除虚拟机。
CN202010705473.7A 2020-07-21 2020-07-21 云计算环境下的虚拟集群的弹性伸缩方法 Active CN111813556B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010705473.7A CN111813556B (zh) 2020-07-21 2020-07-21 云计算环境下的虚拟集群的弹性伸缩方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010705473.7A CN111813556B (zh) 2020-07-21 2020-07-21 云计算环境下的虚拟集群的弹性伸缩方法

Publications (2)

Publication Number Publication Date
CN111813556A true CN111813556A (zh) 2020-10-23
CN111813556B CN111813556B (zh) 2021-04-09

Family

ID=72861786

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010705473.7A Active CN111813556B (zh) 2020-07-21 2020-07-21 云计算环境下的虚拟集群的弹性伸缩方法

Country Status (1)

Country Link
CN (1) CN111813556B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112787853A (zh) * 2020-12-29 2021-05-11 中国建设银行股份有限公司 网络变更方案的自动生成方法、装置及相关设备
CN115098035A (zh) * 2022-07-08 2022-09-23 天津华呈鼎丰科技有限公司 基于多端云计算集群的大数据存储方法及***
CN116149798A (zh) * 2023-04-13 2023-05-23 北京中电德瑞电子科技有限公司 云操作***的虚拟机控制方法、装置以及存储介质

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103825785A (zh) * 2014-03-24 2014-05-28 北京中电普华信息技术有限公司 一种服务节点的监测方法及装置
US9354960B2 (en) * 2010-12-27 2016-05-31 Red Hat, Inc. Assigning virtual machines to business application service groups based on ranking of the virtual machines
CN106126338A (zh) * 2016-06-21 2016-11-16 浪潮(北京)电子信息产业有限公司 一种虚拟机集群伸缩配置的方法及装置
CN106357479A (zh) * 2016-11-15 2017-01-25 中国人民解放军防空兵学院 一种全网络流量监测方法
CN106790726A (zh) * 2017-03-30 2017-05-31 电子科技大学 一种基于Docker云平台的优先级队列动态反馈负载均衡资源调度方法
CN109032751A (zh) * 2017-06-12 2018-12-18 华为技术有限公司 一种虚拟机部署方法及omm虚拟机
CN109862591A (zh) * 2019-02-28 2019-06-07 电子科技大学 一种基于Qos空口切片的带宽借用与缓存共享方法
CN109960585A (zh) * 2019-02-02 2019-07-02 浙江工业大学 一种基于kubernetes的资源调度方法
CN109981493A (zh) * 2019-04-09 2019-07-05 苏州浪潮智能科技有限公司 一种用于配置虚拟机网络的方法和装置
CN110825212A (zh) * 2019-10-17 2020-02-21 北京京东尚科信息技术有限公司 节能调度方法及装置、计算机可存储介质
CN111078369A (zh) * 2019-12-27 2020-04-28 中国建设银行股份有限公司 一种云计算机下虚拟机分配方法、装置以及服务器
CN111399985A (zh) * 2020-03-19 2020-07-10 国网山东省电力公司 云计算环境下基于存储差值迭代的负载均衡方法

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9354960B2 (en) * 2010-12-27 2016-05-31 Red Hat, Inc. Assigning virtual machines to business application service groups based on ranking of the virtual machines
CN103825785A (zh) * 2014-03-24 2014-05-28 北京中电普华信息技术有限公司 一种服务节点的监测方法及装置
CN106126338A (zh) * 2016-06-21 2016-11-16 浪潮(北京)电子信息产业有限公司 一种虚拟机集群伸缩配置的方法及装置
CN106357479A (zh) * 2016-11-15 2017-01-25 中国人民解放军防空兵学院 一种全网络流量监测方法
CN106790726A (zh) * 2017-03-30 2017-05-31 电子科技大学 一种基于Docker云平台的优先级队列动态反馈负载均衡资源调度方法
CN109032751A (zh) * 2017-06-12 2018-12-18 华为技术有限公司 一种虚拟机部署方法及omm虚拟机
CN109960585A (zh) * 2019-02-02 2019-07-02 浙江工业大学 一种基于kubernetes的资源调度方法
CN109862591A (zh) * 2019-02-28 2019-06-07 电子科技大学 一种基于Qos空口切片的带宽借用与缓存共享方法
CN109981493A (zh) * 2019-04-09 2019-07-05 苏州浪潮智能科技有限公司 一种用于配置虚拟机网络的方法和装置
CN110825212A (zh) * 2019-10-17 2020-02-21 北京京东尚科信息技术有限公司 节能调度方法及装置、计算机可存储介质
CN111078369A (zh) * 2019-12-27 2020-04-28 中国建设银行股份有限公司 一种云计算机下虚拟机分配方法、装置以及服务器
CN111399985A (zh) * 2020-03-19 2020-07-10 国网山东省电力公司 云计算环境下基于存储差值迭代的负载均衡方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
丹西: "《DPDK QoS之分层调度器》", 《博客园-HTTPS://WWW.CNBLOGS.COM/DANXI/P/6655473.HTML》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112787853A (zh) * 2020-12-29 2021-05-11 中国建设银行股份有限公司 网络变更方案的自动生成方法、装置及相关设备
CN112787853B (zh) * 2020-12-29 2023-01-13 中国建设银行股份有限公司 网络变更方案的自动生成方法、装置及相关设备
CN115098035A (zh) * 2022-07-08 2022-09-23 天津华呈鼎丰科技有限公司 基于多端云计算集群的大数据存储方法及***
CN115098035B (zh) * 2022-07-08 2022-12-13 四川银亿科技有限公司 基于多端云计算集群的大数据存储方法及***
CN116149798A (zh) * 2023-04-13 2023-05-23 北京中电德瑞电子科技有限公司 云操作***的虚拟机控制方法、装置以及存储介质

Also Published As

Publication number Publication date
CN111813556B (zh) 2021-04-09

Similar Documents

Publication Publication Date Title
CN111813556B (zh) 云计算环境下的虚拟集群的弹性伸缩方法
Banavar et al. An efficient multicast protocol for content-based publish-subscribe systems
US6748414B1 (en) Method and apparatus for the load balancing of non-identical servers in a network environment
US8005012B1 (en) Traffic analysis of data flows
CN112491619B (zh) 一种基于sdn的服务定制网络资源自适应分配方法
CN104717304B (zh) 一种cdn‑p2p内容优化选择***
WO2019024623A1 (zh) 一种流量测量方法、设备及***
CN108170530B (zh) 一种基于混合元启发式算法的Hadoop负载均衡任务调度方法
Wang et al. Presto: Towards efficient online virtual network embedding in virtualized cloud data centers
CN108897606B (zh) 多租户容器云平台虚拟网络资源自适应调度方法及***
EP1564638A1 (en) A method of reassigning objects to processing units
Lin et al. The load balancing research of SDN based on ant colony algorithm with job classification
Xu et al. DarkTE: towards dark traffic engineering in data center networks with ensemble learning
CN114268362A (zh) 基于有序聚类和动态库的卫星通信虚拟网络快捷映射方法
Ayesta et al. A token-based central queue with order-independent service rates
CN109756422B (zh) 一种转发路由节点选取方法
Liao et al. Live: learning and inference for virtual network embedding
CN115065601A (zh) 一种节点链路同时映射的虚拟网络映射方法
Lu et al. Resource fragmentation-aware embedding in dynamic network virtualization environments
CN114884893B (zh) 一种转发和控制可定义的协同流量调度方法与***
CN113259263B (zh) 一种深度报文检测集群中的数据包调度方法
CN116723154A (zh) 一种基于负载均衡的路由分发方法及***
JP4648290B2 (ja) パケット転送装置、パケット分配方法、グループ所属プロセッサ変更方法、およびコンピュータプログラム
Wang et al. An efficient framework for online virtual network embedding in virtualized cloud data centers
Goren et al. Stochastic coordination in heterogeneous load balancing systems

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant