CN107395735B - 一种容器集群的延时缩容调度方法及*** - Google Patents

Abstract

本发明公开了一种容器集群的延时缩容调度方法及***，属于容器集群缩容调度领域；其包括如下步骤：1)代理监控模块实时监控承载服务的容器性能指标和健康状态数据并发送结果给调度模块；2)调度模块根据报告的健康状态数据和性能指标决策是否超过设定的阈值，下发指令给代理监控模块新建容器，否则判断是否有新建容器，若有，转到步骤3；3)调度模块判断性能指标是否低于设定的阈值，若是，负载均衡器停止分配服务流量，待其内的数据处理完后调度模块下发指令删除新建的容器，否则，转到步骤1。整个***通过设置延时和重置tcp协议避免现有方式导致的数据丢失的缺点，最大限度的保证在更新负载均衡配置过程中不会产生丢包、服务的短暂中断情况。

Description

一种容器集群的延时缩容调度方法及***

技术领域

本发明涉及容器集群缩容调度领域，特别是一种容器集群的延时缩容调度方法及***。

背景技术

目前，出现了很多开源的应用容器引擎，比如docker，让开发者可以打包他们的应用以及依赖包到一个可移植的容器中，然后发布到任何流行的Linux机器上，也可以实现虚拟化，docker是集群世界中的“进程”；docker成为了需要实现跨多个不同环境运行的应用程序的理想容器技术选择，通过docker我们可以非常方便的管理服务以及服务之间的依赖。

在docker产生过后，大多数企业开始利用容器来构建服务，以便于更好的节省资源，但是当服务遇到一些高峰期，如果此时容器过少或者CPU内存过低，那么就会导致服务的运行速度急剧下降，严重的甚至会导致服务***的崩溃；另一方面如果将容器的CPU和内存设置的过高，那么在低峰值期会导致资源极大的浪费；这时出现了动态伸缩，主要原理就是对容器设定一个阀值，当容器的CPU或者内存超过所设定的阀值时，***就会在产生一个或者多个具有相同功能的容器来一起分担服务；当峰值下降时***将会把多余的容器删除达到了最大限度的合理利用资源；许多产品在这一步选择的是将容器直接停止然后将其删除，可能会导致在其内部所运行的数据丢失或者服务的的异常中断，给用户带来不必要的损失。所以需要一种容器集群的动态缩容调度方法能够避免现有存在问题，实现最大限度的利用资源的同时还能够最大限度的避免客户资源不会丢失。

发明内容

基于以上技术问题，本发明提供了一种容器集群的延时缩容调度方法及***，从而解决了现有动态缩容采取直接停止容器方式导致的容器内部数据丢失和服务暂时中断的技术问题，该容器集群的延时缩容调度方法及***采用延时有效避免了直接停止容器导致的数据丢失和服务暂时中断的缺点。

本发明采用的技术方案如下：

一种容器集群的延时缩容调度方法包括以下步骤：

步骤1：代理监控模块agent实时监控承载服务的容器性能指标和健康状态数据并发送结果给调度模块ms_server；

步骤2：调度模块ms_server根据报告的健康状态数据和性能指标决策是否超过设定的阈值，若超过下发指令给代理监控模块agent新建容器，并转到步骤1，否则判断是否有新建容器，若有，转到步骤3；

步骤3：调度模块ms_server判断新建容器后容器性能指标是否低于设定的阈值，若是，负载均衡器停止分配服务流量给新建容器，待新建容器内的数据处理完后调度模块ms_server下发指令删除新建的容器，负载均衡器完成重载，否则，直接转到步骤1。

优选地，所述步骤2新建容器跳至步骤1包括以下步骤：

步骤2.1：代理监控模块agent实时监控承载服务的容器性能指标和健康状态数据并发送结果给调度模块；

步骤2.2：判断新建容器的性能指标是否在设定阈值范围内；

步骤2.3：若是，将新建容器信息指令添加进存储模块etcd，负载均衡器中配置模块confd监测到存储模块etcd中容器数据添加，重新生成配置文件重载负载均衡器流量分配情况；若不是，则转到步骤1。

优选地，所述步骤3包括以下步骤：

步骤3.1：调度模块ms_server根据代理监控模块agent上传的新建容器后容器的性能指标和健康状态数据判断是否低于设定阈值，若是，则调度模块ms_sever向负载均衡器下达重置负载均衡器与新建容器之间传输控制协议tcp指令，同时调度模块ms_sever指令删除存储模块etcd中的新建容器信息；

步骤3.2：负载均衡器中配置模块confd监控到存储模块etcd中新建容器信息数据删除，负载均衡器停止对新建容器的流量传输；

步骤3.3：调度模块ms_server计算新建容器完成流量传输剩余时间且下发删除新建容器指令给代理监控模块agent；

步骤3.4：剩余时间截止时，代理监控模块agent接收指令删除新建容器，负载均衡器中配置模块confd导出存储模块etcd数据重新生成配置文件重载负载均衡器服务流量分配情况。

优选地，所述步骤3.3中新建容器完成流量传输剩余时间还可通过调度模块ms_server直接设置剩余时间。

优选地，一种应用在权利要求1至4任一项的所述容器集群的延时缩容调度方法的***包括调度模块ms_server、代理监控模块agent、存储模块etcd、配置模块confd、负载均衡器和容器，其中

所述调度模块ms_server用于收集来自代理监控模块agent的数据，并计算集群状态判断是否需要根据设置的调度策略，生成调度计划，下发指令到代理监控模块agent；

所述代理监控模块agent用于监控服务器和容器流量以及CPU、内存和IO使用情况，检测容器服务健康状态，并上报相关检测数据到调度模块ms_server；

所述存储模块etcd用于共享配置和服务发现，存储容器数据和服务健康状态数据；

所述配置模块confd用于监控存储模块etcd数据变化，若etcd数据发生变化，配置模块confd根据模板重新生成服务的配置文件并重置到负载均衡器中。

综上所述，由于采用了上述技术方案，本发明的有益效果是：

(1)本发明容器集群实现动态缩容采用调度模块下发指令给监控代理模块，通过调度模块根据数据判断作出调度计划且在新建容器性能指标低于下降阈值时计算剩余时间等待新建容器内数据传输完，延时结束后删除容器确保容器内运行数据传输的完整性，避免现有技术采取直接删除新建容器导致的容器内运行数据丢失和服务暂时中断的缺点；

(2)本发明采用在配置模块重新配置了负载均衡器配置文件后，在通知负载均衡器之前，重置负载均衡器和新建容器之间的传输控制协议tcp，由linux内核接管所有流量，可以控制数据包是如何入队和出队，提供了速率限制、优先或指定输出数据包的能力，最终可以最大限度的保证在加载过程中不会产生丢包、服务的短暂的中断情况，避免了现有技术中存在加载过程中出现暂时服务中断的缺点；

(3)本发明的延时可以通过调度模块根据数据判断计算，同时也通过设置剩余时间来产生延时，提高实用性的同时避免了现有技术采取直接删除新建容器导致的容器内运行数据丢失和服务暂时中断的缺点。

附图说明

图1是本发明方法的流程图；

图2是本发明方法的步骤2新建容器跳至步骤1的流程图

图3是本发明方法的步骤4流程图；

图4是本发明容器性能指标在设定阈值内的***结构框图；

图5是本发明容器性能指标超过设定阈值时的***结构框图。

具体实施方式

本说明书中公开的所有特征，除了互相排斥的特征和/或步骤以外，均可以以任何方式组合。

下面结合附图1-5对本发明作详细说明。

本发明的工作原理是：

一种容器集群的延时缩容调度方法包括以下步骤：

步骤1：代理监控模块agent实时监控承载服务的容器性能指标和健康状态数据并发送结果给调度模块ms_server；

步骤2：调度模块ms_server根据报告的健康状态数据和性能指标决策是否超过设定的阈值，下发指令给代理监控模块agent新建容器，并转到步骤1，否则判断是否有新建容器，若有，转到步骤3；

步骤3：调度模块ms_server判断新建容器后容器性能指标是否低于设定的阈值，若是，负载均衡器停止分配服务流量给新建的容器，待其内的数据处理完后调度模块ms_server下发指令删除新建的容器，否则，直接转到步骤1。

下面，结合具体实施例来对本发明做进一步详细说明。

具体实施例

实施例1

步骤1：代理监控模块agent实时监控承载服务的容器性能指标和健康状态数据，并将发送所有监控数据给调度模块ms_server；步骤2：调度模块ms_server根据报告的健康状态数据和性能指标决策是否超过设定的阈值？若超过，调度模块ms_server下发新建容器指令给代理监控模块agent，代理监控模块agent接收指令完成新建容器；代理监控模块agent实时监控承载服务的新建容器性能指标和健康状态数据并发送给调度模块ms_server，判断新建容器的性能指标是否在设定阈值范围内，若是，将新建容器信息指令添加进存储模块etcd，负载均衡器中配置模块confd监测到存储模块etcd中容器数据添加，重新生成配置文件重载负载均衡器；若不是，则转到步骤1；代理监控模块agent接着实时监控数据，调度模块ms_server继续判断作出调度计划，当新建容器完成配置之后容器中的性能指标没有超过设定阈值，接着判断是否有新建容器；步骤3：若新建容器成功则判断新建容器后容器的性能指标是否低于设定阈值，若低于表示高峰期弱化消失需要删除容器促进资源最有效利用，调度模块ms_sever向负载均衡器下达重置负载均衡器与新建容器之间传输控制协议tcp指令，且下发删除新建容器指令给代理监控模块agent；若不低于，则回到步骤1；负载均衡器中配置模块confd监控到存储模块etcd新建容器信息数据删除，负载均衡器停止对新建容器的流量传输；调度模块ms_server计算新建容器完成流量传输剩余时间；剩余时间截止即新建容器内运行数据传输结束时，代理监控模块agent自动接收指令删除新建容器，负载均衡器中配置模块confd导出etcd数据重新生成配置文件重载负载均衡器服务流量分配情况。整个***通过设置代理监控模块agent监控上传数据、调度模块ms_server接收数据下达指令删除或者新建容器和配置模块confd监控数据重置配置文件到负载均衡器中实现动态缩容，解决了高峰期和低峰期的难点，同时通过设置延时避免现有方式导致的容器内运行数据丢失的缺点，重置负载均衡器和容器之间的传输控制协议tcp，最大限度的保证在加载过程中不会产生丢包、服务的短暂的中断情况，实现资源利用最大化和避免客户丢失数据。

如上所述即为本发明的实施例。本发明不局限于上述实施方式，任何人应该得知在本发明的启示下做出的结构变化，凡是与本发明具有相同或相近的技术方案，均落入本发明的保护范围之内。

Claims (5)

1.一种容器集群的延时缩容调度方法，其特征在于：一种容器集群的延时缩容调度方法包括以下步骤：

步骤1：代理监控模块agent实时监控承载服务的容器性能指标和健康状态数据并发送结果给调度模块ms_server；

步骤2：调度模块ms_server根据报告的健康状态数据和性能指标决策是否超过设定的阈值，若超过下发指令给代理监控模块agent新建容器，并转到步骤1，否则判断是否有新建容器，若有，转到步骤3；

步骤3：调度模块ms_server判断新建容器后容器性能指标是否低于所述设定的阈值，若是，负载均衡器停止分配服务流量给新建的容器，待新建容器内的数据处理完后调度模块ms_server下发指令删除新建的容器，负载均衡器完成重载，否则，直接转到步骤1。

2.根据权利要求1所述的一种容器集群的延时缩容调度方法，其特征在于：所述步骤2新建容器跳至步骤1包括以下步骤：

步骤2.1：代理监控模块agent实时监控承载服务的容器性能指标和健康状态数据并发送结果给调度模块；

步骤2.2：判断新建容器的性能指标是否在设定阈值范围内；

步骤2.3：若是，将新建容器信息指令添加进存储模块etcd，负载均衡器中配置模块confd监测到存储模块etcd中容器数据添加，重新生成配置文件重载负载均衡器流量分配情况；若不是，则转到步骤1。

3.根据权利要求1所述的一种容器集群的延时缩容调度方法，其特征在于：所述步骤3包括以下步骤：

步骤3.1：调度模块ms_server根据代理监控模块agent上传的新建容器后容器的性能指标和健康状态数据判断是否低于设定阈值，若是，则调度模块ms_sever向负载均衡器下达重置负载均衡器与新建容器之间传输控制协议tcp指令，同时调度模块ms_sever指令删除存储模块etcd中的新建容器信息；

步骤3.2：负载均衡器中配置模块confd监控到存储模块etcd中新建容器信息数据删除，负载均衡器停止对新建容器的流量传输；

步骤3.3：调度模块ms_server计算新建容器完成流量传输剩余时间且下发删除新建容器指令给代理监控模块agent；

步骤3.4：剩余时间截止时，代理监控模块agent接收指令删除新建容器，负载均衡器中配置模块confd导出存储模块etcd数据重新生成配置文件重载负载均衡器服务流量分配情况。

4.根据权利要求3所述的一种容器集群的延时缩容调度方法，其特征在于：所述步骤3.3中新建容器完成流量传输剩余时间还可通过调度模块ms_server直接设置剩余时间。

5.一种应用在权利要求1至4任一项的所述容器集群的延时缩容调度方法的***，其特征在于：包括调度模块ms_server、代理监控模块agent、存储模块etcd、配置模块confd、负载均衡器和容器，其中

所述调度模块ms_server用于收集来自代理监控模块agent的数据，并计算集群状态判断是否需要根据设置的调度策略，生成调度计划，下发指令到代理监控模块agent；

所述代理监控模块agent用于监控服务器和容器流量以及CPU、内存和IO使用情况，检测容器服务健康状态，并上报相关检测数据到调度模块ms_server；

所述存储模块etcd用于共享配置和服务发现，存储容器数据和服务健康状态数据；

所述配置模块confd用于监控存储模块etcd数据变化，若etcd数据发生变化，配置模块confd根据模板重新生成服务的配置文件并重置到负载均衡器中。

Images