CN108628613A - 基于国产cpu和os的容器集群有状态服务的实现方法 - Google Patents

Abstract

本发明公开基于国产CPU和OS的容器集群有状态服务的实现方法，涉及分布式容器集群管理技术领域；通过状态控制器组件进行集群中有状态容器的初始化工作并控制容器组部署的特定顺序，利用无地址服务来提供集群中容器组的网络标识，维持集群成员的稳定关系，可使用持久化存储卷作为稳定的持久化存储，同时使用序列化命名容器组、无地址服务和持久化存储声明，实现资源与应用逻辑分离并一一对应相互绑定；通过有状态副本控制器组件来管理有状态服务集群，检测容器组的状态，以便发现运行节点失效的有状态服务的容器组并进行自我修复，提高容器服务的可用性，同时可实现有状态服务集群的有序扩容和有序缩容，提高容器集群的容灾能力。

Description

基于国产CPU和OS的容器集群有状态服务的实现方法

技术领域

本发明公开一种容器集群有状态服务的实现方法，涉及分布式容器集群管理技术领域，具体地说是基于国产CPU和OS的容器集群有状态服务的实现方法。

背景技术

随着国内企业信息化和政府电子政务的发展，大中型企业以及政府机构越来越依赖于信息***展开其业务运作，软件应用在国产CPU和操作***下由单一架构转变为微服务架构逐渐成为趋势，应用部署也将逐渐容器化，集群化。

在集群中部署的应用一般都需要设计为无状态服务，这类服务不需要本地存储的持久化数据，并且多个实例对同一个请求响应的结果完全一致，方便容器管理平台对其管理，可随时重启或扩容，不会影响容器的服务。除了无状态服务，用户也越来越多有使用有状态服务的需求了，有状态服务是需要保存状态并恢复状态的服务，实例需要将数据随时进行备份，并且在创建一个新的有状态服务时，可以备份恢复这些数据，有状态服务组成集群的话，十分复杂，目前的容器集群无法满足这种有状态服务的需求。

本发明提供基于国产CPU和OS的容器集群有状态服务的实现方法，在有状态服务集群中，每个容器都需要有固定的名字和稳定的网络地址，供集群内容器相互通信，需要有各自固定的存储，保存和恢复各自的状态。针对上述有状态服务集群的情况，本发明方法为容器服务提供稳定的网络地址，稳定的持久化存储，有序的部署和扩展，有序的删除和终止，有序的自动滚动更新，解决有状态服务的状态保存和集群管理问题，实现了有状态服务，解决了国产环境安全可靠云平台的有状态服务的部署和管理。

发明内容

本发明针对现有技术存在的不足和问题，提供基于国产CPU和OS的容器集群有状态服务的实现方法，

本发明提出的具体方案是：

基于国产CPU和OS的容器集群有状态服务的实现***，包括分布式容器集群管理平台运行的状态控制器组件和有状态副本控制器组件，

有状态副本控制器组件负责管理容器集群的有状态服务集群，识别相关有状态服务的命令，根据管理平台相应资源的运行情况控制状态控制器组件执行相应的有状态服务所关联容器组的操作命令，同时检测所述容器组的状态；

状态控制器组件负责部署所述容器组，为所述容器组命名，提供无地址服务作为所述容器组的网络标识，为所述容器组提供持久化存储声明并进行绑定，并对容器组启动的顺序进行控制，同时根据有状态副本控制器组件的命令，针对所述容器组，执行具体的相关操作。

所述的***中有状态副本控制器组件识别相关有状态服务的命令，当一个有状态服务所关联的容器组副本数量过多，有状态副本控制器组件控制状态控制器组件删除多余容器组副本，反之有状态副本控制器组件控制状态控制器组件新建容器组副本数量，直到该有状态服务所关联的容器组副本数量达到预设的副本数量。

所述的***中有状态副本控制器组件管理容器集群的有状态服务集群，检测有状态服务所关联的容器组的状态，每隔固定时间获取所述容器组的健康状况，检测到容器组异常，则有状态副本控制器组件通过状态控制器组件重建异常容器组或调度状态正常的容器组进行顶替，并且顶替的容器组拥有异常容器组的全部资源。

所述的***中状态控制器组件部署有状态服务所关联的容器组，根据所述容器组名称及序号为所述容器组重新命名，所述容器组的新命名作为容器集群中的唯一身份标识，并且根据所述容器组新命名的顺序分配无地址服务，以及绑定持久化存储。

所述的***中状态控制器组件根据有状态副本控制器组件的命令，按一定顺序调用分布式容器集群管理平台中的其他组件按照确定的顺序执行命令。

所述的***中状态控制器组件根据有状态副本控制器组件的新建命令，针对所述容器组根据所述容器组名称及序号为所述容器组重新命名，并按照所述容器组新命名的顺序对无地址服务及持久化存储进行命名，并依次对相同命名序号的容器组、无地址服务和持久化存储进行绑定。

所述的***中状态控制器组件根据有状态副本控制器组件的重建命令，针对有状态服务的异常容器组，删除异常容器组，并重建异常容器组，重建后的容器组使用异常容器组的命名及无地址服务和持久化存储。

基于国产CPU和OS的容器集群有状态服务的实现方法，利用分布式容器集群管理平台运行的有状态副本控制器组件管理容器集群的有状态服务集群，识别相关有状态服务的命令，根据管理平台相应资源的运行情况控制状态控制器组件执行相应的有状态服务所关联容器组的操作命令，同时检测所述容器组的状态；

利用分布式容器集群管理平台运行的状态控制器组件部署所述容器组，为所述容器组命名，提供无地址服务作为所述容器组的网络标识，为所述容器组提供持久化存储声明并进行绑定，并对容器组启动的顺序进行控制，同时根据有状态副本控制器组件的命令，针对所述容器组，执行具体的相关操作。

所述的方法中状态控制器组件部署所述容器组，

当一个有状态服务只关联一个容器组，具体步骤：

步骤1：检查该容器组是否进行了持久化存储声明的生成和绑定，若未生成和绑定，则执行步骤1，否则执行步骤2；

步骤2：继续检查无地址服务是否创建，未创建，则执行创建无地址服务，否则执行步骤3；

步骤3：使用固定的容器组名称，启动容器组，初始化容器组状态；

当一个有状态服务集群相应关联N个容器组，状态控制器组件按照序号从0到N-1的顺序部署容器组，具体步骤为：

步骤1：检测序号为0的容器组状态是否正常，如果正常执行步骤2，否则部署容器组-0，然后执行步骤1；

步骤2：容器组序号加1，检测容器组状态是否正常，如果正常且序号小于N-1，继续执行步骤2，直至容器组序号为N-1则结束；否则部署该序号的容器组，然后执行步骤1；其中N为正整数。

所述的方法中有状态副本控制器组件识别相关有状态服务的命令，当一个有状态服务所关联的容器组副本数量过多，有状态副本控制器组件控制状态控制器组件删除多余容器组副本，反之有状态副本控制器组件控制状态控制器组件新建容器组副本数量，直到该有状态服务所关联的容器组副本数量达到预设的副本数量。

本发明的有益之处是：

本发明提供了基于国产CPU和操作***的分布式容器集群有状态服务的实现方法，可基于国产CPU和操作***的全国产环境上部署的安全可靠容器云平台，实现有状态服务容器组的部署运行和集群管理，并且通过状态控制器组件进行集群中有状态容器的初始化工作并控制容器组部署的特定顺序，利用无地址服务来提供集群中容器组的网络标识，维持集群成员的稳定关系，可使用持久化存储卷作为稳定的持久化存储，同时使用序列化命名容器组、无地址服务和持久化存储声明，实现资源与应用逻辑分离并一一对应相互绑定；通过有状态副本控制器组件来管理有状态服务集群，检测容器组的状态，以便发现运行节点失效的有状态服务的容器组并进行自我修复，提高容器服务的可用性，同时可实现有状态服务集群的有序扩容和有序缩容，提高容器集群的容灾能力。

附图说明

图1是本发明***的有状态副本控制器组件与状态控制器组件关系示意图；

图2是本发明***的状态控制器组件与分布式容器集群管理平台其他组件关系示意图；

图3是本发明中有状态服务集群资源绑定关系示意图；

图4是状态控制器组件部署新建有状态服务集群所关联的容器组的流程示意图；

图5是状态控制器组件部署删除有状态服务集群所关联的容器组的流程示意图；

图6是有状态副本控制器组件控制状态控制器组件进行容器组缩容的流程示意图；

图7是有状态副本控制器组件控制状态控制器组件进行容器组扩容的流程示意图。

具体实施方式

本发明提供基于国产CPU和OS的容器集群有状态服务的实现方法，利用分布式容器集群管理平台运行的有状态副本控制器组件管理容器集群的有状态服务集群，识别相关有状态服务的命令，根据管理平台相应资源的运行情况控制状态控制器组件执行相应的有状态服务所关联容器组的操作命令，同时检测所述容器组的状态；

利用分布式容器集群管理平台运行的状态控制器组件部署所述容器组，为所述容器组命名，提供无地址服务作为所述容器组的网络标识，为所述容器组提供持久化存储声明并进行绑定，并对容器组启动的顺序进行控制，同时根据有状态副本控制器组件的命令，针对所述容器组，执行具体的相关操作。

同时提供与上述方法相对应的基于国产CPU和OS的容器集群有状态服务的实现***，包括分布式容器集群管理平台运行的状态控制器组件和有状态副本控制器组件，

有状态副本控制器组件负责管理容器集群的有状态服务集群，识别相关有状态服务的命令，根据管理平台相应资源的运行情况控制状态控制器组件执行相应的有状态服务所关联容器组的操作命令，同时检测所述容器组的状态；

状态控制器组件负责部署所述容器组，为所述容器组命名，提供无地址服务作为所述容器组的网络标识，为所述容器组提供持久化存储声明并进行绑定，并对容器组启动的顺序进行控制，同时根据有状态副本控制器组件的命令，针对所述容器组，执行具体的相关操作。

结合附图及具体实施，进一步说明本发明的技术方案。

本发明***中有状态副本控制器组件和状态控制器组件可以固化在模块上，以便进行硬件应用，其中有状态副本控制器组件的主要功能是命令分析和有状态服务关联的容器组进行监测的功能，其中根据分布式容器集群管理平台对容器组相应的命令，有状态副本控制器组件根据容器集群中相应资源的运行情况分析出该命令的执行类别，识别新建、扩容、缩容、删除等操作行为，并控制状态控制器组件进行执行，参考图1；

同时有状态副本控制器组件每隔固定时间就获取容器组的状态，确保集群中的有状态服务所关联的容器组保存一定数量的容器组副本处于正常运行的状态，如果该有状态服务的容器组副本数量太多，则有状态副本控制器组件销毁一些容器组副本；反之有状态副本控制器组件添加容器组副本，直到该有状态服务的容器组副本的数量达到预设的副本数量，通过有状态副本控制器组件提高本发明***的容灾能力，

并且有状态副本控制器组件获取容器组的状态，如果发现容器组异常，比如容器组所在节点崩溃，而获取不到容器组正常运行的信息时，则确认容器组为异常容器组，那么有状态副本控制器组件通过状态控制器组件重新在其他节点上调度与异常容器组相同状态的容器组来顶替，顶替的容器组拥有之前异常容器组的全部资源，包括容器组名称、网络标识，已经和持久化存储卷绑定好的持久化存储声明，以及在容器集群中的作用。

状态控制器组件主要对容器组具有命名功能、控制功能和重建功能等，参考图2，

当收到有状态副本控制器组件的新建命令，状态控制器组件首先对容器组进行初始化工作，即对容器组、无地址服务、持久化存储卷声明进行顺序命名，并依次对相同命名序号的容器组、无地址服务和持久化存储卷声明进行绑定；其中默认情况下容器组的数据都是非持久化的，在容器组消亡以后数据也跟着丢失，但Docker提供了卷机制以便将数据持久化存储，在本发明分布式容器集群中，提供了更强大的卷机制和插件，实现数据的持久化存储，持久化存储是集群中由管理员配置的一段网络存储，通过分布式容器集群的卷机制和存储插件分配给容器组使用，以实现数据的持久化存储，具有独立于使用持久化存储的任何单个容器组的生命周期的特点；

例如状态控制器组件收到新建命令，部署一个N个容器组的有状态服务时，根据平台用户提供的容器组名称对容器组重新命名，按照”容器组名-序号”的规则，命名容器组为 “容器组名-0”、“容器组名-1”依次类推到“容器组名-N-1”，这些名称都是固定的，并且容器组的名字可以当作集群中的唯一身份标识；根据用户提供的无地址服务名称进行顺序分配，“容器组名-0”对应“无地址服务名称-0”，“容器组名-1”对应“无地址服务名称-1”依次类推至“容器组名-N-1”对应“无地址服务名称-N-1”；根据用户需要，为每个容器组分配持久化存储声明，“持久化存储声明-0”分配给“容器组名-0”，“持久化存储声明-1”分配给“容器组名-1”，依次类推至“持久化存储声明-N-1”分配给“容器组名-N-1”，并在启动容器组前，状态控制器组件保证每个持久化存储声明和持久化存储绑定成功，持久化存储可由管理员提前提供，也可以用动态存储类来实现动态供应，而持久化存储声明是用户对持久化存储的请求，允许用户使用抽象存储资源，它类似于容器组， 容器组消耗节点资源，持久化存储声明消耗持久化资源；而无地址服务为有状态服务的容器组分配DNS域名作为其的网络标识，容器集群内其他服务或容器组可通过DNS域名访问有状态服务及其后端容器组，

即在分布式容器集群中，默认情况下，为每个服务分配一个虚拟的集群ip，可通过代理方式实现集群ip访问，而无地址服务是指在分布式容器集群中，不分配集群ip地址，通过容器集群内部的DNS域名服务实现无地址访问，当访问查询容器集群中的服务名称时，DNS会返回多个A记录，这些记录都是指向无地址服务对应的后端容器组地址，参考图3；其中HSName 为DNS域名的第一个字段，DNS域名格式为： name.namespace.cluster.local其中name是服务的名称，namespace是服务所在容器集群中的名字空间，cluster.local是容器集群管理平台定义的容器集群的域名，此处 HSName就是服务的名称，在相同名字空间下，访问该名称等价于访问HSName.namespace.cluster.local；

对有状态服务相关资源生成和调度状态控制器组件行驶控制功能，状态控制器组件在容器组进行序列化命名后，按一定顺序，调用分布式容器集群管理平台中的其他组件，比如调用持久化存储声明管理组件生成持久化存储声明，并执行和进行持久化存储卷的绑定，调用服务管理组件进行无地址服务的生成，通过标签和容器组关联，调用容器组管理组件生成、暂停或删除容器组，执行上述操作时状态控制器组件都按照确定的顺序进行，以便进行控制；

为了实现有状态服务的恢复，状态控制器组件的重建功能是当有状态服务集群中存在有状态服务关联的容器组异常时，状态控制器组件首先删除异常容器组，容器组相关的持久化存储声明、无地址服务不会变化，它们的生命周期和容器组无关，因此使用异常容器组相同的名称重新生成容器组，重新生成的容器组使用之前的异常容器组的持久化存储声明和无地址服务来恢复容器组状态和网络标识。

利用上述本发明***及方法，在分布式容器集群管理平台进行有状态服务关联的容器组的相关操作:

当一个有状态服务只关联一个容器组，状态控制器组件部署该容器组的具体步骤：

步骤1：检查该容器组是否进行了持久化存储声明的生成和绑定，若未生成和绑定，则执行步骤1，否则执行步骤2；

步骤2：继续检查无地址服务是否创建，未创建，则执行创建无地址服务，否则执行步骤3；

步骤3：使用固定的容器组名称，启动容器组，初始化容器组状态。

当一个有状态服务集群相应关联N个容器组，状态控制器组件按照序号从0到N-1的顺序部署容器组进行创建时，具体步骤为：

步骤1：检测序号为0的容器组状态是否正常，如果正常执行步骤2，否则部署容器组-0，然后执行步骤1；

步骤2：容器组序号加1，检测容器组状态是否正常，如果正常且序号小于N-1，继续执行步骤2，直至容器组序号为N-1则结束；否则部署该序号的容器组，然后执行步骤1，参考图4。

上述一个有状态服务集群相应关联N个容器组，状态控制器组件按照序号从N-1到0的顺序部署容器组进行删除时，具体步骤为：

步骤1：检测序号为N-1的容器组是否已删除，如果已经删除则执行步骤2，否则删除容器组-N-1，执行步骤1；

步骤2：容器组序号减1，检测容器组是否已删除，如果已经删除且序号大于0，循环执行步骤2，直至容器组序号为0则结束；否则删除该序号的容器组，执行步骤1，参考图5。

有状态副本控制器组件控制状态控制器组件进行有状态服务容器组缩容的操作时，例如从N个容器组副本缩放到n个容器组副本，n>0并且n<N，确认所有序号比n小的容器组必须运行和状态正常，具体步骤为：

步骤1：检测序号为0的容器组状态是否正常，如果正常执行步骤2，否则部署容器组-0，然后执行步骤1；

步骤2：容器组序号加1，检测容器组状态是否正常，如果正常且序号小于n，继续执行步骤2，直至容器组序号为n-1则执行步骤3；否则部署该序号的容器组，再执行步骤1；

步骤3：检查序号为N-1的容器组是否已删除，如果已经删除则执行步骤4，否则删除容器组-N-1，执行步骤1；

步骤4：容器组序号减1，检测容器组是否已删除，如果已经删除且序号大于n-1，执行步骤4，直至容器组序号为n则结束；否则删除该序号的容器组，执行步骤3，参考图6。

有状态副本控制器组件控制状态控制器组件进行有状态服务容器组扩容操作时，例如从n个容器组副本扩充到N个容器组副本，n>0并且n<N，确认所有序号比n小的容器组必须运行和状态正常，具体步骤为：

步骤1：检测序号为0的容器组状态是否正常，如果正常执行步骤2，否则部署容器组-0，然后执行步骤1；

步骤2：容器组序号加1，检测容器组状态是否正常，如果正常且序号小于n，继续执行步骤2，直至容器组序号为n-1则执行步骤3；否则部署该序号的容器组，再执行步骤1；

步骤3：部署新建容器组，容器组序号加1，启动容器组，初始化容器组状态，检测容器组状态是否正常，如果正常且序号小于N，继续执行步骤3，直至容器组序号为N-1则结束；否则部署该序号的容器组，再执行步骤1，参考图7。

说明一点，图4和图7流程的起点不同，图4中还没有任何容器组部署，从容器组0开始部署，图7表示是已经部署了n个容器组，从第n+1个容器组开始部署，但是需要从容器组-0开始检查状态。

利用本发明方法及***，有状态服务的每个容器组有固定名称、固定持久化存储和固定网络地址，并且有状态服务容器组的启动按照名称顺序进行顺序启动，一个容器组启动完成并且运行状态正常后再启动下一个容器组，确保了启动的容器组都能成功分配资源，避免一起启动导致资源抢占致使***不稳定及无序化。

并且本发明方法及***支持在国产CPU和操作***的容器云平台上运行，能够实现有状态服务的部署和集群管理，序列化命名容器组、网络标识和持久化存储卷声明，实现资源与应用逻辑分离并一一对应相互绑定，可以对有状态服务集群进行有序扩容和有序缩容，为容器集群的有状态服务解决了服务状态的持久化问题。

Claims (10)

1.基于国产CPU和OS的容器集群有状态服务的实现***，其特征是包括分布式容器集群管理平台运行的状态控制器组件和有状态副本控制器组件，

有状态副本控制器组件负责管理容器集群的有状态服务集群，识别相关有状态服务的命令，根据管理平台相应资源的运行情况控制状态控制器组件执行相应的有状态服务所关联容器组的操作命令，同时检测所述容器组的状态；

状态控制器组件负责部署所述容器组，为所述容器组命名，提供无地址服务作为所述容器组的网络标识，为所述容器组提供持久化存储声明并进行绑定，并对容器组启动的顺序进行控制，同时根据有状态副本控制器组件的命令，针对所述容器组，执行具体的相关操作。

2.根据权利要求1所述的***，其特征是有状态副本控制器组件识别相关有状态服务的命令，当一个有状态服务所关联的容器组副本数量过多，有状态副本控制器组件控制状态控制器组件删除多余容器组副本，反之有状态副本控制器组件控制状态控制器组件新建容器组副本数量，直到该有状态服务所关联的容器组副本数量达到预设的副本数量。

3.根据权利要求1或2所述的***，其特征是所述有状态副本控制器组件管理容器集群的有状态服务集群，检测有状态服务所关联的容器组的状态，每隔固定时间获取所述容器组的健康状况，检测到容器组异常，则有状态副本控制器组件通过状态控制器组件重建异常容器组或调度状态正常的容器组进行顶替，并且顶替的容器组拥有异常容器组的全部资源。

4.根据权利要求3所述的***，其特征是状态控制器组件部署有状态服务所关联的容器组，根据所述容器组名称及序号为所述容器组重新命名，所述容器组的新命名作为容器集群中的唯一身份标识，并且根据所述容器组新命名的顺序分配无地址服务，以及绑定持久化存储。

5.根据权利要求4所述的***，其特征是状态控制器组件根据有状态副本控制器组件的命令，按一定顺序调用分布式容器集群管理平台中的其他组件按照确定的顺序执行命令。

6.根据权利要求5所述的***，其特征是状态控制器组件根据有状态副本控制器组件的新建命令，针对所述容器组根据所述容器组名称及序号为所述容器组重新命名，并按照所述容器组新命名的顺序对无地址服务及持久化存储进行命名，并依次对相同命名序号的容器组、无地址服务和持久化存储进行绑定。

7.根据权利要求5所述的***，其特征是状态控制器组件根据有状态副本控制器组件的重建命令，针对有状态服务的异常容器组，删除异常容器组，并重建异常容器组，重建后的容器组使用异常容器组的命名及无地址服务和持久化存储。

8.基于国产CPU和OS的容器集群有状态服务的实现方法，其特征是利用分布式容器集群管理平台运行的有状态副本控制器组件管理容器集群的有状态服务集群，识别相关有状态服务的命令，根据管理平台相应资源的运行情况控制状态控制器组件执行相应的有状态服务所关联容器组的操作命令，同时检测所述容器组的状态；

利用分布式容器集群管理平台运行的状态控制器组件部署所述容器组，为所述容器组命名，提供无地址服务作为所述容器组的网络标识，为所述容器组提供持久化存储声明并进行绑定，并对容器组启动的顺序进行控制，同时根据有状态副本控制器组件的命令，针对所述容器组，执行具体的相关操作。

9.根据权利要求8所述的方法，其特征是状态控制器组件部署所述容器组，

当一个有状态服务只关联一个容器组，具体步骤：

步骤1：检查该容器组是否进行了持久化存储声明的生成和绑定，若未生成和绑定，则执行步骤1，否则执行步骤2；

步骤2：继续检查无地址服务是否创建，未创建，则执行创建无地址服务，否则执行步骤3；

步骤3：使用固定的容器组名称，启动容器组，初始化容器组状态；

当一个有状态服务集群相应关联N个容器组，状态控制器组件按照序号从0到N-1的顺序部署容器组，具体步骤为：

步骤1：检测序号为0的容器组状态是否正常，如果正常执行步骤2，否则部署容器组-0，然后执行步骤1；

步骤2：容器组序号加1，检测容器组状态是否正常，如果正常且序号小于N-1，继续执行步骤2，直至容器组序号为N-1则结束；否则部署该序号的容器组，然后执行步骤1；其中N为正整数。

10.根据权利要求8所述的方法，其特征是有状态副本控制器组件识别相关有状态服务的命令，当一个有状态服务所关联的容器组副本数量过多，有状态副本控制器组件控制状态控制器组件删除多余容器组副本，反之有状态副本控制器组件控制状态控制器组件新建容器组副本数量，直到该有状态服务所关联的容器组副本数量达到预设的副本数量。