CN116113923A - 容器集群管理方法及其*** - Google Patents

容器集群管理方法及其*** Download PDF

Info

Publication number
CN116113923A
CN116113923A CN202080103796.7A CN202080103796A CN116113923A CN 116113923 A CN116113923 A CN 116113923A CN 202080103796 A CN202080103796 A CN 202080103796A CN 116113923 A CN116113923 A CN 116113923A
Authority
CN
China
Prior art keywords
ccd
template
information
container cluster
ccm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080103796.7A
Other languages
English (en)
Inventor
谢宝国
颜伟
巨满昌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ZTE Corp
Original Assignee
ZTE Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ZTE Corp filed Critical ZTE Corp
Publication of CN116113923A publication Critical patent/CN116113923A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08—Configuration management of networks or network elements
    • H04L41/0803—Configuration setting
    • H04L41/0806—Configuration setting for initial configuration or provisioning, e.g. plug-and-play
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08—Configuration management of networks or network elements
    • H04L41/0803—Configuration setting
    • H04L41/084—Configuration by using pre-existing information, e.g. using templates or copying from other elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08—Configuration management of networks or network elements
    • H04L41/0803—Configuration setting
    • H04L41/084—Configuration by using pre-existing information, e.g. using templates or copying from other elements
    • H04L41/0843—Configuration by using pre-existing information, e.g. using templates or copying from other elements based on generic templates
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08—Configuration management of networks or network elements
    • H04L41/0893—Assignment of logical groups to network elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/40—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks using virtualisation of network functions or resources, e.g. SDN or NFV entities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • G06F2009/4557—Distribution of virtual machine instances; Migration and load balancing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • G06F2009/45575—Starting, stopping, suspending or resuming virtual machine instances
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • G06F2009/45595—Network integration; Enabling network access in virtual machine instances
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08—Configuration management of networks or network elements
    • H04L41/0895—Configuration of virtualised networks or elements, e.g. virtualised network function or OpenFlow elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/34—Signalling channels for network management communication
    • H04L41/342—Signalling channels for network management communication between virtual entities, e.g. orchestrators, SDN or NFV entities

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Stored Programmes (AREA)
  • Small-Scale Networks (AREA)
  • Computer And Data Communications (AREA)

Abstract

公开了一种用于在容器集群管理元素中使用的方法。该方法包括基于容器集群描述符CCD模板生成容器集群实例，其中容器集群实例包括至少一个主节点和至少一个工作节点，并且向管理元素发送用于在至少一个虚拟网络功能的生命周期管理操作中使用的容器集群实例。

Description

容器集群管理方法及其***
技术领域
本文档通常涉及容器集群管理，并且更具体地涉及网络功能虚拟化(networkfunction virtualization，NFV)***中的容器集群管理。
背景技术
在现有的NFV规范中，NFV管理和协调(NFV management and orchestration，NFV-MANO)是用于管理和协调虚拟化网络功能(virtualized network function，VNF)的框架。NFV-MANO负责网络服务(network service，NS)的生命周期管理和虚拟网络功能/虚拟网络功能组件(virtual network function/virtual network function component，VNF/VNFC)。在VNF生命周期管理程序(例如，VNF实例化程序)期间，VNF管理器(VNF manager，VNFM)管理VNF资源，并根据VNF描述符(VNF descriptor，VNFD)模板中的资源信息向NFV编排器(NFV orchestrator，NFVO)请求VNF实例化操作的资源授权。在NFVO资源授权通过之后，VNFM请求虚拟基础设施管理器(virtual infrastructure manager，VIM)为VNF实例分配对应的虚拟机(VM)资源。VIM与基础设施平台(即，网络功能虚拟化基础设施(networkfunction virtualization infrastructure，NFVI))交互，为NVF实例分配资源，并且最终NFV-MANO完成VNF实例化并成功创建基于VM的VNF实例。
发明内容
本公开涉及一种用于NFV***中的容器集群生命周期管理和资源编排的方法和***。在NFV***中，当容器化的VNF执行生命周期管理操作时，NFV-MANO使用集群资源作为容器资源来完成VNF生命周期管理操作(例如，VNF实例操作)。
本公开涉及一种用于在容器集群管理元素中使用的方法。该方法包括基于容器集群描述符CCD(container cluster descriptor，CCD)模板生成容器集群实例，其中容器集群实例包括至少一个主节点和至少一个工作节点，并且向管理元素发送用于在至少一个虚拟网络功能的生命周期管理操作中使用的容器集群实例。
各种实施例可以优选地实施以下特征：
优选地，该方法还包括从管理元素、操作支持***OSS(operation supportsystem，OSS)或第三方中的至少一个接收生成容器集群实例的集群生成请求。
优选地，集群生成请求包括CCD模板的标识。
优选地，该方法还包括接收对管理容器集群实例的请求。
优选地，管理容器集群实例的请求是从管理元素接收的。
优选地，该方法还包括向OSS发送用于生成容器集群实例的请求，以及从OSS接收包括CCD模板或CCD模板的标识的协议响应。
优选地，容器集群实例通过以下方式生成：
请求基于CCD模板为至少一个主节点和至少一个工作节点分配计算资源、存储资源或网络资源中的至少一个，
基于CCD模板，将至少一个主节点部署为至少一个容器基础设施服务管理器，以及
基于CCD模板，将至少一个工作节点部署为至少一个容器基础设施服务实例。
优选地，该方法还包括从管理元素、操作支持***OSS或第三方中的至少一个接收CCD模板上载(on-boarding)的请求，以及从管理元素、OSS或第三方中的至少一个接收CCD模板。
优选地，该方法还包括向管理元素、OSS或第三方中的至少一个发送所接收的CCD模板的标识。
优选地，CCD模板包括容器集群实例的集群属性信息、主节点属性信息、工作节点属性信息、网络属性信息或镜像信息中的至少一个。
优选地，集群属性信息包括集群名称、版本或资源信息中的至少一个。
优选地，主节点属性信息包括至少一个主节点的数量或至少一个主节点的部署风格信息中的至少一个。
优选地，至少一个主节点的部署风格信息包括配置信息、部署信息或资源信息中的至少一个。
优选地，工作节点属性信息包括至少一个工作节点的数量或至少一个工作节点的部署风格信息中的至少一个。
优选地，至少一个工作节点的部署风格信息包括配置信息、部署信息或资源信息中的至少一个。
优选地，网络属性信息包括网络端口、至少一个主节点和至少一个工作节点的互联网协议地址、或者至少一个主节点和至少一个工作节点之间的连接的网络信息中的至少一个。
本公开涉及一种用于在管理元素中使用的方法。该方法包括从容器集群管理CCM元素接收用于在至少一个虚拟网络功能的生命周期管理操作中使用的容器集群实例，其中，容器集群实例是基于容器集群描述符CCD模板生成的，并包括至少一个主节点和至少一个工作节点。
各种实施例可以优选地实施以下特征：
优选地，该方法还包括向CCM元素发送生成容器集群实例的集群生成请求。
优选地，集群生成请求包括CCD模板的标识。
优选地，该方法还包括向CCM元素发送对容器集群实例的管理的请求。
优选地，该方法还包括基于CCD模板为至少一个主节点和至少一个工作节点分配计算资源、存储资源或网络资源中的至少一个。
优选地，该方法还包括向CCM元素发送CCD模板上载的请求，以及向CCM元素发送CCD模板。
优选地，该方法还包括从CCM元素接收所发送的CCD模板的标识。
优选地，CCD模板包括容器集群实例的集群属性信息、主节点属性信息、工作节点属性信息、网络属性信息或镜像信息中的至少一个。
优选地，集群属性信息包括集群名称、版本或资源信息中的至少一个。
优选地，主节点属性信息包括至少一个主节点的数量或至少一个主节点的部署风格信息中的至少一个，并且至少一个主节点的部署风格信息包括配置信息、部署信息或资源信息中的至少一个。
优选地，工作节点属性信息包括至少一个工作节点的数量或至少一个工作节点的部署风格信息中的至少一个，以及
优选地，至少一个工作节点的部署风格信息包括配置信息、部署信息或资源信息中的至少一个。
优选地，网络属性信息包括以下至少之一：至少一个主节点和至少一个工作节点的网络端口、互联网协议地址、或者至少一个主节点和至少一个工作节点之间的连接的网络信息中的至少一个。
本公开涉及一种用于在操作支持***OSS中使用的方法。该方法包括向容器集群管理CCM元素发送容器集群描述符CCD模板上载的请求，以及向CCM元素发送CCD模板。
各种实施例可以优选地实施以下特征：
优选地，该方法还包括基于虚拟网络功能的需求信息生成CCD模板。
优选地，该方法还包括从第三方接收CCD模板。
优选地，该方法还包括从CCM元素接收所发送的CCD模板的标识。
本公开涉及一种用于在操作支持***OSS中使用的方法。该方法包括向容器集群管理CCM元素发送基于容器集群描述符CCD模板生成容器集群实例的集群生成请求。
各种实施例可以优选地实施以下特征：
优选地，集群生成请求包括CCD模板的标识。
本公开涉及一种用于在操作支持***OSS中使用的方法。该方法包括从容器集群管理CCM元素接收用于生成容器集群实例的请求，以及向CCM元素发送包括CCD模板或CCD模板的标识的协议响应。
各种实施例可以优选地实施以下特征：
优选地，用于生成容器集群实例的请求包括至少一个虚拟网络功能的需求信息，并且该方法还包括：
基于至少一个虚拟网络功能的需求信息生成CCD模板，或者
基于至少一个虚拟网络功能的需求信息来确定CCD模板的标识。
优选地，CCD模板包括容器集群实例的集群属性信息、主节点属性信息、工作节点属性信息、网络属性信息或镜像信息中的至少一个。
优选地，集群属性信息包括集群名称、版本或资源信息中的至少一个。
优选地，主节点属性信息包括至少一个主节点的数量或至少一个主节点的部署风格信息中的至少一个。
优选地，至少一个主节点的部署风格信息包括配置信息、部署信息或资源信息中的至少一个。
优选地，工作节点属性信息包括至少一个工作节点的数量或至少一个工作节点的部署风格信息中的至少一个。
优选地，至少一个工作节点的部署风格信息包括配置信息、部署信息或资源信息中的至少一个。
优选地，网络属性信息包括以下至少之一至少一个主节点和至少一个工作节点的网络端口、互联网协议地址、或者至少一个主节点和至少一个工作节点之间的连接的网络信息。
本公开涉及一种计算设备，包括：
处理器，被配置为基于容器集群描述符CCD模板生成容器集群实例，其中容器集群实例包括至少一个主节点和至少一个工作节点，以及
通信单元，被配置为向管理元素发送用于在至少一个虚拟网络功能的生命周期管理操作中使用的容器集群实例。
各种实施例可以优选地实施以下特征：
优选地，处理器被配置为执行任何上述方法。
本公开涉及一种包括通信单元的计算设备，被配置为从容器集群管理CCM元素接收用于在至少一个虚拟网络功能的生命周期管理操作中使用的容器集群实例。
各种实施例可以优选地实施以下特征：
优选地，计算设备还包括被配置为执行上述方法中的任何一个的处理器。
本公开涉及包括通信单元的计算设备，被配置为：
向容器集群管理CCM元素发送容器集群描述符CCD模板上载的请求，以及
向CCM元素发送CCD模板。
各种实施例可以优选地实施以下特征：
优选地，计算设备还包括被配置为执行上述方法中的任何一个的处理器。
本公开涉及一种包括通信单元的计算设备，被配置为向容器集群管理CCM元素发送基于容器集群描述符CCD模板生成容器集群实例的集群生成请求。
各种实施例可以优选地实施以下特征：
优选地，计算设备还包括被配置为执行上述方法中的任何一个的处理器。
本公开涉及一种包括通信单元的计算设备，被配置为从容器集群管理CCM元素接收用于生成容器集群实例的请求，并向CCM元素发送包括CCD模板或CCD模板的标识的协议响应。
各种实施例可以优选地实施以下特征：
优选地，计算设备还包括被配置为执行上述方法中的任何一个的处理器。
本公开涉及一种计算机程序产品，其包括存储在其上的计算机可读程序介质代码，当该代码由处理器执行时，使处理器实施前述方法中的任一个中所述的方法。
本文公开的示例性实施例旨在提供当结合附图时通过参考以下描述将变得显而易见的特征。根据各种实施例，本文公开了示例性***、方法、设备和计算机程序产品。然而，应当理解，这些实施例是借由示例而非限制呈现的，并且对于阅读了本公开的本领域普通技术人员而言显而易见的是，在保持在本公开的范围内的同时，可以对所公开的实施例进行各种修改。
因此，本公开不限于本文描述和说明的示例性实施例和应用。另外，本文公开的方法中的步骤的特定顺序和/或层次结构仅仅是示例性方法。基于设计偏好，所公开的方法或过程的步骤的特定顺序或层次结构可被重新安排，同时保持在本公开的范围内。因此，本领域普通技术人员将理解，本文公开的方法和技术以样本顺序呈现各种步骤或动作，并且除非另有明确说明，否则本公开不限于所呈现的特定顺序或层次。
附图说明
上述方面和其它方面及其实施方案将在附图、说明书和权利要求书中更详细地描述。
图1示出了根据本公开实施例的包括控制面和工作节点的集群的示意图。
图2示出了根据本公开实施例的NFV***的示意图。
图3示出了根据本公开实施例的容器基础设施服务(container infrastructureservice，CIS)集群、CIS管理器(CIS manager，CISM)、集群节点和CIS实例(CIS instance，CISI)之间的关系的示例。
图4示出了根据本公开实施例的NFV架构的示意图。
图5示出了根据本公开实施例的NFV***中的CCM、CISM和CISI的部署架构的示意图。
图6示出了根据本公开实施例的过程的流程图。
图7示出了根据本公开实施例的过程的流程图。
图8示出了根据本公开实施例的过程的流程图。
图9示出了根据本公开实施例的过程的流程图。
图10示出了根据本公开实施例的过程的流程图。
图11示出了根据本公开实施例的过程的流程图。
图12示出了根据本公开实施例的过程的流程图。
图13示出了根据本公开实施例的过程的流程图。
图14示出了根据本公开实施例的无线终端的示意图的示例。
具体实施方式
图1示出了根据本公开实施例的包括控制面和工作节点的集群的示意图。更具体地说，在开源技术中，
Figure BDA0004108147340000082
集群由一组工作机器(也被称为节点)组成，这些工作机器运行控制面应用(例如，Kube-schedule、Kube-apiserver等)和容器化应用。每个集群具有至少一个主节点和至少一个工作节点。在本公开中，主节点可以相当于容器基础设施服务管理器(CISM)，并且工作节点可以相当于容器基础设施服务实例(CISI)。
在一个实施例中，在一个或多个主节点中运行的控制面的组件做出与集群相关的全局决策(例如，调度)，检测集群事件(例如，启动新的交付点(point of delivery，PoD))并对集群事件进行响应。
在一个实施例中，一个或多个工作节点主管PoD，PoD为应用工作负载的组件。控制面管理集群中的工作节点和PoD。
图2示出了根据本公开实施例的NFV***的示意图。在图2中，NFV***支持基于容器的管理和编排。
更具体地说，CISM的功能被分配给新的NFV-MANO功能块，并且CISM的功能具有两个主要方面：
功能A：使用动态服务资源分配来管理受管理的容器基础设施对象(例如，
Figure BDA0004108147340000081
PoD)；以及
功能B：管理由容器运行时环境(即，容器基础设施服务(CIS))所暴露的虚拟化资源。在一个实施例中，功能B没有被暴露给CISM的消费者。
在一个实施例中，CISI被用于提供容器运行时环境在NFVI虚拟化层内运行的容器基础设施资源。
在一个实施例中，CISM可以与CISI交互以创建作为基于容器的VNF的组件的所有受管理的容器基础设施对象，并在基于容器的VNF执行生命周期管理(life cyclemanagement，LCM)操作(例如，VNF实例化)时为所有受管理的容器基础设施对象分配容器资源。
图3示出了根据本公开实施例的CIS集群、CISM、集群节点和CISI之间的关系的示例。在图3中，CIS集群由一个CISM实例和一个或多个CIS实例组成。然而，本领域技术人员应当理解，本公开不限于此，并且更多的CISM实例也是可能的。CISM实例将由VNF调用的受管理的容器基础结构对象(MCIO)调度到CIS集群中的对应集群节点。
此外，CIS集群可以在逻辑上被划分为一个或多个命名空间。根据一个实施例，一个命名空间提供一种从多租户安全性的角度将其分组元素(例如，MCIO)与其他元素隔离的机制，并提供对分组元素的访问控制。注意，一个CIS集群的集群节点中的资源可以被分组到命名空间中，并且可以只属于该命名空间。这些资源被分配给命名空间中分组的元素。
在一个实施例中，CISM实例在CIS集群的范围内向其北向消费者提供命名空间管理和集群节点管理的服务接口。CISM实例还可以根据由其北向消费者请求，对命名空间实施资源限制(即，命名空间配额)。本公开中的北向与同更高级别组件通信的能力有关。
在一个实施例中，可以将容器集群管理器(CCM)功能添加到NFV***(体系结构)中，用于管理一个或多个容器集群实例。为便于说明，CCM功能在下文中用“CCM”表示。
在本公开中，该功能可以相当于功能块和/或网元。此外，NFV架构可以相当于NFV***。
图4涉及根据本公开实施例的NFV架构的示意图。在图4中，CCM被添加到NFV架构中。CCM被用于容器集群实例的生命周期管理(操作)和容器集群实例中每个节点(例如，主节点和工作节点)的资源管理。请注意，每个容器集群实例包括至少一个主节点和至少一个工作节点。
在一个实施例中，CCM提供各种服务功能和服务接口，包括容器集群描述符(CCD)模板管理、性能管理、警报管理、日志管理、故障管理和生命周期管理。这些功能和服务接口可以由操作支持***(OSS)、NFV管理和编排(NFV-MANO)和/或第三方调用。在一个实施例中，第三方可以是服务提供商或云平台服务提供商。此外，CCM可以调用OSS和NFV-MANO实体相关服务接口，以与OSS和MANO协作，用于实施容器集群管理的功能。
在一个实施例中，CCM通过CCM产生的服务接口与OSS交互。OSS可以调用此服务接口以将CCD模板发送给CCM，并请求CCM创建容器集群实例。CCM基于CCD模板创建容器集群实例。
在一个实施例中，CCM通过服务接口与第三方交互。第三方可以调用此接口以将CCD模板发送给CCM，并通知CCM创建容器集群实例。CCM基于CCD模板创建容器集群实例。
在一个实施例中，CCM通过服务接口与MANO交互。OSS能够将CCD模板发送到NFV-MANO中的虚拟化网络功能协调器(NFVO)。NFVO可以通过调用CCM和NFV-MANO之间的服务接口将CCD模板发送到CCM，并且CCM基于CCD模板创建容器集群实例。
在一个实施例中，CCM根据CCD描述(例如，CCD模板)创建容器集群实例以及包括在容器集群实例中的一个或多个主节点和一个或多个工作节点中的每一个，并与NFV-MANO交互以将资源分配给一个或多个主节点和一个或多个工作节点中的每一个。在一个实施例中，资源包括计算资源、存储资源或网络资源中的至少一个。
将资源分配给一个或多个主节点和一个或多个工作节点中的每一个后，CCM可以为一个或多个主节点和一个或多个工作节点下载各种类型的镜像文件，并可以安装各种所需的应用和管理软件(例如，包括
Figure BDA0004108147340000101
相关管理功能软件和网络插件软件)。在一个实施例中，CCM还可以将所需的镜像文件和管理软件(诸如Kubelet代理和/或容器运行时)从一个或多个主节点下载到容器集群实例中的一个或多个工作节点中的每一个。
图5示出了根据本公开实施例的NFV***中的CCM、CISM和CISI的部署架构的示意图。在图5中，CCM和NFV-MANO具有接口来协调集群生命周期管理和节点资源管理的操作。
在一个实施例中，CCM负责在NFV基础设施(NFVI)上创建容器集群实例。在一个实施例中，容器集群实例可以在诸如虚拟机(VM)之类的虚拟资源或诸如物理服务器和/或专用服务器之类的物理资源上被创建(例如，生成)。
在一个实施例中，在CCM在容器集群实例中创建一个或多个主节点和一个或多个工作节点之后，CCM在节点中部署应用，诸如
Figure BDA0004108147340000111
应用或控制软件。例如，CCM首先管理主节点，并为主节点安装应用程序(例如，
Figure BDA0004108147340000112
相关应用)。部署有应用(例如，
Figure BDA0004108147340000113
应用)的一个或多个主节点可以相当于CISM(实体)并具有控制能力(例如，
Figure BDA0004108147340000114
控制能力)。
在一个实施例中，CISM具有管理一个或多个CISI的能力。CISM负责在工作节点上部署应用(例如，
Figure BDA0004108147340000115
应用，诸如
Figure BDA0004108147340000116
代理和网络插件)。部署有应用的工作节点可以相当于CISI，并且可被用于创建容器。
在下文中，介绍根据实施例的CCD模板的定义。
在一个实施例中，CCD模板被用于描述容器集群信息描述符(CISD)和节点组信息(node group information，NGD)。请注意，CCD模板中描述的每个参数可以是可选的或强制性的。
在一个实施例中，CISD可以包括集群名称、版本、版本网络信息、集群资源保留和资源配额信息，或者集群驱动器(例如，包括用于容器运行接口(container runninginterface，CRI)的运行时驱动器)、用于容器网络接口(CNI)的网络驱动器和/或用于容器存储接口(CSI)的存储驱动器)中的至少一个。
在一个实施例中，NGD包括与子网络、节点计数、服务类型、镜像、部署风格或多个网络中的至少一个相关的信息。在一个实施例中，诸如节点部署和资源的描述信息在节点部署风格信息中。
根据CCD模板中的信息，CCM部署了容器集群实例，其可被用于部署NS示例和/或容器化的VNF示例。
根据本公开的实施例，CCD模板可以包括下表中所示的内容中的至少一个：表：CCD模板中内容的实施例
Figure BDA0004108147340000121
Figure BDA0004108147340000131
请注意，在上表中，VLAN＝虚拟局域网，VXLAN＝虚拟扩展局域网，BM＝裸机(例如，物理服务器或专用服务器)。
图6示出了根据本公开实施例的CCD模板上载或配置时的过程的流程图。在图6中，CCM提供CCD管理接口。每个实体，诸如OSS、第三方和MANO相关实体(NFVO/VNFM/VIM)调用CCM的CCD管理接口以将CCD模板上传到CCM。图6所示的过程包括以下步骤：
在步骤601中：CCD从OSS上载：CCD模板可以根据服务需求在OSS中进行编排，或者从第三方导入到OSS。
在步骤602中，OSS向NFV-MANO的NFVO发起CCD上载请求。在实施例中，CCD上载的请求承载CCD模板。它能够是单个CCD模板文件或多个CCD模板文件。
在步骤603中，NFVO调用CCM的CCD管理接口以将CCD模板上传到CCM，并且CCM检查并保存CCD模板。
作为替代或补充，OSS可以直接调用CCM的CCD管理接口以将CCD模板上传到CCM，并且CCM保存CCD模板文件(步骤604)。
作为替代或补充，运营商可通过OMC将CCD上传至CCM。注意，第三方包括运营商和/或第三方服务提供商。在网络能力开放场景中，可信第三方还可以向CCM直接发送CCD模板，例如，请求创建集群(步骤605)。
在步骤606中，在CCD上载成功之后，CCM将CCD标识(ID)分配给CCD模板用于存储，并返回包括分配的CCD ID的成功消息。请注意，CCM可以经由NFV-MANO将包括所分配的CCDID的成功消息发送到OSS，和/或直接发送到OSS和/或第三方。
作为替代或补充，CCM可以通过手动静态配置而被配置有所需的多个CCD模板(步骤607)。在一个实施例中，CCM在通过手动静态配置将CCD模板上传到CCM之后，将CCD ID信息返回给OSS。
在一个实施例中，在一些应用场景中，CCD模板可以不通过OSS上传到NFVO，而可以由运营商根据策略在MANO实体上进行静态配置。例如，NFVO配置CCD模板并向OSS通知CCD信息。
作为替代或补充，运营商可以根据其策略在CCM上配置CCD模板，并且CCM可以将CCD ID信息返回给OSS。
图7示出了根据本公开实施例的静态生成容器集群实例的过程的流程图。在图7中，OSS和/或第三方请求创建(例如，生成)容器集群实例。CCM创建容器集群实例，包括为容器集群实例创建一个或多个主节点和一个或多个工作节点，并根据CCD模板中描述的信息配置资源(例如，存储资源和网络资源)。
更具体地，OSS向NFV-MANO发送生成容器集群实例的请求，以创建一个或多个容器集群实例。在一个实施例中，请求包括CCD ID信息(例如，用于生成容器集群实例的CCD模板的ID)(步骤701)。
在步骤702中，MANO实体(例如，NFVO或VNFM)调用由CCM提供的服务接口，并向CCM发送生成容器集群实例的请求，以创建一个或多个容器集群实例。在一个实施例中，该请求包括CCD ID信息。
作为替代或补充，OSS可以直接调用由CCM提供的服务接口，并将生成容器集群的请求发送给CCM(步骤703)。在一个实施例中，该请求包括CCD ID信息。
作为替代或补充，第三方可以向CCM直接发送生成容器集群实例的请求(步骤704)。在一个实施例中，该请求包括CCD ID信息。
在一个实施例中，第三方(例如，服务提供商或云平台服务提供商)根据其自身的基础设施资源需求向CCM发送创建容器集群实例的请求。
在步骤705中，CCM根据CCD ID信息确定CCD模板，根据CCD模板的描述生成一个或多个容器集群实例，并将容器集群实例ID分配给容器集群实例以指示容器集群实例。
在一个实施例中，生成一个容器集群实例的过程包括以下步骤：
1)CCM根据CCD模板中对集群节点网络的描述来调用VIM的虚拟网络资源管理接口，为容器集群实例创建虚拟网络。
作为替代或补充，CCM根据CCD模板中集群资源配额和资源保留的描述，向NFVO请求资源配额或资源保留。收到NFVO授权后，CCM调用VIM资源保留和配额资源管理接口，为容器集群实例保留集群资源和集群资源配额。
2)根据CCD模板中主节点和工作节点的描述，CCM在容器集群实例中创建所需数量的主节点和工作节点。
3)根据节点部署风格中的资源描述，CCM调用VIM的计算资源管理接口和存储资源管理接口，为容器集群实例中的主节点和工作节点分配计算资源和存储资源。
4)根据节点网络的描述，CCM调用VIM的虚拟网络资源管理接口，为节点创建内部网络，其能够被用于节点中PoD之间的网络连接，并分配外部节点的端口和地址以及节点的外部网络。
5)根据部署风格中的描述和镜像描述，CCM配置并部署主节点和工作节点。例如，CCM下载VM或裸机的镜像，并安装部署一个或多个主节点和一个或多个工作节点所需的控制软件。
在步骤706中，在成功生成容器集群实例后，CCM向OSS和/或第三方返回生成容器集群实例的成功消息。在一个实施例中，成功消息包括所生成的一个或多个容器集群实例的一个或多个容器集群实例ID。作为替代或附加，成功消息可以包括所生成的一个或多个容器集群实例的主节点和工作节点的数量和资源信息。
在步骤707中，当NFV-MANO执行容器化NS/VNF生命周期管理的一个或多个操作时，NFV-MANO的NFVO或VNFM实体向CCM发送可服务容器集群实例的请求。在一个实施例中，该请求包括NS的ID、VNF的ID和/或所请求的可服务容器集群实例的资源信息中的至少一个。
在步骤708中，根据策略和当前集群资源的情况，CCM最优地选择容器集群实例，并为一个或多个容器化的NS/VNF LCM操作分配所选择的容器集群实例。
在一个实施例中，CCM根据CCD模板动态生成容器集群实例。
图8示出了根据本公开实施例的过程的流程图。在图8中，当OSS向NFV-MANO发起NS/VNF实例化操作(即，LCM操作)时，NFV-MANO向CCM发起(例如，发送)一个或多个可服务(例如，可用)容器集群实例的请求。在一个实施例中，一个或多个可服务容器集群实例的请求包括与一个或多个可服务容器集群实例的资源需求相关的资源需求信息。如果CCM发现没有可用的容器集群实例满足资源需求，则CCM请求OSS创建新的容器集群以服务于NS/VNF实例化。
更具体地，OSS向NFV-MANO发起NS/VNF实例化操作(步骤801)。在一个实施例中，NFV-MANO的NFVO负责NS实例化操作，并且NFV-MANO的VNFM负责VNF实例化操作。
在步骤802中：NFV-MANO的NFVO或VNFM根据所需NS实例或VNF实例的资源信息，将可服务容器集群实例的请求发送到CCM以进行NS/VNF实例化。所需资源的信息被承载在请求中。
当CCM确定现有容器集群实例中的容器集群资源不能满足NS/VNF实例化的需求时，CCM向OSS发送生成新的容器集群实例的请求。在一个实施例中，CCM将生成新的容器集群实例的请求直接发送到OSS(步骤803a)。在另一实施例中，CCM经由NFV-MANO向OSS发送生成新的容器集群实例的请求(步骤803b)。在一个实施例中，所需的容器集群资源的信息可被承载在生成新的容器集群实例的请求中。
在步骤804中，OSS根据生成容器集群实例的请求中包含的所需容器集群资源的信息，编排新的CCD模板或选择现有的CCD模板以满足需求。OSS将生成的CCD模板或现有CCD模板的ID发送到CCM。
在步骤805中，CCM根据所接收的或由OSS指示的CCD模板与MANO交互，并生成新的容器集群实例。生成容器集群实例的具体操作可以参考步骤705的描述。
在步骤806中，CCM将新生成的容器集群实例分配用于服务NS/VNF实例，并将该可服务容器集群实例的信息返回给NFV-MANO的NFVO或VNFM。在一个实施例中，可服务容器集群实例的信息包括与可服务容器集群实例中的一个或多个主节点和一个或多个工作节点相关的信息。
在步骤807中，NFVO或VNFM使用容器集群实例来完成NS/VNF实例化操作。
图9示出了根据本公开实施例的过程的流程图。图9中所示的过程可被用于CCM元素(例如，CCM、网络功能、网元或网络实体)，并包括以下步骤：
步骤900：基于CCD模板生成容器集群实例，其中容器集群实例包括至少一个主节点和至少一个工作节点。
步骤901：向管理元素发送用于在至少一个虚拟网络功能的生命周期管理操作中使用的容器集群实例。
更具体地，CCM元素基于CCD模板生成容器集群实例，并将用于在至少一个虚拟网络功能的生命周期管理操作中使用的容器集群实例发送到管理元素(例如，NFV-MANO、NFV-MANO中的一个或多个网络功能或网元)。在该实施例中，容器集群实例包括至少一个主节点和至少一个工作节点。
在一个实施例中，CCM元素从管理元素(参见，例如，步骤702或804)、OSS(例如，步骤701和702或703)或第三方(例如，参阅步骤704)中的至少一个接收生成容器集群实例的集群生成请求。
在一个实施例中，集群生成请求包括CCD模板的标识。
在一个实施例中，CCM元素例如从管理元素接收对容器集群实例的管理(例如，生命周期管理或生命周期管理的操作)的请求(参见，例如，步骤802)。
在一个实施例中，CCM元素向OSS发送用于生成容器集群实例的请求，并从OSS接收包括CCD模板或CCD模板的标识的协议响应。注意，根据本公开的实施例，协议响应可以相当于生成容器集群实例的集群生成请求。
在一个实施例中，为了生成容器集群实例，CCM元素请求基于CCD模板为至少一个主节点和至少一个工作节点分配计算资源、存储资源或网络资源中的至少一个，基于CCD模板将至少一个主节点部署为至少一个容器基础设施服务管理器，并且基于CCD模板将至少一个工作节点部署为至少一个容器基础设施服务实例(参见，例如，步骤705)。
在一个实施例中，CCM元素从管理元素、操作支持***OSS或第三方中的至少一个接收CCD模板上载的请求，并且从管理元素或OSS或第三方中的至少一个接收CCD模板(参见，例如，步骤602至604)。
在一个实施例中，CCM元素向管理元素、OSS或第三方中的至少一个发送所接收的CCD模板的标识(参见，例如，步骤605)。
在一个实施例中，CCD模板包括容器集群实例的集群属性信息、主节点属性信息、工作节点属性信息和网络属性信息或镜像信息中的至少一个。
在一个实施例中，集群属性信息包括集群名称、版本或资源信息中的至少一个。
在一个实施例中，主节点属性信息包括至少一个主节点的数量或至少一个主节点的部署风格信息中的至少一个，并且至少一个主节点的部署风格信息包括配置信息、部署信息或资源信息中的至少一个。
在一个实施例中，工作节点属性信息包括至少一个工作节点的数量或至少一个工作节点的部署风格信息中的至少一个，并且至少一个工作节点的部署风格信息包括配置信息、部署信息或资源信息中的至少一个。
在一个实施例中，网络属性信息包括至少一个主节点和至少一个工作节点的网络端口、互联网协议地址、或者至少一个主节点和至少一个工作节点之间的连接的网络信息中的至少一个。
图10示出了根据本公开实施例的过程的流程图。图10中所示的过程可以在管理元素(例如NFV-MANO)中使用，并且包括以下步骤：
步骤1000：从CCM元素接收用于在至少一个虚拟网络功能的生命周期管理操作中使用的容器集群实例。
在该实施例中，对于管理元素，可以从CCM元素接收用于在至少一个虚拟网络功能的生命周期管理操作中使用的容器集群实例。在一个实施例中，容器集群实例是基于CCD模板生成的，并且包括至少一个主节点和至少一个工作节点。
在一个实施例中，管理元素可以向CCM元素发送生成容器集群实例的集群生成请求。
在一个实施例中，集群生成请求包括CCD模板的标识。
在一个实施例中，管理元素向CCM元素发送对(管理)可服务容器集群实例的请求。例如，管理可以是生命周期管理或生命周期管理的操作。
在一个实施例中，例如当由CCM元素请求时，管理元素基于CCD模板为至少一个主节点和至少一个工作节点分配计算资源、存储资源或网络资源中的至少一个。
在一个实施例中，管理元素发送CCD模板上载的请求，并将CCD模板发送到CCM元素。
在一个实施例中，管理元素从CCM元素接收所发送的CCD模板的标识。
在一个实施例中，CCD模板包括容器集群实例的集群属性信息、主节点属性信息、工作节点属性信息和网络属性信息或镜像信息中的至少一个。
在一个实施例中，集群属性信息包括集群名称、版本或资源信息中的至少一个。
在一个实施例中，主节点属性信息包括至少一个主节点的数量或至少一个主节点的部署风格信息中的至少一个，并且至少一个主节点的部署风格信息包括配置信息、部署信息或资源信息中的至少一个。
在一个实施例中，工作节点属性信息包括至少一个工作节点的数量或至少一个工作节点的部署风格信息中的至少一个，并且至少一个工作节点的部署风格信息包括配置信息、部署信息或资源信息中的至少一个。
在一个实施例中，网络属性信息包括至少一个主节点和至少一个工作节点的网络端口、互联网协议地址、或者至少一个主节点和至少一个工作节点之间的连接的网络信息中的至少一个。
图11示出了根据本公开实施例的过程的流程图。图11所示的过程可以在OSS中使用，并且包括以下步骤：
步骤1100：向CCM元素发送CCD模板上载的请求。
步骤1101：向CCM元素发送CCD模板。
在图11所示的过程中，OSS发送CCD模板上载的请求，并将CCD模板发送到CCM元素(即，CCM)。
在一个实施例中，OSS可以基于虚拟网络功能(例如，网络服务)的需求信息来生成CCD模板。作为替代或补充，OSS可以从第三方接收CCD模板。
在一个实施例中，OSS从CCM元素接收所发送的CCD模板的标识。
在一个实施例中，CCD模板包括容器集群实例的集群属性信息、主节点属性信息、工作节点属性信息和网络属性信息或镜像信息中的至少一个。
在一个实施例中，集群属性信息包括集群名称、版本或资源信息中的至少一个。
在一个实施例中，主节点属性信息包括至少一个主节点的数量或至少一个节点的部署风格信息中的至少一个。
在一个实施例中，至少一个主节点的部署风格信息包括配置信息、部署信息或资源信息中的至少一个。
在一个实施例中，工作节点属性信息包括至少一个工作节点的数量或至少一个工作节点的部署风格信息中的至少一个。
在一个实施例中，至少一个工作节点的部署风格信息包括配置信息、部署信息或资源信息中的至少一个。
在一个实施例中，网络属性信息包括至少一个主节点和至少一个工作节点的网络端口、互联网协议地址、或者至少一个主节点和至少一个工作节点之间的连接的网络信息中的至少一个。
图12示出了根据本公开实施例的过程的流程图。图12所示的过程可以在OSS中使用，并且包括以下步骤：
步骤1200：向CCM元素发送基于CCD模板生成容器集群实例的集群生成请求。
在图12中，OSS将基于CCD模板生成容器集群实例的集群生成请求发送给CCM元素。
在一个实施例中，集群生成请求包括CCD模板的标识，例如，如果CCD模板存在于CCM元素中(例如，被保存在CCM元素中或被发送给CCM元素)。
在一个实施例中，CCD模板包括容器集群实例的集群属性信息、主节点属性信息、工作节点属性信息和网络属性信息或镜像信息中的至少一个。
在一个实施例中，集群属性信息包括集群名称、版本或资源信息中的至少一个。
在一个实施例中，主节点属性信息包括至少一个主节点的数量或至少一个节点的部署风格信息中的至少一个。
在一个实施例中，至少一个主节点的部署风格信息包括配置信息、部署信息或资源信息中的至少一个。
在一个实施例中，工作节点属性信息包括至少一个工作节点的数量或至少一个工作节点的部署风格信息中的至少一个。
在一个实施例中，至少一个工作节点的部署风格信息包括配置信息、部署信息或资源信息中的至少一个。
在一个实施例中，网络属性信息包括至少一个主节点和至少一个工作节点的网络端口、互联网协议地址、或者至少一个主节点和至少一个工作节点之间的连接的网络信息中的至少一个。
图13示出了根据本公开实施例的过程的流程图。图13所示的过程可以在OSS中使用，并且包括以下步骤：
步骤1300：从CCM元素接收生成容器集群实例的请求。
步骤1301：向CCM元素发送包括CCD模板或CCD模板的标识的协议响应。
更具体地，OSS可以从CCM元素接收用于生成(新的)容器集群实例的请求。基于生成(新的)容器集群实例的请求，OSS可以发送包括CCD模板或CCD模板标识的协议响应。
在一个实施例中，用于生成容器集群实例的请求包括至少一个虚拟网络功能的需求信息。基于需求信息，OSS可以生成CCD模板(例如，当确定不存在满足需求信息的现有CCD模板时)或确定CCD模板的标识(例如，当确定现有CCD模板满足需求信息时)。
在一个实施例中，CCD模板包括容器集群实例的集群属性信息、主节点属性信息、工作节点属性信息和网络属性信息或镜像信息中的至少一个。
在一个实施例中，集群属性信息包括集群名称、版本或资源信息中的至少一个。
在一个实施例中，主节点属性信息包括至少一个主节点的数量或至少一个节点的部署风格信息中的至少一个。
优选地，至少一个主节点的部署风格信息包括配置信息、部署信息或资源信息中的至少一个。
在一个实施例中，工作节点属性信息包括至少一个工作节点的数量或至少一个工作节点的部署风格信息中的至少一个。
在一个实施例中，至少一个工作节点的部署风格信息包括配置信息、部署信息或资源信息中的至少一个。
在一个实施例中，网络属性信息包括至少一个主节点和至少一个工作节点的网络端口、互联网协议地址、或者至少一个主节点和至少一个工作节点之间的连接的网络信息中的至少一个。
图14涉及根据本公开实施例的计算设备140的示意图。计算设备140可被用于实施本公开的任何前述方法。即，计算设备140可以作为CCM、OSS、NFV-MANO中的至少一个来操作。在图14中，计算设备140包括诸如微处理器或专用集成电路(Application SpecificIntegrated Circuit，ASIC)的处理器1400、存储单元1410和通信单元1420。存储单元1410可以是存储由处理器1400访问和执行的程序代码1412的任何数据存储设备。存储单元1412的实施例包括但不限于用户身份模块(subscriber identity module，SIM)、只读存储器(read-only memory，ROM)、闪存、随机存取存储器(random-access memory，RAM)、硬盘和光数据存储设备。通信单元1420可以是收发器，并被用于根据处理器1400的处理结果发送和接收信号(例如，消息或数据包)。在一个实施例中，通信单元1420经由图14所示的至少一个天线1422发送和接收信号。
在一个实施例中，存储单元1410和程序代码1412可被省略，并且处理器1400可以包括具有所存储的程序代码的存储单元。
处理器1400可以例如通过执行程序代码1412，在无线终端140上实施示例性实施例中的任何一个步骤。
通信单元1420可以是收发器。作为替代或补充，通信单元1420可以被配置为合并发送单元和接收单元，被配置为分别向另一计算设备(例如，CCM和/或OSS和/或NFV-MANO)发送信号和从另一计算设备接收信号。
尽管上面已经描述了本公开的各种实施例，但是应该理解，它们仅以示例的方式而不是以限制的方式被呈现。同样，各种图可以描绘示例架构或配置，提供这些示例架构或配置是为了使本领域普通技术人员能够理解本公开的示例性特征和功能。然而，这些人员将理解，本公开不限于所示的示例架构或配置，而是可以使用多种替代架构和配置来实施。另外，如本领域普通技术人员将理解的，一个实施例的一个或多个特征可以与本文描述的另一实施例的一个或多个特征组合。因此，本公开的广度和范围不应受到上面描述的任一示例性实施例的限制。
还应理解，本文中使用诸如“第一”、“第二”等名称对元素的任何引用通常不限制这些元素的数量或顺序。相反，这些名称在本文中可用作区分两个或多个元素或元素实例的便利手段。因此，对第一元素和第二元素的引用并不意味着只能采用两个元素，或者第一元素必须以某种方式位于第二元素之前。
此外，本领域普通技术人员将理解，信息和信号可以使用各种不同技术和工艺中的任何一种来表示。例如，可以在上面的描述中引用的例如数据、指令、命令、信息、信号、比特和符号可以由电压、电流、电磁波、磁场或磁粒子、光场或光粒子或它们的任何组合来表示。
本领域技术人员将进一步理解，结合本文所公开的方面描述的各种说明性逻辑块、单元、处理器、装置、电路、方法和功能中的任何一个都可以通过电子硬件(例如，数字实施方案、模拟实施方案或两者的组合)、固件，包含指令的各种形式的程序或设计代码(为方便起见，可在本文中被称为“软件”或“软件单元”)，或这些技术的任何组合。
为了清楚地说明硬件、固件和软件的这种可互换性，上文已就其功能性大体描述了各种说明性组件、块、单元、电路和步骤。这样的功能是以硬件、固件还是软件或这些技术的组合实施的，取决于特定的应用和施加在整个***上的设计约束。本领域技术人员可以针对每个特定应用以各种方式实施所描述的功能，但是这种实施方式决策不会导致偏离本公开的范围。根据各种实施例，处理器、设备、组件、电路、结构、机器、单元等可被配置为执行本文所述的一个或多个功能。本文中关于指定操作或功能所使用的术语“被配置为”或“被配置用于”指的是被物理构造、编程和/或布置为执行指定操作或功能的处理器、设备、组件、电路、结构、机器、单元等。
此外，技术人员将理解，本文所述的各种说明性逻辑块、单元、设备、组件和电路可以在集成电路(IC)内实施或由集成电路(IC)执行，集成电路(IC)可以包括通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)，现场可编程门阵列(FPGA)或其他可编程逻辑器件，或其任何组合。逻辑块、单元和电路还可以包括天线和/或收发器，以与网络内或设备内的各种组件通信。通用处理器可以是微处理器，但在替代方案中，处理器可以是任何常规处理器、控制器或状态机。处理器也可以被实施为计算设备的组合，例如，DSP和微处理器的组合、多个微处理器、与DSP核心结合的一个或多个微处理器或任何其他合适的配置，以执行本文描述的功能。如果以软件实施，则功能可以作为一个或多个指令或代码被存储在计算机可读介质上。因此，本文公开的方法或算法的步骤可以作为存储在计算机可读介质上的软件实施。
计算机可读介质包括计算机存储介质和通信介质，通信介质包括使计算机程序或代码能够从一个地方传送到另一地方的任何介质。存储介质可以是能够由计算机访问的任何可用介质。借由示例而非限制，此类计算机可读介质可以包括RAM、ROM、EEPROM、CD-ROM或其他光盘存储、磁盘存储或其他磁性存储设备、或可用于以指令或数据结构形式存储期望的程序代码并且能够由计算机访问的任何其他介质。
在本文档中，本文使用的术语“单元”指的是用于执行本文所述的相关功能的软件、固件、硬件以及这些元件的任何组合。此外，为了便于讨论，将各种单元描述为独立的单元；然而，对于本领域的普通技术人员来说显而易见的是，两个或更多个单元可以被组合以形成单一单元，该单元根据本公开的实施例执行相关功能。
另外，在本公开的实施例中可以采用存储器或其他存储器以及通信组件。应当理解，为了清楚起见，以上描述已经参考不同的功能单元和处理器描述了本公开的实施例。然而，将显而易见的是，在不背离本公开的情况下，在不同功能单元、处理逻辑元件或域之间可以使用任何适当的功能分布。例如，被示为由不同的处理逻辑元件或控制器执行的功能可以由同一处理逻辑元件或控制器执行。因此，对特定功能单元的引用仅是对用于提供所描述的功能的适当手段的引用，而不是对严格的逻辑或物理结构或组织的指示。
对本公开中描述的实施方式的各种修改对于本领域技术人员而言将是显而易见的，并且在不脱离本公开的范围的情况下，本文中定义的一般原理可以应用于其他实施方式。因此，本公开不旨在限于本文中所示的实施方式，而是将被赋予与如本文中所公开的新颖特征和原理一致的最广范围，正如权利要求书中所叙述的。

Claims (49)

1.一种用于在容器集群管理元素中使用的方法，所述方法包括：
基于容器集群描述符CCD模板生成容器集群实例，其中所述容器集群实例包括至少一个主节点和至少一个工作节点，以及
向管理元素传输所述容器集群实例，所述容器集群实例用于在至少一个虚拟网络功能的生命周期管理操作中使用。
2.根据权利要求1所述的方法，还包括：
从所述管理元素、操作支持***OSS或第三方中的至少一个接收生成所述容器集群实例的集群生成请求。
3.根据权利要求2所述的方法，其中，所述集群生成请求包括所述CCD模板的标识。
4.根据权利要求1所述的方法，还包括：
接收对所述容器集群实例的管理请求。
5.根据权利要求4所述的方法，其中，从所述管理元素接收对所述容器集群实例的管理请求。
6.根据权利要求4或5所述的方法，还包括：
向所述OSS发送用于生成所述容器集群实例的请求，以及
从所述OSS接收包括所述CCD模板或所述CCD模板的标识的协议响应。
7.根据权利要求1至6中任一项所述的方法，其中，所述容器集群实例通过以下方式生成：
请求基于所述CCD模板为所述至少一个主节点和所述至少一个工作节点分配计算资源、存储资源或网络资源中的至少一个，
基于所述CCD模板，将所述至少一个主节点部署为至少一个容器基础设施服务管理器，以及
基于所述CCD模板，将所述至少一个工作节点部署为至少一个容器基础设施服务实例。
8.根据权利要求1至7中任一项所述的方法，还包括：
从所述管理元素、操作支持***OSS或第三方中的至少一个接收CCD模板上载的请求，以及
从所述管理元素、所述OSS或所述第三方中的至少一个接收所述CCD模板。
9.根据权利要求8所述的方法，还包括：
将所接收的CCD模板的标识发送到所述管理元素、所述OSS或所述第三方中的至少一个。
10.根据权利要求1至9中任一项所述的方法，其中，所述CCD模板包括所述容器集群实例的集群属性信息、主节点属性信息、工作节点属性信息、网络属性信息或镜像信息中的至少一个。
11.根据权利要求10所述的方法，其中，所述集群属性信息包括集群名称、版本或资源信息中的至少一个。
12.根据权利要求10或11所述的方法，其中，所述主节点属性信息包括所述至少一个主节点的数量或所述至少一个主节点的部署风格信息中的至少一个，并且优选地
其中所述至少一个主节点的部署风格信息包括配置信息、部署信息或资源信息中的至少一个。
13.根据权利要求10至12中任一项所述的方法，其中，所述工作节点属性信息包括所述至少一个工作节点的数量或所述至少一个工作节点的部署风格信息中的至少一个，并且优选地
其中所述至少一个工作节点的部署风格信息包括配置信息、部署信息或资源信息中的至少一个。
14.根据权利要求10至13中任一项所述的方法，其中，所述网络属性信息包括所述至少一个主节点和所述至少一个工作节点的网络端口、互联网协议地址、或所述至少一个主节点与所述至少一个工作节点之间的连接的网络信息中的至少一个。
15.一种用于在管理元素中使用的方法，所述方法包括：
从容器集群管理CCM元素接收容器集群实例，所述容器集群实例用于在至少一个虚拟网络功能的生命周期管理操作中使用，
其中所述容器集群实例是基于容器集群描述符CCD模板生成的，并且包括至少一个主节点和至少一个工作节点。
16.根据权利要求15所述的方法，还包括：
向所述CCM元素发送生成所述容器集群实例的集群生成请求。
17.根据权利要求16所述的方法，其中，所述集群生成请求包括所述CCD模板的标识。
18.根据权利要求17所述的方法，还包括：
向所述CCM元素发送对所述容器集群实例的管理请求。
19.根据权利要求15至18中任一项所述的方法，还包括：
基于所述CCD模板为所述至少一个主节点和至少一个工作节点分配计算资源、存储资源或网络资源中的至少一个。
20.根据权利要求15至19中任一项所述的方法，还包括：
向所述CCM元素发送CCD模板上载的请求，以及
向所述CCM元素发送所述CCD模板。
21.根据权利要求20所述的方法，还包括：
从所述CCM元素接收所发送的CCD模板的标识。
22.根据权利要求15至21中任一项所述的方法，其中，所述CCD模板包括所述容器集群实例的集群属性信息、主节点属性信息、工作节点属性信息、网络属性信息或镜像信息中的至少一个。
23.根据权利要求22所述的方法，其中，所述集群属性信息包括集群名称、版本或资源信息中的至少一个。
24.根据权利要求22或23所述的方法，其中，所述主节点属性信息包括所述至少一个主节点的数量或所述至少一个主节点的部署风格信息中的至少一个，并且优选地
其中所述至少一个主节点的部署风格信息包括配置信息、部署信息或资源信息中的至少一个。
25.根据权利要求22至24中任一项所述的方法，其中，所述工作节点属性信息包括所述至少一个工作节点的数量或所述至少一个工作节点的部署风格信息中的至少一个，并且优选地
其中所述至少一个工作节点的部署风格信息包括配置信息、部署信息或资源信息中的至少一个。
26.根据权利要求22至25中任一项所述的方法，其中，所述网络属性信息包括所述至少一个主节点和所述至少一个工作节点的网络端口、互联网协议地址、或所述至少一个主节点与所述至少一个工作节点之间的连接的网络信息中的至少一个。
27.一种用于在操作支持***OSS中使用的方法，所述方法包括：
向容器集群管理CCM元素发送容器集群描述符CCD模板上载的请求，以及
向所述CCM元素发送CCD模板。
28.根据权利要求27所述的方法，还包括：
基于虚拟网络功能的需求信息生成所述CCD模板，或者
从第三方接收所述CCD模板。
29.根据权利要求27或28所述的方法，还包括：
从所述CCM元素接收所发送的CCD模板的标识。
30.一种用于在操作支持***OSS中使用的方法，所述方法包括：
向容器集群管理CCM元素发送基于容器集群描述符CCD模板生成容器集群实例的集群生成请求。
31.根据权利要求30所述的方法，其中，所述集群生成请求包括所述CCD模板的标识。
32.一种用于在操作支持***OSS中使用的方法，所述方法包括：
从容器集群管理CCM元素接收用于生成容器集群实例的请求，以及
向所述CCM元素发送包括所述CCD模板或所述CCD模板的标识的协议响应。
33.根据权利要求32所述的方法，其中，用于生成所述容器集群实例的请求包括至少一个虚拟网络功能的需求信息，并且所述方法还包括：
基于至少一个虚拟网络功能的需求信息生成所述CCD模板，或者
基于至少一个虚拟网络功能的需求信息来确定所述CCD模板的标识。
34.根据权利要求27至33中任一项所述的方法，其中，所述CCD模板包括所述容器集群实例的集群属性信息、主节点属性信息、工作节点属性信息、网络属性信息或镜像信息中的至少一个。
35.根据权利要求34所述的方法，其中，所述集群属性信息包括集群名称、版本或资源信息中的至少一个。
36.根据权利要求34或35所述的方法，其中，所述主节点属性信息包括所述至少一个主节点的数量或所述至少一个主节点的部署风格信息中的至少一个，并且优选地
其中所述至少一个主节点的部署风格信息包括配置信息、部署信息或资源信息中的至少一个。
37.根据权利要求34至36中任一项所述的方法，其中，所述工作节点属性信息包括所述至少一个工作节点的数量或所述至少一个工作节点的部署风格信息中的至少一个，并且优选地
其中所述至少一个工作节点的部署风格信息包括配置信息、部署信息或资源信息中的至少一个。
38.根据权利要求34至37中任一项所述的方法，其中，所述网络属性信息包括所述至少一个主节点和所述至少一个工作节点的网络端口、互联网协议地址、或所述至少一个主节点与所述至少一个工作节点之间的连接的网络信息中的至少一个。
39.一种计算设备，包括：
处理器，被配置为基于容器集群描述符CCD模板生成容器集群实例，其中所述容器集群实例包括至少一个主节点和至少一个工作节点，以及
通信单元，被配置为向管理元素发送所述容器集群实例，所述容器集群实例用于在至少一个虚拟网络功能的生命周期管理操作中使用。
40.根据权利要求39所述的计算设备，其中，所述处理器还被配置为执行根据权利要求2至14中任一项所述的方法。
41.一种计算设备，包括：
通信单元，被配置为从容器集群管理CCM元素接收容器集群实例，所述容器集群实例用于在至少一个虚拟网络功能的生命周期管理操作中使用。
42.根据权利要求41所述的计算设备，还包括被配置为执行根据权利要求16至27中任一项所述的方法的处理器。
43.一种计算设备，包括通信单元，被配置为：
向容器集群管理CCM元素发送容器集群描述符CCD模板上载的请求，以及
向所述CCM元素发送CCD模板。
44.根据权利要求43所述的计算设备，还包括被配置为执行根据权利要求28、29和34至38中任一项所述的方法的处理器。
45.一种计算设备，包括：
通信单元，被配置为向容器集群管理CCM元素发送基于容器集群描述符CCD模板生成容器集群实例的集群生成请求。
46.根据权利要求45所述的计算设备，还包括被配置为执行根据权利要求31和34至38中任一项所述的方法的处理器。
47.一种计算设备，包括通信单元，被配置为：
从容器集群管理CCM元素接收用于生成容器集群实例的请求，以及
向所述CCM元素发送包括所述CCD模板或所述CCD模板的标识的协议响应。
48.根据权利要求47所述的计算设备，还包括被配置为执行根据权利要求33至38中任一项所述的方法的处理器。
49.一种计算机程序产品，包括存储在其上的计算机可读程序介质代码，所述代码在由处理器执行时，致使所述处理器实施根据权利要求1至38中任一项所述的方法。
CN202080103796.7A 2020-09-18 2020-09-18 容器集群管理方法及其*** Pending CN116113923A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2020/116219 WO2022056845A1 (en) 2020-09-18 2020-09-18 A method of container cluster management and system thereof

Publications (1)

Publication Number Publication Date
CN116113923A true CN116113923A (zh) 2023-05-12

Family

ID=80775825

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080103796.7A Pending CN116113923A (zh) 2020-09-18 2020-09-18 容器集群管理方法及其***

Country Status (5)

Country Link
US (1) US20230261950A1 (zh)
EP (1) EP4185949A4 (zh)
KR (1) KR20230069088A (zh)
CN (1) CN116113923A (zh)
WO (1) WO2022056845A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7409504B2 (ja) * 2020-07-03 2024-01-09 日本電信電話株式会社 ネットワーク仮想化システム、仮想リソース管理装置、仮想リソース管理方法およびプログラム
CN114661427B (zh) * 2022-05-18 2022-08-19 深圳致星科技有限公司 部署容器化应用服务的计算集群的节点管理方法及***
CN115086166B (zh) * 2022-05-19 2024-03-08 阿里巴巴（中国）有限公司 计算***、容器网络配置方法及存储介质

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109814881A (zh) * 2017-11-21 2019-05-28 北京京东尚科信息技术有限公司 用于部署数据库集群的方法和装置
US10841152B1 (en) * 2017-12-18 2020-11-17 Pivotal Software, Inc. On-demand cluster creation and management
CN114880078A (zh) * 2018-06-05 2022-08-09 华为技术有限公司 管理容器服务的方法和装置
CN110716788B (zh) * 2018-07-13 2022-07-26 华为技术有限公司 管理虚拟化资源的方法和装置
CN109032758B (zh) * 2018-07-31 2021-07-13 曙光信息产业(北京)有限公司 容器集群智能生命周期管理方法及装置
CN110971439A (zh) * 2018-09-30 2020-04-07 中兴通讯股份有限公司 策略决策方法及装置、***、存储介质、策略决策单元及集群
US10735319B1 (en) * 2019-02-26 2020-08-04 International Business Machines Corporation Virtual container extended network virtualization in server cluster
CN111641515B (zh) * 2019-03-01 2021-11-19 华为技术有限公司 Vnf的生命周期管理方法及装置
CN111176788B (zh) * 2019-12-24 2023-08-25 优刻得科技股份有限公司 Kubernetes集群的主节点的部署方法及***
US11449354B2 (en) * 2020-01-17 2022-09-20 Spectro Cloud, Inc. Apparatus, systems, and methods for composable distributed computing
US11816497B2 (en) * 2020-04-02 2023-11-14 Vmware, Inc. Container orchestration in a clustered and virtualized computer system
US11301276B2 (en) * 2020-06-22 2022-04-12 Hewlett Packard Enterprise Development Lp Container-as-a-service (CaaS) controller for monitoring clusters and implemeting autoscaling policies
US11593143B2 (en) * 2020-07-30 2023-02-28 Vmware, Inc. System and method for distributed orchestration management in network function virtualization

Also Published As

Publication number Publication date
EP4185949A4 (en) 2024-03-27
WO2022056845A1 (en) 2022-03-24
KR20230069088A (ko) 2023-05-18
US20230261950A1 (en) 2023-08-17
EP4185949A1 (en) 2023-05-31

Similar Documents

Publication Publication Date Title
US11588675B2 (en) Systems and methods for selectively implementing services on virtual machines and containers
JP6834033B2 (ja) ネットワークスライス管理方法、ユニット、及びシステム
EP3313023A1 (en) Life cycle management method and apparatus
US8589554B2 (en) Intelligent and elastic resource pools for heterogeneous datacenter environments
US20230261950A1 (en) Method of container cluster management and system thereof
US10924966B2 (en) Management method, management unit, and system
CN107959582B (zh) 一种切片实例的管理方法及装置
CN111221618B (zh) 一种容器化虚拟网络功能的部署方法和装置
US11323516B2 (en) Reuse of execution environments while guaranteeing isolation in serverless computing
CN112202615B (zh) 一种多cni协同工作***与方法
JP7377965B2 (ja) ネットワークリソース管理方法、システム、ネットワーク機器と可読記憶媒体
CN111245634B (zh) 一种虚拟化管理方法及装置
CN117897691A (zh) 在Kubernetes中使用远程POD
CN112583615B (zh) Vnf实例化方法、nfvo、vim、vnfm及***
CN113495776A (zh) Vnf实例化方法及装置
CN115086166A (zh) 计算***、容器网络配置方法及存储介质
JP2024501005A (ja) コンテナクラスタのための管理方法および装置
CN111371578B (zh) 部署虚拟化网络功能的方法和装置
US20240012674A1 (en) A method, device and system of container cluster scaling
WO2022141293A1 (zh) 一种弹性伸缩的方法及装置
CN117201336A (zh) 一种边缘用户服务切片生成方法、装置、设备及存储介质
CN115994015A (zh) 一种部署虚拟化网络功能的方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination