CN112965817B - 资源管理方法、装置和电子设备 - Google Patents

资源管理方法、装置和电子设备 Download PDF

Info

Publication number
CN112965817B
CN112965817B CN202110200163.4A CN202110200163A CN112965817B CN 112965817 B CN112965817 B CN 112965817B CN 202110200163 A CN202110200163 A CN 202110200163A CN 112965817 B CN112965817 B CN 112965817B
Authority
CN
China
Prior art keywords
cluster
virtual machine
slave
node
offline task
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110200163.4A
Other languages
English (en)
Other versions
CN112965817A (zh
Inventor
王端
李想成
吴爽
史征宇
赵增
刘柏
李仁杰
范长杰
胡志鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Netease Hangzhou Network Co Ltd
Original Assignee
Netease Hangzhou Network Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Netease Hangzhou Network Co Ltd filed Critical Netease Hangzhou Network Co Ltd
Priority to CN202110200163.4A priority Critical patent/CN112965817B/zh
Publication of CN112965817A publication Critical patent/CN112965817A/zh
Application granted granted Critical
Publication of CN112965817B publication Critical patent/CN112965817B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5061—Partitioning or combining of resources
    • G06F9/5077—Logical partitioning of resources; Management or configuration of virtualized resources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Debugging And Monitoring (AREA)
  • Stored Programmes (AREA)

Abstract

本发明提供了一种资源管理方法、装置和电子设备。其中，该方法应用于虚拟机集群，该方法包括：确定虚拟机集群的空闲资源；根据空闲资源确定虚拟机集群的潮汐节点；基于潮汐节点构建容器技术集群的从集群；向容器技术集群的主集群发送从集群的配置信息；配置信息用于表征从集群中的潮汐节点的第一执行环境；响应于容器技术集群的主集群发送的目标离线任务，调用从集群执行目标离线任务；目标离线任务为主集群中执行环境与第一执行环境相同的离线任务。该方式可以实现虚拟机集群执行容器技术的从集群发送的目标离线任务，可以提高虚拟机的资源利用率，无需扩充K8s Node和适配工作，成本较低且有利于资源的快速扩充与收缩。

Description

资源管理方法、装置和电子设备
技术领域
本发明涉及云服务技术领域，尤其是涉及一种资源管理方法、装置和电子设备。
背景技术
容器技术是当前热门且最前沿的技术，自docker(应用容器引擎)和k8s(Kubernetes，容器编排引擎)推出后，基于k8s集群设计的底层架构更为普及，软件的部署更为容易，真正实现了“一次部署，到处运行”。但同时，基于虚拟机技术因为其使用方式和物理机类似、老业务迁移便利等因素，也存在着大量应用场景。
在不同的业务场景下，需要使用容器技术或者虚拟机技术。其中，使用虚拟机技术的场景存在资源利用率不高的问题，原因在于用户通常使用虚拟机作为一台远程主机使用，一般在白天工作时间内活跃，而且大量的非工作时间处于闲置状态。
使用容器技术的场景中，K8s的kubeadm以及一些第三方开源方案(例如ClusterAutoscaler)可以做到在K8s集群资源不足时自动扩充K8s Node(K8s工作节点)，来适应离线任务的算力需求膨胀，达到弹性算力的目的。
然而，上述方式公有云的API(Application Programming Interface，应用程序接口)支持，例如AWS(Amazon Web Services，亚马逊云服务)、AliCloud(阿里云)等；或者需要人工在裸机上搭建K8s Node，加入Cluster(集群)来完成，新的机器或者新的公有云资源需要较高的成本，并且面对配置各不相同的机器或者公有云资源则灵活度不高。例如：新机器的特性导致不得不使用不同版本的K8s，或者第三方公有云提供的资源和现有的Cluster版本不一致，导致需要做大量适配工作，不利于资源的快速扩充与收缩。
综上，使用虚拟机技术的场景存在资源利用率不高的问题，使用容器技术的场景中虽然可以扩充K8s Node，但是需要较高的成本以及大量的适配工作，不利于资源的快速扩充与收缩。
发明内容
有鉴于此，本发明的目的在于提供一种资源管理方法、装置和电子设备，以提高虚拟机的资源利用率，无需扩充K8s Node和适配工作，成本较低且有利于资源的快速扩充与收缩。
第一方面，本发明实施例提供了一种资源管理方法，应用于虚拟机集群，方法包括：确定虚拟机集群的空闲资源；根据空闲资源确定虚拟机集群的潮汐节点；基于潮汐节点构建容器技术集群的从集群；向容器技术集群的主集群发送从集群的配置信息；配置信息用于表征从集群中的潮汐节点的第一执行环境；响应于容器技术集群的主集群发送的目标离线任务，调用从集群执行目标离线任务；目标离线任务为主集群中执行环境与第一执行环境相同的离线任务。
在本发明较佳的实施例中，上述基于潮汐节点构建容器技术集群的从集群的步骤，包括：根据潮汐节点确定至少一个镜像节点；根据镜像节点在虚拟机集群中建立容器技术集群的从集群；从虚拟机集群中选择至少一个空闲资源，将空闲资源作为潮汐节点加入从集群中；上述调用从集群执行目标离线任务的步骤，包括：通过从集群的镜像节点启动潮汐节点，以使潮汐节点执行目标离线任务。
在本发明较佳的实施例中，上述从虚拟机集群中选择至少一个空闲资源，将空闲资源作为潮汐节点加入从集群中的步骤，包括：确定虚拟机集群中的空闲资源，基于空闲资源确定潮汐节点；基于潮汐节点建立从集群的工作节点和主节点；上述向容器技术集群的主集群发送从集群的配置信息的步骤，包括：通过从集群的主节点向容器技术集群的主集群发送从集群的配置信息；上述调用从集群执行目标离线任务的步骤，包括：通过从集群的主节点接收目标离线任务，并将目标离线任务分发给对应的工作节点；通过对应的工作节点执行目标离线任务。
在本发明较佳的实施例中，上述确定虚拟机集群的空闲资源根据虚拟机集群的监控信息时间序列确定空闲资源；根据空闲资源确定虚拟机集群的潮汐节点的步骤，包括：根据空闲资源的大小的顺序确定潮汐节点。
在本发明较佳的实施例中，上述根据虚拟机集群的监控信息时间序列确定空闲资源的步骤，包括：根据虚拟机集群的监控信息时间序列确定时间序列的方差、虚拟机集群的空闲资源大小和虚拟机集群的资源配比；其中，资源配比表征虚拟机集群的处理器资源和内存资源的比值；基于虚拟机集群的空闲资源大小确定虚拟机集群的资源缩减比率；基于资源缩减比率从虚拟机集群中选择时间序列的方差小于预设的方差阈值，并且虚拟机集群的资源配比符合预设的配比条件的资源作为空闲资源。
在本发明较佳的实施例中，上述基于潮汐节点构建容器技术集群的从集群的步骤之后，方法还包括：向容器技术集群的主集群发送从集群的集群标识信息与密钥信息，以使主集群基于从集群的集群标识信息与密钥信息向从集群发送目标离线任务。
在本发明较佳的实施例中，上述方法还包括：监控虚拟机集群的资源利用率；如果资源利用率超过预设的第一阈值，对从集群进行目标离线任务删除和/或潮汐节点删除。
在本发明较佳的实施例中，上述对从集群进行目标离线任务删除的步骤，包括：中断潮汐节点处于执行状态的任务；删除潮汐节点处于等待状态的任务。
第二方面，本发明实施例还提供一种应用于容器技术集群的主集群，方法包括：接收虚拟机集群发送的从集群的配置信息；其中，配置信息用于表征从集群中的潮汐节点的第一执行环境，潮汐节点为虚拟机集群中的空闲资源；获取目标离线任务和目标离线任务的第二执行环境；判断第一执行环境与第二执行环境是否相同；如果是，将目标离线任务发送至虚拟机集群中，以使虚拟机集群通过从集群执行目标离线任务。
在本发明较佳的实施例中，上述接收虚拟机集群发送的从集群的配置信息的步骤，包括：接收虚拟机集群的集群标识与集群鉴权信息；从集群鉴权信息中查找虚拟机集群的配置信息；上述将目标离线任务发送至虚拟机集群中的步骤，包括：基于集群鉴权信息中的密钥信息和虚拟机集群的集群标识，将目标离线任务发送至虚拟机集群中。
在本发明较佳的实施例中，上述方法还包括：监控容器技术集群的从集群的资源利用率；如果从集群的资源利用率高于预设的第二阈值，将从集群中处于等待状态的任务调度到其他从集群或者主集群中；其他从集群为资源利用率低于第二阈值的从集群。
第三方面，本发明实施例还提供一种资源管理装置，应用于虚拟机集群，装置包括：空闲资源确定模块，用于确定虚拟机集群的空闲资源；潮汐节点确定模块，用于根据空闲资源确定虚拟机集群的潮汐节点；从集群构建模块，用于基于潮汐节点构建容器技术集群的从集群；配置信息发送模块，用于向容器技术集群的主集群发送从集群的配置信息；配置信息用于表征从集群中的潮汐节点的第一执行环境；离线任务执行模块，用于响应于容器技术集群的主集群发送的目标离线任务，调用从集群执行目标离线任务；目标离线任务为主集群中执行环境与第一执行环境相同的离线任务。
第四方面，本发明实施例还提供一种资源管理装置，应用于容器技术集群的主集群，装置包括：配置信息接收模块，用于接收虚拟机集群发送的从集群的配置信息；其中，配置信息用于表征从集群中的潮汐节点的第一执行环境，潮汐节点为虚拟机集群中的空闲资源；离线任务获取模块，用于获取目标离线任务和目标离线任务的第二执行环境；执行环境判断模块，用于判断第一执行环境与第二执行环境是否相同；离线任务发送模块，用于如果是，将目标离线任务发送至虚拟机集群中，以使虚拟机集群通过从集群执行目标离线任务。
第五方面，本发明实施例还提供一种电子设备，包括处理器和存储器，存储器存储有能够被处理器执行的计算机可执行指令，处理器执行计算机可执行指令以实现上述的资源管理方法的步骤。
第六方面，本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质存储有计算机可执行指令，计算机可执行指令在被处理器调用和执行时，计算机可执行指令促使处理器实现上述的资源管理方法的步骤。
本发明实施例带来了以下有益效果：
本发明实施例提供的一种资源管理方法、装置和电子设备，在虚拟机集群中建立容器技术的从集群，并且向容器技术集群的主集群发送该从集群的配置信息；响应容器技术的从集群发送的目标离线任务并调用该从集群执行上述目标离线任务。该方式可以实现虚拟机集群执行容器技术的从集群发送的目标离线任务，可以提高虚拟机的资源利用率，无需扩充K8s Node和适配工作，成本较低且有利于资源的快速扩充与收缩。
本公开的其他特征和优点将在随后的说明书中阐述，或者，部分特征和优点可以从说明书推知或毫无疑义地确定，或者通过实施本公开的上述技术即可得知。
为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种资源管理方法的流程图；
图2为本发明实施例提供的另一种资源管理方法的流程图；
图3为本发明实施例提供的一种空闲资源重组流程的示意图；
图4为本发明实施例提供的另一种资源管理方法的流程图；
图5为本发明实施例提供的另一种资源管理方法的流程图；
图6为本发明实施例提供的一种容器K8s集群的多集群管理的示意图；
图7为本发明实施例提供的一种K8s调度流程以及丹炉云平台整体调度流程的示意图；
图8为本发明实施例提供的一种资源管理装置的结构示意图；
图9为本发明实施例提供的另一种资源管理装置的结构示意图；
图10为本发明实施例提供的另一种资源管理装置的结构示意图；
图11为本发明实施例提供的另一种资源管理装置的结构示意图；
图12为本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
目前，使用虚拟机技术的场景存在资源利用率不高的问题，使用容器技术的场景中虽然可以扩充K8s Node，但是需要较高的成本以及大量的适配工作，不利于资源的快速扩充与收缩。基于此，本发明实施例提供的一种资源管理方法、装置和电子设备，该技术可以应用于电脑、手机、平板电脑、服务器等设备上，尤其可以适用于具有虚拟机功能的设备中。
为便于对本实施例进行理解，首先对本发明实施例所公开的一种资源管理方法进行详细介绍。
本实施例提供了一种资源管理方法，应用于虚拟机集群，参见图1所示的一种资源管理方法的流程图，该资源管理方法包括如下步骤：
步骤S102，确定虚拟机集群的空闲资源。
本实施例中的虚拟机可以为Openstack(一个云计算管理平台)中管理维护的虚拟机，也称为虚拟机实例。虚拟机可以通过绑定Openstack的浮动IP(Internet Protocol，网际互连协议)向外提供服务。其中，Openstack作为一个云计算管理平台，是一个开源的用于管理虚拟机的应用。
其中，Openstack提供的资源虚拟化技术，使其可以为用户分配超过实际资源量的资源。在用户量较大的时候，该技术可以在保证集群资源利用率和保证用户可用资源之间做到统计学上的平衡。CPU(Central Processing Unit,中央处理器)资源的超卖较为常见，也存在Memory(存储器)资源的超卖。
空闲资源可以为虚拟机集群中处于空闲状态的资源，即没有进行工作的资源。
步骤S104，根据空闲资源确定虚拟机集群的潮汐节点。
潮汐节点可以理解为在虚拟机集群中的空闲资源，本实施例中可以将虚拟机集群中的空闲资源作为容器技术集群的从集群中的潮汐节点，通过潮汐节点执行容器技术集群的任务。
步骤S106，基于潮汐节点构建容器技术集群的从集群。
容器技术可以将单个操作***的资源划分到孤立的组中，以便更好的在孤立的组之间平衡有冲突的资源使用需求。本实施例中可以通过K8S管理容器技术集群，K8S(Kubernetes)是一个开源的用于管理云平台中多个主机上的容器化的应用。
其中，Pod是可以创建和管理kubernetes计算的最小可部署单元，由一个或者多个容器组成，同时也是kubernetes调度的基本粒度。Deployment是K8s的一种资源控制器，可以保证管辖下的Pod处于一个期望的状态(运行中)和数量(副本数)。Job是K8s的一种资源控制器，可以根据设置保证管辖下的Pod在运行成功结束前的状态。Node(工作节点)是K8s集群中的服务器节点。Cluster是K8s集群，由Master节点(主节点)和若干Node节点(工作节点)组成。Pod LifeCycle为Pod的生命周期，包含Running(运行中)、Pending(等待集群资源中)、Terminating(删除中)等基础。
其中，当前集群资源所有节点剩余资源都无法满足待调度Pod的资源需求，则该Pod会进入Pending状态。K8s调度会在后续流程中定时检测Pending的Pod及当前集群所有满足该Pod调度，满足则调度，不满足则继续Pending。
步骤S108，向容器技术集群的主集群发送从集群的配置信息；配置信息用于表征从集群中的潮汐节点的第一执行环境。
在虚拟机集群中构建从集群的步骤完成后，虚拟机集群可以向容器技术集群的主集群发送从集群的配置信息。其中，容器技术集群的主集群可以进行任务的调度。在进行任务调度时，容器技术集群的主集群可以通过配置信息表征的从集群中的潮汐节点的第一执行环境确定该从集群的潮汐节点是否可以执行该任务。
第一执行环境可以包括潮汐节点的操作***和硬件配置，还可以包括潮汐节点的Cluster版本信息。这里需要说明的是，本实施例中的主集群或从集群均指的是容器技术集群的主集群或从集群，之后不再赘述。
步骤S110，响应于容器技术集群的主集群发送的目标离线任务，调用从集群执行目标离线任务；目标离线任务为主集群中执行环境与第一执行环境相同的离线任务。
离线任务可以指用户部署的任务无需在意任务执行状态，运行一段时间后结束的任务，例如AI(Artificial Intelligence，人工智能)训练任务、定时任务、大数据计算任务等。离线任务在云场景下通常具有失败容忍性，允许任务中断与继续。
每个离线任务都有适合其执行的执行环境，可以称为第二执行环境。接收到目标离线任务后，可以选择第一执行环境与第二执行环境相同的从集群执行该目标离线任务。
本发明实施例提供的一种资源管理方法，在虚拟机集群中建立容器技术的从集群，并且向容器技术集群的主集群发送该从集群的配置信息；响应容器技术的从集群发送的目标离线任务并调用该从集群执行上述目标离线任务。该方式可以实现虚拟机集群执行容器技术的从集群发送的目标离线任务，可以提高虚拟机的资源利用率，无需扩充K8sNode和适配工作，成本较低且有利于资源的快速扩充与收缩。
本实施例提供了另一种资源管理方法，该资源管理方法在上述实施例的基础上实现；本实施例重点描述构建容器技术集群的从集群的具体实施方式。如图2所示的另一种资源管理方法的流程图，本实施例中的资源管理方法包括如下步骤：
步骤S202，确定虚拟机集群的空闲资源。
步骤S204，根据空闲资源确定虚拟机集群的潮汐节点。
步骤S206，根据潮汐节点确定至少一个镜像节点。
本实施例中可以在目标Openstack集群(即虚拟机集群)中建立新的K8s集群(即从集群)，首先，可以在虚拟机集群中建立至少一个镜像节点，以镜像节点制作K8s Node(即从集群中的工作节点)的镜像。
本实施例的镜像节点用于启动潮汐节点，例如，调用从集群执行目标离线任务的步骤，包括：通过从集群的镜像节点启动潮汐节点，以使潮汐节点执行目标离线任务。如果需要潮汐节点A执行目标离线任务，可以通过从集群的镜像节点A启动潮汐节点，以使潮汐节点执行目标离线任务。
步骤S208，根据镜像节点在虚拟机集群中建立容器技术集群的从集群。
可以以Debian(一种通用操作***)官方的cloud image(云镜像)为基础镜像，预安装必要组件(如Docker、Kubectl等)。使用Kubeadm工具初始化从集群的主节点，并将鉴权文件植入镜像节点中。镜像节点使用Cloud-init(一种云环境中虚拟机的初始化工具)初始化镜像环境，并利用鉴权文件在基础组件启动成功后访问从集群主节点Apiserver，向etcd(一个分布式、可靠key-value存储的分布式***)注册节点信息同步状态，完成集群组件和相关资源整合。
步骤S210，从虚拟机集群中选择至少一个空闲资源，将空闲资源作为潮汐节点加入从集群中。
在建立从集群后，可以将虚拟机中的空闲资源作为潮汐节点加入从集群中，并且建立从集群中的主节点。例如：确定虚拟机集群中的空闲资源，基于空闲资源确定潮汐节点；基于潮汐节点建立从集群的工作节点和主节点。
其中，主节点用于与主集群进行通信，主节点可以进行目标离线任务的分配，将目标离线任务分配给对应的工作节点，由对应的工作节点执行目标离线任务。例如：通过从集群的主节点向容器技术集群的主集群发送从集群的配置信息；通过从集群的主节点接收目标离线任务，并将目标离线任务分发给对应的工作节点；通过对应的执行目标离线任务。
主节点向主集群发送从集群的配置信息，接收主机群发送的目标离线任务，并将目标离线任务分发给对应的工作节点；工作节点执行由主节点分发的目标离线任务。
其中，可以根据空闲资源的大小的顺序确定潮汐节点，例如：根据虚拟机集群的监控信息时间序列确定空闲资源；根据空闲资源的大小的顺序确定潮汐节点。
根据Openstack集群监控信息时间序列实时确定Openstack剩余可用资源大小。根据资源大小以超卖配比创建K8s节点虚机(即潮汐节点)，并加入master节点以扩充资源。
超卖实际裸机中有1核CPU，但是为用户创建资源时可以假设机器中有16核CPU。超卖适用于CPU和内存资源。
Openstack所在的机器基本上是为用户以dedicated的方式分配CPU，即用户创建了1核1G的虚机，底下就真的有1核CPU资源和1G内存可供使用。但是Openstack同样支持shared模式分配CPU，以qemu进程抢占的方式实现。可以为不同的Openstack节点设定不同的超***例：常见的有1：16、1：2等。
Prometheus是一个开源的服务监控***和时间序列数据库，可以使用Prometheus抓取与存储物理机的资源使用实时数据。当触发资源预选定行为是，调取Prometheus中近一周的数据，分析进行筛选。可以通过下述方式筛选空闲资源：根据虚拟机集群的监控信息时间序列确定时间序列的方差、虚拟机集群的空闲资源大小和虚拟机集群的资源配比；其中，资源配比表征虚拟机集群的处理器资源和内存资源的比值；基于虚拟机集群的空闲资源大小确定虚拟机集群的资源缩减比率；基于资源缩减比率从虚拟机集群中选择时间序列的方差小于预设的方差阈值，并且虚拟机集群的资源配比符合预设的配比条件的资源作为空闲资源。
1.分析时序数据的方差，以确定该物理机负载不存在较大波动。
2.分析时序数据对各个资源维度的均值，以确定该物理机可用的空闲资源大小，并根据该节点上运行的虚拟机关联的业务属性，选定一个业务重要度比率缩减可用空闲资源大小(例如对于重要业务所在机器，会选择0.5的资源缩减比率，以保证更小的对虚拟机业务产生影响的风险)。
其中，资源维度的均值可以包含7天内cpu使用率均值、7天内内存使用均值等。
3.检查各资源维度中不存在资源短板(通常CPU资源和Memory资源需要保持1：2或者1：1的分配比例)，资源需要满足维持一个K8s节点的所需基本资源。
参见图3所示的一种空闲资源重组流程的示意图，根据上述筛选方式确定目标机器和可用资源大小后，通过调度器使用节点镜像启动潮汐节点，将可用空闲资源组合入K8s从集群中。
步骤S212，向容器技术集群的主集群发送从集群的配置信息；配置信息用于表征从集群中的潮汐节点的第一执行环境。
在集群完成后可以请求K8s集群管理服务，注册集群标识与集群鉴权信息。其中，集群鉴权信息可以包含从集群的配置信息，还可以包含密钥信息。因此，上述方法还包括：向容器技术集群的主集群发送从集群的集群标识信息与密钥信息，以使主集群基于从集群的集群标识信息与密钥信息向从集群发送离目标线任务。
鉴权信息包含K8s集群创建产生的admin.conf文件包含的密钥信息，标识信息是指该集群在平台内管理使用的名称与Uid(User Identification，用户身份证明)，例如强化学习集群、线上发布集群等。
步骤S214，响应于容器技术集群的主集群发送的目标离线任务，调用从集群执行目标离线任务；目标离线任务为主集群中执行环境与第一执行环境相同的离线任务。
在虚拟机集群执行目标离线任务时，可以实时监控虚拟机集群的资源利用率，如果虚拟机集群的资源利用率过高，则可以停止执行目标离线任务，例如：监控虚拟机集群的资源利用率；如果资源利用率超过预设的第一阈值，对从集群进行目标离线任务删除和/或潮汐节点删除。
本实施例旨在不影响虚拟机业务的情况下提高资源利用率，因此在充分分析监控数据，判断Openstack节点资源紧张(资源利用率超过预设的第一阈值时)的情况下删除该节点中的潮汐节点。并将该Openstack节点重新放回到预选定资源阶段候选。在该情景下，相对应的K8s从集群节点资源将被释放，节点上的目标离线任务将被驱逐(任务中断)，并尝试在其他从集群节点上运行(任务继续)。倘若资源释放后目标离线任务没有充足的资源可供其运行，该任务将进入Pending状态(任务等待)等待新潮汐节点资源加入该从集群。
此外，可以通过下述步骤从集群正在执行的任务：中断潮汐节点处于执行状态的任务；删除潮汐节点处于等待状态的任务。
根据监控***抓取的资源指标，当虚机业务负载提高，资源使用率上升后会触发潮汐节点的资源释放。资源释放将会强制删除潮汐节点虚机，并向从集群Apiserver发送潮汐节点排干操作和潮汐节点删除操作。由于使用Job资源作为目标离线任务的封装资源，目标离线任务会被中断，任务容器被排干驱逐后会尝试在该从集群的其他潮汐节点上重新创建。如果其他潮汐节点的资源满足该任务配置的资源要求，则任务容器会被重新创建，目标离线任务可以自动继续。若该从集群上的所有潮汐集群均不满足任务配置的资源要求，则任务容器会进入Pending状态，或是等待新的潮汐节点资源加入从集群，或是触发目标离线任务重调度行为。
本实施例提供了另一种资源管理方法，该方法应用于容器技术集群的主集群；本实施例重点描述主集群进行离线任务调度的具体实施方式。如图4所示的另一种资源管理方法的流程图，本实施例中的资源管理方法包括如下步骤：
步骤S402，接收虚拟机集群发送的从集群的配置信息；其中，配置信息用于表征从集群中的潮汐节点的第一执行环境，潮汐节点为虚拟机集群中的空闲资源。
容器技术集群的主集群可以创建集群管理服务，通过集群管理任务进行任务调度。从虚拟机集群发送的从集群的配置信息中，主集群可以获得从集群中的潮汐节点的第一执行环境。第一执行环境可以理解为潮汐节点执行任务的环境。
步骤S404，获取目标离线任务和目标离线任务的第二执行环境。
主集群可以获取目标离线任务和目标离线任务的第二执行环境，第二执行环境即可以执行目标离线任务的环境。
步骤S406，判断第一执行环境与第二执行环境是否相同。如果是，执行步骤S408；如果否，则执行步骤S402。
判断第一执行环境与第二执行环境是否相同，可以确定从集群的潮汐节点是否适合执行离线任务。如果相同，则意味着从集群的潮汐节点适合执行该离线任务，可以执行步骤S408；如果不相同，则意味着从集群的潮汐节点不适合执行该离线任务，可以执行步骤S402，重新获取新的从集群的配置信息。
步骤S408，将离线任务发送至虚拟机集群中，以使虚拟机集群通过从集群执行离线任务。
如果第一执行环境与第二执行环境相同，则从集群的潮汐节点适合执行该离线任务，主集群可以将离线任务发送至虚拟机集群中，以使虚拟机集群通过从集群执行离线任务。
本发明实施例提供的资源管理方法，主集群可以获取虚拟机集群发送的从集群的配置信息，将离线任务发送到上述第一执行环境与离线任务的第二执行环境相同的从集群中，以使虚拟机集群通过从集群执行离线任务。通过该方式可以直线由主集群进行离线任务的调度，并在虚拟机集群中执行离线任务，可以提高虚拟机的资源利用率，无需扩充K8sNode和适配工作，成本较低且有利于资源的快速扩充与收缩。
本实施例提供了另一种资源管理方法，本实施例重点描述主集群接收虚拟机集群发送的从集群的配置信息和将目标离线任务发送至虚拟机集群的具体实施方式。如图5所示的另一种资源管理方法的流程图，本实施例中的资源管理方法包括如下步骤：
步骤S502，接收虚拟机集群的集群标识与集群鉴权信息。
集群鉴权信息可以包含从集群的配置信息，还可以包含密钥信息。集群标识是可以该集群在平台内管理使用的名称与Uid。
步骤S504，从集群鉴权信息中查找虚拟机集群的配置信息。
K8s主集群可以进行资源感知与调度，重组空闲资源的再利用：根据K8s从节点注册的鉴权信息同步从集群的可用状态与空闲资源，根据需要调度的任务的性质(是否为目标离线任务)筛选出K8s从集群标识。任务调度器根据集群标识，从集群管理服务获取从集群鉴权信息，请求从集群ApiServer完成任务的调度。
参见图6所示的一种容器K8s集群的多集群管理的示意图，本实施例中的K8s多集群管理服务作用于发现、评估K8s从集群；存储从集群鉴权信息以及参与集群筛选的调度部分。采用多集群的考虑是管理员可以不予考虑新加入的计算资源的型号、配置差异，也无需在意容器集群底层的介质属性(物理机或是第三方公有云资源或是虚拟机)。新加入的资源只需要选择合适自身的K8s配置以及保证与主集群的网络连通性即可。云平台的控制服务部署在主集群中，通过使用不同集群的鉴权信息请求、回收、整合各个从集群信息以达到对多容器集群的管理。
步骤S506，获取目标离线任务和目标离线任务的第二执行环境。
参见图7所示的一种K8s调度流程以及丹炉云平台整体调度流程的示意图，K8s调度器通过Job资源(有时在目标离线任务需要常驻的场景下使用Deployment资源)封装目标离线任务业务。Job资源会管理目标离线任务的容器(以Pod的形式体现)，并监控管理容器运行时的状态，并保证在目标离线任务容器返回执行成功的信号前尽可能的保证容器的运行状态(Deployment资源则是永远保持容器的运行状态，就算任务执行完成，也会尝试重启任务)。调度器会将目标离线任务封装成Job资源，并通过多集群管理服务选定目标从集群，获取鉴权文件以访问Apiserver完成任务调度。
步骤S508，判断第一执行环境与第二执行环境是否相同。如果是，执行步骤S510；如果否，执行步骤S502。
步骤S510，基于集群鉴权信息中的密钥信息和虚拟机集群的集群标识，将目标离线任务发送至虚拟机集群中。
主集群还可以对目标离线任务进行重调度，当从集群的资源处于枯竭状态时，K8s集权控制器会发现并重调度从集群上处于Pending状态(任务等待)的目标离线任务，将其重新调度在有空闲资源的其他从集群上，或者在主集群资源充足的场景下重调度到K8s主集群上。可以通过下述步骤进行重调度：监控容器技术集群的从集群的资源利用率；如果从集群的资源利用率高于预设的第二阈值，将从集群中处于等待状态的任务调度到其他从集群或者主集群中；其他从集群为资源利用率低于第二阈值的从集群。
当从集群的资源处于枯竭状态时，K8s集权控制器会发现并重调度从集群上处于Pending状态(任务等待)的目标离线任务，将其重新调度在有空闲资源的其他从集群上，或者在主集群资源充足的场景下重调度到K8s主集群上。
本发明实施例提供的上述方法，主要致力于，利用Openstack的超卖技术，抽离出基于虚拟机技术业务的闲置资源用于基于容器技术的目标离线任务，从而提高利用率。该方式中，通过重组虚拟机业务中因为低负载导致的计算资源浪费，使其可以被离线业务重利用，从而达到提高整体资源利用率的目标，节约成本的同时可以更具有弹性的提供业务方计算能力支撑。
对应于上述方法实施例，本发明实施例提供了一种资源管理装置，应用于虚拟机集群。如图8所示的一种资源管理装置的结构示意图，该资源管理装置包括：
空闲资源确定模块81，用于确定虚拟机集群的空闲资源；
潮汐节点确定模块82，用于根据空闲资源确定虚拟机集群的潮汐节点；
从集群构建模块83，用于基于潮汐节点构建容器技术集群的从集群；
配置信息发送模块84，用于向容器技术集群的主集群发送从集群的配置信息；配置信息用于表征从集群中的潮汐节点的第一执行环境；
离线任务执行模块85，用于响应于容器技术集群的主集群发送的目标离线任务，调用从集群执行目标离线任务；目标离线任务为主集群中执行环境与第一执行环境相同的离线任务。
本发明实施例提供的一种资源管理装置，在虚拟机集群中建立容器技术的从集群，并且向容器技术集群的主集群发送该从集群的配置信息；响应容器技术的从集群发送的目标离线任务并调用该从集群执行上述目标离线任务。该方式可以实现虚拟机集群执行容器技术的从集群发送的目标离线任务，可以提高虚拟机的资源利用率，无需扩充K8sNode和适配工作，成本较低且有利于资源的快速扩充与收缩。
上述从集群构建模块，用于根据潮汐节点确定至少一个镜像节点；根据镜像节点在虚拟机集群中建立容器技术集群的从集群；从虚拟机集群中选择至少一个空闲资源，将空闲资源作为潮汐节点加入从集群中；上述离线任务执行模块，用于通过从集群的镜像节点启动潮汐节点，以使潮汐节点执行目标离线任务。
上述从集群构建模块，用于确定虚拟机集群中的空闲资源，基于空闲资源确定潮汐节点；基于潮汐节点建立从集群的工作节点和主节点；上述配置信息发送模块，用于通过从集群的主节点向容器技术集群的主集群发送从集群的配置信息；上述离线任务执行模块，用于通过从集群的主节点接收目标离线任务，并将目标离线任务分发给对应的工作节点；通过对应的工作节点执行目标离线任务。上述空闲资源确定模块，用于根据虚拟机集群的监控信息时间序列确定空闲资源；上述潮汐节点确定模块，用于根据空闲资源的大小的顺序确定潮汐节点
上述空闲资源确定模块，用于根据虚拟机集群的监控信息时间序列确定空闲资源；根据空闲资源的大小的顺序确定潮汐节点。
上述从集群构建模块，用于根据虚拟机集群的监控信息时间序列确定时间序列的方差、虚拟机集群的空闲资源大小和虚拟机集群的资源配比；其中，资源配比表征虚拟机集群的处理器资源和内存资源的比值；基于虚拟机集群的空闲资源大小确定虚拟机集群的资源缩减比率；基于资源缩减比率从虚拟机集群中选择时间序列的方差小于预设的方差阈值，并且虚拟机集群的资源配比符合预设的配比条件的资源作为空闲资源。
参见图9所示的另一种资源管理装置的结构示意图，该资源管理装置还包括：集群标识信息与密钥信息发送模块86，与从集群构建模块83连接，集群标识信息与密钥信息发送模块86用于向容器技术集群的主集群发送从集群的集群标识信息与密钥信息，以使主集群基于从集群的集群标识信息与密钥信息向从集群发送目标离线任务。
参见图9所示的另一种资源管理装置的结构示意图，该资源管理装置还包括：离线任务和潮汐节点删除模块87，与离线任务执行模块85连接，离线任务和潮汐节点删除模块87用于监控虚拟机集群的资源利用率；如果资源利用率超过预设的第一阈值，对从集群进行目标离线任务删除和/或潮汐节点删除。
上述离线任务和潮汐节点删除模块，用于中断潮汐节点处于执行状态的任务；删除潮汐节点处于等待状态的任务。
对应于上述方法实施例，本发明实施例提供了另一种资源管理装置，应用于容器技术集群的主集群。如图10所示的另一种资源管理装置的结构示意图，该资源管理装置包括：
配置信息接收模块1001，用于接收虚拟机集群发送的从集群的配置信息；其中，配置信息用于表征从集群中的潮汐节点的第一执行环境，潮汐节点为虚拟机集群中的空闲资源；
离线任务获取模块1002，用于获取目标离线任务和目标离线任务的第二执行环境；
执行环境判断模块1003，用于判断第一执行环境与第二执行环境是否相同；
离线任务发送模块1004，用于如果是，将离线任务发送至虚拟机集群中，以使虚拟机集群通过从集群执行离线任务。
本发明实施例提供的资源管理装置，主集群可以获取虚拟机集群发送的从集群的配置信息，将目标离线任务发送到上述第一执行环境与目标离线任务的第二执行环境相同的从集群中，以使虚拟机集群通过从集群执行目标离线任务。通过该方式可以直线由主集群进行目标离线任务的调度，并在虚拟机集群中执行目标离线任务，可以提高虚拟机的资源利用率，无需扩充K8s Node和适配工作，成本较低且有利于资源的快速扩充与收缩。
上述配置信息接收模块，用于接收虚拟机集群的集群标识与集群鉴权信息；从集群鉴权信息中查找虚拟机集群的配置信息；上述离线任务发送模块，用于基于集群鉴权信息中的密钥信息和虚拟机集群的集群标识，将目标离线任务发送至虚拟机集群中。
参见图11所示的另一种资源管理装置的结构示意图，该资源管理装置还包括：离线任务调度重调度模块1005，与离线任务发送模块1004连接，离线任务调度重调度模块1005用于监控容器技术集群的从集群的资源利用率；如果从集群的资源利用率高于预设的第二阈值，将从集群中处于等待状态的任务调度到其他从集群或者主集群中；其他从集群为资源利用率低于第二阈值的从集群。
本发明实施例提供的资源管理装置，与上述实施例提供的资源管理方法具有相同的技术特征，所以也能解决相同的技术问题，达到相同的技术效果。
本发明实施例还提供了一种电子设备，用于运行上述资源管理方法；参见图12所示的一种电子设备的结构示意图，该电子设备包括存储器100和处理器101，其中，存储器100用于存储一条或多条计算机指令，一条或多条计算机指令被处理器101执行，以实现上述资源管理方法。
进一步地，图12所示的电子设备还包括总线102和通信接口103，处理器101、通信接口103和存储器100通过总线102连接。
其中，存储器100可能包含高速随机存取存储器(RAM，Random Access Memory)，也可能还包括非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。通过至少一个通信接口103(可以是有线或者无线)实现该***网元与至少一个其他网元之间的通信连接，可以使用互联网，广域网，本地网，城域网等。总线102可以是ISA总线、PCI总线或EISA总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，图12中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。
处理器101可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器101中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器101可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(DigitalSignal Processor，简称DSP)、专用集成电路(Application Specific IntegratedCircuit，简称ASIC)、现场可编程门阵列(Field-Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器100，处理器101读取存储器100中的信息，结合其硬件完成前述实施例的方法的步骤。
本发明实施例还提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令在被处理器调用和执行时，计算机可执行指令促使处理器实现上述资源管理方法，具体实现可参见方法实施例，在此不再赘述。
本发明实施例所提供的资源管理方法、装置和电子设备的计算机程序产品，包括存储了程序代码的计算机可读存储介质，程序代码包括的指令可用于执行前面方法实施例中的方法，具体实现可参见方法实施例，在此不再赘述。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的***和/或装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
另外，在本发明实施例的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，电子设备，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (15)

1.一种资源管理方法，其特征在于，应用于虚拟机集群，所述方法包括：
确定所述虚拟机集群的空闲资源；
将所述虚拟机集群的空闲资源作为虚拟机集群的潮汐节点；
基于所述潮汐节点构建容器技术集群的从集群；
向所述容器技术集群的主集群发送所述从集群的配置信息；所述配置信息用于表征所述从集群中的潮汐节点的第一执行环境；
响应于所述容器技术集群的主集群发送的目标离线任务，调用所述从集群执行所述目标离线任务；所述目标离线任务为所述主集群中执行环境与所述第一执行环境相同的离线任务。
2.根据权利要求1所述的方法，其特征在于，基于所述潮汐节点构建容器技术集群的从集群的步骤，包括：
根据所述潮汐节点确定至少一个镜像节点；
根据所述镜像节点在所述虚拟机集群中建立容器技术集群的从集群；
从所述虚拟机集群中选择至少一个空闲资源，将所述空闲资源作为潮汐节点加入所述从集群中；
调用所述从集群执行所述目标离线任务的步骤，包括：
通过所述从集群的镜像节点启动所述潮汐节点，以使所述潮汐节点执行所述目标离线任务。
3.根据权利要求2所述的方法，其特征在于，从所述虚拟机集群中选择至少一个空闲资源，将所述空闲资源作为潮汐节点加入所述从集群中的步骤，包括：
确定所述虚拟机集群中的空闲资源，基于所述空闲资源确定潮汐节点；
基于所述潮汐节点建立所述从集群的工作节点和主节点；
向所述容器技术集群的主集群发送所述从集群的配置信息的步骤，包括：
通过所述从集群的主节点向所述容器技术集群的主集群发送所述从集群的配置信息；
调用所述从集群执行所述目标离线任务的步骤，包括：
通过所述从集群的主节点接收所述目标离线任务，并将所述目标离线任务分发给对应的所述工作节点；
通过对应的所述工作节点执行所述目标离线任务。
4.根据权利要求1所述的方法，其特征在于，确定所述虚拟机集群的空闲资源根据所述虚拟机集群的监控信息时间序列确定所述空闲资源；
将所述虚拟机集群的空闲资源作为虚拟机集群的潮汐节点的步骤，包括：
根据所述空闲资源的大小的顺序确定潮汐节点。
5.根据权利要求4所述的方法，其特征在于，根据所述虚拟机集群的监控信息时间序列确定所述空闲资源的步骤，包括：
根据所述虚拟机集群的监控信息时间序列确定所述时间序列的方差、所述虚拟机集群的空闲资源大小和所述虚拟机集群的资源配比；其中，所述资源配比表征所述虚拟机集群的处理器资源和内存资源的比值；
基于所述虚拟机集群的空闲资源大小确定所述虚拟机集群的资源缩减比率；
基于所述资源缩减比率从所述虚拟机集群中选择所述时间序列的方差小于预设的方差阈值，并且所述虚拟机集群的资源配比符合预设的配比条件的资源作为所述空闲资源。
6.根据权利要求1所述的方法，其特征在于，基于所述潮汐节点构建容器技术集群的从集群的步骤之后，所述方法还包括：
向所述容器技术集群的主集群发送所述从集群的集群标识信息与密钥信息，以使所述主集群基于所述从集群的集群标识信息与密钥信息向所述从集群发送所述目标离线任务。
7.根据权利要求1所述的方法，其特征在于，所述方法还包括：
监控所述虚拟机集群的资源利用率；
如果所述资源利用率超过预设的第一阈值，对所述从集群进行目标离线任务删除和/或潮汐节点删除。
8.根据权利要求7所述的方法，其特征在于，对所述从集群进行目标离线任务删除的步骤，包括：中断所述潮汐节点处于执行状态的任务；删除所述潮汐节点处于等待状态的任务。
9.一种资源管理方法，其特征在于，应用于容器技术集群的主集群，所述方法包括：
接收虚拟机集群发送的从集群的配置信息；其中，所述配置信息用于表征所述从集群中的潮汐节点的第一执行环境，所述潮汐节点为所述虚拟机集群中的空闲资源；
获取目标离线任务和所述目标离线任务的第二执行环境；
判断所述第一执行环境与所述第二执行环境是否相同；
如果是，将所述目标离线任务发送至所述虚拟机集群中，以使所述虚拟机集群通过所述从集群执行所述目标离线任务。
10.根据权利要求9所述的方法，其特征在于，接收虚拟机集群发送的从集群的配置信息的步骤，包括：
接收所述虚拟机集群的集群标识与集群鉴权信息；
从所述集群鉴权信息中查找所述虚拟机集群的配置信息；
将所述目标离线任务发送至所述虚拟机集群中的步骤，包括：
基于所述集群鉴权信息中的密钥信息和所述虚拟机集群的集群标识，将所述目标离线任务发送至所述虚拟机集群中。
11.根据权利要求9所述的方法，其特征在于，所述方法还包括：
监控所述容器技术集群的从集群的资源利用率；
如果所述从集群的资源利用率高于预设的第二阈值，将所述从集群中处于等待状态的任务调度到其他从集群或者主集群中；所述其他从集群为资源利用率低于所述第二阈值的从集群。
12.一种资源管理装置，其特征在于，应用于虚拟机集群，所述装置包括：
空闲资源确定模块，用于确定所述虚拟机集群的空闲资源；
潮汐节点确定模块，用于将所述虚拟机集群的空闲资源作为虚拟机集群的潮汐节点；
从集群构建模块，用于基于所述潮汐节点构建容器技术集群的从集群；
配置信息发送模块，用于向所述容器技术集群的主集群发送所述从集群的配置信息；所述配置信息用于表征所述从集群中的潮汐节点的第一执行环境；
离线任务执行模块，用于响应于所述容器技术集群的主集群发送的目标离线任务，调用所述从集群执行所述目标离线任务；所述目标离线任务为所述主集群中执行环境与所述第一执行环境相同的离线任务。
13.一种资源管理装置，其特征在于，应用于容器技术集群的主集群，所述装置包括：
配置信息接收模块，用于接收虚拟机集群发送的从集群的配置信息；其中，所述配置信息用于表征所述从集群中的潮汐节点的第一执行环境，所述潮汐节点为所述虚拟机集群中的空闲资源；
离线任务获取模块，用于获取目标离线任务和所述目标离线任务的第二执行环境；
执行环境判断模块，用于判断所述第一执行环境与所述第二执行环境是否相同；
离线任务发送模块，用于如果是，将所述目标离线任务发送至所述虚拟机集群中，以使所述虚拟机集群通过所述从集群执行所述目标离线任务。
14.一种电子设备，其特征在于，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的计算机可执行指令，所述处理器执行所述计算机可执行指令以实现权利要求1-11任一项所述的资源管理方法的步骤。
15.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令在被处理器调用和执行时，所述计算机可执行指令促使处理器实现权利要求1-11任一项所述的资源管理方法的步骤。
CN202110200163.4A 2021-02-22 2021-02-22 资源管理方法、装置和电子设备 Active CN112965817B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110200163.4A CN112965817B (zh) 2021-02-22 2021-02-22 资源管理方法、装置和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110200163.4A CN112965817B (zh) 2021-02-22 2021-02-22 资源管理方法、装置和电子设备

Publications (2)

Publication Number Publication Date
CN112965817A CN112965817A (zh) 2021-06-15
CN112965817B true CN112965817B (zh) 2023-08-11

Family

ID=76285621

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110200163.4A Active CN112965817B (zh) 2021-02-22 2021-02-22 资源管理方法、装置和电子设备

Country Status (1)

Country Link
CN (1) CN112965817B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113791885A (zh) * 2021-09-18 2021-12-14 上海中通吉网络技术有限公司 根据应用类型自动调度离线应用的方法
CN114640677A (zh) * 2022-05-17 2022-06-17 云宏信息科技股份有限公司 客户端配置成为集群工作节点和APIServer添加工作节点的方法
CN117648710B (zh) * 2024-01-30 2024-04-05 北京点聚信息技术有限公司 一种ofd版式文档权限控制方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103713935A (zh) * 2013-12-04 2014-04-09 中国科学院深圳先进技术研究院 一种在线管理Hadoop集群资源的方法和装置
CN104461740A (zh) * 2014-12-12 2015-03-25 国家电网公司 一种跨域集群计算资源聚合和分配的方法
CN105516325A (zh) * 2015-12-18 2016-04-20 内蒙古农业大学 一种根据应用负载进行弹性扩容和流量分发扩展的云负载平衡手段
CN110399307A (zh) * 2019-07-31 2019-11-01 网宿科技股份有限公司 一种测试方法、测试平台及目标服务器
CN110597664A (zh) * 2019-09-17 2019-12-20 深信服科技股份有限公司 一种高可用集群资源部署方法、装置及相关组件
CN111343288A (zh) * 2020-05-21 2020-06-26 北京并行科技股份有限公司 作业调度方法、***及计算设备
US10896060B1 (en) * 2020-01-14 2021-01-19 Capital One Services, Llc Resource monitor for monitoring long-standing computing resources

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107079524B (zh) * 2014-11-14 2019-12-06 华为技术有限公司 一种数据转发的方法和控制器
US10474488B2 (en) * 2016-10-06 2019-11-12 Vmware, Inc. Configuration of a cluster of hosts in virtualized computing environments

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103713935A (zh) * 2013-12-04 2014-04-09 中国科学院深圳先进技术研究院 一种在线管理Hadoop集群资源的方法和装置
CN104461740A (zh) * 2014-12-12 2015-03-25 国家电网公司 一种跨域集群计算资源聚合和分配的方法
CN105516325A (zh) * 2015-12-18 2016-04-20 内蒙古农业大学 一种根据应用负载进行弹性扩容和流量分发扩展的云负载平衡手段
CN110399307A (zh) * 2019-07-31 2019-11-01 网宿科技股份有限公司 一种测试方法、测试平台及目标服务器
CN110597664A (zh) * 2019-09-17 2019-12-20 深信服科技股份有限公司 一种高可用集群资源部署方法、装置及相关组件
US10896060B1 (en) * 2020-01-14 2021-01-19 Capital One Services, Llc Resource monitor for monitoring long-standing computing resources
CN111343288A (zh) * 2020-05-21 2020-06-26 北京并行科技股份有限公司 作业调度方法、***及计算设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于虚拟机迁移的虚拟机集群资源调度;周文煜;陈华平;杨寿保;方君;;华中科技大学学报(自然科学版)(第S1期);130-133 *

Also Published As

Publication number Publication date
CN112965817A (zh) 2021-06-15

Similar Documents

Publication Publication Date Title
CN112965817B (zh) 资源管理方法、装置和电子设备
US11704144B2 (en) Creating virtual machine groups based on request
CN106708622B (zh) 集群资源处理方法和***、资源处理集群
CN108737468B (zh) 云平台服务集群、构建方法及装置
CN110612705B (zh) 一种无服务器架构下业务部署的方法和函数管理平台
CN109150987B (zh) 基于主机层和容器层的两层式容器集群弹性扩容方法
CN107251486B (zh) 一种扩展联动的方法、装置及***
JP6293306B2 (ja) クラウドアプリケーション処理方法、クラウドアプリケーションデプロイメント方法、並びに関係する装置及びシステム
CN110311798B (zh) 一种管理虚拟资源的方法及装置
CN109964507B (zh) 网络功能的管理方法、管理单元及***
CN107769932B (zh) 一种计费方法、装置及***
CN112860282B (zh) 集群插件的升级方法、装置和服务器
CN113886069A (zh) 一种资源分配方法、装置、电子设备及存储介质
CN113886058A (zh) 一种跨集群资源调度方法和装置
US20240118935A1 (en) Pod deployment method and apparatus
CN113382077B (zh) 微服务调度方法、装置、计算机设备和存储介质
CN109905258B (zh) PaaS的管理方法、装置及存储介质
CN113608838A (zh) 应用镜像文件的部署方法、装置、计算机设备和存储介质
CN111143033B (zh) 基于可伸缩操作***的操作执行方法及装置
CN112306640A (zh) 容器分配方法及其装置、设备、介质
JP2024501005A (ja) コンテナクラスタのための管理方法および装置
CN106550002B (zh) 一种paas云托管***及方法
CN108696550B (zh) 快速构建和复制云的***和方法
CN115794306A (zh) 基于抢占实例的资源分配方法及装置、电子设备及介质
CN111294374B (zh) 一种异构设备启动***、方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant