CN109361750A

CN109361750A - 资源分配方法、装置、电子设备、存储介质

Info

Publication number: CN109361750A
Application number: CN201811248023.9A
Authority: CN
Inventors: 滕斌; 张歆薇
Original assignee: Shanghai Fine Count Mdt Infotech Ltd
Current assignee: Shanghai Fine Count Mdt Infotech Ltd
Priority date: 2018-10-24
Filing date: 2018-10-24
Publication date: 2019-02-19
Anticipated expiration: 2038-10-24
Also published as: CN109361750B

Abstract

本发明提供一种资源分配方法、装置、电子设备、存储介质。方法包括：自当前优先级最高的任务组中，确定当前优先级最高的任务；根据当前优先级最高的任务对应的最优历史服务质量值，为当前优先级最高的任务分配资源，并按所分配的资源创建集群节点，以进行当前优先级最高的任务组的资源伸展；由所创建的集群节点执行当前优先级最高的任务；当前优先级最高的任务执行完成后，计算所分配的集群节点对应当前优先级最高的任务的服务质量值；若所计算的服务质量值在当前优先级最高的任务对应的历史服务质量值中最优，则回收所创建的集群节点；重新确定各任务组的优先级及各任务组中各任务的优先级。本发明提供的方法及设备优化资源分配。

Description

资源分配方法、装置、电子设备、存储介质

技术领域

本发明涉及计算机应用技术领域，尤其涉及一种资源分配方法、装置、电子设备、存储介质。

背景技术

在目前各类云计算运用场景中，服务器的负载情况总是***的，可能会遇到突如其来的超大流量，也可能出现较低负载的情况。出于成本的考虑，需要在负载较大的时候增加服务器以应对大流量，同时在负载较低的时候减少服务器以降低成本。

因此，弹性伸缩已成为集群的重要特性之一，其策略决定了集群能否及时、灵活的依据运行的需求，自动对资源进行扩展和收缩，以适应需求的变化。

同时，对于集群来说资源是一种成本，为了获得更高的利润必须让集群的资源具有更高的高性价，即以最少的资源满足最大的需求。因此通常追求的是在完成任务需求的同时尽可能的提高集群资源的利用率，减少资源的空闲时间。为达到这一目标，必须让资源和任务进行更好的适配。

现有技术通常采用响应式的弹性伸缩，响应式的弹性伸缩即对***的各项负荷数据进行检测，当流量超过了现有***的承载能力时快速的将服务器进行扩充。

然而，现有技术中伸缩的策略、对象固定，诸如集群伸缩的过程中遇到的扩展节点的设备配置不同，应该在哪个物理服务器上进行扩展、以什么样的配置创建虚拟设备进行扩展等。对于资源的利用无法达到最优化。

目前大部分的伸缩策略不能解决集群特别是私有云的集群在实际场景中遇到资源匹配不足或过度匹配、以及只能顺序回收等问题，在对资源的利用率以及资源分配的合理性上存在不足。

发明内容

本发明为了克服上述现有技术存在的缺陷，提供一种资源分配方法、装置、电子设备、存储介质，以优化资源分配。

根据本发明的一个方面，提供一种资源分配方法，包括：

自当前优先级最高的任务组中，确定当前优先级最高的任务，各所述任务组包括多个任务；

根据当前优先级最高的任务对应的最优历史服务质量值，为当前优先级最高的任务分配资源，并按所分配的资源创建集群节点，以进行当前优先级最高的任务组的资源伸展；

由所创建的集群节点执行当前优先级最高的任务；

当前优先级最高的任务执行完成后，计算所分配的集群节点对应当前优先级最高的任务的服务质量值；

若所计算的服务质量值在当前优先级最高的任务对应的历史服务质量值中最优，则回收所创建的集群节点；

重新确定各任务组的优先级及各任务组中各任务的优先级。

可选地，所述任务组的优先级根据任务组的任务数、任务期望完成时间、当前执行任务的集群节点数、任务平均执行速度计算。

可选地，所述服务质量值QoS根据如下公式计算：

QoS＝P*t，

其中，P为资源生产力，t为所述任务执行时间，所述任务执行时间为任务实际完成时间或任务期望完成时间。

可选地，所述资源生产力根据如下公式计算：

P＝C_i*w_cpu+M_i*w_mem+S_i*w_s+B_i*w_ban，

其中，C_i表示该集群节点的cpu资源数，M_i表示该集群节点分配的内存，S_i表示该集群节点的存储空间，B_i表示该集群节点的带宽参数，w_cpu、w_mem、w_s、w_ban分别为各资源的权重。

可选地，各所述任务第一次执行时，根据该任务的类型确定一初始资源模板，根据所述初始资源模板为该任务创建集群节点。

可选地，根据所述初始资源模板为该任务创建集群节点包括：

增幅阶段，自初始资源模板向该任务执行阶梯式增幅资源分配，计算各级资源分配时的服务质量值；

降幅阶段，自初始资源模板向该任务执行阶梯式降幅资源分配，计算各级资源分配时的服务质量值；

根据所计算的多个服务质量值确定一最优服务质量值；

根据所确定的最优服务质量值向该任务分配资源。

可选地，在所述增幅阶段和所述降幅阶段任务执行时间满足如下约束式：

其中，P_i为当前阶段的资源生产力，a为常量系数，d_i为任务执行时间。

可选地，所述增幅阶段及所述降幅阶段同步或异步执行。

根据本发明的又一方面，还提供一种资源分配装置，包括：

第一确定模块，用于自当前优先级最高的任务组中，确定当前优先级最高的任务，各所述任务组包括多个任务；

伸展模块，用于根据当前优先级最高的任务对应的最优历史服务质量值，为当前优先级最高的任务分配资源，并按所分配的资源创建集群节点，以进行当前优先级最高的任务组的资源伸展；

执行模块，用于由所创建的集群节点执行当前优先级最高的任务；

计算模块，用于在当前优先级最高的任务执行完成后，计算所分配的集群节点对应当前优先级最高的任务的服务质量值；

回收模块，若所计算的服务质量值在当前优先级最高的任务对应的历史服务质量值中最优，则所述回收模块用于回收所创建的集群节点；

第二确定模块重新确定各任务组的优先级及各任务组中各任务的优先级。

根据本发明的又一方面，还提供一种电子设备，所述电子设备包括：处理器；存储介质，其上存储有计算机程序，所述计算机程序被所述处理器运行时执行如上所述的步骤。

根据本发明的又一方面，还提供一种存储介质，所述存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如上所述的步骤。

相比现有技术，本发明具有如下优势：

本发明依据任务执行情况确定资源进行弹性伸缩的伸缩策略。优化了集群在弹性伸缩时的资源分配策略，同时缩短了集群整体任务执行完成的时间，提高了资源利用率。

附图说明

通过参照附图详细描述其示例实施方式，本发明的上述和其它特征及优点将变得更加明显。

图1示出了根据本发明实施例的资源分配方法的流程图。

图2示出了根据本发明具体实施例的性能与资源匹配关系示意图。

图3示出了根据本发明实施例的任务初始化的流程图。

图4示出了根据本发明实施例的资源分配装置的示意图。

图5示意性示出本公开示例性实施例中一种计算机可读存储介质示意图。

图6示意性示出本公开示例性实施例中一种电子设备示意图。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的实施方式；相反，提供这些实施方式使得本发明将全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。在图中相同的附图标记表示相同或类似的结构，因而将省略对它们的重复描述。

下面结合附图描述本发明提供的各个实施例。

首先参见图1，图1示出了根据本发明实施例的资源分配方法的流程图。图1共示出6个步骤：

步骤S110：自当前优先级最高的任务组中，确定当前优先级最高的任务，各所述任务组包括多个任务；

步骤S120：根据当前优先级最高的任务对应的最优历史服务质量值，为当前优先级最高的任务分配资源，并按所分配的资源创建集群节点，以进行当前优先级最高的任务组的资源伸展；

步骤S130：由所创建的集群节点执行当前优先级最高的任务；

步骤S140：当前优先级最高的任务执行完成后，计算所分配的集群节点对应当前优先级最高的任务的服务质量值；

步骤S150：若所计算的服务质量值在当前优先级最高的任务对应的历史服务质量值中最优，则回收所创建的集群节点；

步骤S160：重新确定各任务组的优先级及各任务组中各任务的优先级。

由此，本发明提供的资源分配方法中，依据任务执行情况确定资源进行弹性伸缩的伸缩策略。优化了集群在弹性伸缩时的资源分配策略，同时缩短了集群整体任务执行完成的时间，提高了资源利用率。

具体而言，在本发明的各个实施例中，本发明将任务执行中所需要的资源(包括CPU、内存、磁盘、带宽)进行加权计算，在综合考虑任务占用资源以及任务完成时间的基础上，提出了一种基于资源性价比的QoS(服务质量值)计算方式如下所示：

QoS＝资源生产力*任务执行时间，

资源生产力是一种综合考量设备配置的指标，它代表着设备所能执行的任务的能力，反应的是集群在执行任务时支付的能力或价值。任务的执行时间，可认为是***付出了一定的资源生产力的代价后换得的收益，执行时间越短，收益越大。因此，QoS为资源生产力比上任务执行时间的倒数(即资源生产力乘以任务执行时间的)，QoS值越大代表收益率约小，QoS值越小，收益率越大。换言之，QoS值越小，QoS值越优。

在本发明的各个实施例中，上述方法步骤可以使用Java语言，通过集群任务组与资源进行匹配，动态调整任务执行所分配的资源，并在任务结束后依据资源QoS对资源进行回收。

在本发明的各个实施例中，所述任务组的优先级根据任务组的任务数、任务期望完成时间、当前执行任务的集群节点数、任务平均执行速度计算。优先级的计算可以依据实际需求，从而产生不同的计算方式，在此不予赘述。

在本发明的各个实施例中，集群的节点是动态扩展和回收的，并没有常态化、固定的执行节点存在，节点的创建和回收完全基于节点对应任务的QoS。QoS的计算公式如下

QoS_i＝(C_i*w_cpu+M_i*w_men+S_i*w_s+B_i*w_ban)*res_i

C_i表示该集群节点的cpu资源数，M_i表示该集群节点分配的内存，S_i表示该集群节点的存储空间，B_i表示该集群节点的带宽参数，w_cpu、w_mem、w_s、w_ban分别为各资源的权重。

在本发明的各个实施例中，在步骤S160之后，还可以包括判断任务队列中是否具有任务的步骤，若任务队列中具有任务，则再次执行步骤S110至步骤S160；若任务队列中不具有任务，则结束。

进一步地，在上述步骤S120根据当前优先级最高的任务对应的最优历史服务质量值，为当前优先级最高的任务分配资源，并按所分配的资源创建集群节点，以进行当前优先级最高的任务组的资源伸展中，由于资源伸展并非是没有约束的，因此，可以在步骤S120生成资源伸展请求，并向监控组件查询当前集群资源情况是否富裕，即集群的资源是否能满足当前节点扩展请求。在根据资源申请请求完成资源匹配后，可以向集群控制组件发送创建节点指令，以完成伸展操作。

进一步地，资源动态调整的根本目的是达到资源配置最优，即用最少的资源来达到***性能要求。在通常的性能变化模型中，随着资源配置的持续投入，性能也会逐步提高，但是随着资源的溢出，性能的收益曲线也会逐步收敛。同样，在降低资源配置的情况下，性能指标在最初阶段减幅较小，随着资源的逐步减少，性能下降曲线幅度会逐步加大，直至性能崩溃。性能与资源配置的关系曲线如图2所示。

进一步地，各所述任务第一次执行时，根据该任务的类型确定一初始资源模板，根据所述初始资源模板为该任务创建集群节点。具体而言，在任务第一次初始化的时候，其初始的任务节点扩展策略是直接根据不同任务类型的不同初始资源模板来进行扩展。然而，尽管不同虚拟设备节点执行任务的完成时间不同，QoS也不同，但是由于建立在相同的资源条件下，无法根据执行情况获得该任务的最优资源配置。为了获得任务的最优资源配置，本发明中，根据所述初始资源模板为该任务创建集群节点的步骤可以包括增幅阶段、降幅阶段、根据所计算的多个服务质量值确定一最优服务质量值；根据所确定的最优服务质量值向该任务分配资源。增幅阶段为自初始资源模板向该任务执行阶梯式增幅资源分配，计算各级资源分配时的服务质量值；降幅阶段为自初始资源模板向该任务执行阶梯式降幅资源分配，计算各级资源分配时的服务质量值。由此，可以探索当前任务的执行时间与资源配置的关系，来收集尽可能多的QoS值，从而寻求最优QoS。所述增幅阶段及所述降幅阶段同步或异步执行。

在一个具体实施例中，上述增幅阶段、降幅阶段的阶梯式节点资源分配策略，可以如下表所示：

阶梯式资源分配策略

i代表第i个任务，c_i、m_i、b_i分别代表该任务初始资源模板中的CPU、内存以及带宽资源。该资源分配策略即在初始资源模板的基础上，分别向上和向下以每阶梯10％的幅度对资源进行调整，直至达到预定义的临界值。资源增幅和降幅的程度并非以此为限。

如前所述，本案在计算任务优先级的时候加入了该类型任务的期望完成时间作为计算因子之一，因此资源的投入和性能收益成线性关系或大于线性关系可认为资源的投入是性价比较高的，低于线性关系的投入则任务是低收益的。优选地，选择y＝x的线性关系(如图2中，资源配置为x轴，性能为y轴)作为临界点，可得资源调整的约束式：

其中，P_i为当前阶段的资源生产力，a为常量系数，d_i为任务执行时间，a*d_i表示性能，P_i表示当前资源配置(P_i随增幅阶段和降幅阶段的资源配置而进行变更，且d_i为每次降幅/增幅对应P_i的任务执行时间)。

在一个具体实施例中，资源调整的约束式为：

a为常量系数，d_i为任务执行时间，c_i、m_i、b_i分别代表该任务当前阶段的CPU、内存以及带宽资源。

下面根据图3描述任务初始化的步骤。

步骤S310：任务初始化。

步骤S320：按初始资源模板分配资源。

然后可同步或异步执行步骤S330的资源增幅10％和步骤S340的资源降幅10％(增幅和降幅程度并非以此为限)。

步骤S330/步骤S340之后，执行步骤S350执行任务。

步骤S360：获取当前Qos(服务质量值)；

步骤S370：判断当前任务执行时间是否符合资源约束式。

若步骤S370符合，则继续执行步骤S330/步骤S340；若步骤S370不符合，则根据各Qos(服务质量值)确定最优Qos。

以上仅仅是示意性地描述本发明的多个实施例，在不违背本发明构思的前提下，步骤顺序的变化、步骤的合并和拆分都在本发明的保护范围之内。

本发明还提供一种资源分配装置，如图4所示。图4示出了根据本发明实施例的资源分配装置的示意图。资源分配装置900包括第一确定模块901、伸展模块902、执行模块903、计算模块904、回收模块模块905及第二确定模块906。

第一确定模块901用于自当前优先级最高的任务组中，确定当前优先级最高的任务，各所述任务组包括多个任务。

伸展模块902用于根据当前优先级最高的任务对应的最优历史服务质量值，为当前优先级最高的任务分配资源，并按所分配的资源创建集群节点，以进行当前优先级最高的任务组的资源伸展。

执行模块903用于由所创建的集群节点执行当前优先级最高的任务。

计算模块904用于在当前优先级最高的任务执行完成后，计算所分配的集群节点对应当前优先级最高的任务的服务质量值。

若所计算的服务质量值在当前优先级最高的任务对应的历史服务质量值中最优，则所述回收模块905用于回收所创建的集群节点。

第二确定模块906用于重新确定各任务组的优先级及各任务组中各任务的优先级。

由此，本发明提供的资源分配装置中，依据任务执行情况确定资源进行弹性伸缩的伸缩策略。优化了集群在弹性伸缩时的资源分配策略，同时缩短了集群整体任务执行完成的时间，提高了资源利用率。

以上仅仅是示意性地描述本发明的资源分配装置，在不违背本发明构思的前提下，模块的合并和拆分都在本发明的保护范围之内。

在本公开的示例性实施例中，还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被例如处理器执行时可以实现上述任意一个实施例中所述资源分配方法的步骤。在一些可能的实施方式中，本发明的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备执行本说明书上述资源分配方法部分中描述的根据本发明各种示例性实施方式的步骤。

参考图5所示，描述了根据本发明的实施方式的用于实现上述方法的程序产品800，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行***、装置或者器件使用或者与其结合使用。

所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

所述计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在租户计算设备上执行、部分地在租户设备上执行、作为一个独立的软件包执行、部分在租户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到租户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。

在本公开的示例性实施例中，还提供一种电子设备，该电子设备可以包括处理器，以及用于存储所述处理器的可执行指令的存储器。其中，所述处理器配置为经由执行所述可执行指令来执行上述任意一个实施例中所述资源分配方法的步骤。

所属技术领域的技术人员能够理解，本发明的各个方面可以实现为***、方法或程序产品。因此，本发明的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“***”。

下面参照图6来描述根据本发明的这种实施方式的电子设备600。图6显示的电子设备600仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图6所示，电子设备600以通用计算设备的形式表现。电子设备600的组件可以包括但不限于：至少一个处理单元610、至少一个存储单元620、连接不同***组件(包括存储单元620和处理单元610)的总线630、显示单元640等。

其中，所述存储单元存储有程序代码，所述程序代码可以被所述处理单元610执行，使得所述处理单元610执行本说明书上述资源分配方法部分中描述的根据本发明各种示例性实施方式的步骤。例如，所述处理单元610可以执行如图1中所示的步骤。

所述存储单元620可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)6201和/或高速缓存存储单元6202，还可以进一步包括只读存储单元(ROM)6203。

所述存储单元620还可以包括具有一组(至少一个)程序模块6205的程序/实用工具6204，这样的程序模块6205包括但不限于：操作***、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。

总线630可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、***总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。

电子设备600也可以与一个或多个外部设备700(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得租户能与该电子设备600交互的设备通信，和/或与使得该电子设备600能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口650进行。并且，电子设备600还可以通过网络适配器660与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。网络适配器660可以通过总线630与电子设备600的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备600使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID***、磁带驱动器以及数据备份存储***等。

通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、或者网络设备等)执行根据本公开实施方式的上述资源分配方法。

相比现有技术，本发明具有如下优势：

以上具体地示出和描述了本发明的示例性实施方式。应该理解，本发明不限于所公开的实施方式，相反，本发明意图涵盖包含在所附权利要求范围内的各种修改和等效置换。

Claims

1.一种资源分配方法，其特征在于，包括：

由所创建的集群节点执行当前优先级最高的任务；

重新确定各任务组的优先级及各任务组中各任务的优先级。

2.如权利要求1所述的资源分配方法，其特征在于，所述任务组的优先级根据任务组的任务数、任务期望完成时间、当前执行任务的集群节点数、任务平均执行速度计算。

3.如权利要求1所述的资源分配方法，其特征在于，所述服务质量值QoS根据如下公式计算：

QoS＝P*t，

4.如权利要求3所述的资源分配方法，其特征在于，所述资源生产力根据如下公式计算：

P＝C_i*w_cpu+M_i*w_mem+S_i*w_s+B_i*w_ban，

5.如权利要求1所述的资源分配方法，其特征在于，各所述任务第一次执行时，根据该任务的类型确定一初始资源模板，根据所述初始资源模板为该任务创建集群节点。

6.如权利要求5所述的资源分配方法，其特征在于，根据所述初始资源模板为该任务创建集群节点包括：

根据所计算的多个服务质量值确定一最优服务质量值；

根据所确定的最优服务质量值向该任务分配资源。

7.如权利要求6所述的资源分配方法，其特征在于，在所述增幅阶段和所述降幅阶段任务执行时间满足如下约束式：

8.如权利要求5所述的资源分配方法，其特征在于，所述增幅阶段及所述降幅阶段同步或异步执行。

9.一种资源分配装置，其特征在于，包括：

第二确定模块，重新确定各任务组的优先级及各任务组中各任务的优先级。

10.一种电子设备，其特征在于，所述电子设备包括：

处理器；

存储介质，其上存储有计算机程序，所述计算机程序被所述处理器运行时执行如权利要求1至8任一项所述的步骤。

11.一种存储介质，其特征在于，所述存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如权利要求1至8任一项所述的步骤。