CN113377541A - 集群资源分配与回收方法、装置、电子设备和存储介质 - Google Patents

Abstract

本发明涉及一种集群资源分配与回收方法、装置、电子设备和存储介质，该方法应用于包括自定义资源队列模块、配额观测模块、资源分配和回收模块的***中，包括：定义集群资源中的队列信息；轮询每个队列配额的使用信息，实时更新使用信息；当接收到第一用户的新请求任务时，根据使用信息和队列信息分配集群资源、回收集群资源。通过自定义资源队列模块引入了全局的队列自定义资源，解决了namespace配额的局限性，可以很方便的用队列拓展到组的概念；通过配额观测模块实时确定使用信息，通过资源分配和回收模块，使得用户能够使用集群的空闲资源，解决了资源闲置的现象；并且合理的进行分配与回收，有效的提高了整个集群的资源利用率。

Description

集群资源分配与回收方法、装置、电子设备和存储介质

技术领域

本发明涉及集群资源利用技术领域，具体涉及一种集群资源分配与回收方法、装置、电子设备和存储介质。

背景技术

目前，现有的集群配额机制是固定的，每个用户可以使用的资源是固定的，即使在集群资源充足的情况下，用户超出限额的情况下也无法继续使用集群空余的资源，造成整个集群的资源浪费；弹性配额机制不够灵活，不能根据集群或者用户的真实使用情况自动进行调整；目前现有的集群配额没有组的概念，只有个人的概念，配置管理不够灵活；没有较好的预借任务回收机制，资源租借只能通过管理员繁琐的手动调整，无形中增加了运维人员的压力。

发明内容

本发明提供一种集群资源分配与回收方法、装置、电子设备和存储介质，能够解决上述集群资源配置不灵活、没有预借任务回收机制技术问题。

本发明解决上述技术问题的技术方案如下：

第一方面，本发明实施例提供了一种集群资源分配与回收方法，应用于包括自定义资源队列模块、配额观测模块、资源分配和回收模块的***中，包括：

定义集群资源中的队列信息；

轮询每个队列配额的使用信息，实时更新所述使用信息；

当接收到第一用户的新请求任务时，根据所述使用信息和所述队列信息分配集群资源、回收集群资源。

在一些实施例中，上述队列信息包括：

每个队列、每个队列对应的namespace、最大配额、最小配额、每个队列的超限资源比例权重P、每个队列都有一个变量W；

其中，所述变量W用于自动记录每个队列使用的超限的资源的数量；

所述超限资源比例权重P用于指示超出最小配额的资源的使用比例，

在一些实施例中，上述一种集群资源分配与回收方法中当接收到第一用户的新请求任务时，根据使用信息分配集群资源、回收集群资源，当集群资源有空余资源时，包括：

第一用户的新请求任务资源小于最小配额时，集群资源正常分配，新请求任务正常提交；

第一用户的新请求任务资源大于最小配额小于所述最大配额时，新请求任务能够提交，查询每个队列的记录值；

第一用户的新请求任务资源大于最大配额时，设置新请求任务的优先级为三级；

在一些实施例中，上述一种集群资源分配与回收方法中当接收到新请求任务时，根据所述使用信息分配集群资源、回收所述集群资源，当集群资源没有空余资源时，包括：

第一用户的新请求任务资源小于最小配额时，回收集群资源，使得新请求任务的队列能够满足最小配额；

第一用户的新请求任务资源达到最小配额时，不进行分配。

在一些实施例中，上述一种集群资源分配与回收方法中查询各个队列的记录值后，包括：

第一用户的新请求任务资源在集群中使用的超限资源所占的比例小于超限资源比例权重，设置第一用户的新请求任务的优先级为二级；

第一用户的新请求任务资源在集群中使用的超限资源所占的比例小于超限资源比例权重，设置第一用户的新请求任务的优先级为三级。

在一些实施例中，回收集群资源包括：

没有超过最低配额的第二用户观测集群中有没有优先级为三级的新请求任务资源，若有且所述优先级为三级的新请求任务资源包含多个队列，按照比例高的队列回收；

若没有优先级为三级的新请求任务，观测优先级为二级的新请求任务，没有超过最低配额的第二用户回收第一用户的优先级为二级的新请求任务和第三用户超限用户的优先级为三级的新请求任务资源；

若第一队列超过最小配额，但是未达到最大配额时，回收集群中优先级为三级的新请求任务，并且设置优先级为三级的新请求任务为优先级为二级的新请求任务。

在一些实施例中，没有超过最低配额的第二用户回收第一用户的优先级为二级的新请求任务和第三用户超限用户的优先级为三级的新请求任务资源，包括：

第一用户和第三用户根据每个队列使用的超限的资源的数量W的比值和超限资源比例权重P的比值的差值进行抢占。

第二方面，本发明实施例提供了一种集群资源分配与回收装置，包括：

自定义资源队列模块：用于定义集群资源中的队列信息；

配额观测模块：用于轮询每个队列配额的使用信息；

资源分配和回收模块：用于当接收到第一用户的新请求任务时，根据所述使用信息和所述队列信息分配集群资源、回收集群资源。

第三方面，本发明实施例还提供了一种电子设备，包括：处理器和存储器；

所述处理器通过调用所述存储器存储的程序或指令，用于执行如上所述任一项一种集群资源分配与回收方法。

第四方面，本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储程序或指令，所述程序或指令使计算机执行如上所述任一项所述一种集群资源分配与回收方法。

本发明的有益效果是：应用于包括自定义资源队列模块、配额观测模块、资源分配和回收模块的***的方法，包括：定义集群资源中的队列信息；轮询每个队列配额的使用信息，实时更新使用信息；用于当接收到第一用户的新请求任务时，根据使用信息和队列信息分配集群资源、回收集群资源。通过自定义资源队列模块引入了全局的队列自定义资源，解决了原本namespace配额的局限性，可以很方便的用队列拓展到组的概念；通过配额观测模块实时确定使用信息，通过资源分配和回收模块，使得用户能够使用集群的空闲资源，解决了资源闲置的现象；并且能够灵活在集群中实现资源的分配与使用，有效的提高了整个集群的资源利用率以及降低了管理员运维的工作量。

附图说明

图1为本发明实施例提供的一种集群资源分配与回收方法图；

图2为本发明实施例提供的一种集群资源分配与回收装置图；

图3为本发明实施例提供的一种电子设备的示意性框图。

具体实施方式

以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。

为了能够更清楚地理解本申请的上述目的、特征和优点，下面结合附图和实施例对本公开作进一步的详细说明。可以理解的是，所描述的实施例是本公开的一部分实施例，而不是全部的实施例。此处所描述的具体实施例仅仅用于解释本公开，而非对本申请的限定。基于所描述的本申请的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本申请保护的范围。

需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。

图1为本发明实施例提供的一种集群资源分配与回收方法图。

第一方面，本发明实施例提供了一种集群资源分配与回收方法，应用于包括自定义资源队列模块、配额观测模块、资源分配和回收模块的***中，包括S101、S102和S103三个步骤：

S101：定义集群资源中的队列信息；

具体的，本申请实施例中通过自定义资源队列模块定义集群资源中的队列信息。

S102：轮询每个队列配额的使用信息，实时更新所述使用信息；

配额观测模块检测每个自定义队列中配额的使用信息，配额观测模块由List-Watch机制和Informer模块构成，通过不断的轮询每个队列的配额的使用信息，将实时在高速缓冲存储器更新使用信息，使用信息包括每个队列的当前配额，以及变量W的值包括在缓存中，定时刷新到后端数据库中存储。

S103：当接收到第一用户的新请求任务时，根据所述使用信息和所述队列信息分配集群资源、回收集群资源。

具体的，本申请实施例中通过资源分配和回收模块对当前的配额使用信息进行管理，当第一用户提交新任务之后负责集群资源的分配，确定是否进行集群资源的回收。

在一些实施例中，上述队列信息包括：

每个队列、每个队列对应的namespace、最大配额、最小配额、每个队列的超限资源比例权重P、每个队列都有一个变量W；

其中，所述变量W用于自动记录每个队列使用的超限的资源的数量；

所述超限资源比例权重P用于指示超出最小配额的资源的使用比例。

具体的，本申请实施例中的集群中每个资源都是按照namespace隔离，每个namespace下面会有CPU/GPU等资源，用户定义最大配额Qmax和最小配额Qmin，超限资源比例权重P，设置每个队列在超限资源中即超出Qmin的资源的使用比例公式为：【max-min】/s+min，s是可变参数每个队列不同，队列中还会有一个变量W，用于自动记录每个队列使用的超限的资源的数量。

应理解，用户在集群中对队列的操作都由控制器进行控制，控制器的作用是维护自定义的状态使其符合用户的设定要求，当有事件发生时，去比对当前资源的状态和预期的状态是否一致，如果不一致，就去矫正。

在一些实施例中，上述一种集群资源分配与回收方法中当接收到第一用户的新请求任务时，根据使用信息分配集群资源、回收集群资源，当集群资源有空余资源时，包括如下三种情况：

第一种情况：第一用户的新请求任务资源小于最小配额时，集群资源正常分配，新请求任务正常提交；

第二种情况：第一用户的新请求任务资源大于最小配额小于所述最大配额时，新请求任务能够提交，查询每个队列的记录值；

第三种情况：第一用户的新请求任务资源大于最大配额时，设置新请求任务的优先级为三级。

具体的，当集群资源有空余资源时，通过比较第一用户的新请求任务资源与最大配额和最小配额的大小，采取不同的分配方式，首先使得用户能够使用集群的空闲资源，解决了资源闲置的现象，其次，通过不同的方式分配集群资源，使得集群资源的分配更加灵活有效。

在一些实施例中，上述一种集群资源分配与回收方法中当接收到新请求任务时，当集群资源没有空余资源时，根据所述使用信息分配集群资源、回收所述集群资源，包括如下两种情况：

第一种情况：第一用户的新请求任务资源小于最小配额时，回收集群资源，使得新请求任务的队列能够满足最小配额；

第二种情况：第一用户的新请求任务资源达到最小配额时，不进行分配。

具体的，当集群资源没有空余资源时，通过比较第一用户的新请求任务资源与最小配额的大小，确定进行回收或者不进行分配。应理解，当进行回收时，能够使得集群借用的资源能够立刻回收，当集群资源没有空余资源时，第一用户的新请求任务资源达到最小配额时，禁止分配。

在一些实施例中，上述一种集群资源分配与回收方法中查询各个队列的记录值后，包括：

第一用户的新请求任务资源在集群中使用的超限资源所占的比例小于超限资源比例权重，设置第一用户的新请求任务的优先级为二级；

第一用户的新请求任务资源在集群中使用的超限资源所占的比例小于超限资源比例权重，设置第一用户的新请求任务的优先级为三级。

具体的，当集群资源有空余资源时，通过比较第一用户的新请求任务资源与最大配额和最小配额的大小，如第一用户的新请求任务资源大于最小配额小于所述最大配额时，进一步确定新请求任务资源在集群中使用的超限资源所占的比例与超限资源比例权重的大小，从而将第一用户的新请求任务设置为不同的优先级等级，以便再回收的时候根据不同的优先级进行回收。

在一些实施例中，回收集群资源包括如下三种情况：

第一种情况：没有超过最低配额的第二用户观测集群中有没有优先级为三级的新请求任务资源，若有且所述优先级为三级的新请求任务资源包含多个队列，按照比例较高的队列回收；

应理解，本申请实施例中每个队列使用的资源数都会转换成一个比例，比如三级任务有A(0.9)、B(0.2)、C(0.4)，被回收的就是A。

第二种情况：若没有优先级为三级的新请求任务，观测优先级为二级的新请求任务，没有超过最低配额的第二用户回收第一用户的优先级为二级的新请求任务和第三用户超限用户的优先级为三级的新请求任务资源。

具体的，本申请实施例中第一用户和第三用户根据每个队列使用的超限的资源的数量W的比值和超限资源比例权重P的比值的差值进行抢占。

应理解，P是一个可调整的参数，代表每个队列超出最小配额的一个比例，比值是一个固定值，每个队列的值可以不同，比如第一用户队列A的最大配额跟最小配额为[5,20],P可以定义【20-5】/s1+5,s1取值为3，那么p为10；队列C配额为[5,30],第三用户队列C的P可以设置【30-5】/S2+5，S2为5那么P为10；超出最小配额但是还没达到P的任务资源等级都被设置为优先级为二级，假如第一用户队列A用了8个配额，第三用户队列C也用了8个，队列A 8/15，队列C 8/25，显然A>C，这时A被回收。

第三种情况：第一队列超过最小配额，但是未达到最大配额的情况下，回收集群中优先级为三级的新请求任务，并且设置优先级为三级的新请求任务为优先级为二级的新请求任务。

具体的，本申请实施例中通过对借用的资源的任务设置不同的优先级，回收的时候低优先级的任务最先被回收，保护了用户重要的训练任务，符合借用原则。

图2为本发明实施例提供的一种集群资源分配与回收装置图；

第二方面，本发明实施例提供了一种集群资源分配与回收装置，包括：

自定义资源队列模块201：用于定义集群资源中的队列信息；

具体的，本申请实施例中通过自定义资源队列模块201定义集群资源中的队列信息。

配额观测模块202：用于轮询每个队列配额的使用信息。

具体的，本申请实施例中配额观测模块202检测每个自定义队列中配额的使用信息，配额观测模块202由List-Watch机制和Informer模块构成，通过不断的轮询每个队列的配额的使用信息，将实时在高速缓冲存储器更新使用信息，使用信息包括每个队列的当前配额，以及变量W的值包括在缓存中，定时刷新到后端数据库中存储。

资源分配和回收模块203：用于当接收到第一用户的新请求任务时，根据所述使用信息和所述队列信息分配集群资源、回收集群资源。

具体的，本申请实施例中通过资源分配和回收模块203对当前的配额使用信息进行管理，当第一用户提交新任务之后负责集群资源的分配，确定是否进行集群资源的回收。

第三方面，本发明实施例还提供了一种电子设备，包括：处理器和存储器；

所述处理器通过调用所述存储器存储的程序或指令，用于执行如上所述任一项一种集群资源分配与回收方法。

第四方面，本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储程序或指令，所述程序或指令使计算机执行如上所述任一项所述一种集群资源分配与回收方法。

图3是本公开实施例提供的一种电子设备的示意性框图。

如图3所示，电子设备包括：至少一个处理器301、至少一个存储器302和至少一个通信接口303。电子设备中的各个组件通过总线***304耦合在一起。通信接口303，用于与外部设备之间的信息传输。可理解，总线***304用于实现这些组件之间的连接通信。总线***304除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但为了清楚说明起见，在图3中将各种总线都标为总线***304。

可以理解，本实施例中的存储器302可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。

在一些实施方式中，存储器302存储了如下的元素，可执行单元或者数据结构，或者他们的子集，或者他们的扩展集：操作***和应用程序。

其中，操作***，包含各种***程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务。应用程序，包含各种应用程序，例如媒体播放器(Media Player)、浏览器(Browser)等，用于实现各种应用业务。实现本申请实施例提供的一种集群资源分配与回收方法中任一方法的程序可以包含在应用程序中。

在本申请实施例中，处理器301通过调用存储器302存储的程序或指令，具体的，可以是应用程序中存储的程序或指令，处理器301用于执行本申请实施例提供的一种集群资源分配与回收方法各实施例的步骤。

定义集群资源中的队列信息；

轮询每个队列配额的使用信息，实时更新所述使用信息；

当接收到第一用户的新请求任务时，根据所述使用信息和所述队列信息分配集群资源、回收集群资源。

本申请实施例提供的一种集群资源分配与回收方法中任一方法可以应用于处理器301中，或者由处理器301实现。处理器301可以是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器701中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器701可以是通用处理器、数字信号处理器(DigitalSignal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

本申请实施例提供的一种集群资源分配与回收方法任一方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件单元组合执行完成。软件单元可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器302，处理器301读取存储器302中的信息，结合其硬件完成一种集群资源分配与回收方法的步骤。

本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本申请的范围之内并且形成不同的实施例。

本领域的技术人员能够理解，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

虽然结合附图描述了本申请的实施方式，但是本领域技术人员可以在不脱离本申请的精神和范围的情况下做出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内以上，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

以上，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种集群资源分配与回收方法，其特征在于，应用于包括自定义资源队列模块、配额观测模块、资源分配和回收模块的***中，所述方法包括：

定义集群资源中的队列信息；

轮询每个队列配额的使用信息，实时更新所述使用信息；

当接收到第一用户的新请求任务时，根据所述使用信息和所述队列信息分配集群资源、回收集群资源。

2.根据权利要求1所述的集群资源分配与回收方法，其特征在于，所述队列信息包括：

每个队列、每个队列对应的namespace、最大配额、最小配额、每个队列的超限资源比例权重P、每个队列都有一个变量W；

其中，所述变量W用于自动记录每个队列使用的超限的资源的数量；

所述超限资源比例权重P用于指示超出最小配额的资源的使用比例。

3.根据权利要求1所述的集群资源分配与回收方法，其特征在于，当接收到第一用户的新请求任务时，根据所述使用信息分配集群资源、回收所述集群资源，当集群资源有空余资源时，包括：

第一用户的新请求任务资源小于所述最小配额时，集群资源正常分配，新请求任务正常提交；

第一用户的新请求任务资源大于所述最小配额小于所述最大配额时，新请求任务能够提交，查询每个队列的记录值；

第一用户的新请求任务资源大于所述最大配额时，设置新请求任务的优先级为三级。

4.根据权利要求1所述的集群资源分配与回收方法，其特征在于，当接收到新请求任务时，根据所述使用信息分配集群资源、回收所述集群资源，当集群资源没有空余资源时，包括：

第一用户的新请求任务资源小于所述最小配额时，回收集群资源，使得新请求任务的队列能够满足所述最小配额；

第一用户的新请求任务资源达到最小配额时，不进行分配。

5.根据权利要求3所述的集群资源分配与回收方法，其特征在于，所述查询各个队列的记录值后，所述方法还包括：

若第一用户的新请求任务资源在集群中使用的超限资源所占的比例小于所述超限资源比例权重P，设置第一用户的新请求任务的优先级为二级；

若第一用户的新请求任务资源在集群中使用的超限资源所占的比例小于所述超限资源比例权重P，设置第一用户的新请求任务的优先级为三级。

6.根据权利要求4所述的集群资源分配与回收方法，其特征在于，所述回收集群资源包括：

没有超过最低配额的第二用户确定集群中有没有优先级为三级的新请求任务，若有且所述优先级为三级的新请求任务资源包含多个队列，按照比例高的队列回收；

若确定集群中没有所述优先级为三级的新请求任务，确定优先级为二级的新请求任务，没有超过所述最低配额的第二用户回收第一用户的优先级为二级的新请求任务和第三用户超限用户的优先级为三级的新请求任务资源；

若第一队列超过所述最小配额，但是未达到所述最大配额时，回收所述集群中优先级为三级的新请求任务，并且设置所述优先级为三级的新请求任务为优先级为二级的新请求任务。

7.根据权利要求6所述的集群资源分配与回收方法，其特征在于，所述没有超过所述最低配额的第二用户回收第一用户的优先级为二级的新请求任务和第三用户超限用户的优先级为三级的新请求任务资源，包括：

第一用户和第三用户根据每个队列使用的超限的资源的数量W的比值和超限资源比例权重P的比值的差值进行抢占。

8.一种集群资源分配与回收装置，其特征在于，所述装置包括：

定义自定义资源队列模块：用于定义集群资源中的队列信息；

配额观测模块：用于轮询每个队列配额的使用信息；

资源分配和回收模块：用于当接收到第一用户的新请求任务时，根据所述使用信息和所述队列信息分配集群资源、回收集群资源。

9.一种电子设备，其特征在于，包括：处理器和存储器；

所述处理器通过调用所述存储器存储的程序或指令，用于执行如权利要求1至7任一项所述集群资源分配与回收方法。

10.一种计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储程序或指令，所述程序或指令使计算机执行如权利要求1至7任一项所述一种集群资源分配与回收方法。

Images