CN111240836A - 算力资源管理方法、装置、电子设备及存储介质 - Google Patents

算力资源管理方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN111240836A
CN111240836A CN202010010110.1A CN202010010110A CN111240836A CN 111240836 A CN111240836 A CN 111240836A CN 202010010110 A CN202010010110 A CN 202010010110A CN 111240836 A CN111240836 A CN 111240836A
Authority
CN
China
Prior art keywords
user
clusters
candidate
cluster
computing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010010110.1A
Other languages
English (en)
Inventor
秦迪
张红光
王蒙
靳伟
邱德强
袁东方
朱丽
喻友平
吴甜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN202010010110.1A priority Critical patent/CN111240836A/zh
Publication of CN111240836A publication Critical patent/CN111240836A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/50Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G06F9/5044Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering hardware capabilities
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/50Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5061Partitioning or combining of resources
    • G06F9/5072Grid computing

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Power Sources (AREA)

Abstract

本申请公开了算力资源管理方法、装置、电子设备及存储介质,涉及深度学习领域,其中方法可包括:获取任一用户的算力资源分配请求,确定出适用于用户的管理策略;从所构建的M个集群中确定出所述管理策略对应的集群,M为大于一的正整数;将确定出的集群作为候选集群,将候选集群中的至少一个集群的算力资源分配给用户进行使用。应用本申请所述方案,可提升资源利用率等。

Description

算力资源管理方法、装置、电子设备及存储介质
技术领域
本申请涉及计算机应用技术,特别涉及深度学习领域的算力资源管理方法、装置、电子设备及存储介质。
背景技术
随着深度学习迅速发展,网络的种类、复杂程度和处理的数据量都在飞速的增长,对于深度学习算力资源的需求也越来越高。算力资源可包括处理器、内存、带宽及硬盘等,其中处理器可包括中央处理单元(CPU,Central Processing Unit)及图形处理器(GPU,Graphics Processing Unit)等。
不同用户的深度学习项目对于算力资源的需求也可能不同,但目前还没有一种有效的算力资源管理方法。
发明内容
有鉴于此,本申请提供了算力资源管理方法、装置、电子设备及存储介质。
一种算力资源管理方法,包括:
获取任一用户的算力资源分配请求,确定出适用于所述用户的管理策略;
从所构建的M个集群中确定出所述管理策略对应的集群,M为大于一的正整数;
将确定出的集群作为候选集群,将所述候选集群中的至少一个集群的算力资源分配给所述用户进行使用。
根据本申请一优选实施例,所述确定出适用于所述用户的管理策略包括:
获取所述用户的预定用户信息;
根据所述用户信息确定出适用于所述用户的管理策略。
根据本申请一优选实施例,所述将所述候选集群中的至少一个集群的算力资源分配给所述用户进行使用之前,进一步包括:从所述候选集群中过滤掉无法提供服务的集群。
根据本申请一优选实施例,所述将所述候选集群中的至少一个集群的算力资源分配给所述用户进行使用包括:
按照性能由高到低的原则对各候选集群进行排序;
将排序后处于前N位的集群的算力资源分配给所述用户进行使用,N为正整数;
或者,将排序后的各集群分配给所述用户,以便所述用户从中选择至少一个集群的算力资源进行使用。
根据本申请一优选实施例,所述对各候选集群进行排序包括:
针对每一候选集群,分别从预定的至少两个维度对所述候选集群进行评分,将各评分加权相加,得到所述候选集群的综合评分;
按照综合评分由高到低的顺序对各候选集群进行排序。
根据本申请一优选实施例,所述获取任一用户的算力资源分配请求之前,进一步包括:为所述用户分配预定额度的算力卡;
所述获取任一用户的算力资源分配请求之后,进一步包括:确定所述用户的算力卡中是否存在剩余额度,若是,则确定出适用于所述用户的管理策略,若否,则拒绝本次请求;
所述将所述候选集群中的至少一个集群的算力资源分配给所述用户进行使用之后,进一步包括:按照所述用户对于算力资源的使用情况从所述算力卡中扣除对应的额度。
一种算力资源管理装置,包括:第一管理单元以及第二管理单元;
所述第一管理单元,用于获取任一用户的算力资源分配请求,确定出适用于所述用户的管理策略,并从所构建的M个集群中确定出所述管理策略对应的集群,M为大于一的正整数;
所述第二管理单元,用于将确定出的集群作为候选集群,将所述候选集群中的至少一个集群的算力资源分配给所述用户进行使用。
根据本申请一优选实施例,所述第一管理单元获取所述用户的预定用户信息,根据所述用户信息确定出适用于所述用户的管理策略。
根据本申请一优选实施例,所述第二管理单元进一步用于,从所述候选集群中过滤掉无法提供服务的集群。
根据本申请一优选实施例,所述第二管理单元按照性能由高到低的原则对各候选集群进行排序,将排序后处于前N位的集群的算力资源分配给所述用户进行使用,N为正整数,或者,将排序后的各集群分配给所述用户,以便所述用户从中选择至少一个集群的算力资源进行使用。
根据本申请一优选实施例,所述第二管理单元针对每一候选集群,分别从预定的至少两个维度对所述候选集群进行评分,将各评分加权相加,得到所述候选集群的综合评分,按照综合评分由高到低的顺序对各候选集群进行排序。
根据本申请一优选实施例,所述第二管理单元进一步用于,在所述第一管理单元获取所述用户的算力资源分配请求之前,为所述用户分配预定额度的算力卡;在将所述候选集群中的至少一个集群的算力资源分配给所述用户进行使用之后,按照所述用户对于算力资源的使用情况从所述算力卡中扣除对应的额度;
所述第一管理单元进一步用于,在获取所述用户的算力资源分配请求之后,确定所述用户的算力卡中是否存在剩余额度,若是,则确定出适用于所述用户的管理策略,若否,则拒绝本次请求。
一种电子设备,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行如以上所述的方法。
一种存储有计算机指令的非瞬时计算机可读存储介质,所述计算机指令用于使所述计算机执行如以上所述的方法。
上述申请中的一个实施例具有如下优点或有益效果:将算力资源以多集群的方式平台化,将有限的算力资源以更小的粒度、更灵活的方式、更加合理的分配给用户,并可通过策略将用户和算力资源解耦,一方面可以通过增减集群中的服务器及增减集群等方便地进行算力资源的扩缩容,实现算力资源的合理配置,另一方面可以在算力资源总量不变的情况,通过调整策略对算力资源进行调度,合理的分配用户所使用的算力资源,从而提升了算力资源分配的灵活性及资源利用率等;另外,可通过过滤掉无法提供服务的集群及对各候选集群进行排序等,尽可能地为用户提供性能较优的算力资源;再有,可利用算力卡来对用户的可用算力资源进行限制,从而避免了部分用户对算力资源独占而造成的资源分配不合理的问题,进而进一步提高了资源利用率等;上述可选方式所具有的其它效果将在下文中结合具体实施例加以说明。
附图说明
附图用于更好地理解本方案,不构成对本申请的限定。其中:
图1为本申请所述算力资源管理方法实施例的流程图;
图2为本申请所述算力资源管理装置200实施例的组成结构示意图;
图3为本申请所述算力资源管理装置与用户及各集群的交互方式示意图;
图4为根据本申请实施例所述方法的电子设备的框图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明,其中包括本申请实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本申请的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
另外,应理解,本文中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系。
图1为本申请所述算力资源管理方法实施例的流程图。如图1所示,包括以下具体实现方式。
在101中,获取任一用户的算力资源分配请求,确定出适用于用户的管理策略。
在102中,从所构建的M个集群中确定出所述管理策略对应的集群,M为大于一的正整数。
在103中,将确定出的集群作为候选集群,将候选集群中的至少一个集群的算力资源分配给用户进行使用。
可预先按照多维度采用容器化技术构建M个集群,M为大于一的正整数,具体取值可根据实际需要而定,并可设置各集群所拥有的算力资源限额等。如何构建集群为现有技术。
所述多维度可包括区域及处理器类型等,其中区域可包括东北区域、华北地区等,处理器类型可包括CPU和GPU等。比如,第一集群可对应于第一区域,处理器类型为CPU,第二集群可对应于第二区域,处理器类型为GPU,第三集群可对应于第一区域,处理器类型为GPU等,另外还可进一步对CPU和GPU进行细分等,如GPU分为P40和V100等。所述多维度中具体包括哪些内容可根据实际需要而定。
当获取到任一用户的算力资源分配请求后,可确定出适用于用户的管理策略。作为一种可能的实现方式,可首先获取预定用户信息,之后可根据获取到的用户信息确定出适用于用户的管理策略。
所述用户信息具体包括哪些内容同样可根据实际需要而定,比如可包括用户属性信息,用户属性信息可包括否付费用户等。
作为一种可能的实现方式,可预先构建用户信息与管理策略之间的对应关系,这样,可按照所述对应关系,确定出获取到的用户信息对应的管理策略,将确定出的管理策略作为适用于用户的管理策略。
之后,可从所构建的M个集群中确定出适用于用户的管理策略对应的集群。比如,若用户为未付费用户,适用于用户的管理策略为管理策略1,管理策略1为只能使用CPU类型的处理器,那么则可将处理器类型为CPU的集群作为管理策略1对应的集群。再比如,若用户为付费用户,适用于用户的管理策略为管理策略2,管理策略2为能够使用GPU类型的处理器,那么则可将处理器类型为GPU的集群作为管理策略2对应的集群。当然,上述仅为举例说明,并不用于限制本申请的技术方案,所述管理策略具体为何种策略可根据实际需要而定。
可将适用于用户的管理策略对应的集群作为候选集群。适用于用户的管理策略可能是一个,也可能是多个,如果是一个,可确定出该管理策略对应的集群,作为候选集群,如果是多个,可分别确定出每个管理策略对应的集群,将各管理策略对应的集群均作为候选集群。一个管理策略可对应于一个或多个集群,一个集群也可对应于一个或多个管理策略。
另外,还可从候选集群中过滤掉无法提供服务的集群,如可从候选集群中过滤掉达到算力资源限额的集群,针对剩余的候选集群继续后续处理。
得到的候选集群通常为多个,进一步地,可按照性能由高到低的原则对各候选集群进行排序。
作为一种可能的实现方式,针对每一候选集群,可分别从预定的至少两个维度对该候选集群进行评分,并可将各评分加权相加,从而可得到该候选集群的综合评分,进而可按照综合评分由高到低的顺序对各候选集群进行排序。
所述至少两个维度可包括但不限于以下所示:
a)用户和算力资源的区域相关性:可通过智能域名***(DNS,Domain NameSystem)感知到用户所在区域,另外还可结合用户的深度学习项目历史运行信息确定用户所在区域等,并已知各候选集群对应的区域,针对任一候选集群,若用户所在区域与该候选集群对应的区域相同,则可认为相关,否则可认为不相关。若相关,可赋予较高的评分,若不相关,可赋予较低的评分,接入同区域的集群速度上通常会更快。
b)算力资源性能:集群的处理器和/或内存和/或存储性能越优,则评分可越高。
c)集群负荷:集群正在使用的算力资源/集群的算力资源限额,“/”表示除以,得到的商越大,评分可越低。
d)集群带宽负荷:一定时长内所占用的带宽均值/集群的最大带宽,一定时长可以是指最近预定时长,如最近一小时等,得到的商越大,评分可越低。
e)项目运行统计信息:一定时长内集群中项目的平均启动速度,一定时长可以是指最近预定时长,平均启动速度越快,评分可越高。
针对任一候选集群,在分别获取到上述各维度的评分之后,可将各维度的评分加权相加,从而得到该候选集群的综合评分。各维度分别对应的权重可根据实际需要而定。
相应地,可按照综合评分由高到低的顺序对各候选集群进行排序,并可将排序后处于前N位的集群的算力资源分配给用户进行使用,N为正整数,具体取值可根据实际需要而定,如可为1,或者,可将排序后的各集群分配给用户,以便用户从中选择至少一个集群的算力资源进行使用。
举例说明:候选集群的个数为4,分别为集群1、集群2、集群3和集群4,分别获取各候选集群的综合评分,并按照综合评分由高到低的顺序进行排序,从而得到排序后的各集群如下:集群2、集群1、集群4、集群3,那么可将集群2的算力资源分配给用户进行使用,或者,可将排序后的各候选集群分配给用户,由用户从中选择如集群2的算力资源进行使用,或者,选择集群2和集群1的算力资源进行使用等。
本实施例所述方案中,针对不同的用户,还可分别为其分配一定额度的算力卡。不同用户对应的算力卡的额度也可不同,具体额度可根据实际需要而定。可利用算力卡来对用户的可用算力资源进行限制,从而避免了部分用户对算力资源独占而造成的资源分配不合理等问题,进而可提高资源利用率。
相应地,本实施例中,在获取到用户的算力资源分配请求之后,可首先确定用户的算力卡中是否存在剩余额度,若是,则可确定出适用于用户的管理策略等,即继续之后的处理,若否,可拒绝本次请求。
另外,在将候选集群中的至少一个集群的算力资源分配给用户进行使用之后,可按照用户对于算力资源的使用情况从算力卡中扣除对应的额度。
算力卡的具体形式不作限制,比如可表现为算力资源使用时长,根据用户使用算力资源的时长,可从算力卡中扣除对应的时长。若在使用算力资源的过程中算力卡的额度变为零,那么可不再允许用户继续使用算力资源,即可以理解为算力卡到期后,收回分配的算力资源。如果需要,后续还可以重新为用户分配算力卡等。
需要说明的是,对于前述的各方法实施例,为了简单描述,将其表述为一系列的动作组合,但是本领域技术人员应该知悉,本申请并不受所描述的动作顺序的限制,因为依据本申请,某些步骤可以采用其它顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本申请所必须的。
总之,采用本申请方法实施例所述方案,可将算力资源以多集群的方式平台化,将有限的算力资源以更小的粒度、更灵活的方式、更加合理的分配给用户,并可通过策略将用户和算力资源解耦,一方面可以通过增减集群中的服务器及增减集群等方便地进行算力资源的扩缩容,实现算力资源的合理配置,另一方面可以在算力资源总量不变的情况,通过调整策略对算力资源进行调度,合理的分配用户所使用的算力资源,从而提升了算力资源分配的灵活性及资源利用率等;另外,可通过过滤掉无法提供服务的集群及对各候选集群进行排序等,尽可能地为用户提供性能较优的算力资源;再有,可利用算力卡来对用户的可用算力资源进行限制,从而避免了部分用户对算力资源独占而造成的资源分配不合理的问题,进而进一步提高了资源利用率等。
以上是关于方法实施例的介绍,以下通过装置实施例,对本申请所述方案进行进一步说明。
图2为本申请所述算力资源管理装置200实施例的组成结构示意图。如图2所示,包括:第一管理单元201以及第二管理单元202。
第一管理单元201,用于获取任一用户的算力资源分配请求,确定出适用于用户的管理策略,并从所构建的M个集群中确定出所述管理策略对应的集群,M为大于一的正整数。
第二管理单元202,用于将确定出的集群作为候选集群,将候选集群中的至少一个集群的算力资源分配给用户进行使用。
可预先按照多维度采用容器化技术构建M个集群,M为大于一的正整数,并可设置各集群所拥有的算力资源限额等。
所述多维度可包括区域及处理器类型等,其中区域可包括东北区域、华北地区等,处理器类型可包括CPU和GPU等。
第一管理单元201获取到任一用户的算力资源分配请求后,可确定出适用于用户的管理策略。具体地,可首先获取预定用户信息,之后可根据获取到的用户信息确定出适用于用户的管理策略。作为一种可能的实现方式,可预先构建用户信息与管理策略之间的对应关系,这样,可按照所述对应关系,确定出获取到的用户信息对应的管理策略,将确定出的管理策略作为适用于用户的管理策略。之后,第一管理单元201还可从所构建的M个集群中确定出适用于用户的管理策略对应的集群。
第二管理单元202可将适用于用户的管理策略对应的集群作为候选集群,并可从候选集群中过滤掉无法提供服务的集群,如可从候选集群中过滤掉达到算力资源限额的集群,针对剩余的候选集群进行后续处理。
进一步地,第二管理单元202可按照性能由高到低的原则对各候选集群进行排序,如针对每一候选集群,分别从预定的至少两个维度对该候选集群进行评分,将各评分加权相加,得到该候选集群的综合评分,按照综合评分由高到低的顺序对各候选集群进行排序。
完成排序之后,第二管理单元202可将排序后处于前N位的集群的算力资源分配给用户进行使用,N为正整数,或者,将排序后的各集群分配给用户,以便用户从中选择至少一个集群的算力资源进行使用。
另外,第二管理单元202还可在第一管理单元201获取用户的算力资源分配请求之前,为用户分配预定额度的算力卡,在将候选集群中的至少一个集群的算力资源分配给用户进行使用之后,还可按照用户对于算力资源的使用情况从算力卡中扣除对应的额度。相应地,第一管理单元201在获取到用户的算力资源分配请求之后,还可确定用户的算力卡中是否存在剩余额度,若是,则可确定出适用于用户的管理策略,即继续之后的处理,若否,可拒绝本次请求。
算力卡的具体形式不作限制,比如可表现为算力资源使用时长,根据用户使用算力资源的时长,可从算力卡中扣除对应的时长。若在使用算力资源的过程中算力卡的额度变为零,那么可不再允许用户继续使用算力资源,即可以理解为算力卡到期后,收回分配的算力资源。如果需要,后续还可以重新为用户分配算力卡等。
图2所示装置实施例的具体工作流程请参照前述方法实施例中的相关说明,不再赘述。
另外,基于上述介绍,图3为本申请所述算力资源管理装置与用户及各集群的交互方式示意图。如图3所示,可预先构建M个集群,并可为用户分配预定额度的算力卡。用户发出算力资源分配请求后,若确定用户的算力卡中存在剩余额度,可获取预定用户信息,并可根据获取到的用户信息确定出适用于用户的管理策略。之后可从所构建的M个集群中确定出所述管理策略对应的集群,作为候选集群,并可从候选集群中过滤掉无法提供服务的集群。之后可按照性能由高到低的原则对各候选集群进行排序,如针对每一候选集群,可分别从预定的至少两个维度对该候选集群进行评分,并将各评分加权相加,从而得到该候选集群的综合评分,进而可按照综合评分由高到低的顺序对各候选集群进行排序。所述至少两个维度可包括但不限于:用户和算力资源的区域相关性、算力资源性能、集群负荷、集群带宽负荷及项目运行统计信息等,可通过与集群进行交互等来获取相关信息。可将排序后处于前N位的集群的算力资源分配给用户进行使用,N为正整数,或者,将排序后的各集群分配给用户,以便用户从中选择至少一个集群的算力资源进行使用,如可利用算力资源进行深度学习。另外,还可按照用户对于算力资源的使用情况从算力卡中扣除对应的额度等。
总之,采用本申请装置实施例所述方案,可将算力资源以多集群的方式平台化,将有限的算力资源以更小的粒度、更灵活的方式、更加合理的分配给用户,并可通过策略将用户和算力资源解耦,一方面可以通过增减集群中的服务器及增减集群等方便地进行算力资源的扩缩容,实现算力资源的合理配置,另一方面可以在算力资源总量不变的情况,通过调整策略对算力资源进行调度,合理的分配用户所使用的算力资源,从而提升了算力资源分配的灵活性及资源利用率等;另外,可通过过滤掉无法提供服务的集群及对各候选集群进行排序等,尽可能地为用户提供性能较优的算力资源;再有,可利用算力卡来对用户的可用算力资源进行限制,从而避免了部分用户对算力资源独占而造成的资源分配不合理的问题,进而进一步提高了资源利用率等。
根据本申请的实施例,本申请还提供了一种电子设备和一种可读存储介质。
如图4所示,是根据本申请实施例所述方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本申请的实现。
如图4所示,该电子设备包括:一个或多个处理器Y01、存储器Y02,以及用于连接各部件的接口,包括高速接口和低速接口。各个部件利用不同的总线互相连接,并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理,包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如,耦合至接口的显示设备)上显示图形用户界面的图形信息的指令。在其它实施方式中,若需要,可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样,可以连接多个电子设备,各个设备提供部分必要的操作(例如,作为服务器阵列、一组刀片式服务器、或者多处理器***)。图4中以一个处理器Y01为例。
存储器Y02即为本申请所提供的非瞬时计算机可读存储介质。其中,所述存储器存储有可由至少一个处理器执行的指令,以使所述至少一个处理器执行本申请所提供的方法。本申请的非瞬时计算机可读存储介质存储计算机指令,该计算机指令用于使计算机执行本申请所提供的方法。
存储器Y02作为一种非瞬时计算机可读存储介质,可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块,如本申请实施例中的方法对应的程序指令/模块(例如,附图X所示的xx模块X01、xx模块x02和xx模块x03)。处理器Y01通过运行存储在存储器Y02中的非瞬时软件程序、指令以及模块,从而执行服务器的各种功能应用以及数据处理,即实现上述方法实施例中的方法。
存储器Y02可以包括存储程序区和存储数据区,其中,存储程序区可存储操作***、至少一个功能所需要的应用程序;存储数据区可存储根据电子设备的使用所创建的数据等。此外,存储器Y02可以包括高速随机存取存储器,还可以包括非瞬时存储器,例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中,存储器Y02可选包括相对于处理器Y01远程设置的存储器,这些远程存储器可以通过网络连接至电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
电子设备还可以包括:输入装置Y03和输出装置Y04。处理器Y01、存储器Y02、输入装置Y03和输出装置Y04可以通过总线或者其他方式连接,图4中以通过总线连接为例。
输入装置Y03可接收输入的数字或字符信息,以及产生与电子设备的用户设置以及功能控制有关的键信号输入,例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置Y04可以包括显示设备、辅助照明装置和触觉反馈装置(例如,振动电机)等。该显示设备可以包括但不限于,液晶显示器、发光二极管显示器和等离子体显示器。在一些实施方式中,显示设备可以是触摸屏。
此处描述的***和技术的各种实施方式可以在数字电子电路***、集成电路***、专用集成电路、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程***上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储***、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储***、该至少一个输入装置、和该至少一个输出装置。
这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令,并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的,术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如,磁盘、光盘、存储器、可编程逻辑装置),包括,接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。
为了提供与用户的交互,可以在计算机上实施此处描述的***和技术,该计算机具有:用于向用户显示信息的显示装置(例如,阴极射线管或者液晶显示器监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的***和技术实施在包括后台部件的计算***(例如,作为数据服务器)、或者包括中间件部件的计算***(例如,应用服务器)、或者包括前端部件的计算***(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的***和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算***中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将***的部件相互连接。通信网络的示例包括:局域网、广域网和互联网。
计算机***可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本申请公开的技术方案所期望的结果,本文在此不进行限制。
上述具体实施方式,并不构成对本申请保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等,均应包含在本申请保护范围之内。

Claims (14)

1.一种算力资源管理方法,其特征在于,包括:
获取任一用户的算力资源分配请求,确定出适用于所述用户的管理策略;
从所构建的M个集群中确定出所述管理策略对应的集群,M为大于一的正整数;
将确定出的集群作为候选集群,将所述候选集群中的至少一个集群的算力资源分配给所述用户进行使用。
2.根据权利要求1所述的方法,其特征在于,
所述确定出适用于所述用户的管理策略包括:
获取所述用户的预定用户信息;
根据所述用户信息确定出适用于所述用户的管理策略。
3.根据权利要求1所述的方法,其特征在于,
所述将所述候选集群中的至少一个集群的算力资源分配给所述用户进行使用之前,进一步包括:从所述候选集群中过滤掉无法提供服务的集群。
4.根据权利要求1所述的方法,其特征在于,
所述将所述候选集群中的至少一个集群的算力资源分配给所述用户进行使用包括:
按照性能由高到低的原则对各候选集群进行排序;
将排序后处于前N位的集群的算力资源分配给所述用户进行使用,N为正整数;
或者,将排序后的各集群分配给所述用户,以便所述用户从中选择至少一个集群的算力资源进行使用。
5.根据权利要求4所述的方法,其特征在于,
所述对各候选集群进行排序包括:
针对每一候选集群,分别从预定的至少两个维度对所述候选集群进行评分,将各评分加权相加,得到所述候选集群的综合评分;
按照综合评分由高到低的顺序对各候选集群进行排序。
6.根据权利要求1所述的方法,其特征在于,
所述获取任一用户的算力资源分配请求之前,进一步包括:为所述用户分配预定额度的算力卡;
所述获取任一用户的算力资源分配请求之后,进一步包括:确定所述用户的算力卡中是否存在剩余额度,若是,则确定出适用于所述用户的管理策略,若否,则拒绝本次请求;
所述将所述候选集群中的至少一个集群的算力资源分配给所述用户进行使用之后,进一步包括:按照所述用户对于算力资源的使用情况从所述算力卡中扣除对应的额度。
7.一种算力资源管理装置,其特征在于,包括:第一管理单元以及第二管理单元;
所述第一管理单元,用于获取任一用户的算力资源分配请求,确定出适用于所述用户的管理策略,并从所构建的M个集群中确定出所述管理策略对应的集群,M为大于一的正整数;
所述第二管理单元,用于将确定出的集群作为候选集群,将所述候选集群中的至少一个集群的算力资源分配给所述用户进行使用。
8.根据权利要求7所述的装置,其特征在于,
所述第一管理单元获取所述用户的预定用户信息,根据所述用户信息确定出适用于所述用户的管理策略。
9.根据权利要求7所述的装置,其特征在于,
所述第二管理单元进一步用于,从所述候选集群中过滤掉无法提供服务的集群。
10.根据权利要求7所述的装置,其特征在于,
所述第二管理单元按照性能由高到低的原则对各候选集群进行排序,将排序后处于前N位的集群的算力资源分配给所述用户进行使用,N为正整数,或者,将排序后的各集群分配给所述用户,以便所述用户从中选择至少一个集群的算力资源进行使用。
11.根据权利要求10所述的装置,其特征在于,
所述第二管理单元针对每一候选集群,分别从预定的至少两个维度对所述候选集群进行评分,将各评分加权相加,得到所述候选集群的综合评分,按照综合评分由高到低的顺序对各候选集群进行排序。
12.根据权利要求7所述的装置,其特征在于,
所述第二管理单元进一步用于,在所述第一管理单元获取所述用户的算力资源分配请求之前,为所述用户分配预定额度的算力卡;在将所述候选集群中的至少一个集群的算力资源分配给所述用户进行使用之后,按照所述用户对于算力资源的使用情况从所述算力卡中扣除对应的额度;
所述第一管理单元进一步用于,在获取所述用户的算力资源分配请求之后,确定所述用户的算力卡中是否存在剩余额度,若是,则确定出适用于所述用户的管理策略,若否,则拒绝本次请求。
13.一种电子设备,其特征在于,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1-6中任一项所述的方法。
14.一种存储有计算机指令的非瞬时计算机可读存储介质,其特征在于,所述计算机指令用于使所述计算机执行权利要求1-6中任一项所述的方法。
CN202010010110.1A 2020-01-06 2020-01-06 算力资源管理方法、装置、电子设备及存储介质 Pending CN111240836A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010010110.1A CN111240836A (zh) 2020-01-06 2020-01-06 算力资源管理方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010010110.1A CN111240836A (zh) 2020-01-06 2020-01-06 算力资源管理方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN111240836A true CN111240836A (zh) 2020-06-05

Family

ID=70865274

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010010110.1A Pending CN111240836A (zh) 2020-01-06 2020-01-06 算力资源管理方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN111240836A (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111901862A (zh) * 2020-07-07 2020-11-06 西安交通大学 一种基于深度q网络的用户分簇与功率分配方法、设备和介质
CN112085419A (zh) * 2020-09-25 2020-12-15 中国建设银行股份有限公司 一种资源获取方法、装置及设备
CN113641670A (zh) * 2021-07-09 2021-11-12 北京百度网讯科技有限公司 数据存储及数据检索方法、装置、电子设备及存储介质
WO2021244343A1 (zh) * 2020-06-01 2021-12-09 杭州嘉楠耘智信息科技有限公司 一种云算力分配方法、用户终端、云算力平台和***
CN113810438A (zh) * 2020-06-12 2021-12-17 ***通信有限公司研究院 服务算力资源的调度、请求方法、节点设备及终端
CN113840317A (zh) * 2020-06-08 2021-12-24 ***通信有限公司研究院 算力上报方法、获取方法、算力网元及算力感知控制网元
WO2022016466A1 (zh) * 2020-07-23 2022-01-27 北京小米移动软件有限公司 资源请求信息处理方法及装置、通信设备及存储介质
CN115904663A (zh) * 2022-12-02 2023-04-04 滨州心若网络科技有限公司 一种基于数据库的信息容灾方法、***及云平台
US20230129548A1 (en) * 2021-10-26 2023-04-27 Dell Products L.P. Datacenter efficiency management system

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101938504A (zh) * 2009-06-30 2011-01-05 深圳市融创天下科技发展有限公司 集群服务器智能调度的方法及***
CN103324535A (zh) * 2012-03-23 2013-09-25 百度在线网络技术(北京)有限公司 一种计算资源的分配方法和装置
CN106101074A (zh) * 2016-05-31 2016-11-09 北京大学 一种面向大数据平台的基于用户分级的安全调度方法
CN107145395A (zh) * 2017-07-04 2017-09-08 北京百度网讯科技有限公司 用于处理任务的方法和装置
CN107168788A (zh) * 2016-03-07 2017-09-15 阿里巴巴集团控股有限公司 分布式***中资源的调度方法以及装置
CN107169586A (zh) * 2017-03-29 2017-09-15 北京百度网讯科技有限公司 基于人工智能的资源组合优化方法、装置及存储介质
CN107609084A (zh) * 2017-09-06 2018-01-19 华中师范大学 一种基于群智汇聚收敛的资源关联方法
CN108667940A (zh) * 2018-05-22 2018-10-16 深信服网络科技(深圳)有限公司 云平台的资源分配方法、装置及计算机可读存储介质
CN108989418A (zh) * 2018-07-11 2018-12-11 国云科技股份有限公司 一种混合云对象存储通用认证的资源额度方法
CN109684065A (zh) * 2018-12-26 2019-04-26 北京云联万维技术有限公司 一种资源调度方法、装置及***
CN109783237A (zh) * 2019-01-16 2019-05-21 腾讯科技(深圳)有限公司 一种资源配置方法及装置
CN110221915A (zh) * 2019-05-21 2019-09-10 新华三大数据技术有限公司 节点调度方法和装置
CN110351384A (zh) * 2019-07-19 2019-10-18 深圳前海微众银行股份有限公司 大数据平台资源管理方法、装置、设备及可读存储介质
CN110442449A (zh) * 2019-07-09 2019-11-12 北京云和时空科技有限公司 一种资源调度方法和装置
CN110532092A (zh) * 2019-08-21 2019-12-03 云湾科技(嘉兴)有限公司 资源匹配方法、装置及设备

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101938504A (zh) * 2009-06-30 2011-01-05 深圳市融创天下科技发展有限公司 集群服务器智能调度的方法及***
CN103324535A (zh) * 2012-03-23 2013-09-25 百度在线网络技术(北京)有限公司 一种计算资源的分配方法和装置
CN107168788A (zh) * 2016-03-07 2017-09-15 阿里巴巴集团控股有限公司 分布式***中资源的调度方法以及装置
CN106101074A (zh) * 2016-05-31 2016-11-09 北京大学 一种面向大数据平台的基于用户分级的安全调度方法
CN107169586A (zh) * 2017-03-29 2017-09-15 北京百度网讯科技有限公司 基于人工智能的资源组合优化方法、装置及存储介质
CN107145395A (zh) * 2017-07-04 2017-09-08 北京百度网讯科技有限公司 用于处理任务的方法和装置
CN107609084A (zh) * 2017-09-06 2018-01-19 华中师范大学 一种基于群智汇聚收敛的资源关联方法
CN108667940A (zh) * 2018-05-22 2018-10-16 深信服网络科技(深圳)有限公司 云平台的资源分配方法、装置及计算机可读存储介质
CN108989418A (zh) * 2018-07-11 2018-12-11 国云科技股份有限公司 一种混合云对象存储通用认证的资源额度方法
CN109684065A (zh) * 2018-12-26 2019-04-26 北京云联万维技术有限公司 一种资源调度方法、装置及***
CN109783237A (zh) * 2019-01-16 2019-05-21 腾讯科技(深圳)有限公司 一种资源配置方法及装置
CN110221915A (zh) * 2019-05-21 2019-09-10 新华三大数据技术有限公司 节点调度方法和装置
CN110442449A (zh) * 2019-07-09 2019-11-12 北京云和时空科技有限公司 一种资源调度方法和装置
CN110351384A (zh) * 2019-07-19 2019-10-18 深圳前海微众银行股份有限公司 大数据平台资源管理方法、装置、设备及可读存储介质
CN110532092A (zh) * 2019-08-21 2019-12-03 云湾科技(嘉兴)有限公司 资源匹配方法、装置及设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
赵帅: "《网络服务计算基础》", 北京邮电大学出版社, pages: 169 *

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021244343A1 (zh) * 2020-06-01 2021-12-09 杭州嘉楠耘智信息科技有限公司 一种云算力分配方法、用户终端、云算力平台和***
CN113840317A (zh) * 2020-06-08 2021-12-24 ***通信有限公司研究院 算力上报方法、获取方法、算力网元及算力感知控制网元
CN113810438A (zh) * 2020-06-12 2021-12-17 ***通信有限公司研究院 服务算力资源的调度、请求方法、节点设备及终端
CN111901862B (zh) * 2020-07-07 2021-08-13 西安交通大学 一种基于深度q网络的用户分簇与功率分配方法、设备和介质
CN111901862A (zh) * 2020-07-07 2020-11-06 西安交通大学 一种基于深度q网络的用户分簇与功率分配方法、设备和介质
CN114258729A (zh) * 2020-07-23 2022-03-29 北京小米移动软件有限公司 资源请求信息处理方法及装置、通信设备及存储介质
WO2022016466A1 (zh) * 2020-07-23 2022-01-27 北京小米移动软件有限公司 资源请求信息处理方法及装置、通信设备及存储介质
CN112085419A (zh) * 2020-09-25 2020-12-15 中国建设银行股份有限公司 一种资源获取方法、装置及设备
CN113641670A (zh) * 2021-07-09 2021-11-12 北京百度网讯科技有限公司 数据存储及数据检索方法、装置、电子设备及存储介质
CN113641670B (zh) * 2021-07-09 2023-08-11 北京百度网讯科技有限公司 数据存储及数据检索方法、装置、电子设备及存储介质
US20230129548A1 (en) * 2021-10-26 2023-04-27 Dell Products L.P. Datacenter efficiency management system
US11915061B2 (en) * 2021-10-26 2024-02-27 Dell Products L.P. Datacenter efficiency management system for migrating workload across nodes based on workload performance efficiency ranking
CN115904663A (zh) * 2022-12-02 2023-04-04 滨州心若网络科技有限公司 一种基于数据库的信息容灾方法、***及云平台
CN115904663B (zh) * 2022-12-02 2024-01-05 中雄世纪征信有限公司 一种基于数据库的信息容灾方法、***及云平台

Similar Documents

Publication Publication Date Title
CN111240836A (zh) 算力资源管理方法、装置、电子设备及存储介质
CN109783237B (zh) 一种资源配置方法及装置
US9047129B2 (en) Systems and methods for load balancing of time-based tasks in a distributed computing system
JP6241300B2 (ja) ジョブスケジューリング装置、ジョブスケジューリング方法、およびジョブスケジューリングプログラム
CN111694646B (zh) 资源调度方法、装置、电子设备及计算机可读存储介质
US20140025828A1 (en) Extending processing capacity of server
US11496413B2 (en) Allocating cloud computing resources in a cloud computing environment based on user predictability
EP3293632A1 (en) Dynamically varying processing capacity entitlements
KR101994454B1 (ko) 업무 분배 및 평가 방법
CN111880914A (zh) 资源调度方法、资源调度装置、电子设备和存储介质
CN114090223A (zh) 访存请求调度方法、装置、设备以及存储介质
KR20210040299A (ko) 블록체인에서의 업무 요청 처리방법, 장치, 기기, 매체 및 프로그램
US11190581B1 (en) Job allocation support system and method
CN111506401A (zh) 自动驾驶仿真任务调度方法、装置、电子设备及存储介质
Singh et al. Cloud resource management optimization: taxonomy and research challenges
CN112565356A (zh) 数据存储方法、装置以及电子设备
CN112527509A (zh) 一种资源分配方法、装置、电子设备及存储介质
CN110688229B (zh) 任务处理方法和装置
CN115604269A (zh) 一种服务器的负载均衡方法、装置、电子设备及存储介质
JP7182836B2 (ja) 分散コンピューティング環境における作業負荷の自動対角スケーリング
US20060149611A1 (en) Peer to peer resource negotiation and coordination to satisfy a service level objective
CN111796940A (zh) 一种资源分配方法、装置和电子设备
CN111858030A (zh) 作业的资源处理方法、装置、电子设备及可读存储介质
CN111176838A (zh) 为二分图中的节点分配嵌入向量的方法以及装置
CN116647560A (zh) 物联网计算机集群协调优化控制方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination