CN114416351B - 资源分配方法、装置、设备、介质及计算机程序产品 - Google Patents

资源分配方法、装置、设备、介质及计算机程序产品 Download PDF

Info

Publication number
CN114416351B
CN114416351B CN202111643872.6A CN202111643872A CN114416351B CN 114416351 B CN114416351 B CN 114416351B CN 202111643872 A CN202111643872 A CN 202111643872A CN 114416351 B CN114416351 B CN 114416351B
Authority
CN
China
Prior art keywords
resource allocation
neural network
network model
allocation scheme
point set
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111643872.6A
Other languages
English (en)
Other versions
CN114416351A (zh
Inventor
刘吉
吴志华
冯丹蕾
周晨娣
张敏旭
吴鑫烜
姚雪峰
窦德景
于佃海
马艳军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN202111643872.6A priority Critical patent/CN114416351B/zh
Publication of CN114416351A publication Critical patent/CN114416351A/zh
Priority to US17/891,617 priority patent/US20230206024A1/en
Priority to EP22191359.3A priority patent/EP4206922A1/en
Application granted granted Critical
Publication of CN114416351B publication Critical patent/CN114416351B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5011—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals
    • G06F9/5016—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals the resource being the memory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3409—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5061—Partitioning or combining of resources
    • G06F9/5066—Algorithms for mapping a plurality of inter-dependent sub-tasks onto a plurality of physical CPUs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5061—Partitioning or combining of resources
    • G06F9/5072—Grid computing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Quality & Reliability (AREA)
  • Computer Hardware Design (AREA)
  • Probability & Statistics with Applications (AREA)
  • Algebra (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本公开提供了资源分配方法、装置、设备、介质及计算机程序产品，涉及计算机领域，尤其涉及分布式作业技术领域。具体实现方案为：确定待进行资源分配的神经网络模型，并确定能够为神经网络模型提供资源的设备集合；基于设备集合和神经网络模型，确定第一评估点集合；对第一评估点集合进行更新迭代，得到第二评估点集合，第二评估点集合中包括第二数量的评估点，且每一评估点对应一个资源分配方案，以及该资源分配方案对应的资源使用成本，第二数量大于第一数量；在第二评估点集合中选择资源使用成本最小的资源分配方案，作为对神经网络模型进行资源分配的资源分配方案。通过本公开可以实现为神经网络模型分配合适的资源。

Description

资源分配方法、装置、设备、介质及计算机程序产品
技术领域
本公开涉及计算机领域，尤其涉及分布式作业技术领域。
背景技术
深度神经网络已经在多个领域取得了重大成功，如计算机视觉、自然语言处理以及广告***等。为了提高深度学习模型的准确性，具有大量层数、神经元以及参数的大型模型通常使用大量的数据进行训练。随着深度学习模型数据规模和模型规模的逐渐增长，网络模型训练在单个设备上可能花费大量时间而无法满足业务的需求，分布式训练成为了训练深度学习模型的基础。
发明内容
本公开提供了一种资源分配方法、装置、设备、介质及计算机程序产品。
根据本公开的一方面，提供了一种资源分配方法，包括：
确定待进行资源分配的神经网络模型，并确定能够为所述神经网络模型提供资源的设备集合；基于所述设备集合和所述神经网络模型，确定第一评估点集合，其中，所述第一评估点集合中包括第一数量的评估点，且每一评估点对应一个资源分配方案，以及该资源分配方案对应的资源使用成本；对所述第一评估点集合进行更新迭代，得到第二评估点集合，所述第二评估点集合中包括第二数量的评估点，且每一评估点对应一个资源分配方案，以及该资源分配方案对应的资源使用成本，所述第二数量大于所述第一数量；在所述第二评估点集合中选择资源使用成本最小的资源分配方案，作为对所述神经网络模型进行资源分配的资源分配方案。
根据本公开的另一方面，提供了一种资源分配装置，包括：
确定模块，用于确定待进行资源分配的神经网络模型，并确定能够为所述神经网络模型提供资源的设备集合；以及基于所述设备集合和所述神经网络模型，确定第一评估点集合，其中，所述第一评估点集合中包括第一数量的评估点，且每一评估点对应一个资源分配方案，以及该资源分配方案对应的资源使用成本；处理模块，用于对所述第一评估点集合进行更新迭代，得到第二评估点集合，所述第二评估点集合中包括第二数量的评估点，且每一评估点对应一个资源分配方案，以及该资源分配方案对应的资源使用成本，所述第二数量大于所述第一数量；以及在所述第二评估点集合中选择资源使用成本最小的资源分配方案，作为对所述神经网络模型进行资源分配的资源分配方案。
根据本公开的另一方面，提供了一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述涉及的方法。
根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行上述涉及的方法。
根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现上述涉及的方法。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本公开的限定。其中：
图1是本公开示例性实施例示出的一种资源分配方法的流程示意图；
图2是本公开示例性实施例示出的一种对第一评估点集合进行更新迭代，得到第二评估点集合的流程示意图；
图3是本公开示例性实施例示出的一种基于设备集合和神经网络模型，确定第一评估点集合的流程示意图；
图4是本公开示例性实施例示出的一种确定资源分配方案中神经网络模型的资源使用成本的流程示意图；
图5是本公开示例性实施例示出的另一种确定资源分配方案中神经网络模型的资源使用成本的流程示意图；
图6是本公开示例性示出的阶段划分示意图；
图7是根据本公开的资源分配装置框图；
图8示出了可以用来实施本公开的实施例的示例电子设备的示意性框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
本公开实施例提供的资源分配方法可以应用于针对分布式作业的资源分配场景中。例如，可以应用于通过分布式作业方式，对神经网络模型的不同网络层进行资源分配的场景中。
深度神经网络已经在多个领域取得了重大成功，如计算机视觉、自然语言处理以及广告***等。为了提高深度学习模型的准确性，具有大量层数、神经元以及参数的大型模型通常使用大量的数据进行训练。随着深度学习模型数据规模和模型规模的逐渐增长，网络模型训练在单个设备上可能花费大量时间而无法满足业务的需求，分布式训练成为了训练深度学习模型的基础。然而，针对神经网络模型的不同网络层，如何进行资源分配，才能使网络训练的数据吞吐量尽可能大，设备使用成本尽可能小，这是我们值得考虑的问题。
相关技术中，通常基于经验值，为神经网络模型的不同网络层进行资源分配。例如，相关技术中，将神经网络模型的网络层基于经验划分为数据密集型以及计算密集型。其中，数据密集型表征与其他网络层进行通信的通信耗时，大于针对数据的计算处理的计算耗时的网络层类型，计算密集型表征与其他网络层进行通信的通信耗时，小于针对数据的计算处理的计算耗时的网络层类型。基于此，相关技术中，通常以中央处理单元(CentralProcessing Unit，CPU)执行数据密集型的网络层(例如，嵌入层)，以图像处理单元(Graphics Processing Unit，GPU)执行计算密集型的网络层(例如，全连接层)。然而，相关技术中，基于经验值为不同网络层进行资源分配的方式，无法得到最优的资源分配方式，存在设备使用资源浪费以及训练耗时较长的问题。
鉴于此，本公开实施例提供了一种资源分配方法，可以通过评估资源分配方案对应的资源使用成本的方式，实现综合考虑数据吞吐量及设备使用成本。具体的，可以确定待进行资源分配的神经网络模型，并确定能够为神经网络模型提供资源的设备集合。进一步的，可以确定第一评估点集合，并通过对第一评估点集合进行更新迭代的方式，得到包括第一评估点集合在内的第二评估点集合。基于此，可以在第二评估点集合中选择资源使用成本最小的资源分配方案，作为对神经网络模型进行资源分配的资源分配方案。由于本公开可以筛选得到资源使用成本最小的资源分配方案，因此，可以实现以尽可能大的数据吞吐量以及尽可能小的设备使用成本，对神经网络模型进行资源分配，以此满足针对神经网络模型训练的资源分配需求。
本公开实施例中，评估点集合用于表征作为参考方案的数据组合。例如，一个评估点集合包括资源分配方案以及该资源分配方案对应的资源使用成本。本公开以下为便于描述，将首次确定的评估点集合称为第一评估点集合，将通过第一评估点集合更新迭代后得到的评估点集合称为第二评估点集合，将第一评估点集合中包括的评估点数量称为第一数量，将第二评估点集合中包括的评估点集合称为第二数量。
图1是本公开示例性实施例示出的一种资源分配方法的流程示意图，如图1所示，包括以下步骤。
在步骤S101中，确定待进行资源分配的神经网络模型，并确定能够为神经网络模型提供资源的设备集合。
本公开实施例中，设备集合包括当前具有空闲资源的可用设备，例如可以包括CPU、GPU以及内存(Memory)等设备。
在步骤S102中，基于设备集合和神经网络模型，确定第一评估点集合。
在步骤S103中，对第一评估点集合进行更新迭代，得到第二评估点集合。
示例的，第二评估点集合中包括第二数量的评估点。并且，由于第二评估点集合是由第一评估点集合更新迭代得到的，且第二评估点集合包括有第一评估点集合。因此，可以理解的是，第一数量小于第二数量。
在步骤S104中，在第二评估点集合中选择资源使用成本最小的资源分配方案，作为对神经网络模型进行资源分配的资源分配方案。
通过本公开实施例提供的资源分配方法，可以筛选得到资源使用成本最小的资源分配方案，进而以资源使用成本最小的资源分配方案，对神经网络模型进行资源分配，可以满足针对神经网络模型的资源分配需求。
通常的，设备集合中的设备基数较大，针对设备集合中各设备，若通过暴力搜索的方式依次确定每一资源分配方案对应的资源使用成本，则存在计算复杂度较高，筛选时间较长的问题。
本公开实施例中，可以通过第一评估点集合更新贝叶斯算法模型所应用目标函数的概率代理模型。进一步的，可以通过更新后的概率代理模型，随机生成观察点集合，并以此实现对第一评估点的更新迭代，得到第二评估点集合。基于此，可以在第二评估点集合中确定出资源使用成本最小的资源分配方案。其中，可以理解的是，观察点集合包括多个观察点，且每一观察点对应一个资源分配方案。以下为便于描述，将观察点集合中包括的观察点数量，称为第三数量。
示例的，在确定第一评估点集合的情况下，可以采用如下方式对第一评估点集合进行更新迭代，得到第二评估点集合。
图2是本公开示例性实施例示出的一种对第一评估点集合进行更新迭代，得到第二评估点集合的流程示意图，如图2所示，包括以下步骤S201至步骤S206。
在步骤S201中，基于第一评估点集合更新贝叶斯算法模型所应用目标函数的概率代理模型。
示例的，贝叶斯算法模型所应用目标函数可以为高斯过程(Gaussian Process，GP)函数。
在步骤S202中，基于更新后的概率代理模型，随机生成观察点集合。
在步骤S203中，在观察点集合中选择贝叶斯算法模型所应用采集函数值最小的观察点。
本公开实施例中，贝叶斯算法模型所应用采集函数可以为指数积分(ExponentialIntegral，EI)函数。
示例的，可以通过EI函数，以
Figure BDA0003443595530000061
的方式，在观察点集合中选择贝叶斯算法模型所应用采集函数值最小的观察点所对应的资源分配方案(示例以
Figure BDA0003443595530000062
表示)。其中，Dn表示第一评估点集合，n表示第一数量，sp为第一评估点集合中各评估点所对应的资源分配方案，
Figure BDA0003443595530000063
表示与观察点集合D'之间的最小角度值，对应至EI函数，可以理解为EI函数的函数最小值。
在步骤S204中，确定采集函数值最小的观察点对应资源分配方案中神经网络模型的资源使用成本。
示例的，可以以
Figure BDA0003443595530000064
的方式，将采集函数值最小的观察点对应资源分配方案带入预建成本(Cost)模型，以此确定采集函数值最小的观察点对应资源分配方案中神经网络模型的资源使用成本(示例以ci表示)。其中，
Figure BDA0003443595530000065
为成本模型匹配资源分配方案
Figure BDA0003443595530000066
的结果值，也即资源分配方案
Figure BDA0003443595530000067
对应的资源使用成本。
其中，成本模型用于估算不同资源分配方案对应的资源使用成本，模型输入包括资源分配方案，模型输出为对应资源分配方案的资源使用成本，后续实施例中会针对成本模型的构建方式进行详细描述，相关内容可参照图5中涉及的实施例。
在步骤S205中，将采集函数值最小的观察点对应资源分配方案以及对应的资源使用成本，作为更新的评估点，加入第一评估点集合中。
示例的，可以通过
Figure BDA0003443595530000068
的方式得到更新评估点后的评估点集合(示例以Dn+1表示)。其中，Dn表示第一评估点集合，
Figure BDA0003443595530000069
表示更新的评估点，
Figure BDA00034435955300000610
表示二者间的并集。
在步骤S206中，重复执行上述步骤S201至步骤S205，直至得到第二评估点集合。
示例的，每执行一次上述步骤S201至步骤S205，评估点集合中的评估点数量加1(例如，由Dn变为Dn+1)。通过多次重复执行上述步骤S201至步骤S205，评估点集合可由包括有第一数量评估点的第一评估点集合，更新至包括有第二数量评估点的第二评估点集合。
本公开实施例提供的资源分配方法，观察点集合用于辅助确定资源使用成本最小值对应的评估点，评估点集合每次更新，可以缩小下一次检索的检索范围，该方法可以实现快速遍历评估点的整个搜索空间，相较于例如暴力搜索等常规的资源分配方案筛选方式，具有高效快捷的搜索优势。
示例的，第一数量的评估点可以是人为设置的，也可以是随机生成的。其中，随机生成可采用常规技术手段中的任一随机算法，本公开在此不做赘述。如下以随机生成的方式，对得到第一评估点集合的过程进行描述。
图3是本公开示例性实施例示出的一种基于设备集合和神经网络模型，确定第一评估点集合的流程示意图，如图3所示，包括以下步骤。
在步骤S301中，随机生成第一数量的资源分配方案。
本公开实施例中，神经网络模型包括不同网络层，针对资源分配方案，每一资源分配方案中包括有被分配的设备，以及设备用于执行的神经网络模型中网络层。
示例的，随机生成的第一数量，小于资源分配方案的总方案数量。本公开实施例提供的资源分配方法，第一数量可根据针对第一评估点集合的实际需求进行调整，本公开对第一数量的具体数值不做限定。
在步骤S302中，确定第一数量的资源分配方案中每一资源分配方案对应的资源使用成本。
在步骤S303中，基于第一数量的资源分配方案以及对应的资源使用成本，得到第一评估点集合。
本公开实施例提供的资源分配方法，通过随机生成第一数量的资源分配方案，确定对应的资源使用成本，并通过资源分配方案及相应的资源使用成本得到第一评估点集合，以便于后续筛选资源使用成本最小的资源分配方案。
示例的，资源分配方案中神经网络模型的资源使用成本，可以是通过资源分配方案与神经网络模型的资源使用成本之间的对应关系确定的。
图4是本公开示例性实施例示出的一种确定资源分配方案中神经网络模型的资源使用成本的流程示意图，如图4所示，包括以下步骤。
在步骤S401中，确定资源分配方案与神经网络模型的资源使用成本之间的对应关系。
在步骤S402中，基于对应关系，确定资源分配方案中神经网络模型的资源使用成本。
本公开实施例提供的资源分配方法，可以通过资源分配方案与神经网络模型的资源使用成本之间的对应关系，实现确定资源分配方案中神经网络模型的资源使用成本。
一种实施方式中，可以采用如下方式确定资源分配方案与神经网络模型的资源使用成本之间的对应关系。
图5是本公开示例性实施例示出的另一种确定资源分配方案中神经网络模型的资源使用成本的流程示意图，如图5所示，包括步骤S501至步骤S504。其中，本公开实施例中的步骤S504与图4中的步骤S402的实施过程相似，在此不做赘述。
在步骤S501中，针对设备集合中的多种不同类型的设备，分别确定设备匹配资源分配方案的设备使用数量，并确定设备使用数量与设备对应的设备使用成本之间的第一乘积值。
示例的，针对包括有设备t的资源分配方案，可通过资源分配方案确定针对设备t的设备需求数量kt，以及在预定义设备使用成本中获取设备t对应的设备使用成本(示例以pt表示)。进一步的，可以通过pt*kt的方式，确定资源分配方案针对设备t的资源使用成本，也即，第一乘积值。
在步骤S502中，确定多种不同类型的设备中各设备对应的第一乘积值之间的和值，并确定神经网络训练数据数量与神经网络模型对应的数据吞吐量之间的比值。
示例的，可以通过
Figure BDA0003443595530000081
方式，确定资源分配方案中各类型的设备对应的第一乘积值之间的和值。其中，T表示不同类别的设备数量，i表示匹配资源分配方案的设备类别。此外，可以通过
Figure BDA0003443595530000082
的方式，确定神经网络训练数据数量与神经网络模型对应的数据吞吐量之间的比值。其中，针对神经网络训练数据的数量(示例以R*M表示)，R表示神经网络训练的轮数，M表示每轮训练所使用的神经网络训练数据数量。此外，神经网络模型对应的数据吞吐量通过Throughput表示。
在步骤S503中，确定和值与比值之间的第二乘积值，并基于资源分配方案与第二乘积值之间的对应关系，得到资源分配方案与神经网络模型的资源使用成本之间的对应关系。
本公开实施例提供的资源分配方法，针对上述方式，可以通过神经网络的数据吞吐量，以及不同类型设备的设备使用成本，得到资源分配方案与神经网络模型的资源使用成本之间的对应关系。
示例的，可以通过
Figure BDA0003443595530000091
的方式，确定和值与比值之间的第二乘积值。在此基础上，第二乘积值即为与资源分配方案相匹配的资源使用成本，资源分配方案与第二乘积值之间的对应关系，即为资源分配方案与神经网络模型的资源使用成本之间的对应关系。综上，资源分配方案与神经网络模型的资源使用成本之间的对应关系可以通过
Figure BDA0003443595530000092
表示。
其中，可以理解的是，上述资源分配方案与神经网络模型的资源使用成本之间的对应关系，即为成本模型。
示例的，神经网络模型可被划分为不同阶段。其中，每一阶段包含神经网络模型的一个或多个网络层，且每一阶段由同一类型的设备所执行。例如，如图6所示，针对包括嵌入层、全连接层以及输出层的神经网络模型，可以将不同网络层进行拆分，并将嵌入层划分为阶段一，全连接层划分为阶段二，以及将输出层划分为阶段三。进一步的，可以在确定资源分配方案的情况下，针对每一阶段，使用一种类型的设备资源进行资源分配。
一实施方式中，可以通如下方式确定神经网络模型对应的数据吞吐量(示例以Throughput表示)。
示例的，可以通过
Figure BDA0003443595530000093
的方式，计算神经网络模型各阶段的计算耗时(示例的，计算耗时可以理解为针对神经网络训练数据的计算处理所花费的耗时，示例以CTi表示)，以及通过
Figure BDA0003443595530000101
Figure BDA0003443595530000102
的方式，计算神经网络模型各阶段的通信耗时，(示例的，通信耗时可以理解为表征与其他网络层进行通信所花费的耗时，示例DTi表示)。其中，OCTi表示初始计算耗时，ODTi表示初始通信耗时，ki表示同一阶段内使用的设备数量，Bo表示测量计算耗时及通信耗时使用的小批量。此外，i用于标识不同阶段，αi和βi表示计算并行化和数据通信并行化的常量，可以通过不同计算资源和对应的计算时间来获得。
本公开实施例中，各阶段执行训练任务的执行时间，可以理解为上述通信耗时及计算耗时的累计值。示例的，可以通过ETi＝max{CTi,DTi}的方式确定各阶段执行训练任务的执行时间。
进一步的，在确定各阶段对应的执行时间的情况下，可以根据训练数据的批量大小(示例以B表示)，得到各阶段对应的数据吞吐量。例如，可以通过
Figure BDA0003443595530000103
的方式确定各阶段对应的数据吞吐量。其中，i表示阶段的编号，例如，针对如图6所示的阶段划分方式，i可以为阶段一、阶段二或阶段三。
由于本公开实施例中，是通过流水线并行方法，以不同网络层划分得到的多个阶段来完成神经网络模型的训练过程。因此，神经网络模型的数据吞吐量受限于各阶段的最小吞吐量。换言之，神经网络模型的数据吞吐量可通过
Figure BDA0003443595530000104
表示，其中，i表示阶段的编号，S表示阶段的总数量。基于此，可以得到神经网络模型的数据吞吐量。
示例的，针对神经网络模型的资源分配方案，一个网络层只能被分配给一类设备，被分配给同一类设备的网络层构成一个阶段。
本公开实施例中，神经网络模型对应的数据吞吐量满足如下约束条件：
约束条件一：神经网络模型的数据吞吐量小于各阶段对应的最小数据吞吐量。
约束条件二：各阶段对应的数据吞吐量相等。
示例的，约束条件一可以通过Throughput(sp)>Throughputlimit的方式表示，约束条件二可以通过
Figure BDA0003443595530000111
的方式表示。其中，Throughputlimit表示最小的吞吐量限制，i表示阶段的编号，S表示阶段的总数量。
一实施方式中，为使各类设备可以在满足数据吞吐量的限制下对应最小的资源使用成本，可以通过上述约束条件一和约束条件二，确定神经网络模型针对数据吞吐量的最终约束条件。
示例的，针对约束条件二，可以通过各阶段的计算耗时计算方式、各阶段的通信耗时计算方式以及各阶段的数据吞吐量计算方式，对约束条件二进行带入更新，得到各阶段的数据吞吐量(示例以ki表示)与第一阶段的数据吞吐量(示例以k1表示)之间的对应关系。例如，ki与k1之间的对应关系可以表示为
Figure BDA0003443595530000112
其中，αi表示阶段i对应的并行化计算常量，α1表示第一阶段对应的并行化计算常量，OCT1表示第一阶段对应的初始计算耗时，OCTi表示阶段i对应的初始计算耗时。
本公开实施例中，将上述ki与k1之间的对应关系，带入约束条件一，即可得到神经网络模型针对数据吞吐量的最终约束条件。
示例的，在约束条件一为Throughput(sp)>Throughputlimit，且ki与k1之间的对应关系为
Figure BDA0003443595530000113
的情况下，最终约束条件可以通过
Figure BDA0003443595530000114
表示。其中，OCT1表示第一阶段对应的初始计算耗时，Bo表示测量计算耗时和数据通信耗时的小批量，α1表示第一阶段对应的计算并行化常量，β1表示第一阶段对应的通信并行化常量，Throughputlimit表示神经网络模型的数据吞吐量限制。其中，由于最终约束条件受限于各阶段对应的数据吞吐量相等，因此，第一阶段的数据吞吐量(示例以k1表示)对应的约束条件，即为神经网络模型的数据吞吐量对应的最终约束条件。进一步的，可以在通过例如牛顿法等最值计算方法，得到最终约束条件下，确定神经网络模型对应的数据吞吐量的最大值。基于此，将神经网络模型对应的数据吞吐量的最大值引入评估点搜索过程，可以进一步减小评估点的搜索范围，以此实现对评估点搜索的进一步优化。
基于相同的构思，本公开实施例还提供一种资源分配装置。
可以理解的是，本公开实施例提供的资源分配装置为了实现上述功能，其包含了执行各个功能相应的硬件结构和/或软件模块。结合本公开实施例中所公开的各示例的模块及算法步骤，本公开实施例能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同的方法来实现所描述的功能，但是这种实现不应认为超出本公开实施例的技术方案的范围。
图7是根据本公开的资源分配装置框图。参照图7，该装置600包括确定模块601和处理模块602。
确定模块601，用于确定待进行资源分配的神经网络模型，并确定能够为神经网络模型提供资源的设备集合。以及基于设备集合和神经网络模型，确定第一评估点集合，其中，第一评估点集合中包括第一数量的评估点，且每一评估点对应一个资源分配方案，以及该资源分配方案对应的资源使用成本。处理模块602，用于对第一评估点集合进行更新迭代，得到第二评估点集合，第二评估点集合中包括第二数量的评估点，且每一评估点对应一个资源分配方案，以及该资源分配方案对应的资源使用成本，第二数量大于第一数量。以及在第二评估点集合中选择资源使用成本最小的资源分配方案，作为对神经网络模型进行资源分配的资源分配方案。
一种实施方式中，处理模块602采用如下方式对第一评估点集合进行更新迭代，得到第二评估点集合：基于第一评估点集合更新贝叶斯算法模型所应用目标函数的概率代理模型。基于更新后的概率代理模型，随机生成观察点集合，观察点集合中包括第三数量的观察点，且每一观察点对应一个资源分配方案。在观察点集合中选择贝叶斯算法模型所应用采集函数值最小的观察点。确定采集函数值最小的观察点对应资源分配方案中神经网络模型的资源使用成本。将采集函数值最小的观察点对应资源分配方案以及对应的资源使用成本，作为更新的评估点，加入第一评估点集合中。重复执行上述过程，直至得到第二评估点集合。
一种实施方式中，确定模块601采用如下方式基于设备集合和神经网络模型，确定第一评估点集合：随机生成第一数量的资源分配方案，其中，每一资源分配方案中包括有被分配的设备，以及设备用于执行的神经网络模型中网络层。确定第一数量的资源分配方案中每一资源分配方案对应的资源使用成本。基于第一数量的资源分配方案以及对应的资源使用成本，得到第一评估点集合。
一种实施方式中，贝叶斯算法模型所应用目标函数为高斯过程函数。
一种实施方式中，贝叶斯算法模型所应用采集函数为指数积分EI函数。
一种实施方式中，确定模块601采用如下方式确定资源分配方案中神经网络模型的资源使用成本：确定资源分配方案与神经网络模型的资源使用成本之间的对应关系。基于对应关系，确定资源分配方案中神经网络模型的资源使用成本。
一种实施方式中，确定模块601采用如下方式确定资源分配方案与神经网络模型的资源使用成本之间的对应关系：针对设备集合中的多种不同类型的设备，分别确定设备匹配资源分配方案的设备使用数量，并确定设备使用数量与设备对应的设备使用成本之间的第一乘积值。确定多种不同类型的设备中各设备对应的第一乘积值之间的和值，并确定神经网络训练数据数量与神经网络模型对应的数据吞吐量之间的比值。确定和值与比值之间的第二乘积值，并基于资源分配方案与第二乘积值之间的对应关系，得到资源分配方案与神经网络模型的资源使用成本之间的对应关系。
一种实施方式中，神经网络模型划分为不同阶段，不同阶段中每一阶段包含神经网络模型的一个或多个网络层，且每一阶段由同一类型的设备所执行。神经网络模型对应的数据吞吐量满足如下约束条件：神经网络模型的数据吞吐量小于阶段中各阶段对应的最小数据吞吐量。以及阶段中各阶段对应的数据吞吐量相等。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
本公开的技术方案中，所涉及的用户个人信息的获取，存储和应用等，均符合相关法律法规的规定，且不违背公序良俗。
根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
图8示出了可以用来实施本公开的实施例的示例电子设备700的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图8所示，设备700包括计算单元701，其可以根据存储在只读存储器(ROM)702中的计算机程序或者从存储单元708加载到随机访问存储器(RAM)703中的计算机程序，来执行各种适当的动作和处理。在RAM 703中，还可存储设备700操作所需的各种程序和数据。计算单元701、ROM 702以及RAM 703通过总线704彼此相连。输入/输出(I/O)接口705也连接至总线704。
设备700中的多个部件连接至I/O接口705，包括：输入单元706，例如键盘、鼠标等；输出单元707，例如各种类型的显示器、扬声器等；存储单元708，例如磁盘、光盘等；以及通信单元709，例如网卡、调制解调器、无线通信收发机等。通信单元709允许设备700通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元701可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元701的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元701执行上文所描述的各个方法和处理，例如资源分配方法。例如，在一些实施例中，资源分配方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元708。在一些实施例中，计算机程序的部分或者全部可以经由ROM 702和/或通信单元709而被载入和/或安装到设备700上。当计算机程序加载到RAM 703并由计算单元701执行时，可以执行上文描述的资源分配方法的一个或多个步骤。备选地，在其他实施例中，计算单元701可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行资源分配方法。
本文中以上描述的***和技术的各种实施方式可以在数字电子电路***、集成电路***、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上***的***(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程***上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储***、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储***、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行***、装置或设备使用或与指令执行***、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体***、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在计算机上实施此处描述的***和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的***和技术实施在包括后台部件的计算***(例如，作为数据服务器)、或者包括中间件部件的计算***(例如，应用服务器)、或者包括前端部件的计算***(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的***和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算***中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将***的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机***可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式***的服务器，或者是结合了区块链的服务器。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (16)

1.一种资源分配方法，包括：
确定待进行资源分配的神经网络模型，并确定能够为所述神经网络模型提供资源的设备集合；
基于所述设备集合和所述神经网络模型，确定第一评估点集合，其中，所述第一评估点集合中包括第一数量的评估点，且每一评估点对应一个资源分配方案，以及该资源分配方案对应的资源使用成本；
对所述第一评估点集合进行更新迭代，得到第二评估点集合，所述第二评估点集合中包括第二数量的评估点，且每一评估点对应一个资源分配方案，以及该资源分配方案对应的资源使用成本，所述第二数量大于所述第一数量；
在所述第二评估点集合中选择资源使用成本最小的资源分配方案，作为对所述神经网络模型进行资源分配的资源分配方案；
其中，所述对所述第一评估点集合进行更新迭代，得到第二评估点集合，包括：
基于所述第一评估点集合更新贝叶斯算法模型所应用目标函数的概率代理模型；
基于更新后的概率代理模型，随机生成观察点集合，所述观察点集合中包括第三数量的观察点，且每一观察点对应一个资源分配方案；
在所述观察点集合中选择贝叶斯算法模型所应用采集函数值最小的观察点；
确定所述采集函数值最小的观察点对应资源分配方案中神经网络模型的资源使用成本；
将所述采集函数值最小的观察点对应资源分配方案以及对应的资源使用成本，作为更新的评估点，加入所述第一评估点集合中；
重复执行上述过程，直至得到第二评估点集合。
2.根据权利要求1所述的方法，其中，所述基于所述设备集合和所述神经网络模型，确定第一评估点集合，包括：
随机生成第一数量的资源分配方案，其中，每一资源分配方案中包括有被分配的设备，以及所述设备用于执行的所述神经网络模型中网络层；
确定所述第一数量的资源分配方案中每一资源分配方案对应的资源使用成本；
基于所述第一数量的资源分配方案以及对应的资源使用成本，得到第一评估点集合。
3.根据权利要求1所述的方法，其中，所述贝叶斯算法模型所应用目标函数为高斯过程函数。
4.根据权利要求1所述的方法，其中，所述贝叶斯算法模型所应用采集函数为指数积分EI函数。
5.根据权利要求1至4中任意一项所述的方法，其中，资源分配方案中所述神经网络模型的资源使用成本采用如下方式确定：
确定资源分配方案与神经网络模型的资源使用成本之间的对应关系；
基于所述对应关系，确定资源分配方案中所述神经网络模型的资源使用成本。
6.根据权利要求5所述的方法，其中，所述确定资源分配方案与所述神经网络模型的资源使用成本之间的对应关系，包括：
针对所述设备集合中的多种不同类型的设备，分别确定所述设备匹配所述资源分配方案的设备使用数量，并确定所述设备使用数量与所述设备对应的设备使用成本之间的第一乘积值；
确定所述多种不同类型的设备中各设备对应的第一乘积值之间的和值，并确定神经网络训练数据数量与所述神经网络模型对应的数据吞吐量之间的比值；
确定所述和值与所述比值之间的第二乘积值，并基于所述资源分配方案与所述第二乘积值之间的对应关系，得到资源分配方案与神经网络模型的资源使用成本之间的对应关系。
7.根据权利要求6所述的方法，其中，所述神经网络模型划分为不同阶段，所述不同阶段中每一阶段包含所述神经网络模型的一个或多个网络层，且每一阶段由同一类型的设备所执行；
所述神经网络模型对应的数据吞吐量满足如下约束条件：
所述神经网络模型的数据吞吐量小于所述阶段中各阶段对应的最小数据吞吐量；以及
所述阶段中各阶段对应的数据吞吐量相等。
8.一种资源分配装置，包括：
确定模块，用于确定待进行资源分配的神经网络模型，并确定能够为所述神经网络模型提供资源的设备集合；以及基于所述设备集合和所述神经网络模型，确定第一评估点集合，其中，所述第一评估点集合中包括第一数量的评估点，且每一评估点对应一个资源分配方案，以及该资源分配方案对应的资源使用成本；
处理模块，用于对所述第一评估点集合进行更新迭代，得到第二评估点集合，所述第二评估点集合中包括第二数量的评估点，且每一评估点对应一个资源分配方案，以及该资源分配方案对应的资源使用成本，所述第二数量大于所述第一数量；以及在所述第二评估点集合中选择资源使用成本最小的资源分配方案，作为对所述神经网络模型进行资源分配的资源分配方案；
其中，所述处理模块采用如下方式对所述第一评估点集合进行更新迭代，得到第二评估点集合：
基于所述第一评估点集合更新贝叶斯算法模型所应用目标函数的概率代理模型；
基于更新后的概率代理模型，随机生成观察点集合，所述观察点集合中包括第三数量的观察点，且每一观察点对应一个资源分配方案；
在所述观察点集合中选择贝叶斯算法模型所应用采集函数值最小的观察点；
确定所述采集函数值最小的观察点对应资源分配方案中神经网络模型的资源使用成本；
将所述采集函数值最小的观察点对应资源分配方案以及对应的资源使用成本，作为更新的评估点，加入所述第一评估点集合中；
重复执行上述过程，直至得到第二评估点集合。
9.根据权利要求8所述的装置，其中，所述确定模块采用如下方式基于所述设备集合和所述神经网络模型，确定第一评估点集合：
随机生成第一数量的资源分配方案，其中，每一资源分配方案中包括有被分配的设备，以及所述设备用于执行的所述神经网络模型中网络层；
确定所述第一数量的资源分配方案中每一资源分配方案对应的资源使用成本；
基于所述第一数量的资源分配方案以及对应的资源使用成本，得到第一评估点集合。
10.根据权利要求8所述的装置，其中，所述贝叶斯算法模型所应用目标函数为高斯过程函数。
11.根据权利要求8所述的装置，其中，所述贝叶斯算法模型所应用采集函数为指数积分EI函数。
12.根据权利要求8至11中任意一项所述的装置，其中，所述确定模块采用如下方式确定资源分配方案中所述神经网络模型的资源使用成本：
确定资源分配方案与神经网络模型的资源使用成本之间的对应关系；
基于所述对应关系，确定资源分配方案中所述神经网络模型的资源使用成本。
13.根据权利要求12所述的装置，其中，所述确定模块采用如下方式确定资源分配方案与所述神经网络模型的资源使用成本之间的对应关系：针对所述设备集合中的多种不同类型的设备，分别确定所述设备匹配所述资源分配方案的设备使用数量，并确定所述设备使用数量与所述设备对应的设备使用成本之间的第一乘积值；
确定所述多种不同类型的设备中各设备对应的第一乘积值之间的和值，并确定神经网络训练数据数量与所述神经网络模型对应的数据吞吐量之间的比值；
确定所述和值与所述比值之间的第二乘积值，并基于所述资源分配方案与所述第二乘积值之间的对应关系，得到资源分配方案与神经网络模型的资源使用成本之间的对应关系。
14.根据权利要求13所述的装置，其中，所述神经网络模型划分为不同阶段，所述不同阶段中每一阶段包含所述神经网络模型的一个或多个网络层，且每一阶段由同一类型的设备所执行；
所述神经网络模型对应的数据吞吐量满足如下约束条件：
所述神经网络模型的数据吞吐量小于所述阶段中各阶段对应的最小数据吞吐量；以及
所述阶段中各阶段对应的数据吞吐量相等。
15.一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-7中任一项所述的方法。
16.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-7中任一项所述的方法。
CN202111643872.6A 2021-12-29 2021-12-29 资源分配方法、装置、设备、介质及计算机程序产品 Active CN114416351B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202111643872.6A CN114416351B (zh) 2021-12-29 2021-12-29 资源分配方法、装置、设备、介质及计算机程序产品
US17/891,617 US20230206024A1 (en) 2021-12-29 2022-08-19 Resource allocation method, resource allocation apparatus, device, medium and computer program produ
EP22191359.3A EP4206922A1 (en) 2021-12-29 2022-08-22 Resource allocation method, resource allocation apparatus, device, medium and computer program product

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111643872.6A CN114416351B (zh) 2021-12-29 2021-12-29 资源分配方法、装置、设备、介质及计算机程序产品

Publications (2)

Publication Number Publication Date
CN114416351A CN114416351A (zh) 2022-04-29
CN114416351B true CN114416351B (zh) 2022-10-21

Family

ID=81269675

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111643872.6A Active CN114416351B (zh) 2021-12-29 2021-12-29 资源分配方法、装置、设备、介质及计算机程序产品

Country Status (3)

Country Link
US (1) US20230206024A1 (zh)
EP (1) EP4206922A1 (zh)
CN (1) CN114416351B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117113727B (zh) * 2023-10-19 2024-01-23 中科三清科技有限公司 交互式数值模拟的设备配置方法、装置及电子设备
CN117130791B (zh) * 2023-10-26 2023-12-26 南通话时代信息科技有限公司 云客服平台的算力资源分配方法及***
CN117710026B (zh) * 2024-02-04 2024-04-30 浙江海亮科技有限公司 一种学生的激励分配方法以及分配***

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112579280A (zh) * 2020-12-30 2021-03-30 奇瑞汽车股份有限公司 云资源的调度方法、装置及计算机存储介质
CN113010288A (zh) * 2021-03-16 2021-06-22 奇瑞汽车股份有限公司 云资源的调度方法、装置及计算机存储介质
CN113326099A (zh) * 2021-06-25 2021-08-31 深信服科技股份有限公司 资源管理方法、装置、电子设备和存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2002227514A1 (en) * 2000-07-27 2002-02-13 Polygnostics Limited Collaborative filtering
US10698735B2 (en) * 2018-02-14 2020-06-30 Citrix Systems, Inc. Auto-scaling for allocation of cloud service resources in application deployments
US11526736B2 (en) * 2019-08-15 2022-12-13 Intel Corporation Methods, systems, articles of manufacture and apparatus to map workloads
US11797340B2 (en) * 2020-05-14 2023-10-24 Hewlett Packard Enterprise Development Lp Systems and methods of resource configuration optimization for machine learning workloads

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112579280A (zh) * 2020-12-30 2021-03-30 奇瑞汽车股份有限公司 云资源的调度方法、装置及计算机存储介质
CN113010288A (zh) * 2021-03-16 2021-06-22 奇瑞汽车股份有限公司 云资源的调度方法、装置及计算机存储介质
CN113326099A (zh) * 2021-06-25 2021-08-31 深信服科技股份有限公司 资源管理方法、装置、电子设备和存储介质

Also Published As

Publication number Publication date
CN114416351A (zh) 2022-04-29
US20230206024A1 (en) 2023-06-29
EP4206922A1 (en) 2023-07-05

Similar Documents

Publication Publication Date Title
CN114416351B (zh) 资源分配方法、装置、设备、介质及计算机程序产品
WO2017176333A1 (en) Batching inputs to a machine learning model
CN115131566A (zh) 基于超像素和改进模糊c均值聚类的自动图像分割方法
CN110322020B (zh) 分布式随机梯度下降的自适应学习率调度
CN114781650A (zh) 一种数据处理方法、装置、设备以及存储介质
CN113791882A (zh) 多任务的部署方法、装置、电子设备及存储介质
CN113408304B (zh) 文本翻译方法、装置、电子设备及存储介质
CN115330579A (zh) 模型水印的构建方法、装置、设备及存储介质
CN114037060A (zh) 预训练模型的生成方法、装置、电子设备以及存储介质
CN114429211A (zh) 用于生成信息的方法、装置、设备、介质和产品
CN114418063B (zh) 神经网络模型中网络层的分配方法与装置
CN112906723A (zh) 一种特征选择的方法和装置
CN114816758B (zh) 资源分配方法和装置
CN114491416A (zh) 特征信息的处理方法、装置、电子设备和存储介质
CN116306881A (zh) 模型压缩方法、装置、电子设备及存储介质
CN112528123A (zh) 模型搜索方法、装置、电子设备、存储介质和程序产品
CN113887631A (zh) 图像数据处理方法、目标模型的训练方法、装置和设备
CN115796263A (zh) 模型优化方法、装置、电子设备及存储介质
CN115935976A (zh) 一种试题匹配方法及装置
CN116363428A (zh) 模型微调方法、图像处理方法、装置及电子设备
CN114331379A (zh) 用于输出待办任务的方法、模型训练方法和装置
CN117077536A (zh) 一种数据处理方法、装置及电子设备
CN114037061A (zh) 预训练模型的生成方法、装置、电子设备以及存储介质
CN114580920A (zh) 任务处理方法、装置、电子设备和介质
CN115952842A (zh) 一种量化参数确定方法、混合精度量化方法以及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant