CN115249074A - 基于Spark集群和Ring-AllReduce架构的分布式联邦学习方法 - Google Patents

基于Spark集群和Ring-AllReduce架构的分布式联邦学习方法 Download PDF

Info

Publication number
CN115249074A
CN115249074A CN202210903965.6A CN202210903965A CN115249074A CN 115249074 A CN115249074 A CN 115249074A CN 202210903965 A CN202210903965 A CN 202210903965A CN 115249074 A CN115249074 A CN 115249074A
Authority
CN
China
Prior art keywords
model
allreduce
ring
cluster
architecture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210903965.6A
Other languages
English (en)
Other versions
CN115249074B (zh
Inventor
夏长达
***
张子扬
张珣
沈敏均
张佳辰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Light Tree Technology Co ltd
Original Assignee
Shanghai Light Tree Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Light Tree Technology Co ltd filed Critical Shanghai Light Tree Technology Co ltd
Priority to CN202210903965.6A priority Critical patent/CN115249074B/zh
Publication of CN115249074A publication Critical patent/CN115249074A/zh
Application granted granted Critical
Publication of CN115249074B publication Critical patent/CN115249074B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5083—Techniques for rebalancing the load in a distributed system
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Multi Processors (AREA)
  • Computer And Data Communications (AREA)

Abstract

本发明公开了一种基于Spark集群和Ring‑AllReduce架构的分布式联邦学习方法，通过在联邦学习中集成Spark集群并融入Ring‑AllReduce分布式训练架构，保证了在正常进行联邦训练过程中，不必将集群扩展为联邦训练的客户端节点，由客户端自由选择调用集群环境进行分布式训练，避免了联邦学习的服务端对客户端的集群环境的管理，简化了计算架构。同时采用Ring‑AllReduce架构减少了通信成本，避免了集群内并行机器数量过多导致的通信成本增加的问题。

Description

基于Spark集群和Ring-AllReduce架构的分布式联邦学习 方法
技术领域
本发明涉及深度学习技术领域，具体涉及一种基于Spark集群和Ring-AllReduce架构的分布式联邦学习方法。
背景技术
联邦学习是保证数据安全的前提下联合多方进行建模的一种学习方式，Spark则是专为大规模数据处理而设计的快速通用的计算引擎。Ring-AllReduce架构，是并行计算的一种通信最优方案，可以保证并行计算时通信成本的基本恒定，避免了通信成本随并行数目的增加而线性增长。
目前，多个机构联合进行模型训练时，很多时候数据量(如时间序列数据)是巨大的，这时就需要充分利用多机进行并行计算来降低整个联邦训练的耗时，但随着机器的增多，也会带来更高的通信成本，可能使得并行计算变得不切实际降低了模型训练的效率。例如，目前，TensorFlow Federate框架主要采用TensorFlow的keras模型进行训练，训练过程如下：
首先，服务端定义好keras模型M；
然后，服务端将模型M进行序列化得到序列化模型S，并发送给各客户端；
最后，客户端对序列化模型S反序列化得到模型M，并读取本地数据为模型样本进行训练。
而分布式机器学习通常采用数据并行的模式。数据并行的架构主要采用PS-Worker架构，在一些常用的机器学习包如TensorFlow、pytorch、paddle等中都有一些相应的api，通过在分布式工作节点中安装这些api，可以在多机/多卡上实现分布式计算，相比之下，这些机器学习包中对分布式计算的梯度聚合方式比Spark集群自带的map-reduce更加易用且丰富，但在分布式机器的调度管理上不如Spark集群方便。
综上可以看到，现有的TensorFlow Federated框架支持使用自定义的各种keras模型进行训练，但缺乏对大规模数据的训练支持，如果对大规模数据进行训练可能因内存问题导致训练失败，又或者需要利用队列依次读出数据，将耗费大量的时间。如果可以嵌入Spark集群进行分布式计算就可以减少大量数据的输入输出和计算产生的时间消耗，但仅仅这么做会在并行机器过多时使得训练受限于通信带宽，这就不但需要嵌入的分布式方法能够对keras模型有相应的适配，而且还要避免并行机器增多带来的通信成本问题，此外还需要能够保证客户端在TensorFlow Federated的框架下对集群进行调度，保证联邦训练的正常进行。因此如何在保护数据私密性的同时，利用好海量数据快速地进行模型训练，并且避免过高的通信成本成为目前深度学习技术领域亟待解决的技术问题。
发明内容
本发明以在保护数据私密性的同时，利用海量数据快速进行模型训练，并且避免过高的通信成本为目的，提供了一种基于Spark集群和Ring-AllReduce架构的分布式联邦学习方法。
为达此目的，本发明采用以下技术方案：
提供一种基于Spark集群和Ring-AllReduce架构的分布式联邦学习方法，步骤包括：
S1，服务端定义模型M并对其序列化后生成序列化信息广播给各客户端进行联邦训练；
S2，各所述客户端接收到所述序列化信息后部署好Spark集群环境，所述Spark集群环境包括训练集群和数据集群；
S3，所述训练集群中的每个工作节点对接收到的所述序列化信息反序列化得到所述模型M和模型训练参数，并以所述数据集群投喂的数据为样本，相互间按照Ring-AllReduce的通信方式进行梯度聚合，以完成对所述模型M的迭代训练。
作为优选，所述的基于Spark集群和Ring-AllReduce架构的分布式联邦学习方法还包括：
S4，每个所述客户端读取其部署的所述训练集群聚合的模型参数回传给所述服务端；
S5，所述服务端对各所述客户端回传的所述模型参数进行聚合后更新所述模型M；
S6，重复执行所述步骤S1-S5，直至达到模型训练终止条件。
作为优选，所述服务端定义的所述模型M为keras模型。
作为优选，步骤S3中，梯度聚合通过TensorFlow的multi-worker策略按照Ring-AllReduce的通信方式进行。
作为优选，步骤S4中，所述客户端将读取的所述模型参数加入掩码后回传给所述服务端。
作为优选，步骤S4中，所述客户端取所述模型参数与步骤S3反序列化得到的所述模型训练参数的参数差回传给所述服务端。
作为优选，所述客户端对所述参数差加入掩码后回传给所述服务端。
作为优选，步骤S3中，Ring-AllReduce架构下的分布式计算由对应的所述客户端调度。
本发明具有以下有益效果：
1、在联邦学习中集成Spark集群并融入Ring-AllReduce分布式训练架构，保证了在正常进行联邦训练过程中，不必将集群扩展为联邦训练的客户端节点，由客户端自由选择调用集群环境下的工作节点进行分布式训练，避免了联邦学习的服务端对客户端的集群环境的管理，简化了计算架构；
2、分布式计算采用两个Spark集群(训练集群和数据集群)分别配合数据的输入、输出和TensorFlow中的multi-worker策略的梯度聚合，既保留了Spark集群调度管理分布式机器的便利性，又利用multi-worker策略更为方便高效的实现了训练集群中各工作节点的梯度聚合；
3、梯度聚合通过TensorFlow的multi-worker策略按照Ring-AllReduce的通信进行，避免了客户端并行机器过多时导致的通信成本线性增加，训练效果受限于网络带宽的问题，确保了分布式训练时的通信成本随机器的增多保持基本不变。
4、Ring-AllReduce架构下的分布式计算完全由客户端本身调度而与服务端分离，降低了以往联邦学习中由服务端调度计算的复杂度。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单地介绍。显而易见地，下面所描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一实施例提供的基于Spark集群和Ring-AllReduce架构的分布式联邦学习方法的流程图；
图2是本发明实施例提供的基于Spark集群和Ring-AllReduce架构的分布式联邦学习的实现原理图。
具体实施方式
下面结合附图并通过具体实施方式来进一步说明本发明的技术方案。
其中，附图仅用于示例性说明，表示的仅是示意图，而非实物图，不能理解为对本专利的限制；为了更好地说明本发明的实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。
本发明实施例的附图中相同或相似的标号对应相同或相似的部件；在本发明的描述中，需要理解的是，若出现术语“上”、“下”、“左”、“右”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此附图中描述位置关系的用语仅用于示例性说明，不能理解为对本专利的限制，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。
在本发明的描述中，除非另有明确的规定和限定，若出现术语“连接”等指示部件之间的连接关系，该术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个部件内部的连通或两个部件的相互作用关系。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
以带Spark集群的参与方对大规模数据进行联邦训练为例，记联邦训练框架中的调度方为服务端，参与训练方为客户端，图2中Spark训练集群构成的环状箭头表示集群中各工作节点相互间以Ring-AllReduce通信方式进行梯度聚合，梯度聚合过程Spark不参与。本发明实施例提供的基于Spark集群和Ring-AllReduce架构的分布式联邦学习方法的具体步骤如图1所示，包括：
S1，各客户端约定本地Spark集群配置文件的存放位置用以确定是否支持采用Spark集群进行计算(客户端具有Spark集群配置文件，即表明该客户端支持Spark集群计算)，以及确定启动Spark时集群环境下的各工作节点的资源分配方式。然后服务端定义keras模型，并对其序列化后生成序列化信息广播给各客户端进行联邦训练，序列化信息包括keras模型经序列化后的序列化模型以及模型训练参数(如batch size、步长等)；
S2，各客户端接收到序列化信息后部署好Spark集群环境，Spark集群环境包括负责样本数据获取和投喂的数据集群以及负责根据投喂的样本数据进行模型训练的训练集群；客户端配置Spark集群环境的方法为：利用TensorFlowOnSpark调用本地的Spark驱动进程，进程调用后即启动数据集群和训练集群这两个Spark集群；
数据集群启动后，对于分布式文件，会将数据集就近分块分配给内部的各个工作节点；如果是本地文件，则需要通过Spark的驱动进程将数据依次分配给各个工作节点。对于大规模数据，分布式文件在数据分配上会更快并且可以减少Spark驱动进程的压力。
S3，训练集群中的每个工作节点对接收到的序列化信息反序列化得到keras模型和模型训练参数，然后以数据集群投喂的数据为样本，通过TensorFlow的multi-worker策略并按照Ring-AllReduce的通信方式相互间进行梯度聚合，以完成对keras模型的迭代训练；
这里需要说明的是，训练集群内部的工作节点由Spark调度启动，但节点间的梯度聚合通过TensorFlow的multi-worker策略来控制，这样做的好处是，既保留了Spark集群调度管理分布式机器的便利性，又利用TensorFlow更为高效方便的实现了梯度聚合。
S4，每个客户端读取其部署的训练集群集合的模型参数回传给服务端；
这里需要说明的是，训练集群中的各工作节点完成训练后将模型参数保存在本地，由于客户端既充当Spark集群的master又充当其中一个Spark的训练节点，因此客户端可以读取到完成训练的模型参数。
为了确保模型参数数据传输的安全性，优选地，客户端将读取的模型参数加入掩码后回传给服务端。掩码加入的现有方法有许多，因此关于在模型参数中加入掩码的具体方法在此不做说明。
为了减少数据传输量，更优选地，客户端取步骤S4完成训练后的模型参数与步骤S3反序列化得到的模型训练参数的参数差回传给服务端，服务端可以根据参数差和步骤S1发送给客户端的模型训练参数作加法运算后得到各客户端完成迭代训练后得到的模型参数。
同样地，为了确保模型参数数据传输的安全性，优选地，客户端对参数差加入掩码后回传给服务端。
S5，服务端对各客户端回传的模型参数进行聚合后更新keras模型，然后返回步骤S1，将更新后的keras模型和聚合后的模型训练参数序列化后生成序列化信息再次广播给各客户端进行联邦训练；
S6，重复执行步骤S1-S5，直至达到模型训练终止条件(模型收敛或达到设定的模型训练次数)。
综上，本发明通过在联邦学习中集成Spark集群并融入Ring-AllReduce分布式训练架构，保证了在正常进行联邦训练过程中，不必将集群扩展为联邦训练的客户端节点，由客户端自由选择调用集群环境进行分布式训练，避免了联邦学习的服务端对客户端的集群环境的管理，简化了计算架构。同时采用Ring-AllReduce架构减少了通信成本，避免了集群内并行机器数量过多导致的通信成本增加的问题。
需要声明的是，上述具体实施方式仅仅为本发明的较佳实施例及所运用技术原理。本领域技术人员应该明白，还可以对本发明做各种修改、等同替换、变化等等。但是，这些变换只要未背离本发明的精神，都应在本发明的保护范围之内。另外，本申请说明书和权利要求书所使用的一些术语并不是限制，仅仅是为了便于描述。

Claims (8)

1.一种基于Spark集群和Ring-AllReduce架构的分布式联邦学习方法，其特征在于，步骤包括：
S1，服务端定义模型M并对其序列化后生成序列化信息广播给各客户端进行联邦训练；
S2，各所述客户端接收到所述序列化信息后部署好Spark集群环境，所述Spark集群环境包括训练集群和数据集群；
S3，所述训练集群中的每个工作节点对接收到的所述序列化信息反序列化得到所述模型M和模型训练参数，并以所述数据集群投喂的数据为样本，相互间按照Ring-AllReduce的通信方式进行梯度聚合，以完成对所述模型M的迭代训练。
2.根据权利要求1所述的基于Spark集群和Ring-AllReduce架构的分布式联邦学习方法，其特征在于，还包括：
S4，每个所述客户端读取其部署的所述训练集群聚合的模型参数回传给所述服务端；
S5，所述服务端对各所述客户端回传的所述模型参数进行聚合后更新所述模型M；
S6，重复执行所述步骤S1-S5，直至达到模型训练终止条件。
3.根据权利要求1所述的基于Spark集群和Ring-AllReduce架构的分布式联邦学习方法，其特征在于，所述服务端定义的所述模型M为keras模型。
4.根据权利要求1所述的基于Spark集群和Ring-AllReduce架构的分布式联邦学习方法，其特征在于，步骤S3中，梯度聚合通过TensorFlow的multi-worker策略按照Ring-AllReduce的通信方式进行。
5.根据权利要求1所述的基于Spark集群和Ring-AllReduce架构的分布式联邦学习方法，其特征在于，步骤S4中，所述客户端将读取的所述模型参数加入掩码后回传给所述服务端。
6.根据权利要求1所述的基于Spark集群和Ring-AllReduce架构的分布式联邦学习方法，其特征在于，步骤S4中，所述客户端取所述模型参数与步骤S3反序列化得到的所述模型训练参数的参数差回传给所述服务端。
7.根据权利要求6所述的基于Spark集群和Ring-AllReduce架构的分布式联邦学习方法，其特征在于，所述客户端对所述参数差加入掩码后回传给所述服务端。
8.根据权利要求1所述的基于Spark集群和Ring-AllReduce架构的分布式联邦学习方法，其特征在于，步骤S3中，Ring-AllReduce架构下的分布式计算由对应的所述客户端调度。
CN202210903965.6A 2022-07-28 2022-07-28 基于Spark集群和Ring-AllReduce架构的分布式联邦学习方法 Active CN115249074B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210903965.6A CN115249074B (zh) 2022-07-28 2022-07-28 基于Spark集群和Ring-AllReduce架构的分布式联邦学习方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210903965.6A CN115249074B (zh) 2022-07-28 2022-07-28 基于Spark集群和Ring-AllReduce架构的分布式联邦学习方法

Publications (2)

Publication Number Publication Date
CN115249074A true CN115249074A (zh) 2022-10-28
CN115249074B CN115249074B (zh) 2023-04-14

Family

ID=83699505

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210903965.6A Active CN115249074B (zh) 2022-07-28 2022-07-28 基于Spark集群和Ring-AllReduce架构的分布式联邦学习方法

Country Status (1)

Country Link
CN (1) CN115249074B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112463340A (zh) * 2020-12-10 2021-03-09 武汉工程大学 基于tensorflow的多任务弹性调度方法及***
US20210225463A1 (en) * 2020-01-22 2021-07-22 doc.ai, Inc. System and Method with Federated Learning Model for Medical Research Applications
CN113191503A (zh) * 2021-05-20 2021-07-30 清华大学深圳国际研究生院 一种非共享数据的去中心化的分布式学习方法及***
CN113973125A (zh) * 2021-10-26 2022-01-25 杭州博盾习言科技有限公司 联邦学习中的通信方法及装置、电子设备、存储介质
CN114091057A (zh) * 2021-11-08 2022-02-25 深圳致星科技有限公司 基于模型模拟的联邦学习安全审计方法及装置
CN114328432A (zh) * 2021-12-02 2022-04-12 京信数据科技有限公司 一种大数据联邦学习处理方法及***
CN114492846A (zh) * 2022-04-06 2022-05-13 天聚地合(苏州)科技股份有限公司 基于可信执行环境的跨域联邦学习方法及***
CN114841345A (zh) * 2022-03-28 2022-08-02 武汉理工大学 一种基于深度学***台及其应用
CN115225405A (zh) * 2022-07-28 2022-10-21 上海光之树科技有限公司 联邦学习框架下基于安全聚合和密钥交换的矩阵分解方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210225463A1 (en) * 2020-01-22 2021-07-22 doc.ai, Inc. System and Method with Federated Learning Model for Medical Research Applications
CN112463340A (zh) * 2020-12-10 2021-03-09 武汉工程大学 基于tensorflow的多任务弹性调度方法及***
CN113191503A (zh) * 2021-05-20 2021-07-30 清华大学深圳国际研究生院 一种非共享数据的去中心化的分布式学习方法及***
CN113973125A (zh) * 2021-10-26 2022-01-25 杭州博盾习言科技有限公司 联邦学习中的通信方法及装置、电子设备、存储介质
CN114091057A (zh) * 2021-11-08 2022-02-25 深圳致星科技有限公司 基于模型模拟的联邦学习安全审计方法及装置
CN114328432A (zh) * 2021-12-02 2022-04-12 京信数据科技有限公司 一种大数据联邦学习处理方法及***
CN114841345A (zh) * 2022-03-28 2022-08-02 武汉理工大学 一种基于深度学***台及其应用
CN114492846A (zh) * 2022-04-06 2022-05-13 天聚地合(苏州)科技股份有限公司 基于可信执行环境的跨域联邦学习方法及***
CN115225405A (zh) * 2022-07-28 2022-10-21 上海光之树科技有限公司 联邦学习框架下基于安全聚合和密钥交换的矩阵分解方法

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
MENGLU YU等: "GADGET: Online Resource Optimization for Scheduling Ring-All-Reduce Learning Jobs", 《IEEE INFOCOM 2022 - IEEE CONFERENCE ON COMPUTER COMMUNICATIONS》 *
亿速云: "如何进行大数据分布式的深度学习", 《HTTPS://WWW.YISU.COM/ZIXUN/503408.HTML》 *
张斯杰: "基于同态加密与RingAllreduce的去中心化联邦学习", 《电脑知识与技术》 *
程敏等: "基于Spark和浮动出租车全球定位***数据的实时交通路况预测方法", 《集成技术》 *
董业等: "基于秘密分享和梯度选择的高效安全联邦学习" *
静静喜欢大白: "【分布式训练-Ring AllReduce】", 《HTTPS://BLOG.CSDN.NET/LJ2048/ARTICLE/DETAILS/108322931》 *

Also Published As

Publication number Publication date
CN115249074B (zh) 2023-04-14

Similar Documents

Publication Publication Date Title
CN107766132B (zh) 多任务调度方法、应用服务器及计算机可读存储介质
CN103279390B (zh) 一种面向小作业优化的并行处理***
CN106330576A (zh) 容器化微服务自动伸缩及迁移调度的方法、***和设备
CN114610474B (zh) 一种异构超算环境下多策略的作业调度方法及***
CN108121608A (zh) 一种队列调度方法以及节点设备
EP4177752A1 (en) Task processing method, edge computing device, computer device, and medium
CN103077070B (zh) 云计算管理***以及云计算***的管理方法
CN114281521B (zh) 优化深度学习异构资源通信效率方法、***、设备及介质
Hao et al. Time efficient federated learning with semi-asynchronous communication
CN111614769A (zh) 一种深度学习技术的行为智能分析引擎***及控制方法
CN106528288A (zh) 一种资源管理方法、装置和***
CN106878382A (zh) 一种分布式仲裁集群中动态改变集群规模的方法及装置
CN117785490B (zh) 一种图神经网络模型的训练架构、方法、***及服务器
CN116204307A (zh) 兼容不同计算框架的联邦学习方法和联邦学习***
CN103488699A (zh) 基于内存数据网格的数据处理装置和方法
CN115249074B (zh) 基于Spark集群和Ring-AllReduce架构的分布式联邦学习方法
CN113094180B (zh) 无线联邦学习调度优化方法及装置
CN103678537B (zh) 基于集群的元数据修改方法、装置及节点设备
CN107122952B (zh) 基于规则的流程调度方法及***
CN109597825A (zh) 规则引擎调用方法、装置、设备及计算机可读存储介质
CN111695701B (zh) 基于联邦学习实现数据集构建处理的***及其构建生成方法
CN117370337A (zh) 分区创建方法、装置、计算机设备和存储介质
CN103761106A (zh) 流程的控制方法及流程引擎
CN106293970A (zh) 一种基于ipc的进程间异步处理方法及***
CN109635328A (zh) 集成电路布局方法以及分布式设计方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant