CN113886460A - 低带宽分布式深度学习方法 - Google Patents
低带宽分布式深度学习方法 Download PDFInfo
- Publication number
- CN113886460A CN113886460A CN202111130674.XA CN202111130674A CN113886460A CN 113886460 A CN113886460 A CN 113886460A CN 202111130674 A CN202111130674 A CN 202111130674A CN 113886460 A CN113886460 A CN 113886460A
- Authority
- CN
- China
- Prior art keywords
- deep learning
- model
- local data
- parameters
- learning model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2471—Distributed queries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04B—TRANSMISSION
- H04B7/00—Radio transmission systems, i.e. using radiation field
- H04B7/14—Relay systems
- H04B7/15—Active relay systems
- H04B7/185—Space-based or airborne stations; Stations for satellite systems
- H04B7/1851—Systems using a satellite or space-based relay
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Medical Informatics (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Astronomy & Astrophysics (AREA)
- Aviation & Aerospace Engineering (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Artificial Intelligence (AREA)
- Fuzzy Systems (AREA)
- Probability & Statistics with Applications (AREA)
- Computational Linguistics (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明涉及一种低带宽分布式深度学***均,获得全局的模型参数。本发明的方法仅需随机选取深度学习模型的部分参数进行信息传输,不需要对模型参数进行耗时的排序等操作,在满足低带宽需求的同时,有效减少模型参数筛选的计算复杂度。
Description
技术领域
本发明涉及计算机深度学习技术领域,尤其涉及一种低带宽分布式深度学习方法。
背景技术
随着人工智能的突破式发展以及星上计算和存储能力的快速提升,在轨智能处理直接生成用户所需信息是遥感卫星***的必然发展趋势。由于用户关注场景、目标通常具有高动态特性,传统的“地面离线训练-星上在轨预测”的工作模式已经无法满足用户需求。所以,亟需在轨对智能模型进行学习和更新,以适应观测场景的动态变化或满足陌生场景的感知需要。
同时,受到卫星轨道、有效载荷、目标物理特性、成像方式等多种因素的影响,越来越多的智能任务需要多颗不同类型的卫星互相协作共同完成。比如,灾害地区应急观测、马航失联的搜寻等都需要多个卫星或航天器协同。如果仅依赖单个卫星的观测数据,则难以实现对全局智能模型的精确学习。
而随着卫星技术的发展和成本的降低,在轨卫星数量激增,星间网络逐步建立,遥感卫星***已具备多星协同工作的基础。遥感卫星***通过自组织的方式协同工作,并利用分布式深度学习技术,整合多个卫星的实时感知数据和计算能力。同时利用卫星之间的通信与交互,可在无全局信息或人为干预的条件下实现***的协作运行,以解决更多更复杂的问题,并拓宽应用。但是,由于人造卫星或航天器运行环境的特殊性,遥感卫星***的网络拓扑结构具有低带宽的特性。因此,对于低带宽网络环境下的分布式深度学习研究具有重要意义和现实急迫性。
现有的针对带宽受限场景下的分布式深度学***均,最终将梯度更新到平均之后的模型参数上。
第二类是降低数据传输量,节省带宽占用。主要包括3种方法:分别是延迟同步、量化和稀疏化。其中,延迟同步就是不再要求每个节点训练一个batch之后就开始进行参数或梯度融合,而是在本地训练多个batch之后再与其他节点或服务器进行参数或梯度融合。延迟同步以Local SGD、Federated Averaging为代表。量化主要是将模型参数以低位数、低精度表示方法替代,例如将模型参数从64位的双精度浮点数量化成32位的整数,从而大大减少网络传输量。代表方法包括QSGD、TernGrad、DoReFa-Net等。稀疏化方法指的是仅同步模型部分参数,而不是传输所有的模型参数。代表方法有Top-K Sparsification、DeepGradient Compression、Sparse Binary Compression等,都需要通过一定的规则对模型参数进行筛选。例如,Top-K Sparsification方法就是选最大的K个模型参数进行传输。但是现有的稀疏化方法参数筛选复杂度都较高,需要进行排序等操作,计算量较大。
发明内容
为解决现有的基于稀疏化的低带宽分布式深度学习解决方案模型参数筛选复杂度高,难以充分发挥分布式深度学习快速完成协同任务的优势这一缺陷,同时满足遥感卫星***在低带宽网络环境下的智能学习需求,本发明提供一种低带宽分布式深度学习方法。
为实现上述发明目的,本发明的技术方案是:
本发明提供一种低带宽分布式深度学***均,获得全局的模型参数。
优选地,所述根据本地数据集构建去中心化网络的全局深度学习模型的过程包括:定义全局深度学习模型,及下面的随机优化问题,
其中,D为本地数据集,ξ是本地数据集中的一个数据样本,x∈RN表示全局深度学习模型的序列化参数向量,N为模型参数的总个数,F(x;ξ)表示预定义的全局深度学习模型的损失函数。
优选地,所述构建分布式深度学习模型的过程包括:为所述去中心化网络拓扑分发本地数据集的数据,定义所述去中心化网络拓扑的工作节点上的本地局部数据集与本地数据集同分布,及下面的随机优化问题,
其中,i表示工作节点序号,且1≤i≤n,Di为本地局部数据集,Fi(x;ξ)为局部损失函数,且Fi(·;·)=F(·;·)。
优选地,所述基于本地局部数据集,在所述去中心化网络拓扑的工作节点上,采用随机化的去中心化的并行随机梯度下降算法训练所述分布式深度学习模型的参数的过程包括:
输入初始化模型参数x0,i=x0,学习率γ,权重矩阵W和最大迭代次数K,其中,W∈Rn ×n是所有工作节点的网络拓扑,满足关系式:(i)Wij∈[0,1],(ii)∑j Wji=1,j表示工作节点序号,且1≤j≤n;
初始化迭代次数k=0;
将当前迭代次数k与最大迭代次数K进行比较,当前迭代次数k小于最大迭代次数K时,继续执行以下步骤,当前迭代次数k不小于最大迭代次数K时,输出模型参数xk,i;
在所述去中心化网络拓扑的相同工作节点上构建向量ak,并设定所述向量ak中每个元素属于1的概率为α,再将所述向量ak传输给其他工作节点;
从所述本地局部数据集中随机采集数据样本ξk,i;
从相邻工作节点中获取所述向量ak指定的模型参数,并计算所述模型参数的邻域加权平均值:
其中Γ(ak)表示向量ak中非零元素的位置集合;
令xk+1/2,i(s)=xk,j(s),s∈[N]\Γ(ak),其中[N]:={1,2,…,N};
更新迭代次数k=k+1,并重复执行所述将所述更新后的迭代次数与所述最大迭代次数K比较的步骤。
优选地,所述从相邻工作节点中获取所述向量ak指定的模型参数,并计算所述模型参数的邻域加权平均值和所述令xk+1/2,i(s)=xk,j(s),s∈[N]\Γ(ak)的过程等效于:
其中,Xk=[xk,1,xk,2,…,xk,n]∈RN×n表示第k次迭代所有工作节点的模型参数向量的级联,Pα∈RN×N表示矩阵Diag(ak),ak∈RN为独立伯努利随机变量向量,向量每个元素属于1的概率是α∈(0,1]。
本发明的有益效果:
本发明的低带宽分布式深度学习方法,在去中心化网络拓扑结构的基础上,提供了一种改进后的随机化的稀疏化方法,形成了随机化的去中心化的并行随机梯度下降(RD-PSGD)算法。与传统的去中心化的并行随机梯度下降算法的分布式深度学习解决方案相比,本发明能满足在更低带宽网络场景下的智能学习任务需求。
与现有的稀疏化方法相比,本发明在去中心化网络拓扑结构中相邻工作节点的分布式深度学习模型实时感知数据和计算同步的过程中,仅需随机选取深度学习模型的部分参数进行信息传输和共享,不需要对模型参数进行耗时的排序等操作,在满足低带宽需求的同时,有效减少模型参数筛选的计算复杂度,大大提高分布式深度学习模型的工作效率。
另外,本发明也能很好地应用在遥感卫星***上。在执行复杂的感知或识别等高难度智能学习任务时,遥感卫星构成去中心化的网络拓扑结构,利用本发明的RD-PSGD算法训练各个卫星的模型,通过智能学习实现在更低带宽的运行环境下在轨进行卫星之间的交互与通信,整合多卫星的实时感知和计算信息,从而在轨处理完成协作任务。
附图说明
图1示意性表示本发明的一种实施方式的低带宽分布式深度学习方法的流程图;
图2示意性表示本发明的一种实施方式的低带宽分布式深度学习方法训练网络拓扑节点的分布式深度学习模型参数的流程图;
图3示意性表示本发明的一种实施方式的低带宽分布式深度学习方法中提出的随机化的去中心化的并行随机梯度下降算法与去中心化的并行随机梯度下降算法的网络拓扑节点信息传输过程的对比图;
图4示意性表示本发明的一种实施方式的低带宽分布式深度学习方法中提出的随机化的去中心化的并行随机梯度下降算法与去中心化的并行随机梯度下降算法的训练损失和准确率对比图;
图5示意性表示本发明的一种实施方式的低带宽分布式深度学习方法中提出的随机化的去中心化的并行随机梯度下降算法在不同稀疏率处的带宽消耗;
图6示意性表示本发明的一种实施方式的低带宽分布式深度学习方法中提出的随机化的去中心化的并行随机梯度下降算法与去中心化的并行随机梯度下降算法在低带宽场景下每epoch同步的净时间对比图。
具体实施方式
为了更清楚地说明本发明实施方式或现有技术中的技术方案,下面将对实施方式中所需要使用的附图作简单地介绍。显而易见地,下面描述中的附图仅仅是本发明的一些实施方式,对于本领域普通技术人员而言,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
下面结合附图和具体实施方式对本发明作详细地描述,实施方式不能在此一一赘述,但本发明的实施方式并不因此限定于以下实施方式。
图1示意性表示本发明的一种实施方式的低带宽分布式深度学习方法的流程图,揭示了本发明的技术构思。图2示意性表示本发明的一种实施方式的低带宽分布式深度学习方法训练网络拓扑节点的分布式深度学习模型参数的流程图。如图1所示,本实施方式执行开始后,首先给定一个感知或认知任务的本地数据集D,ξ是其中的一个数据样本。根据本地数据集构建一个去中心化网络拓扑的全局深度学习模型。其具体过程包括:先定义一个全局深度学习模型,其序列化参数向量为x∈RN,则全局深度学习模型学习等效于求解下面的随机优化问题,
其中,x∈RN表示全局深度学习模型的序列化参数向量,N为模型参数的总个数,F(x;ξ)表示预定义的全局深度学习模型的损失函数。这里的模型学习即为模型构建的过程。
其次,构建分布式深度学习模型。其中,该去中心化网络拓扑包含n个工作节点。其过程包括:为去中心化网络拓扑分发本地数据集的数据样本,定义去中心化网络拓扑的工作节点上的本地局部数据集Di与本地数据集D同分布,该分布式深度学习模型对应的局部损失函数为Fi(·;·)=F(·;·),则构建分布式深度学习模型或分布式深度学习模型学习的过程等效于求解下面的随机优化问题,
其中,i表示工作节点序号,且1≤i≤n。
然后,基于上述本地局部数据集Di,采用随机化的去中心化的并行随机梯度下降(RD-PSGD)算法训练去中心化网络拓扑工作节点的分布式深度学习模型的参数。如图2所示,此过程具体包括以下步骤:
先输入初始化的模型参数x0,i=x0,学习率γ,权重矩阵W和最大迭代次数K。其中,W∈Rn×n是所有工作节点的网络拓扑,满足关系式:(i)Wij∈[0,1],(ii)∑j Wji=1,j表示工作节点序号,且1≤j≤n。
同时,初始化迭代次数k=0。
紧接着执行一个判断指令,将当前迭代次数k与最大迭代次数K进行比较,当前迭代次数k小于最大迭代次数K时,继续执行以下步骤。当前迭代次数k不小于(包含等于和大于的情况)最大迭代次数K时,输出模型参数xk,i。也就是,当当前迭代次数k等于或大于最大迭代次数K时,则输出模型参数xk,i。
当前迭代次数k小于最大迭代次数K时,在去中心化网络拓扑的同一个工作节点上构建向量ak,并设定向量ak中每个元素属于1的概率为α,再将向量ak传输给其他工作节点。这里,向量ak指的是由该工作节点的分布式深度学习模型的各个参数构成的向量。如果向量中的某个模型参数属于1,则将它传输给其他剩余的工作节点,如果某个模型参数属于0,则不将它传输给其他剩余的工作节点。在每次迭代过程中,都在相同的某一个工作节点上构建向量ak,然后由该工作节点通过向量ak将相应位置的参数传输给其他剩余的工作节点,即通过广播的方式使得所有工作节点接收到的信息保持一致,进而保证整个网络拓扑各个工作节点保持同步。
其中Γ(ak)表示向量ak中非零元素的位置集合。这样,工作节点之间仅需获取分布式深度学习模型的部分参数即可实现交互与同步,不需要对模型参数进行耗时排序与筛选,减少计算复杂度,提高了工作效率。
令xk+1/2,i(s)=xk,j(s),s∈[N]\Γ(ak),其中[N]:={1,2,…,N},并更新同时,更新迭代次数k=k+1,之后重复执行上述判断指令以及后续的步骤。通过不断的更新迭代对分布式深度学习模型的参数进行训练。
最后,对去中心化网络拓扑所有工作节点上已经训练好的分布式深度学***均,获得最终的模型参数。此时的模型参数即为全局深度学习模型的参数。通过给去中心化网络拓扑的各个工作节点广播某一个工作节点的分布式深度学习模型的部分参数信息,对工作节点的分布式深度学习模型的参数进行不断训练,从而获得全局网络的模型参数,最终实现各个工作节点的同步与协同运行,即如图1所示的流程结束。
这里需要说明的是,从全局的角度,在RD-PSGD算法训练分布式深度学***均值,以及令xk+1/2,i(s)=xk,j(s),s∈[N]\Γ(ak)这两个步骤等效于:
其中,Xk=[xk,1,xk,2,…,xk,n]∈RN×n表示第k次迭代所有工作节点的模型参数向量的级联,α表示稀疏率,Pα∈RN×N表示矩阵Diag(ak),ak∈RN为独立伯努利随机变量向量,向量ak中的每个元素属于1的概率是α∈(0,1]。由此可以证明,RD-PSGD算法的通讯复杂度是O(αN·Deg(network)),其中Deg(network)表示网络拓扑,即权重矩阵的度。
图3示意性表示本发明的一种实施方式的低带宽分布式深度学习方法中提出的随机化的去中心化的并行随机梯度下降算法与去中心化的并行随机梯度下降算法的网络拓扑节点信息传输过程的对比图。如图3所示,相较于D-PSGD算法,RD-PSGD算法中的每个工作节点,不再需要传输所有的模型参数X=[x(s)],s∈[N],而仅需传输Pα指定的相应信息,即X′=[x(s)],s∈Γ(ak),即可实现分布式深度学习模型的整体优化和全局收敛。当α<1时,RD-PSGD算法的传输复杂度将低于D-PSGD算法的传输复杂度O(N·Deg(network)),且会随着稀疏率α的减少而相应减少。对于遥感卫星***,图3中的每个工作节点为遥感卫星***中的各个卫星,共同构成一个去中心化的网络拓扑结构。在训练分布式深度学习模型时,各个卫星与其相邻的卫星只需要交互模型的部分参数,即可实现模型的整体优化和全局收敛。
优选地,本实施方式的本地数据集D为图像分类数据集ImageNet-1k。全局深度学习模型的网络架构为ResNet-50,其损失函数F(x;ξ)为交叉熵损失。初始化模型参数x0采用Kaiming初始化设置,初始化学习率γ=0.1,每30个epoch,即分布式深度学习模型每整体训练完一次,学习率γ除以10。去中心化的网络拓扑,即权重矩阵W为8个工作节点的环形结构,其中的每个工作节点每次迭代的采样数据ξk,i=64,最大迭代次数K为225000,即训练的epoch次数为90。每迭代100次相邻工作节点进行一次模型同步,即模型参数融合时,使用D-PSGD算法(稀疏率α为1)和RD-PSGD算法(稀疏率α为0.1)的训练损失和准确率分别如图4的(a)和(b)所示。由图4显示的结果表明,本实施方式提出的RD-PSGD算法在仅传输10%的模型参数的情况下也能达到收敛,且收敛时的准确率可以基本保持不变。
图5示意性表示本发明的一种实施方式的低带宽分布式深度学习方法中提出的随机化的去中心化的并行随机梯度下降算法的单个工作节点单次权值传输在不同稀疏率处的带宽消耗。如图5所示,当稀疏率接近1时,由于需要额外传输权值位置,网络流量消耗会有所上升,但随着稀疏程度上升,网络带宽占用近似线性减少。进一步地,我们采用trickle软件限制局域无线网络的连接速度(200kb/s),验证RD-PSGD算法在低带宽场景下的加速表现。如图6所示,当稀疏率为0.1时,与D-PSGD算法相比,RD-PSGD算法的每epoch同步净时间(即每epoch所需总时间减去GPU训练所用时间)从285.6s降为58.3s,加速了将近5倍。由于RD-PSGD算法能够有效减少参数传输量,所以能够有效减少低带宽场景下的传输时间。
本实施方式的RD-PSGD算法仅需随机选取部分参数进行模型同步,与现有的基于稀疏化的低带宽分布式深度学习算法相比,RG-PSGD算法不需要对模型参数进行耗时的排序等操作,可以大大减少参数筛选的计算复杂度。表1表示本实施方式的低带宽分布式深度学习方法中提出的随机化的去中心化的并行随机梯度下降算法与基于Top-K稀疏化的低带宽分布式深度学习方法在不同稀疏率处的模型参数选择耗时对比。如表1所示,在不同稀疏率处,相比于基于Top-K稀疏化的低带宽分布式深度学习方法,本实施方式的RD-PSGD算法的模型参数筛选耗时更少,加速效果更明显。
α=0.1 | α=0.5 | |
Top-K | 0.659 | 1.619 |
RD-PSGD | 0.099 | 0.419 |
表1
以上所述仅为本发明的一个实施方式而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包括在本发明的保护范围之内。
Claims (5)
1.一种低带宽分布式深度学习方法,包括:
根据本地数据集构建去中心化网络的全局深度学习模型;
构建分布式深度学习模型;
基于本地局部数据集,采用随机化的去中心化的并行随机梯度下降算法训练所述去中心化网络拓扑工作节点的所述分布式深度学习模型的参数;
对所述去中心化网络拓扑所有工作节点的所述模型参数进行加权平均,获得全局的模型参数。
4.根据权利要求1所述的低带宽分布式深度学习方法,其特征在于,所述基于本地局部数据集,在所述去中心化网络拓扑的工作节点上,采用随机化的去中心化的并行随机梯度下降算法训练所述分布式深度学习模型的参数的过程包括:
输入初始化模型参数x0,i=x0,学习率γ,权重矩阵W和最大迭代次数K,其中,W∈Rn×n是所有工作节点的网络拓扑,满足关系式:(i)Wij∈[0,1],(ii)∑jWji=1,j表示工作节点序号,且1≤j≤n;
初始化迭代次数k=0;
将当前迭代次数k与最大迭代次数K进行比较,当前迭代次数k小于最大迭代次数K时,继续执行以下步骤,当前迭代次数k不小于最大迭代次数K时,输出模型参数xk,i;
在所述去中心化网络拓扑的相同工作节点上构建向量ak,并设定所述向量ak中每个元素属于1的概率为α,再将所述向量ak传输给其他工作节点;
从所述本地局部数据集中随机采集数据样本ξk,i;
从相邻工作节点中获取所述向量ak指定的模型参数,并计算所述模型参数的邻域加权平均值:
其中Γ(ak)表示向量ak中非零元素的位置集合;
令xk+1/2,i(s)=xk,j(s),s∈[N]\Γ(ak),其中[N]:={1,2,…,N};
更新迭代次数k=k+1,并重复执行所述将所述更新后的迭代次数与所述最大迭代次数K比较的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111130674.XA CN113886460A (zh) | 2021-09-26 | 2021-09-26 | 低带宽分布式深度学习方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111130674.XA CN113886460A (zh) | 2021-09-26 | 2021-09-26 | 低带宽分布式深度学习方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113886460A true CN113886460A (zh) | 2022-01-04 |
Family
ID=79006717
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111130674.XA Pending CN113886460A (zh) | 2021-09-26 | 2021-09-26 | 低带宽分布式深度学习方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113886460A (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116070719A (zh) * | 2023-03-20 | 2023-05-05 | 鹏城实验室 | 一种跨计算节点分布式训练高效通信方法及*** |
CN116070720A (zh) * | 2023-03-23 | 2023-05-05 | 山东海量信息技术研究院 | 基于分布式集群的数据处理方法、***、设备及存储介质 |
CN117687800A (zh) * | 2024-02-02 | 2024-03-12 | 山东海量信息技术研究院 | 一种跨域分布式计算方法、***、存储介质和电子设备 |
-
2021
- 2021-09-26 CN CN202111130674.XA patent/CN113886460A/zh active Pending
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116070719A (zh) * | 2023-03-20 | 2023-05-05 | 鹏城实验室 | 一种跨计算节点分布式训练高效通信方法及*** |
CN116070719B (zh) * | 2023-03-20 | 2023-07-14 | 鹏城实验室 | 一种跨计算节点分布式训练高效通信方法及*** |
CN116070720A (zh) * | 2023-03-23 | 2023-05-05 | 山东海量信息技术研究院 | 基于分布式集群的数据处理方法、***、设备及存储介质 |
CN117687800A (zh) * | 2024-02-02 | 2024-03-12 | 山东海量信息技术研究院 | 一种跨域分布式计算方法、***、存储介质和电子设备 |
CN117687800B (zh) * | 2024-02-02 | 2024-05-03 | 山东海量信息技术研究院 | 一种跨域分布式计算方法、***、存储介质和电子设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113886460A (zh) | 低带宽分布式深度学习方法 | |
CN109948029B (zh) | 基于神经网络自适应的深度哈希图像搜索方法 | |
CN108717572B (zh) | 基于结构化神经网络的成像任务可调度性预测方法 | |
CN108873936B (zh) | 一种基于势博弈的飞行器自主编队方法 | |
CN109840154B (zh) | 一种移动云环境下基于任务依赖的计算迁移方法 | |
CN113595993B (zh) | 边缘计算下模型结构优化的车载感知设备联合学习方法 | |
CN104537126A (zh) | 一种基于边图随机游走的重叠社区发现方法 | |
CN115271099A (zh) | 一种支持异构模型的自适应个性化联邦学习方法 | |
CN112580943B (zh) | 一种应用于无人机集群的任务分解与能力匹配方法 | |
CN114091667A (zh) | 一种面向非独立同分布数据的联邦互学习模型训练方法 | |
CN111158912A (zh) | 云雾协同计算环境下一种基于深度学习的任务卸载决策方法 | |
CN113238867A (zh) | 一种基于网络卸载的联邦学习方法 | |
CN114897155A (zh) | 一种用于卫星的集成模型无数据压缩方法 | |
CN116362327A (zh) | 一种模型训练方法、***及电子设备 | |
CN114330673A (zh) | 一种对业务预测模型进行多方联合训练的方法及装置 | |
CN112910680A (zh) | 一种融合多粒度社区信息的网络嵌入方法 | |
CN116630777A (zh) | 一种信息瓶颈图压缩的医疗指标缺失数据补全方法 | |
CN113703482B (zh) | 大型无人机群中基于简化注意力网络的任务规划方法 | |
CN110661566A (zh) | 一种采用深度图嵌入的无人机集群组网方法与*** | |
CN115171433A (zh) | 一种车雾辅助无人机灾后救援任务卸载方法 | |
CN113743012B (zh) | 一种多用户场景下的云-边缘协同模式任务卸载优化方法 | |
CN115544307A (zh) | 基于关联矩阵的有向图数据特征提取与表达方法和*** | |
CN114662148A (zh) | 一种保护隐私的多方联合训练方法及装置 | |
CN114240999A (zh) | 一种基于增强图注意力与时间卷积网络的运动预测方法 | |
Yoon et al. | GDFed: Dynamic Federated Learning for Heterogenous Device Using Graph Neural Network |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |