CN115659212A - 跨域异质场景下基于tdd通信的联邦学习效率评测方法 - Google Patents
跨域异质场景下基于tdd通信的联邦学习效率评测方法 Download PDFInfo
- Publication number
- CN115659212A CN115659212A CN202211184164.5A CN202211184164A CN115659212A CN 115659212 A CN115659212 A CN 115659212A CN 202211184164 A CN202211184164 A CN 202211184164A CN 115659212 A CN115659212 A CN 115659212A
- Authority
- CN
- China
- Prior art keywords
- data
- client
- time
- iteration
- round
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000004891 communication Methods 0.000 title claims abstract description 54
- 238000011156 evaluation Methods 0.000 title claims abstract description 15
- 238000000034 method Methods 0.000 claims abstract description 43
- 230000005540 biological transmission Effects 0.000 claims abstract description 35
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 24
- 238000012360 testing method Methods 0.000 claims abstract description 24
- 230000006870 function Effects 0.000 claims description 24
- 238000009826 distribution Methods 0.000 claims description 22
- 238000012549 training Methods 0.000 claims description 21
- 210000002569 neuron Anatomy 0.000 claims description 20
- 238000004364 calculation method Methods 0.000 claims description 8
- 230000002776 aggregation Effects 0.000 claims description 7
- 238000004220 aggregation Methods 0.000 claims description 7
- 239000011159 matrix material Substances 0.000 claims description 6
- 230000006835 compression Effects 0.000 claims description 4
- 238000007906 compression Methods 0.000 claims description 4
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 claims description 3
- 239000010931 gold Substances 0.000 claims description 3
- 229910052737 gold Inorganic materials 0.000 claims description 3
- 238000000638 solvent extraction Methods 0.000 claims description 3
- 238000009827 uniform distribution Methods 0.000 claims description 3
- 238000002360 preparation method Methods 0.000 claims description 2
- 238000010801 machine learning Methods 0.000 description 3
- 230000001537 neural effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
Images
Landscapes
- Computer And Data Communications (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明提供了跨域异质场景下基于TDD通信模式的联邦学习效率评测方法,其通过计算数据传输时间来评估联邦学习的通信效率,首先配置了测试环境包括跨域数据集、学习任务、算法和客户端设备等,然后根据上述的配置环境计算出在每个通信轮次下客户端上传和下载数据所耗费的时间即每个轮次的通信开销,其次通过绘制精确度和迭代轮次曲线得到目标精度下的收敛轮次,最后根据通信开销和收敛轮次计算得出整个联邦学习过程中的数据传输时间,本发明给出了一种通信效率评估的详细步骤和具体参数设置方法,适用于多种不同联邦学习框架和算法,为联邦学习通信效率评估提供了一定的参考见解。
Description
技术领域
本发明涉及大数据,机器学习,联邦学习技术领域,具体为跨域异质场景下基于TDD通信模式的联邦学习效率评测方法。
背景技术
近几年,随着人们越来越重视数据隐私安全,相关法规制定者和监管机构也相应作出了许多对应措施,依赖于将大量客户数据聚集训练的机器学习逐渐被联邦学习所取代。联邦学习调和了机器学习对数据共享和数据聚集的需求与客户端隐私保护要求之间的矛盾。但是在科研人员提出的越来越多新的联邦学习框架和算法的同时,没有一个很好的综合参数或具体的方法来评价一种联邦学习的通信效率。
发明内容
本发明的目的在于提供跨域异质场景下基于TDD通信的联邦学习效率评测方法,以解决在不同联邦学习中没有没有一个很好的综合参数或具体的方法来评价一种联邦学习的通信效率的问题。
为实现上述目的,本发明提供如下技术方案,跨域异质场景下基于TDD通信的联邦学习效率评测方法,具体包括以下步骤:
步骤一,配置测试环境,包括数据集、任务、模型和算法;
步骤二,根据步骤一所配置的环境和客户端的设备计算数据上传和下载时间和的最大值,即每个轮次的通信开销;
步骤三,根据绘制的精确度和迭代轮次曲线,找到目标精度下的收敛轮次;
步骤四,计算通信效率评价指标,即数据传输总时间,以此来评价通信效率。
前述跨域异质场景下基于TDD通信的联邦学习效率评测方法,所述步骤一中测试环境配置(跨域数据集准备、任务设定)的具体步骤包括:本专利以莎士比亚作品集中角色识别任务作为联邦学习通信效率评测的基本任务。该任务包含两个跨域数据集:角色图片数据集与角色台词数据集。
角色台词数据集:该数据集包括《哈姆雷特》,《李尔王》和《仲夏夜之梦》等10部莎士比亚剧本中的主要人物的经典台词共600句,其中台词长度超过10个字符且要体现人物性格、理想和戏剧矛盾才能够被收录,具体收录实例如图2所示:角色图片数据集:该数据集包括语言数据集相同的在1591年到1650年之间首次上映戏剧舞台表演的10部作品中的主要人物的经典形象灰白图片共480张,即480个样本。台词、图片数据集中的每一个样本皆出自同样的角色。每张图片由128x128个像素点构成,每个像素点用一个灰度值表示。
步骤1-1,数据集划分
考虑到上述设的数据集是一个真实的Non-IID数据集,那么为了将不同标签的样本均匀划分到每个用户以实现用户数据之间的平衡,这里将每个样本的类别标签归纳在一个矩阵中,其中表示用户个数,表示样本标签的类别个数。矩阵中的行向量代表了每个类别划分到不同的用户上的比例,而该行向量采样来自Dirichlet分布。Dirichlet分布的概率密度函数为:
其中是符合要求的随机向量,而是分布参数,其越大分布越接近均匀分布,越小则分布越聚集。
在对分划好的每一个客户端数据中,使用70%的数据作为训练样本,30%的数据作为测试样本。
步骤1-2,设定模型、目标函数
在该联邦学习过程中本专利采用LSTM模型,该模型包括两层LSTM层,其每层神经元数量为128与64,以及3层全连接层,其每层神经元数量为64、32与N(N代表了所需识别的莎士比亚作品集中角色的数量),如图3所示,其中每一个神经元的内部结构如图4所示,在第一、二个LSTM层中每个神经元利用遗忘门ft、输出门Ot和更新门it将每一个输入的向量和上一个有选择的遗忘的神经元记忆Ct-1进行新的神经元状态ht的更新并将其传送至下一层的每一个神经元中。最后通过三层全连接层进行维度的降低直至与需要识别的角色数量相同。
本专利以莎士比亚作品集中角色识别作为基本任务,其采用交叉熵损失函数作为目标函数,具体如下
步骤1-3,联邦学习算法描述
FedAvg算法过程大致分为两步:局部梯度更新和全局更新。局部更新是指在每一个迭代轮次中都需要对上一步迭代的结果进行局部梯度计算,且第t+1次迭代中第k个客户端的局梯度更新公式为:
并将聚合结果下载至客户端。如果当下一个时刻不是T的倍数时,那么此时上一步局部梯度的结果就是下一步训练的初始模型。
但是由于设备之间的异质性,即客户端设备之间存在通信和计算能力的差异,在使用FedAvg算法时需要尽量控制迭代轮次数不能过大,否则因为算力的不同会导致客户端设备无法按时完成局部训练。但在识别莎士比亚角色的基本任务中考虑到数据样本量较小在这里则忽略设备异质性对于算法的影响。根据TDD模式频率不变,时隙不同的原理其整体可参考FedAvg算法结构图如图5所示;
前述的跨域异质场景下基于TDD通信的联邦学习效率评测方法,所述步骤二中计算客户端在每个轮次的通信开销的具体步骤包括:
步骤2-1,上传时间计算。
考虑到设备异质下不同的客户端数据传输能力的不同,则第k个客户端对应的数据上传速度为Rk(t),其中相同服务器的客户端传输速度一致,则第k个客户端在第t次迭代的上传时间为:
步骤2-2,下载时间计算
在数据下载的过程中,还需要考虑网络和不同用户之间为了传输更可靠、更安全的信息所达成的一种协议,也就是服务质量(Quality ofService,QoS)协议。在这里我们设网络带宽即数据传输速率作为QoS的量化指标参数,但是由于客户端设备硬件条件的不同,其计算和通信能力也有不同,这种***异质性会直接导致QoS的差异。
本专利使用的异质设备包括:Brickland、Grantley和Purley平台下的Intel XeonGold 6258R、Intel Xeon E7-4809 v2、H3C R4900 G2和Intel Xeon E5-2620服务器。以及NVIDIA和AMD的GPU设备。在这种设备异质的情况下第k个客户端在第t次迭代的下载时间为:
在公式(9)中当压缩加密后的打包成的数据包根据QoS请求映射到对应的QoS数据流上时,只有当数据传输速度满足第k个客户端的服务器QoS请求时才能传输成功。那么对应的下载时间就是由前i-1次中因而传输错误所浪费的时间加上最后第i次传输成功所花费的时间。
步骤2-3总时间计算
在计算出每个用户上传局部训练模型参数和下载全局训练模型参数的时间后,每轮迭代过程的时间就取所有用户中上传和下载的最大时间和:
前述跨域异质场景下基于TDD通信的联邦学习效率评测方法,所述步骤三判断联邦学习算法收敛轮次的具体步骤包括:
在判断联邦学习收敛轮次时,首先要定义一个空白列表history-acc,用它来收集每个迭代过程下以该轮迭代结果参数在测试集中进行测试的精度结果。在识别莎士比亚作品集的任务中以各个角色的特征点设为一个簇心,然后通过该轮迭代的模型结果对测试集中的样本进行学习并计算其与每个簇心的欧式距离。根据与簇心的距离去归纳为对应的角色。
然后若判断成功则使得判断正确的样本数加一,最终精确度计算为:判定正确的样本数/总的测试样本数。
前述的跨域异质场景下基于TDD通信的联邦学习效率评测方法,所述步骤四中计算通信效率评价指标的具体步骤包括:
在拥有收敛轮次和每个轮次的数据传输时间后,则在达到目标精度下的总的数据传输时间为:
在相同目标精度下,当数据传输时间T越小时通信效率越高,而当T越大时则通信效率不理想。
与现有技术相比,本发明的有益效果是:本发明就结合了目标精度要求下的迭代轮次和客户端和服务器之间的数据通信时间来作为对联邦学习通信效率的评估标准,并给出了具体的方法。对联邦学习的通信效率评估有重要的意义,同时对联邦学习的优劣评估具有一定的参考和见解。
附图说明
图1是本发明通信效率评测方法流程图;
图2是台词数据集的收录实例;
图3是LSMT模型结果模型;
图4是神经元内部结构图;
图5是FedAvg算法结构。
具体实施方式
实施例1
如图1为跨域异质场景下基于TDD通信的联邦学习效率评测方法,其特征在于:具体包括以下步骤:
步骤一,配置测试环境,包括数据集、任务、模型和算法;
步骤二,根据步骤一所配置的环境和客户端的设备计算数据上传和下载时间和的最大值,即每个轮次的通信开销;
步骤三,根据绘制的精确度和迭代轮次曲线,找到目标精度下的收敛轮次;
步骤四,计算通信效率评价指标,即数据传输总时间,以此来评价通信效率。
本专利以莎士比亚作品集中角色识别任务作为联邦学习通信效率评测的基本任务。该任务包含两个跨域数据集:角色图片数据集与角色台词数据集。角色台词数据集:该数据集包括《哈姆雷特》,《李尔王》和《仲夏夜之梦》等10部莎士比亚剧本中的主要人物的经典台词共600句,其中台词长度超过10个字符且要体现人物性格、理想和戏剧矛盾才能够被收录,具体收录实例如图2所示;
角色图片数据集:该数据集包括语言数据集相同的在1591年到1650年之间首次上映戏剧舞台表演的10部作品中的主要人物的经典形象灰白图片共480张,即480个样本。台词、图片数据集中的每一个样本皆出自同样的角色。每张图片由128×128个像素点构成,每个像素点用一个灰度值表示。
步骤1-1,数据集划分
考虑到上述设的数据集是一个真实的Non-IID数据集,那么为了将不同标签的样本均匀划分到每个用户以实现用户数据之间的平衡,这里将每个样本的类别标签归纳在一个矩阵X∈K*N中,其中N表示用户个数,K表示样本标签的类别个数。矩阵中的行向量代表了每个类别划分到不同的用户上的比例,而该行向量采样来自Dirichlet分布。Dirichlet分布的概率密度函数为:
其中x是符合要求的随机向量,而α是分布参数,其越大分布越接近均匀分布,越小则分布越聚集。
在对分划好的每一个客户端数据中,使用70%的数据作为训练样本,30%的数据作为测试样本。
步骤1-2,设定模型、目标函数
在该联邦学习过程中本专利采用LSTM模型,该模型包括两层LSTM层,其每层神经元数量为128与64,以及3层全连接层,其每层神经元数量为64、32与N(N代表了所需识别的莎士比亚作品集中角色的数量),如图3所示;其中每一个神经元的内部结构如图4;
在第一、二个LSTM层中每个神经元利用遗忘门ft、输出门Ot和更新门it将每一个输入的向量和上一个有选择的遗忘的神经元记忆Ct-1进行新的神经元状态ht的更新并将其传送至下一层的每一个神经元中。最后通过三层全连接层进行维度的降低直至与需要识别的角色数量相同。
本专利以莎士比亚作品集中角色识别作为基本任务,其采用交叉熵损失函数作为目标函数,具体如下
步骤1-3,联邦学习算法描述
FedAvg算法过程大致分为两步:局部梯度更新和全局更新。局部更新是指在每一个迭代轮次中都需要对上一步迭代的结果进行局部梯度计算,且第t+1次迭代中第k个客户端的局梯度更新公式为:
并将聚合结果下载至客户端。如果当下一个时刻不是T的倍数时,那么此时上一步局部梯度的结果就是下一步训练的初始模型。
但是由于设备之间的异质性,即客户端设备之间存在通信和计算能力的差异,在使用FedAvg算法时需要尽量控制迭代轮次数不能过大,否则因为算力的不同会导致客户端设备无法按时完成局部训练。但在识别莎士比亚角色的基本任务中考虑到数据样本量较小在这里则忽略设备异质性对于算法的影响。根据TDD模式频率不变,时隙不同的原理其整体可参考FedAvg算法结构图5;
算客户端在每个轮次的通信开销的具体步骤包括:
步骤2-1,上传时间计算。
考虑到设备异质下不同的客户端数据传输能力的不同,则第k个客户端对应的数据上传速度为Rk(t),其中相同服务器的客户端传输速度一致,则第k个客户端在第t次迭代的上传时间为:
步骤2-2,下载时间计算
在数据下载的过程中,还需要考虑网络和不同用户之间为了传输更可靠、更安全的信息所达成的一种协议,也就是服务质量(Quality of Service,QoS)协议。在这里我们设网络带宽即数据传输速率作为QoS的量化指标参数,但是由于客户端设备硬件条件的不同,其计算和通信能力也有不同,这种***异质性会直接导致QoS的差异。
本专利使用的异质设备包括:Brickland、Grantley和Purley等CPU平台下的服务器,例如:Intel Xeon Gold 6258R、Intel Xeon E7-4809 v2、H3C R4900 G2和Intel XeonE5-2620等。以及不同着色器程序下的NVIDIA和AMD等GPU设备,例如Nvidia Tesla P40和Mobility Radeon R9 M200系列等。不同平台下的设备内存通道数、接口数和运算能力都有所差异。在这种设备异质的情况下第k个客户端在第t次迭代的下载时间为:
在公式(9)中当压缩加密后的打包成的数据包根据QoS请求映射到对应的QoS数据流上时,只有当数据传输速度满足第k个客户端的服务器QoS请求时才能传输成功。那么对应的下载时间就是由前i-1次中因而传输错误所浪费的时间加上最后第i次传输成功所花费的时间。
步骤2-3总时间计算
在计算出每个用户上传局部训练模型参数和下载全局训练模型参数的时间后,每轮迭代过程的时间就取所有用户中上传和下载的最大时间和:
判断联邦学习算法收敛轮次的具体步骤包括:
在判断联邦学习收敛轮次时,首先要定义一个空白列表history-acc,用它来收集每个迭代过程下以该轮迭代结果参数在测试集中进行测试的精度结果。在识别莎士比亚作品集的任务中以各个角色的特征点设为一个簇心,然后通过该轮迭代的模型结果对测试集中的样本进行学习并计算其与每个簇心的欧式距离。根据与簇心的距离去归纳为对应的角色。
然后若判断成功则使得判断正确的样本数加一,最终精确度计算为:判定正确的样本数/总的测试样本数。
计算通信效率评价指标的具体步骤包括:
在拥有收敛轮次和每个轮次的数据传输时间后,则在达到目标精度下的总的数据传输时间为:
在相同目标精度下,当数据传输时间T越小时通信效率越高,而当T越大时则通信效率不理想。
上述虽然对本发明的具体实施例作了详细说明,但是本发明并不限于上述实施例,在本领域普通技术人员所具备的知识范围内,还可以在不脱离本发明宗旨的前提下做出各种变化,而不具备创造性劳动的修改或变形仍在本发明的保护范围以内。
Claims (5)
1.跨域异质场景下基于TDD通信的联邦学习效率评测方法,其特征在于,包括以下步骤:
步骤一,配置测试环境,包括数据集、任务、模型和算法;
步骤二,根据步骤一所配置的环境和客户端的设备计算数据上传和下载时间和的最大值,即每个轮次的通信开销;
步骤三,根据绘制的精确度和迭代轮次曲线,找到目标精度下的收敛轮次;
步骤四,计算通信效率评价指标,即数据传输总时间,以此来评价通信效率。
2.根据权利要求1所述的跨域异质场景下基于TDD通信的联邦学习效率评测方法,其特征在于,所述步骤一中测试环境配置(跨域数据集准备、任务设定)的具体步骤包括:角色图片数据集与角色台词数据集两个跨域数据集;角色图片数据集中,台词、图片数据集中的每一个样本皆出自同样的角色,每张图片由128×128个像素点构成,每个像素点用一个灰度值表示;角色台词数据集中,台词长度超过10个字符且要体现人物性格、理想和戏剧矛盾;
步骤1-1,数据集划分
考虑到上述设的数据集是一个真实的Non-IID数据集,那么为了将不同标签的样本均匀划分到每个用户以实现用户数据之间的平衡,这里将每个样本的类别标签归纳在一个矩阵X∈K*N中,其中N表示用户个数,K表示样本标签的类别个数。矩阵中的行向量代表了每个类别划分到不同的用户上的比例,而该行向量采样来自Dirichlet分布。Dirichlet分布的概率密度函数为:
其中x是符合要求的随机向量,而α是分布参数,其越大分布越接近均匀分布,越小则分布越聚集。
在对分划好的每一个客户端数据中,使用70%的数据作为训练样本,30%的数据作为测试样本。
步骤1-2,设定模型、目标函数
在该联邦学习过程中本专利采用LSTM模型,该模型包括两层LSTM层,其每层神经元数量为128与64,以及3层全连接层,其每层神经元数量为64、32与N(N代表了所需识别作品集中角色的数量),在第一、二个LSTM层中每个神经元利用遗忘门、输出门和更新门将每一个输入的向量和上一个有选择地遗忘的神经元记忆进行新的神经元状态的更新并将其传送至下一层的每一个神经元中。最后通过三层全连接层进行维度的降低直至与需要识别的角色数量相同。
其采用交叉熵损失函数作为目标函数,具体如下:
步骤1-3,联邦学习算法描述
FedAvg算法过程大致分为两步:局部梯度更新和全局更新。局部更新是指在每一个迭代轮次中都需要对上一步迭代的结果进行局部梯度计算,且第t+1次迭代中第k个客户端的局梯度更新公式为:
并将聚合结果下载至客户端。如果当下一个时刻不是T的倍数时,那么此时上一步局部梯度的结果就是下一步训练的初始模型。
3.根据权利要求1所述的跨域异质场景下基于TDD通信的联邦学习效率评测方法,其特征在于:所述步骤二中计算客户端在每个轮次的通信开销的具体步骤包括:
步骤2-1,上传时间计算。
考虑到设备异质下不同的客户端数据传输能力的不同,则第k个客户端对应的数据上传速度为Rk(t),其中相同服务器设备的客户端传输速度一致,则第k个客户端在第t次迭代的上传时间为:
步骤2-2,下载时间计算
在数据下载的过程中,还需要考虑网络和不同用户之间为了传输更可靠、更安全的信息所达成的一种协议,也就是服务质量(Quality of Service,QoS)协议。在这里本专利设网络带宽即数据传输速率作为QoS的量化指标参数,但是由于客户端设备硬件条件的不同,其计算和通信能力也有不同,这种***异质性会直接导致QoS的差异。
本专利使用的异质设备包括:Brickland、Grantley和Purley平台下的Intel XeonGold 6258R、Intel Xeon E7-4809 v2、H3C R4900 G2和Intel Xeon E5-2620服务器;以及NVIDIA和AMD的GPU设备。在这种设备异质的情况下第k个客户端在第t次迭代的下载时间为:
在公式(9)中当压缩加密后的打包成的数据包根据QoS请求映射到对应的QoS数据流上时,只有当数据传输速度满足第k个客户端的服务器QoS请求时才能传输成功。那么对应的下载时间就是由前i-1次中因而传输错误所浪费的时间加上最后第i次传输成功所花费的时间。
步骤2-3总时间计算
在计算出每个用户上传局部训练模型参数和下载全局训练模型参数的时间后,每轮迭代过程的时间就取所有用户中上传和下载的最大时间和:
4.根据权利要求1所述的跨域异质场景下基于TDD通信的联邦学习效率评测方法,其特征在于,所述步骤三判断联邦学习算法收敛轮次的具体步骤包括:
在判断联邦学习收敛轮次时,首先要定义一个空白列表history-acc,用它来收集每个迭代过程下以该轮迭代结果参数在测试集中进行测试的精度结果。在识别任务中以各个角色的特征点设为一个簇心,然后通过该轮迭代的模型结果对测试集中的样本进行学习并计算其与每个簇心的欧式距离。根据与簇心的距离去归纳为对应的角色。
然后若判断成功则使得判断正确的样本数加一,最终精确度计算为:判定正确的样本数/总的测试样本数。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211184164.5A CN115659212B (zh) | 2022-09-27 | 2022-09-27 | 跨域异质场景下基于tdd通信的联邦学习效率评测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211184164.5A CN115659212B (zh) | 2022-09-27 | 2022-09-27 | 跨域异质场景下基于tdd通信的联邦学习效率评测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115659212A true CN115659212A (zh) | 2023-01-31 |
CN115659212B CN115659212B (zh) | 2024-04-09 |
Family
ID=84986458
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211184164.5A Active CN115659212B (zh) | 2022-09-27 | 2022-09-27 | 跨域异质场景下基于tdd通信的联邦学习效率评测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115659212B (zh) |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110633805A (zh) * | 2019-09-26 | 2019-12-31 | 深圳前海微众银行股份有限公司 | 纵向联邦学习***优化方法、装置、设备及可读存储介质 |
CN111428881A (zh) * | 2020-03-20 | 2020-07-17 | 深圳前海微众银行股份有限公司 | 识别模型的训练方法、装置、设备及可读存储介质 |
CN114580498A (zh) * | 2022-01-26 | 2022-06-03 | 华东师范大学 | 一种无线通信场景下高通信效率的联邦学习方法 |
CN114580663A (zh) * | 2022-03-01 | 2022-06-03 | 浙江大学 | 面向数据非独立同分布场景的联邦学习方法及*** |
CN114629930A (zh) * | 2020-12-10 | 2022-06-14 | 华为技术有限公司 | 半异步联邦学习的方法和通信装置 |
CN114912705A (zh) * | 2022-06-01 | 2022-08-16 | 南京理工大学 | 一种联邦学习中异质模型融合的优化方法 |
CN114936595A (zh) * | 2022-05-06 | 2022-08-23 | 四川省人工智能研究院(宜宾) | 一种联邦学习中的模型微调和头部聚合方法 |
CN114943342A (zh) * | 2022-05-09 | 2022-08-26 | 北京邮电大学 | 一种联邦学习***的优化方法 |
CN114943345A (zh) * | 2022-06-10 | 2022-08-26 | 西安电子科技大学 | 基于主动学习和模型压缩的联邦学习全局模型训练方法 |
-
2022
- 2022-09-27 CN CN202211184164.5A patent/CN115659212B/zh active Active
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110633805A (zh) * | 2019-09-26 | 2019-12-31 | 深圳前海微众银行股份有限公司 | 纵向联邦学习***优化方法、装置、设备及可读存储介质 |
WO2021004551A1 (zh) * | 2019-09-26 | 2021-01-14 | 深圳前海微众银行股份有限公司 | 纵向联邦学习***优化方法、装置、设备及可读存储介质 |
CN111428881A (zh) * | 2020-03-20 | 2020-07-17 | 深圳前海微众银行股份有限公司 | 识别模型的训练方法、装置、设备及可读存储介质 |
WO2021184836A1 (zh) * | 2020-03-20 | 2021-09-23 | 深圳前海微众银行股份有限公司 | 识别模型的训练方法、装置、设备及可读存储介质 |
CN114629930A (zh) * | 2020-12-10 | 2022-06-14 | 华为技术有限公司 | 半异步联邦学习的方法和通信装置 |
CN114580498A (zh) * | 2022-01-26 | 2022-06-03 | 华东师范大学 | 一种无线通信场景下高通信效率的联邦学习方法 |
CN114580663A (zh) * | 2022-03-01 | 2022-06-03 | 浙江大学 | 面向数据非独立同分布场景的联邦学习方法及*** |
CN114936595A (zh) * | 2022-05-06 | 2022-08-23 | 四川省人工智能研究院(宜宾) | 一种联邦学习中的模型微调和头部聚合方法 |
CN114943342A (zh) * | 2022-05-09 | 2022-08-26 | 北京邮电大学 | 一种联邦学习***的优化方法 |
CN114912705A (zh) * | 2022-06-01 | 2022-08-16 | 南京理工大学 | 一种联邦学习中异质模型融合的优化方法 |
CN114943345A (zh) * | 2022-06-10 | 2022-08-26 | 西安电子科技大学 | 基于主动学习和模型压缩的联邦学习全局模型训练方法 |
Also Published As
Publication number | Publication date |
---|---|
CN115659212B (zh) | 2024-04-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Kim et al. | Dynamic clustering in federated learning | |
CN113705610B (zh) | 一种基于联邦学习的异构模型聚合方法和*** | |
CN112235384A (zh) | 分布式***中的数据传输方法、装置、设备及存储介质 | |
CN112817653A (zh) | 一种基于云边端的联邦学习计算卸载计算***及方法 | |
WO2022217781A1 (zh) | 数据处理方法、装置、设备以及介质 | |
CN114580663A (zh) | 面向数据非独立同分布场景的联邦学习方法及*** | |
CN114332984B (zh) | 训练数据处理方法、装置和存储介质 | |
CN114912605B (zh) | 基于自适应分割联邦学习的模型训练方法和人脸识别方法 | |
CN114514519A (zh) | 使用异构模型类型和架构的联合学习 | |
CN114943345B (zh) | 基于主动学习和模型压缩的联邦学习全局模型训练方法 | |
CN115271099A (zh) | 一种支持异构模型的自适应个性化联邦学习方法 | |
CN116523079A (zh) | 一种基于强化学习联邦学习优化方法及*** | |
CN115374853A (zh) | 基于T-Step聚合算法的异步联邦学习方法及*** | |
CN110929806A (zh) | 基于人工智能的图片处理方法、装置及电子设备 | |
CN112600697B (zh) | 基于联邦学习的QoS预测方法及***、客户端和服务端 | |
CN114398634A (zh) | 一种基于信息熵的联邦学习参与方权重计算方法 | |
CN117523291A (zh) | 基于联邦知识蒸馏和集成学习的图像分类方法 | |
Mills et al. | Client-side optimization strategies for communication-efficient federated learning | |
CN116645130A (zh) | 基于联邦学习与gru结合的汽车订单需求量预测方法 | |
CN115879542A (zh) | 一种面向非独立同分布异构数据的联邦学习方法 | |
CN115359298A (zh) | 基于稀疏神经网络的联邦元学习图像分类方法 | |
CN114626550A (zh) | 分布式模型协同训练方法和*** | |
CN110248195A (zh) | 用于输出信息的方法和装置 | |
CN113850372A (zh) | 神经网络模型训练方法、装置、***和存储介质 | |
CN115659212B (zh) | 跨域异质场景下基于tdd通信的联邦学习效率评测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |