CN112464278B - 基于非均匀分布数据的联邦建模方法及相关设备 - Google Patents

基于非均匀分布数据的联邦建模方法及相关设备 Download PDF

Info

Publication number
CN112464278B
CN112464278B CN202011327591.5A CN202011327591A CN112464278B CN 112464278 B CN112464278 B CN 112464278B CN 202011327591 A CN202011327591 A CN 202011327591A CN 112464278 B CN112464278 B CN 112464278B
Authority
CN
China
Prior art keywords
original
training
client
samples
clients
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011327591.5A
Other languages
English (en)
Other versions
CN112464278A (zh
Inventor
李泽远
王健宗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN202011327591.5A priority Critical patent/CN112464278B/zh
Publication of CN112464278A publication Critical patent/CN112464278A/zh
Priority to PCT/CN2021/083310 priority patent/WO2021190638A1/zh
Application granted granted Critical
Publication of CN112464278B publication Critical patent/CN112464278B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioethics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了基于非均匀分布数据的联邦建模方法及相关设备，涉及人工智能技术领域，可应用于智慧医院***中，方法包括：对样本数量超过预设阈值的原始客户端的样本进行拆分，并依据拆分后的样本构建对应的若干虚拟客户端；将未拆分的所述原始客户端和拆分后的所述虚拟客户端作为训练客户端，根据所述原始模型在各训练客户端并行执行本地的模型训练，并在训练过程中为每个训练客户端训练时的损失设置一个对应的损失权重；将所有所述训练客户端训练后上报的变化量进行聚合，获得平均梯度；利用所述平均梯度对所述原始模型进行更新，得到用于对图像分类的全局模型。本发明可提升针对非独立均匀分布图像数据的分类效果。

Description

基于非均匀分布数据的联邦建模方法及相关设备
技术领域
本发明涉及联邦学习技术领域，特别涉及基于非均匀分布数据的联邦建模方法及相关设备。
背景技术
近年来云计算、大数据和人工智能等技术的发展，为利用不同设备上存储的大量数据、促进产品和服务的性能提供了可能性，同时也引发了公众对于隐私泄露的担忧。为了保护数据隐私，联邦学习应运而生，它能够在参与设备上本地执行训练并将本地模型聚合为全局模型。联邦学习作为分布式的机器学习新范式，能够帮助不同机构在满足用户隐私保护和数据安全的前提下，进行数据联合使用和建模，从技术上有效解决数据孤岛问题，让参与方在***露用户隐私数据的基础上实现联合建模、人工智能协作。
但是，传统的集中式学习是将需要训练的数据集中到一处进行训练，且能够保证不同来源的数据集符合独立分布的性质。而在联邦学习中，跨设备的数据样本通常不是独立且均匀分布的，故联邦学习受限于不同设备所处位置、储存的数据量和种类均不同，客户端在本地进行训练使用的数据彼此之间数量和类别的差异甚大，这就导致遵循已有的联邦学习算法无法达到很好的效果，也就是说，联邦学习针对非独立均匀分布数据的训练效果不佳，特别是针对图像数据的分类效果大大低于传统方式中将数据集中起来的训练效果。
发明内容
本发明的目的是提供基于非均匀分布数据的联邦建模方法及相关设备，旨在解决现有联邦学习方法对非独立均匀分布的图像数据分类效果欠佳的问题。
第一方面，本发明实施例提供一种基于非均匀分布数据的联邦建模方法，其中，包括：
服务器端初始化用于图像分类的原始模型；
针对每轮训练，服务器端随机选取K个原始客户端，并将所述原始模型下发至选中的K个所述原始客户端，其中，每一所述原始客户端选中的概率与相应所述原始客户端的样本数量成正相关关系；所述原始客户端的样本是图像样本数据；
每一所述原始客户端对各自的所述样本数量进行统计，当所述样本数量超过预设阈值时，则对应的样本进行拆分，并依据拆分后的样本构建对应的若干虚拟客户端；
未拆分的所述原始客户端和拆分后的所述虚拟客户端作为训练客户端，并行执行本地的模型训练，并为训练时的损失设置一个对应的损失权重；
所述服务器端将所有所述训练客户端训练后上报的变化量进行聚合，获得平均梯度，并利用所述平均梯度对所述原始模型进行更新，得到用于对图像分类的全局模型。
第二方面，本发明实施例提供一种基于非均匀分布数据的联邦建模***，其中，包括服务器端和多个原始客户端；所述服务器端包括：初始化单元、选取单元和聚合更新单元，每一原始客户端包括：虚拟客户端构建单元和训练单元；
初始化单元，用于初始化用于图像分类的原始模型；
选取单元，用于针对每轮训练，随机选取K个原始客户端，并将所述原始模型下发至选中的K个所述原始客户端，其中，每一所述原始客户端选中的概率与相应所述原始客户端的样本数量成正相关关系；所述原始客户端的样本是图像样本数据；
虚拟客户端构建单元，用于对各自原始客户端的所述样本数量进行统计，当所述样本数量超过预设阈值时，则对应的样本进行拆分，并依据拆分后的样本构建对应的若干虚拟客户端；
训练单元，用于作为训练客户端，并行执行本地的模型训练，并为训练时的损失设置一个对应的损失权重；
聚合更新单元，用于将所有所述训练客户端训练后上报的变化量进行聚合，获得平均梯度，并利用所述平均梯度对所述原始模型进行更新，得到用于对图像分类的全局模型。
第三方面，本发明实施例提供一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其中，所述处理器执行所述计算机程序时实现以下步骤：
初始化用于图像分类的原始模型；
针对每轮训练，随机选取K个原始客户端，并将所述原始模型下发至选中的K个所述原始客户端，其中，每一所述原始客户端选中的概率与相应所述原始客户端的样本数量成正相关关系；所述原始客户端的样本是图像样本数据；并使每一所述原始客户端对各自的所述样本数量进行统计，当所述样本数量超过预设阈值时，则对应的样本进行拆分，并依据拆分后的样本构建对应的若干虚拟客户端；以及使未拆分的所述原始客户端和拆分后的所述虚拟客户端作为训练客户端，并行执行本地的模型训练，并为训练时的损失设置一个对应的损失权重；
将所有所述训练客户端训练后上报的变化量进行聚合，获得平均梯度，并利用所述平均梯度对所述原始模型进行更新，得到用于对图像分类的全局模型。
第四方面，本发明实施例提供一种计算机可读存储介质，其中，所述计算机可读存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行如下步骤：
初始化用于图像分类的原始模型；
针对每轮训练，随机选取K个原始客户端，并将所述原始模型下发至选中的K个所述原始客户端，其中，每一所述原始客户端选中的概率与相应所述原始客户端的样本数量成正相关关系；所述原始客户端的样本是图像样本数据；并使每一所述原始客户端对各自的所述样本数量进行统计，当所述样本数量超过预设阈值时，则对应的样本进行拆分，并依据拆分后的样本构建对应的若干虚拟客户端；以及使未拆分的所述原始客户端和拆分后的所述虚拟客户端作为训练客户端，并行执行本地的模型训练，并为训练时的损失设置一个对应的损失权重；
将所有所述训练客户端训练后上报的变化量进行聚合，获得平均梯度，并利用所述平均梯度对所述原始模型进行更新，得到用于对图像分类的全局模型。
本发明实施例提供了基于非均匀分布数据的联邦建模方法及相关设备，方法包括：服务器端初始化用于图像分类的原始模型；针对每轮训练，服务器端随机选取K个原始客户端，并将所述原始模型下发至选中的K个所述原始客户端，其中，每一所述原始客户端选中的概率与相应所述原始客户端的样本数量成正相关关系；所述原始客户端的样本是图像样本数据；每一所述原始客户端对各自的所述样本数量进行统计，当所述样本数量超过预设阈值时，则对应的样本进行拆分，并依据拆分后的样本构建对应的若干虚拟客户端；未拆分的所述原始客户端和拆分后的所述虚拟客户端作为训练客户端，并行执行本地的模型训练，并为训练时的损失设置一个对应的损失权重；所述服务器端将所有所述训练客户端训练后上报的变化量进行聚合，获得平均梯度，并利用所述平均梯度对所述原始模型进行更新，得到用于对图像分类的全局模型。本发明实施例的方法能够有效提升联邦学习针对非独立均匀分布图像数据的训练效果，在保护用户图像数据隐私的同时，提高对图像的分类效果。
附图说明
为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种基于非均匀分布数据的联邦建模方法的流程示意图；
图2为本发明实施例提供的一种基于非均匀分布数据的联邦建模方法的子流程示意图；
图3为本发明实施例提供的一种基于非均匀分布数据的联邦建模方法的另一子流程示意图；
图4为本发明实施例提供的一种基于非均匀分布数据的联邦建模方法的另一子流程示意图；
图5为本发明实施例提供的一种基于非均匀分布数据的联邦建模方法的另一子流程示意图；
图6为本发明实施例提供的一种基于非均匀分布数据的联邦建模***的示意性框图；
图7为本发明实施例提供的一种基于非均匀分布数据的联邦建模***的子单元示意性框图；
图8为本发明实施例提供的一种基于非均匀分布数据的联邦建模***的另一子单元示意性框图；
图9为本发明实施例提供的一种基于非均匀分布数据的联邦建模***的子单元示意性框图；
图10为本发明实施例提供的一种基于非均匀分布数据的联邦建模***的另一子单元示意性框图；
图11为本发明实施例提供的计算机设备的示意性框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
请参阅图1，图1为本发明实施例提供的一种基于非均匀分布数据的联邦建模方法的流程示意图，该方法包括步骤S101～S105：
S101、服务器端初始化用于图像分类的原始模型；
本发明实施例的应用场景为图像分类，特别适用于对数据隐私保护要求高的场景。在通过联邦学习保护数据的同时，联合训练各方的数据，取得更好的识别和分类效果。
所述原始模型是通用的图像分类的机器学习模型，与传统的机器学习模型不同的地方在于本发明实施例融合联邦学习，训练好得到的全局模型可以有效对图像进行分类。
S102、针对每轮训练，服务器端随机选取K个原始客户端，并将所述原始模型下发至选中的K个所述原始客户端，其中，每一所述原始客户端选中的概率与相应所述原始客户端的样本数量成正相关关系；所述原始客户端的样本是图像样本数据；
本发明实施例中，服务器端会随机选取K个原始客户端参与联邦学习，同时将原始模型下发到被选中的原始客户端。
由于各个原始客户端其样本数量有所不同，如果按照传统方式等概率选取，则会造成样本训练不均衡，所以本发明实施例根据原始客户端的样本数量来确定对应原始客户端选中的概率，即原始客户端的样本数量越大，则选中的概率越高，原始客户端的样本数量越小，则选中的概率越小。
所述原始客户端的样本是图像样本数据，各个原始客户端的图像样本数据的种类分布可以不同。
在一实施例中，如图2所示，所述步骤S102包括：
S201、服务器端获取各个所述原始客户端的样本数量；
此步骤中，服务器端首先获取每个原始客户端的样本数量，各个原始客户端的样本数量可能不断变化，所以服务器端可以实时读取各个原始客户端的样本数量，也可以由原始客户端每次在更新样本数量时及时上报至服务器端。
S202、计算每一所述原始客户端的样本数量占所有原始客户端的总样本数量的比例；
服务器端统计所有原始客户端的样本数量的和，即为总样本数量，然后计算出每一个原始客户端的样本数量占总样本数量的比例，这样可以在同一标准下比较原始客户端的样本数量。
S203、根据所述比例确定每一所述原始客户端选中的概率；
本步骤中，根据所计算出的比例可以直接确定原始客户端选中的概率，例如某一原始客户端其样本数量占所有原始客户端的总样本数量的比例为1％，那么该原始客户端被选中的概率为1％，或者某一原始客户端其样本数量占所有原始客户端的总样本数量的比例为2％，那么该原始客户端被选中的概率为2％。
S204、按照所述概率对各个所述原始客户端进行选取，得到最终选中的K个所述原始客户端。
本步骤中，按照上述步骤计算的概率对原始客户端进行选取即可，这样样本数量大的原始客户端选中的概率将处于较高的水平，样本数量小的原始客户端选中的概率处于较低的水平。
S103、每一所述原始客户端对各自的所述样本数量进行统计，当所述样本数量超过预设阈值时，则对应的样本进行拆分，并依据拆分后的样本构建对应的若干虚拟客户端；
如前所述，每一个原始客户端的样本数量大小不一，而样本数量过大的原始客户端将花费较长时间来计算更新，从而在联邦学习每一轮的通信中成为瓶颈，且在实际的联邦学习***中，无法在给定时间内返回梯度的原始客户端将会被抛弃。此外，在联邦学习中，训练epoch(指时期，表示整个训练集被训练算法遍历的次数)的次数E对模型收敛具有较大影响。较大的E表示朝着目标采取了更多的优化步骤，由于方差增加，导致收敛或发散缓慢，也就是说，客户端样本数量越大，会导致收敛或发散速度减慢。
本发明实施例为了解决样本数量较大的原始客户端通信时间过长的问题，将这些原始客户端的样本进行拆分，并构建得到样本数量较小的多个虚拟客户端，这样各虚拟客户端与未拆分的样本数量大小相似，从而提高学习效率。同时，由于拆分后的样本数量减少，所以每个训练客户端需要进行训练的次数S就可以由N/B(N代表样本数量，B代表每一个batch训练的样本数量，batch代表批，一个epoch由多个batch组成)计算得到，所以最终每个训练客户端的次数S将较为相近，可达到避免训练速度降低的目的。
在一实施例中，如图3所示，所述步骤S103包括：
S301、每一所述原始客户端获取自身的样本数量，并将所述样本数量与预设阈值进行比较；
每个原始客户端在每轮训练时都获取自身的样本数量，并将其与预设阈值进行比较，该预设阈值为预先设置好的一轮训练中不能超过的固定值。
S302、若所述样本数量大于预设阈值，则所述原始客户端按照等分的原则对自身的样本进行拆分，得到若干个数量相同的拆分后的样本，并为每一拆分后的样本构建对应的虚拟客户端。
如果某个原始客户端其样本数量超过预设阈值，则需要对其样本进行拆分，拆分的原则是等分原则，即拆分成若干数量相同的样本，同时为每一拆分后的样本构建对应的虚拟客户端。需说明的是，本实施例中的相同可以是广义的概率，例如样本无法按照等分原则进行拆分时，那么可以将其拆分成若干数量相近的样本。
在一实施例中，所述步骤S302包括：
若所述样本数量大于预设阈值，则计算所述样本数量与所述预设阈值的比值；
本实施例中，为了使拆分后的样本与未拆分的原始客户端的样本之间的数量更为相近，所以先计算样本数量与预设阈值的比值，以便后续确定拆分的组数。
对应的所述原始客户端将自身的样本等分为组数与所述比值相同的若干组样本；
本步骤中，假设原始客户端的样本数量为5000，预设阈值为1000，那么可以得到二者的比例为5，所以可以将原始客户端的样本拆分成5组，并且每组各有1000个样本。
如果该比例不为整数，那么只需拆分为比所述比例多一组的组数即可，例如原始客户端的数量为5500，预设阈值为1000，那么可以得到二者的比例为5.5，所以可以将原始客户端的样本拆分为6组，并且每组各约917个样本。
为拆分后的每一组样本构建对应的虚拟客户端。
本步骤中为拆分后的每一组样本构建一个对应的虚拟客户端，该虚拟客户端的作用可以是与服务器端进行通信，以便服务器端获取该虚拟客户端在模型训练后得到的变化量。
S104、未拆分的所述原始客户端和拆分后的所述虚拟客户端作为训练客户端，并行执行本地的模型训练，并为训练时的损失设置一个对应的损失权重；
假设已有目标分布s(x,y),x表示图像，y表示类别标签；l(x,y)表示预定义的目标损失，整个模型训练的目的是最小化经验损失ES[l(x,y)]。对于联邦学习中的每个训练客户端K，用户特性分布为tK(即tK(x,y))，而每个训练客户端本地训练的损失与目标损失ES[l(x,y)]不相等，导致影响训练效果。为了提升训练客户端训练损失迭代的效果，本实施例采用加权方法，在训练过程中为每个训练客户端训练时的损失设置一个损失权重wK，接近预定义的目标损失，从而解决训练客户端数据偏差的问题。
在一实施例中，如图4所示，所述步骤S104包括：
S401、每一未拆分的所述原始客户端和每一拆分后的所述虚拟客户端作为独立的训练客户端，计算目标分布与各自训练客户端的用户特性分布的比值，将所述比值作为对应所述训练客户端的损失权重；
本步骤中，每一个未拆分的所述原始客户端和每一个拆分后的虚拟客户端都会作为一个独立的训练客户端参与联邦学习，为了确定损失权重，可以先计算目标分布与各训练客户端的用户特性分布的比值，从而使损失与ES一致，提高联邦学习的训练效果。
损失权重通过下述公式1得到：
公式1 lc(x,y)＝l(x,y)wK(x,y),其中
损失与ES的关系如下述公式2所示：
公式2
S402、各所述训练客户端并行执行本地的模型训练，并将训练过程中的损失乘以对应的所述损失权重。
假设给定一个类别k，所有的训练客户端图像的条件分布(用户特性分布)和目标分布一致，S(x|y)≈tK(x|y)，这样就能够直接通过类别的概率计算出每个训练客户端的权重wK(如公式3所示)。其中，仅tK包含隐私信息，但不会离开本地，而s不包含隐私信息，这样有效地保证了联邦学习对隐私数据的保护效果。
公式3假设则
S105、所述服务器端将所有所述训练客户端训练后上报的变化量进行聚合，获得平均梯度，并利用所述平均梯度对所述原始模型进行更新，得到用于对图像分类的全局模型；
在每一轮训练过程中，各训练客户端经过训练后计算得到变化量Δθt，然后将其加密传回服务器端，在服务器端进行聚合得到平均梯度并利用该平均梯度/>对所述原始模型进行更新。
在一实施例中，如图5所示，所述步骤S105包括：
S501、所述服务器端收集所有所述训练客户端训练后上报的变化量；
本步骤中，服务器端收集所有训练客户端上报的变化量Δθt，该变化量Δθt为各训练客户端在本地进行模型训练后得到，该变化量体现了各个训练客户端利用本地数据对模型产生的影响。
S502、计算所有所述训练客户端训练后上报的变化量的加权平均值；
本步骤中，对各个训练客户端上报的变化量进行加权平均，具体可以为每一训练客户端设置一个客户端权重，然后将每一个训练客户端的客户端权重乘以对应的变化量，然后相加，得到加权平均值，即平均梯度
S503、利用一超参对所述原始模型的动量值进行更新，将得到的更新值与所述加权平均值累加，得到累加后的动量值；
如通过超参γ对原始模型的动量值vt-1进行更新，具体可以将所述γ与所述原始模型的动量值vt-1相乘，得到更新值γvt-1。通过调整这个超参，能够改变服务器端的更新规则，并提高对不相同分布的客户端数据的鲁棒性。
然后将得到的更新值γvt-1与加权平均值累加得到累加后的动量值
S504、利用所述累加后的动量值对所述原始模型进行更新，得到所述全局模型。
此步骤中，利用累加后的累加后的动量值vt对原始模型进行更新，即可得到全局模型。
在一实施例中，所述步骤S504包括：
所述服务器端利用本轮训练的训练权重对所述累加后的动量值进行更新，得到所述本轮训练的动量优化值；
本步骤中，可以本轮训练的训练权重与vt相乘，假设该训练权重是σ，那么得到的本轮训练的动量优化值为σvt。
将所述原始模型与所述动量优化值进行累加，得到所述全局模型。
本步骤中，假设原始模型是θt，动量优化值是σvt，那么得到的全局模型θt+1：θt+1←θt-σvt。
请参阅图6，图6为本发明实施例提供的一种基于非均匀分布数据的联邦建模***的示意性框图，所述基于非均匀分布数据的联邦建模***包括服务器端610和多个原始客户端620；所述服务器端610包括：初始化单元601、选取单元602和聚合更新单元605，每一原始客户端620包括：虚拟客户端构建单元603和训练单元604；.
初始化单元601，用于初始化用于图像分类的原始模型；
选取单元602，用于针对每轮训练，随机选取K个原始客户端，并将所述原始模型下发至选中的K个所述原始客户端，其中，每一所述原始客户端选中的概率与相应所述原始客户端的样本数量成正相关关系；所述原始客户端的样本是图像样本数据；
虚拟客户端构建单元603，用于对各自原始客户端的所述样本数量进行统计，当所述样本数量超过预设阈值时，则对应的样本进行拆分，并依据拆分后的样本构建对应的若干虚拟客户端；
训练单元604，用于作为训练客户端，并行执行本地的模型训练，并为训练时的损失设置一个对应的损失权重；
聚合更新单元605，用于将所有所述训练客户端训练后上报的变化量进行聚合，获得平均梯度，并利用所述平均梯度对所述原始模型进行更新，得到用于对图像分类的全局模型。
在一实施例中，如图7所示，所述选取单元602包括：
样本数量获取单元701，用于服务器端获取各个所述原始客户端的样本数量；
比例计算单元702，用于计算每一所述原始客户端的样本数量占所有原始客户端的总样本数量的比例；
概率确定单元703，用于根据所述比例确定每一所述原始客户端选中的概率；
客户端选取单元704，用于按照所述概率对各个所述原始客户端进行选取，得到最终选中的K个所述原始客户端。
在一实施例中，如图8所示，所述虚拟客户端构建单元603包括：
样本数量比较单元801，用于获取自身的样本数量，并将所述样本数量与预设阈值进行比较；
样本拆分单元802，用于若所述样本数量大于预设阈值，则所述原始客户端按照等分的原则对自身的样本进行拆分，得到若干个数量相同的拆分后的样本，并为每一拆分后的样本构建对应的虚拟客户端。
在一实施例中，如图9所示，所述训练单元604包括：
损失权重设置单元901，用于计算目标分布与各自训练客户端的用户特性分布的比值，将所述比值作为对应所述训练客户端的损失权重；
执行单元902，用于并行执行本地的模型训练，并将训练过程中的损失乘以对应的所述损失权重。
在一实施例中，如图10所示，所述聚合更新单元605包括：
变化量收集单元1001，用于收集所有所述训练客户端训练后上报的变化量；
变化量加权单元1002，用于计算所有所述训练客户端训练后上报的变化量的加权平均值；
动量优化单元1003，用于利用一超参对所述原始模型的动量值进行更新，将得到的更新值与所述加权平均值累加，得到累加后的动量值；
模型更新单元1004，用于利用所述累加后的动量值对所述原始模型进行更新，得到所述全局模型。
在一实施例中，所述模型更新单元1004包括：
动量更新单元，用于利用本轮训练的训练权重对所述累加后的动量值进行更新，得到所述本轮训练的动量优化值；
模型累加单元，用于将所述原始模型与所述动量优化值进行累加，得到所述全局模型。
在一实施例中，所述样本拆分单元802包括：
样本数量计算单元，用于若所述样本数量大于预设阈值，则计算所述样本数量与所述预设阈值的比值；
等分单元，用于对应的所述原始客户端将自身的样本等分为组数与所述比值相同的若干组样本；
构建子单元，用于为拆分后的每一组样本构建对应的虚拟客户端。
上述***实施例的内容与上述方法实施例的内容一一对应，关于上述***实施例的具体实施细节可参照前述方法实施例的描述，此处不再赘述。
本发明实施例的***能够有效提升联邦学习针对非独立均匀分布图像数据的训练效果，在保护用户图像数据隐私的同时，提高对图像的分类效果。
请参阅图11，图11是本发明实施例提供的计算机设备的示意性框图。该计算机设备1100是服务器，服务器可以是独立的服务器，也可以是多个服务器组成的服务器集群。
参阅图11，该计算机设备1100包括通过***总线1101连接的处理器1102、存储器和网络接口1105，其中，存储器可以包括非易失性存储介质1103和内存储器1104。
该非易失性存储介质1103可存储操作***11031和计算机程序11032。该计算机程序11032被执行时，可使得处理器1102执行基于非均匀分布数据的联邦建模方法。
该处理器1102用于提供计算和控制能力，支撑整个计算机设备1100的运行。
该内存储器1104为非易失性存储介质1103中的计算机程序11032的运行提供环境，该计算机程序11032被处理器1102执行时，可使得处理器1102执行基于非均匀分布数据的联邦建模方法。
该网络接口1105用于进行网络通信，如提供数据信息的传输等。本领域技术人员可以理解，图11中示出的结构，仅仅是与本发明方案相关的部分结构的框图，并不构成对本发明方案所应用于其上的计算机设备700的限定，具体的计算机设备1100可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
其中，所述处理器1102用于运行存储在存储器中的计算机程序11032，以实现如下功能：初始化用于图像分类的原始模型；针对每轮训练，随机选取K个原始客户端，并将所述原始模型下发至选中的K个所述原始客户端，其中，每一所述原始客户端选中的概率与相应所述原始客户端的样本数量成正相关关系；所述原始客户端的样本是图像样本数据；并使每一所述原始客户端对各自的所述样本数量进行统计，当所述样本数量超过预设阈值时，则对应的样本进行拆分，并依据拆分后的样本构建对应的若干虚拟客户端；以及使未拆分的所述原始客户端和拆分后的所述虚拟客户端作为训练客户端，并行执行本地的模型训练，并为训练时的损失设置一个对应的损失权重；将所有所述训练客户端训练后上报的变化量进行聚合，获得平均梯度，并利用所述平均梯度对所述原始模型进行更新，得到用于对图像分类的全局模型。
本领域技术人员可以理解，图11中示出的计算机设备的实施例并不构成对计算机设备具体构成的限定，在其他实施例中，计算机设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。例如，在一些实施例中，计算机设备可以仅包括存储器及处理器，在这样的实施例中，存储器及处理器的结构及功能与图11所示实施例一致，在此不再赘述。
应当理解，在本发明实施例中，处理器1102可以是中央处理单元(CentralProcessing Unit，CPU)，该处理器1102还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific IntegratedCircuit，ASIC)、现成可编程门阵列(Field-Programmable GateArray，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
在本发明的另一实施例中提供计算机可读存储介质。该计算机可读存储介质可以为非易失性的计算机可读存储介质。该计算机可读存储介质存储有计算机程序，其中计算机程序被处理器执行时实现以下步骤：初始化用于图像分类的原始模型；针对每轮训练，随机选取K个原始客户端，并将所述原始模型下发至选中的K个所述原始客户端，其中，每一所述原始客户端选中的概率与相应所述原始客户端的样本数量成正相关关系；所述原始客户端的样本是图像样本数据；并使每一所述原始客户端对各自的所述样本数量进行统计，当所述样本数量超过预设阈值时，则对应的样本进行拆分，并依据拆分后的样本构建对应的若干虚拟客户端；以及使未拆分的所述原始客户端和拆分后的所述虚拟客户端作为训练客户端，并行执行本地的模型训练，并为训练时的损失设置一个对应的损失权重；将所有所述训练客户端训练后上报的变化量进行聚合，获得平均梯度，并利用所述平均梯度对所述原始模型进行更新，得到用于对图像分类的全局模型。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的设备、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本发明所提供的几个实施例中，应该理解到，所揭露的设备、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为逻辑功能划分，实际实现时可以有另外的划分方式，也可以将具有相同功能的单元集合成一个单元，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接，也可以是电的，机械的或其它的形式连接。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种基于非均匀分布数据的联邦建模方法，其特征在于，包括：
服务器端初始化用于图像分类的原始模型；
针对每轮训练，服务器端随机选取K个原始客户端，并将所述原始模型下发至选中的K个所述原始客户端，其中，每一所述原始客户端选中的概率与相应所述原始客户端的样本数量成正相关关系；所述原始客户端的样本是图像样本数据；
每一所述原始客户端对各自的所述样本数量进行统计，当所述样本数量超过预设阈值时，则对应的样本进行拆分，并依据拆分后的样本构建对应的若干虚拟客户端；
未拆分的所述原始客户端和拆分后的所述虚拟客户端作为训练客户端，并行执行本地的模型训练，并为训练时的损失设置一个对应的损失权重；
所述服务器端将所有所述训练客户端训练后上报的变化量进行聚合，获得平均梯度，并利用所述平均梯度对所述原始模型进行更新，得到用于对图像分类的全局模型。
2.根据权利要求1所述的基于非均匀分布数据的联邦建模方法，其特征在于，所述针对每轮训练，服务器端随机选取K个原始客户端，并将所述原始模型下发至选中的K个所述原始客户端，其中，每一所述原始客户端选中的概率与相应所述原始客户端的样本数量成正相关关系；所述原始客户端的样本是图像样本数据，包括：
服务器端获取各个所述原始客户端的样本数量；
计算每一所述原始客户端的样本数量占所有原始客户端的总样本数量的比例；
根据所述比例确定每一所述原始客户端选中的概率；
按照所述概率对各个所述原始客户端进行选取，得到最终选中的K个所述原始客户端。
3.根据权利要求1所述的基于非均匀分布数据的联邦建模方法，其特征在于，所述每一所述原始客户端对各自的所述样本数量进行统计，当所述样本数量超过预设阈值时，则对应的样本进行拆分，并依据拆分后的样本构建对应的若干虚拟客户端，包括：
每一所述原始客户端获取自身的样本数量，并将所述样本数量与预设阈值进行比较；
若所述样本数量大于预设阈值，则所述原始客户端按照等分的原则对自身的样本进行拆分，得到若干个数量相同的拆分后的样本，并为每一拆分后的样本构建对应的虚拟客户端。
4.根据权利要求1所述的基于非均匀分布数据的联邦建模方法，其特征在于，所述未拆分的所述原始客户端和拆分后的所述虚拟客户端作为训练客户端，并行执行本地的模型训练，并为训练时的损失设置一个对应的损失权重，包括：
每一未拆分的所述原始客户端和每一拆分后的所述虚拟客户端作为独立的训练客户端，计算目标分布与各自训练客户端的用户特性分布的比值，将所述比值作为对应所述训练客户端的损失权重；
各所述训练客户端并行执行本地的模型训练，并将训练过程中的损失乘以对应的所述损失权重。
5.根据权利要求1所述的基于非均匀分布数据的联邦建模方法，其特征在于，所述所述服务器端将所有所述训练客户端训练后上报的变化量进行聚合，获得平均梯度，并利用所述平均梯度对所述原始模型进行更新，得到用于对图像分类的全局模型，包括：
所述服务器端收集所有所述训练客户端训练后上报的变化量；
计算所有所述训练客户端训练后上报的变化量的加权平均值；
利用一超参对所述原始模型的动量值进行更新，将得到的更新值与所述加权平均值累加，得到累加后的动量值；
利用所述累加后的动量值对所述原始模型进行更新，得到所述全局模型。
6.根据权利要求5所述的基于非均匀分布数据的联邦建模方法，其特征在于，所述利用所述累加后的动量值对所述原始模型进行更新，得到所述全局模型，包括：
所述服务器端利用本轮训练的训练权重对所述累加后的动量值进行更新，得到所述本轮训练的动量优化值；
将所述原始模型与所述动量优化值进行累加，得到所述全局模型。
7.根据权利要求3所述的基于非均匀分布数据的联邦建模方法，其特征在于，所述若所述样本数量大于预设阈值，则所述原始客户端按照等分的原则对自身的样本进行拆分，得到若干个数量相同的拆分后的样本，并为每一拆分后的样本构建对应的虚拟客户端，包括：
若所述样本数量大于预设阈值，则计算所述样本数量与所述预设阈值的比值；
对应的所述原始客户端将自身的样本等分为组数与所述比值相同的若干组样本；
为拆分后的每一组样本构建对应的虚拟客户端。
8.一种基于非均匀分布数据的联邦建模***，其特征在于，包括服务器端和多个原始客户端；所述服务器端包括：初始化单元、选取单元和聚合更新单元，每一原始客户端包括：虚拟客户端构建单元和训练单元；
初始化单元，用于初始化用于图像分类的原始模型；
选取单元，用于针对每轮训练，随机选取K个原始客户端，并将所述原始模型下发至选中的K个所述原始客户端，其中，每一所述原始客户端选中的概率与相应所述原始客户端的样本数量成正相关关系；所述原始客户端的样本是图像样本数据；
虚拟客户端构建单元，用于对各自原始客户端的所述样本数量进行统计，当所述样本数量超过预设阈值时，则对应的样本进行拆分，并依据拆分后的样本构建对应的若干虚拟客户端；
训练单元，用于作为训练客户端，并行执行本地的模型训练，并为训练时的损失设置一个对应的损失权重；
聚合更新单元，用于将所有所述训练客户端训练后上报的变化量进行聚合，获得平均梯度，并利用所述平均梯度对所述原始模型进行更新，得到用于对图像分类的全局模型。
9.一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现以下步骤：
初始化用于图像分类的原始模型；
针对每轮训练，随机选取K个原始客户端，并将所述原始模型下发至选中的K个所述原始客户端，其中，每一所述原始客户端选中的概率与相应所述原始客户端的样本数量成正相关关系；所述原始客户端的样本是图像样本数据；并使每一所述原始客户端对各自的所述样本数量进行统计，当所述样本数量超过预设阈值时，则对应的样本进行拆分，并依据拆分后的样本构建对应的若干虚拟客户端；以及使未拆分的所述原始客户端和拆分后的所述虚拟客户端作为训练客户端，并行执行本地的模型训练，并为训练时的损失设置一个对应的损失权重；
将所有所述训练客户端训练后上报的变化量进行聚合，获得平均梯度，并利用所述平均梯度对所述原始模型进行更新，得到用于对图像分类的全局模型。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行如下步骤：
初始化用于图像分类的原始模型；
针对每轮训练，随机选取K个原始客户端，并将所述原始模型下发至选中的K个所述原始客户端，其中，每一所述原始客户端选中的概率与相应所述原始客户端的样本数量成正相关关系；所述原始客户端的样本是图像样本数据；并使每一所述原始客户端对各自的所述样本数量进行统计，当所述样本数量超过预设阈值时，则对应的样本进行拆分，并依据拆分后的样本构建对应的若干虚拟客户端；以及使未拆分的所述原始客户端和拆分后的所述虚拟客户端作为训练客户端，并行执行本地的模型训练，并为训练时的损失设置一个对应的损失权重；
将所有所述训练客户端训练后上报的变化量进行聚合，获得平均梯度，并利用所述平均梯度对所述原始模型进行更新，得到用于对图像分类的全局模型。
CN202011327591.5A 2020-11-24 2020-11-24 基于非均匀分布数据的联邦建模方法及相关设备 Active CN112464278B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202011327591.5A CN112464278B (zh) 2020-11-24 2020-11-24 基于非均匀分布数据的联邦建模方法及相关设备
PCT/CN2021/083310 WO2021190638A1 (zh) 2020-11-24 2021-03-26 基于非均匀分布数据的联邦建模方法及相关设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011327591.5A CN112464278B (zh) 2020-11-24 2020-11-24 基于非均匀分布数据的联邦建模方法及相关设备

Publications (2)

Publication Number Publication Date
CN112464278A CN112464278A (zh) 2021-03-09
CN112464278B true CN112464278B (zh) 2023-07-21

Family

ID=74799681

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011327591.5A Active CN112464278B (zh) 2020-11-24 2020-11-24 基于非均匀分布数据的联邦建模方法及相关设备

Country Status (2)

Country Link
CN (1) CN112464278B (zh)
WO (1) WO2021190638A1 (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112464278B (zh) * 2020-11-24 2023-07-21 平安科技（深圳）有限公司 基于非均匀分布数据的联邦建模方法及相关设备
CN113537518B (zh) * 2021-07-19 2022-09-30 哈尔滨工业大学 基于联邦学习的模型训练方法及装置、设备、存储介质
CN113836322B (zh) * 2021-09-27 2024-06-28 平安科技（深圳）有限公司 文章查重方法和装置、电子设备、存储介质
CN114168988B (zh) * 2021-12-16 2024-05-03 大连理工大学 一种联邦学习模型聚合方法及电子装置
CN114417417B (zh) * 2022-01-24 2024-04-30 山东大学 一种基于联邦学习的工业物联网隐私保护***及方法
CN114548426B (zh) * 2022-02-17 2023-11-24 北京百度网讯科技有限公司 异步联邦学习的方法、业务服务的预测方法、装置及***
CN114611722B (zh) * 2022-03-16 2024-05-24 中南民族大学 一种基于聚类分析的安全横向联邦学习方法
CN114510652B (zh) * 2022-04-20 2023-04-07 宁波大学 一种基于联邦学习的社交协同过滤推荐方法
CN115017351B (zh) * 2022-05-31 2024-05-10 杭州卷积云科技有限公司 基于联邦小样本学习的轻量工业图片分类方法及***
CN115018019B (zh) * 2022-08-05 2022-11-01 深圳前海环融联易信息科技服务有限公司 基于联邦学习的模型训练方法及***、存储介质
CN116306986B (zh) * 2022-12-08 2024-01-12 哈尔滨工业大学（深圳） 一种基于动态亲和力聚合的联邦学习方法及相关设备
CN116541712B (zh) * 2023-06-26 2023-12-26 杭州金智塔科技有限公司 基于非独立同分布数据的联邦建模方法及***
CN117688425B (zh) * 2023-12-07 2024-07-16 重庆大学 面向Non-IID图数据的多任务图分类模型构建方法及***
CN117436133B (zh) * 2023-12-22 2024-03-12 信联科技(南京)有限公司 一种基于数据增强的联邦学习隐私保护方法
CN117454381B (zh) * 2023-12-26 2024-06-04 山东省计算中心（国家超级计算济南中心） 一种非独立同分布数据下面向联邦学习的渐进性攻击方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107025205A (zh) * 2016-01-30 2017-08-08 华为技术有限公司 一种分布式***中的训练模型的方法及设备
WO2020143304A1 (zh) * 2019-01-07 2020-07-16 平安科技（深圳）有限公司 损失函数优化方法、装置、计算机设备及存储介质
CN111695675A (zh) * 2020-05-14 2020-09-22 平安科技（深圳）有限公司 联邦学习模型训练方法及相关设备
CN111784002A (zh) * 2020-09-07 2020-10-16 腾讯科技（深圳）有限公司 分布式数据处理方法、装置、计算机设备及存储介质
CN111860581A (zh) * 2020-06-11 2020-10-30 南京邮电大学 一种基于模型离散度的联邦学习训练方法
CN111915023A (zh) * 2020-08-28 2020-11-10 支付宝(杭州)信息技术有限公司 一种基于联邦学习的超参数确定方法及装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180089587A1 (en) * 2016-09-26 2018-03-29 Google Inc. Systems and Methods for Communication Efficient Distributed Mean Estimation
CN110598870B (zh) * 2019-09-02 2024-04-30 深圳前海微众银行股份有限公司 一种联邦学习方法及装置
CN112464278B (zh) * 2020-11-24 2023-07-21 平安科技（深圳）有限公司 基于非均匀分布数据的联邦建模方法及相关设备

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107025205A (zh) * 2016-01-30 2017-08-08 华为技术有限公司 一种分布式***中的训练模型的方法及设备
WO2020143304A1 (zh) * 2019-01-07 2020-07-16 平安科技（深圳）有限公司 损失函数优化方法、装置、计算机设备及存储介质
CN111695675A (zh) * 2020-05-14 2020-09-22 平安科技（深圳）有限公司 联邦学习模型训练方法及相关设备
CN111860581A (zh) * 2020-06-11 2020-10-30 南京邮电大学 一种基于模型离散度的联邦学习训练方法
CN111915023A (zh) * 2020-08-28 2020-11-10 支付宝(杭州)信息技术有限公司 一种基于联邦学习的超参数确定方法及装置
CN111784002A (zh) * 2020-09-07 2020-10-16 腾讯科技（深圳）有限公司 分布式数据处理方法、装置、计算机设备及存储介质

Also Published As

Publication number Publication date
WO2021190638A1 (zh) 2021-09-30
CN112464278A (zh) 2021-03-09

Similar Documents

Publication Publication Date Title
CN112464278B (zh) 基于非均匀分布数据的联邦建模方法及相关设备
CN112465626B (zh) 基于客户端分类聚合的联合风险评估方法及相关设备
CN113762530B (zh) 面向隐私保护的精度反馈联邦学习方法
CN113469373B (zh) 基于联邦学习的模型训练方法、***、设备及存储介质
CN109947740B (zh) 区块链***的性能优化方法及装置
Li et al. An intelligence-driven security-aware defense mechanism for advanced persistent threats
CN109976901A (zh) 一种资源调度方法、装置、服务器及可读存储介质
WO2021108796A2 (en) System and method of federated learning with diversified feedback
CN111694839B (zh) 基于大数据的时间序列指数构建方法、装置及计算机设备
US20200042878A1 (en) Artificial neural network growth
CN115622777A (zh) 一种基于联盟链的多中心联邦学习数据共享方法
CN113469376A (zh) 基于区块链的联邦学习后门攻击的防御方法和装置
CN103856185A (zh) 一种基于fpga的粒子滤波权值处理及重采样方法
CN112882835B (zh) 一种机器节点并行处理方法、装置、计算机设备及存储介质
Cui et al. A secure and decentralized DLaaS platform for edge resource scheduling against adversarial attacks
CN110928676B (zh) 一种基于性能评估的电力cps负荷分配方法
CN117407921A (zh) 基于必连和勿连约束的差分隐私直方图发布方法及***
CN116720592A (zh) 联邦学习模型训练方法、装置、非易失性存储介质及电子设备
CN117151208A (zh) 基于自适应学习率的异步联邦学习参数更新方法、电子设备及存储介质
WO2023071529A1 (zh) 设备数据清洗方法、装置、计算机设备及介质
CN114330933B (zh) 基于gpu并行计算的元启发式算法的执行方法及电子设备
CN114116740A (zh) 用于联合学习中确定参与方贡献度的方法及装置
CN116339932A (zh) 资源调度方法、装置和服务器
CN114496274A (zh) 基于区块链的拜占庭鲁棒联邦学习方法和应用
CN117806838B (zh) 基于异构数据的设备分簇方法、装置、设备、***及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40041528

Country of ref document: HK

SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant