CN116362329A - 一种融合参数优化的集群联邦学习方法及设备 - Google Patents

一种融合参数优化的集群联邦学习方法及设备 Download PDF

Info

Publication number
CN116362329A
CN116362329A CN202310437585.2A CN202310437585A CN116362329A CN 116362329 A CN116362329 A CN 116362329A CN 202310437585 A CN202310437585 A CN 202310437585A CN 116362329 A CN116362329 A CN 116362329A
Authority
CN
China
Prior art keywords
cluster
parameters
training
particles
learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310437585.2A
Other languages
English (en)
Inventor
张凯
曾剑秋
赵健
温蜜
王亮亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai University of Electric Power
Original Assignee
Shanghai University of Electric Power
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai University of Electric Power filed Critical Shanghai University of Electric Power
Priority to CN202310437585.2A priority Critical patent/CN116362329A/zh
Publication of CN116362329A publication Critical patent/CN116362329A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/098—Distributed learning, e.g. federated learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及一种融合参数优化的集群联邦学习方法及设备，方法包括：S1：各客户端基于中央服务器发布的全局模型和各自私有数据进行本地模型训练，得到代表本地数据特征的局部模型，将局部模型参数上传至中央服务器；S2：中央服务器根据所有客户端的局部模型参数，对客户端进行聚类，将所有客户端划分为不同的集群；S3：中央服务器确认此次训练需要优化的超参数和适应度函数，发送给所有客户端；S4：各集群分别进行联邦学习训练，训练过程中引入改进的粒子群算法，根据中央服务器确认的超参数和适应度函数进行训练，并在每一轮训练中动态调整超参数，以获得最优的联邦学习模型。与现有技术相比，本发明具备训练效率高、训练模型精度高的优点。

Description

一种融合参数优化的集群联邦学习方法及设备
技术领域
本发明涉及人工智能技术领域，尤其是涉及一种融合参数优化的集群联邦学习方法及设备。
背景技术
对日趋严格的隐私保护规范与集中式学习方式对大量数据需求之间的矛盾，提出了联邦学习(Federated Learning,FL)的概念，利用多个设备协作地训练全局模型，并且无需上传本地数据，有效地保护了用户隐私。联邦学习的独特之处在于，它不是处理集中的数据，而是处理分离的数据，并且只需要更新客户端的模型参数信息。由于这个特性，联邦学习在人脸识别、智能交通和医疗服务等领域引起了极大的关注，这些领域高度重视隐私。
现有技术关于联邦学习的研究主要集中在以下四个方面，包括1)数据的非独立同分布问题；2)通信资源受限的问题；3)用户数据的隐私问题；4)联邦学习的安全问题。其中，数据的非独立同分布问题是联邦学习面临的一项基本挑战。相关研究表明，当参与联邦学习的客户端的数据分布差异较大时，训练出的模型精度会大大降低。在现实场景中，各个边缘设备独立产生和存储数据，每个客户端本地数据的分布与全局的数据分布存在较大差异。传统的FedAvg算法随机抽取一定比例的客户端作为参与节点进行联邦学习，每个节点的数据分布是随机的，造成各客户端的局部优化目标与联邦学习的整体优化目标不一致。
超参数的调整对于深度学***均得到全局模型，而局部模型的训练效果很大程度上取决于其本地模型的参数设置。例如，深度神经网络(DNN)的性能取决于隐藏层的数量、神经元数量和训练周期。相对于集中式学习，联邦学习的超参数更多，且不同的边缘设备训练偏好存在差异，采用试错法手动选择超参数需要反复训练效率低下，难以为模型寻找到合适的参数配置。
综上所述，现有技术存在以下问题：
(1)当参与联邦学习的客户端的数据分布差异较大时，训练出的模型精度会大大降低；
(2)训练效率低下，难以为模型寻找到合适的参数配置。
发明内容
本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种融合参数优化的集群联邦学习方法及设备，本发明具备训练效率高、训练模型精度高的优点。
本发明的目的可以通过以下技术方案来实现：
根据本发明的第一个方面，本发明提供一种融合参数优化的集群联邦学习方法，包括如下步骤：
S1：各客户端基于中央服务器发布的全局模型和各自私有数据进行本地模型训练，得到代表本地数据特征的局部模型，将局部模型参数上传至中央服务器；
S2：中央服务器根据所有客户端的局部模型参数，对客户端进行聚类，将所有客户端划分为不同的集群；
S3：中央服务器确认此次训练需要优化的超参数和适应度函数，发送给所有客户端；
S4：各集群分别进行联邦学习训练，训练过程中引入改进的粒子群算法，根据中央服务器确认的超参数和适应度函数进行训练，并在每一轮训练中动态调整超参数，以获得最优的联邦学习模型。
优选地，所述S2具体包括以下步骤：
S201：将所有的客户端模型WDS作为一组对象点，并标记为未访问，从中任意选取一个作为对象P1，标记为已访问；
S202：将对象P1作为核心点，判断P1的ε邻域内是否至少存在MinPts个对象，是则生成一个簇Q，并把P1添加到簇Q中，将P1的ε邻域中的对象集合记为X；
S203：遍历X中的每个点P2，判断P2的ε邻域中是否至少存在MinPts个对象；是则再判断P2是否属于其他簇，属于则将P2的ε邻域中的对象添加到对象集合X，不属于其他簇，则将它添加至簇Q中，遍历结束后形成聚类Q；
S204：选择任意一个标记为未访问的对象作为P1，重复步骤S202～S203，直到不存在未访问的对象为止；完成客户端聚类，得到k个集群，每个集群包含数量不等的客户端。
优选地，所述S3中，中央服务器确认待优化的超参数包括隐藏层数L、每层神经元数N、学习率η和本地迭代次数E。
优选地，所述S3中，采用FedAvg算法对粒子进行测试，将测试的精度作为粒子的适应度；FedAvg算法表达式如下：
Figure BDA0004192714960000031
其中，n为总数据集{D1,D2,...,DM}的大小，
Figure BDA0004192714960000032
为参与节点m在第s轮联邦学习的模型参数。
优选地，所述S4具体包括如下步骤：
S401：初始化所有粒子的速度
Figure BDA0004192714960000033
和位置/>
Figure BDA0004192714960000034
设置种群规模X、最大迭代次数T、惯性权重ω、初始温度U、降温系数μ以及粒子转换概率p；
S402：计算所有初始粒子的适应度，获得个体最优位置pBest和种群最优位置gBest；
S403：更新退火温度U、惯性权重ω和学习因子c1、c2；
S404：对所有粒子的适应度值排序，选择适应度值较差的粒子以概率p接受新粒子，将更新后的粒子添加到种群；
S405：更新所有粒子的速度
Figure BDA0004192714960000035
和位置/>
Figure BDA0004192714960000036
S406：通过比较每个粒子生成新的适应度值，更新pBest和gBest；
S407：当迭代次数达到T时，输出gBest，算法终止，否则跳转到步骤S403。
优选地，所述S403中，根据
Figure BDA0004192714960000037
更新惯性权重ω，式中，ω是惯性权重，ωstart为初始惯性权重，ωend为迭代至最大次数的惯性权重，t为当前迭代次数，T为最大迭代次数，S为变化系数。
优选地，所述S403中，根据
Figure BDA0004192714960000038
Figure BDA0004192714960000041
更新学习因子c1、c2；式中，
Figure BDA0004192714960000042
和/>
Figure BDA0004192714960000043
分别是个体学习因子的初始值和终止值，
Figure BDA0004192714960000044
和/>
Figure BDA0004192714960000045
分别是社会学习因子的初始值和终止值，t为当前迭代次数，T为最大迭代次数。
优选地，所述S405中，根据
Figure BDA0004192714960000046
Figure BDA0004192714960000047
更新所有粒子的速度
Figure BDA0004192714960000048
和位置/>
Figure BDA0004192714960000049
式中，/>
Figure BDA00041927149600000410
和/>
Figure BDA00041927149600000411
分别表示粒子当前的位置和速度，
Figure BDA00041927149600000412
和/>
Figure BDA00041927149600000413
分别表示粒子与种群当前的最优位置，r1和r2为[0,1]区间内均匀分布的随机数，ω是惯性权重。
根据本发明的第二个方面，本发明提供一种电子设备，包括：
一个或多个处理器；存储器；和被存储在存储器中的一个或多个程序，所述一个或多个程序包括用于执行如上任一所述的融合参数优化的集群联邦学习方法的指令。
根据本发明的第三个方面，本发明提供一种计算机可读存储介质，包括供电子设备的一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于执行如上任一所述的融合参数优化的集群联邦学习方法的指令。
与现有技术相比，本发明具有以如下有益效果：
(1)本发明通过客户端基于中央服务器发布的全局模型和各自的私有数据进行一次充分的本地模型训练，能够很好地代表本地数据的特征。
(2)本发明通过中央服务器根据客户端上传的模型参数，使用DBSCAN算法对客户端进行聚类，不仅有效降低了集群内部的数据异构程度，还能以较低的客户端参与率执行超参数优化，提高了学习效率，并且可以根据实际需要选择要优化的超参数及其相应的适应度函数，非常灵活。
(3)本发明通过采用改进粒子群算法调整每个集群的超参数，寻找多个参数的最佳组合，实现了更好的模型训练，寻找到合适的参数配置。
附图说明
图1为本实施例提供的一种融合参数优化的集群联邦学习方法的流程示意图。
图2为图1所示实施例中S4的流程示意图；
图3为采用图1所示实施例得到的惯性权重变化曲线。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
参考图1所示，根据本发明的第一个方面，本实施例提供一种融合参数优化的集群联邦学习方法，包括如下步骤：
S1：客户端i基于中央服务器发布的全局模型w0和各自的私有数据di进行一次充分的本地模型训练，获得代表本地数据特征的局部模型，并将模型参数上传给中央服务器；
S2：中央服务器根据所有客户端的局部模型参数，对客户端进行聚类，将所有客户端划分为不同的集群；
S201：将所有的客户端模型WDS作为一组对象点，并标记为“未访问”，然后从中任意选取一个作为对象P1，并标记为“已访问”。
S202：将对象P1作为核心点，判断P1的ε邻域内是否至少存在MinPts个对象，是则生成一个簇Q，并把P1添加到簇Q中，将P1的ε邻域中的对象集合记为X；
S203：遍历X中的每个点P2，判断P2的ε邻域中是否至少存在MinPts个对象；是则再判断P2是否属于其他簇，属于则将P2的ε邻域中的对象添加到对象集合X，不属于其他簇，则将它添加至簇Q中，遍历结束后形成聚类Q；
S204：选择任意一个标记为“未访问”的对象作为P1，重复步骤S202～S203，直到不存在“未访问”的对象为止。
作为一种可选的实施方式，基于DBSCAN算法进行客户端聚类。
完成客户端聚类，得到k个集群C＝{C1,C2,…,Ck}，每个集群包含数量不等的客户端。
S3：中央服务器确认此次训练需要优化的超参数和适应度函数，发送给所有客户端；
具体地，确定需要优化的超参数和寻优范围，超参数包括隐藏层数L、每层神经元数N、学习率η和本地迭代次数E；
在优化过程中，采用FedAvg算法对粒子进行测试，将测试的精度作为粒子的适应度。FedAvg算法表达式如下：
Figure BDA0004192714960000061
其中，n为总数据集{D1,D2,...,DM}的大小，
Figure BDA0004192714960000062
为参与节点m在第s轮联邦学习的模型参数。
S4：每个集群分别进行联邦学习训练，引入改进的粒子群算法，根据S3确认的超参数和适应度函数进行训练，并在每一轮训练中动态调整超参数。
改进的粒子群算法基于非线性惯性权重递减策略、学习因子调整和模拟退火算法，具体迭代公式如下：
Figure BDA0004192714960000063
Figure BDA0004192714960000064
Figure BDA0004192714960000065
Figure BDA0004192714960000066
Figure BDA0004192714960000067
式中，ω是惯性权重，决定了算法的收敛特性，当ω较大时，全局搜索能力强，当ω较小时，局部搜索能力强。c1和c2是学习因子，c1体现了粒子受自身历史信息影响的程度，c2体现了粒子受种群历史信息影响的程度。r1和r2为[0,1]区间内均匀分布的随机数。
Figure BDA0004192714960000068
和/>
Figure BDA0004192714960000069
分别表示粒子当前的位置和速度，/>
Figure BDA00041927149600000610
和/>
Figure BDA00041927149600000611
分别表示粒子与种群当前的最优位置。ωstart为初始惯性权重，ωend为迭代至最大次数的惯性权重，t为当前迭代次数，T为最大迭代次数，S为变化系数。/>
Figure BDA00041927149600000612
和/>
Figure BDA00041927149600000613
分别是个体学习因子的初始值和终止值，/>
Figure BDA00041927149600000614
和/>
Figure BDA00041927149600000615
分别是社会学习因子的初始值和终止值。
进一步地，ωstart为初始惯性权重，取值为0.9，ωend为迭代至最大次数的惯性权重，取值为0.4，t为当前迭代次数，T为最大迭代次数，S为变化系数，取值范围为[1,15]。
Figure BDA00041927149600000616
根据上述迭代公式寻找超参数的最优解，S4具体包括如下步骤：
S401：初始化所有粒子的速度
Figure BDA00041927149600000617
和位置/>
Figure BDA00041927149600000618
设置种群规模X、最大迭代次数T、惯性权重ω、初始温度U、降温系数μ以及粒子转换概率p。
S402：计算所有初始粒子的适应度，获得个体最优位置pBest和种群最优位置gBest。
S403：根据公式(3)更新退火温度U，根据公式(4)～(6)更新惯性权重ω和学习因子c1、c2。
S404：对所有粒子的适应度值排序，选择适应度值较差的粒子以公式(7)计算出的概率p接受新粒子，将更新后的粒子添加到种群。
Figure BDA0004192714960000071
S405：根据公式(2)、(3)更新所有粒子的速度
Figure BDA0004192714960000078
和位置/>
Figure BDA0004192714960000077
。
S406：通过比较每个粒子生成新的适应度值，更新pBest和gBest。
S407：当迭代次数达到T时，输出gBest，算法终止，否则跳转到步骤S403。
将上述可选的实施方式进行排列组合，得到最优的实施方式，下面基于最优的实施方式进行详细阐述。
输入：N,T；其中，N为客户端的数量，T为联邦学习的训练轮数；
输出：
Figure BDA0004192714960000072
其中，H为每个集群的最佳超参数组合，W为每个集群结束联邦学习后的全局模型。
(1)初始化全局模型参数w0；
(2)for each client Si∈(S1,S2,…,SN)do
Figure BDA0004192714960000073
式中，
Figure BDA0004192714960000074
为属于客户端Si的本地数据；
(3)
Figure BDA0004192714960000075
采用DBSCAN算法进行客户端聚类，C为簇的集合；
(4)for each clusterCj∈C do
Figure BDA0004192714960000076
式中，H为集群Cj的最佳超参数组合。
(5)return H,W to server。
其中，(3)为基于DBSCAN的客户端聚类阶段，所有的客户端先在本地反复进行训练，这样能够更好地代表本地的数据特征，从而获得最佳的聚类效果；训练结束后，中央服务器收集所有客户端的本地模型参数，应用DBSCAN算法对客户端聚类。
DBSCAN算法基于密度对客户端进行聚类，它有两个重要参数(ε,MinPts)，其中ε描述的是某个样本邻域的距离阈值，MinPts描述的是ε邻域所包含的样本个数阈值。表1展示了不同的ε和MinPts设置对集群数量的影响。
表1 DBSCAN参数和聚类结果
Figure BDA0004192714960000081
参考图2所示，当聚类完成后，所有的客户端都划入了对应的集群，这时候在每个集群内分别进行联邦学习，并引入粒子群算法优化客户端的超参数。PSO算法将4个关键超参数(学习率η,批量大小B,动量大小m,本地迭代次数E)作为寻优变量，通过更新粒子的速度和位置，让粒子的适应度达到最低，从而获得最优的超参数组合。
参考表2所示，为本实施例待优化的超参数及其值域。
表2待优化的超参数及其值域
超参数 参数下限 参数上限
学习率η 1e-7 1e-3
批量大小B 8 128
本地迭代次数E 3 9
但是标准粒子群算法存在容易陷入局部最优的问题，本发明针对这个问题，对标准粒子群算法进行了改进，加入非线性惯性权重递减策略和动态学习因子调整，并引入模拟退火算法，提升了粒子的全局搜索能力。在粒子进化初期，过小的惯性权重会减小搜索空间，而在粒子进化后期，过大的惯性权重不利于粒子群算法的收敛。因此，合理地改变惯性权重有利于得到更优的结果。由于粒子的移动是非线性的，因此本实施例采用非线性的惯性权重递减策略，算法表达式为：
Figure BDA0004192714960000091
式中，ω是惯性权重，取值为0.9，ωend为迭代至最大次数的惯性权重，取值为0.4，t为当前迭代次数，T为最大迭代次数，S为变化系数，取值范围为[1,15]。
参考图3，变化系数S＝9时，惯性权重前期较大，后期较小，可以降低粒子群算法陷入局部最优的概率。
学***衡，本发明采用的学习因子的调整策略如下：
Figure BDA0004192714960000092
Figure BDA0004192714960000093
其中，
Figure BDA0004192714960000094
和/>
Figure BDA0004192714960000095
分别是个体学习因子的初始值和终止值，/>
Figure BDA0004192714960000096
和/>
Figure BDA0004192714960000097
分别是社会学习因子的初始值和终止值。通过大量的实验并分析，取/>
Figure BDA0004192714960000098
Figure BDA0004192714960000099
算法初期采用较大的c1值和较小的c2值，强调粒子的“个体意识”，增强粒子的全局搜索能力。随着迭代次数t的增加，c1不断减小，c2不断增大，此时越来越重视粒子的“社会意识”，局部搜索能力随之增强。
由于粒子群算法以贪心算法的思想接受新解，只接受比当前好的粒子，导致算法迭代到一定次数后很容易陷入局部最优。因此在粒子群算法的每一次迭代后，对适应度值较差的粒子使用模拟退火算法，以概率p产生新粒子，这样在粒子群算法的迭代过程中，就会不断有新的粒子进入下一次迭代，达到跳出局部最优达到全局最优的目的。概率p表达式如下：
Figure BDA00041927149600000910
其中，Ui表示当前的温度，Ei(t)表示第i个粒子在第t次迭代时的适应度值，Eg表示当前种群最优点的适应度值。温度以公式(3)进行线性衰减，算法的寻优就是不断寻找新解和退火降温的过程。
根据本发明的第二个方面，本实施例提供一种电子设备，包括：
一个或多个处理器；存储器；和被存储在存储器中的一个或多个程序，所述一个或多个程序包括用于执行如上任一所述的融合参数优化的集群联邦学习方法的指令。
根据本发明的第三个方面，本实施例提供一种计算机可读存储介质，包括供电子设备的一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于执行如上任一所述的融合参数优化的集群联邦学习方法的指令。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。

Claims (10)

1.一种融合参数优化的集群联邦学习方法，其特征在于，包括如下步骤：
S1：各客户端基于中央服务器发布的全局模型和各自私有数据进行本地模型训练，得到代表本地数据特征的局部模型，将局部模型参数上传至中央服务器；
S2：中央服务器根据所有客户端的局部模型参数，对客户端进行聚类，将所有客户端划分为不同的集群；
S3：中央服务器确认此次训练需要优化的超参数和适应度函数，发送给所有客户端；
S4：各集群分别进行联邦学习训练，训练过程中引入改进的粒子群算法，根据中央服务器确认的超参数和适应度函数进行训练，并在每一轮训练中动态调整超参数，以获得最优的联邦学习模型。
2.根据权利要求1所述的一种融合参数优化的集群联邦学习方法，其特征在于，所述S2具体包括以下步骤：
S201：将所有的客户端模型WDS作为一组对象点，并标记为未访问，从中任意选取一个作为对象P1，标记为已访问；
S202：将对象P1作为核心点，判断P1的ε邻域内是否至少存在MinPts个对象，是则生成一个簇Q，并把P1添加到簇Q中，将P1的ε邻域中的对象集合记为X；
S203：遍历X中的每个点P2，判断P2的ε邻域中是否至少存在MinPts个对象；是则再判断P2是否属于其他簇，属于则将P2的ε邻域中的对象添加到对象集合X，不属于其他簇，则将它添加至簇Q中，遍历结束后形成聚类Q；
S204：选择任意一个标记为未访问的对象作为P1，重复步骤S202～S203，直到不存在未访问的对象为止；完成客户端聚类，得到k个集群，每个集群包含数量不等的客户端。
3.根据权利要求1所述的一种融合参数优化的集群联邦学习方法，其特征在于，所述S3中，中央服务器确认待优化的超参数包括隐藏层数L、每层神经元数N、学习率η和本地迭代次数E。
4.根据权利要求1所述的一种融合参数优化的集群联邦学习方法，其特征在于，所述S3中，采用FedAvg算法对粒子进行测试，将测试的精度作为粒子的适应度；FedAvg算法表达式如下：
Figure FDA0004192714950000021
其中，n为总数据集{D1,D2,...,DM}的大小，
Figure FDA0004192714950000022
为参与节点m在第s轮联邦学习的模型参数。
5.根据权利要求1所述的一种融合参数优化的集群联邦学习方法，其特征在于，所述S4具体包括如下步骤：
S401：初始化所有粒子的速度
Figure FDA0004192714950000023
和位置/>
Figure FDA0004192714950000024
设置种群规模X、最大迭代次数T、惯性权重ω、初始温度U、降温系数μ以及粒子转换概率p；
S402：计算所有初始粒子的适应度，获得个体最优位置pBest和种群最优位置gBest；
S403：更新退火温度U、惯性权重ω和学习因子c1、c2；
S404：对所有粒子的适应度值排序，选择适应度值较差的粒子以概率p接受新粒子，将更新后的粒子添加到种群；
S405：更新所有粒子的速度
Figure FDA0004192714950000025
和位置/>
Figure FDA0004192714950000026
S406：通过比较每个粒子生成新的适应度值，更新pBest和gBest；
S407：当迭代次数达到T时，输出gBest，算法终止，否则跳转到步骤S403。
6.根据权利要求5所述的一种融合参数优化的集群联邦学习方法，其特征在于，所述S403中，根据
Figure FDA0004192714950000027
更新惯性权重ω，式中，ω是惯性权重，ωstart为初始惯性权重，ωend为迭代至最大次数的惯性权重，t为当前迭代次数，T为最大迭代次数，S为变化系数。
7.根据权利要求5所述的一种融合参数优化的集群联邦学习方法，其特征在于，所述S403中，根据
Figure FDA0004192714950000028
Figure FDA0004192714950000029
更新学习因子c1、c2；式中，
Figure FDA00041927149500000210
和/>
Figure FDA00041927149500000211
分别是个体学习因子的初始值和终止值，/>
Figure FDA00041927149500000212
和
Figure FDA00041927149500000213
分别是社会学习因子的初始值和终止值，t为当前迭代次数，T为最大迭代次数。
8.根据权利要求5所述的一种融合参数优化的集群联邦学习方法，其特征在于，所述S405中，根据
Figure FDA0004192714950000031
Figure FDA0004192714950000032
更新所有粒子的速度
Figure FDA0004192714950000033
和位置/>
Figure FDA0004192714950000034
式中，/>
Figure FDA0004192714950000035
和/>
Figure FDA0004192714950000036
分别表示粒子当前的位置和速度，/>
Figure FDA0004192714950000037
和/>
Figure FDA0004192714950000038
分别表示粒子与种群当前的最优位置，r1和r2为[0,1]区间内均匀分布的随机数，ω是惯性权重。
9.一种电子设备，其特征在于，包括：
一个或多个处理器；存储器；和被存储在存储器中的一个或多个程序，所述一个或多个程序包括用于执行如权利要求1～8任一所述的融合参数优化的集群联邦学习方法的指令。
10.一种计算机可读存储介质，其特征在于，包括供电子设备的一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于执行如权利要求1～8任一所述的融合参数优化的集群联邦学习方法的指令。
CN202310437585.2A 2023-04-21 2023-04-21 一种融合参数优化的集群联邦学习方法及设备 Pending CN116362329A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310437585.2A CN116362329A (zh) 2023-04-21 2023-04-21 一种融合参数优化的集群联邦学习方法及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310437585.2A CN116362329A (zh) 2023-04-21 2023-04-21 一种融合参数优化的集群联邦学习方法及设备

Publications (1)

Publication Number Publication Date
CN116362329A true CN116362329A (zh) 2023-06-30

Family

ID=86923000

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310437585.2A Pending CN116362329A (zh) 2023-04-21 2023-04-21 一种融合参数优化的集群联邦学习方法及设备

Country Status (1)

Country Link
CN (1) CN116362329A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116611506A (zh) * 2023-07-18 2023-08-18 中国电信股份有限公司 用户分析模型训练方法、用户标签确定方法和装置
CN117094382A (zh) * 2023-10-19 2023-11-21 曲阜师范大学 一种具有隐私保护的个性化联邦学习方法、装置和介质
CN117688425A (zh) * 2023-12-07 2024-03-12 重庆大学 面向Non-IID图数据的多任务图分类模型构建方法及***

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116611506A (zh) * 2023-07-18 2023-08-18 中国电信股份有限公司 用户分析模型训练方法、用户标签确定方法和装置
CN116611506B (zh) * 2023-07-18 2023-10-03 中国电信股份有限公司 用户分析模型训练方法、用户标签确定方法和装置
CN117094382A (zh) * 2023-10-19 2023-11-21 曲阜师范大学 一种具有隐私保护的个性化联邦学习方法、装置和介质
CN117094382B (zh) * 2023-10-19 2024-01-26 曲阜师范大学 一种具有隐私保护的个性化联邦学习方法、装置和介质
CN117688425A (zh) * 2023-12-07 2024-03-12 重庆大学 面向Non-IID图数据的多任务图分类模型构建方法及***

Similar Documents

Publication Publication Date Title
CN116362329A (zh) 一种融合参数优化的集群联邦学习方法及设备
CN110889434B (zh) 一种基于活动的社交网络活动特征提取方法
CN109948029A (zh) 基于神经网络自适应的深度哈希图像搜索方法
CN105978732B (zh) 一种基于粒子群优化最简回声状态网络参数的方法和***
CN104794367B (zh) 基于隐语义模型的就医资源评分与推荐方法
CN106815782A (zh) 一种基于神经网络统计学模型的房地产估值方法及***
CN110245783B (zh) 一种基于c-均值聚类模糊粗糙集的短期负荷预测方法
CN111985623A (zh) 基于最大化互信息和图神经网络的属性图群组发现方法
CN116050540B (zh) 一种基于联合双维度用户调度的自适应联邦边缘学习方法
CN113269652A (zh) 基于从众心理的超图影响力传播方法及影响力最大化方法
CN115102867B (zh) 结合深度强化学习的区块链分片***性能优化方法
CN106407379A (zh) 一种基于Hadoop平台的电影推荐方法
CN108388961A (zh) 基于模块度优化的自适应随机邻居社团划分算法
CN117078312B (zh) 一种基于人工智能的广告投放管理方法及***
CN117010534B (zh) 一种基于环形知识蒸馏和元联邦学习的动态模型训练方法、***及设备
CN117787411A (zh) 一种基于关系图的局部-全局时序知识图谱推理方法
Malmir et al. Optimization of data mining with evolutionary algorithms for cloud computing application
CN109472712A (zh) 一种基于结构特征强化的高效马尔可夫随机场社团发现方法
Chen et al. A Spark-based Ant Lion algorithm for parameters optimization of random forest in credit classification
CN113610170A (zh) 一种基于时序网络社团检测的影响力最大化方法
CN113095477A (zh) 基于de-bp神经网络的风电功率预测方法
CN112699402A (zh) 基于联邦个性化随机森林的可穿戴设备活动预测方法
CN116049438B (zh) 一种基于知识图谱的群体成员关系分析方法
CN114449536B (zh) 一种基于深度强化学习的5g超密集网络多用户接入选择方法
Furze et al. Mathematical methods to quantify and characterise the primary elements of trophic systems

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination