CN114492746A - 一种基于模型分割的联邦学习加速方法 - Google Patents

一种基于模型分割的联邦学习加速方法 Download PDF

Info

Publication number
CN114492746A
CN114492746A CN202210057437.3A CN202210057437A CN114492746A CN 114492746 A CN114492746 A CN 114492746A CN 202210057437 A CN202210057437 A CN 202210057437A CN 114492746 A CN114492746 A CN 114492746A
Authority
CN
China
Prior art keywords
training
participants
model
global
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210057437.3A
Other languages
English (en)
Inventor
曹绍华
陈辉
陈舒
张汉卿
张卫山
吴春雷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China University of Petroleum East China
Original Assignee
China University of Petroleum East China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China University of Petroleum East China filed Critical China University of Petroleum East China
Priority to CN202210057437.3A priority Critical patent/CN114492746A/zh
Publication of CN114492746A publication Critical patent/CN114492746A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/211—Selection of the most significant subset of features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明公开了一种基于模型分割的联邦学习加速方法，属于物联网领域和机器视觉领域，首先，为了提高联邦学习的训练效率，选择高质量的参与者是极其关键的，针对高质量的、资源受限的物联网设备，综合考虑网络带宽变化与全局训练时间这两方面，利用模型分割的理念，设计一种计算任务卸载策略，减少全局训练时间，从而提高训练效率；然后，采用联邦学习范式，保护数据安全，利用分布式用户数据提高推理性能；最后，优化联邦学习的全局模型聚合策略，通过多轮迭代再通信与模型压缩相结合的聚合方式，进一步减少传输内容，降低通信压力，达到联邦学习加速的目的。

Description

一种基于模型分割的联邦学习加速方法
技术领域
本发明属于物联网领域和机器视觉领域，具体涉及一种基于模型分割的联邦学习加速方法。
背景技术
联邦学习(Federated Learning)是一种新兴的人工智能基础技术，在2016年由谷歌最先提出，原本用于解决安卓手机终端用户在本地更新模型的问题，其设计目标是在保障大数据交换时的信息安全、保护终端数据和个人数据隐私、保证合法合规的前提下，在多参与方或多计算结点之间开展高效率的机器学习。
近几年来，领域内相关人士对其展开了深入研究，例如：(1)2016年Jakub等人提出了一种基于同步参数更新的联邦学习加速算法，针对同步更新策略，这种方法主要利用模型聚合的容错性特点，适当降低通信频率，从而减少通信开销；常见的方法有增加通信间隔、减少传输内容、非对称的推送和获取、计算和传输流水线操作；但是面对资源受限的IoT设备，很难或者根本无法执行大型训练任务；(2)提出了一种基于异步参数更新的联邦学习加速算法，与同步更新策略相比，尽管异步更新策略的效率可以大大提高，但是，它会使得来自不同参与方的本地模型参数之间存在延迟问题，从而导致训练过程中收敛性变差；(3)2019年Neel Guha等人提出单轮通信联邦学习改进方案，提出了一种基于模型集成的联邦学习加速算法，即整个训练过程只需要1轮通信就可以完成全局模型的构建；但是由于不同参与者的本地模型质量可能会有很大的不同，最佳的生成全局联邦模型的方法可能只需要考虑一部分参与者的本地模型，而非所有参与者的本地模型，因而如何快速选出这一部分特别重要的参与者是亟待解决的。
以上研究中，基于同步更新的联邦学习加速算法对通信与计算资源相对敏感，在实际物联网场景中随着训练任务计算量的增加，传统的联邦学习算法无法适用；基于异步参数更新的联邦学习加速算法存在延迟问题，从而导致训练过程中收敛性变差；基于模型集成的联邦学习加速算法需要考虑如何快速选出这一部分特别重要的参与者。同时，基于模型分割的联邦学习加速方法，现有的技术都没有在这方面进行考虑与设计。
发明内容
为了解决上述问题，本发明提出了一种基于模型分割的联邦学习加速方法，采用模型分割与压缩的理念加速联邦学习。
本发明的技术方案如下：
一种基于模型分割的联邦学习加速方法，具体包括如下步骤：
S1.输入训练数据后，服务器从N个参与者中随机选择K个参与者(K≤N)进行本地训练，首先进行两轮传统的联邦学习，不执行任何卸载策略；
S2.计算前两轮全局损失函数变化量与每个参与者的训练时间，将前两轮全局损失函数变化量从大到小进行排序，选择排名靠前的参与者进行训练；
S3.综合考虑训练时间与网络带宽因素，每一轮训练之后动态地对参与者进行分组，将低带宽的参与者分到额外的组，具有相似特征的分为一组，同一组执行相同的卸载策略；
S4.综合考虑参与者的训练时间与计算能力，结合步骤S3的分组情况，进行资源是否受限的判断，若资源受限，进入步骤S5最小化全局训练时间；否则，直接进入步骤S7进行多轮迭代上传；
S5.根据全局训练时间最小化的目标，以深度神经网络的每一层为计算单元，层与层之间产生分割点；
S6.从候选的分割点中选择最佳分割点，动态地将计算任务卸载到可信的边缘服务器中，资源受限的参与者与边缘服务器协同训练，然后由边缘服务器上传参数信息到服务器；
S7.进行多轮迭代，从第三轮联邦学习开始，所有参与者本地训练多次迭代之后再上传参数；
S8.从第三轮联邦学习开始，采用多次迭代之后再聚合的策略，多次迭代结束之后，计算模型的每一层梯度均值变化量；
S9.将变化量从大到小进行排序，变化量越大，敏感度越高，选择敏感度高的层上传，对于敏感度不高的层，将不被上传，从而获得最佳全局模型。
进一步地，包括五个模块：参与者选择模块、动态网络感知模块、计算任务卸载决策模块、本地训练策略模块、动态模型聚合模块；
参与者选择模块负责根据全局损失函数变化量选择高质量参与者；
动态网络感知模块负责综合考虑训练时间与网络宽带，对所有参与者进行分组；
计算任务卸载策略模块负责结合分组情况与全局训练时间最小化，选择最佳卸载点；
本地训练策略模块负责进行多轮迭代再上传，迭代次数根据全局损失函数变化量动态设置；
动态模型聚合模块负责进行多轮迭代再聚合，计算并排序层敏感度，选择敏感度高的层上传。
进一步地，步骤S3中，相似特征为网络带宽与CPU频率；所述步骤S4中的计算能力为CPU频率。
进一步地，步骤S6中，候选的分割点为数据量小且计算量较小的点。
进一步地，步骤S7中，多次迭代次数初始值设为10，然后根据上一轮梯度均值变化量动态设置。
本发明所带来的有益技术效果：
通过挑选高质量的参与者，采用联邦学习范式，保护了数据隐私，利用分布式用户数据提高了推理性能，加速了联邦学习效率；通过模型分割方法将资源受限参与者的部分计算卸载到可信任的边缘服务器中，通过动态网络感知模块，能够自适应参与者与服务器的带宽变化，做出最佳的卸载策略，从而提高模型精度，加速训练效率；多轮迭代再通信与按层敏感度选择上传参数相结合的聚合策略，节省了传统联邦学习的通信与计算资源消耗，如电量、带宽、内存等。
附图说明
图1为本发明基于模型分割的联邦学习加速方法的结构示意图；
图2为本发明基于模型分割的联邦学习加速方法的流程图。
具体实施方式
下面结合附图以及具体实施方式对本发明作进一步详细说明：
本发明基于联邦学习、模型分割以及模型压缩技术，提出了一种基于模型分割的联邦学习加速方法。首先，为了提高联邦学习的训练效率，选择高质量的参与者是极其关键的。针对高质量的、资源受限的物联网(IoT)设备，综合考虑网络带宽变化与训练时间这两方面，利用模型分割的理念，设计一种计算任务卸载策略，减少全局训练时间，从而提高训练效率；然后，采用联邦学习，保护数据安全，利用分布式用户数据提高推理性能；最后，优化联邦学习的全局模型聚合策略，通过多轮迭代再通信与模型压缩相结合的聚合方式，进一步减少传输内容，降低通信压力，达到联邦学习加速的目的。
如图1所示，一种基于模型分割的联邦学习加速方法，包括五个模块：参与者选择模块、动态网络感知模块、计算任务卸载决策模块、本地训练策略模块、动态模型聚合模块；
参与者选择模块负责根据全局损失函数变化量选择高质量参与者；
动态网络感知模块负责综合考虑训练时间与网络宽带，对所有参与者进行分组；
计算任务卸载策略模块负责结合分组情况与全局训练时间最小化，选择最佳卸载点；
本地训练策略模块负责进行多轮迭代再上传，迭代次数根据全局损失函数变化量动态设置；
动态模型聚合模块负责进行多轮迭代再聚合，计算并排序层敏感度，选择敏感度高的层上传。
如图2所示，基于模型分割的联邦学习加速方法具体包括如下步骤：
S1.输入训练数据后，服务器从N个参与者中随机选择K个参与者(K≤N)进行本地训练，首先进行两轮传统的联邦学习，不执行任何卸载策略；
S2.计算前两轮全局损失函数变化量与每个参与者的训练时间，将前两轮全局损失函数变化量从大到小进行排序，选择排名靠前的参与者进行训练；
S3.综合考虑训练时间与网络带宽因素，每一轮训练之后动态地对参与者进行分组，将低带宽的参与者分到额外的组，具有相似特征(网络带宽与CPU频率)的分为一组，同一组执行相同的卸载策略；
S4.综合考虑参与者的训练时间与计算能力(CPU频率)，结合步骤S3的分组情况，进行资源是否受限的判断，若资源受限，进入步骤S5最小化全局训练时间；否则，直接进入步骤S7进行多轮迭代上传；
S5.根据全局训练时间最小化的目标，以深度神经网络的每一层为计算单元，层与层之间产生分割点；
S6.从候选的分割点(数据量小且计算量较小的层，例如池化层)中选择最佳分割点，动态地将计算任务卸载到可信的边缘服务器中，资源受限的参与者与边缘服务器协同训练，然后由边缘服务器上传参数信息到服务器；
S7.进行多轮迭代，从第三轮联邦学习开始，所有参与者本地训练多次迭代之后再上传参数，而不是每训练一次就上传一次；其中多次迭代次数初始值设为10，然后根据上一轮梯度均值变化量动态设置；
S8.从第三轮联邦学习开始，采用多次迭代之后再聚合的策略，多次迭代结束之后，计算模型的每一层梯度均值变化量；
S9.将变化量从大到小进行排序，变化量越大，说明该层越敏感，选择敏感度高的层上传，对于敏感度不高的层，将不被上传，从而获得最佳全局模型。
基于模型分割的联邦学习加速方法的算法伪代码如下：
Figure BDA0003476938980000041
Figure BDA0003476938980000051
本发明通过挑选高质量的参与者，采用联邦学习范式，保护了数据隐私，利用分布式用户数据提高了推理性能，加速了联邦学习效率；同时为了进一步提高模型的精确度，该算法能够通过模型分割方法将资源受限参与者的部分计算卸载到可信任的边缘服务器中，通过动态网络感知模块，能够自适应参与者与服务器的带宽变化，做出最佳的卸载策略，从而提高模型精度，加速训练效率；多轮迭代再通信与按层敏感度选择上传参数相结合的聚合策略，节省了传统联邦学习的通信与计算资源消耗，如电量、带宽、内存等。
当然，上述说明并非是对本发明的限制，本发明也并不仅限于上述举例，本技术领域的技术人员在本发明的实质范围内所做出的变化、改型、添加或替换，也应属于本发明的保护范围。

Claims (5)

1.一种基于模型分割的联邦学习加速方法，其特征在于，具体包括如下步骤：
S1.输入训练数据后，服务器从N个参与者中随机选择K个参与者(K≤N)进行本地训练，首先进行两轮传统的联邦学习，不执行任何卸载策略；
S2.计算前两轮全局损失函数变化量与每个参与者的训练时间，将前两轮全局损失函数变化量从大到小进行排序，选择排名靠前的参与者进行训练；
S3.综合考虑训练时间与网络带宽因素，每一轮训练之后动态地对参与者进行分组，将低带宽的参与者分到额外的组，具有相似特征的分为一组，同一组执行相同的卸载策略；
S4.综合考虑参与者的训练时间与计算能力，结合步骤S3的分组情况，进行资源是否受限的判断，若资源受限，进入步骤S5最小化全局训练时间；否则，直接进入步骤S7进行多轮迭代上传；
S5.根据全局训练时间最小化的目标，以深度神经网络的每一层为计算单元，层与层之间产生分割点；
S6.从候选的分割点中选择最佳分割点，动态地将计算任务卸载到可信的边缘服务器中，资源受限的参与者与边缘服务器协同训练，然后由边缘服务器上传参数信息到服务器；
S7.进行多轮迭代，从第三轮联邦学习开始，所有参与者本地训练多次迭代之后再上传参数；
S8.从第三轮联邦学习开始，采用多次迭代之后再聚合的策略，多次迭代结束之后，计算模型的每一层梯度均值变化量；
S9.将变化量从大到小进行排序，变化量越大，敏感度越高，选择敏感度高的层上传，对于敏感度不高的层，将不被上传，从而获得最佳全局模型。
2.根据权利要求1所述的基于模型分割的联邦学习加速方法，其特征在于，包括五个模块：参与者选择模块、动态网络感知模块、计算任务卸载决策模块、本地训练策略模块、动态模型聚合模块；
参与者选择模块负责根据全局损失函数变化量选择高质量参与者；
动态网络感知模块负责综合考虑训练时间与网络宽带，对所有参与者进行分组；
计算任务卸载策略模块负责结合分组情况与全局训练时间最小化，选择最佳卸载点；
本地训练策略模块负责进行多轮迭代再上传，迭代次数根据全局损失函数变化量动态设置；
动态模型聚合模块负责进行多轮迭代再聚合，计算并排序层敏感度，选择敏感度高的层上传。
3.根据权利要求1所述的基于模型分割的联邦学习加速方法，其特征在于，所述步骤S3中，相似特征为网络带宽与CPU频率；所述步骤S4中的计算能力为CPU频率。
4.根据权利要求1所述的基于模型分割的联邦学习加速方法，其特征在于，所述步骤S6中，候选的分割点为数据量小且计算量较小的点。
5.根据权利要求1所述的基于模型分割的联邦学习加速方法，其特征在于，所述步骤S7中，多次迭代次数初始值设为10，然后根据上一轮梯度均值变化量动态设置。
CN202210057437.3A 2022-01-19 2022-01-19 一种基于模型分割的联邦学习加速方法 Pending CN114492746A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210057437.3A CN114492746A (zh) 2022-01-19 2022-01-19 一种基于模型分割的联邦学习加速方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210057437.3A CN114492746A (zh) 2022-01-19 2022-01-19 一种基于模型分割的联邦学习加速方法

Publications (1)

Publication Number Publication Date
CN114492746A true CN114492746A (zh) 2022-05-13

Family

ID=81471776

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210057437.3A Pending CN114492746A (zh) 2022-01-19 2022-01-19 一种基于模型分割的联邦学习加速方法

Country Status (1)

Country Link
CN (1) CN114492746A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115150288A (zh) * 2022-05-17 2022-10-04 浙江大学 一种分布式通信***和方法
CN115329990A (zh) * 2022-10-13 2022-11-11 合肥本源物联网科技有限公司 边缘计算场景下基于模型分割的异步联邦学习加速方法
CN118094640A (zh) * 2024-04-28 2024-05-28 南京汉卫公共卫生研究院有限公司 基于ai联邦学习的数据安全传输监测***及方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115150288A (zh) * 2022-05-17 2022-10-04 浙江大学 一种分布式通信***和方法
CN115150288B (zh) * 2022-05-17 2023-08-04 浙江大学 一种分布式通信***和方法
CN115329990A (zh) * 2022-10-13 2022-11-11 合肥本源物联网科技有限公司 边缘计算场景下基于模型分割的异步联邦学习加速方法
CN115329990B (zh) * 2022-10-13 2023-01-20 合肥本源物联网科技有限公司 边缘计算场景下基于模型分割的异步联邦学习加速方法
CN118094640A (zh) * 2024-04-28 2024-05-28 南京汉卫公共卫生研究院有限公司 基于ai联邦学习的数据安全传输监测***及方法
CN118094640B (zh) * 2024-04-28 2024-06-25 南京汉卫公共卫生研究院有限公司 基于ai联邦学习的数据安全传输监测***及方法

Similar Documents

Publication Publication Date Title
CN114492746A (zh) 一种基于模型分割的联邦学习加速方法
CN112181666B (zh) 一种基于边缘智能的设备评估和联邦学习重要性聚合方法
CN109948029B (zh) 基于神经网络自适应的深度哈希图像搜索方法
CN109711532B (zh) 一种针对硬件实现稀疏化卷积神经网络推断的加速方法
CN110458084B (zh) 一种基于倒置残差网络的人脸年龄估计方法
CN111695696A (zh) 一种基于联邦学习的模型训练的方法及装置
CN110929865A (zh) 网络量化方法、业务处理方法及相关产品
CN111738427B (zh) 一种神经网络的运算电路
CN111224905B (zh) 一种大规模物联网中基于卷积残差网络的多用户检测方法
CN113238867A (zh) 一种基于网络卸载的联邦学习方法
CN114580636B (zh) 基于三目标联合优化的神经网络轻量化部署方法
CN113691594B (zh) 一种基于二阶导数解决联邦学***衡问题的方法
CN112001386B (zh) 一种基于车牌字符识别方法、***、介质及终端
CN111898698A (zh) 对象的处理方法及装置、存储介质和电子设备
CN116958534A (zh) 一种图像处理方法、图像处理模型的训练方法和相关装置
CN110110852B (zh) 一种深度学***台的方法
CN112446487A (zh) 神经网络模型的训练和应用方法、装置、***及存储介质
CN116560828A (zh) 任务处理方法、装置、计算机设备、存储介质和程序产品
CN115150288B (zh) 一种分布式通信***和方法
US11934954B2 (en) Pure integer quantization method for lightweight neural network (LNN)
CN113033653B (zh) 一种边-云协同的深度神经网络模型训练方法
CN103678545A (zh) 进行网络资源聚类的方法及装置
CN111461144A (zh) 一种用于加速卷积神经网络的方法
CN112001492A (zh) 关于二值权重DenseNet模型的混合流水式加速架构及加速方法
CN117973545B (zh) 一种基于大语言模型的推荐方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination