CN112488322B - 一种基于数据特征感知聚合的联邦学习模型训练方法 - Google Patents

一种基于数据特征感知聚合的联邦学习模型训练方法 Download PDF

Info

Publication number
CN112488322B
CN112488322B CN202011473608.8A CN202011473608A CN112488322B CN 112488322 B CN112488322 B CN 112488322B CN 202011473608 A CN202011473608 A CN 202011473608A CN 112488322 B CN112488322 B CN 112488322B
Authority
CN
China
Prior art keywords
model
edge
data
cloud server
global optimal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011473608.8A
Other languages
English (en)
Other versions
CN112488322A (zh
Inventor
曾艳
赵乃良
燕忠毅
张纪林
袁俊峰
任永坚
周丽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Dianzi University
Original Assignee
Hangzhou Dianzi University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Dianzi University filed Critical Hangzhou Dianzi University
Priority to CN202011473608.8A priority Critical patent/CN112488322B/zh
Publication of CN112488322A publication Critical patent/CN112488322A/zh
Application granted granted Critical
Publication of CN112488322B publication Critical patent/CN112488322B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/23Clustering techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/50Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5061Partitioning or combining of resources
    • G06F9/5072Grid computing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提出一种基于数据特征感知聚合的联邦学习模型训练方法。本发明中的云端服务器根据边缘客户端上传的本地模型计算全局最优模型,并根据挖掘边缘客户端数据特征,对数据特征进行降维,筛选出关键特征,基于关键特征对边缘客户端进行聚类分组;云端服务器向边缘客户端下发分组信息和全局最优模型;边缘客户端根据接收到的全局最优模型,按照全局最优模型提供本地数据在本地执行模型训练,同一边缘客户端组中随机选择一个本地模型或选择边缘客户端组中最优模型上传给云端服务器。本发明充分利用了边缘客户端的数据特征,将边缘客户端进行分组,避免了不必要的通信并且极大程度的缓解了统计异构性对模型训练的影响,提高了模型的训练效率。

Description

一种基于数据特征感知聚合的联邦学习模型训练方法
技术领域
本发明涉及边缘计算领域,尤其涉及一种基于数据特征感知聚合的联邦学习模型训练方法。
背景技术
云计算自从2005年提出之后,就开始逐步改变我们的生活、学习、工作方式。生活中经常用到的Google、Facebook等软件提供的服务就是典型的代表。并且,可伸缩的基础设施和能够支持云服务的处理引擎也对我们运营商业的模式产生了一定的影响,比如,Hadoop、Spark等等。物联网的快速发展让我们进入了后云时代,在我们的日常生活中会产生大量的数据使得云计算模型已经不能很好的解决现在的问题,于是,出现了一种新型的计算模型,边缘计算。边缘计算指的是在网络的边缘来处理数据,这样能够减少请求响应时间、提升电池续航能力、减少网络带宽同时保证数据的安全性和私密性。
随着各种各样的边缘设备的增多,比如智能电网、智能手机、物联网设备等,越来越多的数据被用于机器学习的训练,因此将用于模型训练的数据传输到服务器中集中训练的传统的模型训练方式会带来许多问题,比如巨大的通信开销、有限的计算资源、以及隐私安全隐患。因此,联邦学习框架被提出以解决这类问题,在联邦学习中,模型的训练被转移到各个边缘设备或边缘节点上,很好地解决了由于大量数据传输造成的通信开销问题,同时避免了传输数据时可能涉及的用户隐私问题。
相比于传统的SGD(Stochastic Gradient Descent)方式,联邦学习很大程度上提高了模型训练的效率。通常情况下,联邦学习大多都是采用同步训练的方式,即云端服务器将初始化的全局最优模型下发给选择的某些边缘设备,即边缘客户端,被选择的边缘设备再使用本地数据进行模型更新,然后由云端服务器将更新后的本地模型进行聚合得到更新后的全局最优模型。许多研究学者针对联邦学习效率的优化几乎都是在同步训练的基础上。在同步联邦优化中,云端服务器需要等到所有选中的边缘设备本地更新完成才能更新全局最优模型。但大多数边缘设备的计算资源以及通信能力是受限的,比如电池能量低、网络拥堵、GPU数量和计算能力有限、以及网络流量收费等,这导致它们训练模型以及上传模型所需的时间可能较长,因此整个联邦学习过程效率较低。而且,同步联邦优化未能充分利用边缘设备的空闲时间进行模型训练。比如,在某一轮训练时那些未被选中的空闲边缘设备没有被利用起来,或者边缘设备在上传完更新后的本地模型就空闲下来可能不再被选中。此外,由于边缘设备的异构性,训练本地模型的数据是非独立同分布的,也就是边缘客户端之间是存在统计异构性的,因此联邦学习还需要解决非独立同分布造成的模型差异问题。
在边缘计算的场景下使用联邦学习方法会放大原本就存在的统计异构性,当统计异构性足够大时,训练出来的模型效果就达不到要求的效果。基于此,需要一种新的联邦学习模型训练方法降低统计异构性,以在边缘计算的场景下确保模型训练的有效性。
发明内容
为解决现有技术存在的问题,本发明提出了一种基于数据特征感知聚合的联邦学习模型训练方法,可以在保证用户数据的隐私的前提下共享数据,打破“数据孤岛”的困境,让不同参与方之间的数据在安全的前提下共享,实现联合建模,并且缓解了参与方之间的统计异构性,确保了模型训练的有效性。
为了实现上述目标,本发明提出一种基于数据特征感知聚合的联邦学习模型训练方法,所述方法包括以下步骤:
(1)云端服务器根据边缘客户端上传的本地模型计算全局最优模型,并根据本地模型挖掘边缘客户端的数据特征;
对数据特征进行降维,筛选出关键特征,基于关键特征对边缘客户端进行聚类分组,以实现客户端分组,数据特征相似度高的边缘客户端被分为一个组。
(2)云端服务器向边缘客户端下发分组信息和全局最优模型。
(3)边缘客户端根据接收到的全局最优模型,按照预设的优化目标提供本地数据在本地执行模型训练,同一边缘客户端组中随机选择一个本地模型或选择边缘客户端组中最优模型上传给云端服务器。
以上本发明的技术方案,与现有相比,其显著的有益效果在于:
(1)采用奇异值分解方法对数据特征进行降维获得关键特征,然后对关键特征采用聚类算法进行聚类,将所述边缘客户端分成多个组,同一组中边缘客户端的数据特征相似度高,然后同一边缘客户端组中随机选择一个本地模型或选择边缘客户端组中最优模型上传给云端服务器,充分利用了所述边缘客户端的数据特征,避免了不必要的通信并且极大程度的缓解了统计异构性对模型训练的影响,使模型训练更加高效。
(2)通过上传每个边缘客户端组的最优模型,充分利用所述边缘客户端的本地数据,提高模型训练效率。
应当理解,前述构思以及在下面更加详细地描述的额外构思的所有组合只要在这样的构思不相互矛盾的情况下都可以被视为本公开的发明主题的一部分。另外,所要求保护的主题的所有组合都被视为本公开的发明主题的一部分
附图说明
图1是本发明的基于数据特征感知聚合的联邦学习模型训练方法的架构图。
图2是本发明的基于数据特征感知聚合的联邦学习模型训练方法的流程图。
具体实施方式
结合附图从下面的描述中可以更加全面地理解本发明。本发明的其他附加方面例如示例性实施方式的特征和/或有益效果将在下面的描述中显见,或通过根据本发明教导的具体实施方式的实践中得知。
如图1所示,本发明***模型由两个实体构成:边缘客户端和云端服务器。这些描述如下:
(1)边缘客户端:用户的终端设备具有一定的数据计算和存储功能,为了解决隐私泄露问题,所述边缘客户端先独立地对本地数据和本地模型进行满足差分隐私的保护处理;然后仅仅上传本地模型给云端服务器。
(2)云端服务器:存储在大型数据中心中的云服务器具有强大的数据计算和存储能力,对边缘节点上传的多个本地模型进行差分隐私聚合,混淆各参与的边缘客户端的实际贡献;然后,通过端云协同的方式不断更新模型,直到模型达到最优;最后将训练好的全局最优模型下发至边缘客户端,为用户提供更好的服务。
结合图2,本发明提出一种基于数据特征感知聚合的联邦学习模型训练方法,所述方法包括以下步骤:
(1)云端服务器根据边缘客户端上传的本地模型计算全局最优模型,并根据本地模型挖掘边缘客户端数据特征,对数据特征进行降维,筛选出关键特征,然后基于关键特征对边缘客户端进行聚类分组,数据特征相似度高的边缘客户端被分为一个组;
(2)云端服务器向边缘客户端下发分组信息和全局最优模型;
(3)边缘客户端根据接收到的全局最优模型,按照预设的优化目标提供本地数据在本地执行模型训练,同一边缘客户端组中随机选择一个本地模型或选择边缘客户端组中最优模型上传给云端服务器。
进一步地,步骤(1)中,云端服务器根据边缘客户端上传的本地模型计算全局最优模型是采用加权平均的方法,具体是指:在第t轮训练中,更新的全局最优模型其中/>为第t轮训练中,边缘客户端k的本地模型,n为上传本地模型的边缘客户端的数量。
进一步地,步骤(1)中,并不是每次都进行分组,而是要达到分组条件,具体是指:当本次更新所得到的测试精度比全局最优模型的测试精度小于某个阈值时,所述阈值可以根据需求自动调整其大小。
进一步地,步骤(1)中,对数据特征进行降维,并筛选关键特征是指:对所述数据特征进行奇异值分解处理。
进一步地,步骤(1)中,基于关键特征对数据进行聚类分组是指:将降维后的数据特征向量化作为分类样本,从属于自己的单个聚类的所有样本开始,在聚类的每一步,计算所有聚类之间的成对距离来判断它们的相似性,最相似的两个集群被合并,直到达到停止聚类的条件。
进一步地,步骤(2)中,云端服务器向边缘客户端下发信息,分为两种情况,详细如下:
(1)第一次训练,所述云端服务器不包含全局最优模型和分组信息。所述云端服务器初始化全局最优模型,仅仅将初始化化后的全局最优模型下发给所述边缘客户端;
(2)非第一次训练,所述云端服务器包含全局最优模型和分组信息。所述云端服务器将全局最优模型和分组信息下发给所述边缘客户端。
进一步地,步骤(3)中,所述预设目标是指:找到一个本地模型使损失函数尽可能小。
进一步地,当达到分组条件时,所述所有边缘客户端需要上传本地模型;当未达到分组条件时,只需在同一边缘客户端组中随机选择一个本地模型或选择边缘客户端组中最优模型上传给云端服务器。
进一步地,所述停止聚类的条件可以是自定义组的数量或者其他自定义条件。
综上所述,本发明提出的基于数据特征感知聚合的联邦学习模型训练方法能够充分利用各个边缘客户端的本地数据,将聚类算法与联邦学习进行结合。在该方法中,不是随机选择所述边缘客户端上传本地模型,而是将所述边缘客户端进行分组,然后同一边缘客户端组中随机选择一个本地模型或选择边缘客户端组中最优模型上传给云端服务器,充分利用了所述边缘客户端的数据特征,避免了不必要的通信,使模型训练更加高效。
虽然本发明已以较佳实施例揭露如上,然而其并非用以限定本发明。本发明所属技术领域中具有通常知识者,在不脱离本发明的精神和范围内,当可作各种的更动与润饰。因此,本发明的保护范围当视权利要求书所界定者为准。

Claims (7)

1.一种基于数据特征感知聚合的联邦学习模型训练方法,其特征在于,所述方法包括以下步骤:
(1)云端服务器根据边缘客户端上传的本地模型计算全局最优模型,并根据本地模型挖掘边缘客户端的数据特征;
对数据特征进行降维,筛选出关键特征,基于关键特征对边缘客户端进行聚类分组,数据特征相似度高的边缘客户端为一个组;
所述的对数据特征进行降维,并筛选关键特征是指:对所述数据特征进行奇异值分解处理;
所述的基于关键特征对数据进行聚类分组是指:将降维后的数据特征向量化作为分类样本,从属于自己的单个聚类的所有样本开始,在聚类的每一步,计算所有聚类之间的成对距离来判断它们的相似性,最相似的两个集群被合并,直到达到停止聚类的条件;
(2)云端服务器向边缘客户端下发分组信息和全局最优模型;
(3)边缘客户端根据接收到的全局最优模型,按照预设的优化目标提供本地数据在本地执行模型训练,同一边缘客户端组中随机选择一个本地模型或选择边缘客户端组中最优模型上传给云端服务器。
2.根据权利要求1所述的一种基于数据特征感知聚合的联邦学***均的方法,具体是指:在第t轮训练中,更新的全局最优模型其中为第t轮训练中,边缘客户端k的本地模型,n为上传本地模型的边缘客户端的数量。
3.根据权利要求1所述的一种基于数据特征感知聚合的联邦学习模型训练方法,其特征在于:步骤(1)中,分组的条件具体是指:本次更新所得到的测试精度比全局最优模型的测试精度小于某个阈值。
4.根据权利要求1所述的一种基于数据特征感知聚合的联邦学习模型训练方法,其特征在于:步骤(2)中,云端服务器向边缘客户端下发信息,分为两种情况:
(1)第一次训练,所述云端服务器不包含全局最优模型和分组信息;所述云端服务器初始化全局最优模型,仅仅将初始化后的全局最优模型下发给所述边缘客户端;
(2)非第一次训练,所述云端服务器包含全局最优模型和分组信息;所述云端服务器将全局最优模型和分组信息下发给所述边缘客户端。
5.根据权利要求1所述的一种基于数据特征感知聚合的联邦学习模型训练方法,其特征在于:步骤(3)中,所述预设目标是指:找到一个本地模型使损失函数尽可能小。
6.根据权利要求3所述的一种基于数据特征感知聚合的联邦学习模型训练方法,其特征在于:当达到分组条件时,所有边缘客户端需要上传本地模型;当未达到分组条件时,只需在同一边缘客户端组中随机选择一个本地模型或选择边缘客户端组中最优模型上传给云端服务器。
7.根据权利要求1所述的一种基于数据特征感知聚合的联邦学习模型训练方法,其特征在于:所述停止聚类的条件为自定义簇的数量。
CN202011473608.8A 2020-12-15 2020-12-15 一种基于数据特征感知聚合的联邦学习模型训练方法 Active CN112488322B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011473608.8A CN112488322B (zh) 2020-12-15 2020-12-15 一种基于数据特征感知聚合的联邦学习模型训练方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011473608.8A CN112488322B (zh) 2020-12-15 2020-12-15 一种基于数据特征感知聚合的联邦学习模型训练方法

Publications (2)

Publication Number Publication Date
CN112488322A CN112488322A (zh) 2021-03-12
CN112488322B true CN112488322B (zh) 2024-02-13

Family

ID=74916997

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011473608.8A Active CN112488322B (zh) 2020-12-15 2020-12-15 一种基于数据特征感知聚合的联邦学习模型训练方法

Country Status (1)

Country Link
CN (1) CN112488322B (zh)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112884165B (zh) * 2021-03-18 2023-07-04 中国地质大学(北京) 面向联邦机器学习的全流程服务迁移方法与***
CN113033820B (zh) * 2021-03-25 2023-05-26 蚂蚁金服(杭州)网络技术有限公司 联邦学习方法、装置以及设备
CN113033819B (zh) * 2021-03-25 2022-11-11 支付宝(杭州)信息技术有限公司 基于异构模型的联邦学习方法、装置及介质
CN112799708B (zh) * 2021-04-07 2021-07-13 支付宝(杭州)信息技术有限公司 联合更新业务模型的方法及***
CN113052329B (zh) * 2021-04-12 2022-05-27 支付宝(杭州)信息技术有限公司 联合更新业务模型的方法及装置
CN113052334B (zh) * 2021-04-14 2023-09-29 中南大学 一种联邦学习实现方法、***、终端设备及可读存储介质
CN113139600A (zh) * 2021-04-23 2021-07-20 广东安恒电力科技有限公司 基于联邦学习的智能电网设备异常检测方法和***
WO2022236469A1 (en) * 2021-05-08 2022-11-17 Asiainfo Technologies (China), Inc. Customer experience perception based on federated learning
CN113312667B (zh) * 2021-06-07 2022-09-02 支付宝(杭州)信息技术有限公司 一种风险防控方法、装置及设备
CN113382066B (zh) * 2021-06-08 2022-08-30 江南大学 基于联邦边缘平台的车辆用户选择方法及***
CN113378049A (zh) * 2021-06-10 2021-09-10 平安科技(深圳)有限公司 信息推荐模型的训练方法、装置、电子设备及存储介质
CN113313266B (zh) * 2021-06-15 2023-10-24 厦门大学 基于两阶段聚类的联邦学习模型训练方法和存储设备
CN113537518B (zh) * 2021-07-19 2022-09-30 哈尔滨工业大学 基于联邦学习的模型训练方法及装置、设备、存储介质
CN113780344B (zh) * 2021-08-05 2023-08-22 中山大学 一种基于层次聚类的联邦学习方法及***
CN113610303B (zh) * 2021-08-09 2024-03-19 北京邮电大学 一种负荷预测方法及***
CN113691594B (zh) * 2021-08-11 2023-02-07 杭州电子科技大学 一种基于二阶导数解决联邦学***衡问题的方法
CN113988314B (zh) * 2021-11-09 2024-05-31 长春理工大学 一种选择客户端的分簇联邦学习方法及***
CN114066100B (zh) * 2021-12-01 2024-06-25 深圳市新威尔电子有限公司 基于联邦学习的在线式电池循环寿命预测***及方法
CN114818972A (zh) * 2022-05-19 2022-07-29 北京瑞莱智慧科技有限公司 一种模型构建方法、装置及存储介质
CN115587381B (zh) * 2022-12-12 2023-04-07 四川大学华西医院 基于差分隐私的医疗诊断模型联合训练方法及***
CN115775026B (zh) * 2022-12-27 2023-05-16 重庆大学 一种基于组织相似度的联邦学习方法
CN117475282B (zh) * 2023-12-28 2024-05-28 第六镜视觉科技(西安)有限公司 目标识别方法、装置、边侧设备和计算机可读存储介质
CN117834297B (zh) * 2024-02-29 2024-05-28 浪潮电子信息产业股份有限公司 攻击检测方法、装置、***、电子设备及可读存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111860581A (zh) * 2020-06-11 2020-10-30 南京邮电大学 一种基于模型离散度的联邦学习训练方法
CN114742240A (zh) * 2022-03-09 2022-07-12 大连理工大学 一种横向联邦学习方法、装置及存储介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111860581A (zh) * 2020-06-11 2020-10-30 南京邮电大学 一种基于模型离散度的联邦学习训练方法
CN114742240A (zh) * 2022-03-09 2022-07-12 大连理工大学 一种横向联邦学习方法、装置及存储介质

Also Published As

Publication number Publication date
CN112488322A (zh) 2021-03-12

Similar Documents

Publication Publication Date Title
CN112488322B (zh) 一种基于数据特征感知聚合的联邦学习模型训练方法
Fu et al. Client selection in federated learning: Principles, challenges, and opportunities
WO2018054342A1 (zh) 一种网络数据流分类的方法及***
Wang et al. A novel reputation-aware client selection scheme for federated learning within mobile environments
CN111447083A (zh) 动态带宽和不可靠网络下的联邦学习架构及其压缩算法
EP2923459A2 (en) Multi-objective server placement determination
CN112449009B (zh) 一种基于svd的联邦学习推荐***通信压缩方法及装置
CN113518007B (zh) 一种基于联邦学习的多物联网设备异构模型高效互学习方法
CN114943345B (zh) 基于主动学习和模型压缩的联邦学习全局模型训练方法
CN110968426A (zh) 一种基于在线学习的边云协同k均值聚类的模型优化方法
CN106055630A (zh) 日志存储的方法及装置
CN104615765A (zh) 一种移动用户上网记录的数据处理方法及装置
CN110809275A (zh) 基于无线城域网的微云节点放置方法
CN116346863A (zh) 基于联邦学习的车载网数据处理方法、装置、设备及介质
CN111309946A (zh) 一种已建立档案优化方法及装置
CN115392348A (zh) 联邦学习梯度量化方法、高效通信联邦学习方法及相关装置
Zhaohang et al. Adaptive asynchronous federated learning for edge intelligence
CN117829307A (zh) 一种面向数据异构性的联邦学习方法及***
Kushwaha et al. Optimal device selection in federated learning for resource-constrained edge networks
CN116011589A (zh) 一种面向异构智慧交通***的联邦学习客户端选择方法
CN115908882A (zh) 图片聚类方法及装置
CN114581750A (zh) 一种针对非独立同分布场景下快速准确的联邦学习方法及应用
CN113191505A (zh) 一种地理分布式机器学习参数服务器放置方法
CN113850390A (zh) 联邦学习***中共享数据的方法、装置、设备及介质
Zhang et al. Network traffic classification method based on subspace triple attention mechanism

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant