CN114116198A - 一种移动车辆的异步联邦学习方法、***、设备及终端 - Google Patents

一种移动车辆的异步联邦学习方法、***、设备及终端 Download PDF

Info

Publication number
CN114116198A
CN114116198A CN202111229664.1A CN202111229664A CN114116198A CN 114116198 A CN114116198 A CN 114116198A CN 202111229664 A CN202111229664 A CN 202111229664A CN 114116198 A CN114116198 A CN 114116198A
Authority
CN
China
Prior art keywords
domain
aggregation
edge
cloud
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111229664.1A
Other languages
English (en)
Inventor
陈晨
赵明
刘霄
赵玉娟
左锋锋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University Engineering Technology Research Institute Co ltd
Xidian University
Original Assignee
Xidian University Engineering Technology Research Institute Co ltd
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University Engineering Technology Research Institute Co ltd, Xidian University filed Critical Xidian University Engineering Technology Research Institute Co ltd
Priority to CN202111229664.1A priority Critical patent/CN114116198A/zh
Publication of CN114116198A publication Critical patent/CN114116198A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/50Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5061Partitioning or combining of resources
    • G06F9/5072Grid computing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明属于车辆管理技术领域,公开了一种移动车辆的异步联邦学习方法、***、设备及终端,所述移动车辆的异步联邦学习***,包括用户层、域‑边缘服务器层和数据处理中心层;所述移动车辆的异步联邦学习方法包括:综合利用云计算和边缘计算,提出基于云边车的网络分层分域架构;提出适用于所述基于云边车的网络分层分域架构的异步联邦学习聚合算法aFedV;针对聚合算法和分层分级架构,在不同数据分布上开展实验,从模型训练准确率和通信开销方面验证aFedV算法的性能。本发明综合利用云计算和边缘计算的优势,采用异步模式更新参数,能够减少整个训练过程的通信次数,解决移动联邦成员在计算过程中动态连接无法及时更新参数的问题。

Description

一种移动车辆的异步联邦学习方法、***、设备及终端
技术领域
本发明属于车辆管理技术领域,尤其涉及一种移动车辆的异步联邦学习方法、***、设备及终端。
背景技术
目前,互联网的发展促进了物联网的发展,并且逐渐向着万物互联的趋势发展,其中5G大带宽,低延时等特性加快了边缘设备的兴起,这些设备产生的大量信息为机器学习提供了原始训练数据,因此让这些边缘设备更加智能。在车联网环境中,车辆是典型的网络边缘设备,它产生的应用数据输入到神经网络中可以为用户提供更好的个性化服务。
传统机器的学习模式下,每辆车需要将用户数据上传到云数据处理中心(以下简称云中心),在云中心经过训练后再根据需求将结果返回给本地用户,但是数据传输过程会占用大量带宽,给骨干网造成很大流量压力,而且传输这些个人数据会带来很多用户隐私问题,用户数据安全无法得到保障。2017年,Google公司提出了联邦学习架构,这种新的分布式机器学习最初的目的就是避免数据泄露、保护用户数据隐私安全,它保障用户数据在不出本地的情况下也能参与机器学习训练。在联邦学习架构中,联邦成员被定义为数据提供方和本地训练客户端,所有联邦成员共享一个模型并协同完成模型的训练,然后将本地模型上传到云中心,云中心聚合所有本地模型得到一个全局模型,最终将结果下发给所有本地客户端作为下次模型训练的初始值。云-客户端整个交互过程中传递的是模型参数或者梯度,用户数据始终保留在本地,因而用户隐私得到了保障。
然而,这种云-客户端的机器学习模型具有很高的时延成本和通信开销,在很多时间灵敏性网络场景中无法获得较好的性能。近些年,边缘计算兴起,由于边缘节点部署在靠近网络边缘的位置,有更多机会接触到网络底层设备产生的数据,而且边缘服务器通常具有强大计算能力,边-客户端通信有带宽高、时延低的优点,因此这种基于边缘的机器学习架构在联邦学习领域受到广泛关注。
但是,无论是基于边缘还是基于云的机器学***均算法的思想,这种聚合算法每轮的聚合时间往往取决于花费时间最长的客户端,由于延迟,网络抖动,节点差异化的算力条件等,这在一定概率上这会增加所有轮次的聚合时间;其他的聚合算法,其思想基本上是牺牲了本地计算资源,增加本地客户端的训练次数以减少与高层节点的通信次数。然而这些都是在特定研究领域有一定的效果,并没有在根本上解决移动场景下联邦成员异步参与训练的问题。
综上,网络结构趋向于云边端分层的结构发展,端侧汇聚了大量用户数据,云侧能接触到广泛的客户端,边侧具有丰富的计算资源和廉价的通信开销等优势,这促进了机器学习尤其是协同机器学习的发展,联邦学习的出现为机器学习提供了新范式,在数据敏感时代,它在不降低机器学习效率的同时保护了用户的隐私。传统联邦学习由于只有云端或者边端两层结构因而在很多移动性场景如车联网中表现不佳,并且传统的聚合算法采用同步参数更新模式,其收敛速度慢。因此,亟需一种新的移动车辆的异步联邦学习方法及***。
通过上述分析,现有技术存在的问题及缺陷为:
(1)现有云-客户端的机器学习模型具有很高的时延成本和通信开销,在很多时间灵敏性网络场景中无法获得较好的性能。
(2)现有的采用传统同步聚合算法的机器学习架构的联邦成员存在连接不稳定、连接异步的情况,无法解决联邦成员如何动态加入联邦聚合的问题。
(3)传统联邦学习由于只有云端或者边端两层结构因而在很多移动性场景中表现不佳,并且传统的聚合算法采用同步参数更新模式,其收敛速度慢。
(4)传统的联邦学***均算法的思想,会增加所有轮次的聚合时间,牺牲本地计算资源,增加本地客户端的训练次数。
(5)现有技术方案都是在特定研究领域有一定的效果,并没有在根本上解决移动场景下联邦成员异步参与训练的问题。
解决以上问题及缺陷的难度为:该方法需要设计一个分层分域的云边端联邦学习架构,其中边缘聚合和云端聚合算法的参数更新都需要采用异步接入方式;整个全局算法更新流程应该考虑到云边端三者的通信开销与本地计算资源之间的权衡。
解决以上问题及缺陷的意义为:该方法是在传统的联邦学习基础上做的优化,分层分域云边端联邦学习架构在保护用户隐私的同时完成了机器学习任务;利用云边端分层分域的关系,有效发挥云计算和边缘计算的优势,在分层的基础上引入“域”的概念,方便管理一个边缘服务器下模型参数的更新;本方法在设计中考虑了移动车辆的动态接入特征和资源开销情况,车辆的动态加入聚合过程是必然事件,通过权衡通信开销和计算资源的使用情况可以在网络流量压力和机器学习精度之间取得最优。
发明内容
针对现有技术存在的问题,本发明提供了一种移动车辆的异步联邦学习方法、***、设备及终端,尤其涉及一种基于云边端网络分层分域架构下的移动车辆的异步联邦学习方法、***、设备及终端。
本发明是这样实现的,一种移动车辆的异步联邦学习***,所述移动车辆的异步联邦学习***,包括用户层、域-边缘服务器层和数据处理中心层。在整个***中上述三层共同完成机器学习原始数据集的产生,模型训练,参数聚合和下发。
用户层,由车联网环境下众多车辆组成,车辆作为端设备,为机器学习提供原始训练数据和本地训练所需的计算资源;所述车辆在地理空间上被划分到多个域,同一个路侧单元信号覆盖范围内的车辆属于同一个域,并接受对应域服务器的管理;
域-边缘服务器层,由网络边缘的服务器组成,在车联网环境中,所述服务器是为车辆提供服务的路侧单元或基站,所述边缘服务器与其域内的所有车辆用户频繁通信以更新模型参数;对域服务器进行逻辑抽象,每一个域服务器都是一个逻辑客户端,仅对云中心可见。
云数据处理中心层,有整个网络的全局视图,提出异步聚合流程,各域-边缘服务器将边侧模型聚合结果上传到云中心,云中心进行云侧全局模型聚合,大部分通信发生在云中心和逻辑客户端之间,“域”屏蔽底层车辆信息,真实客户端对云不可见也无需通信。
本发明的另一目的在于提供一种应用所述的移动车辆的异步联邦学习***的移动车辆的异步联邦学习方法,所述移动车辆的异步联邦学习方法包括:
初始时,本地车辆设备从所属域服务器获取机器学习初始参数或上一轮聚合结果,经过一定轮次本地机器学习训练后,车辆将模型梯度上传到所属域;边缘域服务器异步接收车辆上传的模型梯度后进行边缘聚合,域边缘服务器将聚合结果下发给域内所有车辆完成域内局部参数更新;边缘聚合利用局部数据进行机器学习训练,通过最小化局部损失函数获取局部最优模型参数。
同时域服务器将结果上传到云中心进行二次聚合,云端同样采用异步模式接收边缘服务器的模型梯度,云侧聚合完成后,向所有边缘服务器下发聚合结果,边缘服务器作为中间媒介下发参数给所有车辆完成全局参数更新;此时一轮全局训练过程结束,整个***中异步接入模式构成一个闭环,一直持续上述过程,直至模型训练达到预设的精度或者整个算法收敛。云端聚合利用所有域下全局数据进行机器学习训练,通过最小化全局损失函数获取全局最优模型参数。
进一步,所述移动车辆的异步联邦学习方法包括以下步骤:
步骤一,综合利用云计算和边缘计算,通过引入“域”的概念管理范围内的参数更新,并提出基于云边车的网络分层分域架构;
步骤二,提出适用于所述基于云边车的网络分层分域架构的异步联邦学习聚合算法aFedV,并采用异步模式更新参数;
步骤三,针对所述聚合算法和分层分级架构,在不同数据分布上开展实验,从模型训练准确率和通信开销方面验证aFedV算法的性能。
进一步,所述移动车辆的异步联邦学习方法,还包括分层分域模型的构建;其中,所述分层分域模型参数定义如下:
云边端场景下有u个边缘域服务器,E={e1,e2,…,eu}表示u个边缘域服务器的集合,其中eu表示第u个边缘域服务器;s为域边缘服务器所在域,其中S={s1,s2,…,si}表示所有域的集合;每个边缘域服务器覆盖范围内共有v个车辆,C={c1,c2,…,cv}表示这v个车辆的集合,其中cv表示第v个车辆,cv i表示第i个域内的第v个车辆,Di v表示第i个域内第v个车辆产生的训练样本,样本个数用d=|Di v|表示。其中,所述分层分域的异步联邦学习流程参数,还包括:
l为本地训练轮次索引,L为本地训练总轮次,m表示边缘聚合次数,n表示云端聚合次数,h为每执行h次本地机器学习向边缘服务器上传本地模型梯度,k为每执行k次边缘聚合执行一次云端聚合。
假设当前有|S|个域,每个域下有一个路侧单元,通信覆盖范围内存在一个域-边缘服务器eu,该域内车辆行驶路段为目标路段;由于RSU的传输半径远远大于道路宽度,因此忽略道路宽度并将底层路车模型简化为一维模型。在t时间段内,到达目标路段内车辆数量服从参数为λ的Poisson分布,即:
Figure BDA0003315524720000051
其中,v表示时间λt内到达的车辆数量。车辆cv i参与本地深度学习训练更新
Figure BDA0003315524720000061
通过迭代l次找到更优的参数
Figure BDA0003315524720000062
来最小化本地目标损失函数
Figure BDA0003315524720000063
即:
Figure BDA0003315524720000064
经过h次本地训练,车辆cv i将更新后的梯度上传至边缘域服务器eu执行边缘聚合,边缘聚合公式如下:
Figure BDA0003315524720000065
其中,|Ci|表示第i个域内车辆v总数,
Figure BDA0003315524720000066
表示第i个域内第v个车辆拥有的训练样本数量。
边缘服务器将更新后的梯度
Figure BDA0003315524720000067
下发给域内所有车辆,车辆在进行本地参数更新的同时接受边缘服务器下发的梯度进行局部参数更新
Figure BDA0003315524720000068
同时,每经过k轮边缘聚合,各边缘服务器将聚合得到的梯度
Figure BDA0003315524720000069
上传至云服务器执行云端聚合,云端聚合公式如下:
Figure BDA00033155247200000610
其中,|S|表示域i的总个数。云端使用聚合结果
Figure BDA00033155247200000611
更新云端模型,云服务器最小化全局损失函数公式如下:
Figure BDA00033155247200000612
将最优模型参数
Figure BDA00033155247200000613
下发给各域内车辆后,本地车辆cv i进行全局参数
Figure BDA00033155247200000614
更新。
进一步,所述移动车辆的异步联邦学习方法,还包括:
针对分层分域联邦学习架构提出联邦成员异步连接的问题,在车联网环境中,车辆动态参与联邦学习会影响聚合过程和训练结果,建立该问题的模型,通过设计聚合算法解决该问题。
分层分域场景中,采用两级模型聚合方式分别最小化本地损失函数和最小化全局损失函数,异步模式会减少整个算法的运行时间并最小化云边通信次数Ms-c和边端通信次数Me-c;其中,所述最优化函数表示如下:
Figure BDA0003315524720000078
Figure BDA0003315524720000071
s.t.|Ci|>0(I=0,1,...|S|);
ns>ms>0(s=0,1,...|S|);
其中,M(m;n)表示云端模型达到预设精度时云边端通信总次数,
Figure BDA0003315524720000072
表示全局损失函数,
Figure BDA0003315524720000073
表示第i个域内第v个车辆本地损失函数。
进一步,步骤二中,所述aFedV算法由两级聚合算法组成,边缘侧聚合在边缘域服务器执行,用于负责域内模型参数的更新和最小化本地损失函数;云侧聚合在云中心执行,用于负责全局模型参数的更新和最小化全局损失函数,两级聚合算法都采用异步模式。
其中,所述aFedV算法由分布在云边车上的三个模块组成,分为两级聚合算法;车辆本地训练自更新模型参数时,同时接受边缘下发的模型参数或梯度进行更新,这些参数来自边缘聚合
Figure BDA0003315524720000074
或者云端聚合
Figure BDA0003315524720000075
的结果。
进一步,步骤二中,所述aFedV算法,还包括:
初始时,各联邦成员共享一个模型,在训练过程中,各个车辆用自己的原始数据训练,因此每个客户端的模型
Figure BDA0003315524720000076
有倾向于自身数据的特征;在经过一轮边缘聚合后,当前本地模型
Figure BDA0003315524720000077
又具有域内其他车辆数据的特征,经过进一步云端聚合后,当前本地模型
Figure BDA0003315524720000081
就会包含全局车辆数据的特征,此时云端模型
Figure BDA0003315524720000082
均匀拥有所有参与训练车辆数据的特征;基于异步算法中的参数下发函数,新加入参与训练的车辆始终得到的是当前最新模型,这种特性在车联网这种时间敏感性场景中具有很大优势。
本发明的另一目的在于提供一种计算机设备,所述计算机设备包括存储器和处理器,所述存储器存储有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行如下步骤:
初始时,本地车辆设备从所属域服务器获取机器学习初始参数或上一轮聚合结果,经过一定轮次本地机器学习训练后,车辆将模型梯度上传到所属域;边缘域服务器异步接收车辆上传的模型梯度后进行边缘聚合,域边缘服务器将聚合结果下发给域内所有车辆完成域内局部参数更新;
同时域服务器将结果上传到云中心进行二次聚合,云端同样采用异步模式接收边缘服务器的模型梯度,云侧聚合完成后,向所有边缘服务器下发聚合结果,边缘服务器作为中间媒介下发参数给所有车辆完成全局参数更新;此时一轮全局训练过程结束,整个***中异步接入模式构成一个闭环,一直持续上述过程,直至模型训练达到预设的精度或者整个算法收敛。
本发明的另一目的在于提供一种计算机可读存储介质,存储有计算机程序,所述计算机程序被处理器执行时,使得所述处理器执行如下步骤:
初始时,本地车辆设备从所属域服务器获取机器学习初始参数或上一轮聚合结果,经过一定轮次本地机器学习训练后,车辆将模型梯度上传到所属域;边缘域服务器异步接收车辆上传的模型梯度后进行边缘聚合,域边缘服务器将聚合结果下发给域内所有车辆完成域内局部参数更新;
同时域服务器将结果上传到云中心进行二次聚合,云端同样采用异步模式接收边缘服务器的模型梯度,云侧聚合完成后,向所有边缘服务器下发聚合结果,边缘服务器作为中间媒介下发参数给所有车辆完成全局参数更新;此时一轮全局训练过程结束,整个***中异步接入模式构成一个闭环,一直持续上述过程,直至模型训练达到预设的精度或者整个算法收敛。
本发明的另一目的在于提供一种信息数据处理终端,所述信息数据处理终端用于实现所述的移动车辆的异步联邦学习***。
结合上述的所有技术方案,本发明所具备的优点及积极效果为:本发明提供的移动车辆的异步联邦学习方法,提出基于云边车的网络分层分域架构,该架构综合利用云计算和边缘计算的优势,通过引入“域”的概念管理一个范围内的参数更新;提出了一个适用于该架构的异步联邦学习聚合算法(Asynchronous Federated Learning of Internet ofVehicles,aFedV),该算法采用异步模式更新参数,能够解决移动联邦成员在计算过程中动态连接无法及时更新参数的问题。针对不同数据特征分布场景,本发明进行了实验验证和分析,从模型训练准确率和通信开销方面证明了aFedV算法在基于云边车的网络分层分域架构下具有良好的性能。
本发明提出的aFedV异步聚合算法是一种联邦优化算法,是在已有的模型平均算法上的优化,该算法可以有效解决移动车联网场景中数据集不均匀分布问题。本发明提出了在车联网场景下基于云边端网络分层分域的异步联邦学习架构,并提出了适用于该框架的异步聚合算法aFedV,通过理论分析,该算法能使车辆动态加入联邦学习过程并获得最新模型,减少整个训练过程的通信次数。针对非均衡数据分布,本发明在MNIST数据集上展开实验,从云端模型结果来看,在保证一定精度下,aFedV能快速有效收敛。未来,本发明将区块链技术结合分层分域的异步联邦学习架构,关注***中基于移动性的隐私保护机制。
传统联邦学习训练总时间受限于底层客户端和聚合算法,这其中包括不确定的训练时延,排队时延,传输时延等,同步聚合模式每轮的聚合时间取决于花费时间最长的客户端。本发明提出的异步聚合算法采用异步接入模式,尤其适用于移动终端,算法利用云边,边-端的通信优势,在通信轮次和计算开销上做出权衡。
Figure BDA0003315524720000091
Figure BDA0003315524720000092
弥补了传统算法的不足,算法每轮的运行时间由先训练完成的车辆决定,因此异步模式可以有效的减少整个训练的运行时间,有利于整个算法的快速收敛。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对本发明实施例中所需要使用的附图做简单的介绍,显而易见地,下面所描述的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的移动车辆的异步联邦学习方法流程图。
图2是本发明实施例提供的移动车辆的异步联邦学习方法。
图3是本发明实施例提供的云边端网络分层分域***架构抽象图。
图4是本发明实施例提供的基于云边端网络分层分域的异步联邦学习流程图。
图5是本发明实施例提供的不均衡MNIST数据集下云服务器CNN模型的准确性示意图。
图6是本发明实施例提供的不同领域到达车辆的泊松分布示意图。
图7是本发明实施例提供的均衡MNIST数据集下局部车辆CNN模型的精度示意图。
图8是本发明实施例提供的基于均衡MNIST数据集下的云服务器CNN模型的准确性示意图。
图9是本发明实施例提供的不均衡MNIST数据集下车辆样本集的尺寸及比例示意图。
图10是本发明实施例提供的不均衡MNIST数据集下局部车辆CNN模型的损失值示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
针对现有技术存在的问题,本发明提供了一种移动车辆的异步联邦学习方法、***、设备及终端,下面结合附图对本发明作详细的描述。
如图1所示,本发明实施例提供的移动车辆的异步联邦学习方法包括以下步骤:
S101,综合利用云计算和边缘计算,通过引入“域”的概念管理范围内的参数更新,并提出基于云边车的网络分层分域架构;
S102,提出适用于所述基于云边车的网络分层分域架构的异步联邦学习聚合算法aFedV,并采用异步模式更新参数;
S103,针对所述聚合算法和分层分级架构,在不同数据分布上开展实验,从模型训练准确率和通信开销方面验证aFedV算法的性能。
下面结合具体实施例对本发明的技术方案作进一步描述。
1、本发明提出基于云边车的网络分层分域架构,该架构综合利用云计算和边缘计算的优势,通过引入“域”的概念管理一个范围内的参数更新;提出了一个适用于该架构的异步联邦学习聚合算法(Asynchronous Federated Learning of Internet of Vehicles,aFedV),该算法采用异步模式更新参数,能够解决移动联邦成员在计算过程中动态连接无法及时更新参数的问题。针对不同数据特征分布场景,本发明进行了实验验证和分析,从模型训练准确率和通信开销方面证明了aFedV算法在基于云边车的网络分层分域架构下具有良好的性能。
本发明提出了分层分域的异步联邦学习架构,如图2和适用于该框架的异步聚合算法aFedV,通过综合利用云-边-端网络架构的优势,解决移动场景下联邦成员异步连接的问题。本发明的主要贡献如下:
(1)提出了一种在车联网环境下基于云边端网络分层分域的异步联邦学习架构,在该框架下,车辆作为端设备,为机器学习提供训练数据和本地计算资源;每个域下有一个边缘服务器,多个分域的边缘服务器聚合属于该域的客户端模型;云中心聚合边缘服务器上传的模型。
(2)针对分层分域联邦学习架构提出联邦成员异步连接的问题,在车联网环境中,车辆动态参与联邦学习会影响聚合过程和训练结果,本发明建立了该问题的模型,通过设计聚合算法解决该问题。
(3)所提出的aFedV算法是两级聚合算法,分别在边缘服务器和云服务器聚合,aFedV算法在每层都采用异步聚合方式,这种聚合模式既利用多个分布广泛的域边缘服务器获取大量数据和便宜的边端通信开销,同时利用云服务器强大的计算能力,与多个边缘服务器交换机器学习模型参数,整合全局参数。
本发明剩余部分安排如下,第二部分提出云边端分层分域异步联邦学习架构并定义***模型,在第三部分,本发明设计并分析了异步聚合算法aFedV,第四部分本发明针对所提出的聚合算法和分层分级架构在不同数据分布上开展实验,第五部分得出结论。
2、异步联邦学习***
2.1***结构
本发明提出的车联网环境下基于云边端网络分层分域的异步联邦学习架构如图2所示,整个架构分为三层,分别是用户层,边缘服务器层和云中心层。在三层架构的基础上,本发明又引入了“域”的概念来管理整个边缘服务器下所属的车辆用户,通过逻辑抽象,将每个域视为一个单独的逻辑节点用户,使得整个逻辑视图仍然保持两层架构不变,抽象后逻辑视图如图3所示。
(1)用户层由车联网环境下众多车辆组成,这些车辆产生机器学习需要的原始训练数据并提供本地训练所需的计算资源。车辆在地理空间上被划分到多个域,同一个路侧单元信号覆盖范围内的车辆属于同一个域,并接受对应域服务器的管理;
(2)域-边缘服务器层由网络边缘的服务器组成,在车联网环境中,这些服务器可以是为车辆提供服务的路侧单元,基站等。由于边-端通信带宽大,时延低,边缘服务器可以与其域内的所有车辆用户频繁通信以更新模型参数。通常边缘域服务器分布广泛,计算能力强,能够为边缘侧模型聚合提供计算资源和多方车辆的机器学习模型参数,另外,本发明对域服务器进行逻辑抽象,每一个域服务器都是一个逻辑客户端,仅对云中心可见。
(3)云数据处理中心有整个网络的全局视图,通常云-端通信带宽小,通信开销大,实时性差。因此,本发明提出异步聚合流程中,云-端通信频率非常低,各域-边缘服务器将边侧模型聚合结果上传到云中心,云中心进行云侧全局模型聚合,实际上大部分的通信发生在云中心和逻辑客户端之间,“域”屏蔽了底层车辆信息,真实客户端对云不可见也无需通信,这就降低了整个网络通信的复杂性。
云边端网络分层分域的异步联邦学习流程图如图4所示,初始时,本地车辆设备从所属域服务器获取机器学习初始参数或上一轮聚合结果,经过一定轮次本地机器学习训练后,车辆将模型梯度上传到所属域;边缘域服务器异步接收车辆上传的模型梯度,然后进行边缘聚合,域边缘服务器将聚合结果下发给域内所有车辆完成域内局部参数更新;同时域服务器将结果上传到云中心进行二次(further and advanced)聚合,云端同样采用异步模式接收边缘服务器的模型梯度,云侧聚合完成后,向所有边缘服务器下发聚合结果,边缘服务器作为中间媒介下发参数给所有车辆完成全局参数更新。此时一轮全局训练过程结束,整个***中异步接入模式构成一个闭环,一直持续上述过程,直至模型训练达到预设的精度或者整个算法收敛。
2.2模型定义
为了方便场景叙述,在本发明提出的***中,分层分域模型参数定义如下:
云边端场景下有u个边缘域服务器,E={e1,e2,…,eu}表示u个边缘域服务器的集合,其中eu表示第u个边缘域服务器;s为域边缘服务器所在域,其中S={s1,s2,…,si}表示所有域的集合;每个边缘域服务器覆盖范围内共有v个车辆,C={c1,c2,…,cv}表示这v个车辆的集合,其中cv表示第v个车辆,cv i表示第i个域内的第v个车辆,Di v表示第i个域内第v个车辆产生的训练样本,样本个数用d=|Di v|表示。其他参数说明见表1。
表1分层分域的异步联邦学习流程参数表
Figure BDA0003315524720000141
假设当前有|S|个域,每个域下有一个路侧单元,其通信覆盖范围内存在一个域-边缘服务器eu,该域内车辆行驶路段为目标路段。由于RSU的传输半径远远大于道路宽度,因此本发明研究中忽略道路宽度并将底层路车(RSU-vehicle)模型简化为一维模型。在t时间段内,到达目标路段内车辆数量服从参数为λ的Poisson分布,即:
Figure BDA0003315524720000142
其中,v表示时间λt内到达的车辆数量。车辆cv i参与本地深度学习训练更新
Figure BDA0003315524720000143
其通过迭代l次找到更优的参数
Figure BDA0003315524720000144
来最小化本地目标损失函数
Figure BDA0003315524720000145
即:
Figure BDA0003315524720000146
经过h次本地训练,车辆cv i将更新后的梯度上传至边缘域服务器eu执行边缘聚合,边缘聚合公式如下:
Figure BDA0003315524720000147
|Ci|表示第i个域内车辆v总数,
Figure BDA0003315524720000148
表示第i个域内第v个车辆拥有的训练样本数量。然后边缘服务器将更新后的梯度
Figure BDA0003315524720000149
下发给域内所有车辆,车辆在进行本地参数更新的同时接受边缘服务器下发的梯度进行局部参数更新
Figure BDA00033155247200001410
同时,每经过k轮边缘聚合,各边缘服务器将聚合得到的梯度
Figure BDA00033155247200001411
上传至云服务器执行云端聚合,云端聚合公式如下:
Figure BDA0003315524720000151
其中|s|表示域i的总个数。云端使用聚合结果
Figure BDA0003315524720000152
更新云端模型,云服务器最小化全局损失函数公式如下:
Figure BDA0003315524720000153
将最优模型参数
Figure BDA0003315524720000154
下发给各域内车辆,然后本地车辆cv i进行全局参数
Figure BDA0003315524720000155
更新。
2.3问题公式化
本发明提出的分层分域场景中,云-边-车三层架构之间需要交换模型参数或者梯度信息,这会造成大量通信开销,而车辆接入和离开RSU的时刻是一个概率问题,参与车辆并不能保证同时在线训练。通过优化算法,本发明采用两级模型聚合方式分别最小化本地损失函数和最小化全局损失函数,异步模式会减少整个算法的运行时间并最小化云边通信次数Ms-c和边端通信次数Me-c,在保证一定精确度的情况下,减小通信开销,提高车辆接入的异步性和模型可用的实时性。最优化函数表示如下:
Figure BDA0003315524720000156
Figure BDA0003315524720000157
s.t.|Ci|>0(i=0,1,...|S|) (8)
ns>ms>0(s=0,1,...|S|) (9)
其中M(m;n)表示云端模型达到预设精度时云边端通信总次数,
Figure BDA0003315524720000161
表示全局损失函数,
Figure BDA0003315524720000162
表示第i个域内第v个车辆本地损失函数。
3、aFedV算法的设计与分析
这一部分本发明设计了基于云边端分层分域的异步联邦学习聚合算法,该算法考虑车辆移动场景,综合了云计算和边缘计算的优势。
3.1聚合算法的设计
aFedV算法由两级聚合算法组成,边缘侧聚合在边缘域服务器执行,负责域内模型参数的更新和最小化本地损失函数;云侧聚合在云中心执行,负责全局模型参数的更新和最小化全局损失函数,两级聚合算法都采用异步模式,算法伪代码见表2。
表2 aFedV算法的伪代码
Figure BDA0003315524720000163
aFedV算法由分布在云边车上的三个模块组成,分为两级聚合算法。车辆本地训练自更新模型参数时,同时接受边缘下发的模型参数或梯度进行更新,这些参数来自边缘聚合
Figure BDA0003315524720000171
或者云端聚合
Figure BDA0003315524720000172
的结果。
3.2 aFedV算法分析
传统联邦学习训练总时间受限于底层客户端和聚合算法,这其中包括不确定的训练时延,排队时延,传输时延等,同步聚合模式每轮的聚合时间取决于花费时间最长的客户端。本发明提出的异步聚合算法采用异步接入模式,尤其适用于移动终端,算法利用云边,边-端的通信优势,在通信轮次和计算开销上做出权衡。
Figure BDA0003315524720000173
Figure BDA0003315524720000174
弥补了传统算法的不足,算法每轮的运行时间由先训练完成的车辆决定,因此异步模式可以有效的减少整个训练的运行时间,有利于整个算法的快速收敛。
联邦学习是一种模型无关的主从式机器学习训练架构,本发明提出的云边端分层分域***架构继承了该优点,同时又具有强鲁棒性和泛化能力的特性。初始时,各联邦成员共享一个模型,在训练过程中,各个车辆用自己的原始数据训练,因此每个客户端的模型
Figure BDA0003315524720000175
有倾向于自身数据的特征,然而在经过一轮边缘聚合后,当前本地模型
Figure BDA0003315524720000176
又具有域内其他车辆数据的特征,经过进一步云端聚合后,当前本地模型
Figure BDA0003315524720000177
就会包含全局车辆数据的特征,此时云端模型
Figure BDA0003315524720000178
均匀(impartial)拥有所有参与训练车辆数据的特征。
另外由于车辆的异步接入,车联网环境中不确定的网络时延,节点差异化的算力条件等,从时间维度上看这些联邦成员的参与时间和结束时间都是不确定的,这就造成一部分车辆准备参与训练时一部分车辆已经迭代一些轮次。得益于异步算法中的参数下发函数,新加入参与训练的车辆始终得到的是当前最新模型,这种特性在车联网这种时间敏感性场景中具有很大优势。
本发明提出的aFedV异步聚合算法是一种联邦优化算法,是在已有的模型平均算法上的优化,该算法可以有效解决移动车联网场景中数据集不均匀分布问题,见图5。
4、实验结果
这一部分针对本发明所提出的分层分域框架和异步聚合算法开展仿真实验以此来证明本发明的优势。
本发明在MNIST数据集和卷积神经网络以及多个计算单元上开展实验。MNIST数据集是十分类手写数字识别数据集,由60000个训练样本和10000个测试样本组成,每个样本都是一张28*28像素的灰度手写数字图片。本发明使用CNN对MNIST数据集进行图像分类,其中卷积神经网络结构为两个5*5的卷积层,分别有10和20个通道,每个卷积层后面有一个2*2的池化层和ReLu激活函数,最后通过320个神经单元的线性层输出,整个网络模型共8490个参数。关于计算单元,本发明采用基于泊松分布的车辆到达模型动态生成车辆并且设置车辆生命周期,模拟车联网场景中车辆在计算过程中上下线情况,其中车辆分布在4个域服务器中,域-边缘服务器连接到云中心。
假设车辆到达RSU信号范围服从λ=0.7的泊松分布,每秒到达车辆个数如图6所示。
根据图6,车辆开始参与分层分域联邦学习时在时间维度上是异步的,通过aFedV算法接入边缘聚合和云端聚合。
均衡MNIST数据集局部车辆CNN模型的精度如图7所示。
本发明设置当本地车辆训练一个完整的epoch后用测试集测试,在某次实验中,所有车辆本地模型测试精度如图8所示。由云端模型的精确度曲线可知,经过平均39次迭代达到了本发明预设的85%的精确度。
本发明发现在达到预设精度过程中每辆车的acc曲线长度是不一样的,即他们迭代次数不同,这是因为车辆是基于泊松分布到达RSU信号范围,在不同时间点加入联邦学习。从图8也可以看出虽然每辆车迭代次数不同,但最后云端模型都趋于收敛。
在实际车联网场景中车辆上数据的非均匀分布经常出现,由于车辆用户使用情况不同,其产生的数据量大小有差别,图9展示了数据集非均匀分布实验中不同车辆的数据样本数量和比例。
图10展示了样本非均匀分布场景下车辆本地训练loss曲线,由于后加入的车辆在参与联邦学习初始时获得的是边缘下发的最新模型,因此其loss曲线下降速度很快,经过大概2次迭代就达到最近最低loss值。
表3分层分域异步联邦学习云边端通信次数
Figure BDA0003315524720000191
上述实验中,本发明统计了云-边和边-端通信次数,见表3,可以看到在云边端分层分域***架构下,云边通信次数比边端通信次数少6倍,这是因为本发明利用了云计算和边缘计算的优势,通过设计异步聚合算法,让域边缘服务器当中间媒介以减少通信次数。
5、总结
本发明提出了一种在车联网场景下基于云边端网络分层分域的异步联邦学习架构,并提出了适用于该框架的异步聚合算法aFedV,通过理论分析,该算法能使车辆动态加入联邦学习过程并获得最新模型,减少整个训练过程的通信次数。针对非均衡数据分布,本发明在MNIST数据集上展开实验,从云端模型结果来看,在保证一定精度下,aFedV能快速有效收敛。未来,本发明将区块链技术结合分层分域的异步联邦学习架构,关注***中基于移动性的隐私保护机制。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用全部或部分地以计算机程序产品的形式实现,所述计算机程序产品包括一个或多个计算机指令。在计算机上加载或执行所述计算机程序指令时,全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输)。所述计算机可读取存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如软盘、硬盘、磁带)、光介质(例如DVD)、或者半导体介质(例如固态硬盘Solid StateDisk(SSD))等。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种移动车辆的异步联邦学习方法,其特征在于,所述移动车辆的异步联邦学习方法包括:
初始时,本地车辆设备从所属域服务器获取机器学习初始参数或上一轮聚合结果,经过一定轮次本地机器学习训练后,车辆将模型梯度上传到所属域;边缘域服务器异步接收车辆上传的模型梯度后进行边缘聚合,域边缘服务器将聚合结果下发给域内所有车辆完成域内局部参数更新;
同时域服务器将结果上传到云中心进行二次聚合,云端同样采用异步模式接收边缘服务器的模型梯度,云侧聚合完成后,向所有边缘服务器下发聚合结果,边缘服务器作为中间媒介下发参数给所有车辆完成全局参数更新;此时一轮全局训练过程结束,整个***中异步接入模式构成一个闭环,一直持续上述过程,直至模型训练达到预设的精度或者整个算法收敛。
2.如权利要求1所述的移动车辆的异步联邦学习方法,其特征在于,所述移动车辆的异步联邦学习方法包括以下步骤:
步骤一,综合利用云计算和边缘计算,通过引入“域”的概念管理范围内的参数更新,并提出基于云边车的网络分层分域架构;
步骤二,提出适用于所述基于云边车的网络分层分域架构的异步联邦学习聚合算法aFedV,并采用异步模式更新参数;
步骤三,针对所述聚合算法和分层分级架构,在不同数据分布上开展实验,从模型训练准确率和通信开销方面验证aFedV算法的性能。
3.如权利要求1所述的移动车辆的异步联邦学习方法,其特征在于,所述移动车辆的异步联邦学习方法,还包括分层分域模型的构建;其中,所述分层分域模型参数定义如下:
云边端场景下有u个边缘域服务器,E={e1,e2,…,eu}表示u个边缘域服务器的集合,其中eu表示第u个边缘域服务器;s为域边缘服务器所在域,其中S={s1,s2,…,si}表示所有域的集合;每个边缘域服务器覆盖范围内共有v个车辆,C={c1,c2,…,cv}表示这v个车辆的集合,其中cv表示第v个车辆,cv i表示第i个域内的第v个车辆,Di v表示第i个域内第v个车辆产生的训练样本,样本个数用d=|Di v|表示;其中,所述分层分域的异步联邦学习流程参数,还包括:
l为本地训练轮次索引,L为本地训练总轮次,m表示边缘聚合次数,n表示云端聚合次数,h为每执行h次本地机器学习向边缘服务器上传本地模型梯度,k为每执行k次边缘聚合执行一次云端聚合;
假设当前有|S|个域,每个域下有一个路侧单元,通信覆盖范围内存在一个域-边缘服务器eu,该域内车辆行驶路段为目标路段;由于RSU的传输半径远远大于道路宽度,因此忽略道路宽度并将底层路车模型简化为一维模型;在t时间段内,到达目标路段内车辆数量服从参数为λ的Poisson分布,即:
Figure FDA0003315524710000021
其中,v表示时间λt内到达的车辆数量;车辆cv i参与本地深度学习训练更新
Figure FDA0003315524710000022
通过迭代l次找到更优的参数
Figure FDA0003315524710000023
来最小化本地目标损失函数
Figure FDA0003315524710000024
即:
Figure FDA0003315524710000025
经过h次本地训练,车辆cv i将更新后的梯度上传至边缘域服务器eu执行边缘聚合,边缘聚合公式如下:
Figure FDA0003315524710000026
其中,|Ci|表示第i个域内车辆v总数,
Figure FDA0003315524710000027
表示第i个域内第v个车辆拥有的训练样本数量;
边缘服务器将更新后的梯度
Figure FDA0003315524710000028
下发给域内所有车辆,车辆在进行本地参数更新的同时接受边缘服务器下发的梯度进行局部参数更新
Figure FDA0003315524710000029
同时,每经过k轮边缘聚合,各边缘服务器将聚合得到的梯度
Figure FDA00033155247100000210
上传至云服务器执行云端聚合,云端聚合公式如下:
Figure FDA0003315524710000031
其中,|s|表示域i的总个数;云端使用聚合结果
Figure FDA0003315524710000032
更新云端模型,云服务器最小化全局损失函数公式如下:
Figure FDA0003315524710000033
将最优模型参数
Figure FDA0003315524710000034
下发给各域内车辆后,本地车辆
Figure FDA0003315524710000035
进行全局参数
Figure FDA0003315524710000036
更新。
4.如权利要求1所述的移动车辆的异步联邦学习方法,其特征在于,所述移动车辆的异步联邦学习方法,还包括:
针对分层分域联邦学习架构提出联邦成员异步连接的问题,在车联网环境中,车辆动态参与联邦学习会影响聚合过程和训练结果,建立该问题的模型,通过设计聚合算法解决该问题;
分层分域场景中,采用两级模型聚合方式分别最小化本地损失函数和最小化全局损失函数,异步模式会减少整个算法的运行时间并最小化云边通信次数Ms-c和边端通信次数Me-c;其中,所述最优化函数表示如下:
Figure FDA0003315524710000037
Figure FDA0003315524710000038
s.t.|Ci|>0(i=0,1,…|S|);
ns>ms>0(s=0,1,...|S|);
其中,M(m;n)表示云端模型达到预设精度时云边端通信总次数,
Figure FDA0003315524710000041
表示全局损失函数,
Figure FDA0003315524710000042
表示第i个域内第v个车辆本地损失函数。
5.如权利要求2所述的移动车辆的异步联邦学习方法,其特征在于,步骤二中,所述aFedV算法由两级聚合算法组成,边缘侧聚合在边缘域服务器执行,用于负责域内模型参数的更新和最小化本地损失函数;云侧聚合在云中心执行,用于负责全局模型参数的更新和最小化全局损失函数,两级聚合算法都采用异步模式;
其中,所述aFedV算法由分布在云边车上的三个模块组成,分为两级聚合算法;车辆本地训练自更新模型参数时,同时接受边缘下发的模型参数或梯度进行更新,这些参数来自边缘聚合
Figure FDA0003315524710000043
或者云端聚合
Figure FDA0003315524710000044
的结果。
6.如权利要求2所述的移动车辆的异步联邦学习方法,其特征在于,步骤二中,所述aFedV算法,还包括:
初始时,各联邦成员共享一个模型,在训练过程中,各个车辆用自己的原始数据训练,因此每个客户端的模型
Figure FDA0003315524710000045
有倾向于自身数据的特征;在经过一轮边缘聚合后,当前本地模型
Figure FDA0003315524710000046
又具有域内其他车辆数据的特征,经过进一步云端聚合后,当前本地模型
Figure FDA0003315524710000047
就会包含全局车辆数据的特征,此时云端模型
Figure FDA0003315524710000048
均匀拥有所有参与训练车辆数据的特征;基于异步算法中的参数下发函数,新加入参与训练的车辆始终得到的是当前最新模型,这种特性在车联网这种时间敏感性场景中具有很大优势。
7.一种计算机设备,其特征在于,所述计算机设备包括存储器和处理器,所述存储器存储有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行如下步骤:
初始时,本地车辆设备从所属域服务器获取机器学习初始参数或上一轮聚合结果,经过一定轮次本地机器学习训练后,车辆将模型梯度上传到所属域;边缘域服务器异步接收车辆上传的模型梯度后进行边缘聚合,域边缘服务器将聚合结果下发给域内所有车辆完成域内局部参数更新;
同时域服务器将结果上传到云中心进行二次聚合,云端同样采用异步模式接收边缘服务器的模型梯度,云侧聚合完成后,向所有边缘服务器下发聚合结果,边缘服务器作为中间媒介下发参数给所有车辆完成全局参数更新;此时一轮全局训练过程结束,整个***中异步接入模式构成一个闭环,一直持续上述过程,直至模型训练达到预设的精度或者整个算法收敛。
8.一种计算机可读存储介质,存储有计算机程序,所述计算机程序被处理器执行时,使得所述处理器执行如下步骤:
初始时,本地车辆设备从所属域服务器获取机器学习初始参数或上一轮聚合结果,经过一定轮次本地机器学习训练后,车辆将模型梯度上传到所属域;边缘域服务器异步接收车辆上传的模型梯度后进行边缘聚合,域边缘服务器将聚合结果下发给域内所有车辆完成域内局部参数更新;
同时域服务器将结果上传到云中心进行二次聚合,云端同样采用异步模式接收边缘服务器的模型梯度,云侧聚合完成后,向所有边缘服务器下发聚合结果,边缘服务器作为中间媒介下发参数给所有车辆完成全局参数更新;此时一轮全局训练过程结束,整个***中异步接入模式构成一个闭环,一直持续上述过程,直至模型训练达到预设的精度或者整个算法收敛。
9.一种实施权利要求1~6任意一项所述移动车辆的异步联邦学习方法的移动车辆的异步联邦学习***,其特征在于,所述移动车辆的异步联邦学习***,包括用户层、域-边缘服务器层和数据处理中心层;
用户层,由车联网环境下众多车辆组成,车辆作为端设备,为机器学习提供原始训练数据和本地训练所需的计算资源;所述车辆在地理空间上被划分到多个域,同一个路侧单元信号覆盖范围内的车辆属于同一个域,并接受对应域服务器的管理;
域-边缘服务器层,由网络边缘的服务器组成,在车联网环境中,所述服务器是为车辆提供服务的路侧单元或基站,所述边缘服务器与其域内的所有车辆用户频繁通信以更新模型参数;对域服务器进行逻辑抽象,每一个域服务器都是一个逻辑客户端,仅对云中心可见;
云数据处理中心层,有整个网络的全局视图,提出异步聚合流程,各域-边缘服务器将边侧模型聚合结果上传到云中心,云中心进行云侧全局模型聚合,大部分通信发生在云中心和逻辑客户端之间,“域”屏蔽底层车辆信息,真实客户端对云不可见也无需通信。
10.一种信息数据处理终端,其特征在于,所述信息数据处理终端用于实现如权利要求9所述的移动车辆的异步联邦学习***。
CN202111229664.1A 2021-10-21 2021-10-21 一种移动车辆的异步联邦学习方法、***、设备及终端 Pending CN114116198A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111229664.1A CN114116198A (zh) 2021-10-21 2021-10-21 一种移动车辆的异步联邦学习方法、***、设备及终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111229664.1A CN114116198A (zh) 2021-10-21 2021-10-21 一种移动车辆的异步联邦学习方法、***、设备及终端

Publications (1)

Publication Number Publication Date
CN114116198A true CN114116198A (zh) 2022-03-01

Family

ID=80376499

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111229664.1A Pending CN114116198A (zh) 2021-10-21 2021-10-21 一种移动车辆的异步联邦学习方法、***、设备及终端

Country Status (1)

Country Link
CN (1) CN114116198A (zh)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114745383A (zh) * 2022-04-08 2022-07-12 浙江金乙昌科技股份有限公司 一种移动边缘计算辅助多层联邦学习方法
CN114827198A (zh) * 2022-03-31 2022-07-29 电子科技大学 一种应用于车联网的多层中心异步联邦学习方法
CN114936606A (zh) * 2022-06-10 2022-08-23 山东大学 适用于边缘物联代理装置的异步去中心化模型训练方法
CN114945044A (zh) * 2022-07-25 2022-08-26 北京智芯微电子科技有限公司 基于联邦学***台构建方法、装置及设备
CN115037618A (zh) * 2022-06-06 2022-09-09 电子科技大学 一种基于KubeEdge的轻量级边缘智能协同联邦学习平台
CN115277446A (zh) * 2022-07-12 2022-11-01 中国信息通信研究院 一种节能的在网联邦学习网络和方法
CN115277689A (zh) * 2022-04-29 2022-11-01 国网天津市电力公司 一种基于分布式联邦学习的云边网络通信优化方法及***
CN115376031A (zh) * 2022-10-24 2022-11-22 江西省科学院能源研究所 基于联邦自适应学习的公路无人机巡检数据处理方法
CN115422820A (zh) * 2022-06-02 2022-12-02 国汽智控(北京)科技有限公司 应用于预测路况的联邦学习模型训练方法、路况预测方法
CN115481752A (zh) * 2022-09-23 2022-12-16 中国电信股份有限公司 模型训练方法、装置、电子设备以及存储介质
CN115987694A (zh) * 2023-03-20 2023-04-18 杭州海康威视数字技术股份有限公司 基于多域联邦的设备隐私保护方法、***和装置
CN116094993A (zh) * 2022-12-22 2023-05-09 电子科技大学 一种适用于边缘计算场景下的联邦学习安全聚合方法
CN116546429A (zh) * 2023-06-06 2023-08-04 江南大学 一种车联网联邦学习中的车辆选择方法和***
WO2023208043A1 (zh) * 2022-04-29 2023-11-02 索尼集团公司 用于无线通信***的电子设备、方法和存储介质
CN117076132A (zh) * 2023-10-12 2023-11-17 北京邮电大学 分层联邦学习***的资源分配及聚合优化方法及装置
CN117592094A (zh) * 2023-10-20 2024-02-23 深圳信息职业技术学院 隐私数据集处理方法、装置、计算机设备及存储介质
CN117812564A (zh) * 2024-02-29 2024-04-02 湘江实验室 一种应用于车联网的联邦学习方法、装置、设备及介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021016596A1 (en) * 2019-07-25 2021-01-28 Nvidia Corporation Deep neural network for segmentation of road scenes and animate object instances for autonomous driving applications
CN112817653A (zh) * 2021-01-22 2021-05-18 西安交通大学 一种基于云边端的联邦学习计算卸载计算***及方法
US11017322B1 (en) * 2021-01-28 2021-05-25 Alipay Labs (singapore) Pte. Ltd. Method and system for federated learning
CN113204443A (zh) * 2021-06-03 2021-08-03 京东科技控股股份有限公司 基于联邦学习框架的数据处理方法、设备、介质及产品
CN113283177A (zh) * 2021-06-16 2021-08-20 江南大学 一种基于异步联邦学习的移动感知缓存方法
CN113419857A (zh) * 2021-06-24 2021-09-21 广东工业大学 一种基于边缘数字孪生关联的联邦学习方法及***
CN113435472A (zh) * 2021-05-24 2021-09-24 西安电子科技大学 车载算力网络用户需求预测方法、***、设备、介质
CN113467927A (zh) * 2021-05-20 2021-10-01 杭州趣链科技有限公司 一种基于区块链的参与方可信任的联邦学习方法和装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021016596A1 (en) * 2019-07-25 2021-01-28 Nvidia Corporation Deep neural network for segmentation of road scenes and animate object instances for autonomous driving applications
CN112817653A (zh) * 2021-01-22 2021-05-18 西安交通大学 一种基于云边端的联邦学习计算卸载计算***及方法
US11017322B1 (en) * 2021-01-28 2021-05-25 Alipay Labs (singapore) Pte. Ltd. Method and system for federated learning
CN113467927A (zh) * 2021-05-20 2021-10-01 杭州趣链科技有限公司 一种基于区块链的参与方可信任的联邦学习方法和装置
CN113435472A (zh) * 2021-05-24 2021-09-24 西安电子科技大学 车载算力网络用户需求预测方法、***、设备、介质
CN113204443A (zh) * 2021-06-03 2021-08-03 京东科技控股股份有限公司 基于联邦学习框架的数据处理方法、设备、介质及产品
CN113283177A (zh) * 2021-06-16 2021-08-20 江南大学 一种基于异步联邦学习的移动感知缓存方法
CN113419857A (zh) * 2021-06-24 2021-09-21 广东工业大学 一种基于边缘数字孪生关联的联邦学习方法及***

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
YUNLONG LU: ""Differentially Private Asynchronous Federated Learning for Mobile Edge Computing in Urban Informatics"", 《IEEE TRANSACTIONS ON INDUSTRIAL INFORMATICS》, vol. 16, no. 3, 31 March 2020 (2020-03-31), pages 2134 - 2143, XP011768092, DOI: 10.1109/TII.2019.2942179 *
夕月一弯: ""联邦学习综述"", Retrieved from the Internet <URL:《https://www.cnblogs.com/wt869054461/p/12375011.html》> *
廖钰盈: ""面向异构边缘节点的融合联邦学习机制研究"", 《中国优秀硕士学位论文全文数据库 信息科技辑》, no. 2021, 15 May 2021 (2021-05-15), pages 138 - 630 *

Cited By (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114827198A (zh) * 2022-03-31 2022-07-29 电子科技大学 一种应用于车联网的多层中心异步联邦学习方法
CN114827198B (zh) * 2022-03-31 2023-04-28 电子科技大学 一种应用于车联网的多层中心异步联邦学习方法
CN114745383A (zh) * 2022-04-08 2022-07-12 浙江金乙昌科技股份有限公司 一种移动边缘计算辅助多层联邦学习方法
CN115277689A (zh) * 2022-04-29 2022-11-01 国网天津市电力公司 一种基于分布式联邦学习的云边网络通信优化方法及***
WO2023208043A1 (zh) * 2022-04-29 2023-11-02 索尼集团公司 用于无线通信***的电子设备、方法和存储介质
CN115277689B (zh) * 2022-04-29 2023-09-22 国网天津市电力公司 一种基于分布式联邦学习的云边网络通信优化方法及***
CN115422820A (zh) * 2022-06-02 2022-12-02 国汽智控(北京)科技有限公司 应用于预测路况的联邦学习模型训练方法、路况预测方法
CN115422820B (zh) * 2022-06-02 2023-09-19 国汽智控(北京)科技有限公司 应用于预测路况的联邦学习模型训练方法、路况预测方法
CN115037618A (zh) * 2022-06-06 2022-09-09 电子科技大学 一种基于KubeEdge的轻量级边缘智能协同联邦学习平台
CN115037618B (zh) * 2022-06-06 2023-11-07 电子科技大学 一种基于KubeEdge的轻量级边缘智能协同联邦学习平台
CN114936606A (zh) * 2022-06-10 2022-08-23 山东大学 适用于边缘物联代理装置的异步去中心化模型训练方法
CN115277446A (zh) * 2022-07-12 2022-11-01 中国信息通信研究院 一种节能的在网联邦学习网络和方法
CN114945044B (zh) * 2022-07-25 2022-11-08 北京智芯微电子科技有限公司 基于联邦学***台构建方法、装置及设备
CN114945044A (zh) * 2022-07-25 2022-08-26 北京智芯微电子科技有限公司 基于联邦学***台构建方法、装置及设备
CN115481752B (zh) * 2022-09-23 2024-03-19 中国电信股份有限公司 模型训练方法、装置、电子设备以及存储介质
CN115481752A (zh) * 2022-09-23 2022-12-16 中国电信股份有限公司 模型训练方法、装置、电子设备以及存储介质
CN115376031B (zh) * 2022-10-24 2023-03-24 江西省科学院能源研究所 基于联邦自适应学习的公路无人机巡检数据处理方法
CN115376031A (zh) * 2022-10-24 2022-11-22 江西省科学院能源研究所 基于联邦自适应学习的公路无人机巡检数据处理方法
CN116094993A (zh) * 2022-12-22 2023-05-09 电子科技大学 一种适用于边缘计算场景下的联邦学习安全聚合方法
CN116094993B (zh) * 2022-12-22 2024-05-31 电子科技大学 一种适用于边缘计算场景下的联邦学习安全聚合方法
CN115987694A (zh) * 2023-03-20 2023-04-18 杭州海康威视数字技术股份有限公司 基于多域联邦的设备隐私保护方法、***和装置
CN116546429A (zh) * 2023-06-06 2023-08-04 江南大学 一种车联网联邦学习中的车辆选择方法和***
CN116546429B (zh) * 2023-06-06 2024-01-16 杭州一诺科创信息技术有限公司 一种车联网联邦学习中的车辆选择方法和***
CN117076132A (zh) * 2023-10-12 2023-11-17 北京邮电大学 分层联邦学习***的资源分配及聚合优化方法及装置
CN117076132B (zh) * 2023-10-12 2024-01-05 北京邮电大学 分层联邦学习***的资源分配及聚合优化方法及装置
CN117592094A (zh) * 2023-10-20 2024-02-23 深圳信息职业技术学院 隐私数据集处理方法、装置、计算机设备及存储介质
CN117812564A (zh) * 2024-02-29 2024-04-02 湘江实验室 一种应用于车联网的联邦学习方法、装置、设备及介质
CN117812564B (zh) * 2024-02-29 2024-05-31 湘江实验室 一种应用于车联网的联邦学习方法、装置、设备及介质

Similar Documents

Publication Publication Date Title
CN114116198A (zh) 一种移动车辆的异步联邦学习方法、***、设备及终端
Elgendy et al. Joint computation offloading and task caching for multi-user and multi-task MEC systems: reinforcement learning-based algorithms
Zhou et al. [Retracted] Machine Learning‐Based Offloading Strategy for Lightweight User Mobile Edge Computing Tasks
CN113435472A (zh) 车载算力网络用户需求预测方法、***、设备、介质
Zhai et al. Toward reinforcement-learning-based service deployment of 5G mobile edge computing with request-aware scheduling
CN112395090B (zh) 一种移动边缘计算中服务放置的智能混合优化方法
CN104995870A (zh) 多目标服务器布局确定
CN110968426A (zh) 一种基于在线学习的边云协同k均值聚类的模型优化方法
Xiao et al. Collaborative cloud-edge service cognition framework for DNN configuration toward smart IIoT
CN111488528A (zh) 内容缓存管理方法及装置、电子设备
CN114327889A (zh) 一种面向分层联邦边缘学习的模型训练节点选择方法
EP4158556A1 (en) Collaborative machine learning
Qayyum et al. Mobility-aware hierarchical fog computing framework for Industrial Internet of Things (IIoT)
Cui et al. A secure and decentralized DLaaS platform for edge resource scheduling against adversarial attacks
Sun et al. SORD: A new strategy of online replica deduplication in Cloud-P2P
CN111770152B (zh) 一种边缘数据管理方法、介质、边缘服务器和***
Jin et al. A real-time multimedia streaming transmission control mechanism based on edge cloud computing and opportunistic approximation optimization
Li et al. High-precision cluster federated learning for smart home: An edge-cloud collaboration approach
CN111935026A (zh) 一种数据传输方法、装置、处理设备及介质
Li et al. Routing algorithm based on triangular fuzzy layer model and multi‐layer clustering for opportunistic network
Zhang et al. A locally distributed mobile computing framework for DNN based android applications
CN113992520B (zh) 一种虚拟网络资源的部署方法和***
Chen et al. A vehicle-assisted computation offloading algorithm based on proximal policy optimization in vehicle edge networks
WO2022253454A2 (en) Dimensioning of telecommunication infrastructure
Kang et al. Joint task offloading and resource allocation strategy for DiffServ in vehicular cloud system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination