CN114116198A - 一种移动车辆的异步联邦学习方法、***、设备及终端 - Google Patents
一种移动车辆的异步联邦学习方法、***、设备及终端 Download PDFInfo
- Publication number
- CN114116198A CN114116198A CN202111229664.1A CN202111229664A CN114116198A CN 114116198 A CN114116198 A CN 114116198A CN 202111229664 A CN202111229664 A CN 202111229664A CN 114116198 A CN114116198 A CN 114116198A
- Authority
- CN
- China
- Prior art keywords
- domain
- aggregation
- edge
- cloud
- vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 77
- 238000004220 aggregation Methods 0.000 claims abstract description 167
- 230000002776 aggregation Effects 0.000 claims abstract description 158
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 101
- 238000012549 training Methods 0.000 claims abstract description 87
- 238000004891 communication Methods 0.000 claims abstract description 50
- 230000008569 process Effects 0.000 claims abstract description 34
- 238000009826 distribution Methods 0.000 claims abstract description 18
- 230000008901 benefit Effects 0.000 claims abstract description 17
- 238000002474 experimental method Methods 0.000 claims abstract description 12
- 238000010801 machine learning Methods 0.000 claims description 39
- 230000006870 function Effects 0.000 claims description 31
- 230000005540 biological transmission Effects 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 5
- 238000005457 optimization Methods 0.000 claims description 5
- 238000012545 processing Methods 0.000 claims description 5
- 238000003860 storage Methods 0.000 claims description 5
- 238000013135 deep learning Methods 0.000 claims description 3
- 238000006116 polymerization reaction Methods 0.000 claims description 3
- 230000035945 sensitivity Effects 0.000 claims description 3
- 238000013527 convolutional neural network Methods 0.000 description 7
- 238000013461 design Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 230000006855 networking Effects 0.000 description 6
- 230000001360 synchronised effect Effects 0.000 description 6
- 230000007547 defect Effects 0.000 description 5
- 238000012935 Averaging Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 4
- 238000011161 development Methods 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 238000007726 management method Methods 0.000 description 3
- 238000009828 non-uniform distribution Methods 0.000 description 3
- SAZUGELZHZOXHB-UHFFFAOYSA-N acecarbromal Chemical compound CCC(Br)(CC)C(=O)NC(=O)NC(C)=O SAZUGELZHZOXHB-UHFFFAOYSA-N 0.000 description 2
- 230000004069 differentiation Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000002349 favourable effect Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 210000005036 nerve Anatomy 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 230000004931 aggregating effect Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000009472 formulation Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5061—Partitioning or combining of resources
- G06F9/5072—Grid computing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Medical Informatics (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Computing Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明属于车辆管理技术领域,公开了一种移动车辆的异步联邦学习方法、***、设备及终端,所述移动车辆的异步联邦学习***,包括用户层、域‑边缘服务器层和数据处理中心层;所述移动车辆的异步联邦学习方法包括:综合利用云计算和边缘计算,提出基于云边车的网络分层分域架构;提出适用于所述基于云边车的网络分层分域架构的异步联邦学习聚合算法aFedV;针对聚合算法和分层分级架构,在不同数据分布上开展实验,从模型训练准确率和通信开销方面验证aFedV算法的性能。本发明综合利用云计算和边缘计算的优势,采用异步模式更新参数,能够减少整个训练过程的通信次数,解决移动联邦成员在计算过程中动态连接无法及时更新参数的问题。
Description
技术领域
本发明属于车辆管理技术领域,尤其涉及一种移动车辆的异步联邦学习方法、***、设备及终端。
背景技术
目前,互联网的发展促进了物联网的发展,并且逐渐向着万物互联的趋势发展,其中5G大带宽,低延时等特性加快了边缘设备的兴起,这些设备产生的大量信息为机器学习提供了原始训练数据,因此让这些边缘设备更加智能。在车联网环境中,车辆是典型的网络边缘设备,它产生的应用数据输入到神经网络中可以为用户提供更好的个性化服务。
传统机器的学习模式下,每辆车需要将用户数据上传到云数据处理中心(以下简称云中心),在云中心经过训练后再根据需求将结果返回给本地用户,但是数据传输过程会占用大量带宽,给骨干网造成很大流量压力,而且传输这些个人数据会带来很多用户隐私问题,用户数据安全无法得到保障。2017年,Google公司提出了联邦学习架构,这种新的分布式机器学习最初的目的就是避免数据泄露、保护用户数据隐私安全,它保障用户数据在不出本地的情况下也能参与机器学习训练。在联邦学习架构中,联邦成员被定义为数据提供方和本地训练客户端,所有联邦成员共享一个模型并协同完成模型的训练,然后将本地模型上传到云中心,云中心聚合所有本地模型得到一个全局模型,最终将结果下发给所有本地客户端作为下次模型训练的初始值。云-客户端整个交互过程中传递的是模型参数或者梯度,用户数据始终保留在本地,因而用户隐私得到了保障。
然而,这种云-客户端的机器学习模型具有很高的时延成本和通信开销,在很多时间灵敏性网络场景中无法获得较好的性能。近些年,边缘计算兴起,由于边缘节点部署在靠近网络边缘的位置,有更多机会接触到网络底层设备产生的数据,而且边缘服务器通常具有强大计算能力,边-客户端通信有带宽高、时延低的优点,因此这种基于边缘的机器学习架构在联邦学习领域受到广泛关注。
但是,无论是基于边缘还是基于云的机器学***均算法的思想,这种聚合算法每轮的聚合时间往往取决于花费时间最长的客户端,由于延迟,网络抖动,节点差异化的算力条件等,这在一定概率上这会增加所有轮次的聚合时间;其他的聚合算法,其思想基本上是牺牲了本地计算资源,增加本地客户端的训练次数以减少与高层节点的通信次数。然而这些都是在特定研究领域有一定的效果,并没有在根本上解决移动场景下联邦成员异步参与训练的问题。
综上,网络结构趋向于云边端分层的结构发展,端侧汇聚了大量用户数据,云侧能接触到广泛的客户端,边侧具有丰富的计算资源和廉价的通信开销等优势,这促进了机器学习尤其是协同机器学习的发展,联邦学习的出现为机器学习提供了新范式,在数据敏感时代,它在不降低机器学习效率的同时保护了用户的隐私。传统联邦学习由于只有云端或者边端两层结构因而在很多移动性场景如车联网中表现不佳,并且传统的聚合算法采用同步参数更新模式,其收敛速度慢。因此,亟需一种新的移动车辆的异步联邦学习方法及***。
通过上述分析,现有技术存在的问题及缺陷为:
(1)现有云-客户端的机器学习模型具有很高的时延成本和通信开销,在很多时间灵敏性网络场景中无法获得较好的性能。
(2)现有的采用传统同步聚合算法的机器学习架构的联邦成员存在连接不稳定、连接异步的情况,无法解决联邦成员如何动态加入联邦聚合的问题。
(3)传统联邦学习由于只有云端或者边端两层结构因而在很多移动性场景中表现不佳,并且传统的聚合算法采用同步参数更新模式,其收敛速度慢。
(4)传统的联邦学***均算法的思想,会增加所有轮次的聚合时间,牺牲本地计算资源,增加本地客户端的训练次数。
(5)现有技术方案都是在特定研究领域有一定的效果,并没有在根本上解决移动场景下联邦成员异步参与训练的问题。
解决以上问题及缺陷的难度为:该方法需要设计一个分层分域的云边端联邦学习架构,其中边缘聚合和云端聚合算法的参数更新都需要采用异步接入方式;整个全局算法更新流程应该考虑到云边端三者的通信开销与本地计算资源之间的权衡。
解决以上问题及缺陷的意义为:该方法是在传统的联邦学习基础上做的优化,分层分域云边端联邦学习架构在保护用户隐私的同时完成了机器学习任务;利用云边端分层分域的关系,有效发挥云计算和边缘计算的优势,在分层的基础上引入“域”的概念,方便管理一个边缘服务器下模型参数的更新;本方法在设计中考虑了移动车辆的动态接入特征和资源开销情况,车辆的动态加入聚合过程是必然事件,通过权衡通信开销和计算资源的使用情况可以在网络流量压力和机器学习精度之间取得最优。
发明内容
针对现有技术存在的问题,本发明提供了一种移动车辆的异步联邦学习方法、***、设备及终端,尤其涉及一种基于云边端网络分层分域架构下的移动车辆的异步联邦学习方法、***、设备及终端。
本发明是这样实现的,一种移动车辆的异步联邦学习***,所述移动车辆的异步联邦学习***,包括用户层、域-边缘服务器层和数据处理中心层。在整个***中上述三层共同完成机器学习原始数据集的产生,模型训练,参数聚合和下发。
用户层,由车联网环境下众多车辆组成,车辆作为端设备,为机器学习提供原始训练数据和本地训练所需的计算资源;所述车辆在地理空间上被划分到多个域,同一个路侧单元信号覆盖范围内的车辆属于同一个域,并接受对应域服务器的管理;
域-边缘服务器层,由网络边缘的服务器组成,在车联网环境中,所述服务器是为车辆提供服务的路侧单元或基站,所述边缘服务器与其域内的所有车辆用户频繁通信以更新模型参数;对域服务器进行逻辑抽象,每一个域服务器都是一个逻辑客户端,仅对云中心可见。
云数据处理中心层,有整个网络的全局视图,提出异步聚合流程,各域-边缘服务器将边侧模型聚合结果上传到云中心,云中心进行云侧全局模型聚合,大部分通信发生在云中心和逻辑客户端之间,“域”屏蔽底层车辆信息,真实客户端对云不可见也无需通信。
本发明的另一目的在于提供一种应用所述的移动车辆的异步联邦学习***的移动车辆的异步联邦学习方法,所述移动车辆的异步联邦学习方法包括:
初始时,本地车辆设备从所属域服务器获取机器学习初始参数或上一轮聚合结果,经过一定轮次本地机器学习训练后,车辆将模型梯度上传到所属域;边缘域服务器异步接收车辆上传的模型梯度后进行边缘聚合,域边缘服务器将聚合结果下发给域内所有车辆完成域内局部参数更新;边缘聚合利用局部数据进行机器学习训练,通过最小化局部损失函数获取局部最优模型参数。
同时域服务器将结果上传到云中心进行二次聚合,云端同样采用异步模式接收边缘服务器的模型梯度,云侧聚合完成后,向所有边缘服务器下发聚合结果,边缘服务器作为中间媒介下发参数给所有车辆完成全局参数更新;此时一轮全局训练过程结束,整个***中异步接入模式构成一个闭环,一直持续上述过程,直至模型训练达到预设的精度或者整个算法收敛。云端聚合利用所有域下全局数据进行机器学习训练,通过最小化全局损失函数获取全局最优模型参数。
进一步,所述移动车辆的异步联邦学习方法包括以下步骤:
步骤一,综合利用云计算和边缘计算,通过引入“域”的概念管理范围内的参数更新,并提出基于云边车的网络分层分域架构;
步骤二,提出适用于所述基于云边车的网络分层分域架构的异步联邦学习聚合算法aFedV,并采用异步模式更新参数;
步骤三,针对所述聚合算法和分层分级架构,在不同数据分布上开展实验,从模型训练准确率和通信开销方面验证aFedV算法的性能。
进一步,所述移动车辆的异步联邦学习方法,还包括分层分域模型的构建;其中,所述分层分域模型参数定义如下:
云边端场景下有u个边缘域服务器,E={e1,e2,…,eu}表示u个边缘域服务器的集合,其中eu表示第u个边缘域服务器;s为域边缘服务器所在域,其中S={s1,s2,…,si}表示所有域的集合;每个边缘域服务器覆盖范围内共有v个车辆,C={c1,c2,…,cv}表示这v个车辆的集合,其中cv表示第v个车辆,cv i表示第i个域内的第v个车辆,Di v表示第i个域内第v个车辆产生的训练样本,样本个数用d=|Di v|表示。其中,所述分层分域的异步联邦学习流程参数,还包括:
l为本地训练轮次索引,L为本地训练总轮次,m表示边缘聚合次数,n表示云端聚合次数,h为每执行h次本地机器学习向边缘服务器上传本地模型梯度,k为每执行k次边缘聚合执行一次云端聚合。
假设当前有|S|个域,每个域下有一个路侧单元,通信覆盖范围内存在一个域-边缘服务器eu,该域内车辆行驶路段为目标路段;由于RSU的传输半径远远大于道路宽度,因此忽略道路宽度并将底层路车模型简化为一维模型。在t时间段内,到达目标路段内车辆数量服从参数为λ的Poisson分布,即:
经过h次本地训练,车辆cv i将更新后的梯度上传至边缘域服务器eu执行边缘聚合,边缘聚合公式如下:
边缘服务器将更新后的梯度下发给域内所有车辆,车辆在进行本地参数更新的同时接受边缘服务器下发的梯度进行局部参数更新同时,每经过k轮边缘聚合,各边缘服务器将聚合得到的梯度上传至云服务器执行云端聚合,云端聚合公式如下:
进一步,所述移动车辆的异步联邦学习方法,还包括:
针对分层分域联邦学习架构提出联邦成员异步连接的问题,在车联网环境中,车辆动态参与联邦学习会影响聚合过程和训练结果,建立该问题的模型,通过设计聚合算法解决该问题。
分层分域场景中,采用两级模型聚合方式分别最小化本地损失函数和最小化全局损失函数,异步模式会减少整个算法的运行时间并最小化云边通信次数Ms-c和边端通信次数Me-c;其中,所述最优化函数表示如下:
s.t.|Ci|>0(I=0,1,...|S|);
ns>ms>0(s=0,1,...|S|);
进一步,步骤二中,所述aFedV算法由两级聚合算法组成,边缘侧聚合在边缘域服务器执行,用于负责域内模型参数的更新和最小化本地损失函数;云侧聚合在云中心执行,用于负责全局模型参数的更新和最小化全局损失函数,两级聚合算法都采用异步模式。
进一步,步骤二中,所述aFedV算法,还包括:
初始时,各联邦成员共享一个模型,在训练过程中,各个车辆用自己的原始数据训练,因此每个客户端的模型有倾向于自身数据的特征;在经过一轮边缘聚合后,当前本地模型又具有域内其他车辆数据的特征,经过进一步云端聚合后,当前本地模型就会包含全局车辆数据的特征,此时云端模型均匀拥有所有参与训练车辆数据的特征;基于异步算法中的参数下发函数,新加入参与训练的车辆始终得到的是当前最新模型,这种特性在车联网这种时间敏感性场景中具有很大优势。
本发明的另一目的在于提供一种计算机设备,所述计算机设备包括存储器和处理器,所述存储器存储有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行如下步骤:
初始时,本地车辆设备从所属域服务器获取机器学习初始参数或上一轮聚合结果,经过一定轮次本地机器学习训练后,车辆将模型梯度上传到所属域;边缘域服务器异步接收车辆上传的模型梯度后进行边缘聚合,域边缘服务器将聚合结果下发给域内所有车辆完成域内局部参数更新;
同时域服务器将结果上传到云中心进行二次聚合,云端同样采用异步模式接收边缘服务器的模型梯度,云侧聚合完成后,向所有边缘服务器下发聚合结果,边缘服务器作为中间媒介下发参数给所有车辆完成全局参数更新;此时一轮全局训练过程结束,整个***中异步接入模式构成一个闭环,一直持续上述过程,直至模型训练达到预设的精度或者整个算法收敛。
本发明的另一目的在于提供一种计算机可读存储介质,存储有计算机程序,所述计算机程序被处理器执行时,使得所述处理器执行如下步骤:
初始时,本地车辆设备从所属域服务器获取机器学习初始参数或上一轮聚合结果,经过一定轮次本地机器学习训练后,车辆将模型梯度上传到所属域;边缘域服务器异步接收车辆上传的模型梯度后进行边缘聚合,域边缘服务器将聚合结果下发给域内所有车辆完成域内局部参数更新;
同时域服务器将结果上传到云中心进行二次聚合,云端同样采用异步模式接收边缘服务器的模型梯度,云侧聚合完成后,向所有边缘服务器下发聚合结果,边缘服务器作为中间媒介下发参数给所有车辆完成全局参数更新;此时一轮全局训练过程结束,整个***中异步接入模式构成一个闭环,一直持续上述过程,直至模型训练达到预设的精度或者整个算法收敛。
本发明的另一目的在于提供一种信息数据处理终端,所述信息数据处理终端用于实现所述的移动车辆的异步联邦学习***。
结合上述的所有技术方案,本发明所具备的优点及积极效果为:本发明提供的移动车辆的异步联邦学习方法,提出基于云边车的网络分层分域架构,该架构综合利用云计算和边缘计算的优势,通过引入“域”的概念管理一个范围内的参数更新;提出了一个适用于该架构的异步联邦学习聚合算法(Asynchronous Federated Learning of Internet ofVehicles,aFedV),该算法采用异步模式更新参数,能够解决移动联邦成员在计算过程中动态连接无法及时更新参数的问题。针对不同数据特征分布场景,本发明进行了实验验证和分析,从模型训练准确率和通信开销方面证明了aFedV算法在基于云边车的网络分层分域架构下具有良好的性能。
本发明提出的aFedV异步聚合算法是一种联邦优化算法,是在已有的模型平均算法上的优化,该算法可以有效解决移动车联网场景中数据集不均匀分布问题。本发明提出了在车联网场景下基于云边端网络分层分域的异步联邦学习架构,并提出了适用于该框架的异步聚合算法aFedV,通过理论分析,该算法能使车辆动态加入联邦学习过程并获得最新模型,减少整个训练过程的通信次数。针对非均衡数据分布,本发明在MNIST数据集上展开实验,从云端模型结果来看,在保证一定精度下,aFedV能快速有效收敛。未来,本发明将区块链技术结合分层分域的异步联邦学习架构,关注***中基于移动性的隐私保护机制。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对本发明实施例中所需要使用的附图做简单的介绍,显而易见地,下面所描述的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的移动车辆的异步联邦学习方法流程图。
图2是本发明实施例提供的移动车辆的异步联邦学习方法。
图3是本发明实施例提供的云边端网络分层分域***架构抽象图。
图4是本发明实施例提供的基于云边端网络分层分域的异步联邦学习流程图。
图5是本发明实施例提供的不均衡MNIST数据集下云服务器CNN模型的准确性示意图。
图6是本发明实施例提供的不同领域到达车辆的泊松分布示意图。
图7是本发明实施例提供的均衡MNIST数据集下局部车辆CNN模型的精度示意图。
图8是本发明实施例提供的基于均衡MNIST数据集下的云服务器CNN模型的准确性示意图。
图9是本发明实施例提供的不均衡MNIST数据集下车辆样本集的尺寸及比例示意图。
图10是本发明实施例提供的不均衡MNIST数据集下局部车辆CNN模型的损失值示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
针对现有技术存在的问题,本发明提供了一种移动车辆的异步联邦学习方法、***、设备及终端,下面结合附图对本发明作详细的描述。
如图1所示,本发明实施例提供的移动车辆的异步联邦学习方法包括以下步骤:
S101,综合利用云计算和边缘计算,通过引入“域”的概念管理范围内的参数更新,并提出基于云边车的网络分层分域架构;
S102,提出适用于所述基于云边车的网络分层分域架构的异步联邦学习聚合算法aFedV,并采用异步模式更新参数;
S103,针对所述聚合算法和分层分级架构,在不同数据分布上开展实验,从模型训练准确率和通信开销方面验证aFedV算法的性能。
下面结合具体实施例对本发明的技术方案作进一步描述。
1、本发明提出基于云边车的网络分层分域架构,该架构综合利用云计算和边缘计算的优势,通过引入“域”的概念管理一个范围内的参数更新;提出了一个适用于该架构的异步联邦学习聚合算法(Asynchronous Federated Learning of Internet of Vehicles,aFedV),该算法采用异步模式更新参数,能够解决移动联邦成员在计算过程中动态连接无法及时更新参数的问题。针对不同数据特征分布场景,本发明进行了实验验证和分析,从模型训练准确率和通信开销方面证明了aFedV算法在基于云边车的网络分层分域架构下具有良好的性能。
本发明提出了分层分域的异步联邦学习架构,如图2和适用于该框架的异步聚合算法aFedV,通过综合利用云-边-端网络架构的优势,解决移动场景下联邦成员异步连接的问题。本发明的主要贡献如下:
(1)提出了一种在车联网环境下基于云边端网络分层分域的异步联邦学习架构,在该框架下,车辆作为端设备,为机器学习提供训练数据和本地计算资源;每个域下有一个边缘服务器,多个分域的边缘服务器聚合属于该域的客户端模型;云中心聚合边缘服务器上传的模型。
(2)针对分层分域联邦学习架构提出联邦成员异步连接的问题,在车联网环境中,车辆动态参与联邦学习会影响聚合过程和训练结果,本发明建立了该问题的模型,通过设计聚合算法解决该问题。
(3)所提出的aFedV算法是两级聚合算法,分别在边缘服务器和云服务器聚合,aFedV算法在每层都采用异步聚合方式,这种聚合模式既利用多个分布广泛的域边缘服务器获取大量数据和便宜的边端通信开销,同时利用云服务器强大的计算能力,与多个边缘服务器交换机器学习模型参数,整合全局参数。
本发明剩余部分安排如下,第二部分提出云边端分层分域异步联邦学习架构并定义***模型,在第三部分,本发明设计并分析了异步聚合算法aFedV,第四部分本发明针对所提出的聚合算法和分层分级架构在不同数据分布上开展实验,第五部分得出结论。
2、异步联邦学习***
2.1***结构
本发明提出的车联网环境下基于云边端网络分层分域的异步联邦学习架构如图2所示,整个架构分为三层,分别是用户层,边缘服务器层和云中心层。在三层架构的基础上,本发明又引入了“域”的概念来管理整个边缘服务器下所属的车辆用户,通过逻辑抽象,将每个域视为一个单独的逻辑节点用户,使得整个逻辑视图仍然保持两层架构不变,抽象后逻辑视图如图3所示。
(1)用户层由车联网环境下众多车辆组成,这些车辆产生机器学习需要的原始训练数据并提供本地训练所需的计算资源。车辆在地理空间上被划分到多个域,同一个路侧单元信号覆盖范围内的车辆属于同一个域,并接受对应域服务器的管理;
(2)域-边缘服务器层由网络边缘的服务器组成,在车联网环境中,这些服务器可以是为车辆提供服务的路侧单元,基站等。由于边-端通信带宽大,时延低,边缘服务器可以与其域内的所有车辆用户频繁通信以更新模型参数。通常边缘域服务器分布广泛,计算能力强,能够为边缘侧模型聚合提供计算资源和多方车辆的机器学习模型参数,另外,本发明对域服务器进行逻辑抽象,每一个域服务器都是一个逻辑客户端,仅对云中心可见。
(3)云数据处理中心有整个网络的全局视图,通常云-端通信带宽小,通信开销大,实时性差。因此,本发明提出异步聚合流程中,云-端通信频率非常低,各域-边缘服务器将边侧模型聚合结果上传到云中心,云中心进行云侧全局模型聚合,实际上大部分的通信发生在云中心和逻辑客户端之间,“域”屏蔽了底层车辆信息,真实客户端对云不可见也无需通信,这就降低了整个网络通信的复杂性。
云边端网络分层分域的异步联邦学习流程图如图4所示,初始时,本地车辆设备从所属域服务器获取机器学习初始参数或上一轮聚合结果,经过一定轮次本地机器学习训练后,车辆将模型梯度上传到所属域;边缘域服务器异步接收车辆上传的模型梯度,然后进行边缘聚合,域边缘服务器将聚合结果下发给域内所有车辆完成域内局部参数更新;同时域服务器将结果上传到云中心进行二次(further and advanced)聚合,云端同样采用异步模式接收边缘服务器的模型梯度,云侧聚合完成后,向所有边缘服务器下发聚合结果,边缘服务器作为中间媒介下发参数给所有车辆完成全局参数更新。此时一轮全局训练过程结束,整个***中异步接入模式构成一个闭环,一直持续上述过程,直至模型训练达到预设的精度或者整个算法收敛。
2.2模型定义
为了方便场景叙述,在本发明提出的***中,分层分域模型参数定义如下:
云边端场景下有u个边缘域服务器,E={e1,e2,…,eu}表示u个边缘域服务器的集合,其中eu表示第u个边缘域服务器;s为域边缘服务器所在域,其中S={s1,s2,…,si}表示所有域的集合;每个边缘域服务器覆盖范围内共有v个车辆,C={c1,c2,…,cv}表示这v个车辆的集合,其中cv表示第v个车辆,cv i表示第i个域内的第v个车辆,Di v表示第i个域内第v个车辆产生的训练样本,样本个数用d=|Di v|表示。其他参数说明见表1。
表1分层分域的异步联邦学习流程参数表
假设当前有|S|个域,每个域下有一个路侧单元,其通信覆盖范围内存在一个域-边缘服务器eu,该域内车辆行驶路段为目标路段。由于RSU的传输半径远远大于道路宽度,因此本发明研究中忽略道路宽度并将底层路车(RSU-vehicle)模型简化为一维模型。在t时间段内,到达目标路段内车辆数量服从参数为λ的Poisson分布,即:
经过h次本地训练,车辆cv i将更新后的梯度上传至边缘域服务器eu执行边缘聚合,边缘聚合公式如下:
|Ci|表示第i个域内车辆v总数,表示第i个域内第v个车辆拥有的训练样本数量。然后边缘服务器将更新后的梯度下发给域内所有车辆,车辆在进行本地参数更新的同时接受边缘服务器下发的梯度进行局部参数更新同时,每经过k轮边缘聚合,各边缘服务器将聚合得到的梯度上传至云服务器执行云端聚合,云端聚合公式如下:
2.3问题公式化
本发明提出的分层分域场景中,云-边-车三层架构之间需要交换模型参数或者梯度信息,这会造成大量通信开销,而车辆接入和离开RSU的时刻是一个概率问题,参与车辆并不能保证同时在线训练。通过优化算法,本发明采用两级模型聚合方式分别最小化本地损失函数和最小化全局损失函数,异步模式会减少整个算法的运行时间并最小化云边通信次数Ms-c和边端通信次数Me-c,在保证一定精确度的情况下,减小通信开销,提高车辆接入的异步性和模型可用的实时性。最优化函数表示如下:
s.t.|Ci|>0(i=0,1,...|S|) (8)
ns>ms>0(s=0,1,...|S|) (9)
3、aFedV算法的设计与分析
这一部分本发明设计了基于云边端分层分域的异步联邦学习聚合算法,该算法考虑车辆移动场景,综合了云计算和边缘计算的优势。
3.1聚合算法的设计
aFedV算法由两级聚合算法组成,边缘侧聚合在边缘域服务器执行,负责域内模型参数的更新和最小化本地损失函数;云侧聚合在云中心执行,负责全局模型参数的更新和最小化全局损失函数,两级聚合算法都采用异步模式,算法伪代码见表2。
表2 aFedV算法的伪代码
3.2 aFedV算法分析
传统联邦学习训练总时间受限于底层客户端和聚合算法,这其中包括不确定的训练时延,排队时延,传输时延等,同步聚合模式每轮的聚合时间取决于花费时间最长的客户端。本发明提出的异步聚合算法采用异步接入模式,尤其适用于移动终端,算法利用云边,边-端的通信优势,在通信轮次和计算开销上做出权衡。和弥补了传统算法的不足,算法每轮的运行时间由先训练完成的车辆决定,因此异步模式可以有效的减少整个训练的运行时间,有利于整个算法的快速收敛。
联邦学习是一种模型无关的主从式机器学习训练架构,本发明提出的云边端分层分域***架构继承了该优点,同时又具有强鲁棒性和泛化能力的特性。初始时,各联邦成员共享一个模型,在训练过程中,各个车辆用自己的原始数据训练,因此每个客户端的模型有倾向于自身数据的特征,然而在经过一轮边缘聚合后,当前本地模型又具有域内其他车辆数据的特征,经过进一步云端聚合后,当前本地模型就会包含全局车辆数据的特征,此时云端模型均匀(impartial)拥有所有参与训练车辆数据的特征。
另外由于车辆的异步接入,车联网环境中不确定的网络时延,节点差异化的算力条件等,从时间维度上看这些联邦成员的参与时间和结束时间都是不确定的,这就造成一部分车辆准备参与训练时一部分车辆已经迭代一些轮次。得益于异步算法中的参数下发函数,新加入参与训练的车辆始终得到的是当前最新模型,这种特性在车联网这种时间敏感性场景中具有很大优势。
本发明提出的aFedV异步聚合算法是一种联邦优化算法,是在已有的模型平均算法上的优化,该算法可以有效解决移动车联网场景中数据集不均匀分布问题,见图5。
4、实验结果
这一部分针对本发明所提出的分层分域框架和异步聚合算法开展仿真实验以此来证明本发明的优势。
本发明在MNIST数据集和卷积神经网络以及多个计算单元上开展实验。MNIST数据集是十分类手写数字识别数据集,由60000个训练样本和10000个测试样本组成,每个样本都是一张28*28像素的灰度手写数字图片。本发明使用CNN对MNIST数据集进行图像分类,其中卷积神经网络结构为两个5*5的卷积层,分别有10和20个通道,每个卷积层后面有一个2*2的池化层和ReLu激活函数,最后通过320个神经单元的线性层输出,整个网络模型共8490个参数。关于计算单元,本发明采用基于泊松分布的车辆到达模型动态生成车辆并且设置车辆生命周期,模拟车联网场景中车辆在计算过程中上下线情况,其中车辆分布在4个域服务器中,域-边缘服务器连接到云中心。
假设车辆到达RSU信号范围服从λ=0.7的泊松分布,每秒到达车辆个数如图6所示。
根据图6,车辆开始参与分层分域联邦学习时在时间维度上是异步的,通过aFedV算法接入边缘聚合和云端聚合。
均衡MNIST数据集局部车辆CNN模型的精度如图7所示。
本发明设置当本地车辆训练一个完整的epoch后用测试集测试,在某次实验中,所有车辆本地模型测试精度如图8所示。由云端模型的精确度曲线可知,经过平均39次迭代达到了本发明预设的85%的精确度。
本发明发现在达到预设精度过程中每辆车的acc曲线长度是不一样的,即他们迭代次数不同,这是因为车辆是基于泊松分布到达RSU信号范围,在不同时间点加入联邦学习。从图8也可以看出虽然每辆车迭代次数不同,但最后云端模型都趋于收敛。
在实际车联网场景中车辆上数据的非均匀分布经常出现,由于车辆用户使用情况不同,其产生的数据量大小有差别,图9展示了数据集非均匀分布实验中不同车辆的数据样本数量和比例。
图10展示了样本非均匀分布场景下车辆本地训练loss曲线,由于后加入的车辆在参与联邦学习初始时获得的是边缘下发的最新模型,因此其loss曲线下降速度很快,经过大概2次迭代就达到最近最低loss值。
表3分层分域异步联邦学习云边端通信次数
上述实验中,本发明统计了云-边和边-端通信次数,见表3,可以看到在云边端分层分域***架构下,云边通信次数比边端通信次数少6倍,这是因为本发明利用了云计算和边缘计算的优势,通过设计异步聚合算法,让域边缘服务器当中间媒介以减少通信次数。
5、总结
本发明提出了一种在车联网场景下基于云边端网络分层分域的异步联邦学习架构,并提出了适用于该框架的异步聚合算法aFedV,通过理论分析,该算法能使车辆动态加入联邦学习过程并获得最新模型,减少整个训练过程的通信次数。针对非均衡数据分布,本发明在MNIST数据集上展开实验,从云端模型结果来看,在保证一定精度下,aFedV能快速有效收敛。未来,本发明将区块链技术结合分层分域的异步联邦学习架构,关注***中基于移动性的隐私保护机制。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用全部或部分地以计算机程序产品的形式实现,所述计算机程序产品包括一个或多个计算机指令。在计算机上加载或执行所述计算机程序指令时,全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输)。所述计算机可读取存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如软盘、硬盘、磁带)、光介质(例如DVD)、或者半导体介质(例如固态硬盘Solid StateDisk(SSD))等。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,都应涵盖在本发明的保护范围之内。
Claims (10)
1.一种移动车辆的异步联邦学习方法,其特征在于,所述移动车辆的异步联邦学习方法包括:
初始时,本地车辆设备从所属域服务器获取机器学习初始参数或上一轮聚合结果,经过一定轮次本地机器学习训练后,车辆将模型梯度上传到所属域;边缘域服务器异步接收车辆上传的模型梯度后进行边缘聚合,域边缘服务器将聚合结果下发给域内所有车辆完成域内局部参数更新;
同时域服务器将结果上传到云中心进行二次聚合,云端同样采用异步模式接收边缘服务器的模型梯度,云侧聚合完成后,向所有边缘服务器下发聚合结果,边缘服务器作为中间媒介下发参数给所有车辆完成全局参数更新;此时一轮全局训练过程结束,整个***中异步接入模式构成一个闭环,一直持续上述过程,直至模型训练达到预设的精度或者整个算法收敛。
2.如权利要求1所述的移动车辆的异步联邦学习方法,其特征在于,所述移动车辆的异步联邦学习方法包括以下步骤:
步骤一,综合利用云计算和边缘计算,通过引入“域”的概念管理范围内的参数更新,并提出基于云边车的网络分层分域架构;
步骤二,提出适用于所述基于云边车的网络分层分域架构的异步联邦学习聚合算法aFedV,并采用异步模式更新参数;
步骤三,针对所述聚合算法和分层分级架构,在不同数据分布上开展实验,从模型训练准确率和通信开销方面验证aFedV算法的性能。
3.如权利要求1所述的移动车辆的异步联邦学习方法,其特征在于,所述移动车辆的异步联邦学习方法,还包括分层分域模型的构建;其中,所述分层分域模型参数定义如下:
云边端场景下有u个边缘域服务器,E={e1,e2,…,eu}表示u个边缘域服务器的集合,其中eu表示第u个边缘域服务器;s为域边缘服务器所在域,其中S={s1,s2,…,si}表示所有域的集合;每个边缘域服务器覆盖范围内共有v个车辆,C={c1,c2,…,cv}表示这v个车辆的集合,其中cv表示第v个车辆,cv i表示第i个域内的第v个车辆,Di v表示第i个域内第v个车辆产生的训练样本,样本个数用d=|Di v|表示;其中,所述分层分域的异步联邦学习流程参数,还包括:
l为本地训练轮次索引,L为本地训练总轮次,m表示边缘聚合次数,n表示云端聚合次数,h为每执行h次本地机器学习向边缘服务器上传本地模型梯度,k为每执行k次边缘聚合执行一次云端聚合;
假设当前有|S|个域,每个域下有一个路侧单元,通信覆盖范围内存在一个域-边缘服务器eu,该域内车辆行驶路段为目标路段;由于RSU的传输半径远远大于道路宽度,因此忽略道路宽度并将底层路车模型简化为一维模型;在t时间段内,到达目标路段内车辆数量服从参数为λ的Poisson分布,即:
经过h次本地训练,车辆cv i将更新后的梯度上传至边缘域服务器eu执行边缘聚合,边缘聚合公式如下:
边缘服务器将更新后的梯度下发给域内所有车辆,车辆在进行本地参数更新的同时接受边缘服务器下发的梯度进行局部参数更新同时,每经过k轮边缘聚合,各边缘服务器将聚合得到的梯度上传至云服务器执行云端聚合,云端聚合公式如下:
4.如权利要求1所述的移动车辆的异步联邦学习方法,其特征在于,所述移动车辆的异步联邦学习方法,还包括:
针对分层分域联邦学习架构提出联邦成员异步连接的问题,在车联网环境中,车辆动态参与联邦学习会影响聚合过程和训练结果,建立该问题的模型,通过设计聚合算法解决该问题;
分层分域场景中,采用两级模型聚合方式分别最小化本地损失函数和最小化全局损失函数,异步模式会减少整个算法的运行时间并最小化云边通信次数Ms-c和边端通信次数Me-c;其中,所述最优化函数表示如下:
s.t.|Ci|>0(i=0,1,…|S|);
ns>ms>0(s=0,1,...|S|);
7.一种计算机设备,其特征在于,所述计算机设备包括存储器和处理器,所述存储器存储有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行如下步骤:
初始时,本地车辆设备从所属域服务器获取机器学习初始参数或上一轮聚合结果,经过一定轮次本地机器学习训练后,车辆将模型梯度上传到所属域;边缘域服务器异步接收车辆上传的模型梯度后进行边缘聚合,域边缘服务器将聚合结果下发给域内所有车辆完成域内局部参数更新;
同时域服务器将结果上传到云中心进行二次聚合,云端同样采用异步模式接收边缘服务器的模型梯度,云侧聚合完成后,向所有边缘服务器下发聚合结果,边缘服务器作为中间媒介下发参数给所有车辆完成全局参数更新;此时一轮全局训练过程结束,整个***中异步接入模式构成一个闭环,一直持续上述过程,直至模型训练达到预设的精度或者整个算法收敛。
8.一种计算机可读存储介质,存储有计算机程序,所述计算机程序被处理器执行时,使得所述处理器执行如下步骤:
初始时,本地车辆设备从所属域服务器获取机器学习初始参数或上一轮聚合结果,经过一定轮次本地机器学习训练后,车辆将模型梯度上传到所属域;边缘域服务器异步接收车辆上传的模型梯度后进行边缘聚合,域边缘服务器将聚合结果下发给域内所有车辆完成域内局部参数更新;
同时域服务器将结果上传到云中心进行二次聚合,云端同样采用异步模式接收边缘服务器的模型梯度,云侧聚合完成后,向所有边缘服务器下发聚合结果,边缘服务器作为中间媒介下发参数给所有车辆完成全局参数更新;此时一轮全局训练过程结束,整个***中异步接入模式构成一个闭环,一直持续上述过程,直至模型训练达到预设的精度或者整个算法收敛。
9.一种实施权利要求1~6任意一项所述移动车辆的异步联邦学习方法的移动车辆的异步联邦学习***,其特征在于,所述移动车辆的异步联邦学习***,包括用户层、域-边缘服务器层和数据处理中心层;
用户层,由车联网环境下众多车辆组成,车辆作为端设备,为机器学习提供原始训练数据和本地训练所需的计算资源;所述车辆在地理空间上被划分到多个域,同一个路侧单元信号覆盖范围内的车辆属于同一个域,并接受对应域服务器的管理;
域-边缘服务器层,由网络边缘的服务器组成,在车联网环境中,所述服务器是为车辆提供服务的路侧单元或基站,所述边缘服务器与其域内的所有车辆用户频繁通信以更新模型参数;对域服务器进行逻辑抽象,每一个域服务器都是一个逻辑客户端,仅对云中心可见;
云数据处理中心层,有整个网络的全局视图,提出异步聚合流程,各域-边缘服务器将边侧模型聚合结果上传到云中心,云中心进行云侧全局模型聚合,大部分通信发生在云中心和逻辑客户端之间,“域”屏蔽底层车辆信息,真实客户端对云不可见也无需通信。
10.一种信息数据处理终端,其特征在于,所述信息数据处理终端用于实现如权利要求9所述的移动车辆的异步联邦学习***。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111229664.1A CN114116198A (zh) | 2021-10-21 | 2021-10-21 | 一种移动车辆的异步联邦学习方法、***、设备及终端 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111229664.1A CN114116198A (zh) | 2021-10-21 | 2021-10-21 | 一种移动车辆的异步联邦学习方法、***、设备及终端 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114116198A true CN114116198A (zh) | 2022-03-01 |
Family
ID=80376499
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111229664.1A Pending CN114116198A (zh) | 2021-10-21 | 2021-10-21 | 一种移动车辆的异步联邦学习方法、***、设备及终端 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114116198A (zh) |
Cited By (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114745383A (zh) * | 2022-04-08 | 2022-07-12 | 浙江金乙昌科技股份有限公司 | 一种移动边缘计算辅助多层联邦学习方法 |
CN114827198A (zh) * | 2022-03-31 | 2022-07-29 | 电子科技大学 | 一种应用于车联网的多层中心异步联邦学习方法 |
CN114936606A (zh) * | 2022-06-10 | 2022-08-23 | 山东大学 | 适用于边缘物联代理装置的异步去中心化模型训练方法 |
CN114945044A (zh) * | 2022-07-25 | 2022-08-26 | 北京智芯微电子科技有限公司 | 基于联邦学***台构建方法、装置及设备 |
CN115037618A (zh) * | 2022-06-06 | 2022-09-09 | 电子科技大学 | 一种基于KubeEdge的轻量级边缘智能协同联邦学习平台 |
CN115277446A (zh) * | 2022-07-12 | 2022-11-01 | 中国信息通信研究院 | 一种节能的在网联邦学习网络和方法 |
CN115277689A (zh) * | 2022-04-29 | 2022-11-01 | 国网天津市电力公司 | 一种基于分布式联邦学习的云边网络通信优化方法及*** |
CN115376031A (zh) * | 2022-10-24 | 2022-11-22 | 江西省科学院能源研究所 | 基于联邦自适应学习的公路无人机巡检数据处理方法 |
CN115422820A (zh) * | 2022-06-02 | 2022-12-02 | 国汽智控(北京)科技有限公司 | 应用于预测路况的联邦学习模型训练方法、路况预测方法 |
CN115481752A (zh) * | 2022-09-23 | 2022-12-16 | 中国电信股份有限公司 | 模型训练方法、装置、电子设备以及存储介质 |
CN115987694A (zh) * | 2023-03-20 | 2023-04-18 | 杭州海康威视数字技术股份有限公司 | 基于多域联邦的设备隐私保护方法、***和装置 |
CN116094993A (zh) * | 2022-12-22 | 2023-05-09 | 电子科技大学 | 一种适用于边缘计算场景下的联邦学习安全聚合方法 |
CN116546429A (zh) * | 2023-06-06 | 2023-08-04 | 江南大学 | 一种车联网联邦学习中的车辆选择方法和*** |
WO2023208043A1 (zh) * | 2022-04-29 | 2023-11-02 | 索尼集团公司 | 用于无线通信***的电子设备、方法和存储介质 |
CN117076132A (zh) * | 2023-10-12 | 2023-11-17 | 北京邮电大学 | 分层联邦学习***的资源分配及聚合优化方法及装置 |
CN117592094A (zh) * | 2023-10-20 | 2024-02-23 | 深圳信息职业技术学院 | 隐私数据集处理方法、装置、计算机设备及存储介质 |
CN117812564A (zh) * | 2024-02-29 | 2024-04-02 | 湘江实验室 | 一种应用于车联网的联邦学习方法、装置、设备及介质 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021016596A1 (en) * | 2019-07-25 | 2021-01-28 | Nvidia Corporation | Deep neural network for segmentation of road scenes and animate object instances for autonomous driving applications |
CN112817653A (zh) * | 2021-01-22 | 2021-05-18 | 西安交通大学 | 一种基于云边端的联邦学习计算卸载计算***及方法 |
US11017322B1 (en) * | 2021-01-28 | 2021-05-25 | Alipay Labs (singapore) Pte. Ltd. | Method and system for federated learning |
CN113204443A (zh) * | 2021-06-03 | 2021-08-03 | 京东科技控股股份有限公司 | 基于联邦学习框架的数据处理方法、设备、介质及产品 |
CN113283177A (zh) * | 2021-06-16 | 2021-08-20 | 江南大学 | 一种基于异步联邦学习的移动感知缓存方法 |
CN113419857A (zh) * | 2021-06-24 | 2021-09-21 | 广东工业大学 | 一种基于边缘数字孪生关联的联邦学习方法及*** |
CN113435472A (zh) * | 2021-05-24 | 2021-09-24 | 西安电子科技大学 | 车载算力网络用户需求预测方法、***、设备、介质 |
CN113467927A (zh) * | 2021-05-20 | 2021-10-01 | 杭州趣链科技有限公司 | 一种基于区块链的参与方可信任的联邦学习方法和装置 |
-
2021
- 2021-10-21 CN CN202111229664.1A patent/CN114116198A/zh active Pending
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021016596A1 (en) * | 2019-07-25 | 2021-01-28 | Nvidia Corporation | Deep neural network for segmentation of road scenes and animate object instances for autonomous driving applications |
CN112817653A (zh) * | 2021-01-22 | 2021-05-18 | 西安交通大学 | 一种基于云边端的联邦学习计算卸载计算***及方法 |
US11017322B1 (en) * | 2021-01-28 | 2021-05-25 | Alipay Labs (singapore) Pte. Ltd. | Method and system for federated learning |
CN113467927A (zh) * | 2021-05-20 | 2021-10-01 | 杭州趣链科技有限公司 | 一种基于区块链的参与方可信任的联邦学习方法和装置 |
CN113435472A (zh) * | 2021-05-24 | 2021-09-24 | 西安电子科技大学 | 车载算力网络用户需求预测方法、***、设备、介质 |
CN113204443A (zh) * | 2021-06-03 | 2021-08-03 | 京东科技控股股份有限公司 | 基于联邦学习框架的数据处理方法、设备、介质及产品 |
CN113283177A (zh) * | 2021-06-16 | 2021-08-20 | 江南大学 | 一种基于异步联邦学习的移动感知缓存方法 |
CN113419857A (zh) * | 2021-06-24 | 2021-09-21 | 广东工业大学 | 一种基于边缘数字孪生关联的联邦学习方法及*** |
Non-Patent Citations (3)
Title |
---|
YUNLONG LU: ""Differentially Private Asynchronous Federated Learning for Mobile Edge Computing in Urban Informatics"", 《IEEE TRANSACTIONS ON INDUSTRIAL INFORMATICS》, vol. 16, no. 3, 31 March 2020 (2020-03-31), pages 2134 - 2143, XP011768092, DOI: 10.1109/TII.2019.2942179 * |
夕月一弯: ""联邦学习综述"", Retrieved from the Internet <URL:《https://www.cnblogs.com/wt869054461/p/12375011.html》> * |
廖钰盈: ""面向异构边缘节点的融合联邦学习机制研究"", 《中国优秀硕士学位论文全文数据库 信息科技辑》, no. 2021, 15 May 2021 (2021-05-15), pages 138 - 630 * |
Cited By (28)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114827198A (zh) * | 2022-03-31 | 2022-07-29 | 电子科技大学 | 一种应用于车联网的多层中心异步联邦学习方法 |
CN114827198B (zh) * | 2022-03-31 | 2023-04-28 | 电子科技大学 | 一种应用于车联网的多层中心异步联邦学习方法 |
CN114745383A (zh) * | 2022-04-08 | 2022-07-12 | 浙江金乙昌科技股份有限公司 | 一种移动边缘计算辅助多层联邦学习方法 |
CN115277689A (zh) * | 2022-04-29 | 2022-11-01 | 国网天津市电力公司 | 一种基于分布式联邦学习的云边网络通信优化方法及*** |
WO2023208043A1 (zh) * | 2022-04-29 | 2023-11-02 | 索尼集团公司 | 用于无线通信***的电子设备、方法和存储介质 |
CN115277689B (zh) * | 2022-04-29 | 2023-09-22 | 国网天津市电力公司 | 一种基于分布式联邦学习的云边网络通信优化方法及*** |
CN115422820A (zh) * | 2022-06-02 | 2022-12-02 | 国汽智控(北京)科技有限公司 | 应用于预测路况的联邦学习模型训练方法、路况预测方法 |
CN115422820B (zh) * | 2022-06-02 | 2023-09-19 | 国汽智控(北京)科技有限公司 | 应用于预测路况的联邦学习模型训练方法、路况预测方法 |
CN115037618A (zh) * | 2022-06-06 | 2022-09-09 | 电子科技大学 | 一种基于KubeEdge的轻量级边缘智能协同联邦学习平台 |
CN115037618B (zh) * | 2022-06-06 | 2023-11-07 | 电子科技大学 | 一种基于KubeEdge的轻量级边缘智能协同联邦学习平台 |
CN114936606A (zh) * | 2022-06-10 | 2022-08-23 | 山东大学 | 适用于边缘物联代理装置的异步去中心化模型训练方法 |
CN115277446A (zh) * | 2022-07-12 | 2022-11-01 | 中国信息通信研究院 | 一种节能的在网联邦学习网络和方法 |
CN114945044B (zh) * | 2022-07-25 | 2022-11-08 | 北京智芯微电子科技有限公司 | 基于联邦学***台构建方法、装置及设备 |
CN114945044A (zh) * | 2022-07-25 | 2022-08-26 | 北京智芯微电子科技有限公司 | 基于联邦学***台构建方法、装置及设备 |
CN115481752B (zh) * | 2022-09-23 | 2024-03-19 | 中国电信股份有限公司 | 模型训练方法、装置、电子设备以及存储介质 |
CN115481752A (zh) * | 2022-09-23 | 2022-12-16 | 中国电信股份有限公司 | 模型训练方法、装置、电子设备以及存储介质 |
CN115376031B (zh) * | 2022-10-24 | 2023-03-24 | 江西省科学院能源研究所 | 基于联邦自适应学习的公路无人机巡检数据处理方法 |
CN115376031A (zh) * | 2022-10-24 | 2022-11-22 | 江西省科学院能源研究所 | 基于联邦自适应学习的公路无人机巡检数据处理方法 |
CN116094993A (zh) * | 2022-12-22 | 2023-05-09 | 电子科技大学 | 一种适用于边缘计算场景下的联邦学习安全聚合方法 |
CN116094993B (zh) * | 2022-12-22 | 2024-05-31 | 电子科技大学 | 一种适用于边缘计算场景下的联邦学习安全聚合方法 |
CN115987694A (zh) * | 2023-03-20 | 2023-04-18 | 杭州海康威视数字技术股份有限公司 | 基于多域联邦的设备隐私保护方法、***和装置 |
CN116546429A (zh) * | 2023-06-06 | 2023-08-04 | 江南大学 | 一种车联网联邦学习中的车辆选择方法和*** |
CN116546429B (zh) * | 2023-06-06 | 2024-01-16 | 杭州一诺科创信息技术有限公司 | 一种车联网联邦学习中的车辆选择方法和*** |
CN117076132A (zh) * | 2023-10-12 | 2023-11-17 | 北京邮电大学 | 分层联邦学习***的资源分配及聚合优化方法及装置 |
CN117076132B (zh) * | 2023-10-12 | 2024-01-05 | 北京邮电大学 | 分层联邦学习***的资源分配及聚合优化方法及装置 |
CN117592094A (zh) * | 2023-10-20 | 2024-02-23 | 深圳信息职业技术学院 | 隐私数据集处理方法、装置、计算机设备及存储介质 |
CN117812564A (zh) * | 2024-02-29 | 2024-04-02 | 湘江实验室 | 一种应用于车联网的联邦学习方法、装置、设备及介质 |
CN117812564B (zh) * | 2024-02-29 | 2024-05-31 | 湘江实验室 | 一种应用于车联网的联邦学习方法、装置、设备及介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN114116198A (zh) | 一种移动车辆的异步联邦学习方法、***、设备及终端 | |
Elgendy et al. | Joint computation offloading and task caching for multi-user and multi-task MEC systems: reinforcement learning-based algorithms | |
Zhou et al. | [Retracted] Machine Learning‐Based Offloading Strategy for Lightweight User Mobile Edge Computing Tasks | |
CN113435472A (zh) | 车载算力网络用户需求预测方法、***、设备、介质 | |
Zhai et al. | Toward reinforcement-learning-based service deployment of 5G mobile edge computing with request-aware scheduling | |
CN112395090B (zh) | 一种移动边缘计算中服务放置的智能混合优化方法 | |
CN104995870A (zh) | 多目标服务器布局确定 | |
CN110968426A (zh) | 一种基于在线学习的边云协同k均值聚类的模型优化方法 | |
Xiao et al. | Collaborative cloud-edge service cognition framework for DNN configuration toward smart IIoT | |
CN111488528A (zh) | 内容缓存管理方法及装置、电子设备 | |
CN114327889A (zh) | 一种面向分层联邦边缘学习的模型训练节点选择方法 | |
EP4158556A1 (en) | Collaborative machine learning | |
Qayyum et al. | Mobility-aware hierarchical fog computing framework for Industrial Internet of Things (IIoT) | |
Cui et al. | A secure and decentralized DLaaS platform for edge resource scheduling against adversarial attacks | |
Sun et al. | SORD: A new strategy of online replica deduplication in Cloud-P2P | |
CN111770152B (zh) | 一种边缘数据管理方法、介质、边缘服务器和*** | |
Jin et al. | A real-time multimedia streaming transmission control mechanism based on edge cloud computing and opportunistic approximation optimization | |
Li et al. | High-precision cluster federated learning for smart home: An edge-cloud collaboration approach | |
CN111935026A (zh) | 一种数据传输方法、装置、处理设备及介质 | |
Li et al. | Routing algorithm based on triangular fuzzy layer model and multi‐layer clustering for opportunistic network | |
Zhang et al. | A locally distributed mobile computing framework for DNN based android applications | |
CN113992520B (zh) | 一种虚拟网络资源的部署方法和*** | |
Chen et al. | A vehicle-assisted computation offloading algorithm based on proximal policy optimization in vehicle edge networks | |
WO2022253454A2 (en) | Dimensioning of telecommunication infrastructure | |
Kang et al. | Joint task offloading and resource allocation strategy for DiffServ in vehicular cloud system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |