CN117812564B - 一种应用于车联网的联邦学习方法、装置、设备及介质 - Google Patents

一种应用于车联网的联邦学习方法、装置、设备及介质 Download PDF

Info

Publication number
CN117812564B
CN117812564B CN202410229646.0A CN202410229646A CN117812564B CN 117812564 B CN117812564 B CN 117812564B CN 202410229646 A CN202410229646 A CN 202410229646A CN 117812564 B CN117812564 B CN 117812564B
Authority
CN
China
Prior art keywords
vehicle
vehicles
cluster
training
federal learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202410229646.0A
Other languages
English (en)
Other versions
CN117812564A (zh
Inventor
曹敦
熊佳斯
黄世锐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiangjiang Laboratory
Original Assignee
Xiangjiang Laboratory
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiangjiang Laboratory filed Critical Xiangjiang Laboratory
Priority to CN202410229646.0A priority Critical patent/CN117812564B/zh
Publication of CN117812564A publication Critical patent/CN117812564A/zh
Application granted granted Critical
Publication of CN117812564B publication Critical patent/CN117812564B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W40/00—Communication routing or communication path finding
    • H04W40/24—Connectivity information management, e.g. connectivity discovery or connectivity update
    • H04W40/32—Connectivity information management, e.g. connectivity discovery or connectivity update for defining a routing cluster membership
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Traffic Control Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本申请涉及了一种应用于车联网的联邦学习方法、装置、设备及介质，方法构建了车辆本地训练、簇内模型聚合和服务器全局聚合的联邦学习分布式训练网络，并为了满足车辆联邦学习服务质量要求的同时支持尽可能快的模型收敛，构建了全局模型聚合的收敛时间最小化问题；其中，将服务器覆盖范围内的多个车辆划分成多个车辆簇，采用参与全局模型每轮训练的车辆簇不固定但数量固定的策略，实现了一种动态的半异步分簇式的联邦学习方法，降低了Non‑IID数据对学习过程的影响，缓解了掉队者问题，减少了训练时间和资源成本，同时也保持了学习的准确性。

Description

一种应用于车联网的联邦学习方法、装置、设备及介质
技术领域
本申请实施例涉及车联网技术领域，尤其涉及一种应用于车联网的联邦学习方法、装置、设备及介质。
背景技术
在车联网(IoV)***中，联邦学习(FL)是一种处理实时车辆数据的新型分布式方法，可以在确保数据隐私的同时训练共享学习模型。然而，现有的联邦学习在车联网领域仍面临如下挑战：
现有的联邦学习聚合方法根据聚合类型不同可分为同步和异步方法，对于同步联邦学习协议，服务器需要收集所有在执行聚合过程前从车辆用户获取参数，但由于车辆用户的网络资源或硬件资源不佳引起的掉队者效应；相反，在异步联邦学习协议中，参数服务器可以聚合参数，但其引起的梯度发散会进一步降低模型的性能。
发明内容
以下是对本文详细描述的主题的概述。本概述并非是为了限制权利要求的保护范围。
本发明实施例的主要目的在于提出一种应用于车联网的联邦学习方法、装置、设备及介质，能够减少训练时间和资源成本。
为实现上述目的，本发明实施例的第一方面提供一种应用于车联网的联邦学习方法，适用于车联网分簇式联邦学习网络模型，所述车联网分簇式联邦学习网络模型包括：服务器和位于所述服务器覆盖范围内的多个车辆；所述多个车辆划分为多个车辆簇，每一个所述车辆簇至少有一个车辆作为领导节点；所述服务器用于接收参与当前轮训练的所述车辆簇发送的当前轮的车辆簇模型参数并聚合，得到下一轮的全局模型参数；参与当前轮训练的所述车辆簇的所述领导节点用于接收所述车辆簇中所有车辆发送的当前轮的本地模型参数，进行聚合得到当前轮的车辆簇模型参数，并上传至所述服务器；参与当前轮训练的所述车辆簇的所述车辆用于根据所述服务器下发的当前轮的全局模型参数对本地模型进行训练，得到当前轮的本地模型参数，并发送至所述领导节点；
所述应用于车联网的联邦学习方法，包括：
在以参与全局模型每轮训练的所述车辆簇不固定但数量固定的策略下，构建最小化全局模型联邦学习训练时间的目标函数；其中全局模型每轮训练的训练时间至少包括车辆的本地计算时间以及所述领导节点与所述服务器之间的通信时间；
求解所述目标函数，得到求解结果，并按照所述求解结果执行全局模型联邦训练。
本申请的一个实施例提供了一种应用于车联网的联邦学习方法，方法构建了车辆本地训练、簇内模型聚合和服务器全局聚合的联邦学习分布式训练网络，并为了满足车辆联邦学习服务质量要求的同时支持尽可能快的模型收敛，构建了全局模型聚合的收敛时间最小化问题；其中，将服务器覆盖范围内的多个车辆划分成多个车辆簇，采用参与全局模型每轮训练的车辆簇不固定但数量固定的策略，实现了一种动态的半异步分簇式的联邦学习方法，降低了Non-IID数据对学习过程的影响，缓解了掉队者问题，减少了训练时间和资源成本，同时也保持了学习的准确性。
在一些实施例中，所述多个车辆划分为多个车辆簇，包括：
根据车辆的恒定速度计算车辆在所述服务器的覆盖范围内的逗留时间；
确定最短逗留时间和车辆的第一邻域车辆，所述车辆的第一邻域车辆是指当前时间与车辆之间的距离不大于第一阈值的其余车辆；在从所述当前时间进展至所述最短逗留时间后，从所述车辆的第一领域车辆中选取出与车辆之间的距离不大于所述第一阈值的其余车辆形成车辆的第二邻域车辆；
构建所述车辆簇：
如果第一车辆的第二邻域车辆的数量超过第二阈值，将所述第一车辆和所述第一车辆的第二邻域车辆建立初始簇；所述第一车辆是所述多个车辆中的任意一个车辆；
如果第二车辆的第二邻域车辆的数量超过所述第二阈值，将所述第二车辆的第二邻域车辆中没有加入所述初始簇中的车辆加入至所述初始簇中；所述第二车辆是所述第一车辆的第二邻域车辆中的任意一个车辆；
如果第三车辆的第二邻域车辆的数量超过所述第二阈值，将所述第三车辆的第二邻域车辆中没有加入所述初始簇中的车辆加入至所述初始簇中；所述第三车辆是所述第二车辆的第二邻域车辆中的任意一个车辆；
依次类推，直至将所述初始簇形成完整的车辆簇。
在一些实施例中，在形成完整的车辆簇之后，所述应用于车联网的联邦学习方法还包括：
从所述车辆簇中选取出一个车辆作为基准车辆；
判断所述车辆簇中任意一个车辆与所述基准车辆之间的本地模型参数的余弦相似度；
将所述余弦相似度小于第三阈值的对应车辆移出所述车辆簇。
在一些实施例中，所述目标函数为：
其中，约束条件表示边缘迭代过长中的停止条件，/>，当/>时，全局模型将得到精确解，当/>时，全局模型没有进展，/>表示第/>轮全局聚合的梯度，表示第/>轮全局聚合的梯度；约束条件/>表示联邦学习每轮训练的时间约束，表示联邦学习的每轮最大可接受全局训练时间，/>表示联邦学习的第/>轮的全局训练时间；约束条件/>表示车辆簇/>第/>轮全局聚合的总时间耗费/>不超过车辆簇/>内车辆的最短逗留时间/>，/>表示车辆/>在服务器的逗留时间；约束条件/>表示/>为一个二元变量，/>表示车辆簇/>未参与第/>轮联邦学习聚合，/>表示车辆簇/>参与第/>轮联邦学习聚合，/>为半异步聚合矩阵；约束条件/>表示超参数/>和/>之和为1；/>表示所述多个车辆划分为多个车辆簇的划分策略；
表示车辆簇的数量，/>表示全局模型训练的次数。
在一些实施例中，所述求解所述目标函数，包括：
将所述目标函数转换成马尔科夫决策过程；
采用TD3算法求解所述马尔科夫决策过程。
在一些实施例中，所述领导节点是在所述服务器的覆盖范围内具有最长逗留时间的车辆。
在一些实施例中，如果所述领导节点无响应时，选取逗留时间仅次于具有所述最长逗留时间的车辆作为新的领导节点。
为实现上述目的，本发明实施例的第二方面提供了一种应用于车联网的联邦学习装置，适用于车联网分簇式联邦学习网络模型，所述车联网分簇式联邦学习网络模型包括：服务器和位于所述服务器覆盖范围内的多个车辆；所述多个车辆划分为多个车辆簇，每一个所述车辆簇至少有一个车辆作为领导节点；所述服务器用于接收参与当前轮训练的所述车辆簇发送的当前轮的车辆簇模型参数并聚合，得到下一轮的全局模型参数；参与当前轮训练的所述车辆簇的所述领导节点用于接收所述车辆簇中所有车辆发送的当前轮的本地模型参数，进行聚合得到当前轮的车辆簇模型参数，并上传至所述服务器；参与当前轮训练的所述车辆簇的所述车辆用于根据所述服务器下发的当前轮的全局模型参数对本地模型进行训练，得到当前轮的本地模型参数，并发送至所述领导节点；
所述应用于车联网的联邦学习装置包括：
函数构建单元，用于在以参与全局模型每轮训练的所述车辆簇不固定但数量固定的策略下，构建最小化全局模型联邦学习训练时间的目标函数；其中全局模型每轮训练的训练时间至少包括车辆的本地计算时间以及所述领导节点与所述服务器之间的通信时间；
函数求解单元，用于求解所述目标函数，得到求解结果，并按照所述求解结果执行全局模型联邦训练。
为实现上述目的，本发明实施例的第三方面提供一种电子设备，包括：至少一个控制处理器和用于与所述至少一个控制处理器通信连接的存储器；所述存储器存储有可被所述至少一个控制处理器执行的指令，所述指令被所述至少一个控制处理器执行，以使所述至少一个控制处理器能够执行上述的一种应用于车联网的联邦学习方法。
为实现上述目的，本发明实施例的第四方面提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行上述的一种应用于车联网的联邦学习方法。
可以理解的是，上述第二方面至第四方面和相关技术相比存在的有益效果和上述第一方面和相关技术相比存在的有益效果相同，可以参见上述第一方面中的相关描述，在此不再赘述。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请实施例的一些实施例，对于本领域普通技术人员来说，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本申请一个实施例提供的一种应用于车联网的联邦学习方法的流程示意图；
图2是本申请一个实施例提供的分簇策略的流程示意图；
图3是本申请一个实施例提供的根据余弦相似度选取车辆簇中踢除车辆的流程示意图；
图4是本申请一个实施例提供的一种车联网分簇式联邦学习网络模型的架构示意图；
图5是本申请一个实施例提供的半异步分簇式联邦学习的示意图；
图6是本申请一个实施例提供的TD3算法的示意图；
图7是本申请一个实施例提供的一种应用于车联网的联邦学习装置的结构示意图；
图8是本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。
除非另有定义，本文所使用的所有的技术和科学术语和属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的，不是旨在限制本申请。
相关词汇介绍；
联邦学习：作为一种分布式深度学习范式，允许车辆使用本地数据单独训练它们的本地深度学习模型，并将它们聚合成一个全局模型，车辆不直接发送本地数据，只共享本地模型参数，在一定程度上保护了车辆隐私。此外，该过程可以整合一个具有全局特征的网络，实现车辆之间的信息共享，因此，这种灵活的学习方法更适用于车联网。
同步聚合：在同步联邦学习中，每一轮被选中的客户端需要在规定时间片内将训练好的模型上传，服务端需要等到所有被选中的客户端都上传本地模型或者本轮时间片用完才可以开始聚合。同步联邦学习的缺点包括：服务端需要等所有的客户端都完成训练并且上传模型后再进行聚合，而客户端的设备异构性使得他们完成训练的时间长短参差不齐，这就意味着服务端需要一直等待那些计算能力或通信能力弱的设备，这会造成模型训练收敛的总体时间延长，这就是同步联邦学习中的落后者问题。落后者问题带来的另一个问题是服务端在等待落后者的过程中计算资源会被闲置，从而造成计算资源的浪费。
异步聚合：在异步联邦学习中，服务端首先与那些完成训练的客户端进行合作，而不是等所有客户端都训练完毕再聚合。并且客户端在训练完毕后马上与服务端沟通，得到最新的全局模型以开始下一轮的本地训练。异步联邦学习的缺点包括：一方面是这种通信策略使得数据的传输量变得很大，相当于每个客户端都要与服务端单独通信。另一方面，计算能力不强的客户端训练一个本地模型的周期也很长，在这期间，全局模型可能已经与计算能力强的客户端沟通过数轮，则弱客户端使用的全局模型为陈旧的全局模型，训练出来的也就是落后的本地模型，若将落后的本地模型参数上传给全局模型则可能会导致全局模型质量下降。
非独立同分布（Non-IID）：在机器学习优化方法中，数据的独立同分布假设是重要且必要的。正是因为有了这个假设，机器学习模型能够通过训练有限的样本，较好的预测未发生和未学习过的场景。然而，在联邦学习范式中，设备通常在网络中以非均匀的分布的方式生成和收集数据，同时设备中采集的数据数量可能也有很大差异。这种数据采集的非均匀性最常见的来源包括：每个用户设备对应不用的用户，设备地理位置的差异以及设备不同的数据采集时间。
强化学习：强化学习由智能体和环境两部分构成，通过智能体和环境的交互过程获得最大奖励。智能体在环境中获得某个状态后，利用该状态输出一个动作，然后这个动作会在环境中被执行，输出下一个状态和当前动作带来的奖励。强化学习的目的就是使智能体尽可能多的从环境中获得累计奖励。
实施例介绍
参照图1，本申请的一个实施例，提供了一种应用于车联网的联邦学习方法，适用于车联网分簇式联邦学习网络模型，车联网分簇式联邦学习网络模型包括：服务器和位于服务器覆盖范围内的多个车辆；多个车辆划分为多个车辆簇，每一个车辆簇至少有一个车辆作为领导节点；服务器用于接收参与当前轮训练的车辆簇发送的当前轮的车辆簇模型参数并聚合，得到下一轮的全局模型参数；参与当前轮训练的车辆簇的领导节点用于接收车辆簇中所有车辆发送的当前轮的本地模型参数，进行聚合得到当前轮的车辆簇模型参数，并上传至服务器；参与当前轮训练的车辆簇的车辆用于根据服务器下发的当前轮的全局模型参数对本地模型进行训练，得到当前轮的本地模型参数，并发送至领导节点；
应用于车联网的联邦学习方法，包括步骤S110和S120：
步骤S110、在以参与全局模型每轮训练的车辆簇不固定但数量固定的策略下，构建最小化全局模型联邦学习训练时间的目标函数；其中全局模型每轮训练的训练时间至少包括车辆的本地计算时间以及领导节点与服务器之间的通信时间。
步骤S120、求解目标函数，得到求解结果，并按照求解结果执行全局模型联邦训练。
以下详细介绍车联网分簇式联邦学习网络模型，模型包括：
服务器（参数服务器或边缘服务器）和服务器覆盖范围内的车辆，本实施例将所有车辆划分为多个车辆簇，每个车辆都有本地模型，一个车辆簇中有一个车辆作为领导节点。以一轮训练为例，介绍服务器、车辆和领导节点各自的作用：
（1）服务器将当前轮的全局模型参数下发至各个参与当前轮训练的车辆簇对应领导节点；
（2）领导节点将当前轮的全局模型参数发送至车辆簇的每一个车辆中；
（3）车辆根据当前轮的全局模型参数对本地模型进行训练，得到训练完成的当前轮的本地模型参数；
（4）车辆将当前轮的本地模型参数发送至领导节点；
（5）领导节点把车辆簇中所有车辆的当前轮的本地模型参数进行聚合得到当前轮的车辆簇模型参数；
（6）领导节点将当前轮的车辆簇模型参数上传至服务器；
（7）服务器聚合所有车辆簇的领导节点上传的当前轮的车辆簇模型参数，得到下一轮的全局模型参数。然后开启下一轮训练。
在步骤S110中，以参与全局模型每轮训练的车辆簇不固定但数量固定的策略下，构建最小化联邦学习训练时间的目标函数。即每轮训练选取固定数量的车辆簇参与训练，但每一轮参与训练的车辆簇需要依据求解目标函数得到，例如：有5个车辆簇，第一轮训练由第2个车辆簇和第3个车辆簇执行，第二轮训练由第1个车辆簇和第4个车辆簇执行。全局模型每轮训练的训练时间至少包括车辆簇的本地计算时间以及通信时间，其中，每一个车辆簇的组成车辆不同，车辆间的计算能力不同，车辆与服务器之间距离不同也存在不同的通信时间（如领导节点与服务器之间的通信，由于车辆与领导节点之间的通信时间可以忽略不计，因此本实施例暂不考虑车辆与领导节点之间的通信时间），因此选择不同的车辆簇参与，会直接影响整体的训练时间。
因为现有的联邦学习聚合方法根据聚合类型不同可分为同步和异步方法，对于同步联邦学习协议，服务器需要收集所有在执行聚合过程前从车辆用户获取参数，但由于车辆用户的网络资源或硬件资源不佳引起的掉队者效应；相反，在异步联邦学习协议中，参数服务器可以聚合参数，但其引起的梯度发散会进一步降低模型的性能；
本实施例目的是尽可能减少***的通信消耗，加速联邦学习模型的训练时间。于是本方法首先设计了车联网分簇式联邦学习网络模型，模型实现了车辆本地训练、簇内模型聚合和服务器全局聚合的联邦学习分布式训练网络，然后为了满足车辆联邦学习服务质量要求的同时支持尽可能快的模型收敛，构建了全局模型聚合的收敛时间最小化问题；其中，将服务器覆盖范围内的多个车辆划分成多个车辆簇，致力于解决车辆数据的非独立同分布(non-IID)和资源约束带来的影响，采用参与全局模型每轮训练的车辆簇不固定但数量固定的策略，实现了一种动态的半异步分簇式的联邦学习方法，在一定程度上，缓解掉队者问题，减少联邦学习的训练时间和资源成本，同时保持学习准确性。
在车联网的场景中，车辆具有高机动性，因此分簇的策略不仅需要考虑解决车辆数据的非独立同分布(non-IID)所带来影响，而且还需解决车辆的高机动性带来的问题。本申请一些实施例提出了一种分簇方法，参照图2，方法包括步骤S210至步骤S230：
步骤S210、根据车辆的恒定速度计算车辆在服务器的覆盖范围内的逗留时间。
步骤S220、确定最短逗留时间和车辆的第一邻域车辆，车辆的第一邻域车辆是指当前时间与车辆之间的距离不大于第一阈值的其余车辆；在从当前时间进展至最短逗留时间后，从车辆的第一领域车辆中选取出与车辆之间的距离不大于第一阈值的其余车辆形成车辆的第二邻域车辆。
步骤S230、构建车辆簇：
如果第一车辆的第二邻域车辆的数量超过第二阈值，将第一车辆和第一车辆的第二邻域车辆建立初始簇；第一车辆是多个车辆中的任意一个车辆；
如果第二车辆的第二邻域车辆的数量超过第二阈值，将第二车辆的第二邻域车辆中没有加入初始簇中的车辆加入至初始簇中；第二车辆是第一车辆的第二邻域车辆中的任意一个车辆；
如果第三车辆的第二邻域车辆的数量超过第二阈值，将第三车辆的第二邻域车辆中没有加入初始簇中的车辆加入至初始簇中；第三车辆是第二车辆的第二邻域车辆中的任意一个车辆；
依次类推，直至将初始簇形成完整的车辆簇。
在步骤S210中，根据车辆的恒定速度、车辆当前位置至覆盖边缘之间的剩余距离，计算得到车辆从当前位置移动到服务器覆盖边缘所花时间，即逗留时间。
在步骤S220中，确定最短逗留时间，对于任意一个车辆n，该车辆n对应第一邻域车辆是所有车辆中与车辆n距离不大于第一阈值的车辆。再经过最短逗留时间之后，车辆n的第一邻域车辆中与车辆n的距离还不大于第一阈值/>的车辆组成第二邻域车辆。
在步骤S230中，以车辆n为例，如果车辆n的第二邻域车辆的数量超过第二阈值（通常设置为1），建立初始簇，初始簇包括车辆n和车辆n的第二邻域车辆；另外设一个候选集，将车辆n的第二邻域车辆加入至候选集中，依次检测候选集中的每一个车辆，假设候选集中包括车辆o，判断车辆o的第二邻域车辆的数量是否超过1，如果超过，将车辆o的第二邻域车辆中没有加入至初始簇的车辆加入至初始簇，在候选集中删除车辆o，同时，车辆o的第二邻域车辆加入至候选集中，直至候选集为空集。
本实施例设计了一种分簇策略，分簇策略既考虑解决车辆数据的non-IID所带来影响，还增加了速度、逗留时间约束，来保证在服务器覆盖区域内，簇内车辆用户不离开簇的范围，在一定程度上，解决了车辆的高机动性带来的问题，提升了车辆簇分簇的稳定性。
在本申请的一些实施例中，在形成完整的车辆簇之后，如图3，应用于车联网的联邦学习方法还包括步骤S310至步骤S330：
步骤S310、从车辆簇中选取出一个车辆作为基准车辆。
步骤S320、判断车辆簇中任意一个车辆与基准车辆之间的本地模型参数的余弦相似度。
步骤S330、将余弦相似度小于第三阈值的对应车辆移出车辆簇。
本实施例利用车载数据间的Non-IID的特性，通过计算车辆模型梯度更新之间的余弦相似度来保证簇内车辆数据属于同一分布，提升了车辆簇稳定性和可靠性。
本申请的一个实施例，领导节点是在服务器的覆盖范围内具有最长逗留时间的车辆。选择最长逗留时间的车辆作为领导节点最为稳定。
本申请的一个实施例，如果领导节点无响应时，选取逗留时间仅次于具有最长逗留时间的车辆作为新的领导节点。本实施例中对领导节点进行安全冗余设计，即选取一个逗留时间仅次于领导节点的车辆作为领导节点的备选，如果领导节点无响应，则由备选节点执行领导节点的相关工作。
参照图4至图6，本申请提供了一个实施例，提供了一种车联网分簇式联邦学习网络模型及其训练方法，包括：
参照图4，考虑一个单向、直行、多车道车联网场景，场景存在边缘服务器（ES）和车辆用户（VU），所有车辆被分为若干个车辆簇，每一个车辆簇有一个领导节点以及副领导节点。假设个车辆随机分布，组成集合/>，/>个车辆分为/>簇，组成车辆簇集合/>。假设联邦学习全局模型在第/>轮全局聚合后收敛，其中/>。一定安全距离内的车辆由于距离相近采集到的信息高度相似，同时训练的模型也高度相似的情况下，可以假设一段时间内车辆簇中车辆数据集相同且可分块，称之为共享数据块（Shared Data Block, SDB）。在训练过程中，车辆簇中车辆只需要通过各自历史经验数据块（Data Block, DB）训练自身模型，而无需传输原始数据。
假设车辆均沿着轴单向行驶，在时刻t车辆/>的以恒定速度/>行驶，位置信息为，其所处在的边缘服务器/>固定位置为/>，覆盖半径为/>。因此，可以将第个车辆在其ES覆盖范围内的剩余距离定义为：
（1）
只有车辆在边缘服务器的覆盖范围内，参数才能上传到边缘服务器。因此，车辆在边缘服务器处的逗留时间定义为：
（2）
为了计算任意节点和/>(包括车辆用户和边缘服务器)之间的距离，引入欧氏距离公式：
（3）
利用香农容量公式来计算任意节点和/>之间在第/>轮全局聚合的数据速率与节点/>和/>之间距离的函数关系：
（4）
其中，为节点/>的传输功率，/>是节点/>和/>之间距离处的信道增益，/>是噪声功率，/>为节点/>的通信带宽。
在第轮全局聚合过程中，车辆簇/>向所在边缘服务器传输本地模型参数的上行传输时间：
（5）
边缘服务器向车辆簇传输全局模型参数的下行传输时间：
（6）
由于簇内车辆向领导节点的传输参数的时间很短，本实施例忽略此段传输时间，因此，边缘服务器第轮全局聚合，车辆簇/>的通信时间由各个领导节点的上行传输时间、下行传输时间组成：
（7）
（1）车辆模型训练；
本地损失函数：每个VU基于共享数据块（SDB）训练一个本地模型，其中VU第/>轮模型的损失函数定义为：
（8）
其中，表示模型在参数/>下基于训练集样本/>及其对应标签/>的损失函数，/>和/>为对SDB进行分区后的本地训练历史经验数据块（DB）和VU样本个数/>。
车辆接收到全局模型参数/>后，执行/>次迭代以进行本地参数更新：
（9）
其中，为学习率，为车辆/>的本地模型在参数/>下计算出的梯度。
车辆一轮联邦学习本地计算时间和能耗为：
（10）
其中，为样本/>所需要的浮点运算数，每个VU/>的CPU处理能力为/>每转，/>为CPU频率，/>为VU的计算能力。
（2）簇内模型聚合；
车辆簇内车辆将训练完成的模型参数/>传递给领导节点进行簇内聚合，得到车辆簇/>的模型参数：
（11）
为了确定全局模型的收敛性，需要将每个车辆簇的梯度上传到边缘服务器。因此，车辆簇的梯度聚合为：
（12）
车辆簇的一轮联邦学习本地计算时间为：
（13）
（3）全局模型聚合；
传递给边缘服务器进行最终聚合，得到全局模型参数：
（14）
其中，为第/>轮全局聚合时所有参与车辆节点的总样本数。
全局梯度聚合为：
（15）
各车辆簇参与服务器动态半异步聚合矩阵定义为：
（16）
其中，为一个二元变量，/>表示车辆簇/>未参与第/>轮联邦学习聚合，表示车辆簇/>参与第/>轮联邦学习聚合。
假设每轮本地轮数都为，第/>轮全局聚合的开始时刻与本地训练的结束时刻之差值为车辆簇/>的本地计算时间，表示为：
（17）
其中，为车辆簇/>在第/>轮参与全局聚合与上一次参与全局聚合相差几次全局聚合，每轮全局聚合都选了2个车辆簇进行全局聚合，参照图5，即：
；
；
；
在第轮边缘服务器全局聚合中，车辆簇/>的总训练时间为本地计算时间与通信时间之和，表示为：
（18）
对于参数服务器第轮全局聚合时间为第/>轮参与聚合的车辆簇中用时最长的，表示为：
（19）
联邦学习的目标是通过车辆群的协作来训练机器学习模型，获得合适的全局模型参数，但车辆的高移动性使得车辆在边缘服务器内的时间是有限的，并且车联网***实时服务请求要求学习算法要快速收敛。本实施例提出了车辆动态半异步联邦学习以减少联邦学习的训练时间和资源成本，同时保持学习准确性。根据上文提到的车联网分簇式联邦学习网络模型设计目标函数P1：
（20）
其中，目标函数P1是在动态半异步聚合数量矩阵和分簇策略/>下，同时满足约束条件下的情况下最小化联邦学习训练时间和尽可能多的车辆簇参与训练。约束条件/>是边缘迭代过长中的停止条件，其中/>当/>时模型将得到精确解，/>意味着模型根本没有进展；/>表示联邦学习每轮训练的时间约束，其中/>表示联邦学习的每轮最大可接受全局训练时间；/>表示车辆簇/>第/>轮全局聚合的总时间耗费不超过其簇内车辆的最短逗留时间；/>表示/>为一个二元变量，/>表示车辆簇/>未参与第/>轮联邦学习聚合，/>表示车辆簇/>参与第/>轮联邦学习聚合；/>表示所有超参数之和为 1。
1、针对公式(20)，设计分簇策略；
针对簇的稳定性、可靠性和高效等性能，利用DBSCAN的分簇算法机制，加入速度和逗留时间约束，来保证在边缘服务器的覆盖范围内，簇内车辆用户不离开簇的范围，并利用车载数据间的Non-IID的特性，通过计算车辆模型梯度更新之间的余弦相似度来保证簇内车辆数据属于同一分布，最后，通过最晚逗留时间来选择稳定的领导节点，并引入副领导节点来提高模型稳定性。
主要通过四个参数来确定：-邻域（即上述的第一邻域车辆），密度阈值/>，车辆逗留时间/>，恒定速度/>，车辆初始模型参数集合，相似度阈值/>来确定，其中/>和是***确定的超参数。对于车辆/>，其/>-邻域车辆节点是车辆集合/>中所有与/>距离不大于/>的车辆，即：
（21）
通过公式(2)确定集合中车辆用户之间的逗留时间，并将其进行比较以确定中的最小逗留时间：
（22）/>
在车联网***中，计算中节点在最短逗留时间后与车辆/>的距离还满足在/>-邻域的节点集合记作/>+-邻域（即第二邻域车辆），即：
（23）
若车辆在/>+-邻域中至少包含/>个其他车辆，即：
（24）
建立簇，将车辆/>和/>加入簇中，将/>所有节点加入候选集/>，依次检查中车辆节点/>是否满足在/>+-邻域中包含/>个其他车辆，若/>有未加入簇中，则加入簇/>中，在候选集/>中删除/>，同时其/>+-邻域内车辆节点/>加入候选集合/>，直到/>。检查中未形成簇的车辆节点，若包含的其他车辆数不小于/>（包括车辆），则新建簇和候选集合。根据***特性，密度阈值/>=1。
随机选择簇中一个车辆用户/>为基准，计算簇/>内各车辆模型参数间的余弦相似度，即：
（25）
判断簇内车辆用户数据分布是否相似，若/>表示相似度不高，则将移除簇/>，重新为/>再分簇，其中/>相似度阈值，/>越接近1表示越相似，/>越接近-1表示越不相似。
（2）针对公式(20)，求解半异步聚合矩阵；
通过上述方法固定分簇策略后，公式 (20)就重新确定为求解半异步聚合矩阵的问题：
（26）
选择更多的车辆簇参与联邦学习可以加快全局模型的收敛速度。然而，在每次联邦学习全局聚合中选择更多的车辆簇将可能导致参数服务器第轮全局聚合时间延迟。因此，有必要考虑到参数服务器第/>轮全局聚合时间，同时最大化客户端数量，做到两者它们之间的权衡。最后，根据P2将第/>轮问题表述如公式：
（27）
/>
由于每轮全局聚合的计算资源和通信环境具有马尔科夫特性，因此将优化问题公式P3建模为MDP，即MDP<S,A,P,r>定义如下：
S是包含以下内容的状态空间：
车辆簇在第/>轮全局聚合用于训练的数据集大小/>，车辆簇/>在第/>轮全局聚合所达到的模型精度/>，车辆簇/>在第/>轮全局聚合的最短逗留时间/>。
A是包含以下内容的动作空间：
ES在第/>轮全局聚合选择的车辆簇的动态半异步矩阵为/>，r为奖励函数，如公式(28)所示：
（28）
上述优化问题是一个NP-hard问题。P是状态转移概率，由于很难预测状态转移概率，采用无模型的深度强化学习算法TD3来处理上述MDP问题。TD3算法避免了传统启发式算法在求解调度问题时的局限性。它不需要研究者制定具体的决策过程和目标函数。相反，它可以将初始网络训练成具有动作空间、状态空间、奖励函数和某些变量约束的期望网络，在处理高维动作空间问题时，对样本数的要求较低，计算速度更快。
本实施例采用的TD3算法有六种网络结构，如图6所示。该算法采用两个结构相同的关键网络来计算Q值，选取较小的值作为更新目标。TD3算法在策略上采用了延迟更新的方法，主网络更新x次后再更新目标网络，主网络的更新次数可以由人为设定，以减少误差累积，降低方差，并在目标网络的动作估计中加入随机噪声，使得值函数的更新平滑。
在Critic网络中，调整、/>，使均方误差损失函数最小，优化目标函数如公式：
（29）
其中为折现因子/>、/>和/>分别是Critic在线网络和Actor在线网络的随机参数。
TD3算法的优化目标如公式：
（30）
用TD残差来表示网络误差。在当前环境下，通过softmax计算Actor网络的输出，使用确定性策略µ，选择具体的动作值以获得最大的奖励期望值。最后，采用深度学习的批量训练方法，进行迭代更新。
本实施例提供了一种车联网分簇式联邦学习网络模型及其训练方法，综合考虑车辆的高机动性、计算能力和车载数据间的非独立同分布（Non-IID），构建了联邦学习下车辆本地训练和服务器全局聚合的分布式训练网络，为了满足车辆联邦学习服务质量要求的同时支持尽可能快的模型收敛，构建了全局模型聚合的收敛时间最小化问题，并采用TD3强化学习算法对模型进行求解。由于存在掉队者问题和车辆的高移动性问题，并且考虑到在时空上相近的车辆采集到的数据相似等特点，利用车载数据间的non-IID提出了一种车辆簇分簇策略，引入车辆模型参数相似度、速度和逗留时间等信息作为约束，高效解决掉队者问题的同时加速本地模型的训练，在确定车辆分簇方法的基础上，提出动态半异步联邦聚合方法，通过调整服务器等待时间，进一步降低资源和通信成本。
参照图7，本申请的一个实施例，提供了一种应用于车联网的联邦学习装置，适用于车联网分簇式联邦学习网络模型，车联网分簇式联邦学习网络模型包括：服务器和位于服务器覆盖范围内的多个车辆；多个车辆划分为多个车辆簇，每一个车辆簇中至少包括两个车辆且至少有一个车辆作为领导节点；在全局模型的每轮训练中，服务器用于接收参与当前轮训练的部分车辆簇发送的当前轮的车辆簇模型参数，并聚合当前轮的车辆簇模型参数，得到下一轮的全局模型参数；参与当前轮训练的车辆簇的领导节点用于接收车辆簇中所有车辆发送的当前轮的本地模型参数，进行聚合得到当前轮的车辆簇模型参数，并上传至服务器；参与当前轮训练的车辆簇的车辆用于根据服务器下发的当前轮的全局模型参数对本地模型进行训练，得到训练完成的当前轮的本地模型参数，并发送至对应的领导节点；
应用于车联网的联邦学习装置1000包括：
函数构建单元1100用于在以参与全局模型每轮训练的车辆簇不固定但数量固定的策略下，构建最小化联邦学习训练时间的目标函数；其中全局模型每轮训练的训练时间至少包括车辆簇的本地计算时间以及车辆簇与服务器之间通信时间。
函数求解单元1200用于求解目标函数，得到求解结果，并按照求解结果执行全局模型联邦训练。
需要注意的是，本实施例提供的应用于车联网的联邦学习方法装置与上述应用于车联网的联邦学习方法方法实施例是基于相同的发明构思，因此上述应用于车联网的联邦学习方法方法实施例的相关内容同样适用于应用于车联网的联邦学习方法装置实施例，此处不再细述。
如图8，本申请实施例还提供了一种电子设备，本电子设备包括：
至少一个存储器；
至少一个处理器；
至少一个程序；
程序被存储在存储器中，处理器执行至少一个程序以实现本公开实施上述的应用于车联网的联邦学习方法。
该电子设备可以为包括手机、平板电脑、个人数字助理（Personal DigitalAssistant，PDA）、车载电脑等任意智能终端。
下面对本申请实施例的电子设备进行详细介绍。
处理器1600，可以采用通用的中央处理器(Central Processing Unit，CPU)、微处理器、应用专用集成电路(Application Specific Integrated Circuit，ASIC)、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本发明实施例所提供的技术方案；
存储器1700，可以采用只读存储器（Read Only Memory，ROM）、静态存储设备、动态存储设备或者随机存取存储器(Random Access Memory，RAM)等形式实现。存储器1700可以存储操作***和其他应用程序，在通过软件或者固件来实现本说明书实施例所提供的技术方案时，的程序代码保存在存储器1700中，并由处理器1600来调用执行本发明实施例的应用于车联网的联邦学习方法。
输入/输出接口1800，用于实现信息输入及输出；
通信接口1900，用于实现本设备与其他设备的通信交互，可以通过有线方式（例如USB、网线等）实现通信，也可以通过无线方式（例如移动网络、WIFI、蓝牙等）实现通信；
总线2000，在设备的各个组件（例如处理器1600、存储器1700、输入/输出接口1800和通信接口1900）之间传输信息；
其中处理器1600、存储器1700、输入/输出接口1800和通信接口1900通过总线2000实现彼此之间在设备内部的通信连接。
本发明实施例还提供了一种存储介质，该存储介质是计算机可读存储介质，该计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令用于使计算机执行上述的应用于车联网的联邦学习方法。
存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序以及非暂态性计算机可执行程序。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至该处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
本发明描述的实施例是为了更加清楚的说明本发明实施例的技术方案，并不构成对于本发明实施例提供的技术方案的限定，本领域技术人员可知，随着技术的演变和新应用场景的出现，本发明实施例提供的技术方案对于类似的技术问题，同样适用。
本领域技术人员可以理解的是，图中示出的技术方案并不构成对本发明实施例的限定，可以包括比图示更多或更少的步骤，或者组合某些步骤，或者不同的步骤。
以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、***、设备中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。
本申请的说明书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
应当理解，在本申请中，“至少一个(项)”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：只存在A，只存在B以及同时存在A和B三种情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，“a和b”，“a和c”，“b和c”，或“a和b和c”，其中a，b，c可以是单个，也可以是多个。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括多指令用以使得一台电子设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory， ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序的介质。
以上是对本申请实施例的较佳实施进行了具体说明，但本申请实施例并不局限于上述实施方式，熟悉本领域的技术人员在不违背本申请实施例精神的前提下还可作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请实施例权利要求所限定的范围内。

Claims (8)

1.一种应用于车联网的联邦学习方法，其特征在于，适用于车联网分簇式联邦学习网络模型，所述车联网分簇式联邦学习网络模型包括：服务器和位于所述服务器覆盖范围内的多个车辆；所述多个车辆划分为多个车辆簇，每一个所述车辆簇至少有一个车辆作为领导节点；所述服务器用于接收参与当前轮训练的所述车辆簇发送的当前轮的车辆簇模型参数并聚合，得到下一轮的全局模型参数；参与当前轮训练的所述车辆簇的所述领导节点用于接收所述车辆簇中所有车辆发送的当前轮的本地模型参数，进行聚合得到当前轮的车辆簇模型参数，并上传至所述服务器；参与当前轮训练的所述车辆簇的所述车辆用于根据所述服务器下发的当前轮的全局模型参数对本地模型进行训练，得到当前轮的本地模型参数，并发送至所述领导节点；
所述应用于车联网的联邦学习方法，包括：
在以参与全局模型每轮训练的所述车辆簇不固定但数量固定的策略下，构建最小化全局模型联邦学习训练时间的目标函数；其中全局模型每轮训练的训练时间至少包括车辆的本地计算时间以及所述领导节点与所述服务器之间的通信时间；所述目标函数为：
；
；
其中，约束条件表示边缘迭代过长中的停止条件，/>，当/>时，全局模型将得到精确解，当/>时，全局模型没有进展，/>表示第/>轮全局聚合的梯度，/>表示第/>轮全局聚合的梯度；约束条件/>表示联邦学习每轮训练的时间约束，/>表示联邦学习的每轮最大可接受全局训练时间，/>表示联邦学习的第/>轮的全局训练时间；约束条件/>表示车辆簇/>第/>轮全局聚合的总时间耗费/>不超过车辆簇/>内车辆的最短逗留时间/>，/>表示车辆/>在服务器的逗留时间；约束条件/>表示/>为一个二元变量，/>表示车辆簇/>未参与第/>轮联邦学习聚合，/>表示车辆簇/>参与第/>轮联邦学习聚合，/>为半异步聚合矩阵；约束条件/>表示超参数/>和/>之和为1；/>表示所述多个车辆划分为多个车辆簇的划分策略；
；
表示车辆簇的数量，/>表示全局模型训练的次数；
求解所述目标函数，得到求解结果，并按照所述求解结果执行全局模型联邦训练；
所述求解所述目标函数，包括：
将所述目标函数转换成马尔科夫决策过程；将所述目标函数转换成马尔科夫决策过程包括：
在确定划分策略的情况下，将所述目标函数确定为求解半异步聚合矩阵的问题：
；
；
根据P2将第轮问题表述如公式：
；
；
将P3建模为马尔科夫决策过程，马尔科夫决策过程为MDP<S,A,P,r>：
S是包含状态空间：车辆簇在第/>轮全局聚合用于训练的数据集大小/>，车辆簇/>在第/>轮全局聚合所达到的模型精度/>，/>；
A是包含动作空间：在第轮全局聚合选择的车辆簇的动态半异步矩阵为/>，r为奖励函数，/>；P为策略；
采用TD3算法求解所述马尔科夫决策过程；采用TD3算法求解所述马尔科夫决策过程，包括：
TD3算法在Critic在线网络更新x次后再更新Actor在线网络，在Actor在线网络的动作估计中加入随机噪声；在Critic在线网络中，调整、/>，使均方误差损失函数最小，优化目标函数如公式：
其中为折现因子/>、/>、/>、/>和/>是Critic在线网络和Actor在线网络的随机参数；为状态，/>为动作；/>为价值函数，/>为价值网络的参数。
2.根据权利要求1所述的应用于车联网的联邦学习方法，其特征在于，所述多个车辆划分为多个车辆簇，包括：
根据车辆的恒定速度计算车辆在所述服务器的覆盖范围内的逗留时间；
确定最短逗留时间和车辆的第一邻域车辆，所述车辆的第一邻域车辆是指当前时间与车辆之间的距离不大于第一阈值的其余车辆；在从所述当前时间进展至所述最短逗留时间后，从所述车辆的第一领域车辆中选取出与车辆之间的距离不大于所述第一阈值的其余车辆形成车辆的第二邻域车辆；
构建所述车辆簇：
如果第一车辆的第二邻域车辆的数量超过第二阈值，将所述第一车辆和所述第一车辆的第二邻域车辆建立初始簇；所述第一车辆是所述多个车辆中的任意一个车辆；
如果第二车辆的第二邻域车辆的数量超过所述第二阈值，将所述第二车辆的第二邻域车辆中没有加入所述初始簇中的车辆加入至所述初始簇中；所述第二车辆是所述第一车辆的第二邻域车辆中的任意一个车辆；
如果第三车辆的第二邻域车辆的数量超过所述第二阈值，将所述第三车辆的第二邻域车辆中没有加入所述初始簇中的车辆加入至所述初始簇中；所述第三车辆是所述第二车辆的第二邻域车辆中的任意一个车辆；
依次类推，直至将所述初始簇形成完整的车辆簇。
3.根据权利要求2所述的应用于车联网的联邦学习方法，其特征在于，在形成完整的车辆簇之后，所述应用于车联网的联邦学习方法还包括：
从所述车辆簇中选取出一个车辆作为基准车辆；
判断所述车辆簇中任意一个车辆与所述基准车辆之间的本地模型参数的余弦相似度；
将所述余弦相似度小于第三阈值的对应车辆移出所述车辆簇。
4.根据权利要求2所述的应用于车联网的联邦学习方法，其特征在于，所述领导节点是在所述服务器的覆盖范围内具有最长逗留时间的车辆。
5.根据权利要求4所述的应用于车联网的联邦学习方法，其特征在于，如果所述领导节点无响应时，选取逗留时间仅次于具有所述最长逗留时间的车辆作为新的领导节点。
6.一种应用于车联网的联邦学习装置，其特征在于，适用于车联网分簇式联邦学习网络模型，所述车联网分簇式联邦学习网络模型包括：服务器和位于所述服务器覆盖范围内的多个车辆；所述多个车辆划分为多个车辆簇，每一个所述车辆簇至少有一个车辆作为领导节点；所述服务器用于接收参与当前轮训练的所述车辆簇发送的当前轮的车辆簇模型参数并聚合，得到下一轮的全局模型参数；参与当前轮训练的所述车辆簇的所述领导节点用于接收所述车辆簇中所有车辆发送的当前轮的本地模型参数，进行聚合得到当前轮的车辆簇模型参数，并上传至所述服务器；参与当前轮训练的所述车辆簇的所述车辆用于根据所述服务器下发的当前轮的全局模型参数对本地模型进行训练，得到当前轮的本地模型参数，并发送至所述领导节点；
所述应用于车联网的联邦学习装置包括：
函数构建单元，用于在以参与全局模型每轮训练的所述车辆簇不固定但数量固定的策略下，构建最小化全局模型联邦学习训练时间的目标函数；其中全局模型每轮训练的训练时间至少包括车辆的本地计算时间以及所述领导节点与所述服务器之间的通信时间；所述目标函数为：
；
；
其中，约束条件表示边缘迭代过长中的停止条件，/>，当/>时，全局模型将得到精确解，当/>时，全局模型没有进展，/>表示第/>轮全局聚合的梯度，/>表示第/>轮全局聚合的梯度；约束条件/>表示联邦学习每轮训练的时间约束，/>表示联邦学习的每轮最大可接受全局训练时间，/>表示联邦学习的第/>轮的全局训练时间；约束条件/>表示车辆簇/>第/>轮全局聚合的总时间耗费/>不超过车辆簇/>内车辆的最短逗留时间/>，/>表示车辆/>在服务器的逗留时间；约束条件/>表示/>为一个二元变量，/>表示车辆簇/>未参与第/>轮联邦学习聚合，/>表示车辆簇/>参与第/>轮联邦学习聚合，/>为半异步聚合矩阵；约束条件/>表示超参数/>和/>之和为1；/>表示所述多个车辆划分为多个车辆簇的划分策略；
；
表示车辆簇的数量，/>表示全局模型训练的次数；
函数求解单元，用于求解所述目标函数，得到求解结果，并按照所述求解结果执行全局模型联邦训练；所述求解所述目标函数，包括：
将所述目标函数转换成马尔科夫决策过程；将所述目标函数转换成马尔科夫决策过程包括：
在确定划分策略的情况下，将所述目标函数确定为求解半异步聚合矩阵的问题：
；
；
根据P2将第轮问题表述如公式：
；
；
将P3建模为马尔科夫决策过程，马尔科夫决策过程为MDP<S,A,P,r>：
S是包含状态空间：车辆簇在第/>轮全局聚合用于训练的数据集大小/>，车辆簇/>在第/>轮全局聚合所达到的模型精度/>，/>；
A是包含动作空间：在第轮全局聚合选择的车辆簇的动态半异步矩阵为/>，r为奖励函数，/>；P为策略；
采用TD3算法求解所述马尔科夫决策过程；采用TD3算法求解所述马尔科夫决策过程，包括：
TD3算法在Critic在线网络更新x次后再更新Actor在线网络，在Actor在线网络的动作估计中加入随机噪声；在Critic在线网络中，调整、/>，使均方误差损失函数最小，优化目标函数如公式：
其中为折现因子/>、/>、/>、/>和/>是Critic在线网络和Actor在线网络的随机参数；为状态，/>为动作；/>为价值函数，/>为价值网络的参数。
7.一种电子设备，其特征在于，包括：至少一个控制处理器和用于与所述至少一个控制处理器通信连接的存储器；所述存储器存储有可被所述至少一个控制处理器执行的指令，所述指令被所述至少一个控制处理器执行，以使所述至少一个控制处理器能够执行权利要求1至5任一项所述的应用于车联网的联邦学习方法。
8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行权利要求1至5任一项所述的应用于车联网的联邦学习方法。
CN202410229646.0A 2024-02-29 2024-02-29 一种应用于车联网的联邦学习方法、装置、设备及介质 Active CN117812564B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410229646.0A CN117812564B (zh) 2024-02-29 2024-02-29 一种应用于车联网的联邦学习方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410229646.0A CN117812564B (zh) 2024-02-29 2024-02-29 一种应用于车联网的联邦学习方法、装置、设备及介质

Publications (2)

Publication Number Publication Date
CN117812564A CN117812564A (zh) 2024-04-02
CN117812564B true CN117812564B (zh) 2024-05-31

Family

ID=90428245

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410229646.0A Active CN117812564B (zh) 2024-02-29 2024-02-29 一种应用于车联网的联邦学习方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN117812564B (zh)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112770291A (zh) * 2021-01-14 2021-05-07 华东师范大学 基于联邦学习和信任评估的分布式入侵检测方法及***
CN113657606A (zh) * 2021-07-05 2021-11-16 河南大学 车联网场景下分压聚合的局域联邦学习方法
CN114116198A (zh) * 2021-10-21 2022-03-01 西安电子科技大学 一种移动车辆的异步联邦学习方法、***、设备及终端
CN115310121A (zh) * 2022-07-12 2022-11-08 华中农业大学 车联网中基于MePC-F模型的实时强化联邦学习数据隐私安全方法
CN115623445A (zh) * 2022-11-09 2023-01-17 北京工业大学 一种车联网环境下基于联邦学习的高效通信方法
CN116233954A (zh) * 2022-12-08 2023-06-06 北京邮电大学 基于联邦学习***的分簇数据共享方法、装置及存储介质
CN116346863A (zh) * 2023-05-29 2023-06-27 湘江实验室 基于联邦学习的车载网数据处理方法、装置、设备及介质
CN116546429A (zh) * 2023-06-06 2023-08-04 江南大学 一种车联网联邦学习中的车辆选择方法和***
WO2023168824A1 (zh) * 2022-03-07 2023-09-14 北京工业大学 一种基于联邦学习的移动边缘缓存优化方法
CN117195019A (zh) * 2023-02-07 2023-12-08 西北工业大学 一种面向vanet的轻量级联邦学习框架优化方法
WO2024003388A1 (en) * 2022-06-30 2024-01-04 Telefonaktiebolaget Lm Ericsson (Publ) Iterative machine learning in a communication network

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114548426B (zh) * 2022-02-17 2023-11-24 北京百度网讯科技有限公司 异步联邦学习的方法、业务服务的预测方法、装置及***
US20220222583A1 (en) * 2022-03-30 2022-07-14 Intel Corporation Apparatus, articles of manufacture, and methods for clustered federated learning using context data

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112770291A (zh) * 2021-01-14 2021-05-07 华东师范大学 基于联邦学习和信任评估的分布式入侵检测方法及***
CN113657606A (zh) * 2021-07-05 2021-11-16 河南大学 车联网场景下分压聚合的局域联邦学习方法
CN114116198A (zh) * 2021-10-21 2022-03-01 西安电子科技大学 一种移动车辆的异步联邦学习方法、***、设备及终端
WO2023168824A1 (zh) * 2022-03-07 2023-09-14 北京工业大学 一种基于联邦学习的移动边缘缓存优化方法
WO2024003388A1 (en) * 2022-06-30 2024-01-04 Telefonaktiebolaget Lm Ericsson (Publ) Iterative machine learning in a communication network
CN115310121A (zh) * 2022-07-12 2022-11-08 华中农业大学 车联网中基于MePC-F模型的实时强化联邦学习数据隐私安全方法
CN115623445A (zh) * 2022-11-09 2023-01-17 北京工业大学 一种车联网环境下基于联邦学习的高效通信方法
CN116233954A (zh) * 2022-12-08 2023-06-06 北京邮电大学 基于联邦学习***的分簇数据共享方法、装置及存储介质
CN117195019A (zh) * 2023-02-07 2023-12-08 西北工业大学 一种面向vanet的轻量级联邦学习框架优化方法
CN116346863A (zh) * 2023-05-29 2023-06-27 湘江实验室 基于联邦学习的车载网数据处理方法、装置、设备及介质
CN116546429A (zh) * 2023-06-06 2023-08-04 江南大学 一种车联网联邦学习中的车辆选择方法和***

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
"Research_on_Multi-objective_Optimal_Control_of_Train_Operation_Based_on_EOL-NSGA-III_Algorithm";Wen Zhen Liu;《2020 International Conference on Virtual Reality and Inteligent Systems》;20201231;全文 *
"面向边缘智能的联邦学习综述";张雪晴;《计算机研究与发展》;20221027;全文 *
Sudha Anbalagan."Machine-Learning-Based Efficient and Secure RSU Placement Mechanism for Software-Defined-IoV".《IEEE INTERNET OF THINGS JOURNAL,》.2021,全文. *
联邦学习在泛在电力物联网人工智能领域的应用;谢丰;卞建玲;王楠;郑倩;;中国高新科技;20191201(第23期);全文 *
面向智能电网的5G网络切片应用前瞻性思考;王莹;王雪;刘嫚;邱兰馨;吴赛;杨德龙;胡悦;;电力信息与通信技术;20200825(第08期);全文 *

Also Published As

Publication number Publication date
CN117812564A (zh) 2024-04-02

Similar Documents

Publication Publication Date Title
Liu et al. Fedpa: An adaptively partial model aggregation strategy in federated learning
CN114143346A (zh) 一种车联网任务卸载和服务缓存的联合优化方法及***
CN114375066B (zh) 一种基于多智能体强化学习的分布式信道竞争方法
CN112948885B (zh) 实现隐私保护的多方协同更新模型的方法、装置及***
CN116489708B (zh) 面向元宇宙的云边端协同的移动边缘计算任务卸载方法
CN116669111A (zh) 一种基于区块链的移动边缘计算任务卸载方法
CN116362327A (zh) 一种模型训练方法、***及电子设备
Tao et al. Drl-driven digital twin function virtualization for adaptive service response in 6g networks
CN116489226A (zh) 一种服务质量保障的在线资源调度方法
CN113726894B (zh) 一种基于深度强化学习的多车应用计算卸载方法及终端
CN114760308A (zh) 边缘计算卸载方法及装置
CN117812564B (zh) 一种应用于车联网的联邦学习方法、装置、设备及介质
Wu et al. Adaptive client and communication optimizations in Federated Learning
CN116501483A (zh) 基于多智能体强化学习的车辆边缘计算任务调度方法
CN115329985A (zh) 无人集群智能模型训练方法、装置和电子设备
CN114022731A (zh) 基于drl的联邦学习节点选择方法
CN114118444A (zh) 一种利用启发式算法降低联邦学习中设备空跑时间的方法
Li et al. Dynamic Function Allocation in Edge Serverless Computing Networks
Panigrahi et al. A reputation-aware hierarchical aggregation framework for federated learning
He et al. Client selection and resource allocation for federated learning in digital-twin-enabled industrial Internet of Things
CN117834643B (zh) 一种面向工业物联网的深度神经网络协同推理方法
CN115987998B (zh) 微服务***领袖者选举方法、***、存储介质和电子设备
CN117891532B (zh) 一种基于注意力多指标排序的终端能效优化卸载方法
Zhao Concurrent control algorithm for large-scale remote multi-user information management system
CN114860345B (zh) 一种智能家居场景下基于缓存辅助的计算卸载方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant