CN113537514B - 一种高能效的基于数字孪生的联邦学习框架 - Google Patents
一种高能效的基于数字孪生的联邦学习框架 Download PDFInfo
- Publication number
- CN113537514B CN113537514B CN202110847621.3A CN202110847621A CN113537514B CN 113537514 B CN113537514 B CN 113537514B CN 202110847621 A CN202110847621 A CN 202110847621A CN 113537514 B CN113537514 B CN 113537514B
- Authority
- CN
- China
- Prior art keywords
- base station
- model
- internet
- training
- things
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012549 training Methods 0.000 claims abstract description 66
- 238000000034 method Methods 0.000 claims abstract description 50
- 238000005265 energy consumption Methods 0.000 claims abstract description 47
- 230000008569 process Effects 0.000 claims abstract description 23
- 230000004927 fusion Effects 0.000 claims abstract description 22
- 238000005516 engineering process Methods 0.000 claims abstract description 12
- 230000006855 networking Effects 0.000 claims abstract description 8
- 230000005540 biological transmission Effects 0.000 claims description 35
- 238000004364 calculation method Methods 0.000 claims description 21
- 230000009471 action Effects 0.000 claims description 20
- 238000013528 artificial neural network Methods 0.000 claims description 15
- 238000004891 communication Methods 0.000 claims description 12
- 230000006870 function Effects 0.000 claims description 12
- 238000005457 optimization Methods 0.000 claims description 9
- 230000007704 transition Effects 0.000 claims description 8
- 238000012804 iterative process Methods 0.000 claims description 7
- 239000011159 matrix material Substances 0.000 claims description 6
- 230000002787 reinforcement Effects 0.000 claims description 6
- 238000012546 transfer Methods 0.000 claims description 6
- 230000008859 change Effects 0.000 claims description 4
- 238000011156 evaluation Methods 0.000 claims description 4
- 230000001360 synchronised effect Effects 0.000 claims description 3
- 230000001133 acceleration Effects 0.000 claims 1
- 238000013468 resource allocation Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000007786 learning performance Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
- Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Mobile Radio Communication Systems (AREA)
Abstract
一种高能效的基于数字孪生的联邦学习框架,涉及工业物联网的联邦学习技术领域,解决现有工业物联网***中利用数字孪生和联邦学习技术存在能量消耗及降低模型收敛速度和训练模型的质量等问题,在联邦学习的每次迭代过程中,工业物联网设备用于根据部署在宏基站中的策略选择不同的训练方式进行训练,小型基站用于将工业物联网设备上传的模型按比例融合并传递到宏基站的参数融合器上进行最终的参数融合,宏基站用于实现信道分配及控制工业物联网设备选择本地训练或选择小型基站的服务器连接到数字空间的虚拟对象,并使用小型基站的附属服务器来训练模型;宏基站将全局模型广播至所有的工业物联网设备,直至全局模型达到预设的准确率或者模型收敛。
Description
技术领域
本发明涉及工业物联网的联邦学习技术,具体涉及一种高能效的基于数字孪生的联邦学习框架。
背景技术
工业物联网的出现极大地赋能了现代社会的生产生活,推动了包括农业、制造业等行业的快速发展,特别是在基于人工智能的工业4.0中。与此同时,接入物联网设备也随之爆发式增长。在工业4.0中,工业物联网设备需要支持即时的智能服务,这对即时获取和分析动态状态信息提出了迫切需求。
数字孪生作为一种将工业物联网设备即时映射到数字空间的技术,可以实时捕获工业物联网设备的动态状态信息。此外,借助先进的传感器技术,6G中的数字孪生可以实现虚拟对象和物理实体之间极其可靠和近乎即时的连接。具体来说,通过软件定义和传感器更新,可以在数字空间中创建从物理世界映射的虚拟对象,虚拟对象通过实时传感器数据进行演进。工业物联网设备的实时演进的虚拟对象由于需要足够的计算资源通常维护在服务器中。同时,对于物联网设备来说,数字孪生在协助工业物联网设备构建智能模型时,不仅需要依赖自身的数据,还需要依赖其他分布式工业物联网设备和服务器的数据。然而,出于商业竞争和隐私保护的目的,不同运营商的不同服务器在交换他们自身捕获的工业物联网设备传感器数据的意愿低迷,这就带来了“数据孤岛”的问题,给工业4.0中的智能服务带来了很大的挑战。
联邦学习在模型建立过程中交换梯度或模型参数来替代原始数据,可以避免“数据孤岛”问题。它允许分布式列车的不同设备或服务器协同构建智能模型。在上述的工业物联网***中,这些工业物联网设备和服务器可以通过联邦学习来训练提供智能服务的神经网络模型。
尽管数字孪生和联邦学习都被认为是重新设计工业物联网***的关键技术,但将它们集成到工业物联网***中仍然存在很多挑战。一方面,联邦学习中的大量梯度或模型参数需要传输和处理,这是非常消耗能量的。同时,在通过实时传感器数据不断演化数字空间中维护工业物联网设备的虚拟对象也非常耗能。考虑到大量的工业物联网设备,为联邦学习的所有工业物联网设备部署数字孪生是不切实际的。另一方面,直接减少通信、计算和能源资源可能会降低收敛速度和训练模型的质量,并抵消数字孪生的即时获取状态信息的积极增益。
因此,考虑到动态复杂的网络环境,应小心的将工业物联网设备的训练方法选择和资源分配进行联合优化,以提高联邦学习的能量效率和收敛速度。
发明内容
本发明为解决现有工业物联网***中利用数字孪生和联邦学习技术存在能量消耗及降低模型收敛速度和训练模型的质量等问题,提供一种高能效的基于数字孪生的联邦学习框架。
一种高能效的基于数字孪生的联邦学习框架,包括M个小型基站,N个工业物联网设备和一个宏基站;在联邦学习的每次迭代过程中,每个工业物联网设备用于根据部署在宏基站中的策略选择不同的训练方式进行训练,即本地训练或者利用数字孪生技术在小型基站的服务器上进行训练;
所述小型基站用于将工业物联网设备上传的模型和利用数字孪生技术训练的模型按比例融合得到基站的当地模型;所述小型基站将当地模型传递到宏基站的参数融合器上进行最终的参数融合,获得本次迭代后的全局模型;
所述融合方式定义为:
式中,G为融合的参数模型数目,Di为训练模型wi的数据大小;
所述宏基站用于实现信道分配及控制工业物联网设备选择本地训练并选择某个小型基站传输训练后的模型参数或选择某个小型基站的服务器连接到数字空间的虚拟对象,并使用小型基站的附属服务器来训练模型;
所述宏基站将全局模型广播至所有的工业物联网设备,直至全局模型达到预设的准确率或者模型收敛。
本发明的有益效果:所提框架根据基于数字孪生的IIoT***中的状态信息在联邦学习的每轮迭代中动态的选择物联网设备的训练方式及信道的分配方式,有效的降低了基于数字孪生的联邦学习的能量消耗,并为每轮迭代添加时间阈值,避免了联邦学习可能存在的长时间消耗,有效提升了基于数字孪生的联邦学习的能量效率。
附图说明
图1为工业物联网***模型示意图。
具体实施方式
结合图1说明本实施方式,本实施方式基于数字孪生的工业物联网提出了一种高能效的联邦学习框架。在该框架中,工业物联网设备可以动态选择在本地训练或在数字孪生的协助下连接到小型基站相应服务器中虚拟对象,利用小型基站的计算资源来训练模型。通过量化了基于数字孪生的工业物联网联邦学习的能耗和时间消耗,并得到了联合工业物联网设备训练方法和资源分配的优化问题。考虑到该问题使用传统方法难以解决,本实施方式中采用基于深度强化学习(DRL)的算法来获得最佳策略。
如图1所示,图1为支持数字孪生的工业物联网***模型。设定有M个小型基站,表示为B1Bm...BM,N个物联网设备,表示为D1Dn...DN,以及一个宏基站,记为BMBS。在联邦学习的每次迭代过程中,所有工业物联网设备都需要根据一定的策略选择模型训练方法,即本地训练或者利用数字孪生协助训练。具体而言,基于每次迭代中***的整体状态信息,需要探索出每个工业物联网设备的训练方法和信道分配的策略以实现高能效的联邦学习。策略可以部署在宏基站中,根据具体的策略,宏基站可以实现信道分配及控制工业物联网设备选择本地训练并选择某个小型基站传输训练后的模型参数或选择某个小型基站的服务器连接到数字空间的虚拟对象,并使用小型基站的附属服务器来训练模型。
将设备i的数字孪生表示为其中/>为设备i的模型,Di为设备i的实时数据。将物联网设备dn的选择记为Sn,则Sn的值构成的集合为O=-M,-(M1)...-1,1,2...M。例如,Sn(t)=-m表示设备dn进行当地训练,后将参数模型传递给基站Bm。Sn(t)=m表示工业物联网设备dn选择小型基站Bm的服务器来创建连接虚拟对象,各个基站将利用数字空间的数据训练得到的模型与接收到的设备传递的模型进行融合后,将融合后参数模型传递给宏基站。使/>和Φn,m(t)分别表示工业物联网设备dn是否连接到小型基站Bm的虚拟对象和本地训练后是否选择Bm作为上传模型参数的通信链路。表示为:
则且/>
以及:
设定每个工业物联网设备在每次迭代中最多有一个由数字孪生产生的虚拟对象,并且如果没有虚拟对象,工业物联网设备只能连接一个小型基站上传模型参数。此外,***状态信息包括在不同迭代过程中动态变化的工业物联网设备收集数据的规模大小、工业物联网设备或小型基站的计算资源以及信道状态信息,但对于每个特定迭代过程都是固定的。此外,考虑到数字孪生的实时性,我们假设用于维护工业物联网设备的虚拟对象的传感器数据和模型仅在服务器中的训练模型期间映射传输到服务器,而维护虚拟对象的能耗包括实时传感器数据的采集和传输以及虚拟对象在软件中的演化等。
本实施方式中,采用联邦学习模型,基于数字孪生技术,采取同步的联邦学习方式来训练一个需要的全局的机器学习模型。根据***的状态信息,在一次迭代过程中,物联网设备选择不同的训练方式进行训练。即当地训练或者利用数字孪生在小型基站的服务器上进行训练。接着基站将物联网设备上传的模型和利用数字孪生技术训练的模型按比例融合得到基站的当地模型。最后基站将模型传递到宏基站的参数融合器上进行最终的参数融合,得到这次迭代后的全局模型。将融合方式定义为:
G表示融合的参数模型数目,表示训练模型wi的数据大小。
本实施方式中,利用通信模型表示信息的变化。具体为:在工业物联网中,信道的状态信息是动态变化的,我们利用有限状态的马尔可夫信道模型来表示信道的变化,用接收信噪比SNR来代表信道状态Γ。接收信噪比被分为I+1个不同的幅度,构成的集合表示为h0,h1,h2...hI。其中,h0与hI分别表示为最小信噪比和最大的信噪比,而这通常是很容易测量的。有限状态的马尔科夫链状态集合为并且Γ(t)=Hi表示在第t次的迭代过程中,信道状态信息即接收信噪比为Hi位于hi-1与hi之间。
在联邦学习中,单次的迭代相对于整个迭代过程来说是微不足道的,因此我们假设在某个特定的迭代过程中,信道的状态信息是不发生变化的。在马尔可夫模型中,某个状态会根据马尔可夫转移矩阵进行转移进入下一状态。假设某次迭代过程某两个通信设备之间的信道状态为Γ(t)=Ha,从该状态转移到Hb的概率为表示为/>转移矩阵可以表示为/>
由于信道资源的限制,在本实施方式中,需要考虑信道的分配进行高效的通信,从而加速联邦学习的收敛并且减小能量消耗。设定共有K个信道被物联网设备与小型基站分配,子信道的带宽为W0。则:
式中,和/>分别表示基站Bm与物联网设备dn分得的信道数目。物联网设备到基站的数据传递速度表示为:
表示物联网设备dn与基站Bm的信道状态。
基站到宏基站的数据传输速率表示为:
本实施方式中,采用与通信模型类似的计算模型计算资源;具体为:***中的基站与物联网设备的计算资源是动态变化的。同样,采用有限状态的马尔可夫模型,将计算能力分为J+1个分散的值f0,f1,f2...fJ,有限马尔可夫的所有状态集合表示为表示某个设备或者基站的计算能力从Fa到Fb的转移概率为/>转移矩阵表示为/>
本实施方式中,通过量化基于数字孪生的工业物联网联邦学习的时间消耗和能量消耗,获得联合工业物联网设备的训练方式选择和信道分配联合优化问题,并采用深度强化学习算法获得最优策略,具体由以下过程实现:
所述时间消耗包括传输时延和计算时延;
所述传输时延:传输时间包括三个部分,包括本地训练的工业物联网设备到相应的小型基站、小型基站到宏基站、宏基站到工业物联网设备的传输时间。在所提框架中,工业物联设备在本地训练或利用数字孪生技术的协助在服务器上训练。对于本地训练,工业物联网设备需要将训练好的模型传输到小型基站。因此,从工业物联网设备dn到小型基站Bm的传输时间可以定义为:
式中,表示物联网设备dn的模型参数的大小。由于在联邦学习中,每个物联网设备的训练的模型参数是相等的,因此将其记为|w|。值得注意的是,这里我们计算的物联网设备的传输时延包括任何一个基站的传输时延,但在后面总时延的计算中,将利用Φn,m(t)指定物联网设备连接的基站对其进行约束。
在小型基站端,若存在物联网设备建立的数字孪生映射,则基站会利用数字空间中的实时数据来训练模型,接着将训练好的模型参数与物联网设备传递的模型参数进行按数据大小的比例融合。最后,将融合好的模型传递给宏基站,小型基站Bm到宏基站的传输时延为:
在宏基站收到各个基站传递的模型参数后,进行融合得到一次迭代的全局模型,接着将模型参数传递给各个物联网设备完成一次迭代。宏基站到物联网设备dn的传输时延为:
所述计算时延为:无论物联网设备进行当地训练还是利用数字孪生技术在计算资源相对多的基站的服务器上进行训练,这里都存在计算时延。将训练单位数据的所需要的CPU周期数目定义为γ1,将融合单位模型参数所需要的CPU周期数目定义为γ2。
物联网设备dn的计算时延为:
式中,表示第t次迭代过程中,物联网设备dn收集到的数据。/>表示物联网设备dn是否选择基于DT的训练方式;可以看到,只有当/>即物联网设备选择当地训练时,其计算时延才不等于0。
基站的计算时延包括基站训练可能存在的物联网设备映射的数字空间中数据时延和融合模型参数的融合时延。其中小型基站Bm的训练时延为:
以及小型基站Bm的融合时延被定义为:
宏基站附属的参数服务器需要将基站传来的模型参数进行融合,融合时延为:
z表示宏基站收到的参数模型的数目。采用同步的联邦学习方式。于是,总时延表示为:
本实施方式中,所述能量消耗可分为传输能耗和计算能耗,计算能耗包括维护数字空间虚拟对象的能耗。
所述传输能耗具体为:连接到虚拟对象的工业物联网设备可以在小型基站所属的服务器上进行训练,由于数字孪生的实时性特征,在下一个计算能量消耗中考虑与虚拟对象相关的能耗,而选择在本地训练的工业物联网设备必须传输模型参数。物联网设备dn传输能量消耗可以表示为:
为物联网设备dn的传输功率。
小型基站Bm的传输能耗为:
为小型基站Bm的传输功率。
本实施方式中,所述计算能耗具体为:
将设备训练功率定义为α1,则设备的计算能耗为:
小型基站的计算能耗分为三部分,包括小型基站上数字空间中使用虚拟对象的训练模型的能耗、小型基站维护虚拟对象的能耗、小型基站融合模型参数的能耗,分别表示为:
其中α2,β与θ分别代表小型基站的训练功率、在数字空间中维护工业物联网设备单个虚拟对象的功耗以及融合功耗。小型基站Bm的计算能耗表示为:
除了物联网设备和基站的计算功率外,宏基站的融合模型参数的能耗为:
于是,工业物联网设备dn,小型基站Bm以及宏基站的总能耗分别为:
在一次迭代过程中,总的能量消耗为:
根据时延和能耗的量化公式,得到优化问题:
s.t.0≤Ttotal(t)≤Tlimit
Accpreset≤AccZ
其中St和Wt分别表示第t次迭代中工业物联网设备的训练方法选择和信道分配,Z表示模型达到预设精度所需的迭代次数,Accpreset为预设的模型所需要的精度,AccZ为第Z次迭代后的模型精度,Tlimit表示保证***综合性能的训练时间阈值。
本实施方式中,工业物联网设备采集的数据大小、通信设备之间的信道状态信息、工业物联网设备和小型基站的计算资源等状态信息在的不同迭代中动态变化。在给定训练时间阈值Tlimit的情况下,需要仔细考虑工业物联网设备的训练方法选择和资源分配,以实现高能效的联邦学习。对于具有约束条件的联合优化问题,传统方法处理难度极大。因此,将联合优化问题表述为马尔可夫决策过程,其中状态空间、动作空间和奖励函数(回报函数)定义如下:
将所述状态空间定义为很显然s(t)包括信道状态信息,物联网设备与包括宏基站在内的基站的计算能力,以及物联网设备收集数据的大小,除此之外,还包括联邦学习模型的正确率。因此o(t)可以表达为:
将所述动作空间定义为它包括物联网设备的训练方式的选择以及信道的分配。表示为:
A(t)={S(t),W(t)}
S(t)表示物联网设备选择的向量,W(t)表示信道分配的向量。
所述回报函数定义如下:
式中,εE与εT是用于调节能量消耗和时间延迟在回报函数权重的常数,用来避免单一优化。比如若时间延迟相对于能量消耗非常大时,如果不存在调节参数,***将优化中心放在时间延迟上,反之则忽略了时间限制造成联邦学习综合性能的降低。而阶跃函数u(x)的加入可以和εT的配合巧妙的可以过滤到时间限制大于Tlimit的动作。u(x)为阶跃函数,定义为:
本实施方式中,深度强化学习将深度神经网络和强化学习结合形成了一个非常有效的工具来解决高纬度状态或者动作空间的马尔可夫决策问题。状态空间和动作空间是离散的,一般的DQN(深度Q值网络)就可以解决。但是为了改善强化学习的性能,本实施方式采用了double-DQN和dueling-DQN。在DQN中,DNN(深度神经网络)可以根据状态输入得到各个动作的值,称作状态-动作值Q。在DNN的训练中,目标神经网络和经验回放会被采用来加速DNN的收敛。在一次学习过程中,通过时间差分法更新DNN的参数:
Q(s,a;θ)←Q(s,a;θ)+λ[Qtarget-Q(s,a;θ)]
λ为学习率,τ为奖励衰减参数,θ-为另一个目标神经网络的参数。目标神经网络的参数经过指定回合数目,由DNN的参数进行更新。DQN的损失函数定义为:
L(θ)=E[(Qtarget-Q(s,a;θ))2]
Double-DQN利用估计神经网络对下一状态s'下Q值最大的动作进行估计,并在迭代中,利用选择出的动作计算Qtarget,表达式如下:
Double-DQN可以避免Q值过估计的问题,Dueling-DQN可以通过将Q分离为状态值V(s)和动作值A(s,a)加速模型的收敛,表达式如下:
Q(s,a;θ)=V(s;θ)+A(s,a;θ)
在给出转移概率后,最优的策略将可以线下学习。主要过程如下,评估网络的参数被初始化,接着用被初始化的参数来更新相同结构的目标神经网络。评估网络根据状态信息采用贪心策略ε-greedy选择出动作,基于数字孪生的工业物联网***采取动作后反馈奖励。状态、动作以及奖励将会存储在经验回放记忆中用于训练DQN以及更新目标神经网络。
Claims (11)
1.一种高能效的基于数字孪生的联邦学习框架,包括M个小型基站,N个工业物联网设备和一个宏基站;其特征是:
在联邦学习的每次迭代过程中,每个工业物联网设备用于根据部署在宏基站中的策略选择不同的训练方式进行训练,即本地训练或者利用数字孪生技术在小型基站的服务器上进行训练;
所述小型基站用于将工业物联网设备上传的模型和利用数字孪生技术训练的模型按比例融合得到基站的当地模型;所述小型基站将当地模型传递到宏基站的参数融合器上进行最终的参数融合,获得本次迭代后的全局模型;
所述融合方式定义为:
式中,G为融合的参数模型数目,Di为训练模型wi的数据大小;
所述宏基站用于实现信道分配及控制工业物联网设备选择本地训练并选择某个小型基站传输训练后的模型参数或选择某个小型基站的服务器连接到数字空间的虚拟对象,并使用小型基站的附属服务器来训练模型;
所述宏基站将全局模型广播至所有的工业物联网设备,直至全局模型达到预设的准确率或者模型收敛。
2.根据权利要求1所述的一种高能效的基于数字孪生的联邦学习框架,其特征在于:
在所述工业物联网设备中,采用有限状态的马尔可夫信道模型表示信道的变化,用于接收信噪比SNR表示信道状态Γ;接收信噪比被分为I+1个不同的幅度,构成的集合表示为h0,h1,h2...hI;
其中,h0与hI分别为最小信噪比和最大的信噪比,设定有限状态的马尔科夫链状态集合为并且Γ(t)=Hi表示在第t次的迭代过程中,信道状态信息即接收信噪比为Hi位于hi-1与hi之间;
设定在某个迭代过程中,信道的状态信息是不发生变化的;在马尔可夫模型中,某个状态会根据马尔可夫转移矩阵进行转移进入下一状态;
设定某次迭代过程某两个通信设备之间的信道状态为Γ(t)=Ha,从该状态转移到Hb的概率为表示为/>转移矩阵表示为/>
设定共有K个信道被工业物联网设备与小型基站分配,子信道的带宽为W0;则:
式中,和/>分别表示小型基站Bm与工业物联网设备dn分得的信道数目;工业物联网设备到小型基站的数据传递速度表示为:
式中,表示物联网设备dn与基站Bm的信道状态。
小型基站到宏基站的数据传输速率表示为:
3.根据权利要求2所述的一种高能效的基于数字孪生的联邦学习框架,其特征在于:
采用有限状态的马尔可夫模型,将计算能力分为J+1个分散的值f0,f1,f2…fJ,有限马尔可夫的所有状态集合表示为/> 为某个工业物联网设备或者小型基站的计算能力从Fa到Fb的转移概率为/>转移矩阵表示为
4.根据权利要求3所述的一种高能效的基于数字孪生的联邦学习框架,其特征在于:
通过量化基于数字孪生的工业物联网联邦学习的时间消耗和能量消耗,获得联合工业物联网设备的训练方式选择和信道分配联合优化问题,并采用深度强化学习算法获得最优策略;
所述优化问题具体如下示表示为:
s.t.0≤Ttotal(t)≤Tlimit
Accpreset≤AccZ
式中,St和Wt分别为第t次迭代中工业物联网设备的训练方式选择和信道分配,Z为模型达到预设精度所需的迭代次数,Accpreset为预设的模型所需要的精度,AccZ为第Z次迭代后的模型精度,Tlimit为保证***综合性能的训练时间阈值;
Ttotal(t)为总时延,Etotal(t)为总的能量消耗;和/>分别表示基站Bm与物联网设备dn分得的信道数目。
5.根据权利要求4所述的一种高能效的基于数字孪生的联邦学习框架,其特征在于:
所述时间消耗中包括传输时延和计算时延;
所述传输时延包括本地训练的工业物联网设备到相应的小型基站的传输时延,小型基站到宏基站的传输时延以及宏基站到工业物联网设备的传输时延;
所述工业物联网设备dn到小型基站Bm的传输时延定义为:
式中,为物联网设备dn的模型参数的大小;/>
小型基站Bm到宏基站的传输时延为:
式中,Φn,m(t)为本地训练后是否选择Bm作为上传模型参数的通信链路;|w|为每个物联网设备的训练的模型参数;为第t次迭中小型基站到宏基站的数据传输速率;
宏基站到物联网设备dn的传输时延为:
式中,为第t次迭找中宏基站到物联网设备dn的传输速率。
6.根据权利要求4所述的一种高能效的基于数字孪生的联邦学习框架,其特征在于:在计算时延中,具体如下:
所述物联网设备dn的计算时延为:
式中,γ1为训练单位数据的所需要的CPU周期数目,γ2为融合单位模型参数所需要的CPU周期数目;为第t次迭代过程中,物联网设备dn收集到的数据;/>为第t次迭代过程中,物联网设备dn的计算能力;/>即物联网设备选择当地训练时,其计算时延不等于0;
小型基站的计算时延包括基站训练存在的物联网设备映射的数字空间中数据时延和融合模型参数的融合时延;
所述小型基站Bm的训练时延为:
式中,为第t次迭代过程中小型基站Bm的计算能力;
小型基站Bm的融合时延被定义为:
宏基站附属的参数服务器需要将基站传来的模型参数进行融合,融合时延为:
式中,z为宏基站收到的参数模型的数目;采用同步的联邦学习方式;则总时延为:
7.根据权利要求4所述的一种高能效的基于数字孪生的联邦学习框架,其特征在于:
所述能量消耗包括传输能耗和计算能耗;
物联网设备dn传输能量消耗表示为:
为物联网设备dn的传输功率;
小型基站Bm的传输能耗为:
为小型基站Bm的传输功率。
8.根据权利要求7所述的一种高能效的基于数字孪生的联邦学习框架,其特征在于:
计算能耗中,将物联网设备训练功率定义为α1,则物联网设备的计算能耗为:
小型基站的计算能耗包括小型基站上数字空间中使用虚拟对象的训练模型的能耗,小型基站维护虚拟对象的能耗以及小型基站融合模型参数的能耗,分别表示为:
式中,α2,β与θ分别代表小型基站的训练功率、在数字空间中维护工业物联网设备单个虚拟对象的功耗以及融合功耗;小型基站Bm的计算能耗表示为:
宏基站的融合模型参数的能耗为:
则:工业物联网设备dn,小型基站Bm以及宏基站的总能耗分别为:
在一次迭代过程中,总的能量消耗为:
9.根据权利要求4所述的一种高能效的基于数字孪生的联邦学习框架,其特征在于:
将所述联合优化问题表述为马尔可夫决策过程,分别定义状态空间、动作空间和回报函数:
状态空间定义为o(t)的表达为:
动作空间定义为包括物联网设备的训练方式的选择以及信道的分配;表示为:
A(t)={S(t),W(t)}
式中,S(t)表示物联网设备选择的向量,W(t)为信道分配的向量;
所述回报函数定义如下:
其中,εE与εT分别用于调节能量消耗和时间延迟在回报函数权重的常数,u(x)为阶跃函数,定义为:
10.根据权利要求4所述的一种高能效的基于数字孪生的联邦学习框架,其特征在于:采用深度Q值网络DQN,在DQN中,深度神经网络DNN根据状态输入得到各个动作空间的状态动作值Q;
在DNN的训练中,目标神经网络和经验回放会被采用来采用加速DNN的收敛;在一次学习过程中,通过时间差分法更新DNN的参数θ:
Q(s,a;θ)←Q(s,a;θ)+λ[Qtarge-Q(s,a;θ)]
式中,λ为学习率,τ为奖励衰减参数,θ-为另一个目标神经网络的参数;目标神经网络的参数经过指定回合数目,由DNN的参数进行更新;
DQN的损失函数定义为:
L(θ)=E[(Qtarget-Q(s,a;θ))2]
Double-DQN利用估计神经网络对下一状态s'下Q值最大的动作进行估计,并在迭代中,利用选择出的动作计算动作状态目标值Qtarget,表达式如下:
Dueling-DQN通过将Q分离为状态值V(s)和动作值A(s,a)加速模型的收敛,表达式如下:
Q(s,a;θ)=V(s;θ)+A(s,a;θ)
在给出转移概率后,最优的策略将通过线下学习。
11.根据权利要求10所述的一种高能效的基于数字孪生的联邦学习框架,其特征在于:所述线下学习的步骤为:评估网络的参数被初始化,然后采用初始化的参数更新相同结构的目标神经网络;
评估网络根据状态信息采用贪心策略选择出动作,基于数字孪生的工业物联网***采取动作后反馈奖励;所述状态、动作以及奖励将会存储在经验回放记忆中用于训练DQN以及更新目标神经网络。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110847621.3A CN113537514B (zh) | 2021-07-27 | 2021-07-27 | 一种高能效的基于数字孪生的联邦学习框架 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110847621.3A CN113537514B (zh) | 2021-07-27 | 2021-07-27 | 一种高能效的基于数字孪生的联邦学习框架 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113537514A CN113537514A (zh) | 2021-10-22 |
CN113537514B true CN113537514B (zh) | 2023-07-25 |
Family
ID=78120928
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110847621.3A Active CN113537514B (zh) | 2021-07-27 | 2021-07-27 | 一种高能效的基于数字孪生的联邦学习框架 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113537514B (zh) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114125785A (zh) * | 2021-11-18 | 2022-03-01 | 清华大学 | 数字孪生网络低时延高可靠传输方法、装置、设备及介质 |
CN114302422B (zh) * | 2021-11-29 | 2024-06-18 | 北京邮电大学 | 利用学习模型进行业务处理的方法以及装置 |
CN114302421B (zh) * | 2021-11-29 | 2024-06-18 | 北京邮电大学 | 通信网络架构的生成方法、装置、电子设备及介质 |
CN114363923B (zh) * | 2021-11-30 | 2024-03-26 | 山东师范大学 | 一种基于联邦边缘学习的工业物联网资源分配方法及*** |
CN114139688A (zh) * | 2021-12-09 | 2022-03-04 | 福州大学 | 基于马尔可夫链共识的工业物联网分布式联邦学习方法 |
CN114285880B (zh) * | 2021-12-27 | 2023-06-23 | 电子科技大学长三角研究院(衢州) | 一种基于增强孪生的物联网轻量型设备智能化方法 |
CN115392058B (zh) * | 2022-10-28 | 2023-04-25 | 南京邮电大学 | 工业物联网中基于演化博弈构建数字孪生模型的方法 |
CN115802389B (zh) * | 2023-01-17 | 2023-04-25 | 南京邮电大学 | 一种利用数字孪生辅助模型训练的联邦学习方法 |
CN116723527B (zh) * | 2023-08-09 | 2023-11-14 | 香港中文大学(深圳) | 一种基于数字孪生的基站功耗优化方法 |
CN117094031B (zh) * | 2023-10-16 | 2024-02-06 | 湘江实验室 | 工业数字孪生数据隐私保护方法及相关介质 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112367109A (zh) * | 2020-09-28 | 2021-02-12 | 西北工业大学 | 空地网络中由数字孪生驱动的联邦学习的激励方法 |
CN112700639A (zh) * | 2020-12-07 | 2021-04-23 | 电子科技大学 | 一种基于联邦学习与数字孪生的智能交通路径规划方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11861674B1 (en) * | 2019-10-18 | 2024-01-02 | Meta Platforms Technologies, Llc | Method, one or more computer-readable non-transitory storage media, and a system for generating comprehensive information for products of interest by assistant systems |
-
2021
- 2021-07-27 CN CN202110847621.3A patent/CN113537514B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112367109A (zh) * | 2020-09-28 | 2021-02-12 | 西北工业大学 | 空地网络中由数字孪生驱动的联邦学习的激励方法 |
CN112700639A (zh) * | 2020-12-07 | 2021-04-23 | 电子科技大学 | 一种基于联邦学习与数字孪生的智能交通路径规划方法 |
Non-Patent Citations (1)
Title |
---|
基于DTIM模型的5G网络共建共享运维方案研究与设计;乐建兵;向勇;陈翀;关迎晖;;广东通信技术(第08期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN113537514A (zh) | 2021-10-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113537514B (zh) | 一种高能效的基于数字孪生的联邦学习框架 | |
CN112118601B (zh) | 一种减少6g数字孪生边缘计算网络任务卸载延迟的方法 | |
CN110460880B (zh) | 基于粒子群和神经网络的工业无线流媒体自适应传输方法 | |
CN110417456B (zh) | 基于无人机的信息传输方法 | |
CN115277689B (zh) | 一种基于分布式联邦学习的云边网络通信优化方法及*** | |
CN114125785A (zh) | 数字孪生网络低时延高可靠传输方法、装置、设备及介质 | |
CN111629380A (zh) | 面向高并发多业务工业5g网络的动态资源分配方法 | |
CN112804107A (zh) | 一种物联网设备能耗自适应控制的分层联邦学习方法 | |
CN114745383A (zh) | 一种移动边缘计算辅助多层联邦学习方法 | |
CN116582871B (zh) | 一种基于拓扑优化的无人机集群联邦学习模型优化方法 | |
CN116681126B (zh) | 一种自适应等待时长的异步加权联邦学习方法 | |
CN114298178A (zh) | 一种多智能体的通信学习方法 | |
CN115065728B (zh) | 一种基于多策略强化学习的多目标内容存储方法 | |
CN110278570B (zh) | 一种基于人工智能的无线通信*** | |
CN117255356B (zh) | 一种无线接入网中基于联邦学习的高效自协同方法 | |
CN114268348A (zh) | 一种基于深度强化学习的无蜂窝大规模mimo功率分配方法 | |
CN111194048B (zh) | 一种基于em的1比特参数估计方法 | |
CN110300380B (zh) | 移动wsn中平衡***能耗与追踪精度的目标跟踪方法 | |
CN115278905B (zh) | 一种用于无人机网络传输的多节点通信时机确定方法 | |
CN111736465A (zh) | 一种无线云控制***调度方法及*** | |
CN107426748B (zh) | 一种无线网络控制***中多传感器估计性能方法 | |
CN106325069B (zh) | 一种无线网络控制***最优线性控制策略设计方法 | |
CN116362328A (zh) | 一种基于公平性特征表示的联邦学习异构模型聚合方法 | |
CN116484976A (zh) | 一种无线网络中异步联邦学习方法 | |
CN113938978B (zh) | 一种基于强化学习的异构无线传感器寻路方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |