CN115987541A - 边缘联邦任务卸载中带宽拒绝分配攻击防护方法 - Google Patents

Abstract

本发明公开了一种边缘联邦任务卸载中带宽拒绝分配攻击防护方法，应用于具有M个端设备和N个边缘联邦服务节点的边缘联邦学习网络，在时隙τ包括以下步骤：(1)端设备叫价；(2)带宽资源拍卖器将步骤(1)中所有端设备的投标向量及带宽资源分配请求收集到等待队列中，并计算等待队列中所有带宽分配请求的综合优先权值；(3)边缘联邦服务节点叫价；(4)带宽资源拍卖器收到边缘联邦学习服务节点确定带宽资源销售价格后进行撮合交易。本发明提出两层的多接入端设备可信带宽资源分配框架，该框架考虑了端设备恶意的请求及参与带宽拍卖双方的恶意投标及交易行为，从拍卖带宽资源分配请求到交易过程两个方面保障带宽资源分配的安全性。

Description

边缘联邦任务卸载中带宽拒绝分配攻击防护方法

技术领域

本发明属于物联网技术领域，更具体地，涉及一种缘联邦任务卸载中带宽拒绝分配攻击防护方法。

背景技术

边缘联邦学习作为一种在设备本地执行模型训练任务的分布式学习框架，极大地保护了用户的本地数据隐私。在用户的端设备中，当模型在本地训练完成后，参与模型训练的多个端设备需要把本地模型卸载到边缘节点，产生了多接入的边缘联邦学习网络计算模式。在这种模式中，边缘服务访问点通过分配带宽为多接入的边缘联邦学习网络提供了低延迟的计算服务，使得边缘联邦任务快速卸载到边缘服务聚合节点。由于参与边缘联邦学习的端设备在同一个无线网络中上传和下载模型，多个端设备共享同一个联邦学习服务节点的带宽，如何在参与模型训练的端设备间分配有限的带宽资源对于联邦学习的速度和效率有着重要的影响。同时，恶意的端设备利用边缘联邦端设备多接入共享联邦学习服务节点的带宽资源特性发起DDoS(Distributed Denial of Service)攻击，对边缘联邦任务的卸载构成严重的安全威胁。在边缘联邦学习网络中，恶意的边缘联邦端设备发起DDoS攻击时，先通过窃听网络通信来收集合法用户的身份、位置、验证密钥等信息，当一个端设备被攻陷时，其ID、位置、带宽消耗信息被攻击者获取，攻击者开始发起带宽拒绝分配攻击，即恶意的端设备修改其任务完成时间、带宽消耗率和投标价格后，发起一个假的带宽分配请求，联邦学习服务节点接收到假的带宽请求后，根据带宽服务优先权对端设备的服务优先权排序并且分配带宽资源，最终导致一些具有高优先权端设备的带宽需求被忽略，使得联邦学习模型卸载失败。一个可信的边缘联邦任务卸载***必须在带宽拒绝分配攻击出现时确保计算任务在延迟敏感时间内成功卸载。此外，在带宽资源分配中，端设备作为带宽资源的投标者，边缘联邦服务节点作为带宽资源的拍卖者，在带宽资源拍卖过程中，任何一方进行虚假交易都将导致带宽分配的不均衡，也将导致任务卸载率降低。针对此类攻击，智能的防御***能自适应观测端设备的带宽需求和状态，同时在区块链的辅助下，能有效地审计拍卖双方带宽资源的虚假交易行为。因此，如何通过安全可靠的带宽资源拍卖算法来消除带宽拒绝分配攻击带来的影响，提高边缘联邦学习网络中多接入端设备共享带宽资源的服务质量仍然是一个挑战性问题。

面对这个挑战，研究者提出了一些基于拍卖的资源分配方法。J.Xu等针对联邦学习服务环境，基于拍卖机制设计带宽资源分配算法来优化多个边缘联邦学习服务节点的整体性能，该方案未考虑DDoS攻击者发起的带宽拒绝分配攻击(“Bandwidth Allocation forMultiple Federated Learning Services in Wireless Edge Networks，”in IEEETransactions on Wireless Communications,vol.21,no.4,pp.2534-2546,April 2022)。X.Liu等针对群智感知***中不可分割的任务处理，考虑many-to-one任务处理模式，基于双边拍卖算法提出可信的多资源分配机制，但是该方案未能考虑双边拍卖节点间的虚假交易问题(“A Truthful Double Auction Mechanism for Multi-Resource Allocation inCrowd Sensing Systems,”in IEEE Transactions on Services Computing,doi:10.1109/TSC.2021.3075541)。G.Gao等考虑分布式边缘云中截止期敏感性任务处理时，移动用户对VM(Virtual machine)资源的竞争，模型化VM资源分配问题为一个n-to-one加权二部图匹配问题，并且基于拍卖理论提出可信的VM资源分配机制来决定拍卖的获胜者，但该方法未考虑拍卖过程中参与交易的节点的恶意行为对VM资源分配造成的影响(“Auction-Based VM Allocation for Deadline-Sensitive Tasks in DistributedEdge Cloud,”in IEEE Transactions on Services Computing,vol.14,no.6,pp.1702-1716,1Nov.-Dec.2021)。为有效利用有限的频谱资源，R.Zhu等提出一种基于区块链的两阶段安全频谱智能感知***，在第一阶段，该***提出反向拍卖的激励机制优化投标策略；在第二阶段，提出基于单位效用的拍卖算法。该***把交易记录记载到区块链中以确保交易安全，该方法未考虑交易过程中频谱资源的拒绝分配攻击，无法确保迫切需要频谱资源的节点及时获得频谱资源(“ABlockchain-Based Two-Stage Secure Spectrum IntelligentSensing and Sharing Auction Mechanism,”in IEEE Transactions on IndustrialInformatics,vol.18,no.4,pp.2773-2783,April 2022)。这些研究方案还存在如下不足：

(1)已提出的解决方案较少考虑边缘联邦学习网络计算任务卸载中DDoS攻击者发起的带宽拒绝分配攻击，而仅考虑边缘联邦端设备间共享带宽的冲突性，受DDoS攻击时无法确保分布式联邦学习的性能。因此，已提出的解决方案在边缘联邦学习网络中多接入端设备计算任务卸载中的应用具有局限性，并且未针对此类型的攻击提出相应的防护方法。

(2)已提出的解决方案仅考虑了基于拍卖理论的带宽资源分配，未考虑端设备发起的虚假带宽资源分配请求对带宽优先权队列的扰乱。特别是，随着端设备计算任务卸载中请求带宽投标数的增加，导致带宽分配决策空间呈现较高的增长，已有的基于拍卖理论的解决方案未给出相应的处理方法。

(3)已提出的解决方案仅优化了带宽资源的拍卖策略，未考虑带宽资源拍卖过程中端设备和边缘联邦服务节点之间的虚假交易场景，也未结合区块链技术实现对拍卖双方交易的审计。特别是，随着带宽资源交易数据量的增加，节点间不可信的交易概率上升，已有的解决方案未给出相应的审计方法。

发明内容

为了解决以上方法的不足，本发明基于区块链和学习算法来感知攻击者的投标行为和抑制交易双方的恶意行为，从而提出一种边缘联邦任务卸载中带宽拒绝分配攻击防护方法及***，实现多接入端设备联邦学习任务的低延迟卸载。

为实现上述目的，按照本发明的一个方面，提供了一种边缘联邦任务卸载中带宽拒绝分配攻击防护方法，应用于具有M个端设备和N个边缘联邦服务节点的边缘联邦学习网络，在时隙τ包括以下步骤：

(1)端设备叫价：发送给带宽资源拍卖协调器对边缘联邦服务节点保密的投标向量其中带宽资源分配请求表示端设备j对边缘联邦服务节点i投标；

对于带宽资源分配请求同时向带宽资源拍卖协调器提交带宽分配请求其中ID_j表示端设备j的编号，x_j,y_j表示端设备的位置，q_j表示带宽资源使用率，表示端设备j的投标价格；所述端设备j的投标价格采用强化学习算法确定；

(2)带宽资源拍卖器将步骤(1)中所有端设备的投标向量及带宽资源分配请求收集到等待队列中，并计算等待队列中所有带宽分配请求的综合优先权值；所述综合优选权值根据端设备对边缘联邦服务节点的距离以及边缘联邦任务卸载的时间延迟反映被分配带宽资源优先程度，端设备对边缘联邦服务节点的距离越大、或者边缘联邦任务卸载的时间延迟越长，被分配带宽资源优先程度越低；

(3)边缘联邦服务节点叫价：带宽资源拍卖器将收集到的所有带宽资源分配请求按照其所请求的边缘联邦服务节点整理后，将带宽资源分配请求、及其综合优先权分别提交给相应边缘联邦服务节点，所有边缘联邦服务节点各自独立地采用强化学习算法决定其带宽资源销售价格，并将销售价格提交给所述带宽资源拍卖器；

(4)带宽资源拍卖器收到边缘联邦学习服务节点确定带宽资源销售价格后进行撮合交易，若成功成立交易，则由成立交易的端设备和边缘联邦学习服务节点分别上传带宽资源交易记录给智能合约，由智能合约记录并进行审计后，确认交易成功。

优选地，所述边缘联邦任务卸载中带宽拒绝分配攻击防护方法，其步骤(1)所述端设备j的投标价格采用强化学习算法确定，具体如下：

状态定义为：

其中，表示端设备j期望的带宽需求，为端设备j观测到边缘联邦服务节点i为其分配的带宽资源；

行动定义为端设备j在时隙τ提交的价格，其中，为端设备j的投标价格；

奖励函数表示为：

其中，为端设备j购买到可用的任务卸载速率，R(τ)期望的任务卸载速率，由端设备j提出的一个速率值，且 为端设备j的投标价格，为端设备j对边缘联邦服务节点i的带宽分配请求的综合优先权值；

端设备j的策略是给定状态时给出特定带宽资源投标价格的概率函数，目标为最大化端设备j从时间τ开始以后的时间隙内累积的奖励。

优选地，所述边缘联邦任务卸载中带宽拒绝分配攻击防护方法，其期望的带宽需求如下方法计算：

其中，为端设备j在时间隙τ的基本带宽需求，由未受DDoS攻击时卸载的任务量决定，端设备带宽变化的最大值，为时间隙τ端设备j具有的带宽等级，按照如下方法计算：

其中，η_o∈(0,1)表示带宽资源的分配效率，表明端设备的带宽资源分配混合优先权增量为正值，端设备容易获得带宽资源；表明端设备的带宽资源分配混合优先权增量为负值，端设备不容易获得带宽资源；为时间隙τ-1端设备j具有的带宽等级。

优选地，所述边缘联邦任务卸载中带宽拒绝分配攻击防护方法，其端设备j购买到可用的任务卸载速率表示为：

其中，p_j和g_j分别表示端设备j的传输功率和信道增益、σ²表示噪声，d表示端设备和边缘联邦服务节点之间的距离。

优选地，所述边缘联邦任务卸载中带宽拒绝分配攻击防护方法，其端设备j期望的任务卸载速率可计算为：

其中，T_i ^j(τ)表示端设备j使用边缘联邦服务节点i的时间隙集合，T表示端设备任务卸载的时间。λ_i＝Ε[B_i(τ)]为边缘联邦服务节点i带宽资源的可用性变量，缘联邦服务节点i带宽资源可用状态B_i(τ)服从伯努利分布的随机过程，且B_i(τ)～Bernoulli(λ_i)，B_i(τ)∈{0,1}表示在时间隙τ边缘联邦服务节点i带宽资源的可用状态。B_i(τ)＝1表示边缘联邦服务节点i带宽资源可用，否则B_i(τ)＝0。

优选地，所述边缘联邦任务卸载中带宽拒绝分配攻击防护方法，其步骤(1)采用深度Q网络模型进行决策。

优选地，所述边缘联邦任务卸载中带宽拒绝分配攻击防护方法，其所述端设备j对边缘联邦服务节点i的带宽分配请求的综合优先权值为端设备对边缘联邦服务节点的距离以及边缘联邦任务卸载的时间延迟数值的加权和的倒数，计算方法如下：

其中，β_t，β_d表示权重，表示边缘联邦任务卸载的时间延迟，端设备j和边缘联邦服务节点i之间的距离。

优选地，所述边缘联邦任务卸载中带宽拒绝分配攻击防护方法，其步骤(3)对于边缘联邦服务节点i其采用的强化学习算法决定其带宽资源销售价格具体如下：

状态定义为：

其中，为时隙τ的等待队列中对边缘联邦服务节点i提出带宽请求的端设备j的综合优先权值，为时隙τ的等待队列中所有对边缘联邦服务节点i提出带宽请求的端设备的综合优先权值最小值，为时隙τ的等待队列中所有对边缘联邦服务节点i提出带宽请求的端设备的综合优先权值最大值；

行动定义为边缘联邦服务节点i在时隙τ提交的销售价格 其中，为边缘联邦服务节点的销售价格；

奖励函数表示为：

其中，B_i(τ)为B_i(τ)∈{0,1}表示在时间隙τ边缘联邦服务节点i带宽资源的可用状态，为端设备j的综合优先权值，为表示智能合约的违反次数带来的惩罚，如果边缘联邦服务节点不能提供带宽资源给端设备，则智能合约违反将发生；

边缘联邦服务节点i的策略是给定状态时给出特定带宽资源销售价格的概率函数，目标为最大化边缘联邦服务节点i从时间τ开始以后的时间隙内累积的奖励。

优选地，所述边缘联邦任务卸载中带宽拒绝分配攻击防护方法，其表示智能合约的违反次数带来的惩罚计算方法如下：

其中，为边缘联邦服务节点i带宽资源的历史最高销售价格，为边缘联邦服务节点预测端设备j的带宽资源分配优先权，端设备发送给拍卖者保密的投标向量其中表示端设备j对边缘联邦服务节点i投标，否则 表示在时间隙τ边缘联邦服务节点i为端设备j提供带宽服务，如果边缘联邦服务节点i分配带宽资源给端设备j，则每个边缘联邦服务节点的带宽资源至少分配给一个端设备，每个端设备至少能被一个边缘联邦服务节点分配带宽。

边缘联邦服务节点i预测端设备j的带宽资源分配优先权为边缘联邦服务节点观测和端设备之间的距离计算。

优选地，所述边缘联邦任务卸载中带宽拒绝分配攻击防护方法，其步骤(3)采用深度Q网络模型进行决策。

总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：

(1)为抵抗DDoS攻击者的带宽拒绝分配攻击，最小化边缘联邦学习任务的卸载延迟，本发明提出两层的多接入端设备可信带宽资源分配框架，该框架考虑了端设备恶意的请求及参与带宽拍卖双方的恶意投标及交易行为，从拍卖带宽资源分配请求到交易过程两个方面保障带宽资源分配的安全性。

(2)由于恶意的端设备通过扰乱带宽资源分配请求队列，获得优先分配权，导致带宽资源分配请求队列优先分配权变得不确定。针对此问题，本发明提出基于强化学习的带宽资源分配双边投标算法，在带宽资源分配请求队列不确定的情况下，结合端设备的带宽资源需求和带宽资源分配混合优先权，利用无模型学习方法自适应优化双边投标策略，与基于模型的方法相比，减少了额外的假设和计算复杂度。

(3)参与拍卖的端设备和边缘联邦服务节点具有自私性，为获得最大收益，拍卖双方进行带宽资源的虚假交易，极大降低了合法的端设备的收益。针对此问题，本发明进一步设计基于区块链的双边带宽资源交易审计机制，通过审计带宽资源分配请求队列中的交易，从而抑制拍卖双方的恶意交易行为。

附图说明

图1是本发明提供的边缘联邦任务卸载中带宽拒绝分配攻击防护方法步骤示意图；

图2是本发明实施例两层的多接入端设备可信带宽资源分配框架结构示意图；

图3是本发明实施例带宽资源交易审计流程。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

本发明提供的边缘联邦任务卸载中带宽拒绝分配攻击防护方法，应用于具有M个端设备和N个边缘联邦服务节点的边缘联邦学习网络，如图1所示，在时隙τ包括以下步骤：

(1)端设备叫价：发送给带宽资源拍卖协调器对边缘联邦服务节点保密的投标向量其中带宽资源分配请求表示端设备j对边缘联邦服务节点i投标；当端设备j的带宽资源低于预设的阈值时，投标向量中存在至少一个带宽资源分配请求

对于带宽资源分配请求同时向带宽资源拍卖协调器提交带宽分配请求其中ID_j表示端设备j的编号，x_j,y_j表示端设备的位置，q_j表示带宽资源使用率，表示端设备j的投标价格；所述端设备j的投标价格采用强化学习算法确定，具体如下：

状态定义为：

其中，表示端设备j期望的带宽需求，为端设备j观测到边缘联邦服务节点i为其分配的带宽资源。期望的带宽需求如下方法计算：

其中，为端设备j在时间隙τ的基本带宽需求，由未受DDoS攻击时卸载的任务量决定，端设备带宽变化的最大值，为时间隙τ端设备j具有的带宽等级，按照如下方法计算：

其中，η_o∈(0,1)表示带宽资源的分配效率，表明端设备的带宽资源分配混合优先权增量为正值，端设备容易获得带宽资源；表明端设备的带宽资源分配混合优先权增量为负值，端设备不容易获得带宽资源；为时间隙τ-1端设备j具有的带宽等级。

行动定义为端设备j在时隙τ提交的价格，其中，为端设备j的投标价格；

奖励函数表示为：

其中，为端设备j购买到可用的任务卸载速率，R(τ)期望的任务卸载速率，由端设备j提出的一个速率值，且 为端设备j的投标价格，为端设备j对边缘联邦服务节点i的带宽分配请求的综合优先权值；

端设备j购买到可用的任务卸载速率表示为：

其中，p_j和g_j分别表示端设备j的传输功率和信道增益、σ²表示噪声，d表示端设备和边缘联邦服务节点之间的距离。

端设备j期望的任务卸载速率可计算为：

其中，T_i ^j(τ)表示端设备j使用边缘联邦服务节点i的时间隙集合，T表示端设备任务卸载的时间。λ_i＝Ε[B_i(τ)]为边缘联邦服务节点i带宽资源的可用性变量，缘联邦服务节点i带宽资源可用状态B_i(τ)服从伯努利分布的随机过程，且B_i(τ)～Bernoulli(λ_i)，B_i(τ)∈{0,1}表示在时间隙τ边缘联邦服务节点i带宽资源的可用状态。B_i(τ)＝1表示边缘联邦服务节点i带宽资源可用，否则B_i(τ)＝0。

端设备j的策略是给定状态时给出特定带宽资源投标价格的概率函数，目标为最大化端设备j从时间τ开始以后的时间隙内累积的奖励，优选采用深度Q网络模型进行决策。

(2)带宽资源拍卖器将步骤(1)中所有端设备的投标向量及带宽资源分配请求收集到等待队列中，并计算等待队列中所有带宽分配请求的综合优先权值；所述综合优选权值根据端设备对边缘联邦服务节点的距离以及边缘联邦任务卸载的时间延迟反映被分配带宽资源优先程度，端设备对边缘联邦服务节点的距离越大、或者边缘联邦任务卸载的时间延迟越长，被分配带宽资源优先程度越低。具体的，端设备j对边缘联邦服务节点i的带宽分配请求的综合优先权值为端设备对边缘联邦服务节点的距离以及边缘联邦任务卸载的时间延迟数值的加权和的倒数，计算方法如下：

其中，β_t，β_d表示权重，表示边缘联邦任务卸载的时间延迟，端设备j和边缘联邦服务节点i之间的距离；

(3)边缘联邦服务节点叫价：带宽资源拍卖器将收集到的所有带宽资源分配请求按照其所请求的边缘联邦服务节点整理后，将带宽资源分配请求、及其综合优先权分别提交给相应边缘联邦服务节点，所有边缘联邦服务节点各自独立地采用强化学习算法决定其带宽资源销售价格，并将销售价格提交给所述带宽资源拍卖器；

对于边缘联邦服务节点i其采用的强化学习算法决定其带宽资源销售价格具体如下：

状态定义为：其中，为时隙τ的等待队列中对边缘联邦服务节点i提出带宽请求的端设备j的综合优先权值，为时隙τ的等待队列中所有对边缘联邦服务节点i提出带宽请求的端设备的综合优先权值最小值，为时隙τ的等待队列中所有对边缘联邦服务节点i提出带宽请求的端设备的综合优先权值最大值；

行动定义为边缘联邦服务节点i在时隙τ提交的销售价格 其中，为边缘联邦服务节点的销售价格；

奖励函数表示为：

其中，B_i(τ)为B_i(τ)∈{0,1}表示在时间隙τ边缘联邦服务节点i带宽资源的可用状态，为端设备j的综合优先权值，为表示智能合约的违反次数带来的惩罚，如果边缘联邦服务节点不能提供带宽资源给端设备，则智能合约违反将发生。此时，在区块链中无法查询出当前时间隙出售给端设备带宽的交易记录，则为无效交易。

其中，为边缘联邦服务节点i带宽资源的历史最高销售价格，为边缘联邦服务节点预测端设备j的带宽资源分配优先权，端设备发送给拍卖者保密的投标向量其中表示端设备j对边缘联邦服务节点i投标，否则 表示在时间隙τ边缘联邦服务节点i为端设备j提供带宽服务，如果边缘联邦服务节点i分配带宽资源给端设备j，则每个边缘联邦服务节点的带宽资源至少分配给一个端设备，每个端设备至少能被一个边缘联邦服务节点分配带宽。

边缘联邦服务节点i预测端设备j的带宽资源分配优先权为边缘联邦服务节点观测和端设备之间的距离计算。

边缘联邦服务节点i的策略是给定状态时给出特定带宽资源销售价格的概率函数，目标为最大化边缘联邦服务节点i从时间τ开始以后的时间隙内累积的奖励，优选采用深度Q网络模型进行决策。

(4)带宽资源拍卖器收到边缘联邦学习服务节点确定带宽资源销售价格后进行撮合交易，若成功成立交易，则由成立交易的端设备和边缘联邦学习服务节点分别上传带宽资源交易记录给智能合约，由智能合约记录并进行审计后，确认交易成功。

以下为实施例：

一种边缘联邦任务卸载中带宽拒绝分配攻击防护方法，应用于具有M个端设备和N个边缘联邦服务节点的边缘联邦学习网络。

本发明中，边缘联邦学习网络由多个端设备、边缘联邦服务节点组成，服务访问点和微云服务器组成边缘联邦服务节点。双层抗带宽拒绝分配攻击框架如图2所示，其中可信带宽资源拍卖层实现端设备和边缘联邦服务节点之间的拍卖策略优化，使得拍卖双方获得最大效用；带宽资源交易审计层作为后端***，主要实现对拍卖双方虚假交易的约束，保障拍卖结果的不可否认性。当多个设备卸载边缘联邦训练任务时，边缘联邦服务节点负责为端设备分配带宽。由于旧的卸载任务随着时间的推移而完成，新的卸载任务会启动，带宽资源的分配必须定期地执行以适应当前的任务卸载活动。假定在时间隙τ，N个边缘联邦服务节点为M个端设备提供带宽资源服务，端设备在多个边缘联邦服务节点中搜索和竞争空闲的带宽资源。

令B_i(τ)∈{0,1}表示在时间隙τ边缘联邦服务节点i带宽资源的可用状态。B_i(τ)＝1表示边缘联邦服务节点i带宽资源可用，否则B_i(τ)＝0。在DDoS攻击下，边缘联邦服务节点i带宽资源可用状态B_i(τ)服从伯努利分布的随机过程，且B_i(τ)～Bernoulli(λ_i)，其中λ_i＝Ε[B_i(τ)]。令λ＝[λ₁,...,λ_N]表示边缘联邦服务节点带宽资源的可用性变量且端设备对这些变量是未知的。在***运行的初始阶段每个端设备j只能选择一个边缘联邦服务节点i获得带宽资源。

此时，端设备j可用的任务卸载速率表示为：

其中，p_j和g_j分别表示端设备j的传输功率和信道增益，σ²表示噪声，d表示端设备和边缘联邦服务节点之间的距离。端设备期望的任务卸载速率可计算为：

其中，T_i ^j(τ)表示端设备j使用边缘联邦服务节点i的时间隙集合，T表示端设备任务卸载的时间。从上式中可以看出，在DDoS攻击下，吞吐量由两方面因素所决定，一是边缘联邦服务节点i带宽的可用性，二是每个端设备j的可用速率，以及在此速率下端设备卸载任务的时间延迟为其中o_j表示端设备j卸载的任务大小。本发明设计可信的带宽资源分配算法最大化端设备计算任务卸载的吞吐量，同时最小化延迟时间。

为抑制恶意端设备的主动DDoS攻击，面临的主要挑战是为边缘联邦服务节点设计可信的带宽需求模型和带宽资源交易机制。本发明设计了一个基于区块链的带宽需求控制方法，在此方法中，每个边缘联邦服务节点作为带宽资源的拍卖者执行在线的学习算法并分配带宽资源，以此来保障合法端设备的带宽资源需求。令e表示端设备集合，f表示边缘联邦服务节点集合，端设备作为投标者获取所需的带宽资源，边缘联邦服务节点作为拍卖者为端设备分配带宽资源。在此拍卖模型中，每个端设备能对f中的任何一个边缘联邦服务节点投标。

在时隙τ包括以下步骤：

(1)端设备叫价：发送给带宽资源拍卖协调器对边缘联邦服务节点保密的投标向量其中带宽资源分配请求表示端设备j对边缘联邦服务节点i投标；当端设备j的带宽资源低于预设的阈值时，投标向量中存在至少一个带宽资源分配请求

定义b^-j(τ)表示其他投标者的竞标向量，且b^-j(τ)＝{b^k(τ)|k∈e\j}。

在端设备卸载计算任务的过程中，端设备j一旦发现其带宽资源低于一个特定的阈值时，端设备发起至少一个带宽分配请求。

在理想情况下，根据端设备的投标，拍卖者将分配带宽资源给每个端设备。然而，由于边缘联邦服务节点的带宽资源平均可用性统计特征λ_i不显著，并且合法的端设备和恶意的端设备对带宽资源的需求不同，且恶意的端设备对带宽资源的需求具有隐蔽性，难以获得其DDoS攻击意图。因此，必须考虑每个端设备投标中对带宽资源的需求情况。特别是，针对恶意的端设备，本发明考虑了面向端设备需求的带宽资源拍卖模型，即Demange-Gale-Sotomayor(DGS)拍卖，用于处理多个投标者对同一个边缘联邦服务节点投标的场景，这导致了优势策略均衡，其中每个投标人的收益最大时，忽略了其他投标人的策略，当优势策略均衡时，DGS拍卖也达到了最低价格均衡。

对于带宽资源分配请求同时向带宽资源拍卖协调器提交带宽分配请求其中ID_j表示端设备j的编号，x_j,y_j表示端设备的位置，q_j表示带宽资源使用率，表示端设备j的投标价格；所述端设备j的投标价格采用强化学习算法确定，具体如下：

状态定义为：

其中，表示端设备j期望的带宽需求，为端设备j观测到边缘联邦服务节点i为其分配的带宽资源。在DDoS攻击下，端设备的混合优先权发生变化，其变化影响了端设备预期的带宽需，期望的带宽需求如下方法计算：

其中，为端设备j在时间隙τ的基本带宽需求，由未受DDoS攻击时卸载的任务量决定，端设备带宽变化的最大值，为时间隙τ端设备j具有的带宽等级，按照如下方法计算：

其中，η_o∈(0,1)表示带宽资源的分配效率，表明端设备的带宽资源分配混合优先权增量为正值，端设备容易获得带宽资源；表明端设备的带宽资源分配混合优先权增量为负值，端设备不容易获得带宽资源；为时间隙τ-1端设备j具有的带宽等级。

在DDoS攻击下，端设备的混合优先权发生变化，其变化影响了端设备预期的带宽需求。

行动定义为端设备j在时隙τ提交的价格，其中，为端设备j的投标价格；

由端设备带宽变化的动态方程可知，在受DDoS攻击或未受DDoS攻击时，端设备的带宽需求是不同的，令表示端设备j在时间隙τ的基本带宽需求，他与未受DDoS攻击时卸载的任务量相关。表示期望的带宽需求。端设备j为获得期望的带宽资源决定其投标价格同时边缘联邦服务节点i决定其销售价格端设备的目标是以混合优先权身份投标并获得最小的价格，同时满足其联邦学习任务卸载的基本带宽需求，端设备的目标函数可表示如下：

其中，表示任务卸载速率的满意度。表示端设备j最小的投标价格，表示端设备j最大的投标价格。从上式可以看出，端设备将以最低的价格和混合优先权使其目标函数值达到最大。

奖励函数表示为：

其中，为端设备j购买到可用的任务卸载速率，R(τ)期望的任务卸载速率，由端设备j提出的一个速率值，且 为端设备j的投标价格，为端设备j对边缘联邦服务节点i的带宽分配请求的综合优先权值；

端设备j购买到可用的任务卸载速率表示为：

其中，p_j和g_j分别表示端设备j的传输功率和信道增益、σ²表示噪声，d表示端设备和边缘联邦服务节点之间的距离。

端设备j期望的任务卸载速率可计算为：

其中，T_i ^j(τ)表示端设备j使用边缘联邦服务节点i的时间隙集合，T表示端设备任务卸载的时间。λ_i＝Ε[B_i(τ)]为边缘联邦服务节点i带宽资源的可用性变量，缘联邦服务节点i带宽资源可用状态B_i(τ)服从伯努利分布的随机过程，且B_i(τ)～Bernoulli(λ_i)，B_i(τ)∈{0,1}表示在时间隙τ边缘联邦服务节点i带宽资源的可用状态。B_i(τ)＝1表示边缘联邦服务节点i带宽资源可用，否则B_i(τ)＝0。

端设备j的策略是给定状态时给出特定带宽资源投标价格的概率函数，目标为最大化端设备j从时间τ开始以后的时间隙内累积的奖励，优选采用深度Q网络模型进行决策。

(2)带宽资源拍卖器将步骤(1)中所有端设备的投标向量及带宽资源分配请求收集到等待队列中，并计算等待队列中所有带宽分配请求的综合优先权值；所述综合优选权值根据端设备对边缘联邦服务节点的距离以及边缘联邦任务卸载的时间延迟反映被分配带宽资源优先程度，端设备对边缘联邦服务节点的距离越大、或者边缘联邦任务卸载的时间延迟越长，被分配带宽资源优先程度越低。具体的，端设备j对边缘联邦服务节点i的带宽分配请求的综合优先权值为端设备对边缘联邦服务节点的距离以及边缘联邦任务卸载的时间延迟数值的加权和的倒数，计算方法如下：

其中，β_t，β_d表示权重，表示边缘联邦任务卸载的时间延迟，端设备j和边缘联邦服务节点i之间的距离；

对于端设备j，越高的混合优先权，将获得较高的带宽分配优先权。恶意端设备发起DDoS攻击时，使得混合优先权变得不确定，导致高优先权的端设备无法获得带宽分配。因此，本发明结合混合优先权来优化拍卖价格，从而使得合法的端设备获得合理的带宽分配优先权。

(3)边缘联邦服务节点叫价：带宽资源拍卖器将收集到的所有带宽资源分配请求按照其所请求的边缘联邦服务节点整理后，将带宽资源分配请求、及其综合优先权分别提交给相应边缘联邦服务节点，所有边缘联邦服务节点各自独立地采用强化学习算法决定其带宽资源销售价格，并将销售价格提交给所述带宽资源拍卖器；

收到带宽资源分配请求后，记录并形成一个等待队列，具有高优先权的端设备被优先分配带宽资源，定义端设备的优先权为时间优先权和空间优先权，时间优先权定义为边缘联邦任务卸载的时间延迟类似地，空间优先权定义为端设备和边缘联邦服务节点之间的距离

令在时间隙τ，边缘联邦服务节点的带宽资源销售价格为

对于边缘联邦服务节点i其采用的强化学习算法决定其带宽资源销售价格具体如下：

状态定义为：其中，为时隙τ的等待队列中对边缘联邦服务节点i提出带宽请求的端设备j的综合优先权值，为时隙τ的等待队列中所有对边缘联邦服务节点i提出带宽请求的端设备的综合优先权值最小值，为时隙τ的等待队列中所有对边缘联邦服务节点i提出带宽请求的端设备的综合优先权值最大值；

行动定义为边缘联邦服务节点i在时隙τ提交的销售价格 其中，为边缘联邦服务节点的销售价格；

奖励函数表示为：

其中，B_i(τ)为B_i(τ)∈{0,1}表示在时间隙τ边缘联邦服务节点i带宽资源的可用状态，为端设备j的综合优先权值，为表示智能合约的违反次数带来的惩罚，如果边缘联邦服务节点不能提供带宽资源给端设备，则智能合约违反将发生。此时，在区块链中无法查询出当前时间隙出售给端设备带宽的交易记录，则为无效交易。

其中，为边缘联邦服务节点i带宽资源的历史最高销售价格，为边缘联邦服务节点预测端设备j的带宽资源分配优先权，端设备发送给拍卖者保密的投标向量其中表示端设备j对边缘联邦服务节点i投标，否则 表示在时间隙τ边缘联邦服务节点i为端设备j提供带宽服务，如果边缘联邦服务节点i分配带宽资源给端设备j，则每个边缘联邦服务节点的带宽资源至少分配给一个端设备，每个端设备至少能被一个边缘联邦服务节点分配带宽。

边缘联邦服务节点i预测端设备j的带宽资源分配优先权为边缘联邦服务节点观测和端设备之间的距离计算。

边缘联邦服务节点i的策略是给定状态时给出特定带宽资源销售价格的概率函数，目标为最大化边缘联邦服务节点i从时间τ开始以后的时间隙内累积的奖励，优选采用深度Q网络模型进行决策。

令表示端设备j的实际带宽资源分配混合优先权，表示边缘联邦服务节点预测端设备j的带宽资源分配优先权，且边缘联邦服务节点i根据端设备的带宽资源分配混合优先权和投标价格分配带宽资源，其销售价格为因此，边缘联邦服务节点为端设备j分配的带宽资源函数为且边缘联邦服务节点为端设备j分配的带宽资源区间为：

为了防止DDoS攻击者的超限需求导致带宽分配服务被拒绝以及边缘联邦服务节点违反带宽资源交易的智能合约条件，边缘联邦服务节点观测端设备的混合带宽资源分配优先权，并出示其销售价格，最大化其效用如下：

其中，Ε{·}表示随机变量的期望。表示智能合约的违反次数，如果边缘联邦服务节点不能提供带宽资源给端设备，则智能合约违反将发生。此时，在区块链中无法查询出当前时间隙出售给端设备带宽的交易记录，则为无效交易。

令表示在时间隙τ边缘联邦服务节点i为端设备j提供带宽服务，如果边缘联邦服务节点i分配带宽资源给端设备j，则每个边缘联邦服务节点的带宽资源至少分配给一个端设备，每个端设备至少能被一个边缘联邦服务节点分配带宽。在时间隙τ，当

时，端设备j完成对边缘联邦服务节点i的带宽资源竞标并分配了带宽资源，否则

本发明提出基于强化学习的双边带宽资源拍卖算法来实现受DDoS攻击的边缘联邦任务卸载中可信的带宽资源分配。通过此算法探索和学习端设备和边缘联邦服务节点的双边拍卖策略，从而解决在DDoS攻击下带宽资源混合优先权队列不稳定所造成的带宽分配不均问题。此算法中的决策者为边缘联邦服务节点以及端设备，他们通过与拍卖环境的交互，观察当前的状态并采取行动。在每个时间步，智能体从拍卖环境中接收一个对于执行行动的奖励信号，智能体通过多步的决策及采取行动来最大化累积的奖励。在双边带宽资源拍卖算法中，端设备和边缘联邦服务节点作为参与拍卖的智能体，令带宽拍卖的状态空间为其中端设备j的带宽需求状态定义为端设备预期的带宽需求和边缘联邦服务节点分配的带宽B_i(τ)之间的差值：

对于边缘联邦服务节点进行带宽分配时，观测其带宽资源分配优先权队列。由于DDoS的攻击，在边缘联邦服务节点中存储的带宽资源分配优先权队列是动态变化的，通过混合优先权可获得宽资源分配优先权状态：

在给定的状态s(τ)，智能体从行动集合选择一个行动，带宽拍卖的状空间从s(τ)传递到下一个状态s(τ+1)，并且返回一个数值奖励r(τ+1)，其中，这里使用r(τ+1)来评估在状态s(τ)执行的行动a(τ)。其中，a(τ)为每个智能体提交的价格，且 且在学习算法中，边缘服务节点作为智能体，根据每个端设备的优先权以最高的价格出售其带宽B_i(τ)并获得奖励来最大其效用，对于每个边缘联邦服务节点i，其奖励函数表示如下：

对于每个端设备以最低的投标价格满足预期的带宽需求和计算任务的卸载率。因此，在时间隙τ，端设备j的奖励函数表示如下：

在学习算法中，端设备和边缘联邦服务节点作为智能体，其策略π(s(τ),a(τ))是给定状态s(τ)时，选择行动a(τ)概率的函数，智能体的目标是最大化从时间τ开始以后的时间隙内累积的奖励，在策略π(s(τ),a(τ))下定义action-value函数Q_π(s(τ),a(τ))如下：

其中，γ∈(0,1]表示打折因子，最优的action-value函数Q_*(s(τ),a(τ))满足如下等式：

Q_*(s(τ),a(τ))＝maxQ_π(s(τ),a(τ))

在学习算法中，本发明使用Q_π(s(τ),a(τ))的Q表来估计最优的action-value函数Q_*(s(τ),a(τ))，Q表的更新规则如下：

Q(s(τ),a(τ))＝(1-α)Q(s(τ),a(τ))+α(r(τ+1)+γmax(s(τ+1),a(τ+1)))

其中，α∈(0,1)是学习率。本发明提出的基于强化学习的抗DDoS攻击的带宽资源拍卖算法步骤如下：在时间隙τ，边缘联邦服务节点和端设备在当前状态s(τ)，使用行动a(τ)提交他们的价格，然后从环境中获得奖励r(τ+1)，随后，带宽拍卖的状态空间传递到下一个状态s(τ+1)，接下来在时间步τ+1，算法使用式(16)，使用(s(τ),a(τ))更新Q值。具体如算法1所示：

算法1：

输入：学习率α∈(0,1)

输出：端设备和边缘联邦服务节点的带宽资源各自的成交价格。

步骤1：初始化Q_π(s(τ),a(τ))，τ＝0

步骤2：while带宽资源混合优先权队列不为空do

步骤3：端设备观测其状态边缘联邦服务节点观测其状态

步骤4：从a(τ)中选择各自的行动

步骤5：端设备提交价格给边缘联邦服务节点，边缘联邦服务节点出价并且各自接收奖励r(τ+1)

步骤6：更新Q_π(s(τ),a(τ))

步骤7：τ＝τ+1

步骤8：end while

基于区块链的带宽资源拍卖过程如图1所示，在交易价格确定后，端设备和边缘联邦服务节点通过调用智能和上传交易信息到区块链***，然后区块链***审计交易的合法性。

(4)带宽资源拍卖器收到边缘联邦学习服务节点确定带宽资源销售价格后进行撮合交易，若成功成立交易，则由成立交易的端设备和边缘联邦学习服务节点分别上传带宽资源交易记录给智能合约，由智能合约记录并进行审计后，确认交易成功。

基于区块链的带宽资源交易审计流程如图3所示，在每个带宽资源拍卖轮中，带宽资源拍卖混合优先权队列中的交易记录在超级账本中，区块链***中的审计员验证交易价格是否被更改，如果没有被端设备和边缘联邦服务节点更改，审计员则对交易记录打上标记，成为最终交易。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种边缘联邦任务卸载中带宽拒绝分配攻击防护方法，其特征在于，应用于具有M个端设备和N个边缘联邦服务节点的边缘联邦学习网络，在时隙τ包括以下步骤：

(1)端设备叫价：发送给带宽资源拍卖协调器对边缘联邦服务节点保密的投标向量其中带宽资源分配请求表示端设备j对边缘联邦服务节点i投标；

对于带宽资源分配请求同时向带宽资源拍卖协调器提交带宽分配请求其中ID_j表示端设备j的编号，x_j,y_j表示端设备的位置，q_j表示带宽资源使用率，表示端设备j的投标价格；所述端设备j的投标价格采用强化学习算法确定；

(2)带宽资源拍卖器将步骤(1)中所有端设备的投标向量及带宽资源分配请求收集到等待队列中，并计算等待队列中所有带宽分配请求的综合优先权值；所述综合优选权值根据端设备对边缘联邦服务节点的距离以及边缘联邦任务卸载的时间延迟反映被分配带宽资源优先程度，端设备对边缘联邦服务节点的距离越大、或者边缘联邦任务卸载的时间延迟越长，被分配带宽资源优先程度越低；

(3)边缘联邦服务节点叫价：带宽资源拍卖器将收集到的所有带宽资源分配请求按照其所请求的边缘联邦服务节点整理后，将带宽资源分配请求、及其综合优先权分别提交给相应边缘联邦服务节点，所有边缘联邦服务节点各自独立地采用强化学习算法决定其带宽资源销售价格，并将销售价格提交给所述带宽资源拍卖器；

(4)带宽资源拍卖器收到边缘联邦学习服务节点确定带宽资源销售价格后进行撮合交易，若成功成立交易，则由成立交易的端设备和边缘联邦学习服务节点分别上传带宽资源交易记录给智能合约，由智能合约记录并进行审计后，确认交易成功。

2.如权利要求1所述的边缘联邦任务卸载中带宽拒绝分配攻击防护方法，其特征在于，步骤(1)所述端设备j的投标价格采用强化学习算法确定，具体如下：

状态定义为：

其中，表示端设备j期望的带宽需求，为端设备j观测到边缘联邦服务节点i为其分配的带宽资源；

行动定义为端设备j在时隙τ提交的价格，其中，为端设备j的投标价格；

奖励函数表示为：

其中，为端设备j购买到可用的任务卸载速率，R(τ)期望的任务卸载速率，由端设备j提出的一个速率值，且 为端设备j的投标价格，为端设备j对边缘联邦服务节点i的带宽分配请求的综合优先权值；

端设备j的策略是给定状态时给出特定带宽资源投标价格的概率函数，目标为最大化端设备j从时间τ开始以后的时间隙内累积的奖励。

3.如权利要求2所述的边缘联邦任务卸载中带宽拒绝分配攻击防护方法，其特征在于，期望的带宽需求如下方法计算：

其中，为端设备j在时间隙τ的基本带宽需求，由未受DDoS攻击时卸载的任务量决定，端设备带宽变化的最大值，为时间隙τ端设备j具有的带宽等级，按照如下方法计算：

其中，η_o∈(0,1)表示带宽资源的分配效率，表明端设备的带宽资源分配混合优先权增量为正值，端设备容易获得带宽资源；表明端设备的带宽资源分配混合优先权增量为负值，端设备不容易获得带宽资源；为时间隙τ-1端设备j具有的带宽等级。

4.如权利要求2所述的边缘联邦任务卸载中带宽拒绝分配攻击防护方法，其特征在于，端设备j购买到可用的任务卸载速率表示为：

其中，p_j和g_j分别表示端设备j的传输功率和信道增益、σ²表示噪声，d表示端设备和边缘联邦服务节点之间的距离。

5.如权利要求2所述的边缘联邦任务卸载中带宽拒绝分配攻击防护方法，其特征在于，端设备j期望的任务卸载速率可计算为：

其中，T_i ^j(τ)表示端设备j使用边缘联邦服务节点i的时间隙集合，T表示端设备任务卸载的时间。λ_i＝Ε[B_i(τ)]为边缘联邦服务节点i带宽资源的可用性变量，缘联邦服务节点i带宽资源可用状态B_i(τ)服从伯努利分布的随机过程，且B_i(τ)～Bernoulli(λ_i)，B_i(τ)∈{0,1}表示在时间隙τ边缘联邦服务节点i带宽资源的可用状态。B_i(τ)＝1表示边缘联邦服务节点i带宽资源可用，否则B_i(τ)＝0。

6.如权利要求2所述的边缘联邦任务卸载中带宽拒绝分配攻击防护方法，其特征在于，步骤(1)采用深度Q网络模型进行决策。

7.如权利要求1所述的边缘联邦任务卸载中带宽拒绝分配攻击防护方法，其特征在于，所述端设备j对边缘联邦服务节点i的带宽分配请求的综合优先权值为端设备对边缘联邦服务节点的距离以及边缘联邦任务卸载的时间延迟数值的加权和的倒数，计算方法如下：

其中，β_t，β_d表示权重，表示边缘联邦任务卸载的时间延迟，端设备j和边缘联邦服务节点i之间的距离。

8.如权利要求1所述的边缘联邦任务卸载中带宽拒绝分配攻击防护方法，其特征在于，步骤(3)对于边缘联邦服务节点i其采用的强化学习算法决定其带宽资源销售价格具体如下：

状态定义为：

其中，为时隙τ的等待队列中对边缘联邦服务节点i提出带宽请求的端设备j的综合优先权值，为时隙τ的等待队列中所有对边缘联邦服务节点i提出带宽请求的端设备的综合优先权值最小值，为时隙τ的等待队列中所有对边缘联邦服务节点i提出带宽请求的端设备的综合优先权值最大值；

行动定义为边缘联邦服务节点i在时隙τ提交的销售价格 其中，为边缘联邦服务节点的销售价格；

奖励函数表示为：

其中，B_i(τ)为B_i(τ)∈{0,1}表示在时间隙τ边缘联邦服务节点i带宽资源的可用状态，为端设备j的综合优先权值，为表示智能合约的违反次数带来的惩罚，如果边缘联邦服务节点不能提供带宽资源给端设备，则智能合约违反将发生；

边缘联邦服务节点i的策略是给定状态时给出特定带宽资源销售价格的概率函数，目标为最大化边缘联邦服务节点i从时间τ开始以后的时间隙内累积的奖励。

9.如权利要求8所述的边缘联邦任务卸载中带宽拒绝分配攻击防护方法，其特征在于，表示智能合约的违反次数带来的惩罚计算方法如下：

其中，为边缘联邦服务节点i带宽资源的历史最高销售价格，为边缘联邦服务节点预测端设备j的带宽资源分配优先权，端设备发送给拍卖者保密的投标向量其中表示端设备j对边缘联邦服务节点i投标，否则表示在时间隙τ边缘联邦服务节点i为端设备j提供带宽服务，如果边缘联邦服务节点i分配带宽资源给端设备j，则每个边缘联邦服务节点的带宽资源至少分配给一个端设备，每个端设备至少能被一个边缘联邦服务节点分配带宽。

边缘联邦服务节点i预测端设备j的带宽资源分配优先权为边缘联邦服务节点观测和端设备之间的距离计算。

10.如权利要求8所述的边缘联邦任务卸载中带宽拒绝分配攻击防护方法，其特征在于，步骤(3)采用深度Q网络模型进行决策。

Images