CN109729528A - 一种基于多智能体深度强化学习的d2d资源分配方法 - Google Patents

Abstract

本发明公开了一种基于多智能体深度强化学习的D2D资源分配方法，属于无线通信领域。首先构建蜂窝网络与D2D通信共享频谱的异构网络模型，基于其存在的干扰，建立D2D接收用户的信干噪比SINR以及蜂窝用户的SINR，然后分别计算蜂窝链路和D2D链路的单位带宽通信速率后，以将最大化***容量为优化目标，构建异构网络中的D2D资源分配优化模型；针对时隙t，在D2D资源分配优化模型的基础上，构建每一个D2D通信对的深度强化学习模型；分别对后续时隙中的每个D2D通信对提取各自的状态特征矢量，输入训练好的深度强化学习模型中，得到各个D2D通信对的资源分配方案。本发明优化了频谱分配和传输功率，最大化了***容量，提供了低复杂度的资源分配算法。

Description

一种基于多智能体深度强化学习的D2D资源分配方法

技术领域

本发明属于无线通信领域，涉及异构蜂窝网络***，具体是一种基于多智能体深度强化学习的D2D资源分配方法。

背景技术

智能终端的普及以及移动互联网业务的井喷式发展，对无线通信网络的数据传输能力提出了更高的要求。在当前的大趋势下，现有的蜂窝网络存在频谱资源短缺以及基站负载过重等问题，不能满足未来无线网络的传输需求。

设备到设备(D2D，Device-to-Device)通信允许邻近用户建立直接链路进行通信，因为其具有提升频谱效率、节约能耗和卸载基站负载等优势，成为了未来无线通信网络中一种很有潜力的技术。在蜂窝网络中引入D2D通信，一方面可以节约能耗、改善边缘用户的性能，另一方面D2D通信共享蜂窝用户的频谱可以极大的提升频谱利用率。

然而，D2D通信复用蜂窝网络的频谱会对蜂窝通信链路造成跨层干扰，蜂窝用户作为蜂窝频段的主用户通信质量应该得到保证，同时在D2D通信密集部署的情况下，多个D2D通信链路复用相同的频谱会造成彼此之间的同层干扰，所以蜂窝网络与D2D通信共存时的干扰管理问题是一个亟待解决的问题。无线网络资源分配旨在通过合理的资源配置来缓解干扰，提升频谱资源利用效率，是解决上述干扰管理问题的有效途径。

现有的对于蜂窝网络中D2D通信资源分配的研究可以分为集中式和分布式两类。集中式方法假定基站具有即时的全局信道状态信息(CSI，Channel State Information)，由基站控制D2D用户的资源分配，但是基站要获取全局信道状态信息需要巨大的信令开销，在未来海量的无线设备场景下，基站很难拥有即时的全局信息，所以在未来通信设备密集的场景下，集中式算法不再适用。

分布式方法让D2D用户自主进行无线网络资源的选择，现有的研究主要基于博弈论和强化学习。博弈论方法将D2D用户建模为博弈玩家进行竞争博弈，直到纳什均衡状态，但是求解纳什均衡状态需要用户间大量的信息交换，而且需要大量的迭代才能收敛。基于强化学习的资源分配研究主要基于Q学习，比如深度Q网络(DQN，Deep Q Network)，将D2D用户看做智能体，自主学习策略进行无线网络资源的选择。但是在多个智能体学习训练时，每个智能体的策略都在变化，会造成训练环境不稳定，训练不易收敛。因此需要研究一种收敛性好、复杂度低的分布式资源分配算法来解决蜂窝网络中D2D通信的干扰管理问题。

发明内容

本发明为了解决上述问题，基于深度强化学习理论，提供了一种基于多智能体深度强化学习的D2D资源分配方法，优化了D2D用户的频谱分配和传输功率，实现了蜂窝网络和D2D通信的***容量最大化，并且保证了蜂窝用户的通信质量。

具体步骤包括：

步骤一、构建蜂窝网络与D2D通信共享频谱的异构网络模型；

异构网络模型包括蜂窝基站BS、M个蜂窝下行用户以及N个D2D通信对。

设定第m个蜂窝用户为C_m，其中1≤m≤M；第n个D2D通信对为D_n，其中1≤n≤N。D2D通信对D_n中的发射用户和接收用户分别用和表示。

蜂窝下行通信链路和D2D链路通信都采用正交频分复用技术，每个蜂窝用户占用一个通信资源块RB，任意两个蜂窝链路之间没有干扰；同时允许一个蜂窝用户与多个D2D用户共享相同的RB，由D2D用户自主选择通信资源块RB和传输功率。

步骤二、基于异构网络模型中存在的干扰，建立D2D接收用户的信干噪比SINR以及蜂窝用户的SINR；

干扰包括三种类型：1)蜂窝用户受到的来自共享相同RB的每个D2D通信对中的发射用户的干扰；2)每个D2D通信对中的接收用户受到的来自基站的干扰；3)每个D2D通信对中的接收用户受到的来自其他所有共享相同RB的D2D通信对中发射用户的干扰。

蜂窝用户C_m接收到的来自基站的第k个通信资源块RB上的信号SINR为：

P_B表示基站的固定发射功率；为基站到蜂窝用户C_m的下行目标链路的信道增益；D_k代表共享第k个RB的所有D2D通信对组成的集合；表示D2D通信对D_n中发射用户的发射功率；为当多个链路共享RB时，D2D通信对D_n中发射用户到蜂窝用户C_m的干扰链路的信道增益；N₀代表加性高斯白噪声的功率谱密度。

D2D通信对D_n的接收用户在第k个RB上的接收信号的SINR为：

为D2D通信对D_n的发射用户到接收用户的D2D目标链路的信道增益；为当多个链路共享RB时，基站到D2D通信对D_n的接收用户的干扰链路的信道增益；表示D2D通信对D_i中发射用户的发射功率；为当多个链路共享RB时，D2D通信对D_i中发射用户到接收用户的干扰链路的信道增益；

步骤三、利用蜂窝用户的SINR以及D2D接收用户的SINR分别计算蜂窝链路和D2D链路的单位带宽通信速率；

蜂窝链路的单位带宽通信速率计算公式为：

D2D链路的单位带宽通信速率计算公式为：

步骤四、利用蜂窝链路和D2D链路的单位带宽通信速率计算***容量，并将最大化***容量为优化目标，构建异构网络中的D2D资源分配优化模型；

优化模型如下所示：

B_N×K＝[b_n,k]为D2D通信对的通信资源块RB的分配矩阵，b_n,k为D2D通信对D_n的RB选择参数，为所有D2D通信对的发射功率共同组成的功率控制向量。

约束条件C1表示每个蜂窝用户的SINR都要大于蜂窝用户接收SINR的最小门限保证蜂窝用户的通信质量；约束条件C2表征D2D链路频谱分配约束条件，每个D2D用户对最多只能分配一个通信资源块RB；约束条件C3表征每个D2D通信对的发射用户的发射功率不能超过最大发射功率门限P_max。

步骤五、针对时隙t，在D2D资源分配优化模型的基础上，构建每一个D2D通信对的深度强化学习模型；

具体构建步骤如下：

步骤501、针对某个D2D通信对D_p，构建在时隙t的状态特征矢量s_t；

为D2D通信链路的瞬时信道状态信息；为基站到该D2D通信对D_p中接收用户的干扰链路的瞬时信道状态信息；I_t-1为上一个时隙t-1该D2D通信对D_p中接收用户收到的干扰功率值；为上一个时隙t-1该D2D通信对D_p的邻近D2D通信对所占用的RB；为上一个时隙t-1该D2D通信对D_p的邻近蜂窝用户所占用的RB。

步骤502、同时构建该D2D通信对D_p在时隙t的回报函数r_t；

r_n为负回报，r_n＜0；

步骤503、利用该D2D通信对的状态特征矢量构建多智能体马尔可夫博弈模型的状态特征；为优化马尔可夫博弈模型，利用该D2D通信对的回报函数建立多智能体行动者评论家深度强化学习模型中的回报函数；

每个智能体马尔可夫博弈模型Γ为：

其中，是状态空间，是动作空间，r^j是第j个D2D通信对的回报函数对应的回报的回报值，j∈{1,...,N}；p是整个环境的状态转移概率，γ是折扣系数。

每一个D2D通信对学习的目标都是最大化该D2D通信对的总折扣回报；

总折扣回报计算公式为：

T是时间范围；γ^t是折扣系数的t次方；是第j个D2D通信对的回报函数在时隙t的回报值。

行动者评论家强化学习模型，由行动者(Actor)和评论家(Critic)组成；

训练过程中，行动者的策略使用深度神经网络做拟合，使用如下的确定性策略梯度公式进行更新，以取得最大的期望回报。

令μ＝{μ¹,...,μ^N}表示所有智能体的确定性策略，θ＝{θ¹,...,θ^N}表示策略所包含的参数，第j个智能体期望回报的梯度公式为：

s包含了所有智能体的状态信息，s＝{s¹,...,s^N}；a包含了所有智能体的动作信息，a＝{a¹,...,a^N}；是经验重放缓冲区；

评论家也使用深度神经网络来做拟合，通过最小化集中式动作-价值函数的损失函数来更新：

其中，每个样本以元组(s_t,a_t,r_t,s_t+1)的形式记录所有智能体的历史数据，包括了所有智能体在时隙t的回报。

步骤504、使用历史通信数据对深度强化学习模型进行线下训练，获得求解该D2D通信D_p资源分配问题的模型。

步骤六、分别对后续时隙中的每个D2D通信对提取各自的状态特征矢量，输入训练好的深度强化学习模型中，得到各个D2D通信对的资源分配方案。

资源分配方案包括选取合适的通信资源块RB和传输功率。

本发明的优点在于：

(1)一种基于多智能体深度强化学习的D2D资源分配方法，优化了D2D用户的频谱分配和传输功率，在保证蜂窝用户通信质量的同时，最大化了***容量；

(2)一种基于多智能体深度强化学习的D2D资源分配方法，设计了异构蜂窝网络中D2D分布式资源分配算法，极大地降低了为获得全局即时信道状态信息产生的信令开销；

(3)一种基于多智能体深度强化学习的D2D资源分配方法，创新的引入了集中训练、分布执行的多智能体强化学习模型，解决了多D2D通信对资源分配问题，获得了良好的训练收敛性能，提供了低复杂度的资源分配算法。

附图说明

图1为本发明构建的蜂窝网络与D2D通信共享频谱的异构网络模型示意图；

图2为本发明一种基于多智能体深度强化学习的D2D资源分配方法的流程图；

图3为本发明用于D2D通信资源分配的深度强化学习模型示意图；

图4为本发明单智能体行动者评论家强化学习模型图；

图5为本发明多智能体行动者评论家强化学习模型图；

图6为本发明与基于DQN的D2D资源分配方法和D2D随机资源分配方法的蜂窝用户中断率对比图。

图7为本发明与基于DQN的D2D资源分配方法和D2D随机资源分配方法的***总容量性能对比图。

图8为本发明的总回报函数和***容量收敛性能图示意图；

图9为本发明基于DQN的D2D资源分配方法总回报函数和***容量收敛性能图。

具体实施方式

为了使本发明能够更加清楚地理解其技术原理，下面结合附图具体、详细地阐述本发明实施例。

一种基于多智能体深度强化学习的D2D资源分配方法(MADRL,Multi-Agent DeepReinforcement Learning based Device-to-Device Resource Allocation Method)应用于蜂窝网络与D2D通信共存的异构网络中；首先分别建立D2D接收用户以及蜂窝用户的信干噪比和单位带宽通信速率表达式，以最大化***容量为优化目标，以蜂窝用户的SINR大于最小SINR门限、D2D链路频谱分配约束条件和D2D发射用户的发射功率小于最大发射功率门限为优化条件，构建异构网络中的D2D资源分配优化模型；

根据优化模型，构建用于D2D资源分配的多智能体深度强化学习模型的状态特征矢量和回报函数；基于部分可观察马尔可夫博弈模型和行动者评论家强化学习理论，建立用于D2D资源分配的多智能体行动者评论家深度强化学习模型；

使用仿真平台得到的历史通信数据进行线下训练；

根据D2D链路的瞬时信道状态信息、基站到D2D接收用户的干扰链路的瞬时信道状态信息、上一时隙该D2D接收用户收到的干扰功率值、上一时隙该D2D链路邻近的D2D链路占用的通信资源块(RB，Resource Block)以及上一时隙该D2D链路邻近的蜂窝用户通信所占用的RB，使用训练得到的资源分配策略，选取合适的RB和传输功率。

如图2所示，整体包括建立***模型，提出优化问题建立优化模型，建立多智能体强化学习模型，训练模型和执行算法五个步骤；其中，建立多智能体强化学习模型包括构建状态特征，设计回报函数和建立多智能体行动者评论家强化学习模型；

具体步骤如下：

步骤一、构建蜂窝网络与D2D通信共享频谱的异构网络模型；

如图1所示，异构网络模型包括蜂窝基站(BS,Base Station)、M个蜂窝下行用户以及N个D2D通信对。

设定第m个蜂窝用户为C_m，其中1≤m≤M；第n个D2D通信对为D_n，其中1≤n≤N。D2D通信对D_n中的发射用户和接收用户分别用和表示。

蜂窝下行通信链路和D2D链路通信都采用正交频分复用(OFDM，OrthogonalFrequency Division.Modulation)技术，每个蜂窝用户占用一个通信资源块RB，任意两个蜂窝链路之间没有干扰；在***模型中，允许一个蜂窝用户与多个D2D用户同时共享相同的RB，由D2D用户自主选择通信资源块RB和传输功率。

步骤二、基于异构网络模型中存在的干扰，建立D2D接收用户的信干噪比SINR(Signal to Interference plus Noise Ratio)以及蜂窝用户的SINR；

干扰包括三种类型：1)蜂窝用户受到的来自共享相同RB的每个D2D通信对中的发射用户的干扰；2)每个D2D通信对中的接收用户受到的来自基站的干扰；3)每个D2D通信对中的接收用户受到的来自其他所有共享相同RB的D2D通信对中发射用户的干扰。

蜂窝用户C_m接收到的来自基站的第k个通信资源块RB上的信号SINR为：

P_B表示基站的固定发射功率；为基站到蜂窝用户C_m的下行目标链路的信道增益；D_k代表共享第k个RB的所有D2D通信对组成的集合；表示D2D通信对D_n中发射用户的发射功率；为当多个链路共享RB时，D2D通信对D_n中发射用户到蜂窝用户C_m的干扰链路的信道增益；N₀代表加性高斯白噪声(AWGN，Additive White Gaussian Noise)的功率谱密度。

D2D通信对D_n的接收用户在第k个RB上的接收信号的SINR为：

为D2D通信对D_n的发射用户到接收用户的D2D目标链路的信道增益；为当多个链路共享RB时，基站到D2D通信对D_n的接收用户的干扰链路的信道增益；表示D2D通信对D_i中发射用户的发射功率；为当多个链路共享RB时，D2D通信对D_i中发射用户到接收用户的干扰链路的信道增益；

步骤三、利用蜂窝用户的SINR以及D2D接收用户的SINR分别计算蜂窝链路和D2D链路的单位带宽通信速率；

基于香农公式，蜂窝链路的单位带宽通信速率计算公式为：

D2D链路的单位带宽通信速率计算公式为：

步骤四、利用蜂窝链路和D2D链路的单位带宽通信速率计算***容量，并将最大化***容量为优化目标，构建异构网络中的D2D资源分配优化模型；

由于需要在保障蜂窝用户通信质量的前提下，通过优化D2D通信对的通信资源块RB的分配矩阵B_N×K＝[b_n,k]和所有D2D通信对的发射功率共同组成的功率控制向量最大化***容量，建立优化模型如下所示：

b_n,k为D2D通信对D_n的RB选择参数。

约束条件C1表征蜂窝用户的SINR约束条件，表示每个蜂窝用户的SINR都要大于蜂窝用户接收SINR的最小门限保证蜂窝用户的通信质量；约束条件C2表征D2D链路频谱分配约束条件，每个D2D用户对最多只能分配一个通信资源块RB；约束条件C3表征每个D2D通信对的发射用户的发射功率不能超过最大发射功率门限P_max。

步骤五、针对时隙t，在D2D资源分配优化模型的基础上，构建每一个D2D通信对的深度强化学习模型；

建立用于D2D资源分配的强化学习模型，如图3所示，原理是：在一个时隙t，每一个D2D通信对作为一个智能体，从状态空间中观察到一个状态s_t，然后根据策略π和当前状态从动作空间中选择一个动作a_t，即D2D通信对选择使用的RB和传输功率；执行动作a_t后，D2D通信对观察到环境转移到一个新状态s_t+1，并得到一个回报r_t，D2D通信对根据获得的回报r_t，调整策略π，以获得更高的回报。具体构建步骤如下：

步骤501、针对某个D2D通信对D_p，构建在时隙t的状态特征矢量s_t；

每一个D2D通信对观察到的状态特征包含以下几个方面：

为D2D通信链路的瞬时信道状态信息；为基站到该D2D通信对D_p中接收用户的干扰链路的瞬时信道状态信息；I_t-1为上一个时隙t-1该D2D通信对D_p中接收用户收到的干扰功率值；为上一个时隙t-1该D2D通信对D_p的邻近D2D通信对所占用的RB；为上一个时隙t-1该D2D通信对D_p的邻近蜂窝用户所占用的RB。

步骤502、同时根据优化目标，构建该D2D通信对D_p在时隙t的回报函数r_t；

设计回报函数需要同时考虑蜂窝用户的最低接收SINR门限和D2D通信对的单位带宽速率。如果与D2D通信对共享频谱的蜂窝用户接收SINR能够满足蜂窝用户信噪比约束条件，则会得到一个正回报；反之，将会得到一个负回报r_n，r_n＜0。为了提升D2D通信链路的容量，将正的回报设置为D2D链路的单位带宽通信速率：

因此，回报函数如下所示：

步骤503、利用该D2D通信对的状态特征矢量构建多智能体马尔可夫博弈模型的状态特征；为优化马尔可夫博弈模型，利用该D2D通信对的回报函数建立多智能体行动者评论家深度强化学习模型中的回报函数；

每个智能体都使用行动者评论家强化学习模型，由行动者(Actor)和评论家(Critic)两部分组成，如图4所示，行动者和评论家两部分的策略使用深度神经网络拟合得到。D2D行动者网络输入环境状态s_t，输出动作a_t，即选择RB和传输功率；评论家网络输入环境状态矢量s_t和选择的动作a_t，输出基于Q值计算得到的时间差分误差(TD error，Temporal-Difference error)，由时间差分误差来驱动两个网络的学习。

异构蜂窝网络中，多个D2D通信对的资源分配是一个多智能体的强化学习问题，可以建模为部分可观察的马尔可夫博弈模型，N个智能体的马尔可夫博弈模型Γ为：

其中，是状态空间，是动作空间，r^j是第j个智能体的回报，取值为第j个D2D通信对的回报函数对应的回报值，j∈{1,...,N}；p是整个环境的状态转移概率，γ是折扣系数。

每一个智能体学习的目标都是最大化它的总折扣回报；

总折扣回报计算公式为：

T是时间范围；γ^t是折扣系数的t次方；是第j个D2D通信对的回报函数在时隙t的回报值。

针对马尔可夫博弈模型，将行动者评论家强化学习模型扩展到多智能体场景，构建多智能体的深度强化学习模型，如图5所示。在训练时，评论家部分使用历史全局信息，指导行动者部分更新策略；但在执行时，单智能体只使用观察得到的部分环境信息，使用训练得到的行动者策略做出动作选择，实现集中训练、分布执行。

集中训练过程中，N个智能体的策略用π＝{π¹,...,π^N}表示，θ＝{θ¹,...,θ^N}表示策略所包含的参数，其中第j个智能体期望回报的梯度为：

这里，s包含了所有智能体的状态信息，s＝{s¹,...,s^N}；a包含了所有智能体的动作信息，a＝{a¹,...,a^N}；是一个集中式动作-价值函数，将所有智能体的状态信息和动作作为输入，输出第j个智能体的Q值。

将以上描述扩展到确定性策略，考虑确定性策略(简写为μ^j)，令μ＝{μ¹,...,μ^N}表示所有智能体的确定性策略，第j个智能体期望回报的梯度为：

这里是经验重放缓冲区，其中每个样本以元组(s_t,a_t,r_t,s_t+1)的形式记录所有智能体的历史数据，这里包括了所有智能体在时隙t的回报。行动者部分的策略使用深度神经网络来做拟合，上述梯度公式是行动者网络的更新方法，使用梯度上升方法进行更新，以取得最大的期望回报。

评论家网络也使用深度神经网络来做拟合，通过最小化集中式动作-价值函数的损失函数来更新：

其中，

步骤504、使用历史通信数据对深度强化学习模型进行线下训练，获得求解该D2D通信D_p资源分配问题的模型。

训练步骤如下所示：

(1)使用通信仿真平台初始化蜂窝小区、基站、蜂窝链路和D2D链路；

(2)初始化所有智能体的策略模型π和参数θ，初始化通信仿真时隙数T；

(3)初始化通信仿真时隙t←0；

(4)所有D2D通信对观察环境获得状态信息s_t，基于s_t和π选择动作a_t，获得回报r_t，t←t+1；

(5)将(s_t,a_t,r_t,s_t+1)存入经验重放缓冲区

(6)从中采样小型批处理数据；

(7)使用小型批处理数据进行训练，更新策略π的参数θ；

(8)返回步骤(4)，直至t＝T，训练结束；

(9)返回参数θ；

步骤六、分别对后续时隙中的每个D2D通信对提取各自的状态特征矢量，输入训练好的深度强化学习模型中，得到各个D2D通信对的资源分配方案。

资源分配方案包括选取合适的通信资源块RB和传输功率。

执行步骤如下所示：

(1)使用通信仿真平台初始化蜂窝小区、基站、蜂窝链路、D2D链路；

(2)初始化所有智能体的策略模型π，将训练好的参数θ导入模型π，初始化通信仿真时隙数T；

(3)初始化通信仿真时隙t←0；

(4)所有D2D通信对观察环境获得状态信息s_t，基于s_t和π选择动作a_t，即RB和发射功率，统计D2D接收用户的SINR和***容量；

(5)t←t+1，仿真平台更新环境，所有D2D通信对观察环境获得s_t+1；

(6)返回步骤4，直至t＝T。

通过将本发明基于多智能体的D2D资源分配方法与基于DQN的D2D资源分配方法和D2D随机资源分配方法分别做对比；

如图6所示，MADRL表示本发明的方法，DQN表示基于深度Q网络的D2D资源分配方法，Random表示基于随机分配的D2D资源分配方法，三种方法分别对蜂窝用户通信质量的影响，由图可知，本发明所提算法MADRL在不同的D2D用户数时，都可以达到最低的蜂窝用户中断概率；

如图7所示，为三种方法对***的总容量的影响，随着D2D通信对数量的增长，本发明所提算法MADRL取得了最大的***容量。

如图8所示，表示本发明的总回报函数和***容量收敛性能；如图9所示，为基于DQN的D2D资源分配方法总回报函数和***容量收敛性，两者相比，得益于本发明将全局信息引入训练过程进行集中式训练，使得训练环境更加稳定，收敛性能更好。由此可以得出结论：MADRL可以在保护蜂窝用户通信质量的同时，获得比Random和DQN更高的***吞吐量，同时相比于DQN具有更好的收敛性能。

综上所述，通过实施本发明一种基于多智能体强化学习的D2D资源分配法，可以在保护蜂窝用户通信质量的同时，最大化***吞吐量；相比于集中式算法，本发明所设计的分布式资源分配算法，减小了信令开销；相比于其他基于Q学习的资源分配算法，本发明所设计的算法具有更好的收敛性能。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

Claims (4)

1.一种基于多智能体深度强化学习的D2D资源分配方法，其特征在于，具体步骤包括：

步骤一、构建蜂窝网络与D2D通信共享频谱的异构网络模型；

异构网络模型包括蜂窝基站BS、M个蜂窝下行用户以及N个D2D通信对；

设定第m个蜂窝用户为C_m，其中1≤m≤M；第n个D2D通信对为D_n，其中1≤n≤N；D2D通信对D_n中的发射用户和接收用户分别用和表示；

蜂窝下行通信链路和D2D链路通信都采用正交频分复用技术，每个蜂窝用户占用一个通信资源块RB，任意两个蜂窝链路之间没有干扰；同时允许一个蜂窝用户与多个D2D用户共享相同的RB，由D2D用户自主选择通信资源块RB和传输功率；

步骤二、基于异构网络模型中存在的干扰，建立D2D接收用户的信干噪比SINR以及蜂窝用户的SINR；

蜂窝用户C_m接收到的来自基站的第k个通信资源块RB上的信号SINR为：

P_B表示基站的固定发射功率；为基站到蜂窝用户C_m的下行目标链路的信道增益；D_k代表共享第k个RB的所有D2D通信对组成的集合；表示D2D通信对D_n中发射用户的发射功率；为当多个链路共享RB时，D2D通信对D_n中发射用户到蜂窝用户C_m的干扰链路的信道增益；N₀代表加性高斯白噪声的功率谱密度；

D2D通信对D_n的接收用户在第k个RB上的接收信号的SINR为：

为D2D通信对D_n的发射用户到接收用户的D2D目标链路的信道增益；为当多个链路共享RB时，基站到D2D通信对D_n的接收用户的干扰链路的信道增益；表示D2D通信对D_i中发射用户的发射功率；为当多个链路共享RB时，D2D通信对D_i中发射用户到接收用户的干扰链路的信道增益；

步骤三、利用蜂窝用户的SINR以及D2D接收用户的SINR分别计算蜂窝链路和D2D链路的单位带宽通信速率；

蜂窝链路的单位带宽通信速率计算公式为：

D2D链路的单位带宽通信速率计算公式为：

步骤四、利用蜂窝链路和D2D链路的单位带宽通信速率计算***容量，并将最大化***容量为优化目标，构建异构网络中的D2D资源分配优化模型；

优化模型如下所示：

B_N×K＝[b_n,k]为D2D通信对的通信资源块RB的分配矩阵，b_n,k为D2D通信对D_n的RB选择参数，为所有D2D通信对的发射功率共同组成的功率控制向量；

约束条件C1表示每个蜂窝用户的SINR都要大于蜂窝用户接收SINR的最小门限保证蜂窝用户的通信质量；约束条件C2表征D2D链路频谱分配约束条件，每个D2D用户对最多只能分配一个通信资源块RB；约束条件C3表征每个D2D通信对的发射用户的发射功率不能超过最大发射功率门限P_max；

步骤五、针对时隙t，在D2D资源分配优化模型的基础上，构建每一个D2D通信对的深度强化学习模型；

具体构建步骤如下：

步骤501、针对某个D2D通信对D_p，构建在时隙t的状态特征矢量s_t；

为D2D通信链路的瞬时信道状态信息；为基站到该D2D通信对D_p中接收用户的干扰链路的瞬时信道状态信息；I_t-1为上一个时隙t-1该D2D通信对D_p中接收用户收到的干扰功率值；为上一个时隙t-1该D2D通信对D_p的邻近D2D通信对所占用的RB；为上一个时隙t-1该D2D通信对D_p的邻近蜂窝用户所占用的RB；

步骤502、同时构建该D2D通信对D_p在时隙t的回报函数r_t；

r_n为负回报，r_n＜0；

步骤503、利用该D2D通信对的状态特征矢量构建多智能体马尔可夫博弈模型的状态特征；为优化马尔可夫博弈模型，利用该D2D通信对的回报函数建立多智能体行动者评论家深度强化学习模型中的回报函数；

每个智能体马尔可夫博弈模型Γ为：

其中，是状态空间，是动作空间，r^j是第j个D2D通信对的回报函数对应的回报的回报值，j∈{1,...,N}；p是整个环境的状态转移概率，γ是折扣系数；

每一个D2D通信对学习的目标都是最大化该D2D通信对的总折扣回报；

总折扣回报计算公式为：

T是时间范围；γ^t是折扣系数的t次方；r_t ^j是第j个D2D通信对的回报函数在时隙t的回报值；

步骤504、使用历史通信数据对深度强化学习模型进行线下训练，获得求解该D2D通信D_p资源分配问题的模型；

步骤六、分别对后续时隙中的每个D2D通信对提取各自的状态特征矢量，输入训练好的深度强化学习模型中，得到各个D2D通信对的资源分配方案。

2.如权利要求1所述的一种基于多智能体深度强化学习的D2D资源分配方法，其特征在于，步骤二所述的干扰包括三种类型：1)蜂窝用户受到的来自共享相同RB的每个D2D通信对中的发射用户的干扰；2)每个D2D通信对中的接收用户受到的来自基站的干扰；3)每个D2D通信对中的接收用户受到的来自其他所有共享相同RB的D2D通信对中发射用户的干扰。

3.如权利要求1所述的一种基于多智能体深度强化学习的D2D资源分配方法，其特征在于，步骤503中所述的行动者评论家强化学习模型，由行动者和评论家组成；

训练过程中，行动者的策略使用深度神经网络做拟合，使用如下的确定性策略梯度公式进行更新，以取得最大的期望回报；

令μ＝{μ¹,...,μ^N}表示所有智能体的确定性策略，θ＝{θ¹,...,θ^N}表示策略所包含的参数，第j个智能体期望回报的梯度公式为：

s包含了所有智能体的状态信息，s＝{s¹,...,s^N}；a包含了所有智能体的动作信息，a＝{a¹,...,a^N}；是经验重放缓冲区；

评论家也使用深度神经网络来做拟合，通过最小化集中式动作-价值函数的损失函数来更新：

其中，每个样本以元组(s_t,a_t,r_t,s_t+1)的形式记录所有智能体的历史数据，r_t＝{r_t ¹,...,r_t ^N}包括了所有智能体在时隙t的回报。

4.如权利要求1所述的一种基于多智能体深度强化学习的D2D资源分配方法，其特征在于，步骤六中所述的资源分配方案包括选取合适的通信资源块RB和传输功率。