CN114339775A - 基于优化的ddpg的ris辅助非授权频谱共存方法 - Google Patents
基于优化的ddpg的ris辅助非授权频谱共存方法 Download PDFInfo
- Publication number
- CN114339775A CN114339775A CN202111375731.0A CN202111375731A CN114339775A CN 114339775 A CN114339775 A CN 114339775A CN 202111375731 A CN202111375731 A CN 202111375731A CN 114339775 A CN114339775 A CN 114339775A
- Authority
- CN
- China
- Prior art keywords
- ris
- network
- interference
- cellular network
- gnb
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 54
- 238000001228 spectrum Methods 0.000 title claims abstract description 35
- 230000001413 cellular effect Effects 0.000 claims abstract description 56
- 238000004891 communication Methods 0.000 claims abstract description 18
- 238000005457 optimization Methods 0.000 claims abstract description 18
- 230000008569 process Effects 0.000 claims abstract description 18
- 230000009471 action Effects 0.000 claims description 11
- 239000011159 matrix material Substances 0.000 claims description 10
- 238000005070 sampling Methods 0.000 claims description 6
- 238000009795 derivation Methods 0.000 claims description 4
- 238000012549 training Methods 0.000 claims description 4
- 238000013468 resource allocation Methods 0.000 abstract description 2
- 230000001965 increasing effect Effects 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000002708 enhancing effect Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000001427 coherent effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012067 mathematical method Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000010363 phase shift Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Landscapes
- Mobile Radio Communication Systems (AREA)
Abstract
本发明公开的基于优化的DDPG的RIS辅助非授权频谱共存方法，属于无线通信中的频谱资源分配技术领域。本发明通过计算蜂窝***中每个UE的信干噪比和吞吐量、计算WiFi***中每个STA受到蜂窝***的干扰，建立通信网络优化模型，将通信网络优化模型转化为马尔科夫过程，并使用基于优化的深度确定性策略梯度DDPG求解，自适应确定gNB的发射波束赋型和RIS的反射波束赋型；即基于优化的深度确定性策略梯度DDPG更有效地辅助基站发射波束赋形和RIS反射波束赋形，提升RIS辅助非授权频谱共存***的吞吐量和收敛速度，同时将蜂窝网络对WiFi***的干扰控制在预设范围内，从而实现异构***之间的协调共存。
Description
技术领域
本发明涉及基于优化的DDPG的RIS辅助非授权频谱共存方法，属于无线通信中的频谱资源分配技术领域。
背景技术
第五代移动通信技术(the fifth generation mobile communication,5G)发展迅速，而虚拟现实、物联网、直播、智能交通等新型应用激增，使得现有5G蜂窝网络的流量负荷不断增加。人们不仅对流量的需求急剧增加，对网络的传输速度的要求也不断提高。消耗流量的应用和业务往往需要大带宽支持，而现有的5G授权频段频谱资源非常有限。一方面，通过提升5G授权频段的频谱效率可以有一定程度的改善，另一方面，将5G授权频段的部分流量需求卸载到非授权频段上进行传输，是近年来研究人员广泛关注的热点技术。然而已经有些***，如WiFi和蓝牙工作在非授权频段，因此5G蜂窝网络想要将部分流量业务转移到非授权频段时，需要解决的重要问题是减轻两种不同***间的干扰。
智能反射平面(intelligent reflecting surface，RIS)是一种大规模天线阵列设备，由大量可重构无源元件组成，其中每个反射单元都能独立地使入射信号产生一定的相移，从而协同改变反射信号的传播。RIS将接收到的信号反射为无源阵列，不消耗发射功率。另外，RIS技术主要用于提高现有的通信链路性能，具有增强接收信号功率、降低干扰的重要特性。一般通信中，反向散射路径信号属于干扰信号，一般需要在接收端进行抑制或者消除处理，而在RIS增强通信中，直接路径信号和反射路径信号都携带有用信息，因此可以在接收端相干叠加，从而增强接收信号功率、降低干扰。
RIS辅助非授权频谱共存问题，传统上可由凸优化理论、博弈论、排队论等数学方法来解决。但这些方法计算推导复杂度高，且强烈依赖假设条件，泛化性较差。近年来，一些机器学习方法被应用到解决异构***共存问题中，例如Q-learning、deep Q network(DQN)等方法，但DQN方法对于大的状态空间性能不稳定，且变量要求是离散的。深度确定性策略梯度(deep deterministic policy gradient,DDPG)方法可以解决上述问题，但在问题模型训练初期，收敛不稳定且速度慢。
发明内容
针对现有RIS辅助非授权频谱共存***吞吐量最大化方法的复杂度高，或者收敛不稳定且速度慢的问题，本发明的主要目的是提供基于优化的DDPG的RIS辅助非授权频谱共存方法，基于优化的深度确定性策略梯度DDPG更有效地辅助基站发射波束赋形和RIS反射波束赋形，从而提升RIS辅助非授权频谱共存***的吞吐量和收敛速度。
本发明的目的是通过下述技术方案实现的：
本发明公开的基于优化的DDPG的RIS辅助非授权频谱共存方法，通过计算蜂窝***中每个UE的信干噪比和吞吐量、计算WiFi***中每个STA受到蜂窝***的干扰，建立通信网络优化模型，将通信网络优化模型转化为马尔科夫过程，并使用基于优化的深度确定性策略梯度DDPG求解，自适应确定gNB的发射波束赋型和RIS的反射波束赋型，提高非授权频谱共存***中蜂窝网络的吞吐量，同时将蜂窝网络对WiFi***的干扰控制在预设范围内。
本发明公开的基于优化的DDPG的RIS辅助非授权频谱共存方法，应用于RIS辅助非授权频谱共存***，位于非授权频段，***中存在一个蜂窝网基站，配有Nt根发射天线，服务K个单天线蜂窝网用户；一个RIS设备，配有Nr个反射单元；M个WiFi接入点，每个接入点服务一个单天线WiFi用户。因为WiFi接入点和WiFi用户之间的距离远小于蜂窝网基站和蜂窝网用户之间的距离，将一对WiFi接入点和WiFi用户抽象成一个整体。
其中，蜂窝网基站简写为gNB，即generation NodeB；蜂窝网用户简写为UE，即User；WiFi接入点简写为AP，即access point；WiFi用户简写为STA，即station。
本发明公开的基于优化的DDPG的RIS辅助非授权频谱共存方法，包括以下步骤：
步骤一：遍历所有UE和STA，分别计算UE的信干噪比、吞吐量和STA受到蜂窝网络的干扰。
步骤1.1遍历第k个UE，求出所有UE的信干噪比和吞吐量；
其中，k的取值范围为1到K，第k个UE的信干噪比，记为λk，第k个UE的吞吐量，记为γk，具体依据(1)(2)计算：
其中，hgk、hgr和hrk分别表示gNB到UE、gNB到RIS和RIS到UE的信道矩阵，gmk、gmr和grk分别表示AP到UE，AP到RIS和RIS到UE的信道矩阵，矩阵w表示蜂窝网基站的发射波束赋形矩阵，矩阵Θ表示RIS设备的反射波束赋形矩阵，pw表示AP的发射功率，
表示噪声项；
γk＝Wlog2(1+λk) (2)
其中，W表示带宽；
步骤1.2遍历第m个STA，求出所有STA受到蜂窝网的干扰；
其中，m的取值范围为1到M，第m个STA受到的干扰，记为Im，具体依据(3)计算：
其中，hgm、hgr和hrm分别表示gNB到STA、gNB到RIS和RIS到STA的信道矩阵。
步骤二：基于步骤一获取的UE吞吐量和STA受到蜂窝网的干扰，构造以最大化蜂窝网***总吞吐量为目标函数的通信网络优化模型，并给出满足蜂窝网对WiFi***的干扰和gNB发射功率的约束。
基于步骤一获取的UE吞吐量和STA受到蜂窝网的干扰，构造以最大化蜂窝网***总吞吐量为目标函数的通信网络优化模型，并且给出满足蜂窝网对WiFi***的干扰和gNB发射功率的约束，具体为(4)：
其中，Ith表示STA所能容忍的最大干扰，Tr()表示矩阵的迹，P表示gNB的最大发射功率限制。
步骤三：将步骤二建立的通信网络优化模型求解过程转化为马尔科夫过程。
步骤3.1定义gNB为智能体；
步骤3.2在每个时间步t下，状态空间定义为当前每个UE的吞吐量，每个STA受到的蜂窝网干扰以及中断标志，也即st＝(γt,It,,ot)，其中，如果式(4)中的约束条件不被满足，则ot＝1；
步骤3.3在每个时间步t下，智能体根据当前观测到的状态和从过去经验中学到的知识，共同决定gNB的发射波束赋形和RIS的反射波束赋形，故定义动作空间at＝(wt,θt)；
步骤3.4定义奖励函数rt(st,at)，具体为(5)：
其中，在每个时间步t下，当中断发生时，奖励变为0；
步骤四：采用基于优化的深度确定性策略梯度DDPG方法，求解步骤三建立的马尔科夫过程，确定最终的gNB发射波束赋形和RIS反射波束赋形。
步骤4.1初始化在线Actor网络、在线Critic网络、目标Actor网络、目标Critic网络及训练参数；
步骤4.1.1分别以随机参数α和c初始化在线Actor网络和在线Critic网络，以参数α'和c'初始化目标Actor网络和目标Critic网络，其中α＝α'，c＝c'；
步骤4.1.2初始化折损因子、软更新系数、mini-batch大小、最大迭代次数以及经验池；
步骤4.2对步骤4.1初始化的在线Actor网络、在线Critic网络、目标Actor网络、目标Critic网络进行如下训练：
步骤4.2.1基于高斯随机过程，初始化动作探索过程，将状态空间初始化为当前状态序列的第一个状态s1；
步骤4.2.2遍历t从1到T-1，在第t个时间步下，将st输入到在线Actor网络中，输出动作at，即当前在线Actor网络决定的gNB发射波束赋形和RIS反射波束赋形；
步骤4.2.3执行动作at，即根据式(1)(2)(3)计算当前每个UE的吞吐量，每个STA受到的蜂窝网干扰，根据式(4)中的约束条件判断ot的取值，得到st+1，并根据式(5)得到rt；
步骤4.2.4将[st,at,rt,st+1]作为时间步t下的经验放入经验池中；
步骤4.2.5在经验池中随机采样，采样大小为mini-batch大小，记为B；
步骤4.2.6将B个样本输入到目标Actor网络和目标Critic网络，得到B个样本中第i个样本进行更新的目标值，记为yi，表示为yi＝ri+βQ′(si+1,π'(si+1|α')|c')；
其中，ri表示采样得到的B个样本中第i个样本的奖励，β表示折损因子，Q'表示具有参数c'的目标Critic网络，π'表示具有参数α'的目标Actor网络；
步骤4.2.7对于B个样本中第i个样本，固定当前RIS反射波束赋形θi，带入到式(4)中，则式(4)转化为一个易于求解的凸优化问题，得到近似解w'i，以及
如果y'i＞yi，则更新yi＝y'i，且ai＝(w'i,θi)，否则不更新；
步骤4.2.8通过最小化损失函数
来更新在线Critic网络参数；
其中，Q表示具有参数c的在线Critic网络；
步骤4.2.9通过
来更新在线Actor网络参数；
其中
表示在线Critic网络Q(s,a|c)在状态si和动作ai时求导，
表示在线Actor网络在状态si时求导；
步骤4.2.10根据式(6)(7)更新目标Actor网络和目标Critic网络的参数：
α'＝τα+(1-τ)α' (6)
c'＝τc+(1-τ)c' (7)
其中，τ表示软更新系数；
步骤4.2.11更新状态st＝st+1；
步骤4.2.12重复步骤4.2.1—步骤4.2.11直到达到最大迭代次数，得到最终的gNB发射波束赋形和RIS反射波束赋形。
步骤五：根据步骤四得到的gNB发射波束赋形和RIS反射波束赋形，提高非授权频谱共存***中蜂窝网络的吞吐量，同时将蜂窝网络对WiFi***的干扰控制在预设范围内。
有益效果：
1、本发明公开的基于优化的DDPG的RIS辅助非授权频谱共存方法，考虑到在非授权频谱共存***中，存在异构***间和***内互相干扰，采用RIS设备抑制干扰，在对WiFi***干扰在预设范围的前提下，提升蜂窝网***的吞吐量，从而实现异构***之间的协调共存。
2、本发明公开的基于优化的DDPG的RIS辅助非授权频谱共存方法，将建立的通信网络优化模型的求解过程转化为马尔可夫决策过程，采用基于优化的深度确定性策略梯度DDPG方法自适应地确定gNB的发射波束赋形和RIS的反射波束赋形，与基于优化的方法相比，计算复杂度更低；与DDPG方法相比，训练初期更稳定，收敛更快，提高非授权频谱共存***的吞吐量。
附图说明
图1为本发明“基于优化的DDPG的RIS辅助非授权频谱共存方法”的流程图。
具体实施方式
下面结合附图和具体实施例子对本发明进行详细说明。
实施例1
设定实施例1的场景为1个蜂窝网络基站gNB，配备8根发射天线，一个RIS设备，配备16个反射单元，与gNB的距离为80米。存在8个蜂窝网络用户UE，均匀随机分布在以gNB为圆心，20-50米为半径的区域内；存在4对AP-STA对，其中STA均匀随机分布在以对应AP为圆心，5米为半径的区域内；AP-STA对均匀随机分布在以gNB为中心，边长为60米的正方形区域内。噪声项
STA所能容忍的最大干扰Ith＝-50dbm，gNB的最大发射功率限制P＝2W。
如图1所示，本实施例公开的基于优化的DDPG的RIS辅助非授权频谱共存方法，具体实现步骤如下：
步骤A：遍历所有UE和STA，分别计算UE的信干噪比、吞吐量和STA受到蜂窝网络的干扰。遍历第k个UE，根据式(1)(2)分别计算所有UE的信干噪比和吞吐量，其中k的取值范围为1到8；遍历第m个STA，根据式(3)计算所有STA受到蜂窝网络的干扰，其中m的取值范围为1到4；
步骤B：基于步骤A计算的UE吞吐量和STA受到蜂窝网络的干扰，建立如式(4)所示的通信网络优化模型；
其中：
Im≤-50dbm,
Tr(WWH)≤2；
步骤C：将步骤B建立的通信网络优化模型求解过程转化为马尔科夫过程；
其中，gNB为智能体，在每个时间步t下，根据当前状态，即由当前每个UE的吞吐量，每个STA受到的蜂窝网干扰以及中断标志构成的集合st＝(γt,It,,ot)来决定所要采取的动作，决定当前gNB的发射波束赋形和RIS的反射波束赋形，即动作空间at＝(wt,θt)。执行动作后，智能体根据式(5)得到环境奖励rt，同时状态空间转移到下一时间步的状态st+1；
步骤D：根据表1中的基于优化的DDPG算法求解步骤C中的马尔科夫决策过程，确定最终的gNB发射波束赋形和RIS反射波束赋形，具体如表1所示：
表1基于优化的DDPG求解马尔科夫过程的流程
步骤E：根据步骤D得到的gNB发射波束赋形和RIS反射波束赋形，提高非授权频谱共存***中蜂窝网络的吞吐量，同时将蜂窝网络对WiFi***的干扰控制在预设范围内。
从步骤A到步骤E，完成了本实施例1中基于优化的DDPG的RIS辅助非授权频谱共存方法。
以上所述为本发明的较佳实施例而已，本发明不应该局限于该实施例和附图所公开的内容。凡是不脱离本发明所公开的精神下完成的等效或修改，都落入发明保护的范围。
Claims (6)
1.基于优化的DDPG的RIS辅助非授权频谱共存方法，应用于RIS辅助非授权频谱共存***，位于非授权频段，***中存在一个蜂窝网基站，配有Nt根发射天线，服务K个单天线蜂窝网用户；一个RIS设备，配有Nr个反射单元；M个WiFi接入点，每个接入点服务一个单天线WiFi用户；因为WiFi接入点和WiFi用户之间的距离远小于蜂窝网基站和蜂窝网用户之间的距离，将一对WiFi接入点和WiFi用户抽象成一个整体；
其中，蜂窝网基站简写为gNB，即generation NodeB；蜂窝网用户简写为UE，即User；WiFi接入点简写为AP，即access point；WiFi用户简写为STA，即station；
其特征在于：包括以下步骤，
步骤一：遍历所有UE和STA，分别计算UE的信干噪比、吞吐量和STA受到蜂窝网络的干扰；
步骤二：基于步骤一获取的UE吞吐量和STA受到蜂窝网的干扰，构造以最大化蜂窝网***总吞吐量为目标函数的通信网络优化模型，并给出满足蜂窝网对WiFi***的干扰和gNB发射功率的约束；
步骤三：将步骤二建立的通信网络优化模型求解过程转化为马尔科夫过程；
步骤四：采用基于优化的深度确定性策略梯度DDPG方法，求解步骤三建立的马尔科夫过程，确定最终的gNB发射波束赋形和RIS反射波束赋形。
2.如权利要求1所述的基于优化的DDPG的RIS辅助非授权频谱共存方法，其特征在于：还包括步骤五，根据步骤四得到的gNB发射波束赋形和RIS反射波束赋形，提高非授权频谱共存***中蜂窝网络的吞吐量，同时将蜂窝网络对WiFi***的干扰控制在预设范围内。
3.如权利要求1或2所述的基于优化的DDPG的RIS辅助非授权频谱共存方法，其特征在于：步骤一实现方法为，
步骤1.1遍历第k个UE，求出所有UE的信干噪比和吞吐量；
其中，k的取值范围为1到K，第k个UE的信干噪比，记为λk，第k个UE的吞吐量，记为γk，具体依据(1)(2)计算：
其中，hgk、hgr和hrk分别表示gNB到UE、gNB到RIS和RIS到UE的信道矩阵，gmk、gmr和grk分别表示AP到UE，AP到RIS和RIS到UE的信道矩阵，矩阵w表示蜂窝网基站的发射波束赋形矩阵，矩阵Θ表示RIS设备的反射波束赋形矩阵，pw表示AP的发射功率，
表示噪声项；
γk＝W log2(1+λk) (2)
其中，W表示带宽；
步骤1.2遍历第m个STA，求出所有STA受到蜂窝网的干扰；
其中，m的取值范围为1到M，第m个STA受到的干扰，记为Im，具体依据(3)计算：
其中，hgm、hgr和hrm分别表示gNB到STA、gNB到RIS和RIS到STA的信道矩阵。
4.如权利要求3所述的基于优化的DDPG的RIS辅助非授权频谱共存方法，其特征在于：步骤二实现方法为，
基于步骤一获取的UE吞吐量和STA受到蜂窝网的干扰，构造以最大化蜂窝网***总吞吐量为目标函数的通信网络优化模型，并且给出满足蜂窝网对WiFi***的干扰和gNB发射功率的约束，具体为(4)：
其中，Ith表示STA所能容忍的最大干扰，Tr()表示矩阵的迹，P表示gNB的最大发射功率限制。
5.如权利要求4所述的基于优化的DDPG的RIS辅助非授权频谱共存方法，其特征在于：步骤三实现方法为，
步骤3.1定义gNB为智能体；
步骤3.2在每个时间步t下，状态空间定义为当前每个UE的吞吐量，每个STA受到的蜂窝网干扰以及中断标志，也即st＝(γt,It,,ot)，其中，如果式(4)中的约束条件不被满足，则ot＝1；
步骤3.3在每个时间步t下，智能体根据当前观测到的状态和从过去经验中学到的知识，共同决定gNB的发射波束赋形和RIS的反射波束赋形，故定义动作空间at＝(wt,θt)；
步骤3.4定义奖励函数rt(st,at)，具体为(5)：
其中，在每个时间步t下，当中断发生时，奖励变为0。
6.如权利要求5所述的基于优化的DDPG的RIS辅助非授权频谱共存方法，其特征在于：步骤四实现方法为，
步骤4.1初始化在线Actor网络、在线Critic网络、目标Actor网络、目标Critic网络及训练参数；
步骤4.1.1分别以随机参数α和c初始化在线Actor网络和在线Critic网络，以参数α′和c′初始化目标Actor网络和目标Critic网络，其中α＝α′，c＝c′；
步骤4.1.2初始化折损因子、软更新系数、mini-batch大小、最大迭代次数以及经验池；
步骤4.2对步骤4.1初始化的在线Actor网络、在线Critic网络、目标Actor网络、目标Critic网络进行如下训练：
步骤4.2.1基于高斯随机过程，初始化动作探索过程，将状态空间初始化为当前状态序列的第一个状态s1；
步骤4.2.2遍历t从1到T-1，在第t个时间步下，将st输入到在线Actor网络中，输出动作at，即当前在线Actor网络决定的gNB发射波束赋形和RIS反射波束赋形；
步骤4.2.3执行动作at，即根据式(1)(2)(3)计算当前每个UE的吞吐量，每个STA受到的蜂窝网干扰，根据式(4)中的约束条件判断ot的取值，得到st+1，并根据式(5)得到rt；
步骤4.2.4将[st,at,rt,st+1]作为时间步t下的经验放入经验池中；
步骤4.2.5在经验池中随机采样，采样大小为mini-batch大小，记为B；
步骤4.2.6将B个样本输入到目标Actor网络和目标Critic网络，得到B个样本中第i个样本进行更新的目标值，记为yi，表示为yi＝ri+βQ′(si+1,π′(si+1|α′)|c′)；
其中，ri表示采样得到的B个样本中第i个样本的奖励，β表示折损因子，Q′表示具有参数c′的目标Critic网络，π′表示具有参数α′的目标Actor网络；
步骤4.2.7对于B个样本中第i个样本，固定当前RIS反射波束赋形θi，带入到式(4)中，则式(4)转化为一个易于求解的凸优化问题，得到近似解w′i，以及
如果y′i＞yi，则更新yi＝y′i，且ai＝(w′i,θi)，否则不更新；
步骤4.2.8通过最小化损失函数
来更新在线Critic网络参数；
其中，Q表示具有参数c的在线Critic网络；
步骤4.2.9通过
来更新在线Actor网络参数；
其中
表示在线Critic网络Q(s,a|c)在状态si和动作ai时求导，
表示在线Actor网络在状态si时求导；
步骤4.2.10根据式(6)(7)更新目标Actor网络和目标Critic网络的参数：
α′＝τα+(1-τ)α′ (6)
c′＝τc+(1-τ)c′ (7)
其中，τ表示软更新系数；
步骤4.2.11更新状态st＝st+1；
步骤4.2.12重复步骤4.2.1至步骤4.2.11直到达到最大迭代次数，得到最终的gNB发射波束赋形和RIS反射波束赋形。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111375731.0A CN114339775A (zh) | 2021-11-19 | 2021-11-19 | 基于优化的ddpg的ris辅助非授权频谱共存方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111375731.0A CN114339775A (zh) | 2021-11-19 | 2021-11-19 | 基于优化的ddpg的ris辅助非授权频谱共存方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114339775A true CN114339775A (zh) | 2022-04-12 |
Family
ID=81047164
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111375731.0A Pending CN114339775A (zh) | 2021-11-19 | 2021-11-19 | 基于优化的ddpg的ris辅助非授权频谱共存方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114339775A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114980169A (zh) * | 2022-05-16 | 2022-08-30 | 北京理工大学 | 一种基于轨迹与相位联合优化的无人机辅助地面通信方法 |
| CN118054828A (zh) * | 2024-04-08 | 2024-05-17 | Ut斯达康通讯有限公司 | 面向智能超表面的波束赋形方法、装置、设备及存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180124713A1 (en) * | 2016-10-27 | 2018-05-03 | Yuan Ze University | Intelligent deployment cascade control device based on an fdd-ofdma indoor small cell in multi-user and interference environments |
| CN111163531A (zh) * | 2019-12-16 | 2020-05-15 | 北京理工大学 | 一种基于ddpg的非授权频谱占空比共存方法 |
| CN113596785A (zh) * | 2021-07-26 | 2021-11-02 | 吉林大学 | 基于深度q网络的d2d-noma通信***资源分配方法 |
-
2021
- 2021-11-19 CN CN202111375731.0A patent/CN114339775A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180124713A1 (en) * | 2016-10-27 | 2018-05-03 | Yuan Ze University | Intelligent deployment cascade control device based on an fdd-ofdma indoor small cell in multi-user and interference environments |
| CN111163531A (zh) * | 2019-12-16 | 2020-05-15 | 北京理工大学 | 一种基于ddpg的非授权频谱占空比共存方法 |
| CN113596785A (zh) * | 2021-07-26 | 2021-11-02 | 吉林大学 | 基于深度q网络的d2d-noma通信***资源分配方法 |
Non-Patent Citations (2)
| Title |
|---|
| ZHONG YANG等: "Machine Learning for User Partitioning and Phase Shifters Design in RIS-Aided NOMA Networks", 《IEEE TRANSACTIONS ON COMMUNICATIONS》, 28 July 2021 (2021-07-28) * |
| 王倩;聂秀山;耿蕾蕾;尹义龙;: "D2D通信中基于Q学习的联合资源分配与功率控制算法", 南京大学学报(自然科学), no. 06, 30 November 2018 (2018-11-30) * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114980169A (zh) * | 2022-05-16 | 2022-08-30 | 北京理工大学 | 一种基于轨迹与相位联合优化的无人机辅助地面通信方法 |
| CN118054828A (zh) * | 2024-04-08 | 2024-05-17 | Ut斯达康通讯有限公司 | 面向智能超表面的波束赋形方法、装置、设备及存储介质 |
| CN118054828B (zh) * | 2024-04-08 | 2024-06-25 | Ut斯达康通讯有限公司 | 面向智能超表面的波束赋形方法、装置、设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111246491B (zh) | 一种智能反射表面辅助的太赫兹通信***设计方法 | |
| CN102164374B (zh) | 波束搜索处理方法、装置和*** | |
| CN113411110B (zh) | 一种基于深度强化学习的毫米波通信波束训练方法 | |
| CN114339775A (zh) | 基于优化的ddpg的ris辅助非授权频谱共存方法 | |
| CN106680780A (zh) | 频谱共享环境下基于射频隐身的雷达最优波形设计方法 | |
| CN115278707B (zh) | 基于智能反射面辅助的noma太赫兹网络能效优化方法 | |
| CN113115344B (zh) | 基于噪声优化的无人机基站通信资源分配策略预测方法 | |
| CN114268350A (zh) | 智能反射面辅助通信中非理想信道下的鲁棒波束赋形设计方法 | |
| CN110602722B (zh) | 一种基于noma的联合内容推送和传输的设计方法 | |
| CN116684925B (zh) | 一种无人机搭载智能反射面安全移动边缘计算方法 | |
| Lei et al. | Joint beam training and data transmission control for mmWave delay-sensitive communications: A parallel reinforcement learning approach | |
| Su et al. | Semantic communication-based dynamic resource allocation in d2d vehicular networks | |
| Hua et al. | Learning-based reconfigurable-intelligent-surface-aided rate-splitting multiple access networks | |
| CN108449737B (zh) | 分布式天线***中基于d2d的下行链路高能效功率分配方法 | |
| CN114765785B (zh) | 一种基于最大信噪比的多智能反射面选择方法 | |
| CN114268348A (zh) | 一种基于深度强化学习的无蜂窝大规模mimo功率分配方法 | |
| Hua et al. | On sum-rate maximization in downlink UAV-aided RSMA systems | |
| Liu et al. | Power allocation in ultra-dense networks through deep deterministic policy gradient | |
| CN116033461B (zh) | 一种基于star-ris辅助的共生无线电传输方法 | |
| CN116709538A (zh) | 一种双ris协作辅助的noma***上行传输方法及装置 | |
| Liu et al. | Concurrent multi-beam transmissions for reliable communication in millimeter-wave networks | |
| CN114337902B (zh) | 一种irs辅助的毫米波多小区间干扰的抑制方法 | |
| Tian et al. | Reconfigurable intelligent surface-assisted secondary communication system coexisting with multiple primary networks | |
| Ye et al. | Joint Channel Allocation and Power Control Based on Long Short‐Term Memory Deep Q Network in Cognitive Radio Networks | |
| Truong et al. | Performance analysis and optimization of multiple IIoT devices radio frequency energy harvesting NOMA mobile edge computing networks |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |