CN112953666B

CN112953666B - 认知无线网络中基于信道质量的频谱预测切换方法

Info

Publication number: CN112953666B
Application number: CN202110203067.5A
Authority: CN
Inventors: 曹开田; 卢海洋
Original assignee: Shanghai Institute of Technology
Current assignee: Shanghai Institute of Technology
Priority date: 2021-02-23
Filing date: 2021-02-23
Publication date: 2022-11-01
Anticipated expiration: 2041-02-23
Also published as: CN112953666A

Abstract

本发明属于认知无线电技术领域，涉及一种认知无线网络中基于信道质量的频谱预测切换方法。该方法是对于认知无线电网络，SUs通过观察信道以往的状态计算出每个信道对于自身的信道延迟，SU_i根据自身能够容忍的最大延迟以及信道延迟计算出信道ch_c的延迟违例率和延迟质量指数，结合SU_i自身所能容忍的最大延迟违例率，筛选出SU_i的可用信道集合；SU_i根据自身参数以及信道的PU参数计算出中可用信道的吞吐量质量指数，SU_i根据延迟质量指数和吞吐量质量指数计算出中可用信道的接入概率，根据信道的接入概率对可用信道进行排序，作为SU_i频谱切换接入的先后次序，再求出SU_i的期望吞吐量，将SU_i的最大延迟违例率的选取归结为以下约束最优化问题，利用算法求取最优最大延迟违例率。

Description

认知无线网络中基于信道质量的频谱预测切换方法

技术领域

本发明属于认知无线电技术领域，更具体地，涉及一种认知无线网络中基于信道质量的频谱预测切换方法。

背景技术

随着时代的进步与发展，无线通讯技术日益完善，无线接入设备的数量急剧增加，致使无线频谱资源短缺和频谱利用率低下的矛盾日益突出。为此，人们提出了认知无线电网络CRNs(Cognitive Radio Networks)技术。CRNs通过动态频谱接入技术，采用高效的频谱管理和资源分配技术，可以有效缓解无线频谱资源短缺的问题，提高频谱利用率，进而提高网络***容量。

在现有的频谱切换研究中，有学者提出了延迟违例率以及备份信道的概念，从而减少***延迟。然而，在该模型中并未考虑***吞吐量的大小，对于备份信道的引用会使得频谱资源更加紧缺。还有学者提出了基于次用户分级M/G/m排队论模型，但是没有考虑***吞吐量，也不能减少由于不必要的频谱切换造成的延迟。还有学者提出了CRNs中的基于分散式Q学习的聚集干扰控制，将Q学习应用在频谱预测方面，但是传统的Q学习无法处理Q表庞大的数据，DQN的过估计也是一个很大的问题。

在CRNs***中，吞吐量和延迟是相互矛盾的。传统的频谱切换在考虑吞吐量最大化的时候会使得延迟增大，或者考虑延迟最小化的时候会使得吞吐量变小。本专利发明的是一种基于信道质量的频谱预测切换方法，引入了吞吐量质量指数和延迟质量指数，同时引入了一个0到1之间的常数，根据对吞吐量和延迟的需求，调控常数以表示吞吐量和延迟的重要性。根据吞吐量质量指数、延迟质量指数以及常数ρ计算出信道的切换成功率，在有需求的场景下可以同时兼顾吞吐量和切换延迟，从而满足***要求。该发明使得CRNs更加人性化智能化，通过常数ρ人为调控吞吐量和延迟的需求，更具有兼容性。

发明内容

针对现有技术存在的不足之处，本发明提出了一种混合认知无线网络中基于迁移学习策略的频谱预测切换方法，与传统频谱预测切换方法相比，本发明方法具有更高的切换成功率和更大的***容量。

为解决上述技术问题，本发明采用如下技术方案：

认知无线网络中基于信道质量的频谱预测切换方法，包括如下步骤，

步骤1、对于一个有N个PU信道和L个SU的认知无线电网络，SUs通过观察信道以往的状态计算出每个信道对于自身的信道延迟E[D_k]；

步骤2、SU_i根据自身能够容忍的最大延迟

以及信道延迟计算出信道ch_c的延迟违例率

步骤3、根据步骤2中计算出的信道延迟违例率

结合SU_i自身所能容忍的最大延迟违例率P_max,i，筛选出SU_i的可用信道集合

步骤4、根据步骤2算出的信道延迟违例率

SU_i计算出自己在步骤3中可用信道ch_c的延迟质量指数

步骤5、SU_i根据自身参数以及信道的PU参数计算出步骤3中可用信道ch_c的吞吐量质量指数

步骤6、SU_i根据在步骤4的延迟质量指数

和步骤5的吞吐量质量指数

计算出步骤3中可用信道ch_c的接入概率P^a,c；

步骤7、根据步骤6求出的所有可用信道的接入概率P^a,c，引用M/G/m排队论模型，根据信道的接入概率对可用信道进行排序，作为SU_i频谱切换接入的先后次序；

步骤8、根据步骤6求出信道ch_c的信道接入概率P^a,c求出SU_i的期望吞吐量E[R_i]；

步骤9、根据以上，将SU_i的最大延迟违例率P_max,i的选取归结为以下约束最优化问题：

其中，L是***中SU的个数；M是可用信达集合AC中的元素个数，且M≤N；R_i表示SU_i的吞吐量；P_max,i表示SU_i的最大延迟违例率。

步骤10、根据步骤9提出的优化问题，利用DDQN算法求取最优最大延迟违例率。

本技术方案进一步的优化，所述步骤1中SU在信道上的信道预期延迟E[D_k]为：

其中：E[·]表示期望；S_i表示队列前SU_i的服务时间；

表示SU在到达瞬间的信道上其他SU剩余服务时间；T_un表示不可用时间段；Q_k表示进入队列时，队列前SU的数量；n_k表示SU_k接入信道开始到传输结束被PU打断的次数，也是恢复通讯的次数。

本技术方案进一步的优化，所述步骤2中可用信道ch_c的延迟违例率

为：

其中

表示估计的延迟期望大于最大延迟的次数，N^w表示延迟测量的滑动窗口大小。

本技术方案进一步的优化，所述步骤4中对于SU_i来说，可用信道ch_c的延迟质量指数

为：

其中，

是SU_i在信道ch_c上的延迟违例率；P_max,i是SU_i的最大延迟违例率；

是SU_i在信道j上的延迟违例率。

本技术方案进一步的优化，所述步骤5中SU_i在可用信道ch_c上的吞吐量质量指数

为：

其中，

是SU_i在可用信道ch_c上的吞吐量。

本技术方案更进一步的优化，所述SU_i在可用信道ch_c上的吞吐量，

其中，W^c为信道ch_c的数据带宽；k＝1.5/[-ln(5r_b)]是一个由最大误码率r_b决定的常数；

为SU_i在信道ch_c上的信号与干扰加噪声比。

本技术方案进一步的优化，所述步骤6中，SU_i在可用信道ch_c的信道接入概率P_i ^a,c为：

其中，ρ∈(0，1)是折扣因子。

本技术方案进一步的优化，所述步骤8中SU_i的期望吞吐量E[R_i]为：

其中，W为信道带宽，M(μ_i)＝1+kμ_i表示每个调制符号的比特数，

是一个由最大传输误码率r_b决定的常数。

本技术方案进一步的优化，所述步骤10中的算法采用DDQN算法。

本技术方案更进一步的优化，所述DDQN的损失函数定义为：

用∈-greedy策略来选择每个SU的动作，对参数进行更新，使得SU_i的回报最大，实现CRNs***整体吞吐量最大。

本发明采用以上技术方案与现有技术相比，具有以下技术效果：

(1)引入了延迟违例率概念减少了***不必要的切换次数从而减少***的切换延迟。

(2)引入了信道延迟质量指数和信道吞吐量质量指数从而构建信道接入概率，通过一个0到1的常数来决定对于吞吐量和延迟对于***的重要性，更加智能化地满足***要求。

(3)推导出目标信道切换的优先序列，进而提出一种基于DDQN预测判决的频谱切换方法。具有切换成功率更高、迭代次数更少等优点。

(3)该方法通过构建出SU频谱切换的成功率及***吞吐量的模型，采用双深度Q网络(Double Deep Q-Network,DDQN)及迁移学习(Transfer Learning,TL)策略对CRNs的信道容量进行分析，实现***整体最优。

附图说明

图1是认知无线网络中基于信道质量的频谱预测切换方法流程示意图；

图2是SU的延迟期望图；

图3是延迟违例率图。

具体实施方式

为进一步说明各实施例，本发明提供有附图。这些附图为本发明揭露内容的一部分，其主要用以说明实施例，并可配合说明书的相关描述来解释实施例的运作原理。配合参考这些内容，本领域普通技术人员应能理解其他可能的实施方式以及本发明的优点。图中的组件并未按比例绘制，而类似的组件符号通常用来表示类似的组件。

现结合附图和具体实施方式对本发明进一步说明。

参阅图1所示，本发明优选一实施例的认知无线网络中基于信道质量的频谱预测切换方法流程示意图。该方法包括如下步骤：

步骤1、对于一个有N个PU信道的认知无线电网络，SUs通过观察信道以往的状态计算出每个信道对于自身的信道延迟E[D_k]。如图1所示：当SU_k在t_k时刻到达信道的队列时，必须在该信道的队列的最后进行等待，直到队列前的所有SU都离开队列为止。其中

分别表示信道第i个不可用时间段；Q_k表示进入队列时，队列前SU的数量；

表示到达不可用的信道后第一个不可用的时间段；n_k表示SU_k接入信道开始到传输结束被PU打断的次数，也是恢复通讯的次数；D_k表示SU_k从进入队列开始直到传输完成所经历的时间，即延迟。所以可以得到SU_k的预期延迟：

其中：E[·]表示期望；S_i表示队列前SU_i的服务时间；

步骤2、SU_i根据自身能够容忍的最大延迟

以及信道延迟计算出信道ch_c的延迟违例率

参阅图3所示，是延迟违例率图。当SU到达队列的时候，通过(4)式计算预期延迟期望。用

表示估计的延迟期望大于最大延迟的次数，用N^w表示延迟测量的滑动窗口大小，队列管理器通过先前和当前观察到的窗口内所有到达队列SU的个数来表示N^w，如果E[D_k]＞D_max，

递增。因为所有的延迟计算都是基于期望的，所以，可以得到信道的延迟违例率表达式：

步骤3、根据步骤2中计算出的信道延迟违例率，结合SU_i自身所能容忍的最大延迟违例率P_max,i，筛选出SU_i的可用信道集合

步骤4、根据步骤2算出的延迟违例率，SU_i计算出自己在步骤3中可用信道ch_c的延迟质量指数

其中，

是SU_i在信道j上的延迟违例率。

其中，

是SU_i在可用信道ch_c上的吞吐量。

为SU_i在信道ch_c上的信号与干扰加噪声比(Signal to Interference plusNoise Ratio)。采用AMC技术，SBS(Secondary Base Station)可以通过主动式学习推导出信道状态信息CSI(Channel State Information)。因此，在AMC技术下，根据SU的发射功率，可在SBS处计算出SU的

值为：

步骤6、SU_i根据在步骤4的延迟质量指数

和步骤5的吞吐量质量指数

计算出步骤3中可用信道ch_c的接入概率P^a,c

其中，ρ∈(0，1)是折扣因子，表示延迟需求的重要性。

步骤7、根据步骤6求出的所有可用信道的接入概率，引用M/G/m排队论模型，根据信道的接入概率对可用信道进行排序，作为SU_i频谱切换接入的先后次序。

步骤8、根据步骤6求出信道ch_c的信道接入概率P^a,c求出SU_i的期望吞吐量E[R_i]。

是一个由最大传输误码率r_b决定的常数。

步骤9、在给定最大延迟{D_max,i}的条件下，衡量延迟和吞吐量，为了使满足延迟前提使得***整体吞吐量最大，最大延迟违例率P_m的选取可以归结于以下最优问题：

步骤10、根据步骤9提出的优化问题，利用DDQN(Double Deep Q Networks)算法求取最优最大延迟违例率。SU_i动作空间为输入值A＝{+0.01,-0.01}，状态可以定义为式(19)的限制条件，则在t时刻，构建出***的状态空间S_t＝{P_max,1,P_max,2,…,P_max,L}。

将奖励函数定义为状态空间和当前动作空间上的函数，则在t时刻，SU_i(i＝1,2,…,L)获得的奖励为

式(20)中，Λ为一个常数，其值小于采取任意学习策略时所得到的回报值。因此，当

***获得的回报为惩罚，而非收益。

对新加入CRNs***的SU，采用迁移学习(Transfer Learning,TL)方法，利用周边距离其最近的SU的Q函数及其参数对其进行初始化。然后，要求SU_i通过DDQN方法寻找一个最优学习策略π，使得自己在下一时刻获得的回报最大，从而实现***整体吞吐量最大，即

其中，γ_t是每一时间步长的折扣因子，E[·]表示数学期望。

为最优Q值函数，表示SU_i在最优学习策略π下，在(0,∞)时间范围内获得的最大折扣回报r_i(s,a)之和。

传统的DQN使用的神经网络是用改版的Q-learning算法来训练，使用随机梯度下降来更新权重，并使用经验重放机制来消除数据间的关联性。首先用神经网络作为Q值的网络，更新参数为θ：

Q(s,a,θ)≈Q^π(s,a) (12)

然后在Q值中使用均方差(mean-square error)来定义目标函数的损失函数(lossfunction)：

然后计算参数θ关于损失函数的梯度：

有了式(24)的梯度，就可以使用梯度下降来更新参数，从而获得最优的Q值。

在DDQN中，有两个神经网络模型，两个模型之间有时差。不再是直接在目标Q网络里面寻找各个动作中的最大Q值，而是先在当前Q网络中先找出最大Q值对应的动作，然后利用这个信泽出来的动作a在目标网络里面去计算目标Q值。DDQN的损失函数定义为：

尽管结合优选实施方案具体展示和介绍了本发明，但所属领域的技术人员应该明白，在不脱离所附权利要求书所限定的本发明的精神和范围内，在形式上和细节上可以对本发明做出各种变化，均为本发明的保护范围。