CN113613337B - 一种面向波束成形通信的用户协作抗干扰方法 - Google Patents

一种面向波束成形通信的用户协作抗干扰方法 Download PDF

Info

Publication number
CN113613337B
CN113613337B CN202110896542.1A CN202110896542A CN113613337B CN 113613337 B CN113613337 B CN 113613337B CN 202110896542 A CN202110896542 A CN 202110896542A CN 113613337 B CN113613337 B CN 113613337B
Authority
CN
China
Prior art keywords
user
interference
users
strategy
channel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110896542.1A
Other languages
English (en)
Other versions
CN113613337A (zh
Inventor
任国春
徐煜华
张云鹏
徐逸凡
方贵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Army Engineering University of PLA
Original Assignee
Army Engineering University of PLA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Army Engineering University of PLA filed Critical Army Engineering University of PLA
Priority to CN202110896542.1A priority Critical patent/CN113613337B/zh
Publication of CN113613337A publication Critical patent/CN113613337A/zh
Application granted granted Critical
Publication of CN113613337B publication Critical patent/CN113613337B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W72/00—Local resource management
    • H04W72/50—Allocation or scheduling criteria for wireless resources
    • H04W72/54—Allocation or scheduling criteria for wireless resources based on quality criteria
    • H04W72/541—Allocation or scheduling criteria for wireless resources based on quality criteria using the level of interference
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

本发明公开了一种面向波束成形通信的用户协作抗干扰方法，将多用户与干扰的对抗关系建模；干扰为领导者，用户为追随者；不断调整干扰策略以保证其干扰效用最大；将用户间的协作抗干扰行为建模为势能博弈。首先初始化用户与干扰的策略，即随机选择通信/干扰信道，并将每个用户标志位设为0；然后所有用户同时执行信道探测或信道更新操作，尔后计算相应的效用并在领居间交互用户体验质量满意度,根据所选策略更新标志位；循环迭代，直至所有用户抗干扰策略收敛；更新Q表，调整策略；直至干扰的策略收敛。本发明通过为不同用户设置不同的学习参数提高了收敛速度，通过用户间信息层面的协作，提高了网络的抗干扰效能。

Description

一种面向波束成形通信的用户协作抗干扰方法
技术领域
本发明属于无线通信技术领域，特别是一种面向波束成形通信的用户协作抗干扰方法。
背景技术
随者无线技术的发展，全球通信业务呈现出指数型爆发增长，在热点地区，用户通常呈现超密集分布，给用户协调用频和抗恶意干扰攻击带来了较大困难。针对此问题，前人提出采用跳频方式躲避干扰攻击(F.Yao and L.Jia,A Collaborative Multi-AgentReinforcement Learning Anti-Jamming Algorithm in Wireless Networks,IEEEWireless Communications Letters,vol.8,no.4,pp.1024-1027,Aug.2019.)；但是，之前的大部分研究都只是单纯的将最大化全网吞吐量作为优化目标，没有考虑用户实际的业务需求，没有将用户需求考虑进决策闭环之中。此类方法往往会遇到优化目标与用户需求不能够完全匹配的情况，从而造成资源的浪费。
此外，现有的抗干扰算法还普遍存在以下两点问题：(1)缺乏用户间协作机制，抗干扰方法还偏向于独立对抗，没有发挥出群智效能。(2)异步更新算法居多，即每次迭代只有一个用户更新策略，导致算法收敛速度较慢。
发明内容
本发明的目的在于提供一种能够提高用户体验质量(QoE)、降低干扰影响的协作抗干扰模型及相应的抗干扰学习算法。
实现本发明目的的技术解决方案为：考虑恶意用户能够根据通信用户的用频状况自适应地调整干扰策略，使其干扰效用最大化。首先，将用户和干扰之间的对抗关系建模为一个Stackelberg博弈。此外，在用户关系建模方面，考虑空分多址条件下用户间互扰非对称这一特点，提出了一种具有局部利他特性的非合作博弈模型。其次，为了克服盲目地提升吞吐量所造成资源的浪费，提出了基于平均评估分值MOS(Mean Opinion Score)的用户体验质量模型，用QoE等级来量化用户效用。接着，证明了用户间局部利他博弈是一个精确势能博弈，进而证明了用户的全网最优策略是该博弈的一个纯策略纳什均衡。最后，设计了一种只需要局部信息即可实现全网最优的用户协作抗干扰算法。
一种抗干扰算法，包括以下步骤：
步骤1，将多用户单干扰场景下的合作抗干扰问题，建模为单领导者多跟随者的Stackelberg博弈模型，博弈的参与者是***内的所有用户和干扰；
步骤2，干扰随机选择一个信道进行干扰，定义干扰的效用函数为干扰机给共信道的所有用户施加的干扰功率之和。用户根据干扰策略进行抗干扰信道选择，为了能够在此过程中降低用户间互扰，我们考虑了局部合作模型，并利用势能博弈框架对用户间协作进行分析，每个用户需要考虑邻居用户的收益。因此，用户的效用函数被定义为用户自身与邻居用户的QoE满意度总和。
步骤3，所有用户同时进行抗干扰策略调整，用户根据当前标志位以及前两个时隙的策略与回报进行信道选择。根据用户对网络的不同影响程度，本发明为每个用户设置了不同的学习参数，以此来提高算法收敛速度。
步骤4，循环至步骤3，用户通过探索学习进行策略选择，直至干扰策略和所有用户的抗干扰策略实现收敛，或者达到设定的迭代次数。
步骤5，干扰评估其效用uj(k)并更新Q表。
步骤6，干扰更新策略，并循环至步骤3，直至到达最大循环次数。
进一步地，步骤1所述的多用户单干扰场景下的合作抗干扰问题，被建模为单领导者多追随者的Stackelberg博弈，表示为：
Figure BDA0003198077420000021
其中，
Figure BDA0003198077420000022
为用户集，j为恶意干扰机，/>
Figure BDA0003198077420000023
和/>
Figure BDA0003198077420000024
分别表示用户和干扰的策略集，un和uj分别表示用户n和干扰的效用函数。
进一步地，步骤2所述的用户间局部合作模型被建模为精确势能博弈，具体如下：定义用户间势能函数为:
Figure BDA0003198077420000025
其中an为用户n的信道接入策略，cj为干扰的信道选择；
Figure BDA0003198077420000026
为受用户n干扰的用户集，/>
Figure BDA0003198077420000027
为对用户n造成干扰的用户集；该式表示全网所有用户的QoE满意度之和。
该势能博弈证明过程如下：
若任意用户n单方面将其策略从an转变为
Figure BDA0003198077420000028
则该用户效用函数的变化量如下：
Figure BDA0003198077420000031
此外，用户n单方面改变其策略选择造成势能函数的变化为：
Figure BDA0003198077420000032
其中
Figure BDA0003198077420000033
为受用户n干扰的用户集，/>
Figure BDA0003198077420000034
为对用户n造成干扰的用户集，/>
Figure BDA0003198077420000035
表示在集合/>
Figure BDA0003198077420000036
中删除集合/>
Figure BDA0003198077420000037
进一步将得到以下结论：
Figure BDA0003198077420000038
因此用户间局部合作模型是一个势能博弈。
进一步地，步骤3所述的所有用户同时进行抗干扰策略调整，用户根据当前标志位以及前两个时隙的策略与回报进行信道选择。具体操作如下：
若标志位Yn(t-1)＝0，用户n根据以下规则更新信道:
Figure BDA0003198077420000039
其中，M表示用户的可用信道数，
Figure BDA00031980774200000310
是用户n的学习参数。若an(t)＝an(t-1)，则将标志位Yn(t)置0，否则置1。
若标志位Yn(t-1)＝1，用户n根据以下规则更新信道:
Figure BDA00031980774200000311
Figure BDA00031980774200000312
其中，β为学习速率；un(t-1)和un(t-2)分别为用户n在t-1和t-2时隙的效用。更新完成后设置标志位Yn(t)＝0。
进一步地，将用户的学习参数设置为
Figure BDA00031980774200000313
当xn足够大时，用户协作抗干扰算法可以渐进收敛到全网最优，为不同用户设置不同的学习参数主要是为了加快收敛速度，具体操作为：
xn(t)＝Γn·ε(t)
其中，ε(t)＝ε(0)+tΔε为时间的变化量，且ε(0)为初始值，Δε为步长，t为迭代次数。
Figure BDA0003198077420000041
表示用户n对网络的影响程度。
进一步地，步骤5所述的干扰评估其效用uj(k)并更新Q表。具体如下：
干扰评估当前效用uj：
Figure BDA0003198077420000042
其中，pj为干扰功率；
Figure BDA0003198077420000043
为干扰频率；djn为干扰机与用户n之间的距离；/>
Figure BDA0003198077420000044
为信道增益，与干扰频率以及干扰距离有关；
更新Q表：
Qk+1(cj(k))＝(1-λ)Qk(cj(k))+λuj(k)，
其中，Qk+1为干扰机k+1时期的Q值；cj(k)为干扰机在k时期所选的干扰信道；Qk为干扰机k时期的Q值；uj(k)为干扰机在k时期的效用；λ∈(0,1)表示学习速率，用于控制Q学习收敛速度。
进一步地，步骤6所述的干扰策略更新方式为：
采用玻尔兹曼函数更新自身的信道选择策略：
Figure BDA0003198077420000045
其中，τ为温度系数，体现探索与利用的折中。
Figure BDA0003198077420000046
为干扰机在k时期选择信道cj(k)的概率。
本发明与现有技术相比，其显著优点在于：(1)为多用户抗干扰问题提供了一种建模用户与干扰强对抗关系以及用户间协作关系的架构。(2)考虑了用户的多样化业务需求，同时为了克服用户盲目的提升吞吐量而造成的资源浪费，提出了基于MOS的QoE模型和以用户需求为中心的优化机制，用QoE等级来量化用户效用，利用用户需求分集提升***性能。(3)通过势能博弈的有限改进性，设计了多用户同步抗干扰算法，并利用各用户对网络整体的影响程度不同的特点，通过为不同的用户设置不同的学习参数来提升算法的收敛速度。
附图说明
图1是本发明面向异构业务需求的分层抗干扰模型中的多用户单干扰网络示意图。
图2是本发明算法与现有的异步学习算法的收敛情况对比图。
图3是本发明算法在干扰功率变化时的抗干扰效果示意图。
具体实施方式
结合图1，本发明面向多用户业务需求的分层抗干扰模型，***中共有两个毫米波微微蜂窝基站，两基站间的距离为50m，用户随机分布在以基站为中心的半径为100m的圆内。同时，干扰分布在距离两基站大约100-200m的范围内。此外，可用信道数设置为M＝4，信道带宽B＝1MHz,噪声功率谱密度N0＝-130dB/Hz。
本发明面向多用户业务需求的分层抗干扰模型，将干扰建模为领导者，将用户建模为跟随者。将干扰与用户的对抗关系建模为Stackelberg博弈，寻求能够躲避干扰的方法。将用户间协作关系建模为势能博弈，寻求能够消除同信道互扰的方法。此外，本发明所提的用户间协作，是信息层面的协作，指相邻用户间交互QoE满意度。
本发明基于全网QoE满意度与用户策略的关系，通过证明纳什均衡与Stackelberg均衡的存在性，准确地将用户行为映射到了***性能上，为进一步提出相应的抗干扰算法提供了理论指导。
本发明面向异构业务需求的分层抗干扰模型的用户协作抗干扰算法，包括以下步骤：
步骤1，将多用户单干扰场景下的合作抗干扰问题，建模为单领导者多跟随者的Stackelberg博弈模型，博弈的参与者是***内的所有用户和干扰；
步骤2，干扰随机选择一个信道进行干扰，定义干扰的效用函数为干扰机给同信道的所有用户施加的干扰功率之和。用户根据干扰策略进行抗干扰信道选择，为了能够在此过程中降低用户间互扰，我们考虑了局部合作模型，并利用势能博弈框架对用户间协作进行分析，每个用户需要考虑邻居用户的收益。因此，用户的效用函数被定义为用户自身与邻居用户的QoE满意度总和。
步骤3，所有用户同时进行抗干扰策略调整，用户根据当前标志位以及前两个时隙的策略与回报进行信道选择。根据用户对网络整体的影响程度不同，为每个用户设置了不同的学习参数，以此来提高算法收敛速度。
步骤4，循环至步骤3，用户通过探索学习进行策略选择，直至干扰策略和所有用户的抗干扰策略实现收敛，或者达到设定的迭代次数。
步骤5，干扰评估其效用uj(k)并更新Q表。
步骤6，干扰更新策略，并循环至步骤3，直至到达最大循环次数。
本发明的具体实施方案如下：
1、将多用户与干扰间的对抗关系建模为Stackelberg博弈，表示为
Figure BDA0003198077420000061
其中，/>
Figure BDA0003198077420000062
为用户集，j为恶意干扰机，/>
Figure BDA0003198077420000063
和/>
Figure BDA0003198077420000064
分别表示用户和干扰的策略集，un和uj分别表示用户n和干扰的效用函数。
2、考虑用户存在多种业务，因此对吞吐量要求也不同。换句话说，同一吞吐量在不同业务下可能会对应到不同的QoE满意度。具体的QoE满意度计算过程为：
用户n每次只能接入一个基站，我们将用户n所接入的基站表示为Sn。基站Sn和用户n之间的距离表示为
Figure BDA0003198077420000065
基站Sn到用户n的方向角表示为/>
Figure BDA0003198077420000066
我们可以得到基站Sn利用波束成形技术服务用户n时在用户m所在方向上的方向增益为：
Figure BDA0003198077420000067
其中,θn为基站Sn服务用户n时波束的主瓣宽度。
利用通信链路方向角，定义服务用户n的波束覆盖区域为：
Figure BDA0003198077420000068
其中，θn为基站Sn服务用户n时波束的主瓣宽度。
进一步，定义受到用户n干扰的***集为：
Figure BDA0003198077420000069
Figure BDA00031980774200000610
为服务用户n的波束覆盖区域；
定义对用户n造成干扰的***集为：
Figure BDA0003198077420000071
其中，
Figure BDA0003198077420000072
为服务用户m的波束覆盖区域；gmn为Sm利用波束成形技术服务用户m
时在用户n所在方向上的方向增益；g0是波束增益阈值，取0.01。
Figure BDA0003198077420000073
表示除用户n之外的其余所有用户的集合。
因此，用户n所受的外部恶意干扰和用户间互扰之和表示为：
Figure BDA0003198077420000074
其中，
Figure BDA0003198077420000075
为干扰频率；/>
Figure BDA0003198077420000076
为信道am所在频率；am,an和cj分别为用户m、用户n和干扰机所选信道；gmn为Sm利用波束成形技术服务用户m时在用户n所在方向上的方向增益；
Figure BDA0003198077420000077
为用户m所在信道的信道增益；/>
Figure BDA0003198077420000078
为干扰机所在信道的信道增益。pm为用户m的发射功率，djn为干扰机到用户n的距离。pj为干扰功率。δ(x,y)为指示函数，定义为
Figure BDA0003198077420000079
所以，用户n的通信速率表示为：
Figure BDA00031980774200000710
其中，B为信道带宽；pn表示用户n的发射功率；
Figure BDA00031980774200000711
为基站Sn到用户n的距离；N0为噪声的功率谱密度；Dn为用户n所受的外部恶意干扰和互扰之和。/>
Figure BDA00031980774200000712
为用户n所在信道的信道增益；
将MOS函数定义为：
MOS＝εlog10(R/γ)，
其中R为用户的吞吐量；ε和γ为常数，其大小根据用户的最大和最小吞吐量需求确定，由于用户的业务需求不同，该常数值大小也不尽相同。MOS值与五个级别的映射关系如表1所示。
表1：平均意见得分(MOS)
Figure BDA00031980774200000713
Figure BDA0003198077420000081
进一步，用函数
Figure BDA0003198077420000082
对用户的不同体验等级进行量化，表示用户n在不同QoE等级下的满意度：
Figure BDA0003198077420000083
基于上述分析，优化目标被表示为全网的QoE回报(即用户满意度之和)最大，即：
Figure BDA0003198077420000084
基于以上分析，用户n的效用函数表示为：
Figure BDA0003198077420000085
用户n的优化问题可表示为：
Figure BDA0003198077420000086
进一步，所有用户构成一个下层子博弈，表示为：
Figure BDA0003198077420000087
对干扰来说，其目标是给所有用户造成最大程度的累计干扰，其效用函数定义为：
Figure BDA0003198077420000088
我们将干扰的决策优化问题表示为：
Figure BDA0003198077420000089
故上层子博弈表示为：
Figure BDA00031980774200000810
3、每个用户的信道选择过程如下：
(1)初始化：每个用户
Figure BDA00031980774200000811
从它的可用信道集/>
Figure BDA00031980774200000812
中等概率随机选择一个信道an(0)，并设置标志位Yn(0)＝0。
(2)信道探测：若Yn(t-1)＝0，用户n根据以下规则更新信道:
Figure BDA0003198077420000091
其中，M表示用户的可用信道数，
Figure BDA0003198077420000092
可认为是用户n的学习速率。若an(t)＝an(t-1)，则将标志位Yn(t)置0，否则置1。
(3)更新信道：若Yn(t-1)＝1，用户n根据以下规则更新信道:
Figure BDA0003198077420000093
Figure BDA0003198077420000094
其中，β为学习参数；un(t-1)和un(t-2)分别为用户n在t-1和t-2时隙的用户效用。更新完成后设置标志位Yn(t)＝0。
4、循环步骤1至步骤3，所有用户同时进行探索学习与信道接入，直至所有用户的信道接入选择实现收敛，或者达到设定的迭代次数。
对于局部合作模型，可以证明其为势能博弈，至少存在一个纳什均衡解。且利用势能博弈的有限改进性质，可以设计相应的抗干扰算法。
5、干扰评估其效用uj(k)；干扰按照下式更新Q值
Qk+1(cj(k))＝(1-λ)Qk(cj(k))+λuj(k)， (6-25)
其中，λ∈(0，1)表示学习速率，用于控制Q学习收敛速度。
与用户类似，干扰也采用玻尔兹曼函数更新自身的信道选择策略：
Figure BDA0003198077420000095
其中，τ为温度系数，体现探索与利用的折中。
6、循环至步骤3，直至到达最大循环次数。
实施例1
本发明的一个实施例如下描述：***仿真采用Matlab软件，参数设定不影响一般性；***共有两个毫米波微微蜂窝基站，两基站间的距离为50m，用户随机分布在以基站为中心的半径为100m的圆内。同时，干扰分布在距离两基站大约100-200m的范围内。此外，可用信道数设置为M＝4，信道带宽B＝1MHz,噪声功率谱密度N0＝-130dB/Hz，学习参数β＝t/2500。干扰的学习速率λ＝0.1，温度系数
Figure BDA0003198077420000101
其中K为总的仿真时期，k为当前仿真时期。
本发明用户协作抗干扰算法，具体过程如下：
步骤1：t＝0，k＝0，初始化干扰的混合策略
Figure BDA0003198077420000102
步骤2：在第k个时期，干扰依概率
Figure BDA0003198077420000103
选择一个信道cj(k)；每个用户/>
Figure BDA0003198077420000104
从它的可用信道集/>
Figure BDA0003198077420000105
中等概率随机选择一个信道an(0)，并设置标志位Yn(0)＝0。
在该时期内，所有用户同时执行以下过程：
循环t＝1，2，…：
信道探测：
若Yn(t-1)＝0，用户n根据以下规则更新信道:
Figure BDA0003198077420000106
其中，M表示用户的可用信道数，
Figure BDA0003198077420000107
可认为是用户n的学习速率。若an(t)＝an(t-1)，则将标志位Yn(t)置0，否则置1。
更新信道：
若Yn(t-1)＝1，用户n根据以下规则更新信道:
Figure BDA0003198077420000108
Figure BDA0003198077420000109
其中，β为学习参数；un(t-1)和un(t-2)分别为用户n在t-1和t-2时隙的效用。更新完成后设置标志位Yn(t)＝0
步骤3：干扰获得效用uj(k)；
步骤4：干扰按照下式更新Q值：
Qk+1(cj(k))＝(1-λ)Qk(cj(k))+λuj(k)，
其中，λ∈(0,1)表示学习速率，用于控制Q学习收敛速度。
与用户类似，干扰也采用玻尔兹曼函数更新自身的信道选择策略：
Figure BDA0003198077420000111
其中，τ为温度系数，体现探索与利用的折中。
步骤5：更新k＝k+1，转到步骤2。直至到达最大循环次数
结合图2，为协作抗干扰算法收敛情况，对比算法为异步学习算法，即，每次迭代只有一个用户进行策略更新。由图可知，采用本发明所提的同步学习算法，能够明显提高学习速度。
结合图3，在不同用户数下干扰功率对网络满意率的影响。由图可知，网络满意率基本不随用户功率的增加而变化，说明本发明所提方法能够帮助用户成功避开干扰信道，有较好的抗干扰效果。
综上，本发明提出的面向多用户业务需求的分层抗干扰模型及用户协作抗干扰算法，考虑恶意用户能够根据通信用户的用频状况自适应地调整干扰策略，使其干扰效用最大化。提出了将用户和干扰之间的对抗关系建模为一个Stackelberg博弈的思路。此外，考虑空分多址条件下用户间互扰非对称这一特点，提出了一种用户协作抗干扰算法，有效地提高了网络满意率。通过与异步学习算法进行对比，证明了所提算法对收敛速度的显著改善。并通过不同干扰功率下的性能对比证明了本发明所提抗干扰算法的有效性。

Claims (1)

1.一种面向波束成形通信的用户协作抗干扰方法，其特征在于，将干扰建模为领导者，用户建模为追随者，干扰始终以给用户造成最大和干扰为目标；用户需要结合自身业务需求，利用抗干扰算法，最大化全网的用户满意度，即网络满意率；包括以下步骤：
步骤1，将多用户单干扰场景下的合作抗干扰问题，建模为单领导者多跟随者的Stackelberg博弈模型，博弈的参与者是***内的所有用户和干扰；
所述的多用户单干扰场景下的合作抗干扰问题，建模为单领导者多追随者的Stackelberg博弈模型，表示为：
Figure QLYQS_1
其中，
Figure QLYQS_2
为用户集，j为恶意干扰机，/>
Figure QLYQS_3
和/>
Figure QLYQS_4
分别表示用户和干扰的策略集，un和uj分别表示用户n和干扰的效用函数；
步骤2，随机选择一个信道进行干扰，定义干扰的效用函数为干扰机给同信道的所有用户施加的干扰功率之和；用户根据干扰策略进行抗干扰信道选择，利用势能博弈框架对用户间协作进行分析，每个用户需要考虑邻居用户的收益；用户的效用函数被定义为用户自身与邻居用户的QoE满意度总和；
局部合作模型中用户的效用函数un被定义为用户自身与邻居用户的QoE满意度总和，表示为：
Figure QLYQS_5
其中an为用户n的信道接入策略，cj为干扰的信道选择；
Figure QLYQS_6
为受用户n干扰的用户集，/>
Figure QLYQS_7
为对用户n造成干扰的用户集；/>
Figure QLYQS_8
为对用户k造成干扰的用户集；/>
Figure QLYQS_9
为用户集/>
Figure QLYQS_10
中所有用户的信道选择；/>
Figure QLYQS_11
为用户集/>
Figure QLYQS_12
中所有用户的信道选择；qn为用户n的QoE满意度；qk为用户k的QoE满意度；
其中，
Figure QLYQS_13
是一个与用户吞吐量以及具体业务需求有关的函数，其映射关系可通过MOS函数表示；
将MOS函数定义为：
MOS＝εlog10(R/γ)， (6-3)
其中R为用户的吞吐量；ε和γ为常数，大小根据用户的最大和最小吞吐量需求确定，由于用户的业务需求不同，该常数值大小也不尽相同；
用户n在不同QoE等级下的满意度被表示为：
Figure QLYQS_14
所述的局部合作模型被证明是一个精确势能博弈，其证明如下：
势能函数表示为：
Figure QLYQS_15
由于任意用户n单方面的策略从策略an改变为
Figure QLYQS_16
所造成的满意度变化与势能函数的变化量一致，即：
Figure QLYQS_17
其中an为用户n的原信道接入策略，
Figure QLYQS_20
为用户n的改变后的信道接入策略；/>
Figure QLYQS_22
为用户n策略变化为/>
Figure QLYQS_24
后，用户集/>
Figure QLYQS_19
中所有用户的信道选择；a-n为其余用户的信道接入，cj为干扰的信道选择；/>
Figure QLYQS_23
为受用户n干扰的用户集，/>
Figure QLYQS_25
为对用户n造成干扰的用户集，/>
Figure QLYQS_26
表示在集合/>
Figure QLYQS_18
中删除集合/>
Figure QLYQS_21
步骤3，所有用户同时进行抗干扰策略调整，用户根据当前标志位以及前两个时隙的策略与回报进行信道选择；根据用户对网络整体的不同影响程度，为每个用户设置了不同的学习参数，提高算法收敛速度；
所述的根据用户对网络的不同影响程度，为每个用户设置了不同的学习参数，具体如下：
学习参数设置为
Figure QLYQS_27
其中xn(t)＝Γn×ε(t)；
Figure QLYQS_28
表示用户n对网络的影响程度；ε(t)＝ε(0)+tΔε，ε(0)为初始值，Δε为步长，t为迭代次数；
步骤4，循环步骤1至步骤3，用户通过探索学习进行策略选择，直至干扰策略和所有用户的抗干扰策略实现收敛，或者达到设定的迭代次数；
步骤5，干扰评估效用uj(k)并更新Q表；具体如下：
干扰评估当前效用uj：
Figure QLYQS_29
其中，pj为干扰功率；fcj为干扰频率；djn为干扰机与用户n之间的距离；H(fcj,djn)为信道增益，与干扰频率以及干扰距离有关；
更新Q表：
Qk+1(cj(k))＝(1-λ)Qk(cj(k))+λuj(k)，
其中，Qk+1为干扰机k+1时期的Q值；cj(k)为干扰机在k时期所选的干扰信道；Qk为干扰机k时期的Q值；uj(k)为干扰机在k时期的效用；λ∈(0,1)表示学习速率，用于控制Q学习收敛速度；
步骤6，干扰更新策略，循环至步骤3，直至到达最大循环次数；
所述的干扰策略更新方式为：
采用玻尔兹曼函数更新自身的信道选择策略：
Figure QLYQS_30
其中，τ为温度系数，体现探索与利用的折中，
Figure QLYQS_31
为干扰机在k时期选择信道cj(k)的概率。
CN202110896542.1A 2021-08-05 2021-08-05 一种面向波束成形通信的用户协作抗干扰方法 Active CN113613337B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110896542.1A CN113613337B (zh) 2021-08-05 2021-08-05 一种面向波束成形通信的用户协作抗干扰方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110896542.1A CN113613337B (zh) 2021-08-05 2021-08-05 一种面向波束成形通信的用户协作抗干扰方法

Publications (2)

Publication Number Publication Date
CN113613337A CN113613337A (zh) 2021-11-05
CN113613337B true CN113613337B (zh) 2023-06-20

Family

ID=78307112

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110896542.1A Active CN113613337B (zh) 2021-08-05 2021-08-05 一种面向波束成形通信的用户协作抗干扰方法

Country Status (1)

Country Link
CN (1) CN113613337B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114698128B (zh) * 2022-05-17 2022-09-13 中国人民解放军战略支援部队航天工程大学 一种认知星地网络的抗干扰信道选择方法和***

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108616916A (zh) * 2018-04-28 2018-10-02 中国人民解放军陆军工程大学 一种合作抗干扰分层博弈模型及抗干扰学习算法
CN112188504A (zh) * 2020-09-30 2021-01-05 中国人民解放军陆军工程大学 多用户协同抗干扰***及动态频谱协同抗干扰方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108616916A (zh) * 2018-04-28 2018-10-02 中国人民解放军陆军工程大学 一种合作抗干扰分层博弈模型及抗干扰学习算法
CN112188504A (zh) * 2020-09-30 2021-01-05 中国人民解放军陆军工程大学 多用户协同抗干扰***及动态频谱协同抗干扰方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
An Anti-Jamming Hierachical Optimization Approach in Relay Communication System via Stackelberg Game;Zhibin Feng, etc.;《MDPI》;全文 *

Also Published As

Publication number Publication date
CN113613337A (zh) 2021-11-05

Similar Documents

Publication Publication Date Title
Tan et al. Deep reinforcement learning for joint channel selection and power control in D2D networks
Zhang et al. Intelligent user association for symbiotic radio networks using deep reinforcement learning
Lu et al. A cross-layer resource allocation scheme for ICIC in LTE-Advanced
CN107466099A (zh) 一种基于非正交多址接入的干扰管理自优化方法
CN113316154A (zh) 一种授权和免授权d2d通信资源联合智能分配方法
Yao et al. Distributed ABS-slot access in dense heterogeneous networks: A potential game approach with generalized interference model
Wang et al. User association in non-orthogonal multiple access networks
CN113613337B (zh) 一种面向波束成形通信的用户协作抗干扰方法
Xu et al. Distributed-training-and-execution multi-agent reinforcement learning for power control in HetNet
Benamor et al. Mean field game-theoretic framework for distributed power control in hybrid noma
Li et al. Reinforcement Learning-Based Resource Allocation for Coverage Continuity in High Dynamic UAV Communication Networks
Chen et al. Intelligent control of cognitive radio parameter adaption: Using evolutionary multi-objective algorithm based on user preference
Sroka et al. Distributed interference mitigation in two-tier wireless networks using correlated equilibrium and regret-matching learning
Wang et al. Intelligent user-centric networks: Learning-based Downlink CoMP region breathing
Huang et al. Joint AMC and resource allocation for mobile wireless networks based on distributed MARL
Chai et al. A user-selected uplink power control algorithm in the two-tier femtocell network
CN107919931A (zh) 认知网中一种基于隐马尔可夫的多信道功率控制机制
Chen et al. Beamforming in multi-user MISO cellular networks with deep reinforcement learning
CN107046690A (zh) 一种认知Femtocell网络混合频谱接入方法
Adeel et al. Random neural network based power controller for inter-cell interference coordination in lte-ul
Sheu et al. Joint Beamforming, Power Control, and Interference Coordination: A Reinforcement Learning Approach Replacing Rewards with Examples
Maaz et al. Inter-cell interference coordination based on power control for self-organized 4G systems
CN113472472B (zh) 基于分布式强化学习的多小区协同波束赋形方法
Mohamed et al. Spectral Efficiency Improvement in Downlink Fog Radio Access Network With Deep-Reinforcement-Learning-Enabled Power Control
Zhou Deep Reinforcement Learning for Channel Selection and Power Allocation in D2D Communications

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant